ModaHub魔搭社区:如何在 Jupyter Notebook 用一行代码启动 Milvus Lite?

news2024/10/5 23:28:34

目录

轻量版 Milvus 能做什么?

如何在 Jupyter Notebook 中使用向量数据库?


随着各种大语言模型(LLM)的涌现和 AI 技术变得越来越普遍,大家对于向量数据库的需求也变得越来越多。作为大模型的记忆体,向量数据库不仅可以帮助解决 LLM 面临的最大问题——缺乏特定领域知识和最新数据,还可以赋能相似性搜索应用,如产品推荐、以图搜图、文本语义搜索等。

此前,我们为那些想要快速体验向量数据库、没有专业运维团队支撑、安装部署环境受限的用户推出了轻量级版本的向量数据库——Milvus Lite,本文将基于此版本,为大家介绍如何在 Jupyter Notebook 中使用向量数据库

轻量版 Milvus 能做什么?

Milvus 是一个分布式、云原生的向量数据库,可处理十亿级的向量数据,用于索引、存储和查询向量数据。

Milvus 系统分为四个层面,采用多种类型的执行节点(worker node),极大地增强了系统弹性和可扩展性。除了使用多个单一目的的节点外,Milvus 还使用分段(segment)数据以提升索引构建的效率。Milvus 的数据分段容量为 512 MB,查询时会并行查询多个分段,以确保系统低延迟(latency)。

Milvus 向量数据库的宏观架构

Milvus Lite 是 Milvus 的轻量级版本,拥有诸多优势,例如可以轻松将 Milvus Lite 集成到 Python 应用程序中,不需要任何其他依赖项;与 Google Colab 和 Jupyter Notebook 的集成变得更容易等,了解更多优势参见文章《Milvus Lite 已交卷!轻量版 Milvus,主打就是一个轻便、无负担》。

由于 Milvus Lite 和 Milvus 的工作原理相同,且可以在本地保存所有的数据,因此,用户可以使用 Docker ComposeHelm 或 Milvus Operator 来启动 Milvus 实例。当然,也可以从 Jupyter Notebook 或 Python 脚本直接启动 Miluvs Lite 实例。

如何在 Jupyter Notebook 中使用向量数据库?

为快速上手,大家可以通过 pip 在 Jupyter Notebook 中快速安装向量数据库 Milvus Lite。

在 Jupyter Notebook 第一行中运行 !pip install pymilvus milvus以安装 pymilvus和 milvus。安装完成后,使用 iPython Notebook 启动并连接至向量数据库。milvus模块提供 Milvus Lite,pymilvus模块提供连接到 Milvus 的 Python 接口。

接下来可以按照以下步骤操作:

  • 从 milvus 模块中导入 default_server。

  • 从 pymilvus 模块中导入 connections。

  • 从 pymilvus 模块中导入 utility。

  • 使用 default_server 中的 start()函数来启动服务器。

  • 服务器启动后,我们使用 connections 模块中的 connect 进行连接,传入主机 localhost 或 127.0.0.1 以及默认服务器的端口。

from milvus import default_server  
from pymilvus import connections, utility  
  
default_server.start()  
connections.connect(host="127.0.0.1", port=default_server.listen_port)  

连接至 Milvus 后,使用 utility 体验向量数据库。例如,调用get_server_version() 以确保数据库已更新至最新版本。或者,使用 utility 查看 Milvus 集合(可以将其理解为数据表)。大家还可以在新建集合时检查新集合的名称是否已被现有集合使用。如果已被使用,可以通过drop_collection删除现有集合或者为新集合选择一个新名称。

utility.get_server_version()  
if utility.has_collection(COLLECTION_NAME):  
   utility.drop_collection(COLLECTION_NAME)  

还是那句话,我们不推荐在任何生产环境中使用 Milvus Lite,也不推荐在需要高性能、高可用性或高可扩展性时的场景下使用 Milvus Lite。相反,当大家有类似需求时,我们更推荐 Milvus 集群或 Zilliz Cloud(提供开箱即用的向量数据库服务,6 月底即将登陆阿里云)进行部署。

最后,本文内容同样适用于 CoLab Notebook。详情参见以图搜图应用(https://colab.research.google.com/drive/1qBVYsiNTp5w8zclqxkKp_hHIoKdCGwB8?usp=sharing)和文本语义搜索应用(https://colab.research.google.com/drive/1dTYiwmJrjojqGw_DTBX05wi0l5YoX1HU?usp=sharing)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/725583.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【新星计划Linux】——常用命令(1)

作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。 座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​ 目录 前言 一.常用命令 1.Linux的基本原则: 用户接口: 2.命令形…

多肽中间体:23927-13-1,Cyclo(-D-Ala-D-Ala),3,6-二甲基-2,5-哌嗪二酮,的解析说明

Cyclo(-D-Ala-D-Ala),3,6-二甲基-2,5-哌嗪二酮,(3R,6R)-二甲基-哌嗪-2,5-二酮,(3R,6R)-3,6-二甲基哌嗪-2,5-二酮产品结构式: 产品规格: 1.CAS号:23927-13-1 2.分子式:C6H10N2O2 3.分子量&#x…

xNIDS-解释基于深度学习的网络入侵检测系统实现自动入侵响应

文章目录 AbsIntroMotivation and ChallengesExplaining Detection Results of DL-NIDS目标近似历史输入围绕历史记录输入进行采样捕捉特征之间的依赖关系模型开发 Generating Defense Rules防御规则范围Defense Rule Scope安全性约束 Security Constraint统一防御规则 Unified…

仅个人记录 CMX复现

文章解析(214条消息) CMX: Cross-Modal Fusion for RGB-X SemanticSegmentation with Transformers_cmx: cross-modal fusion for rgb-x semantic segment_翰墨大人的博客-CSDN博客 代码 GitHub - huaaaliu/RGBX_Semantic_Segmentation 一、 环境配置 conda create -n rgbx…

暑假第三天打卡

Java: (1)main()方法格式固定,表示程序入口 public static void main(String[] args) (2)java程序严格区分大小写 (3)System.out.println():换行 System.out.print():不换行 &…

【洛谷】P2700 逐个击破

思路&#xff1a; 先上一份ACode:&#xff08;具体解释思路在下面&#xff09; #include<bits/stdc.h> using namespace std; #define int long long const int N1e510,M2*N; int n,k,x,fa[N],sum; struct E {int u,v,w; } e[M]; int head[N],cnt; bool vis[N];bool cm…

爬虫入门04——requests库中的User-Agent请求头

import requests#定义请求的url url https://www.baidu.com/ #https://site.ip138.com/www.xicidaili.com/#发起get请求 res requests.get(url url)#获取响应结果#响应对象 print(res)#获取响应状态码 print(res.status_code)#获取响应数据 print(res.text) #返回的是字符…

SignalPlus X 北大汇丰商学院 X SHEF 公开课

&#x1f4e2; SignalPlus X 北大汇丰商学院 X SHEF &#x1f4a0; 数字金融和 AI 量化系列课程第二课 &#x1f4a0; 课程主题&#xff1a;机器学习在金融市场的应用 &#x1f4a0; 时间&#xff1a;2023 年 7 月 5 日 星期三 下午 19:00-21:00 &#x1f4a0; 授课方式&#…

【JUC进阶】10. 使用JMH进行性能测试

目录 1、前言 2、传统的性能测试 2、什么是JMH 3、Hello JMH 3.1、Maven相关依赖 3.2、编写简单示例 4、基本属性配置 4.1、BenchmarkMode 4.2、Benchmark 4.3、OptionsBuilder & Options 4.4、迭代Iteration 4.5、预热&#xff08;Warmup&#xff09; 4.6、状…

一图掌控污水厂运营——远眺污水厂数字孪生平台「捷码精品应用展」

随着我国城市化率的提升与环保意识的逐渐提升&#xff0c;对于污水处理的意识与需求也越来越强&#xff0c;需要处理的污水日益增多&#xff0c;污水厂承担的压力明显变大。 传统污水厂通常通过人工巡检的方式&#xff0c;进行设备和厂区检查和监测&#xff0c;这种方法效率低下…

MODBUSTCP和MODBUSRTU数据帧对比

工具介绍 ModBus Poll 在TCP中模拟客户端&#xff0c;在RTU中模拟主机&#xff1b;&#xff08;请求数据方&#xff09; ModBus Slave 在TCP中模拟服务器&#xff0c;在RTU中模拟从机&#xff1b;&#xff08;响应数据方&#xff09; 数据帧简介 ModBus是一种通信协议&#…

Spring整合Elasticsearch(2)

原生查询 可以查询的范围更精确,当ElasticsearchRepository提供的基本方法无法满足我们所需要的查询可以使用原生的方式查询 Test//原生查询public void naticeQuery(){//创建原生查询构建器对象NativeSearchQueryBuilder queryBuilder new NativeSearchQueryBuilder();//过滤…

【前端】ant-design-pro初体验

什么是Ant Design Pro Ant Design Pro 是一个企业级中后台前端/设计解决方案&#xff0c;它秉承 Ant Design 的设计价值观&#xff0c;致力于在设计规范和基础组件的基础上&#xff0c;继续向上构建&#xff0c;提炼出典型模板/业务组件/配套设计资源&#xff0c;进一步提高企…

第164天:应急响应-挖矿脚本检测指南威胁情报样本定性文件清除入口修复

知识点 #知识点 -网页篡改与后门攻击防范应对指南 主要需了解&#xff1a;异常特征&#xff0c;处置流程&#xff0c;分析报告等 主要需了解&#xff1a;日志存储&#xff0c;Webshell检测&#xff0c;分析思路等 掌握&#xff1a; 中间件日志存储&#xff0c;日志格式内容介绍…

如何给旧电脑安装Linux系统

目录 必要软件下载 下载ultraiso软件 下载linux系统 刻录光盘 U盘启动 必要软件下载 下载ultraiso软件 进入ultraiso官网&#xff0c;链接如下&#xff1a; 最新UltraISO官方免费下载 - UltraISO软碟通中文官方网站 下载linux系统 准备一个8G或者以上的U盘&#xff0c;…

微搭学习路线图,JavaScript入门

目录 1 学习路线1.1 HTML 语义和结构1.2 使用 CSS 布局和美化1.3 使用 JavaScript 开发交互1.4 小程序API1.5 云开发1.6 微搭 2 JavaScript入门2.1 变量2.2 注释2.3 运算符2.4 条件语句2.5 函数2.6 事件 3 示例总结 可多初学的问&#xff0c;微搭学习几个小时够么&#xff0c;几…

学习网页设计html学习总结

学习网页设计html学习总结篇一 转眼间&#xff0c;已到了期末&#xff0c;学习网页设计这门课程也要结束了&#xff0c;虽然时间有点短&#xff0c;但是学过这个几周以后我受益匪浅。 记得最初接触dreamweaver的时候&#xff0c;我很茫然&#xff0c;因为刚接触陌生的软件心里会…

4 springboot配置文件——yaml语法

4.1 yaml配置文件介绍 原先的配置文件是application.properties&#xff0c;但是官方不推荐使用这个&#xff0c;官方推荐使用application.yaml配置文件。因此&#xff0c;将原来的application.properties删除&#xff0c;改为application.yaml。 4.2 yaml配置文件语…

MinIO部署简单使用

前言 前面我们做了分布式文件存储系统FastDFS的部署应用&#xff0c;其安装还是比较繁琐的&#xff0c;而且实际生产的应用限制较大&#xff0c;下面&#xff0c;介绍一款开源的文件系统——MinIO&#xff0c;它是一种对象存储解决方案&#xff0c;提供与 Amazon Web Services…

【回溯算法Part04】| 93.复原IP地址、78.子集、90.子集||

目录 &#x1f388;LeetCode93.复原IP地址 &#x1f388;LeetCode78.子集 &#x1f388; LeetCode90.子集|| &#x1f388;LeetCode93.复原IP地址 链接&#xff1a;93.复原IP地址 有效 IP 地址 正好由四个整数&#xff08;每个整数位于 0 到 255 之间组成&#xff0c;且不能…