最近一年,以 ChatGPT、LLaMA 为代表的大语言模型的兴起,将向量数据库的发展推向了新的高度。
向量数据库是一种在机器学习和人工智能领域日益流行的新型数据库,它能够帮助支持基于神经网络而不是关键字的新型搜索引擎。向量数据库不同于传统的关系型数据库,例如 PostgreSQL,其最初设计用于以行和列的形式存储表格数据。它也明显不同于较新的 NoSQL 数据库,例如 MongoDB,其主要是将数据存储在 JSON 文档中。
向量数据库是为存储和检索一种特定类型的数据而设计的:向量嵌入。它们本质上是机器学习过程的推理部分中运行新数据的过滤器。
在大模型部署中,向量数据库可用于存储大模型训练产生的向量嵌入。通过存储代表大模型广泛训练的潜在数十亿个向量嵌入,向量数据库执行最重要的相似性搜索,找到用户提示(他或她提出的问题)和特定向量嵌入之间的最佳匹配。
大模型爆火后,更多企业开始大力投资向量数据库以提升算法准确性和效率。据相关统计,2023 年 4 月的 AI 投资领域呈增长趋势,尤其是向量数据库领域的投资活动颇为活跃,Pinecone、Chroma 和 Weviate 等向量数据库初创公司都在这个月获得了融资。
当前的向量数据库在大模型淘金时代扮演着重要角色,它就像一把好的铲子一样,有助于挖掘出更多更宝贵的资源。
但不能忽视的是