向量数据库这杯“啤酒”与“泡沫”

news2024/10/4 23:40:31

f7992b4268e32147ca035c070af184b6.jpeg

就像啤酒注定要有泡沫,每一场淘金热都不缺被捧上了时代风口的人。

大模型这一波热潮中,向量数据库就是那个幸运儿。

一方面,技术层面并没有太大突破。向量数据库并不是一种特别新的数据库技术,在AI领域已经应用了七八年,谷歌在2015年就宣布使用RankBrain语义检索来处理搜索任务。相比N家的卡、液冷的算、全光的网、升级的存,向量数据库在技术方面并没有特别亮眼的突破。

而另一方面,向量数据库的投资热潮又特别旺盛。在上半年成了创业公司、云计算厂商、老牌数据库公司,以及投资人们“群起而攻之”的风口,Pinecone、Chroma 和 Weviate 等向量数据库初创公司都获得了融资,有的融资额高达上亿美元。这在全球经济不明朗的投资形势下,还是非常亮眼的成绩。

不同于GPU卡那样短期内需求坚挺、供不应求,加上摩尔定律的约束,即使有泡沫,也是铁做的。也不同于存算网这类“新基建”,长期投入的战略价值,得到了庙堂和民间的一致重视。

2ba97e95d6e4de7e8b960caa4a0e8396.png

向量数据库,更多是作为一种AI基础技术和产品,开始为大众所知晓。

仅凭这样,就在投资市场上一飞冲天,多少有点让人不安。加上最近,大训模型的热度开始降温,ChatGPT访问量下降,更多大模型已经到地里田间矿井“干活儿”去了。

不禁让人好奇,随着大模型的风口下沉,向量数据库的投资概念还能飞多久,会不会倏忽而来,倏忽而去,留下喝了“一嘴泡沫”的公司和投资人,在风中凌乱呢?

我们就来好好品一品,这一杯啤酒和泡沫。

技术的啤酒

d011e099f28687ef997e19b8105a4844.png

训大模型、用大模型,离不开一系列AI基础设施,所以,作为基础设施之一的向量数据库,确实有点东西。引入向量数据库,是能喝到真材实料的“啤酒”的。

这就有必要先说说这个技术本身。

数据库不用多说,是必不可少的IT基础设施,用于存储和查询各种数据,可以看作是数据的“硬盘”。那么,向量数据库就是更适合AI体质的“硬盘”,有几个特质来说明这一点:

1.必要性。

向量数据库,顾名思义就是专门用于存储和管理向量数据。作为一种数据结构,每个向量都包含多个维度,每个维度代表不同的特征或属性,比如图像的颜色、文本词汇的出现频率等。而AI算法,要从图像、音频和文本等海量的非结构化数据中学习,提取出以向量为表示形式的“特征”,以便模型能够理解和处理。因此,向量数据库比传统的关系型数据库,更适合AI 应用。

36967e8d6a41f15cd89bcacfa01ad75a.png

2. 高效率。

每个元素都有一个索引,便于访问或修改数值。基于此,向量数据库可以通过将分组和索引,快速找到与给定查询最接近的嵌入,实现高效的相似性搜索,同时减少存储和计算成本。

相比传统单机插件式数据库,向量数据库的检索规模可以提升十倍,支持百万级每秒查询(QPS)的峰值能力,同时延迟控制在毫秒级。

想象一下,如果没有高效的搜索技术支持,一个大语言模型动辄数十亿、上百亿参数,只能处理有限数量的输入数据,无法搜索更大的数据库,那么在AIGC、搜索、广告推荐算法等任务的性能表现就会受限。

一个公开数据是,通过使用云向量数据库,QQ音乐人均听歌时长提升3.2%;腾讯视频有效曝光人均时长提升1.74%;QQ浏览器成本降低37.9%,这些数据的变化就在于检索效率、运行稳定性、运营效率、推荐算法等有了较大的提升。

3.需求大。

随着产业智能化的加速,以及大模型和其他 AI 应用的爆发,各行各业的AI用例不断增多,由此带来了汹涌的数据洪潮和存算任务,向量数据库嵌入向量的长度不受限制,具有良好的扩展性,可以根据AI用例和模型而变化,更好地处理大规模数据集。

而且,向量数据库可以拓展大模型的时间边界和空间边界,让大模型在训练完成后,也可以访问向量数据库的最新信息,了解最近发生的事情。

总的来说,向量数据库就是更适合AI体质的数据库,在AI任务上效果拔群,在机器学习领域中日益流行。

那么问题来了,一些在AI领域积淀已久的科技大厂,如谷歌、微软、Mate以及BAT等大厂,都有向量数据库的技术积累,也都可以向外输出相关能力和产品。此外,一些基于开源技术的数据库创业公司,如Pinecone、Weaviate、Odrant、Chroma近年来打开了市场知名度。

可以说,市场上并不缺乏向量数据库的产品和解决方案。那么2023年,这杯技术啤酒,是怎么咕嘟咕嘟冒出泡沫的呢?

f7e49b1fb6b87a730d28ad06304894ba.png

f599f12e85fe8a74dbd602d1f712c8fe.png

浪潮之巅的泡沫

向量数据库的市场现状,说是“从0到1”,并不为过。

首先,大众市场的认知度才刚刚打开。

此前,向量数据库更多是AI企业在使用,今年才开始为大众所熟知,这离不开一些AI相关企业的推波助澜。今年 3月的 NVIDIA GTC 大会上,黄仁勋首次提及向量数据库,强调向量数据库对大语言模型的重要性。

不是所有企业都有能力自建大模型所需要的基础设施,通过MaaS(模型即服务)业务来训练应用大模型是更灵活的选择,这就要求云厂商提供全栈基础设施。

百度、京东、腾讯、华为等,都在自家的大模型完整基础设施中,提到了向量数据库。目前,云厂商的MaaS业务才刚刚开始走向市场,大模型的产业落地不是一蹴而就的,向量数据库的接受度和规模究竟有多大,还是个未知数。

第二,向量数据库的技术,还没经历“卷生卷死”的迭代。

Pinecone是闭源的领跑者,其他竞争者要么是开源的,比如Weviate,要么是巨头,包括头部云厂商和甲骨文、IBM等老牌数据库厂商,开始构建AI数据库的产品和解决方案。

大厂扎堆竞技,这意味着,如果技术没有大的突破,就会陷入高密度的同质化竞争,从蓝海快速进入红海。而如果技术有颠覆式变革,很多技术壁垒不高、客户认知不强的新入局创业者,很难跟开源生态或技术巨头PK,容易被大浪淘沙。

5ef8b71f128e3400939df54e120e398f.png

最后,向量数据库的成本,还没有降到“可规模复制”的程度。

无论是自建向量数据库,还是通过MaaS服务接入,都还达不到“付费可用”的程度。一般来说,企业需要先将非结构化的私密数据进行向量化,产生一个向量的矩阵,再存储到向量数据库里,来供大模型学习和检索。这个过程涉及到大量的工程化,会耗费企业许多开发人员、时间成本。

这就需要云厂商或数据库厂商,提供全链路的工具,来帮助企业完成整个数据向量化、大模型接入的工作,以及减少后续运维的难度。比如Pinecone就凭借良好的开箱即用的产品体验,获得了非常大的增长,B轮估值达到7.5亿美元。

谷歌云、腾讯云、京东云等也都基于内部应用的多年积累,推出了一系列面向外部的工具、框架和应用。但只是迈出了从无到有的第一步,真正成熟还需要让各家“卷起来”。

可以看到,现在这个阶段,热捧向量数据库,确实有AIGC、大模型、云服务等多方面的现实需求,但从“概念普及”到“真正可用”之间,还有不短的距离。这之间的地带,就是泡沫生长的地方。

江湖路远,风高浪急,没有想清楚的创业公司或行业用户,还是别贸然“带资进组”了。

啜饮时代的精酿

3d2845dbce0d8d81087baaf5b3b09ec3.png

如果你是数据库厂商,或者是着急布局大模型和AI应用的企业,希望早点将啤酒喝到嘴里,怎么办呢?

笃定远一点的未来,有些赛道的泡沫比例是相对少的,需求格外旺盛。

506550ab2ce127274f638921fff18f7c.png

市场方面,国产化替代是不错的选择。

科技博弈背景下,加上我国数据库产业的日益繁荣和技术突破,金融、电信、能源、交通等关键基础行业的企业,在数据库选型时,都开始倾向于国产,以保障数据的稳定性和安全性。

国外厂商在向量数据库上有着更早的探索和积累,国产数据库要补齐短板是需要时间的。

目前,BATH这类实力较强的国內科技企业,沉淀了向量数据库的核心自主技术,与其合作研发和定制化开发,针对某些具体场景,提供特定优化的向量数据库产品,加入国产化替代的赛道是成本更低、风险更可控、市场需求明确的选择。

策略方面,加入云生态不要独行。

鉴于向量数据库的商业化前景还不明朗,有业内人士表示,与其投资新的向量数据库项目,还不如关注现有数据库中,有哪些加上向量引擎可以变得更加强大。

云数据库就是其中之一,上云用数赋智是大势所趋,很多政企客户往往会选择公有云或行业云来满足其业务需求,将数据迁移到云上,对云数据库的关注度和接受度上升。

腾讯云、华为云等大型云厂商,具有较高的品牌认知度和市场接受度,具有云原生、AI原生的技术栈和产品体系,经历了海量场景的淬炼和深度优化,和这类云生态一起掘金向量数据库,是更稳妥的方式。

和AI、大模型一样,向量数据库要品出味道,离不开时间的窖藏和酝酿。是在大训模型的热度下降后,像泡沫一样湮灭,还是作为啤酒精酿沉淀下去,等待成为下一代数字基础设施的刚需,被行业客户所啜饮,是留给数据库玩家和买家的选择题。

b6b5c0967eeb81f611cc666ad8269ac0.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/801027.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

英特尔14代酷睿参数曝光:13代酷睿用户看完放心了 升级幅度有限

今年6月份英特尔进行了品牌升级,宣布新命名规则,预热了酷睿Ultra品牌和第14代酷睿处理器产品线。 代号为Meteor Lake的酷睿Ultra系列虽然备受关注,但令人遗憾的是,它只面向低功耗移动端,预计将包括45W的H系列&#xff…

NLP From Scratch: 使用char-RNN对姓氏进行分类

NLP From Scratch: 使用char-RNN对姓氏进行分类 本篇我们将构建并训练基本的字符级 RNN 来对单词进行分类。 本教程,以及后续两个教程,展示了如何“从头开始”针对 NLP 建模过程中所需的数据进行预处理,抛开torchtext的许多便利功能进行编码…

C语言基础教程(fgets和fputs)

文章目录 前言一、fputs函数二、fgets函数三、fputc和fgetc函数总结 前言 本篇文章我们来讲解一下fgets和fputs函数,这两个函数通常用来作为输入和输出功能使用。 一、fputs函数 fputs函数是C语言标准库中的一个输出函数,用于将字符串写入到指定的文件…

mysql主从同步怎么跳过错误

今天介绍两种mysql主从同步跳过错误的方法: 一、两种方法介绍 1、跳过指定数量的事务: mysql>slave stop; mysql>SET GLOBAL SQL_SLAVE_SKIP_COUNTER 1 #跳过一个事务 mysql>slave start2、修改mysql的配置文件,通过slav…

The Sandbox 重新上线,带来全新体验!

在经历了一个充满史诗般新回忆的全力开局后,我们短暂休息了片刻,为玩家准备了全新的、惊心动魄的游戏活动。 我们已经完成了功能的微调,准备将您的游戏体验提升到一个全新高度! 想知道我们正在做什么吗?现在还无法公开…

iTOP-STM32MP157开发板Linux Misc驱动-编译驱动程序

这里我们以 stm32mp157 开发板为例,将杂项设备驱动编译成模块,请参考本手册第三十七章 Linux 内核模块。我们将 misc.c 文件拷贝到 Ubuntu 的/home/nfs/03 目录下。将上次编译 helloworld 的 Makefile 文 件拷贝到 misc.c 同级目录下,修改 …

指针学习(特殊指针)

1.char型指针 char型指针实质上跟别的类型的指针并无本质区别,但是C语言中的字符串以字符数组的方式存储,而数组在大多数场合又会表现为指针,因此字符串在绝大多数场合就表现为char型指针。 例如: char *p "abcd"; …

axios的如何使用

1、axios的使用第一步先装包 npm i axios-S 2、axios的使用方法,先导入包,再绑定事件,再注册事件 3、axios如何实现post请求 4、Vue挂载axios,简便输入地址: 5、通过this实例,可以访问到axios的链接 6、给他改成$http…

【李宏毅 DLHLP 深度学习人类语言处理 HW1】

李宏毅 DLHLP 深度学习人类语言处理 HW1 相关资料HW1 语音小白在网上没有找到这门课的作业分享,那就记录一下自己的作业吧。 相关资料 课程官网:https://speech.ee.ntu.edu.tw/~hylee/dlhlp/2020-spring.php 作业github代码1:https://githu…

用抓包工具结合局域网代理技术爬取meituan某些商家的数据

众所周知,爬虫玩的好,牢饭吃的早(如有侵犯利益,请您告知,我将立删!)。 其实抓包嘛,简单的H5网页直接就能用浏览器的开发者工具进行抓包,但是很多平台剔除了网页版&#…

《面试1v1》Kafka与传统消息系统区别

🍅 作者简介:王哥,CSDN2022博客总榜Top100🏆、博客专家💪 🍅 技术交流:定期更新Java硬核干货,不定期送书活动 🍅 王哥多年工作总结:Java学习路线总结&#xf…

C语言:动态版本通讯录(静态版本的改进)

文章目录 一、改进方向1.结构2.初始化3.增加联系人and检查容量4.退出 二、代码实现总结 通讯录静态版本的实现思路与完整代码 一、改进方向 对于管理数据,我们主要进行增删查改操作,我们要改进静态版本的通讯录,主要在于增加数据方向。而删除…

C++数组、向量和列表的练习

运行代码&#xff1a; //C数组、向量和列表的练习 #include"std_lib_facilities.h"int main() try {int ii[10] { 0,1,2,3,4,5,6,7,8,9 };for (int i 0; i < 10; i)//把数组中的每个元素值加2ii[i] 2;vector<int>vv(10);for (int i 0; i < 10; i)vv…

Transformer模型简单介绍

Transformer是一个深度学习模型。主要功能通俗的来说就是翻译。输入&#xff0c;处理&#xff0c;输出。 https://zhuanlan.zhihu.com/p/338817680 大牛写的很完整 目录 总框架Encoder输入部分注意力机制前馈神经网络 Decoder 总框架 Encoders: 编码器Decoders: 解码器 Encoder…

AT指令介绍

一、基础知识 1、用途&#xff1a;用来控制TE&#xff08;TerminalEquipment&#xff09;和MT(Mobile Terminal)之间交互的规则&#xff0c;如下图所示。在GSM网络中&#xff0c;用户可以通过AT命令进行呼叫、短信、电话本、数据业务、传真等方面的控制。&#xff08;AT指令只…

BUG:pm2启动verdaccio报错:Invalid or unexpected toke

输入命令&#xff1a; pm2 state verdaccio 问题描述&#xff1a; pm2 logs verdaccio报错翻译&#xff1a;数据格式错误 导致我呢提原因&#xff0c;没有找到运行文件&#xff0c; 发现问题&#xff1a;因为命令默认查找verdaccio是去系统盘查找。 解决方式 1&#xff1a;…

探索单例模式:设计模式中的瑰宝

文章目录 常用的设计模式有以下几种&#xff1a;一.创建型模式&#xff08;Creational Patterns&#xff09;&#xff1a;二.结构型模式&#xff08;Structural Patterns&#xff09;&#xff1a;三.行为型模式&#xff08;Behavioral Patterns&#xff09;&#xff1a;四.并发…

js逆向中高级案例-文章标题汇总

一、详细文章 点击链接查看如图案例标题

Tensorflow benchmark 实操指南

环境搭建篇见环境搭建-CentOS7下Nvidia Docker容器基于TensorFlow1.15测试GPU_东方狱兔的博客-CSDN博客 1. 下载Benchmarks源码 从 TensorFlow 的 Github 仓库上下载 TensorFlow Benchmarks&#xff0c;可以通过以下命令来下载 https://github.com/tensorflow/benchmarks 我…

LeetCode每日一题-接雨水

给定 n 个非负整数表示每个宽度为 1 的柱子的高度图&#xff0c;计算按此排列的柱子&#xff0c;下雨之后能接多少雨水。 示例 1&#xff1a; 输入&#xff1a;height [0,1,0,2,1,0,1,3,2,1,2,1] 输出&#xff1a;6 解释&#xff1a;上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表…