大模型和数据库最新结合进展

news2024/11/22 15:12:59

写在前面

本文主要内容是上次接受 infoQ 访谈，百度智能云朱洁老师介绍了大模型和 AI 结合相关话题，这次整体再刷新下，给到对这个领域感兴趣的同学。

当前，百度智能云云数据库特惠专场开始！热销规格新用户免费使用，欢迎参与！

引言

AI 和数据库结合是个老调重弹的事情，主要两个方向，一个 DB4AI，另外一个是 AI4DB。大模型没有出来之前，这块其实就有不少实践。比如用AI 来解决数据库的一些运维问题，比如磁盘自动扩容，资源瓶颈自动扩容等。以及DB 的数据赋能给 AI 应用。在这些最常见的探索之后，应该说AI 和数据库的结合碰到了瓶颈，又慢慢冷了下来。

大模型出来之后，因为大模型在理解、生成、逻辑和记忆四大能力上和原来 AI 技术有本质的区别，所以业界对AI 和数据库能碰撞出什么火化充满了期待。

本文就是探讨大模型出来之后，所以数据库和大模型数据库结合这块的最新发展以及未来趋势。尤其是在过去一年里面大模型快速发展，如长文本能力，对于的数据库也快速发展，比如向量数据库，多路召回，更强性能等。应该说两者是相辅相成，未来可期。

大模型和数据库结合最新的一些进展

1、大模型和数据库结合主要方向

大模型对数据库技术带来的机遇是远大于挑战的。

传统数据库技术或者大数据技术处理的还是以结构化数据为主，或者要把非结构化数据先预处理成结构化数据才好处理。但事实上，非结构化数据才是最自然，体量最大的数据。大模型技术让非结构化数据有新的处理方法，放大非结构数据的价值，因此也带来了底层数据库更多的发挥空间。

大模型对数据库的影响主要可以从两个方面看，

一个是 DB4AI，主要是向量数据库技术。通过向量数据库解决大模型知识更新不及时，幻觉问题，以及缺乏企业内部知识，也无法进行细粒度安全管理等问题。
另一个是 AI4DB，通用大模型技术对数据库本身进行优化，主要方向包括数据库自动运维，SQL 生成，SQL 优化，智能问答等等，另外还有一个更大的提升是，大模型改进了和人的交互方式，所以未来一些周边的运维和辅助工具的使用体验和效率通过大模型的结合得到质的提升。

2、DB4AI 主要发展

百度智能云发布了 VectorDB 1.0，向量数据库是企业不可或缺的知识库核心组件，它针对传统知识库问答系统遇到的性能瓶颈、维护挑战及规模限制等问题提供了有力解决方案。全新发布的百度向量数据库 VectorDB 1.0，不仅集成了全面的运维控制和安全防护能力，还兼容了千帆、LangChain 等主流生态系统，能够帮助企业轻松管理数以千万计的文档知识，最大支持百亿向量存储规模以及毫秒级的向量检索速度。同时，相比同类型开源产品，VectorDB 1.0 性能最高提升 10 倍。

3、向量技术和大模型搭配主要解决什么问题

大模型技术让非结构化数据有了新的应用空间，数据库变化比较大的是对文本等非结构化数据处理，以及未来甚至图片，视频等多模的数据。

目前这块发展很快，主要包括文本拆分，怎么 Embedding 多模数据，怎么实现多路召回，以及向量引擎通过 GPU ，以及更好数据组织模式来实现高性价比等。

4、大模型技术对传统数据库的提升主要在哪些方面

大模型属于人工智能领域的一个重要组成部分。现在一般说大模型是指生成式 AI 技术（GenAI）。

在数据库领域一直使用 AI 技术，传统上主要是一些预测算法，分类算法这些，解决比如运维的问题。大模型诞生之后，在代码生成，知识处理方面相比传统 AI 技术有了革命性提升，但是在一些传统系统运维，调优方面还是传统算法实现更简单，效率更高。

因此大模型技术更多的是在原来的技术的基础上更深入的解决原来不好解决的代码生成，知识管理等。对原有技术是一个非常大的补充，提升和扩展。

各个厂家都在进行相应的尝试和布局。当前比较创新的数据库和大模型结合的案例和应用有：

智能问答：通过大模型技术解决数据库运维问题，DBA 值班等。
代码生成 & 翻译：自然语言到 SQL（NL2SQL），或者把一种 SQL 翻译成另外一种，典型的 Oracle 翻译成 MySQL 之类。
SQL 优化：改写、注释、纠错、解释，补全
智能问数：自然语言询问，内部通过大模型转成 SQL，查询出结果，然后大模型再总结以报表，报告形式展示出来。

5、AI4DB 主要发展

百度智能云发布了数据库智能驾驶舱（Database Smart Cockpit，DBSC），这个服务是利用大模型技术解决数据库运维，安全，智能问答的能力。通过内置的百度文心大模型能力，再加上百度积累的数据库运维知识库等，帮助用户回答云原生数据库 GaiaDB、MySQL、Redis 等数据库产品的各种使用场景复杂问题，以及显著降低异常问题定位时间，以及提升 SQL 优化效率等。目前这个服务在百度内部已经成功帮助 DBA 团队降低超过 50% 的运维工作量。

6、在 AI 与数据库的结合中，百度智能云的主要策略

AI 技术和数据库技术都在快速发展过程中，我们几个主要的策略有：

坚持技术和场景结合的原则：技术只有和场景深度结合，才容易成熟，以及真正解决问题。因此我们对大模型的应用并不追求尝鲜，一定是选择可以和场景深度结合，各方面条件成熟，以及内部深度使用之后再给到我们的客户。
坚持技术的普惠的原则：普惠核心意味着要让更多用户，更多场景可以使用。对数据库技术来说主要体现在两点：首先我们在设计的时候就会基于通用硬件去设计，云上，云下都可以部署，大客户，小客户都能用。这个体现在我们的 VectorDB，DBSC，GaiaDB 等多个产品中。另外一个核心是坚持起步门槛低，为了让更多用户用到，我们 VectorDB，DBSC 目前都提供了免费版本，让用户可以直接使用。也欢迎大家到百度智能云上选择相应的免费版本，体验最新大模型加持的能力。
坚持开放的原则：除了我们自研之外，我们也非常欢迎更多的第三方厂商和我们一起共建，或者集成我们的产品。