“ 本地知识库就相当于大模型的外部资料库。”
很多人应该都听过本地知识库项目，它是当今人工智能领域爆火的项目之一，那么到底什么是本地知识库？它和大模型有什么关系？怎么构建本地知识库？
01
—
为什么需要本地知识库？
其实本地知识库和大模型本身没有什么直接关系，可以说它们是两个完全独立的技术。
但因为大模型的幻觉问题和大模型的数据更新迟缓，因此才把知识库技术与大模型技术相结合，产生了大模型知识库技术。
什么是知识库？
知识库简单来说就是资料库，比如国家图书馆收录了我国几千年来的历史书籍和资料；每家企业都会有一些内部数据；各个领域都有自己领域内的数据和资料。
而怎么管理这些资料和数据，就是知识库技术，知识库的核心有两点，一是数据的存储，二是数据的检索。
在互联网技术出现之前，知识库都是以档案室或资料室的形式存在；而计算机技术出现之后，特别是大数据技术出现之后，知识库就可以从线下走到了线上。
而大数据技术也为处理大量复杂数据提供了可能。
大模型技术是当前人工智能领域爆火的技术之一，但它有一个致命的缺陷就是，它的训练数据是有时间限制的，比如chatGPT的数据还是两年前的，它对近两年的情况就什么都不知道了。
解决这个问题其实有多种方式，比如用最新的数据对大模型进行重新训练，或者使用微调技术比如lora，用最新的数据进行微调。
但这两种方式一来成本太高，二来门槛太高，对很多小公司是不可接受的。其次就是，哪怕重新训练出来的大模型，在一些垂直领域的问题上经常会出现“幻觉”问题。
所以，大模型知识库技术就出现了，大模型就类似于一个大学生；它有足够的基础知识，然后在一些没有接触过的领域或者不懂的问题，就去图书馆查资料。
更形象的表达应该是类似于学生期末考试之前，会发考前资料，然后告诉你考试内容在资料里。
这样既解决了大模型的时间限制问题，也解决了成本和门槛问题，也大大减少了幻觉的产生。
02
—
怎么实现大模型知识库？
实现大模型知识库理论上很简单，就是在问大模型的时候，带上“资料”，大模型根据资料内容进行回答。
但这里需要解决几个问题：
第一，资料的加载问题，随着技术的发展资料的类型也是多种多样，比如有文本文档，图片，视频，声音等等；文本文档还有txt，word，excel等多种格式，还有很多格式化及非格式化数据，因此文档的加载是一个非常麻烦的事情。
第二，资料的存储问题，有了资料之后，需要把资料进行加载然后统一处理，而如果这些资料是给人看，那么只需要把文档按照原本的格式保存即可。但因为大模型只认识向量格式的数据，因此需要把文档转化为向量格式存储，而这就是向量数据库。
第三，数据的检索问题，数据加载到向量数据库之后，应该怎么检索就是一个问题。因为如果资料库比较小问题还不大，如果资料库很庞大，怎么快速的检索，也是一个值得思考的问题。
大模型知识库的使用流程
大模型知识库加载流程如下：
文档加载，通过加载工具把各种格式的文档加载到向量数据库中；其次，需要对文档进行转换拆分，比如按照固定长度进行拆分；然后，通过embedding大模型，把拆分后的文档根据语义转换为向量格式；最后存储到向量数据中。
然后使用的时候，从向量数据库中检索数据。
embedding模型的作用是为了把文档进行有意义的语义转换，否则文档数据直接存储到数据库中就会出现资料错误的问题。
流程如下图所示：
上一步加载完文档之后，就可以进行使用了。
使用的步骤是，用户对大模型进行提问，然后通过embedding把用户提问转化为向量格式，然后根据提问从向量数据库中检索和提问内容有关的资料。如下图8-11步所示。
检索到资料之后，根据用户提问和检索资料，构建prompt template(提示词模板)，最后输入到大模型中，获得结果。
整个知识库的流程如下图所示：
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓
👉1.大模型入门学习思维导图👈
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）
👉3.大模型落地应用案例PPT👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）
👉4.大模型面试题&答案👈
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓
