去年爆火的大模型，正在从百模大战走向千行百业落地应用。不过行业数据规模有限，企业数据隐私安全的要求等等因素，都让行业大模型的准确率面临挑战。近期发布的《CSDN AI 开发者生态报告》数据显示，“缺乏数据/数据质量问题”在大模型技术开发者面临的问题中，占据首位。
具体来说，行业领域大模型需要有对行业（如医学、法律、科研）高深专业术语的理解、完成特定的行业领域任务，并且对大模型输出结果要求准确，无法如个人用户一样接受大模型的反复多次推理。
RAG 技术有效降低模型幻觉，加速行业大模型落地
检索增强生成技术 RAG（Retrieval-Augmented Generation）应时而生。在 RAG 系统中，使用向量数据库进行信息检索是系统能够正常运行的核心功能之一，通过 embedding 技术将问题和知识库内容转换为向量，基于相似性找到最相关的文档并提供给大模型生成答案。
采用 RAG 技术可以有效地解决大模型在知识更新不及时、数据安全、存在幻觉等方面的问题，通过向量数据库、图数据库等作为大模型的外置知识库，使大模型具有更高的精确度，因此，在今年受到技术界的广泛关注。RAG 与向量数据库成为了行业模型落地的优选项。
在云计算时代拥有自研大数据技术的资深数据厂商星环科技，正在进一步基于 RAG 技术与星环科技向量数据库 Transwarp Hippo，利用行业与企业中存在的大量半结构化和非结构化数据，去提升行业大模型的准确性。
Transwarp Hippo 是一款企业级云原生分布式向量数据库，支持存储、索引以及管理海量的向量式数据集，解决向量相似度检索以及高密度向量聚类等问题。Hippo 具备高可用、高性能、易拓展等特点，支持多种向量搜索索引，以及数据分区分片、数据持久化、增量数据摄取、向量标量字段过滤混合查询等功能，能够很好的满足企业针对海量向量数据的高实时性检索等场景需求。
CPU 助力大模型优化创新，星环科技与英特尔发布向量数据库解决方案
不过，大模型与数据系统的性能提升绝非易事，企业落地大模型，除了要确保模型的实时性、隐私安全和准确性之外，还有考虑系统性能、扩展性，以及部署实施成本等因素。为了系统软硬件结合调优，提升向量数据库性能，并降低企业落地大模型的成本，星环科技与英特尔联合发布了向量数据库解决方案。
结合英特尔至强可扩展处理器多方面的性能优势，并把软硬件进行深度融合，英特尔携手星环科技打造了一个整体更加高性能的解决方案，值得注意的是，这也是一个用 CPU 去实现大模型优化的创新方案。英特尔中国软件技术合作事业部总经理唐炯表示：“和星环科技的合作，能帮助英特尔从更完整的、端到端的客户需求角度来理解数据存储、数据治理、智能分析等技术需求，为中国市场交付更能够满足用户综合需求和使用习惯的硬件产品。”
具体来说，该解决方案得益于英特尔至强可扩展处理器里集成的 AVX512 扩展指令集，重写向量距离计算函数，降低向量计算所需 CPU 指令与 CPU Cycle 数量，能够充分发挥处理器高内存带宽优势。另外，方案采用 NUMA 友好的向量计算负载调度算法，避免 CPU 远程内存访问造成 CPU Stalling，充分发挥了英特尔至强可扩展处理器的多核性能优势。第三，基于数据离散度的浮点数矢量化算法，以及充分利用 VNNI 指令集，该方案进一步提升了向量计算的性能。
方案中使用的 AVX-512 是英特尔至强可扩展处理器中的一项集成内置加速器功能——英特尔® 高级矢量扩展 512（英特尔® AVX-512）。AVX-512提供针对 AI、分析、科学模拟、金融模拟和其他涉及基于矢量计算的计算密集型任务的内置加速，而无需其他独立加速器，从而在降低复杂性的同时也控制了成本。得益于Hippo向量数据库和至强可扩展处理器的性能优势，软硬件一体的联合解决方案整体性能可以实现20%-30%左右的提升。
联合方案用向量数据库可以解决大模型领域知识实时性低、数据隐私安全、模型幻觉等问题，通过软硬件的深度优化，能够满足海量、高纬度向量数据处理对性能的极致需求，并具备低时延和高精确度等优势。对于企业而言，该方案可以让 AI 数据系统按需进行水平扩展，以容器化技术支持服务弹性扩/缩容，满足企业未来发展对海量、高维度向量数据存储和计算的需求，降低大模型二次训练的成本，并且通过系统自带 Embedding 工具和模型、高扩展、高性能等特性提升企业在大模型建设方面的总体拥有成本效益。
星环科技基础架构部副总经理刘熙指出，“与英特尔联合研发，共同优化星环科技的数据库产品，让向量数据库在通用 x86 服务器上就可以获取 AI 应用所需要的性能和特性。”此外，数智融合趋势下，AI 对数据的需求还有很多。刘熙也分享了对大数据技术的趋势观察和星环科技的实践成果，分别是湖仓集一体化、实时数据和历史数据融合分析、利用大数据技术增强大模型能力、和利用大模型来增强大数据分析。
而本次联合发布方案已经不是星环科技与英特尔第一次合作。刘熙表示早前双方已经联合研发推出了分析型数据库软硬件一体的解决方案。现在英特尔与星环的深层合作已经遍及 AI 大模型各层，希望全方位助力企业落地大模型并实现降本增效。
回到《CSDN AI 开发者生态报告》，我们能够看到，除了数据问题，让大模型技术落地的开发工作无比庞杂，开发者面临的问题还有如 AI 大模型技术基础设施不足、缺乏和难招聘 AI 技术人才，以及监管、法律风险与合规性等问题。灵活、性价比永远是企业落地新兴技术的关注重点，而基于 CPU 构建的 AI 数据方案，可以让企业更灵活的通过软硬件技术，落地大模型与 AI 应用，对大多数企业而言是更具可行性的技术路线。我们将持续关注大模型创新技术与应用落地实践。
