01 研究范围定义
研究范围

大模型是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的模型。2023年以来，ChatGPT引爆全球大模型市场。国内众多大模型先后公测，众多互联网领军者投身大模型事业，使得大模型市场进入“百团大战”阶段，2023年成为公认的“大模型元年”。

企业用户方面，大模型的应用速度之快超乎想象。2023年初，企业管理层对大模型的话题还停留在大模型是什么，是不是概念炒作。短短半年，大模型已经从饭后谈资走向落地应用。大企业管理层们希望了解到大模型能为企业发展带来哪些变革，大模型的应用路径是什么，如何提升大模型的投资回报率，以及应该为拥抱大模型做哪些准备。而且，大模型吸引的人群也愈发广泛，不仅吸引CIO、CTO等技术管理者的关注，CEO、CMO等非技术类管理者同样期待大模型在业务中发挥价值。这些转变表明，大模型的变革之力正日益得到产业界的认可。

通过对市场规模数据的分析，能较为直观地体现出企业对大模型应用落地的热情。爱分析数据显示，2023年中国大模型市场规模约为50亿元（人民币，下同）。2023年，企业在大模型方面的采购特点是论证多、采购少，各企业计划在2024年开始大量释放大模型预算，因此市场规模将大幅增长，预计达到120亿元。

爱分析认为，大模型市场从技术架构角度可以划分为基础层、模型层、中间层和应用层。基础层是指为大模型训练推理而提供的基础环境，包括湖仓一体、向量数据库、智算中心、大模型安全流通平台等。模型层是指基础大模型以及微调后的大模型，包括通用大模型、行业大模型、领域大模型和企业大模型。中间层是模型层和应用层之间的“桥梁”，有利于大模型在各种实际场景快速落地，包括大模型应用开发工具、LLMOps工具等。应用层是指大模型应用和解决方案，包括知识库问答、智能客服、对话式分析等。大模型市场划分详见下图。

图1：大模型市场全景地图

本报告重点选取知识库问答、对话式分析、AI Agent、通用大模型、行业大模型、企业大模型、大模型安全流通平台七个市场进行研究。

厂商入选标准：

本次入选报告的厂商需同时符合以下条件：

厂商的产品服务满足各市场分析的厂商能力要求；
近一年厂商具备一定数量以上的企业付费客户（参考第3章各市场分析部分）；
（注：“近一年”指2023年Q1至2023年Q4）

02 厂商全景地图

03 市场分析与厂商评估
爱分析对本次大模型项目重点研究的特定市场定义如下。同时，针对参与此次报告的部分代表厂商，爱分析撰写了厂商能力评估。

3.1 知识库问答

市场定义：

知识库问答是指将大模型与知识库相结合，改变原有的知识库构建、应用与运维的方式，致力于更好地支撑企业管理层及全体员工的知识检索与应用需求。

甲方终端用户：

企业管理层及全体员工

甲方核心需求：

成本可控、验证速度较快、覆盖的企业内部用户比较多等多重因素共同作用下，知识库成为大模型在企业落地的首选场景之一。从渗透情况来看，大模型在知识构建、知识校验和知识库应用三个环节渗透较深。

图1：知识库构建流程及大模型渗透情况

基于大模型在知识库场景的渗透情况，当前甲方对知识库问答主要有三项核心需求，一是压缩知识库冷启动时间，二是降低知识校验环节对人工的依赖，三是企业亟需解决幻觉问题。

压缩知识库冷启动时间。当前，知识构建工作比较依赖话术师，他们负责整理问答对和扩写相似问，此过程比较依赖他们的个人经验。一个话术师整理一类知识库通常需要耗费大约1-3 个月的时间。知识构建是知识库冷启动的核心环节，知识构建效率偏低会直接导致知识库冷启动时间比较长。企业需要借助大模型的理解能力和生成能力压缩知识库冷启动时间。引入大模型之后，可以提升问答对整理和相似问扩写的速度，甚至可以直接采用“大模型+文档库”的方式，实现更极致的冷启动压缩。
降低知识校验环节对人工的依赖。在完成知识构建后，企业需要校验知识准确性以及文法细节，此环节主要靠人工来实现。并且，该工作对相关人员的工作经验有较高要求。企业希望借助大模型实现自动化知识校验。
知识库交互方式变化，企业亟需解决幻觉问题，生成可信的答案。传统知识库主要采用人工检索方式，很难直接告诉用户答案，该交互方式比较低效。企业需要利用大模型的生成能力直接生成用户所需的答案。但是，交互方式的变化也为知识库应用带来新的挑战，即大模型幻觉导致的答案不可信。
厂商能力要求：

厂商需要满足三项能力要求，一是具备利用大模型进行知识分类、知识抽取和问答对拆分的能力，二是具备解决两个校验难题的方案，三是具备RAG、微调等缓解大模型幻觉的能力。

具备利用大模型进行知识分类、知识抽取和问答对拆分的能力。引入大模型之后，首先可以做知识域的自动分类。第二个作用是自动抽取知识点的实体和关系，本质是基于大模型做预处理，降低对人工的依赖程度。第三个作用是问答对拆分和相似问扩写。过去，该环节非常依赖话术师，有大模型以后可以实现自动化，相关人员则转变为审核职能，即主要负责知识管理，而非知识创建。
具备解决两个校验难题的方案。直接利用大模型进行知识校验存在两个比较明显的问题。首先是过度校验。即原来的回答比较准确，但大模型会演绎出很多新内容，导致校验工作质量下降。第二个问题是新词校验存在滞后性，因为大模型背后的知识是无法实时更新的。厂商可以通过Prompt工程、RAG、微调大模型等方式解决上述两个问题。
具备RAG、微调等缓解大模型幻觉的能力。企业需要利用大模型的生成能力直接生成用户所需的答案。但是，交互方式的变化也为知识库应用带来新的挑战，即大模型幻觉导致的答案不可信。厂商需要具体幻觉大模型幻觉的能力，主要有RAG、微调两种方式。RAG是指在大语言模型推理生成答案时，额外检索调用外部的知识，然后综合其检索结果进行回答生成。RAG为大模型提供了准确、丰富、可解释的知识支撑，从而实现更准确的语义理解、答案推理以及答案解释。微调则是厂商根据行业或企业数据，对基础大模型进行优化，以便其更好地胜任特定任务。对基础大模型进行后训练也是一种缓解大模型幻觉的方式，但较高的成本导致其可行性较低。
入选标准：

1. 符合知识库问答市场分析的厂商能力要求；

2. 近一年厂商在该市场至少服务1家企业（含POC）。

代表厂商评估：

爱数

厂商介绍：

爱数是一家全域数据能力服务商，通过全域数据的整合、治理、洞察与保护，实现数据的资产化和知识化，与客户共同打造数据驱动型组织。2003年爱数在长沙起步，2006 年上海爱数成立，2023 年爱数集团正式成立，公司双总部位于上海、长沙，目前全球员工约 1700 人，业务遍及 60 多个国家与地区，合作伙伴超过千家，客户积累超过 27000 家，分布于金融、高端制造、运营商、政府、公共事业等各行业。

产品服务介绍：

爱数产品架构分为基础层、认知层和产品层。基础层提供GPU集群和混合数据湖；认知层则通过领域大模型与领域知识网络相互增强，实现认知能力；产品层是指AnyFabric（数据编织架构）、AnyShare（智能内容管理平台）、AnyRobot（可观测性平台）和AnyBackup（统一数据管理平台）等多个应用产品，它们通过认知助手获得大模型赋能。

AnyShare family 7是AnyShare的最新产品，它是爱数打造的属于AGI 时代的智能内容管理平台。AnyShare family 7通过挖掘非结构化数据的标签、编目、实体对象，形成的事件信息和知识，可以服务于合同一致性和风险审核、文案撰写、资料查找。并且，在AnyShare 认知助手加持下，AnyShare family 7实现了大模型辅助创作、辅助内容阅读和智能搜索，同时可以通过内容开放 API 和组件被企业应用集成。

厂商评估：

爱数提供“企业知识+大模型”端到端解决方案，涵盖算力、基础大模型、知识化、应用等多个层面。并且，AnyShare存量客户只需采购爱数大模型一体机和AnyShare认知助手，即可实现轻量化升级。在大模型幻觉方面，爱数以检索增强生成模式（RAG）实现大模型领域化，可以有效缓解幻觉产生。在交付方面，爱数拥有完备的数据管理能力和服务团队，有利于大模型在企业真正发挥价值。同时，AnyShare family 7全模块开放，支持企业搭建个性化应用和流程。

爱数提供“企业知识+大模型”端到端解决方案，涵盖算力、基础大模型、知识化、应用等多个层面。在算力层面，爱数推出大模型一体机（AS19000），不仅让企业能够“开箱即用”，而且该产品将大模型训练与推理分离，实现低成本训练和低资源推理。爱数大模型一体机具有国产芯片和国外芯片两种型号，可以满足不同企业的需求。在基础大模型方面，爱数采用“中立”的架构设计，避免捆绑企业。如果企业没有倾向的大模型，可以直接采购封装了基础大模型的爱数大模型一体机；如果企业有倾向的大模型，可以直接将其接入AnyShare family 7。基础大模型之上是企业数据知识化能力层，爱数可以通过机器学习算法对企业数据进行解构，然后通过重新组装实现语义对齐，最终将其编织到领域知识网络之中。在此方面，爱数具备将企业数据以低成本、自动化方式转化为企业知识的能力。最上面是应用层，爱数提供内容门户、文档中心、工作中心、知识中心、表格中心、SAP数据资产管理等多个应用。
AnyShare存量客户只需采购爱数大模型一体机和AnyShare认知助手，即可实现轻量化升级。企业比较担心大模型应用对企业现状的挑战。一是IT投入挑战，如果需要企业将原有系统推倒，转而使用大模型相关应用，会带来比较高的投入。二是IT负责人规划能力会受到质疑，因为企业原有系统可能刚刚完成建设，未到更新换代的时候，IT负责人推进大模型应用落地可能受到来自企业内部的质疑。三是业务连续性受到挑战，企业将原有系统推倒重建，可能需要较长时间完成系统切换，影响业务开展。爱数AnyShare产品推出时间较久，有众多存量客户。对他们而言，只需采购爱数大模型一体机和AnyShare认知助手，即可实现轻量化升级。大模型一体机包含算力和基础大模型，AnyShare认知助手包含爱数所有基于大模型构建的AI能力。因此，AnyShare存量客户无需推倒原来系统，即可低成本、快速地完成“大模型升级”。
爱数以检索增强生成模式（RAG）实现大模型领域化，有效缓解大模型幻觉。目前，大模型领域化有两种解决思路，分别是检索增强模式（RAG ）和Finetune（微调）。检索增强是指在大语言模型推理生成答案时，额外检索调用外部的领域知识网络（领域数据、概念库、知识图谱等），然后综合其检索结果进行回答生成。领域知识网络为大模型提供了准确、丰富、可解释的知识支撑，从而实现更准确的语义理解、答案推理以及答案解释。相比单纯依靠模型训练，外部领域知识网络的引入可以大幅提升回答的准确性和合规性。它有效减少了大模型幻觉，使应用更加可控。爱数以领域知识网络“可控制、可编辑、可保护、可溯源”等特性弥补大模型“不可控、难编辑”等缺陷，有效减少大模型“幻觉”现象的发生。
同时，在构建领域知识网络的过程中，爱数利用大模型的知识提取能力，从已有数据中抽取补充知识，实现知识网络的不断丰富和优化。通过这种良性循环，外部知识网络的引入强化了大模型的知识抽取能力，从而反过来进一步完善知识网络本身。最终使基于该知识网络的大模型应用效果持续提升。
爱数拥有完备的数据管理能力和服务团队，有利于大模型在企业真正发挥价值。基础大模型是实现“企业知识+大模型”的核心，但不是全部，厂商还需要具备权限控制、杀毒、水印等一系列数据管理能力。如果厂商只掌握预训练、微调等方法，容易导致企业在“企业知识+大模型”的应用之路上停留在比较初级的阶段。爱数AnyShare产品已有十余年历史，交付了数千家企业，经过几轮迭代逐渐形成比较完备的数据管理能力，包括权限控制、海量分布式文件管理、容灾、备份、杀毒、水印、国产化、涉密管理等。以权限控制为例，企业内不同角色能接触到的数据、能用大模型来理解的数据必受个人权限限制，爱数能够保证经过语义理解的生成式搜索结果一定是根据使用者所拥有权限能看到的文档所产生的，并能在几十到几百毫秒完成一系列查找、生成工作。
除此之外，爱数拥有比较完备的组织架构为企业提供端到端的服务。爱数打造了专业的、独立于产品研发的服务团队，分区域为当地客户提供开发、部署等服务。爱数的产品研发团队则专注核心产品的研发迭代，保持产品稳定性。相较于组织架构比较单一的厂商，爱数在交付周期、版本控制、服务品质等方面具有一定优势。
AnyShare family 7全模块开放，支持企业搭建个性化应用和流程。AnyShare family 7拥有全新的架构设计，每个模块均保持高度开放性，支持企业搭建个性化应用和流程。企业里一个文档全生命周期包括自动采集录入、对象处理、信息化、杀毒、知识化、纳入知识体系、搜索、门户呈现等环节， AnyShare family 7在每个环节让特定模块来负责，并保持它们的高度开放性。比如企业可以自定义审批、打水印等流程，自定义搜索目标（人、文档或者产品），自定义门户的个性化呈现等。企业可以在每一环节低成本、快速地按照自身需求进行系统接入和开发。
典型客户：

国泰君安、金诚同达

3.2 对话式分析

市场定义：

对话式分析是指将大模型与数据分析相结合，改变原有的交互方式与工作流程，致力于更好地支撑企业管理层和业务部门数据分析需求。

甲方终端用户：

企业管理层、业务部门

甲方核心需求：

随着大模型带来能力突破，让AI与数据分析相互结合，使分析结果更好地支撑企业管理和业务发展，促进企业内部数据价值释放，成为了当下企业尤为关注的话题。爱分析认为，对话式分析是大模型在2024年的重要落地场景之一。核心原因在于对话式分析正在朝着逐渐降低门槛，增强企业业务部门自主性，从而实现自助式分析能力的方向发展。

企业对对话式分析有两项核心需求，一是借助大模型实现更准确的意图理解和SQL生成，二是借助大模型实现深度分析。

借助大模型实现更准确的意图理解和SQL生成。传统的取数过程中，用户需要明确掌握SQL语言和相应的数据库结构来提取所需信息。随着NL2SQL技术兴起，用户只需使用自然语言描述需求，由后端系统将其转换为适当的SQL语句，简化了查询过程。但NL2SQL技术仍有缺陷，其自然语言处理能力较弱，在处理模糊查询和复杂意图查询方面存在挑战。例如，NL2SQL技术难以解决像“我想查询公司内部有多少本科以上学历的员工”这种问题，该模型可以准确识别“本科”一词，但难以理解“本科以上”这四个字。大模型为NL2SQL带来了更强大意图理解能力，在处理模糊、多义或复杂的用户查询时，系统可以更准确地识别用户的真实需求。当然，在大模型出现之前，市场上也存在解决以上问题的方法。这是主要依靠项目化的方法，通过不断的配置和人工微调的方式来解决查询模板无法处理的问句。该方法导致项目交付周期长、成本投入大，并且长期需要运维人员持续维护。
除在意图理解方面的优势外，大模型在SQL生成方面也可以给企业带来更好的体验。2023年8月，Defog团队推出SQLCoder大模型，专门用于将自然语言问题转化为 SQL 查询。这是一个拥有150亿参数的模型，在自然语言到SQL生成任务上，其性能略微超过gpt-3.5-turbo，并且显著地超越了所有流行的开源模型。
借助大模型实现深度分析。取数可以视为分析的前置动作，也可以视为浅层分析。其属于描述性分析，用于回答“发生了什么？”，核心要求是呈现全面、准确、实时、可视化的数据。除此之外，企业还需要诊断性、预测性和处方性数据分析。诊断性分析用于回答“为什么会发生”，核心要求是能够深入了解问题的根本原因。预测性分析用于回答“未来可能发生什么”，核心要求是通过历史数据来预测未来。处方性分析用于回答“现在我应该做什么”，核心要求基于数据和分析技术提出具体建议。诊断性、预测性和处方性数据分析需要用相关性分析、预测性分析、因果推断等分析方法来具体实现。企业对对话式分析的期待不局限于取数，而是希望它在深度分析方面可以发挥更大价值。
图2：数据分析的四个层次

厂商能力要求：

厂商需要满足两项能力要求，一是具备限定查询边界的能力，二是具备训练或微调大模型的能力。

具备限定查询边界的能力。为保证取数准确率，目前主要采用限定查询边界的解决思路。具体而言，有两种实现路径。一是将大模型与宽表或语义层相结合，运用宽表和数据源来构建语义层，继而在该语义层上进行相应的匹配和查询。这类模式的具体操作方式是，先去精准地匹配到语义层，如果未能实现精准匹配，一般会通过一个亿级别的小模型先去精准地匹配到宽表，然后基于宽表再用大模型去做理解，二是基于指标平台，这一点与前面提到的语义层颇为相似，是把常见的指标先基于宽表进行计算，如果再运用自然语言查询指标，其精确度会相对较高且基本上具备可控性。这种方式能够在一定程度上降低幻觉现象。
具备训练或微调大模型的能力。企业可以直接用基础大模型进行相关性分析和预测性分析，但效果欠佳。需要厂商对基础大模型进行训练或微调，一是强化其各项数据分析的能力，二是提升多轮对话能力，因为深度分析时往往需要用户与系统的多次交互才能获得最终结果。当前，通过大模型实现因果推断难度较大，对厂商而言不属于必要能力项。
入选标准说明：

1. 符合对话式分析市场分析的厂商能力要求；

2. 近一年厂商在该市场至少服务1家企业（含POC）。

代表厂商评估：

飞算科技

厂商介绍：

飞算数智科技（深圳）有限公司（简称“飞算科技”）是一家坚持自主创新的数字科技公司，作为新一代数字化技术服务专家，飞算科技以互联网科技、大数据、人工智能等技术为基础，结合多年实践经验推出一系列数字科技产品。致力于为民生产业、中小企业、金融企业等客户提供科技支持与服务，助力客户实现科技化、数字化、智能化转型升级。

产品服务介绍：

飞算科技拥有产业数字化服务、软件科技服务、数据治理服务、数智应用服务、产业科技服务、数字决策服务等六大业务板块，涵盖SoFlu软件机器人、SoData数据机器人、AI.Modeler建模机器人、AI.Insight、产业数智通等产品及解决方案。

飞算科技积极将旗下产品及解决方案与大模型融合，已取得一定成果，AI.Insight是其中代表。AI.Insight是一款AI赋能的数据分析产品，它在企业数字化转型过程中发挥承上启下作用，形成以数据为基础的业务决策支撑，提高企业决策的准确性。AI.Insight属于通用产品，不局限于特定行业。

图3：AI.Insight 技术架构

厂商评估：

数据分析与决策支援是大模型的重要落地场景之一。借助大模型，数据分析正朝着企业业务部门自助式分析方向发展。飞算科技的AI.Insight 以大模型为技术支撑，支持业务人员与企业数据实现对话式交互，规避以往业务人员与IT/分析人员的“交流鸿沟”和复杂流程。并且，AI.Insight提供可视化分析、异常分析、自动算法分析等多项能力，实现一站式数据分析，解决分析工具割裂难题。同时，飞算科技还以AI.Insight为核心打造客户运营全流程解决方案，助力企业可持续发展。

飞算科技具备完善的数据分析方法论，有利于建立企业业务部门对AI.Insight的价值共识，推动立项。飞算科技深耕数据分析多年，已搭建一套完善的数据分析方法论，该方法论明确展示企业决策与数据分析方法的关联关系。具体而言，飞算科技认为从数据到决策的过程包括四个环节，分别为“发生了什么”、“为什么发生”、“将发生什么”和“我该怎么做”，依次对应描述性分析、诊断性分析、预测性分析和处方性分析。
图4：数据分析过程、方法及工具

并且，飞算科技对当前企业数据分析痛点有深刻认知，将其归纳为“分析工具割裂”、“人的沟通割裂”、“流程复杂”三个方面。基于数据分析方法论和痛点认知，飞算科技可以快速诊断企业在数据分析方面存在的问题，与企业业务部门达成共识，进而推动立项。

以大模型为技术支撑，AI.Insight支持业务人员与企业数据实现对话式交互，规避以往业务人员与IT/分析人员的“交流鸿沟”和复杂流程。数据分析领域的最大痛点：懂业务的人不懂技术，懂技术的人不懂业务，即技术部门与业务部门的割裂造成沟通困难。两类群体的沟通过程主要有四个痛点。一是业务人员无自主分析能力，需要向IT提出分析需求。二是业务人员提出需求给IT/分析人员，往往出现IT/分析人员对需求的理解存在偏差。三是IT/分析人员数据整理复杂，业务人员借助分析工具进行数据分析，时间周期长。四是给出的分析结果并不能满业务需要，从而往复沟通。
AI.Insight应用大模型的自然语言交互能力，让业务人员可以自主跟企业数据直接交互，并将分析结果通过自然语言生成业务人员易理解的语言描述。该方式规避了业务人员与IT/分析人员沟通难的问题，让分析周期从数周缩短到数日。
AI.Insight提供可视化分析、异常分析、自动算法分析等多项能力，实现一站式数据分析，解决分析工具割裂难题。不同分析目的需透过不同分析工具才能达成，企业使用数据进行决策时一般需要综合使用传统BI工具、编程工具、建模平台、情境模拟等多种工具，分析工具割裂造成数据分析成本较高以及效率较低。
AI.Insight将多种功能集于一身，可实现一站式数据分析。具体而言，AI.Insight有四个亮点功能。一是异常分析，AI.Insight可以自动对数据进行时序异常检测、因果关联、波动归因等原因分析，并给出结论性描述。二是自动分析，AI.Insight可以对数据洞察点进行Auto OLAP分析，支持上卷、钻取、切片、切块等多维度分析与多种机器学习算法分析。三是客户特征分析，AI.Insight基于数据洞察点进行客户特征分析，定位目标客户群体。四是智能图表推荐，AI.Insight通过智能图表推荐引擎展示合适的图表，并支持用户灵活切换图表。
飞算科技以AI.Insight为核心打造客户运营全流程解决方案，助力企业可持续发展。经济发展放缓，行业红利消退，企业逐渐重视存量客户运营。较多企业希望能充分地释放存量客户的复购潜力，将其作为业绩增长重点。但是，多数企业使用的方式比较传统，它们依赖经验法则和人工操作，导致效果欠佳。
飞算科技以AI.Insight为核心，结合AI.Modeler自动建模平台和AI.Marketer自动化营销平台，为企业提供客户运营全流程解决方案。该解决方案可应用于“高潜力存量客户名单筛选”、“客户唤醒与交叉销售”等多个场景，助力企业实现高效的客户运营。
典型客户：

某国有银行重点分行、某知名餐饮连锁企业

3.3 AI Agent

市场定义：

AI Agent是指以大模型为驱动，具有自主理解感知、规划、记忆和使用工具的能力，能自动化执行完成复杂任务的系统。

甲方终端用户：

企业IT部门、业务部门

甲方核心需求：

AI Agent相较于Copilot，有诸多能力的提升。其中，Planning能力是二者最大的区分，也是企业最为需要的能力项。Copilot需要明晰的Prompt才能发挥作用，AI Agent则与此不同，它可以自行规划并执行任务。AI Agent完成计划后，企业需要其调用组件来执行任务。对大企业而言，可能需要上百个AI Agent，需要对多AI Agent进行统一管理。

企业需要AI Agent的Planning能力。AI Agent相较于Copilot，有诸多能力的提升。其中，Planning能力是二者最大的区分，也是企业最为需要的能力项。Copilot需要明晰的Prompt才能发挥作用，AI Agent则与此不同，它可以自行规划并执行任务，也可以调动一系列组件来完成目标，甚至可能探索周围环境。例如AI Agent可以知道用户所在公司差旅政策以及用户对航空公司、酒店的偏好信息，当用户跟它下达指令就可以说“帮我安排下周的行程”，它们将直接输出切实可行的方案。
企业需要AI Agent调用组件来执行任务。AI Agent若要完成用户的任务指令，通常需要调用各种组件，例如文档处理组件、数据分析组件等。这将改变人与系统的交互方式，用户不再需要对系统功能以及操作路径进行记忆，而是通过自然语言让AI Agent调用组件来执行任务。
企业需要对多AI Agent进行统一管理。目前来看，尚不具备满足所有场景需求的“超级AI Agent”，企业要针对不同场景构建多个AI Agent。对大企业而言，可能需要上百个AI Agent。如果考虑AI Agent的生命周期与更新低代，管理工作将变得更为复杂。因此，企业需要对多AI Agent进行统一管理。
厂商能力要求：

厂商需要具备构建AI Agent Planning能力的解决方案。当前，尚不具备成熟的、统一的构建方法，各家厂商各有千秋，包括结合专家SOP、引入CoT概念或ReAct模式等。AI Agent若要完成用户的任务指令，通常需要调用各种组件。相应地，厂商需要具备丰富的组件库，让AI Agent能真正发挥价值。对于企业的个性化需求，厂商应预留低代码开发模块来满足。企业需要对多AI Agent进行统一管理。从成本、安全等方面考虑，企业一般不会长期依赖厂商提供相关服务，而是需要一套成熟工具链实现能力内化。该工具链应该覆盖AI Agent构建与运营的全生命周期管理。

厂商需要具备构建AI Agent Planning能力的解决方案。AI Agent相较于Copilot，有诸多能力的提升。其中，Planning能力是二者最大的区分，也是对企业最为需要的能力项。厂商需要具备构建AI Agent Planning能力的解决方案。当前，尚不具备成熟的、统一的构建方法，各家厂商各有千秋。有的厂商采用结合专家SOP的方式，由业务专家将业务流程梳理成SOP的形式，将其与大模型结合。此方法适用流程比较固定场景，例如财报分析、简历分析等。有的厂商在方案中引入CoT概念或者ReAct模式，让大模型生成关于任务指令的解决方案。
厂商需要具备组件库和低代码能力。AI Agent若要完成用户的任务指令，通常需要调用各种组件，例如文档处理组件、数据分析组件等。并且，交互方式的改变是的用户无需记忆系统功能和操作路径，进而突破系统组件上限，进一步增加对组件的需求。相应地，厂商需要具备丰富的组件库，让AI Agent能真正发挥价值。对于企业的个性化需求，厂商应预留低代码开发模块来满足。
厂商应提供AI Agent构建与运营的全生命周期管理平台。企业需要对多AI Agent进行统一管理。从成本、安全等方面考虑，企业一般不会长期依赖厂商提供相关服务，而是需要一套成熟工具链实现能力内化。该工具链应该覆盖AI Agent构建与运营的全生命周期。
入选标准说明：

1. 符合AI Agent市场分析的厂商能力要求；

2. 近一年厂商在该市场至少服务1家企业（含POC）。

代表厂商评估：

澜码科技

厂商介绍：

澜码科技是一家基于大语言模型的Agent平台公司，是国内探索大语言模型应用落地和AI Agent的先行者。基于底层大语言模型，澜码科技自主研发了能够连接人和系统的企业级Agent平台“AskXBOT”，助力企业构建基于专家知识的超级自动化，从而提升业务质量和效率。

产品服务介绍：

AskXBOT平台是澜码科技自主研发的基于大语言模型的企业级AI Agent平台。平台集Agent与工作流设计、开发、使用、管理，以及知识沉淀于一体。在AskXBOT平台上，企业可以用对话的方式提出需求，设计、创建和管理 Agent，快速定制企业级 AI Agent 来完成各类任务，包括财报分析、组卷判卷、供应商资质审查、智能风控、财务审核、经营分析、招聘助手等。

厂商评估：

澜码科技助力企业实现“专家知识普惠”，提升基层员工生产力。并且，澜码科技已构建较完善的业务价值体系，搭配成功案例可快速推进AI Agent立项。AI Agent属于新兴领域，澜码科技是该领域的先行者。针对“企业如何建设AI Agent”的问题，澜码科技经过探索已沉淀出一套较完整的方法论。在商业模式方面，澜码科技较为独特，提出了“先有收益，再分配”的商业模式，希望与行业伙伴共建AI Agent生态。

澜码科技助力企业实现“专家知识普惠”，提升基层员工生产力。过去，企业业务专家的经验主要通过“SOP文件+培训”的方式传递至基础岗位员工，传递过程存在大量损耗，导致成本较高且效果欠佳。基于AskXBOT 平台，企业可以将专家知识快速传递给基层员工，实现知识普惠，进而提升基层员工生产力。具体而言，AskXBOT 平台先将专家知识教给AI Agent，然后让其赋能大量基层员工，帮助他们将工作能力由“新手”、“高级新手”快速成长为熟练级的胜任者，工作状态也相应地从仓促应对转变为从容胜任。例如，某银行借助AskXBOT平台在短期内对18万名员工完成保险业务培训，这在过去是难以实现的。
澜码科技已构建较完善的业务价值体系，搭配成功案例可快速推进AI Agent立项。讲清楚大模型业务价值是CEO同意将大模型纳入企业未来规划的必要条件之一。大模型厂商需要构建自己的业务价值体系，与CIO/CTO合作推动企业管理层对大模型及其应用的价值认同，最终实现立项。澜码科技围绕AskXBOT平台构建了一套较为完善的业务价值体系，包括增收、降本、提效和降风险等要点。同时，澜码科技已在金融、教育、零售、政务等行业落地多个成功案例，可作为业务价值的佐证用来增强对CEO的说服力。
增收相关案例：某银行在信贷申请高峰期人手不够，一般有两种处理选项。一是降低审核标准，加快审核速度，但会带来更多坏账风险；二是坚守审核标准，但过长的等待时间会将客户推向其他银行。澜码科技利用AskXBOT平台把审核专家的知识通过CUI的方式让一线初级员工也能用起来，在保证审核质量的同时缩短审核时间，留住更多潜在信贷客户，实现增收。
降本相关案例：某海外汉语教学机构服务于一带一路上多个国家的学员，对他们进行汉语培训与考试。考试的工作流程一般是先由汉语专家确定考试模板，再需要初级和中级教育人员执行出题与翻译工作。当前，该机构聘请了5名全职教研员和150名外聘实习教师从事第二阶段的工作。澜码科技利用AskXBOT平台可以迅速完成出题工作，帮助该机构减少对初级和中级教育人员的人力支出。
澜码科技探索出较完整的AI Agent建设方法论，并提供全流程服务。AI Agent属于新兴领域，澜码科技是该领域的先行者。针对“企业如何建设AI Agent”的问题，澜码科技经过探索已沉淀出一套较完整的方法论。
图5：澜码科技AI Agent建设方法论

澜码科技的AI Agent建设方法论包括三个步骤。第一步是把企业关键业务流程所需要的专家知识进行数字化处理，包括梳理问答、搭建指标中台等。第二步是基于CUI的柔性交互，致力于让系统适应人，而不是人适应系统。第三步是把整个使用过程记录下来，作为持续补充和优化专家知识的依据。

AI Agent建设过程中涉及专家知识梳理、指标中台搭建等工作，澜码可提供相关服务。为满足企业需求，澜码科技配备了专业的知识团队，职能类似于传统AI时代的数据标注团队。并且，澜码科技的创始人兼CEO周健也可参与指导项目，贡献行业及流程Know-how。周健曾是依图科技的10号员工和弘玑Cyclone CTO，具备多年B2B一线业务经验。

澜码科技提出“先有收益，再分配”的商业模式，希望与行业伙伴共建AI Agent生态。澜码科技致力于与合作伙伴建立更深层次的合作。具体而言，澜码科技负责提供AskXBOT平台等生产力工具以及相关服务，由合作伙伴提供专家知识和业务场景。待双方合作取得业务收益之后，在进行收益分配。并且，澜码科技将遵循排他性的合作原则，在每个细分行业中只合作一家企业。
如今，猎头，咨询、电商选品等多个行业的数家企业对该合作模式感兴趣，已与澜码科技进入商务谈判环节。
典型客户：

太平保险、桃李中文、CGL、超级导购、湖北省市场监督管理局

3.4 通用大模型

市场定义：

通用大模型是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的非开源免费模型。

甲方终端用户：

行业头部企业IT部门

甲方核心需求：

大多数企业只需要大模型应用，而头部企业对大模型的需求则不局限于此。通用大模型是头部企业IT基础的重要拼图之一，企业需要依托通用大模型进行能力建设。企业需要通用大模型可以支撑业务，发挥价值。并且，企业需要“通用大模型+算力”的综合解决方案来应对“卡荒”。

企业需要依托通用大模型进行能力建设。大多数企业只需要大模型应用，而头部企业对大模型的需求则不局限于此。通用大模型是头部企业IT基础的重要拼图之一，企业需要依托通用大模型进行能力建设。企业需要通用大模型支撑多种业务场景，例如客服、数据分析、营销素材生成等。这些场景映射到模型本身，则对模型能力提出要求，包括文本生成、SQL生成、多模态等。当前，尚不存在“六边形战士”类的全能大模型，头部企业可以通过采购、部署多个通用大模型，共同完成大模型能力建设。
企业需要通用大模型可以支撑业务，发挥价值。部署通用大模型并不能直接为企业带来价值，还需要“改造”和“开发”。改造是指结合企业私有数据进行微调甚至后训练，以便其更好地执行特定任务。开发是指需要基于通用大模型开发全新的上层应用或者赋能已有的IT系统。
企业需要“通用大模型+算力”的综合解决方案来应对“卡荒”。 通用大模型的微调、推理需要高端AI芯片作为算力底座。但是，美国政府持续扩大针对中国芯片的出口限制，加剧了国内算力供应的压力，AI芯片价格持续走高且一卡难求。企业通常需要“通用大模型+算力”的综合解决方案来应对“卡荒”，解决对算力的后顾之忧。
厂商能力要求：

企业基于对通用大模型的需求，向厂商提出多项能力要求。一是通用大模型需要具备鲜明的能力特点。二是厂商需要提供大模型应用开发工具、LLMOps工具、AI Agent等工具层产品。三是厂商需要具备足够的高端AI芯片，并具备以华为昇腾为代表的国产化芯片替代方案。

通用大模型需要具备鲜明的能力特点。头部企业需要依托通用大模型进行能力建设。当前，尚不存在“六边形战士”类的全能大模型，头部企业可以通过采购、部署多个通用大模型，共同完成大模型能力建设。因此，通用大模型需要具备鲜明的能力特点，与企业需求进行匹配。能力特点包括文本生成、SQL生成、多模态、知识检索、多轮对话、提示词长度等。
厂商需要提供大模型应用开发工具、LLMOps工具、AI Agent等工具层产品。出于成本和安全等因素考量，企业需要实现大模型改造和开发能力的内化。除通用大模型和算力之外，厂商通常需要提供大模型应用开发工具、LLMOps工具、AI Agent等工具层产品。涵盖大模型应用开发、大模型微调、大模型运维、AI Agent构建与运维等多个方面。
厂商需要具备足够的高端AI芯片，并具备以华为昇腾为代表的国产化芯片替代方案。企业需要“通用大模型+算力”的综合解决方案来应对“卡荒”。相应地，厂商需要具备足够的高端AI芯片，才能满足企业需求。鉴于美国芯片供应的不确定性持续增加、国产芯片的崛起以及国产化替代事业的推进等多重因素，将国产芯片应用于微调、推理场景是大势所趋。厂商应具备以国产化芯片替代方案。当前，华为昇腾910是最热门的替代方案。
入选标准说明：

1. 符合通用大模型市场分析的厂商能力要求；

2. 近一年厂商在该市场至少服务1家企业（含POC）。

代表厂商评估：

出门问问

厂商介绍：

出门问问是一家以生成式AI和语音交互为核心的人工智能公司，为全球多个国家的创作者和企业提供AIGC工具、AI政企服务，以及AI智能硬件。出门问问致力于打造国际领先的通用大模型，通过AI技术、产品及商业化三位一体发展，成为全球AI CoPilot的引领者。

产品服务介绍：

出门问问基于自研通用大模型——序列猴子，面向全球多个国家的创作者和企业提供一系列大模型产品及解决方案。「序列猴子」大模型以语言为核心的能力体系，涵盖“知识、对话、数学、逻辑、推理、规划”六个维度。特别的是，该模型拥有优秀的跨模态知识迁移能力，能够将语言模型所涵盖的常识知识有效转化应用于其他非语言模态的模型当中。目前出门问问自研大模型「序列猴子」已通过备案，向全社会开放.

图6：出门问问AIGC SaaS

魔音工坊是一款AI配音及多人协同创作工具，具备软件配音、云剪辑、一键分析视频、文案提取、捏声音等功能。目前，「序列猴子」大模型赋能语音合成引擎，使其AI配音产品“魔音工坊”实现轻量数据极速克隆，情感效果媲美真人。魔音工坊还推出了面向海外内容创作者的海外版“DupDub”和企业可通过API整合部署的企业版。
奇妙元是一款数字人产品，可用于短视频制作以及网络直播，该产品不仅可以生成数字人形象，而且可以自动生成文案。
奇妙问是出门问问推出的“企业AI交互式数字员工生成平台”，面向政企、文旅等行业，打造数字接待、数字客服、数字销售等交互型数字员工。
图7序列猴子大模型

厂商评估：

出门问问深耕AI与大模型，具有深厚的技术和客户积累。出门问问的大模型产品不局限于单一文本模态，而是聚焦多模态。出门问问通过提供多模态大模型应用，为企业实现深度赋能。除多模态之外，出门问问还依托Agent技术打造企业知识助手、数据分析助手和自定义流程助手，致力于提升通用大模型的可用性和业务价值。在产品可用性方面，出门问问基于自研大模型解决“问答系统响应慢”难题，让问答系统更可用。在商业化方面，出门问问在内容创作领域已建立完整的大模型产品业务价值评估体系，有利于企业快速推进大模型立项。

出门问问深耕AI与大模型，具有深厚的技术和客户积累。出门问问是一家以生成式AI和语音交互为核心的人工智能公司，具有619项AI相关知识产权。该厂商已推出多款AI穿戴设备，以及汽车、金融和医疗等行业AI解决方案，是业内少有的具备软硬件集成能力的AI公司。在大模型方面，出门问问布局时间早于大部分厂商，其在2021年6月发布大模型“UCLAI”，并在2023年4月发布大模型“序列猴子”。
出门问问持续关注大模型前沿技术，其在AI Agent方面具备一定研究成果，并推出了一款相关产品。出门问问的AI Agent产品为面试机器人，属于奇妙问产品旗下。面试机器人主要应用于面试模拟场景，机器人基于面试背景设定以及使用者的简历信息，可以主动与使用者进行交流。另外，出门问问正聚焦“文案一键智能生成视频”技术研究，希望将其应用于网络短剧的快速制作。
出门问问具有深厚的客户基础，其在传统AI时代推出的魔音工坊、奇妙元等产品已积累大量客户。这些产品已完成大模型升级，提升了对客户的价值和吸引力。当前，魔音工坊、奇妙元等产品已积累约60万付费客户。并且，出门问问在大模型时代全新推出的奇妙元产品也已签约多家企业，进入交付阶段。
图8：魔音工坊产品能力与商业化进程

出门问问为企业提供多模态大模型应用，实现深度赋能。出门问问聚焦多模态，致力于让“序列猴子”大模型具备统辖音频、图像、视频等不同模态内容的能力，实现对企业场景更全面、更深度的覆盖。在音频方面，出门问问打造魔音工坊；在图像方面，出门问问打造奇妙元；在视频方面，出门问问正聚焦“文案一键智能生成视频”技术研究。
与业界聚焦多模态 Agent 方向的总趋势一致，出门问问推出了全新产品——奇妙问。奇妙问是出门问问多模态能力的集大成者，其将聪明的大脑、动听的声音和好看的外表融为一体，并与不同场景的大屏进行结合，为企业打造具备数字接待、数字客服、数字销售等职能的数字员工。
出门问问依托Agent，提升通用大模型的可用性和业务价值。Agent兴起，成为大模型价值落地的主要方式之一。出门问问依托Agent技术打造企业知识助手、数据分析助手和自定义流程助手，致力于提升通用大模型的可用性和业务价值。
企业知识助手通过整合企业私有知识库来丰富大型模型的知识储备。这种整合使得Agent能够提供基于自然语言的、交互式的企业专有知识查询服务。进而解决通用大型模型在应对企业应用场景时因领域知识不足而产生的误导性问题，即幻觉问题。企业知识助手已在工商银行私人银行落地应用。
出门问问基于大模型构建的数据分析助手能够通过将自然语言转化为数据分析语言或代码，例如调用API、访问数据库乃至编写数据分析代码，从而高效地获取、分析和可视化数据，为企业决策提供有力支持。克服传统BI工具常面临的使用难度大、高度依赖技术团队、结果反馈慢等问题。数据分析助手已在某半导体显示产品龙头企业落地应用。
理想的Agent应当在接收一套工具集和相关知识后，它能依靠大型模型的理解和推理能力独立地规划并拆解任务，设计出具体的执行步骤。它能智能地运用各种工具，检索所需知识，生成内容，并最终完成任务。然而，在企业实际应用中，由于各企业的知识体系、应用场景和业务需求差异巨大，加上大型模型本身存在的不确定性，这种“放手”式的做法往往带来不可预测的结果。出门问问基于此推出自定义流程助手，致力于满足企业对Agent的可控性需求，即对AI的执行过程和细节进行更精细的控制，确保AI能够按照人类确认过的工作流程来执行任务。自定义流程助手已在某智慧交通龙头企业落地应用。
出门问问基于自研大模型解决“问答系统响应慢”难题，提升问答系统可用性。问答系统是现阶段大模型最主流的应用之一。当使用者向问答系统提出问题之后，一般会经过声音转文字，大模型推理等环节才能呈现答案。如果是数字员工形态的的问答系统，还需进行渲染处理。使用者耐心有限，问答系统必须压缩各个环节时间，实现对问题的快速响应。然而，大模型推理环节一般耗时较长。因此，加快推理速度是厂商打造可用问答系统的“必答题”。
出门问问的解决方案是降低大模型“体积”，从而获得推理速度的提升。该方案的核心要点在于找到大模型推理效果和推理时间的最佳平衡点。出门问问自主研发通用大模型“序列猴子”，其在大模型预训练、微调等技术方面底蕴深厚。出门问问通过对自研大模型的灵活调整，已找到该最佳平衡点，解决了“问答系统响应慢”难题，让旗下的问答系统（奇妙问）更可用。
在内容创作领域，出门问问已建立完整的大模型产品业务价值评估体系。大模型“出圈”效应显著，许多企业高管表达出对大模型及其应用的浓厚兴趣。但从实际立项情况来看，大模型项目立项并不顺利。主要原因在于CEO等企业一把手希望看到大模型的业务价值，而较多IT负责人难以表达清楚。出门问问在内容创作领域深耕多年，积累数十万名付费客户。出门问问面对内容生产商和内容批发商等内容创作领域的参与者，总结出一套业务价值评估体系。该体系包括业务价值构成以及衡量价值的关键指标，有利于企业快速推进大模型立项。
典型客户：

中国工商银行、某能源类央企、某半导体显示产品龙头企业、某大型石化企业、某智慧交通龙头企业

3.5 行业大模型

市场定义：

行业大模型是指经过后训练或者微调，具备金融、医疗等明确的行业属性，致力于更好地完成特定任务。

甲方终端用户：

大型企业IT部门

甲方核心需求：

企业需要有行业属性的大模型，致力于更好地完成特定任务。并且，行业大模型需要是合规可信的，才能保证其可用性。美国政府持续扩大针对中国芯片的出口限制，加剧了国内算力供应的压力，AI芯片价格持续走高且一卡难求。企业通常需要“行业大模型+算力”的综合解决方案来应对“卡荒”，解决对算力的后顾之忧。

需要有行业属性的大模型。目前，通用大模型一般是基于广泛的公开文献与网络信息来训练的，属于“泛行业”，没有特定行业属性。企业较难指望通用大模型拿来就可用和好用。因此，企业更希望采建设具备自身所属行业属性的大模型，建设方式为私有化部署或公有云MaaS。
需要合规可信的大模型，保证其可用性。用于预训练的数据一般源自公开文献与网络信息，这种数据不仅数据噪音大，并且中文语料少。这不仅影响大模型生成内容的准确度，更由于生成内容受西方价值观影响较深，致使企业担心合规问题。大模型可信度问题主要在于存在大模型幻觉，“一本正经地胡说八道”让用户不敢使用大模型生成结果。
企业需要“行业大模型+算力”的综合解决方案来应对“卡荒”。行业大模型的微调、推理需要高端AI芯片作为算力底座。但是，美国政府持续扩大针对中国芯片的出口限制，加剧了国内算力供应的压力，AI芯片价格持续走高且一卡难求。企业通常需要“行业大模型+算力”的综合解决方案来应对“卡荒”，解决对算力的后顾之忧。
厂商能力要求：

企业更希望建设具备自身所属行业属性的大模型。因此，厂商要以高质量行业大数据作为行业大模型的属性保障。为保证行业大模型可用性，厂商需要具备应对合规、可信难题的解决方案。为应对“卡荒”，厂商需要具备足够的高端AI芯片，并具备以华为昇腾为代表的国产化芯片替代方案。

厂商要以高质量行业大数据作为行业大模型的属性保障。企业更希望建设具备自身所属行业属性的大模型。因此，高质量行业大数据是打造行业大模型的基础和门槛。大模型厂商一般具有技术积累，但在数据方面较为薄弱。它们主要依托公域数据训练基础大模型，或者结合用户私有数据训练或微调出企业大模型。它们由于缺乏行业深耕与数据沉淀，导致自有数据难以支撑行业大模型的训练。为保证行业大模型的持久生命力，厂商应具备动态更新高质量行业大数据的能力，而非只掌握一批“静态数据”。
具备应对合规、可信难题的解决方案。厂商需要具备深厚的中文语料积累和价值观对齐机制，来提升大模型生成结果的合规性。在可信方面，厂商需要具备缓解大模型幻觉的解决方案，包括知识图谱、RAG、向量数据库、提示词工程等。
厂商需要具备足够的高端AI芯片，并具备以华为昇腾为代表的国产化芯片替代方案。企业需要“行业大模型+算力”的综合解决方案来应对“卡荒”。相应地，厂商需要具备足够的高端AI芯片，才能满足企业需求。鉴于美国芯片供应的不确定性持续增加、国产芯片的崛起以及国产化替代事业的推进等多重因素，将国产芯片应用于微调、推理场景是大势所趋。厂商应具备以国产化芯片替代方案。当前，华为昇腾910是最热门的替代方案。在交付方面，大模型一体机已经成为主流交付形态之一。
入选标准说明：

1. 符合行业大模型市场分析的厂商能力要求；

2. 近一年厂商在该市场至少服务1家企业（含POC）

代表厂商评估：

拓尔思

厂商介绍：

拓尔思信息技术股份有限公司（简称“拓尔思”）成立于1993年，是一家专业的大数据、人工智能和数据安全产品及服务提供商。拓尔思坚持核心技术自主研发，拥有50+专利、1000+软件著作权，在搜索型数据库、自然语言处理（NLP）技术的技术创新和应用场景落地等方面保持领先地位。

产品服务介绍：

拓尔思打造多模态认知大模型——拓天大模型，具备通用的语义理解、多轮对话、内容生成、多模态交互、知识型搜索引擎等能力。并且，拓尔思以拓天大模型为基础，依托在各行业的数据积累推出金融、媒体、政务、舆情、公安等多个行业大模型。

图9：拓尔思行业大模型示例

厂商评估：

在数据方面，拓尔思以2000亿+高质量数据作为行业大模型的质量保障。在应用方面，合规和可信度问题阻碍大模型落地应用。拓尔思依托自身深厚的中文语料积累和价值观对齐机制，可有效提升大模型生成结果的合规性，并综合运用“知识图谱+RAG+向量数据库”三种手段，致力于缓解大模型幻觉，提升其生成结果的可信度。在部署方面，拓尔思提供灵活的部署模式选择，满足不同企业的需求。在成功案例方面，拓尔思依托AI工程化能力，已在多个行业实现大模型商业化应用落地。

拓尔思以2000亿+高质量数据作为行业大模型的质量保障。高质量行业大数据是打造行业大模型的基础和门槛。大模型厂商一般具有技术积累，但在数据方面较为薄弱。它们主要依托公域数据训练基础大模型，或者结合用户私有数据训练或微调出企业大模型。它们由于缺乏行业深耕与数据沉淀，导致自有数据难以支撑行业大模型的训练。
拓尔思自2010年开始自建互联网数据中心，对产业金融、新闻资讯、网络舆情等信息进行采集，日均增长数据超3.5亿条，数据中心总数据量超2000亿条，并且可以实现重点数据分钟级更新。这些数据主要源自全国数字报刊、各级新闻网站以及拓尔思的业务沉淀，数据质量较高。
拓尔思着力解决大模型合规与可信度问题，保证其可用性。合规和可信度问题阻碍大模型落地应用。大模型合规问题主要在于中文语料少，大模型生成内容受西方价值观影响较深。大模型可信度问题主要在于存在大模型幻觉，“一本正经地胡说八道”让用户不敢使用大模型生成结果。拓尔思依托自身深厚的中文语料积累和价值观对齐机制，可有效提升大模型生成结果的合规性，并综合运用“知识图谱+RAG+向量数据库”三种手段，致力于缓解大模型幻觉，提升其生成结果的可信度。
在合规方面，拓尔思主要采集主流官方机构可公开访问的数据，如各级政府部门、主流媒体等，这些机构所有对外公开的信息均严格履行“三审三校”制度。所有采集源由人工整理配置，保证了数据源头的“纯净”和完整性。拓尔思采用专家规范化标引+机器自动标引相结合的方式，对采集的内容资讯进行“精加工”，包括低噪、去重、数据结构化、数据归一化、内容标签化、属性知识化、安全合规核查等，实现数据与主流价值观对齐。
在可信度方面，拓尔思综合运用“知识图谱+RAG+向量数据库”，三管齐下，缓解大模型幻觉。一是知识图谱，其优势在于知识间的逻辑关系非常清晰，通过将知识库和大模型进行结合可以提升生成解决的可解释性。二是RAG（检索增强），是指在大语言模型推理生成答案时，额外检索调用外部知识，然后综合其检索结果进行回答生成，相比单纯依靠模型训练，该技术的引入可以大幅提升回答的准确性。三是向量数据库，通过将权威、可信的信息转换为向量，并将它们加载到向量数据库中，数据库能为大模型提供可靠的信息源，从而减少模型产生幻觉的可能性。
拓尔思提供灵活的部署模式选择，满足不同企业的需求。拓尔思可将行业大模型通过公有云API的方式为企业提供服务，也支持结合企业私有数据和个性化场景需求，以私有化部署的方式为企业提供定制化大模型。在私有化部署方面，拓尔思通过剪枝、量化、稀疏、蒸馏等部署优化方案，可有效降低大模型对算力资源的要求。并且，拓尔思推出的垂类大模型参数在百亿级，当前市场主流推理卡单卡就可以满足运行要求，实现模型轻量化部署。
为帮助企业选择最合适的部署模式，拓尔思基于实践经验构建了一套“大模型部署模式考虑要素”方法论。该方法论包含六个要素，分别为灵活性需求、高性能和低延迟需求、成本效益衡量、专业技术团队的成熟度、数据治理情况、数据隐私与安全性需求。
拓尔思依托AI工程化能力，已在多个行业实现大模型商业化应用落地。对于企业而言，解决单点问题价值度不大，它们需要大模型厂商为其解决系统性问题。因此，AI工程化能力成为大模型商业化应用落地的关键。拓尔思在AI工程化方面有四项优势，一是产品自主可控，二是私有化部署，三是专业、稳定的服务团队，四是灵活的服务模式。
拓尔思依托AI工程化能力，已在多个行业实现大模型商业化应用落地。如，拓天媒体大模型已在人民日报和浙江日报传播大脑等媒体进行落地实践，范围覆盖内容生产、定向化训练、“新闻+政务服务”等多种场景；拓天金融大模型为某股份制银行打造智能消保助手，赋能消费者权益保护全流程，降低投诉率。
典型客户：

人民日报、浙江日报传播大脑、某股份制银行等

3.6 企业大模型

市场定义：

企业大模型是指经过后训练或微调，面向企业私有化部署的大模型，助力企业从数据驱动升级为智能驱动。

甲方终端用户：

大型企业IT部门

甲方核心需求：

企业有三项核心需求。一是利用企业大模型助力自身从数据驱动升级为智能驱动。二是找到能满足企业对数据隐私与合规需求的企业大模型。三是找到具备高可用性的企业大模型。

助力企业从数据驱动升级为智能驱动。当前，头部企业已实现或部分实现数据驱动，生产经营决策的专业性、科学性和敏捷性相较之前显著提升。在大模型时代，它们希望借助企业大模型，在各个业务场景和流程中构建智能助手，通过“人+智能助手”的新型协作方式降低企业运营成本。例如，某零售企业赋能一线员工，通过配备智能助理提升员工工作效率，进而达到精简人员和降低运营成本的目的。
满足企业对数据隐私与合规需求。随着数据量的不断增加，数据隐私保护变得越来越重要。大模型的研发和应用过程中可能存在数据泄露风险，尤其是当企业调用对第三方底层大模型公网API时，数据安全问题更为突出。中国工商银行首席技术官吕仲涛曾称：数据隐私保护也存在隐患，大模型训练数据来源于互联网、业务数据，这些数据可能涉及大量用户隐私，需要通过隐私计算、联邦学习等方式进行保护。企业大模型则可以更好地保护商业机密和数据隐私。
除数据隐私需求外，数据合规同样重要。《生成式人工智能服务管理暂行办法》明确规定：在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升尊法守法意识，监督指导标注人员规范开展标注工作。除此之外，其他法律法规同样有关于数据合规的要求，企业也需要遵守。
具备高可用性的企业大模型。基础大模型一般由先进AI公司建设，通识能力较强，但其缺少行业和企业专业知识，对企业价值有限。对于头部企业而言，通常引入业界领先的基础大模型，通过后训练或微调方式自建企业大模型。为保证企业大模型的可用性，企业对数据处理能力、训练速度、推理速度提出较高需求。
厂商能力要求：

厂商需要满足三项能力要求。一是提供企业大模型端到端工具链。二是具备数据隐私保障技术和数据全流程合规能力。三是在数据工程建设、大模型工程化以及降低大模型参数量方面有深厚积累。

提供企业大模型端到端工具链。厂商需具备算力资源、训练环境、企业大模型、应用开发平台、AI小模型等端到端工具链。“端到端”有利于发挥企业大模型深度价值，实现对企业上层业务的全面赋能。“工具链”有利于企业实现大模型训推及应用开发能力内化，摆脱对厂商的依赖。

具备数据隐私保障技术和数据全流程合规能力。大模型隐私性保障技术主要包括加密存储、差分隐私、同态加密、安全多方计算、模型水印和指纹等。数据全流程合规能力包括厂商需要具备涵盖数据准备、标注、训练、运营全流程的合规能力。

图10：数据全流程合规能力

在数据工程建设、大模型工程化以及降低大模型参数量方面有深厚积累。随着数据集规模的增大，数据管理难度也在攀升，需持续提升大模型数据清洗的工程化能力，并从单一的结构化数据转向多模态的全领域数据。
随着大模型参数规模的提升，训练过程所需的计算资源也呈现指数级增长。现有计算集群在进行大规模并行训练过程中，由于硬件故障等原因，稳定性仍存在较大问题，厂商需提升训练任务失败时快速定位问题的能力，保障训练效率。
企业大模型的参数量并非越大越好，推理速度随着参数量增加会同步降低，同理，降低大模型参数量则有利于推理速度。因此，对应的厂商能力要求是找到大模型推理效果和推理速度的最佳平衡点。
入选标准说明：

1. 符合企业大模型市场分析的厂商能力要求；

2. 近一年厂商在该市场至少服务1家企业（含POC）。

代表厂商评估：

滴普科技

厂商介绍：

北京滴普科技有限公司成立于2018年，定位为数据智能基础设施提供商。以Data+AI为核心战略，滴普科技打造了实时智能湖仓平台FastData、企业大模型Deepexi、智能体平台FastAGI、训推一体机Fast5000E等在内的数据智能产品体系，助力企业实现从数据驱动到智能驱动的升级。目前，滴普科技已成功服务200余家知名大中型企业，包括中国石油、兴业证券、航天烽火、重庆机电、陕药集团、长安新能源、纳爱斯集团、九洲电器等。

产品服务介绍：

企业大模型Deepexi由滴普科技打造，包括智能体平台FastAGI、训推一体机Fast5000E、模型应用Deinsight等产品，通过与另一产品实时智能湖仓平台FastData 相结合，能够为企业大模型训练提供服务，包括数据训练、调优、部署以及推理等功能，帮助其快速构建行业专属大模型。

图11：企业下一代数据智能体系架构

企业大模型Deepexi经过中文预训练、SFT、RLHF等方式精调，具备较强的中文知识与推理、数据分析、代码生成、图表生成等能力。智能体平台FastAGI包含知识智能体 DocAgent、数据智能体 DataAgent、插件智能体 Plugin Agent等工具，利用大语言模型的技术突破，实现交互式精确检索数据/指标，生成丰富数据图表，实现自动调用系统API完成业务需求；同时，基于语义理解能力、个性化与自适应等核心能力，通过知识提取、组织、生成关键知识工程，实现企业知识的精准检索及问答，提供专业、高效、准确的智能问答体验。训推一体机Fast5000E基于Deepexi模型，能够助力企业搭建高性能算力平台，大大提升训练效率，降低用户使用门槛。Deinsight基于滴普科技积累的行业知识库，能够为企业打造行业大模型及相关应用落地。

厂商评估：

在数据准备方面，滴普科技打造了实时智能湖仓平台FastData，实现多模态数据的高性能、低成本存算，为企业应用大模型做好数据准备。在解决方案方面，滴普科技提供大模型端到端解决方案，帮助企业实现从数据驱动到智能驱动的升级。在赋能范围方面，滴普科技把大模型打造成“企业服务智能体”，联通各个系统实现整体赋能。在项目经验方面，滴普科技已落地多个大模型项目，为企业带来可验证的业务价值。

滴普科技打造实时智能湖仓平台FastData，实现多模态数据的低成本、高性能存算，为企业应用大模型做好数据准备。滴普科技基于Data Fabric架构，打造了实时智能湖仓平台FastData，帮助企业建立统一治理、流批一体、湖仓一体的云原生数据智能平台，实现海量数据实时分析，成为支撑企业数字化转型的核心数据基础设施。FastData对多模态的数据能够进行低成本、高性能的存算，为企业应用大模型做好数据准备。在存储方面，FastData具备针对多模态数据存储的核心算法，名为One Lakehouse湖仓引擎，可以实现统一的多模态数据目录和统一的访问接口，进而做到低成本存储。在计算方面，滴普科技解决方案名为One Engine，包括批处理计算引擎（Spark）、实时计算引擎（Flink）、SQL计算引擎（Trino）等，One Engine知识多引擎统一适配，实现高性能计算。
图12：FastData产品架构图

滴普科技提供大模型端到端解决方案，帮助企业实现从数据驱动到智能驱动的升级。企业大模型Deepexi包含智能体平台FastAGI、训推一体机Fast5000E等核心产品，能够为企业搭建私有化大模型训练提供高质量的数据准备、模型训练、调优、部署及推理服务，可以快速地构建企业内不同领域的垂直类模型以及对应的智能应用的能力，帮助企业实现从数据驱动到智能驱动的升级。FastAGI是滴普科技基于AI Agent的核心能力打造的智能体平台，包含知识智能体DocAgent、数据智能体DataAgent等工具：DocAgent结合了检索增强生成（RAG）技术，支持各类文档数据的管理，旨在通过向量检索技术和大型语言模型（LLM），提升内容生成的能力和精准度，基于语义理解能力、个性化与自适应等核心能力，通过知识提取、组织、生成关键知识工程，实现企业知识的精准检索及问答，提供专业、高效、准确的智能问答体验；数据智能体 DataAgent基于 Deepexi-Coder模型提供的MQL能力，可以与已有的企业级数仓和数据平台进行对接，根据交互式问答和数据权限，精确检索数据/指标，生成丰富的数据图表和报告，沉淀业务的理解和问题的解决方案能力。
图13：滴普科技产品整体架构

作为昇腾应用软件伙伴和认证级一体机解决方案合作伙伴，滴普科技已与昇腾完成技术互认证，并打造了训推一体机Fast5000E。Fast5000E基于Deepexi模型，能够助力企业搭建高性能算力平台，大大提升训练效率，降低用户使用门槛，应用于智能问答、文案生成、数据分析、API交互、信息提取、文档总结等多个典型场景。

滴普科技把大模型打造成“企业服务智能体”，联通各个系统实现整体赋能。目前，大模型应用一般是一个孤立的系统，只能为企业实现单点赋能，难以实现整体赋能。滴普科技以AI Agent为依托，提供Text-to-SQL、Text-to-Python、Text-to-API等能力，形成LLM大脑触角。大模型与企业内部业务系统无缝集成，可以调用知识库、数据库、业务系统等数据和知识，为企业各业务、各部门、跟层级实现整体赋能。以零售行业补货场景为例，过去常见的方式是基于经验老道的店长判断，现在企业只需把判断的逻辑，比如补货需要参考爆款销量、库存量等训练到企业大模型里，企业大模型可以自动生成补货建议和补货订单链接，让一个普通销售员轻松完成补货操作。
滴普科技已落地多个大模型项目，为企业带来可验证的业务价值。滴普科技已与中核集团中核装备院、某时尚集团、南京文投等多家行业头部企业展开合作，落地企业大模型项目。以某时尚集团为例，滴普科技已将大模型赋能该集团多个业务场景。在选品场景，大模型给货品运营专家提供供应链专业知识和数据，并且可以执行货品配补调等业务操作。在门店场景，大模型帮助门店店长获取自己权限内需要的数据和智能决策支持。在研发设计场景，大模型可以快速生成运动鞋、高跟鞋的线稿和配色，辅助设计师更快完成工作，并且具备部分重绘和局部修改等功能。滴普科技在“大模型元年”即可实现多个项目落地，除技术积累外，主要得益于领域专家团队的有力支撑。滴普科技已建立一个由多位领域专家组成的咨询团队，致力于大模型与业务场景快速结合，释放业务价值。
典型客户：

某时尚集团、中核集团中核装备院、南京文化投资控股集团有限责任公司

3.7 大模型安全流通平台

市场定义：

大模型安全流通平台是指覆盖大模型开发及应用全流程，对数据、模型、参数提供安全防护，为大模型生态的多方参与者提供利益分配支持的平台。

甲方终端用户：

企业大数据部门和业务部门、大模型厂商、大模型应用厂商

甲方核心需求：

企业对大模型安全流通平台的需求体现在全流程安全、利益分类支持和价值体系三个方面。一是企业需要大模型安全流通平台覆盖大模型开发及应用全流程，对数据、模型、参数提供安全防护。二是企业需要大模型安全流通平台为利益分配提供支持。三是企业需要阐明大模型流通平台价值，促进大模型生态各方达成合作。

企业需要大模型安全流通平台覆盖大模型开发及应用全流程，对数据、模型、参数提供安全防护。大模型训练及应用全流程可大致分为数据治理、预训练、微调、应用四个环节，每个环节均有安全需求。全流程安全是大模型及其要素高效流通的必要条件之一。
图14：大模型开发及应用全流程

大模型开发及应用全流程主要涉及企业大数据部门、大模型厂商、大模型应用厂商、企业业务部门等四类参与主体。它们在合作过程中需要解决信任及隐私安全保护问题。企业大数据部门面临数据被使用过程中的各类不安全因素。大模型厂商面临基础模型产权被窃取风险，特别是对于初创企业而言，大模型是公司的核心资产。大模型应用厂商面临数据可触达性以及调优成果遗失风险。企业业务部门关系核心业务数据的泄漏风险。

企业需要大模型安全流通平台为利益分配提供支持。大模型开发及应用过程中常面临利益分配困境，主要在于难以衡量各方贡献率。如果有合理的利益分配机制，大模型生态的各参与方能够达成更加高效且安全地协作，加快推动大模型的技术进步和产业落地。大模型安全流通平台的使命在于加快大模型及其要素的流通，因此被企业寄予厚望，希望提供相关的模块或功能。
企业需要阐明大模型流通平台价值，促进大模型生态各方达成合作。大模型“出圈”效应显著，许多企业高管表达出对大模型及其应用的浓厚兴趣。但从实际立项情况来看，大模型项目立项并不顺利。主要原因在于CEO等企业一把手希望看到大模型的业务价值，而较多IT负责人难以表达清楚。具体到大模型安全流通平台项目，立项则更为困难。一是该市场刚刚兴起，市场教育欠缺，推动立项的解释成本比较高。二是大模型安全流通平台项目需要多方协作，IT负责人不仅需要说服企业内部管理者，还需要说服企业外部的合作伙伴，难度倍增。
厂商能力要求：

企业基于对大模型安全流通平台的需求，向厂商提出多项能力要求。一是大模型安全流通平台需要提供有大模型时代特色的保护能力。二是大模型安全流通平台需要以不可篡改方式统计并存储资产授权记录与推理服务的调用量。三是厂商需要建立大模型安全流通平台的价值体系。

大模型安全流通平台需要提供有大模型时代特色的保护能力。大模型时代不同于传统AI时代，企业在安全防护方面提出新要求。传统AI模型参数量偏小，部署过程中较少考虑集群化加密模式。而大模型参数量显著提升，训练推理过程中需要强大的算力基础。因此，多台服务器联合工作成为常态。如果仍按照传统方式进行加密，容易产生安全风险。例如攻击者在一个集群中加入了一个假攻击节点，将难以被发现。
另外，对于AI企业而言，常会使用代码混淆方式来加密模型，但模型在运行过程中仍会透露信息。不仅如此，AI企业往往只注重硬盘加密，忽略内存加密，但内存中的数据也有被窃取的风险。
大模型安全流通平台需要以不可篡改方式统计并存储资产授权记录与推理服务的调用量。大模型安全流通平台尚不具备直接提供支持利益分配的完整模块或功能，以不可篡改方式统计并存储资产授权记录与推理服务的调用量是当前可以实现的一种解决方案，可以为利益分配提供部分支持。大模型生态各参与方可基于资产授权记录与推理服务的调用量，结合资源重要性、稀缺性等其他共识，实现商业收益的公平分配。
厂商需要建立大模型安全流通平台的价值体系。对于企业大数据部门而言，核心价值在于保护数据安全；对于大模型厂商而言，则是保护模型安全；对于大模型应用厂商而言，则是保护调优成果；对于企业业务部门而言，则是防止业务数据泄露。大模型安全流通平台厂商需要建立上述核心价值与客户企业战略目标之间的关联性，构建价值体系，促进立项。
入选标准说明：

1. 符合大模型安全流通平台市场分析的厂商能力要求；

2. 近一年厂商在该市场至少服务1家企业（含POC）。

代表厂商评估：

揽睿星舟

厂商介绍：

揽睿星舟（Lanrui-ai）是人工智能企业翼方健数“数据和计算互联网”中的AI可信计算节点，专注于大模型时代的AI算力、算法与数据的安全可信流通。服务包括：以机密可信计算环境“星舟·密方”为产品主体的揽睿大模型流通解决方案、提供高附加值的推理服务“星舟·推理”的揽睿大模型应用开发平台等。

产品服务介绍：

面向大模型领域，揽睿星舟推出“揽睿大模型应用开发平台”与“揽睿大模型流通解决方案”，旨在为大模型应用开发与落地实践提供安全可信的基础设施。

“揽睿大模型应用开发平台”提供一站式大模型应用开发方法、算力和环境支持，为AI应用开发者提供简便、高效、灵活的AI Serverless工具，平台内置“星舟·标准推理服务”与“星舟·自助推理服务”，支持按照调用量或使用时间计费。

“揽睿大模型流通解决方案”以机密可信计算集群“星舟·密方”为核心，结合算力调度、算法编排等技术及开箱即用的AI工具为AI应用落地提供全流程安全保护。平台内所构建的“机密可信”算力专区，让用户能够一键完成机密可信工作空间的搭建，所有运行在内存的数据都经过CPU硬件模块加密处理，工作空间的存储数据默认由“星舟·密方”内置KMS（密钥管理服务）管理的不出域密钥进行加密，即使是硬件与软件的管理员也无法进入工作空间内部或通过硬件获取用户数据。使大模型落地各类参与者在合法合规、本方资产受保护的前提下形成合作。

图15：一站式AI服务平台和AI应用生态揽睿星舟架构图

厂商评估：

揽睿大模型流通解决方案主要赋能四类参与主体，包括：数据提供方、基础模型开发者、参与行业大模型调优的服务团队以及使用大模型的业务部门。在能力方面，该方案支持客户一键构建安全开发环境，为大模型各参与方提供全方位的安全保护。在算力方面，相较于自建计算中心或采购大型云厂商算力，揽睿星舟可以为客户提供高性价比算力支持。此外，方案通过不可篡改的方式保留数据授权记录与模型调用记录，进而解决商业收益分配问题，加速大模型生态共建。在服务经验方面，揽睿星舟AI客户众多，拥有丰富的服务经验，深刻了解用户需求。

赋能大模型生态各方，为要素流通保驾护航。大模型开发及应用全流程主要涉及数据提供方、基础模型开发者、参与行业大模型调优的服务团队以及使用大模型的业务部门等四类参与主体。在大模型应用落地过程中，四类参与主体通常缺一不可，合作过程中需要解决信任及隐私安全保护问题，其中包含：数据提供方面临数据被使用过程中的各类不安全因素；基础大模型开发者面临基础模型产权被窃取风险；参数调优服务方面临数据可触达性以及调优成果遗失风险；业务方面临事关核心商业竞争力的业务数据泄漏危险。揽睿大模型流通解决方案集成了多项技术能力，从机密可信计算到跨云算力调度、数据编排等，可以为各类参与主体提供模型、数据集与服务有效安全串联，实现数据和模型的保护。
图16：揽睿大模型流通解决方案示例

在解决方案的保护下，大模型生态的各类参与主体都能够在合法合规、保护本方数据、产权与权益的前提下安全、高效地协作，同时也满足用户对于模型专业化的需求，赋能大模型技术进步和产业落地。

提供集群运行环境的全方位可信安全保护。揽睿大模型流通解决方案的安全核心是自研的机密可信计算产品“星舟·密方”。“星舟·密方”是基于TEE和TPM硬件构建的云原生可信机密计算集群，为揽睿大模型流通解决方案提供通用、安全、高效的“零信任”计算环境。“星舟·密方”利用机密计算硬件的能力，确保整个计算环境中的任何一方，包括数据中心管理员、云平台管理员在内，都必须经授权才能够访问计算集群，或通过计算环境的基础设施进行其他类型的攻击。相较传统仅支持进程级别、虚拟机级别的安全防护方案，“星舟·密方”在提供运维及迁移便利性的基础上为用户增强了整个集群的安全性与完整性。方案所涉及的安全核心技术已获得中国信通院多项性能与专项评测。
提供高性价比且丰富的算力支持。在成本方面，揽睿大模型流通解决方案支持异构算力的完整、安全接入，整合闲散算力“化零为整”对外提供服务，包括但不限于标准化的弹性算力资源、开箱即用的工具和模型生态，为用户提供“按需使用、按量计费”的算力使用模式与更有竞争力的算力价格。
除接入国际主流硬件外，揽睿星舟也在积极参与国产硬件的接入。通过与国内的硬件供应商联合测试，已积累一定成果与实践经验。“算力国产化”工作持续推进，一方面有利于揽睿大模型流通解决方案保持有竞争力的算力价格，另一方面有利于该解决方案胜任更多硬件国产化的应用场景。
支持一站式开箱即用的AI开发环境与工具。揽睿大模型流通解决方案为客户提供一种先进的、“无感”的异构（机密可信）计算资源服务。在系统中，用户通过一个统一且标准化的接口轻松访问所需的计算资源，无需关心背后复杂的算力调度、数据、资源配置和管理。揽睿星舟采用云原生技术，实现与用户现有软件系统的无缝对接，大大减轻了用户的运维负担。通过这种方式为用户提供了一个简洁、高效的计算资源使用体验，让他们可以专注于创新和业务发展，而不是技术的复杂性。此外，揽睿星舟致力于为用户提供一系列开箱即用的第三方资源。这一服务使用户能够轻松地使用第三方模型、插件和工具，无需经历繁琐的环境搭建和依赖适配。用户只需简单选择所需的资源，即可一键启动一个完善且全面的工作环境，从而高效地推进项目和创意。
解决商业收益分配问题，赋能AI生态高效协作。大模型开发及应用过程中涉及多方贡献。而大模型商业收益方面一直存在着分配难题，主要在于难以衡量各方贡献率。方案内置精准计量模块，可集成基于区块链的存证和激励系统，在确保用户数据安全的前提下以不可篡改方式统计并存储资产授权记录与推理服务的调用量。各方可基于资产授权情况，结合资源重要性、稀缺性等其他共识，实现商业收益的公平分配。
基于合理的商业模式，大模型生态的各参与方能够达成更加高效且安全的协作，共同推动大模型的技术进步和产业落地。目前，在赋能AI应用落地的道路上，揽睿星舟已经取得一些实践成果，包括大数据局、金融机构和人工智能企业在内的多行业客户已与揽睿星舟形成合作，共同探索并推进大模型技术在实际生产场景的落地。
典型客户：

某城市大数据局、某金融机构、某智能客服企业

04

入选厂商列表