生成式人工智能带来了三类新风险：内容异常、数据保护和人工智能应用安全。使用或构建 GenAI 应用的 IT 领导者可以利用这项研究来了解市场动态并评估新兴的 GenAI TRiSM 技术和解决新风险的提供商。

主要发现

• 在企业应用中集成大语言模型（LLM ）和其他生成人工智能（GenAI）模型会带来三类新风险：输入和输出风险、数据泄露和人工智能应用漏洞。

• 构建并通常托管 GenAI 模型的供应商不提供一套完整的控制措施来减轻这些风险。相反，用户需要获取解决方案来增强供应商的有限控制。

• IT 领导者必须信任 LLM 供应商为最终用户的数据提供保护机制，而无法验证这些供应商的安全和隐私控制。

• GenAI 信任、风险和安全管理 (TRiSM) 解决方案市场正在快速增长，但新兴解决方案在很大程度上仍未经过测试。目前它的目标是保护大语言模型的使用，而不是保护多模式模型的使用。

建议

• 继续使用已知的遗留安全控制来保护敏感信息、应用堆栈和资产，但认识到它们不能减轻大语言模型特有的风险，例如响应中不准确、煽动性或受版权保护的输出。

• 设置概念验证来测试三个类别中的新兴 GenAI TRiSM 产品，以增的传统安全控制，并在其按要求运行后将其应用到生产应用中。

• 使用内容异常检测产品来减轻输入和输出风险，以执行可接受的使用策略，并防止不需要或非法的模型完成和 LLM 申请响应，从而损害组织的决策、安全和保障。

• 评估AI 应用安全产品的使用情况，以保护组织免受黑客利用新的 GenAI 威胁向量损害您的组织及其资产。

GenAI TRiSM市场仍然是整个 AI TRiSM 市场的一个非常早期的市场子集。我们定义了这个市场及其功能，并在本创新指南中注明了一些支持它的供应商。

市场定义

GenAI TRiSM 市场由多个软件和服务部分组成，为 GenAI 应用和模型交互的采用者提供安全、数据保护和风险缓解支持。 GenAI TRiSM 工具包括以下解决方案：

• 内容异常检测

• 数据保护

• 人工智能应用安全

这些工具补充了 GenAI 模型、应用和代理的构建者或所有者实施的相关 TRiSM 措施。

GenAI TRiSM 市场是更大的AI TRiSM 市场的一个子集，其中包括只能由人工智能模型、应用或代理的构建者或所有者实施的多个软件细分市场。这些建造者或所有者创建、维护和管理这些实体。 AI 模型的构建者或所有者有时是使用相同 AI 模型或与这些相同 AI模型交互的同一实体。在大型基础模型的情况下，模型的用户通常是与构建或拥有模型的实体不同的实体。

市场地图

图 1：信任、风险和安全生成式人工智能 (TRiSM) 概述

我们于 2023 年更新了 AI TRiSM 架构，以区分 AI模型、应用和代理的构建者或所有者以及集成和使用它们的所有各方（包括构建者或所有者）专有的不同 TRiSM 职责。图 2 标识了这两方用于管理 AI 模型、应用程序和代理的这些方面的技术组件。

图2：人工智能信任、风险和安全管理技术

本研究为支持 GenAI 的 AI 系统用户详细介绍了橙色行中的三个 TRISM 技术组件，并列出了每个类别中的代表性供应商。

市场动态

使用托管的 LLM 和 GenAI 模型可以带来许多好处，但用户还必须应对三个主要类别的新的独特风险：

1.    内容异常检测

o   不可接受或恶意使用

o   通过提示或其他方法传输的企业内容会导致机密数据输入受到损害

o   幻觉或不准确、非法、侵犯版权和其他有害的输出，影响企业决策

2.    数据保护

o   托管供应商环境或内部自我管理环境中的数据泄露和机密性受损

o   无法在外部托管环境中管理隐私和数据保护策略

o   由于第三方模型的“黑匣子”性质，难以进行隐私影响评估并遵守各种地区法规

3.    人工智能应用安全

o   对抗性提示攻击

o   矢量数据库攻击

o   黑客访问模型状态和参数

我们在 2023 年对 700 多名网络研讨会与会者进行了调查，了解他们最关心的 GenAI 风险，验证了这些风险类别，并强调数据隐私是用户最关心的第一大风险。

当使用外部托管的 LLM 和其他 GenAI 模型时，这些风险会加剧，因为企业缺乏直接控制其应用流程以及数据处理和存储的能力。但企业托管和直接控制的本地模型仍然存在风险，尤其是在缺乏安全和风险控制的情况下。

用户在人工智能应用和模型运行时面临这三种风险类别。请参阅图 3，了解它们在 AI 模型生命周期中的表现，并注意影响 GenAI 用户的相关运行时攻击和危害面。这些新的攻击面正在推动新的 GenAI TRiSM 市场的发展。

图 3：整个 AI 生命周期中的生成型 AI 攻击面

对这些攻击和失陷面实施缓解控制的责任分为两个主要参与方，根据他们在人工智能模型、应用程序或代理方面的角色来定义：

1.    AI 模型、应用或代理的构建者或所有者——参与生命周期前三个组成部分的实体，如上图浅蓝色所示。

2.    与 AI 模型、应用或代理集成的用户（人类或机器）——参与生命周期运行时组件的实体，如上图以浅绿色显示。

通常，建造者/所有者和用户是同一实体。

市场演变

AI TRiSM 市场已经分散，并且没有产生供应商预期的收入。为了寻求更多的收入来源，AI TRiSM 供应商通过扩展到相邻的 GenAI TRiSM 类别（例如，AI 应用安全或内容异常检测）来继续开发功能。

此外，AI TRiSM供应商不断尝试向数据科学家和AI工程师展示其产品的价值。供应商希望向他们推销在人工智能项目生命周期的早期使用这些产品，而不是仅在项目投入生产时才部署它们。他们的卖点是，从一开始就将 TRiSM 构建到 AI 项目中可以带来更好的 AI 项目性能。

尽管如此，TRiSM 产品的使用仍然有限。尽管如此，自2023 年初开始的 ChatGPT 和 GenAI 的快速采用加速了企业对 AI TRiSM 产品的需求，因为最终用户组织现在更迫切地寻求实施具体措施和控制来减轻各种风险。因此，许多提供异常检测、模型监控和AI应用安全的AI TRiSM供应商已迅速转向扩展其产品线以支持GenAI TRiSM功能。这些供应商包含在表 1 的代表性供应商部分中。

我们的期望

我们相信，许多企业最初将获得通过异常检测或安全人工智能应用来减轻输入/输出风险的解决方案，以了解企业对 GenAI 应用程序和模型的使用情况。这包括使用现成的应用（例如 ChatGPT）或通过其他集成点（例如插件、提示或 API）进行交互。许多组织的首要任务是了解企业与 GenAI 的交互；这些产品可以提供这些交互的良好地图。建立地图后，组织可以逐步部署缓解风险和安全威胁的核心功能。

我们预计 GenAI TRiSM 市场收入将在 2024 年稳定增长。我们还预计到 2026 年底，当供应商将使用数据和内容异常检测的输入/输出风险缓解与人工智能应用安全结合起来时，该市场将大幅整合。此外，我们预计大型现有安全供应商，特别是在安全服务边缘和数据丢失防护业务领域，将收购 GenAI 初创公司，以扩大他们为客户提供的保护。

随着时间的推移，我们预计 GenAI TRiSM 供应商将扩展其产品，以保护多模式模型的使用，而不仅仅是大语言模型。随着企业对多式联运模式的使用增加，这种情况自然会在未来几年内发生。

商业利益（用例）

遗留控制不足以减轻与使用托管 GenAI 模型（例如大语言模型）相关的风险。用户在三个共同责任类别中遇到风险（如图 2 中 AI TRiSM 技术组件的顶行所示）。具有创业精神的第三方供应商正在帮助解决三个不同用例的这些漏洞。

使用内容异常检测来管理输入和输出风险

• 输入风险：提交给 GenAI 模型的信息和数据如果发送到没有充分安全和保护的环境（例如，如果在传输过程中未加密，并且在静态存储时未加密），可能会导致数据泄露。 GenAI 模型的输入也必须经过筛选，以确保它们符合企业可接受的使用策略。如今，大多数输入都采用交互式提示的形式。安全领导者必须解决利用更自动化的输入形式的应用的输入和输出风险，例如来自其他应用程序的 API 调用，以及直接传输到软件代理的输出。

o   在本地托管模型时，企业可以避免将数据提交到第三方环境所带来的风险。然而，企业仍然必须保护他们托管的数据。

• 输出风险：鉴于事实错误和幻觉的发生率不可预测，GenAI 模型的输出并不可靠。输出也可能存在偏见，并可能包含版权材料或其他不需要的、恶意的、非法的或不合法的信息。这使得企业面临因非法使用 GenAI 模型应用程序输出的专有材料或做出错误决策而被起诉的风险。

此类供应商通常旨在减轻大语言模型的输入和输出风险。 （其他类型的 GenAI 模型目前不在其范围内）。他们通过提供异常检测和内容过滤来实现这一点，根据预设的企业策略筛选输入和输出，这些策略体现在企业和托管的法学硕士之间基于规则的系统或人工智能模型中。这些异常检测器和内容过滤器调解并验证针对它们的信息流。

管理数据保护风险，尤其是外部环境固有的风险

使用私有、专有、敏感或机密信息作为托管 GenAI 模型的输入会带来数据泄露和潜在违反现有法规的风险。组织必须在托管这些供应商模型或应用的环境中监控和实施隐私、数据机密性和治理。

在本地托管模型时，企业会自动降低第三方环境中的数据泄露风险，因为它们并未被使用。然而，他们仍然必须考虑使用中的（个人）数据的合法性，并保护所有处理和托管的数据——特别是当数据将与外部各方（客户、合作伙伴）共享时。

数据保护领域的新兴厂商仍然很少。它们提供工具来加密和/或以其他方式混淆发送到托管矢量数据库、大语言模型或应用的数据。

通过保护新的 GenAI 攻击向量来管理AI 应用安全风险

人工智能应用包括用于协调模型使用的新组件。这引入了传统应用安全控制尚未解决的安全威胁，例如：

• 对抗性提示，包括提示护栏“劫持”和提示注入攻击

• 矢量数据库泄露

• 恶意黑客访问模型状态和参数

• 与第三方应用模型的易受攻击和可利用的集成点（例如，API 调用或插件和其他连接器）

• 软件供应链风险

许多组织正在利用其现有的安全服务边缘 (SSE) 或数据防泄露 (DLP) 提供商来过滤对 GenAI Web 应用程序的访问和输入。此类供应商使用一系列技术来扫描、检测和预防与第三方托管的 GenAI 应用程序和模型交互（直接通过提示或通过企业应用程序）所特有的网络安全风险。

管理风险

与新兴市场中的新兴初创公司或小型供应商合作时，供应商生存能力风险是固有的，从长远来看，这些供应商可能无法在财务上维持下去。为了管理此风险，请确保拥有自己的数据和逻辑，并且如果供应商的情况发生变化，可以轻松地将其从供应商的平台中提取。此外，请确保彻底了解供应商提供的功能，以便可以更轻松地过渡到类似的供应商，同时最大限度地减少业务中断。

持续监控供应商在市场中的地位及其增长和盈利能力，并在出现危险信号时准备 B 计划。

如市场演变部分所述，为市场整合做好准备，如果企业更愿意使用更少、更成熟且财务稳定的供应商，请使用扩展其产品组合的大型现有安全供应商来管理 GenAI TRiSM 风险。

最后，管理供应商无意（或故意）泄露或损害数据的风险。仔细检查产品是否存在安全和风险相关的漏洞，并通过合同规定供应商只有在获得明确批准的情况下才能访问数据。确保技术控制到位，以默认配置禁止供应商访问您的数据，无论产品是在本地还是在云中运行。

代表厂商

人工智能治理技术供应商不包含在本创新指南或表格中，除非他们支持以下三种功能之一。

表1 ：GenAI TRiSM 代表性供应商

厂商	内容异常检测	隐私和数据保护	人工智能应用安全
ActiveFence	是的
Adversa AI			是的
Aporia	是的		是的
Arize AI	是的
Arthur	是的
Astrix Security			是的
Backplain	是的
Bosch AIShield	是的
CalypsoAI	是的		是的
Copyleaks	是的
Cranium	是的		是的
Deepchecks	是的
Duality		是的
eSentire			是的
Fiddler AI	是的
Flow   Security（2024 年 3 月被   Crowdstrike 收购）		是的
Galileo LLM Studio	是的
Harmonic Security	是的
HiddenLayer			是的
Holistic AI	是的
IronCore Labs		是的
Klarytee
Lakera			是的
Lasso Security	是的	是的	是的
NVIDIA NeMo Guardrails			是的
Patented	是的
Portal26	是的	是的
Preamble	是的
Privya		是的
Prompt Security	是的		是的
Protect AI	是的		是的
Protopia AI		是的
Rebuff AI			是的
Robust Intelligence	是的		是的
Securiti	是的	是的	是的
Skyflow		是的
TrojAI	是的		是的
TruEra	是的

资料来源：Gartner（2024 年 4 月）

附： Gartner IT 高管的调查（2023 年 8 月），n = 713。