OWASP最新指南为组建生成式AI红队或调整现有红队以适应新技术提供了详细的指导。

红队测试是一种经过时间检验的网络安全系统测试和加固方法，但它需要不断适应技术的演变。近年来，生成式AI和大语言模型（LLM）的爆发，是迫使红队测试领域再次调整的最新技术创新。

欧盟的《人工智能法案》和美国国家标准与技术研究院（NIST）的《人工智能风险管理框架》等法规和监管机构对AI红队测试的重视，进一步凸显了其重要性。

由于AI是一项新兴技术，许多组织刚刚开始制定生成式AI红队测试的方法，这使得OWASP最近发布的《生成式AI红队测试指南：评估AI漏洞的实用方法》成为一份及时的资源。

生成式AI红队测试是什么？

OWASP将生成式AI红队测试定义为一种“结构化方法，用于识别AI系统的漏洞并降低风险”，它结合了传统的对抗测试和AI特有的方法与风险。这包括生成式AI系统的各个方面，如模型、部署管道以及更广泛系统背景下的各种交互。

OWASP强调工具、技术方法和跨职能协作的作用，包括威胁建模、场景设计以及自动化，所有这些都是以人类专业知识为基础的。一些关键风险包括提示注入、偏见与毒性、数据泄露、数据中毒和供应链风险，其中部分风险也出现在OWASP的《LLM十大风险》中。

为了有效实施红队测试，需采取以下关键步骤：明确目标和范围、组建团队、威胁建模、覆盖整个应用栈、总结、参与后分析和持续改进。

生成式AI红队测试通过关注AI驱动系统的细微和复杂性，补充了传统红队测试，涵盖了AI特有的威胁建模、模型侦察、提示注入、绕过安全护栏等新测试维度。

AI红队测试的范围

生成式AI红队测试在传统红队基础上，涵盖了生成式AI的独特方面，如模型、模型输出以及模型的响应。红队应检查模型是否可能被操纵以产生误导性或虚假输出，或通过“越狱”使其以非预期的方式运行。

团队还应判断数据泄露的可能性，这些都是生成式AI用户应关注的关键风险。OWASP建议测试时需同时考虑攻击者的视角和受影响用户的视角。

基于NIST的《AI RMF生成式AI配置文件》，OWASP指南建议在AI红队测试中考虑生命周期的各个阶段（如设计、开发等）、风险范围（如模型、基础设施和生态系统）以及风险来源。

生成式AI红队测试应对的风险

正如我们所讨论的，生成式AI带来了一些独特风险，包括模型操纵与中毒、偏见和幻觉等。为此，OWASP推荐了一种涵盖以下四个关键方面的综合方法：模型评估、实现测试、系统评估、运行时分析。

这些风险还需从三个视角进行审视：安全性（操作者）、安全性（用户）和信任（用户）。OWASP将这些风险分为三大类：安全性、隐私和稳健性风险，毒性、有害语境和交互风险，偏见、内容完整性和虚假信息风险。

特别是“代理式AI”引起了行业的极大关注，红杉资本等领先投资机构甚至称2025年为“代理式AI元年”。OWASP特别指出了多代理风险，如跨代理的多步攻击链、工具集成的利用以及通过代理交互绕过权限。为了提供更多细节，OWASP最近发布了《代理式AI——威胁与缓解》出版物，其中包括多代理系统威胁模型摘要。

生成式AI/LLM系统的威胁建模

OWASP将威胁建模列为生成式AI红队测试的关键活动，并推荐MITRE ATLAS作为重要的参考资源。威胁建模旨在系统分析系统的攻击面，识别潜在风险和攻击向量。

关键考量包括模型的架构、数据流以及系统如何与更广泛的环境、外部系统、数据以及用户和行为等社会技术方面互动。然而，OWASP指出，AI和机器学习带来了独特的挑战，因为模型可能由于非确定性和概率性而表现出不可预测的行为。

生成式AI红队测试策略

每个组织的生成式AI红队测试策略可能不尽相同。OWASP解释说，策略必须与组织的目标一致，这可能包括负责任AI目标和技术考量等独特方面。

生成式AI红队测试策略应考虑如上图所示的各个方面，例如基于风险的范围界定、跨职能团队的参与、设定明确目标以及生成兼具信息性和可操作性的报告。

生成式AI红队测试的蓝图

一旦策略确定，组织可以制定生成式AI红队测试的蓝图。该蓝图提供了结构化的方法和具体的步骤、技术及目标。

OWASP建议分阶段评估生成式AI系统，包括模型、实现、系统和运行时，如下图所示：

每个阶段都有关键考量，如模型来源和数据管道、实现过程中的安全护栏测试、检查已部署系统中可被利用的组件以及针对运行时业务流程的潜在故障或漏洞，特别是多AI组件在生产环境中的运行时互动。

这种分阶段方法有助于高效识别风险、实施多层次的防御、优化资源并追求持续改进。工具也应被用于模型评估，以支持评估速度、高效风险检测、一致性和全面分析。完整的OWASP生成式AI红队测试指南提供了每个蓝图阶段的详细清单，可供参考。

关键技术

尽管生成式AI红队测试有许多可能的技术，但确定包含哪些技术或从哪里开始可能让人感到不知所措。OWASP提供了一些他们认为“必不可少”的技术。

这些技术包括：对抗性提示工程、数据集生成操纵、跟踪多步攻击、安全边界测试、代理工具/插件分析、组织检测与响应能力。

这只是关键技术的一部分，OWASP提供的列表结合了技术考量和组织操作活动。

成熟化的AI相关红队

与传统红队测试一样，生成式AI红队测试是一个不断发展和迭代的过程，团队和组织可以在工具和实践方面逐步成熟其方法。

由于AI的复杂性及其与组织的多个领域（如用户、数据等）的集成能力，OWASP强调需要与组织的多个利益相关者团队合作，定期召开同步会议，明确共享发现成果的流程，并将现有的组织风险框架和控制措施整合到红队测试中。

进行生成式AI红队测试的团队也应不断发展，根据需要增加额外的专业知识，以确保相关技能能够适应生成式AI技术格局的快速变化。

最佳实践

OWASP生成式AI红队测试指南最后列出了一些组织应广泛考虑的关键最佳实践。例如，制定生成式AI政策、标准和程序，并为每次红队测试设定明确目标。

此外，组织还需要明确制定有意义的标准来评估测试是否成功，详细记录测试程序、发现和缓解措施，并建立一个知识库以支持未来的生成式AI红队测试活动。