《生成式 AI 时代的网络安全》由 IBM 发布，该报告指出随着生成式 AI 在企业中的广泛应用，网络安全面临新的挑战与机遇。

一、简介

网络安全领导者在面对生成式 AI 带来的变革时，需应对其潜在风险。尽管生成式 AI 能大幅提高企业生产力，但也可能导致数据泄露等安全问题。黑客可能利用生成式 AI 发起更具针对性和规模性的网络攻击，如创建逼真的网络钓鱼邮件、深度伪造音频等。同时，企业也可利用 AI 进行网络安全防护，本指南旨在帮助企业应对这些挑战。

二、网络罪犯使用生成式 AI 的方式

- 攻击组织：利用大型语言模型快速创建大量网络钓鱼邮件，增加用户点击恶意链接的风险；通过聊天机器人研究受害者信息，进行更具针对性的网络钓鱼攻击，即“网络钓鱼 3.0”。

- 攻击 AI：对企业 AI 模型“投毒”，注入恶意训练数据，使模型出现故障或恶意行为；利用自然语言提示“破解”语言模型，获取机密信息、创建恶意代码或提供错误安全建议。

三、AI 在网络安全中的作用

网络安全领域面临人员短缺、数据激增和攻击面扩大等挑战。传统 AI 解决方案已被用于网络安全，可帮助安全运营中心分析师评估风险和推荐应对措施，提高安全运营效率。生成式 AI 作为网络安全的增力因素，可自动执行重复任务，加速威胁搜寻，解释机器生成数据，整理威胁情报等，提升安全团队的工作效率和能力。

四、保护 AI 的风险与建议

- 风险：

- 软件供应链风险：企业使用生成式 AI 开发软件时，可能因 AI 未接受安全代码训练，增加安全风险；同时，企业可能基于存在风险的开源代码和商业软件组件构建软件，导致新的风险暴露。

- 仓促的数据安全实践：企业急于应用生成式 AI，可能忽视数据安全最佳实践，如加密、驻留和特权访问控制等。

- 幻觉：使用生成式 AI 生成的代码构建软件，可能存在错误或幻觉，损害源代码的完整性和安全性。

- 数据泄露：若对第三方 AI 引擎监督治理不当，组织可能面临机密数据暴露的风险，且新的攻击方式可能削弱模型性能。

- 黑匣效应：部分 AI 处理过程缺乏可见性、透明度和可解释性，给安全管理带来困难。

- 建议：

- 保护数据：使用数据发现和分类检测敏感数据，实施加密、访问管理和合规性监控等数据安全控制，防止数据丢失。

- 保护模型：扫描漏洞、强化集成，配置策略和访问控制，保护 AI 模型开发。

- 确保使用安全：检测数据或提示泄漏，监控恶意输入，实施 AI 安全解决方案，开发响应运行手册。

- 保护基础架构：在底层 AI 基础架构中扩展网络安全策略和解决方案，加强威胁检测与响应、数据安全等。

- 建立 AI 治理：构建具备 AI 治理框架，实现负责任、可解释、高质量且值得信赖的 AI 模型，监控公平性、偏差和漂移，自动记录模型资料以支持审计，整合多个工具和平台。

总之，生成式 AI 为网络安全带来了新的挑战，但也为网络安全防护提供了新的机遇和手段。企业应充分认识到这些风险，采取相应的保护措施，建立完善的 AI 治理框架，确保在享受生成式 AI 带来的便利和效益的同时，保障网络安全。随着生成式 AI 的不断发展，网络安全指南也将不断完善，以适应新的安全需求。