本文首发微信公众号网络研究院，关注获取更多。

随着 AI 和自动化工具被引入企业，解决这些新技术（包括 OT 环境中的生成 AI）带来的网络风险需要一种综合方法。

这些新兴技术进步可以在 OT（运营技术）基础设施中发挥重要作用，因为它们有可能提高整个工业环境的效率、生产力和安全性。

其中一些工具还被确定用于帮助研究人员和攻击者发现源代码中的漏洞、从头开始编写漏洞利用程序，以及设计查询以在线查找易受攻击的设备。 

人工智能驱动的网络安全系统对工业部门来说是无价的，因为它们可以实时检测潜在威胁，例如异常网络活动或可疑行为。这些系统使用机器学习算法从过去的攻击中学习并适应新的威胁。

通过利用这些功能，制造商可以主动防止网络攻击并将安全漏洞的影响降至最低。这些先进的系统充当可靠的防御机制，在面对不断变化的网络威胁时为制造商提供增强的保护和安心。

生成式 AI（人工智能）系统属于机器学习的大类，它们使用深度学习模型，可以获取原始数据并“学习”以在提示时生成统计上可能的输出。生成人工智能领域的最新突破有可能创造内容，而不是分析现有数据或根据现有数据采取行动，组织及其对手都可以使用这些数据。

通过分析来自传感器和其他来源的数据，生成式人工智能可用于产生洞察力、提高生产力、优化工业流程、减少停机时间、改善能源消耗、简化活动执行并实现预测性维护。但是，必须仔细考虑网络安全风险，以确保在工业环境中安全可靠地实施这些技术。 

例如，一个名为 ChatGPT 的生成式 AI 系统可用于创建新内容，它接受了数十亿个参数的训练，尽管工业环境中不存在如此大的数据集。当这样的预训练模型与数据湖中的原始数据集成时，模型不容易识别这些模式。

对于理解工业环境的模型，需要根据工业数据重新训练模型，考虑到生成的工业数据的多样性或执行重要的“即时工程”，这可能代价高昂。在非上下文化、非结构化工业数据上采用此类模型会显着增加错误和不可信答案的风险称为“AI 幻觉”。

ChatGPT 幻觉使开发人员容易受到供应链恶意软件攻击

在网络杀伤链的各个领域增加人工智能和自动化的使用，可以使黑客走得更远、更快，从而显着加快侦察、初始访问、横向移动以及指挥和控制等步骤。黑客可以巧妙地瞄准和利用网络杀伤链的不同部分，使他们能够更快地走得更远，这可以在整个仍然严重依赖人工输入的工业领域产生影响。 

另一个有趣的动态是，对于不熟悉特定环境的攻击者，AI 已经能够以更简单的方式解释其输出；描述网络中的哪些资产对攻击最有价值或最有可能导致严重损害；为接下来的攻击步骤提供提示；同时还以自动化大部分入侵过程的方式链接这些输出。

随着先进的 AI 和自动化技术可供恶意行为者使用，工业公司如何为 AI 驱动的网络攻击做好准备，以及看到了哪些新兴的 AI 网络威胁。

两个主要的新兴 AI 网络威胁：首先，使用生成 AI 来创建非常有说服力的社会工程工件，例如网络钓鱼电子邮件、BEC 诈骗或 deepfake 音频和视频，已在真实攻击中报道过，可用于欺骗合法用户授予恶意行为者访问权限；第二，自动生成或改进用于漏洞利用和恶意软件的恶意代码，威胁参与者目前正在探索这一点。

虽然这些攻击中使用的工件是以新的方式生成的，但使用它们的攻击技术基本保持不变，这也意味着安全最佳实践不会发生重大变化。主要区别在于攻击量可能会增加，因为进入壁垒会降低，攻击发生的速度可能会更快，因为人类行为者在初始访问后花费的大部分时间都可以通过使用自动化工具减少。

为人工智能辅助的网络攻击做准备，坚持基本原则，例如维护网络上每项资产的完整清单，了解其风险、暴露和合规状态，并能够自动检测和响应针对这些资产的高级威胁。

可以采取两种可能的措施：一个是让资产所有者具备监控异常流程、数据流和设备性能的能力。此功能称为工业网络安全运营中心 (ISOC)。说起来容易做起来难，因为建立这样的能力需要聘请和培训对企业运营有足够了解的专业人员，以帮助高级工厂工程师。两者都需要很好地合作才能有效。

人工智能可以成为用于检测异常行为的工具之一，但只有高级工厂工程师等对操作有深入了解的人才能做出最终决定。

第二项措施是将连接限制为仅监视和控制过程所需的连接。需要抵制使用云或将工业 4.0应用于企业的诱惑。如果成功，敌对人工智能进入行动的风险就会大大降低。增加连接性的最终决定应留给高级工厂工程师，而不是 IT 部门。CISO、会计或其他管理人员，他们花时间从事营销或管理工作。

就评估 AI 带来的新兴威胁而言，我们没有太多真实的例子可以判断。听说过‘蜂群’指的是军事用途，自动化系统已经存在多年，可以扫描互联网以寻找控制操作的空缺。

防御者如何利用人工智能的进步来帮助自动化防御措施。他们检查需要采取哪些保护措施，以及组织可以采取的主动措施来管理与实施人工智能和自动化技术相关的风险。

人工智能还可以促进和加速许多防御用例，例如从威胁情报报告中提取信息，根据对手技术或妥协指标创建威胁搜寻代码，用自然语言解释逆向工程代码以及在攻击者之前发现系统中的漏洞它。

目前在尝试将生成人工智能应用于防御用例时存在两个主要挑战：首先，私人或敏感数据可能会泄露给提供人工智能服务的第三方，具体取决于提示的制作方式和使用的服务；其次，生成式 AI 工具给出的答案可能非常有说服力，但完全错误（这被称为“幻觉”。） 

考虑使用生成人工智能进行网络防御的组织需要采取两个关键步骤：首先，确保没有敏感数据被用作将由外部实体处理的提示的一部分；其次确保收到的每个答案都经过人工验证的准确性。

使用人工智能来监控异常过程流、数据流和设备性能是可能的。然而，应该注意高级工厂工程师在 AI 建议采取行动时做出最后决定，与在办公室 IT 环境中使用 AI 检测和指导对 AI 入侵的响应相比，风险要高得多。工业环境是使用技术来监测和控制受物理和化学定律支配的过程的地方。结果完全不同。

组织如何迫切需要调整其网络安全战略以纳入 AI 驱动的检测和响应，以跟上这些新威胁的步伐。

组织需要首先了解他们的安全和事件响应流程的哪些部分可以通过人工智能实现自动化或加速。人工智能可能在第一时间不会取代任何人类分析师，而是让他们专注于相关案件的调查，同时负责为分析师提供成功所需的信息。

在了解了这些用例之后，需要在人工智能提供的潜在速度与上述风险（泄露私人数据和得到错误答案）之间取得平衡，并确定最终结果是否有利。

组织首先不能觉得他们必须‘紧急调整’他们的策略以纳入 AI 检测，尤其是‘响应’。

法规在为工业公司应对基于人工智能的网络攻击做准备方面发挥的作用。现有法规是否考虑到人工智能在网络攻击链不同部分的威胁，这可能会让黑客更快地行动。

在 ChatGPT 突然流行之后，越来越多的人在推动对生成人工智能和大型语言模型的训练和使用的监管。开发这些技术的组织目前正在提倡某种形式的监督，以保持人工智能的使用合乎道德。

而且在某些时候，可能会有减缓人工智能恶意使用的法规，目前恶意行为者可用的工具可能已经造成足够的破坏。恶意行为者还将继续尝试寻找方法来绕过即将出台的法规对人工智能工具施加的任何限制。

最近在美国举行的一次政府听证会，其中一家人工智能公司的董事实际上要求监管，对于任何新技术，法规都会晚些时候出现。回想一下第一辆汽车何时出现在以马车为主的道路上。发生了很多混乱，然后法规和红绿灯出现了。

法规可能有用，但技术监管的好坏取决于监管者的知识。如果立法者拥有 MBA 或政治学学位，那么他或她就不太可能对 AI 做出明智的监管。如果监管者明智的话，他们将学会与技术专业人士交朋友，以更好地了解他们所处的环境。将受到监管。

专家们还解决了基于人工智能的防御的使用，尤其是在 OT/ICS 环境中的使用是否应受法规约束的问题。

不会很快出台使用人工智能网络防御的具体规定。一般而言，在规范网络防御方面已经开展了大量工作，例如定义可衡量的目标、增加供应商责任以及要求报告事件。

在这些基本项目得到明确定义和监管之前，增加关于人工智能在这些情况下的作用的讨论可能会造成更多混乱。尽管如此，对于行业代表和政策制定者来说，了解人工智能的持续进步并试图了解这些发展的哪些部分可以或应该受到网络防御监管，这无疑是至关重要的。

首先，人们应该明白，没有任何法规可以阻止敌对行为者（尤其是面向军事的行为者）在工业环境中开发和执行基于人工智能的网络攻击，震网Stuxnet 的一个特点是对石化厂安全系统的攻击或发现的 Pipedream 工具是对拒绝或破坏物理过程的兴趣。

在考虑实现政策目标的有效方法时，很难抗拒从事有效、廉价（对一个国家而言）且最重要的是不可否认的活动的诱惑。

国家电网、供水系统和石化厂的现代工业运营非常复杂。有些人称它们为‘系统的系统’。AI 所做的任何更改仍然是确定它是否获得授权的问题，尤其是在“学习模式”下，都可能对人员、财产和环境造成严重后果。

也许最好先在办公室 IT 环境中尝试这些新功能，然后在那里进行试验、错误和学习当然要确保与工业运营没有联系。