AI大模型的快速向前奔跑，让我们见识到了AI的无限可能，但也展示了AI在虚假信息、深度伪造和网络攻击方面的潜在威胁。

据安全分析平台Netenrich报道，近日，一款名为FraudGPT的AI工具近期在暗网上流通，并被犯罪分子用于编写网络钓鱼电子邮件和开发恶意软件。

黑客在售卖页表示，该工具可用于编写恶意代码、创建出“一系列杀毒软件无法检测的恶意软件”、检测网站漏洞、自动进行密码撞库等，并声称“该恶意工具目前已经售卖了超过3000 份”。

恶意AI工具FraudGPT：可自动生成多种网络攻击代码

据报道，FraudGPT的运作方式是通过草拟一封电子邮件，以高度可信的方式诱使收件人单击所提供的恶意链接。它的主要功能包括：

l 创建钓鱼网站页面

FraudGPT可以生成看似真实的网络钓鱼电子邮件、短信或网站，诱骗用户泄露敏感信息，例如登录凭据、财务详细信息或个人数据；

l 找到最容易受害的目标

聊天机器人可以模仿人类对话，与毫无戒心的用户建立信任，导致他们在不知不觉中泄露敏感信息或执行有害操作；

l 创建无法检测的恶意软件

FraudGPT可以创建欺骗性消息，引诱用户点击恶意链接或下载有害附件，导致其设备感染恶意软件；

l 编写欺诈的短信、邮件

人工智能驱动的聊天机器人可以帮助黑客创建欺诈性文件、发票或付款请求，导致个人和企业成为金融诈骗的受害者。

据悉，FraudGPT是由名为 “CanadianKingpin” 的开发者提供。

它主要基于GPT-3的大型语言模型，在经过训练后，可以生成合乎逻辑且与事实相符的欺诈性文本。一旦付费购买，FraudGPT便可以帮助犯罪分子成功进行网络钓鱼和诈骗。

在发布FraudGPT后，Canadiankingpin还创建了自己的电台频道，宣布将提供其他欺诈服务，包括销售电子邮件线索、信用卡CVV码等。根据Canadiankingpin的描述，他目前已经通过了EMPIRE、WHM、TORREZ、ALPHABAY在内的多个暗网市场的供应商认证。

然而由于这些暗网市场极强的隐蔽性和不透明性，目前Canadiankingpin的身份依然是个谜团，调查者也仅找到了Canadiankingpin的TikTok账号以及相同id的Gmail邮箱。而另一个令人感到沮丧的消息是，在经历了近一周的研究后，Netrich也并未能够实现对FraudGPT背后的大语言模型的破解。

虽然自FraudGPT发布仅过去了不到两周，但一个明显的事实是，这款“顶级AI工具”已开始被利用到了实际的犯罪行为中。在部分销售FraudGPT的暗网中，Canadiankingpin与一些订阅用户已经分享了多起他们基于FraudGPT所实现的黑客活动。

据Netrich统计，FraudGPT至少自7月22日便开始在暗网市场和Telegram频道中流通，订阅费用为200美元/月，1700美元/年。相比于ChatGPT Plus订阅20美元/月，价格高了10倍。

截止目前，暗网上已存在了超过3000条确认的订阅信息及评论。

恶意AI攻击工具：降低网络犯罪的进入门槛

事实上，AI工具降低了网络犯罪分子的进入门槛，FraudGPT已经不是第一起案例。

即便Claude、ChatGPT 、Bard等AI提供商会采取一些措施来防止他们的技术被用于不良目的，但随着开源模型的崛起，犯罪分子的恶意行为很难被遏制。

7 月初，基于开源大语言模型GPT-J开发而成，并且使用大量恶意代码进行训练和微调的WormGPT也曾引发关注。

据悉，WormGPT擅长使用Python代码执行各种网络攻击，例如：生成木马、恶意链接、模仿网站等，其在创作诈骗信息和钓鱼邮件等任务上所表现出的“卓越”能力让人胆战心惊。

但相比之下，FraudGPT在功能丰富性和编写恶意软件方面的功能更强大。

事实上，除了上文所提到的FraudGPT、WormGPT等专为恶意活动而生的聊天机器人外。大语言模型本身所潜藏的风险也在不断给安全从业者们带来挑战，除了我们所熟知的幻觉问题外，大模型脆弱的护栏也在成为网络安全的一大噩梦。

上个月ChatGPT、Bard等聊天机器人暴露出的“奶奶漏洞”就证明了这样的事实，只需要通过提示让这些聊天机器人扮演用户已故的祖母，便能欺骗它们在讲睡前故事的过程中透露大量限制信息，甚至是手机IMEI密码或Windows激活秘钥。

除此之外，CMU和人工智能安全中心的研究员还发现了另一种通用方法，只需要附加一系列特定无意义token，就能够生成一个prompt后缀。而一旦在prompt中加入这个后缀，通过对抗攻击方式，任何人都能破解大模型的安全措施，使它们生成无限量的有害内容。

尽管在过去几个月中，OpenAI、谷歌等世界顶级科技公司都在努力为自己所研发的大模型设计更多更加完善的限制措施，以保障模型能够在安全稳定的情况下工作。但显而易见的是，直至目前仍然没有人能够完全避免类似问题的发生。

当犯罪门槛降低，企业如何防范？

毋庸置疑，无论是WormGPT ，还是FraudGPT ，这类极具威胁性的AI工具，都在为促进网络犯罪和诈骗“赋能”。

安全分析平台Netenrich曾表示：“这项技术会降低网络钓鱼电子邮件和其他诈骗的门槛。随着时间的推移，犯罪分子将找到更多方法来利用我们发明的工具来增强他们的犯罪能力。”

当AI工具的邪恶面被淋漓尽致的展现，再加之网络攻击「低门槛」，加强防御策略显得尤为重要。

为此，有专家针对个人和企业，提出了一些可采取的关键措施，以确保免受 FraudGPT和类似AI工具威胁的影响。

l 对在线通信保持警惕

不要乱点击陌生的网站链接、邮件，安装未知的软件。同时，针对需要验证、涉及敏感信息、金融交易的意外电子邮件，应通过官方渠道加以验证。

l 及时了解网络安全措施

定期更新安全软件、安装补丁并使用信誉良好的防病毒程序来防范潜在威胁。同时，也需要了解最新的网络安全实践，增强网络攻击的防御意识。

l 警惕未知的链接和附件

不要点击未知来源的链接或打开附件。FraudGPT可以生成指向网络钓鱼网站的逼真URL，因此，在点击任何链接之前验证发件人的身份至关重要。

l 教育和培训员工

对于企业来说，网络安全最佳实践的员工培训至关重要。确保员工了解潜在威胁并知道如何识别可疑活动。如果员工遇到任何可疑消息，应该立即向IT部门报告。

结语

AI大模型的快速发展在给诸多领域带来积极影响的同时，随着模型能力的不断提升，也被运用在恶意活动中，破坏力与日俱增。

但无论是FraudGPT、WormGPT等恶意软件的出现，还是大模型总会出现的幻觉、越狱等问题，其实都不是为了告诉我们AI有多么危险，而是在提醒我们需要更加专注于解决现阶段AI领域所存在的诸多问题。

正如网络安全专家Rakesh Krishnan在一篇关于FraudGPT的分析博客中所写的那样：技术是一把双刃剑，网络犯罪分子正在利用生成式AI的能力，而我们同样可以利用这种能力攻克他们所提出的挑战。技术作恶者不会停止创新，我们同样不会。

值得欣慰的是，目前无论在国内外，政府及科技企业都在积极完善有关人工智能的监管政策及相关法规。

七月中旬，国家网信办已联合六部门发布了《生成式人工智能服务管理暂行办法》；七月底，美国7家AI巨头也与白宫达成协议，将为AI生成内容添加水印。

近来多个包含数据采集和使用不规范等问题的AIGC应用被要求在苹果商店下架一事也证明着监管措施正在发挥积极作用。

虽然关于人工智能，无论在技术还是监管方面我们都还有很长的道路需要去探索，但相信随着各界的共同努力，许多问题都将在不久后迎刃而解。