论文阅读- On the Feasibility of Fully AI-automated Vishing Attacks

https://arxiv.org/pdf/2409.13793

摘要

INTRODUCTION

II. GOALS AND THREAT MODEL

III. VIKING

A. Architecture

B. Interaction with the LLM

C. Audio processing

D. Call processing

E. Implementation

IV. EVALUATION METHODOLOGY

A. Experiment design

C. Characterization of participants

V. EVALUATION RESULTS

A. Can an AI-powered vishing system effectively extract information from victims?

B. Can an AI-powered vishing system be perceived as trustworthy by humans?

C. Can an AI-powered system sound and feel like a real person in a phone call?

D. What are the operating costs of an AI-powered vishing system?

VIII. CONCLUSIONS

摘要

网络钓鱼攻击是社会工程学的一种形式，攻击者利用电话欺骗个人披露敏感信息，如个人数据、财务信息或安全凭证。攻击者利用（exploit）语音通信的紧迫性(urgency)和真实性(aythenticity)来操纵受害者，通常冒充银行或技术支持等合法(legitimate)实体。

在这项工作中，我们研究了随着人工智能的出现，网络钓鱼(vishing)攻击升级的可能性。

从理论上讲，人工智能驱动的软件机器人可能有能力自动实施这些攻击，通过电话与潜在受害者展开对话，欺骗他们披露敏感信息。

为了验证这一论点，介绍了 ViKing，这是一个利用公开可用的人工智能技术开发的人工智能驱动的网络钓鱼系统。

它依靠大型语言模型 (LLM) 作为核心认知处理器，引导(steer)与受害者的对话，并辅以(complement)语音转文本和文本转语音模块管道，促进电话中的音频文本转换。

通过一项有 240 名参与者参与的受控社会实验，我们发现 ViKing 成功说服了许多参与者泄露敏感信息，即使是那些已被明确警告过网络钓鱼活动风险的人也不例外。

与 ViKing 机器人的互动普遍被认为是现实的。

从这些发现中，我们得出结论，潜在的恶意行为者可能已经可以使用像 ViKing 这样的工具，同时它也是网络意识计划的宝贵资源。

INTRODUCTION

背景介绍

社会工程学攻击，如网络钓鱼（phishing）[1, 2]、语音网络钓鱼(vishing)[3]和短信网络钓鱼(smishing SMS phishing)[4, 5]，特别危险，因为它们利用人的心理（psychology）而不是技术漏洞，在未经授权的情况下获取个人信息、财务数据或安全系统。此类攻击的后果是深远而广泛的，会造成重大经济损失、身份被盗、企业（corporate）安全受损（compromised）以及对数字通信的信任度下降[6-8]。

网络钓鱼攻击通常涉及欺诈者向毫无戒心的个人拨打电话[3]，依靠借口（pretext）和冒充（impersionation）合法实体来操纵或诱骗他们披露敏感信息[9, 10]。与传统电话相比，现代网络钓鱼攻击通常采用 VoIP 技术，使攻击者能够欺骗来电显示信息，并以最低的成本和努力接触到全球受众。网络钓鱼与其他网络攻击技术（如提示受害者拨打诈骗电话的网络钓鱼电子邮件）的结合已变得十分普遍[11]。有组织的网络犯罪运营着整个诈骗呼叫中心[9]，经常以虚构的(fabricated)国税局(IRS)要求、技术支持欺诈或银行安全警报为目标，套取敏感的个人和财务信息，或胁迫(coerce)受害者以虚假(pretense)借口付款。

GAP：

然而，随着人工智能的快速发展，人们越来越担心网络钓鱼攻击的复杂性可能会升级(escalate)。与网络钓鱼相比，语音钓鱼的成功率更高[9, 10, 12]，但由于依赖于与人类一对一的直接语音交互，其可扩展性(scalability)受到影响(impaired)。相比之下，网络钓鱼活动可以通过软件机器人的电子邮件广播，轻松锁定成千上万的潜在受害者。然而，随着人工智能模型，特别是大型语言模型（LLM）的广泛使用，这些动态变化可能会发生改变。LLM 在生成和解释人类语言方面表现出了前所未有的能力[13, 14]，这就提出了一个问题：在网络钓鱼电话中，LLM 能否用人工智能驱动的软件机器人取代人类接线员？虽然这一发展可能使威胁行为者能够大规模部署此类攻击，但也使企业和学校能够更有效地培训个人应对此类威胁。

方法：

在本文中，我们介绍了 ViKing，这是一种新型的人工智能驱动的网络钓鱼系统，能够通过电话与潜在受害者进行自主交互，并设计用于在有针对性的网络钓鱼攻击中提取敏感信息。

ViKing 的名字取自 “Vishing ”和 “King ”的谐音，它展示了利用现有人工智能技术开发具有攻(offensive)防(defensive)双重能力(dual capabilities)的软件机器人的潜力。

我们的系统主要基于 OpenAI 的 GPT 构建，还集成了 Twilio、Google Speech to Text 和 ElevenLabs 等关键组件，以组装（assemble）全自动、人工智能驱动的网络钓鱼机器人。

我们通过 Prolific 招募了 240 名参与者，并通过受控社会实验对 ViKing 进行了实施和评估。

出于道德方面的考虑，我们设计了一个情景，让参与者扮演一家虚构(fictitious)公司的员工，可以接触到敏感和非敏感信息。

然后，我们将参与者分为四组，每组都收到了有关网络钓鱼潜在风险的逐步(progressively)详细的信息。

实验结果：

我们的评估显示，ViKing 的机器人成功地从 52% 的参与者那里获取了敏感信息。

在参与者未被告知信息披露风险的情况下，披露敏感信息的参与者人数激增至 77%。随着有关风险的警告逐渐变得更加明确(explicit)，这些数字有所下降，从而支持了 “意识的提高会降低网络钓鱼活动的效果 ”这一观点(notion) [11]。

尽管如此，即使参与者受到了最强烈的警告，仍有 33% 的人向 ViKing 的机器人披露了敏感信息。

参与者的反馈表明，46.25% 的人认为 ViKing 基本可信/高度可信，68.33% 的人认为(perceive)他们与 ViKing 的互动是真实的，我们验证了这与攻击成功的几率较高有关。

我们还确定，使用 ViKing 成功攻击的成本在 0.50 美元到 1.16 美元之间，随受害者的意识水平而变化。

局限性：

鉴于我们的评估是在受控环境下进行的（出于道德原因，我们不能与真正的受害者接触），我们的结果不能直接推断(extrapolate)到现实世界。

然而，我们在这些受控条件下发现了具有统计学意义的趋势(statistically significant trends)，这表明在某些情况下，这种效应可能会在现实世界中出现，因此需要对可能涉及敏感信息的特定情况进行进一步的关注和分析。

因此，我们的工作是对利用人工智能系统进行网络钓鱼的潜在危险进行研究的初步呼吁。这也为进一步研究新的防御机制铺平了道路。

贡献：

总之，本文的主要贡献如下：(i) 基于商品人工智能服务设计并实施了一种新型人工智能驱动的网络钓鱼系统；(ii) 对自愿（voluntary）参与者进行了一项关于 ViKing 的有效性、可信度感知、人类模仿(mimicry)能力和成本的综合研究。

II. GOALS AND THREAT MODEL

在这项工作中，我们假设人工智能技术已经达到一定的成熟度，足以开发出人工智能驱动的虚拟网络钓鱼系统，该系统可以通过与受害者通话自动部署社交工程攻击。我们的目标是利用易于获取的（accessible）人工智能技术创建这样一个系统，并利用它来研究四个研究问题（RQs）：

RQ1 – Can an AI-powered vishing system effectively extract information from victims?

我们想要评估系统是否能够引导对话，以便从受害者那里提取特定的数据。

RQ2 – Can an AI-powered vishing system be perceived as trustworthy by humans?

我们的目标是确定系统的行为是否能引起受害者的积极反应，从而使他们更容易受到攻击。

RQ3 – Can an AI-powered system sound and feel like a real person in a phone call?

我们打算展示是否系统能够通过有效地模仿来欺骗受害者，让他们相信他们正在与真人交谈。

RQ4 – What are the operating costs of an AI-powered vishing system?

我们的目标是确定攻击者操作像我们这样的系统的成本

概念图：

我们概念化了一个人工智能驱动的语音钓鱼系统，如图 1 所示。

该系统包含一个软件代理（机器人），攻击者可以使用它来瞄准特定的网络钓鱼受害者。

该机器人的运行需要四项输入：(i) 目标受害者的电话号码；

(ii) 受害者资料，其中包括受害者的详细信息（如受害者或朋友的姓名），以便机器人定制攻击；

(iii) 攻击目标，详细说明要从受害者身上提取的信息类型

(iv) 角色，即机器人为欺骗受害者而假扮的角色（如 DHL 送货员）。

有了攻击者提供的这些信息，机器人就会打着指定角色的幌子给毫无戒心的受害者打电话，并开始互动以实现目标。达到目标后，机器人会将结果报告给攻击者。

可实施攻击类型：

根据这一模式，攻击者可以实施几种类型的攻击：(i) 从受害者那里获取信息，或 (ii) 说服受害者采取某些行动，如执行欺诈交易或在其计算机上安装恶意软件。

在本研究中，我们将重点关注(i)，并假定攻击者的目的是获取受害者的敏感信息，如个人数据、访问凭证或其他私人信息，从而利用这些信息对受害者进行诈骗，造成经济或其他形式的损失。

另外，攻击者可能会寻求公开信息，这些信息尽管可以获取，但获取难度很大，可以作为鱼叉式（spear）网络钓鱼或后续社交工程攻击的情报加以利用。

为了开展这些活动，我们假设攻击者可以获取受害者的电话号码和其他信息，以编制受害者档案。

III. VIKING

本节将介绍 ViKing 的设计和实施，这是一种新型的人工智能驱动的网络钓鱼系统，能够自动发起与受害者的电话通话，并通过对话说服受害者披露信息。

A. Architecture

图 2 描述了 ViKing 的架构，其结构是一个连接几个关键组件的管道：

(i) 用于发起呼叫和处理相应媒体流的电话接口；

(ii) 语音转文本 (STT) 服务，其任务是从通话输入流转录受害者的音频；

(iii) 大型语言模型（LLM），作为系统的 “大脑”，负责在预定义的语境中解释转录内容并生成适当的回应；

(iv) 文本到语音（TTS）服务，将联络员的文本回复转换成音频，通过呼叫输出流传输；

(v) 称为工作者的软件组件，负责管理其他组件之间的数据流。

运行步骤：

要初始化 ViKing，系统操作员必须提供多个输入：受害者资料、目标和角色。这些都是所有提示的持久性部分，将决定 LLM 以及 ViKing 的行为方式。还需要输入一个电话号码，用于与受害者建立联系。

一旦通话建立，系统就可以开始将受害者的音频作为输入（图 2 中的步骤 1）。

在步骤 2 中，语音转文本服务会对音频进行处理，从而生成转录。

转录内容将作为攻击的 “聊天记录 ”添加到提示符中（步骤 3）。

提示也包含从输入中提取的总体（overarching）背景信息，并被发送到本地语言管理器，以便生成适当的回复（步骤 4）。

然后以文本块的形式将回复传送给文本到语音服务（步骤 5）

因此可以从中合成音频（步骤 6）。

最后，当这些音频可用时，生成的音频块将通过电话流向受害者（第 7 步）。

如此循环往复，直到 ViKing 或受害者终止通话。

接下来，我们将介绍系统设计的其他细节。

B. Interaction with the LLM

在 ViKing 通过电话与受害者交换数据的认知处理过程中，LLM 起着至关重要的作用。

其主要作用是根据从音频处理组件接收到的转录文本来分析、解释和生成类似人类的响应。

然而，为我们的系统选择和定制(customizing) LLM 来执行此功能并非易事，因为如下文所述，其有效性高度依赖于此组件。

选择使用的LLM

Choosing the LLM: 为 ViKing 选定的法律硕士必须能够做出不仅符合上下文而且符合以下条件的回应它不仅要有相关性，还要有说服力和人性化，而且必须及时（promptly）做到这一点。

鉴于电话的实时性，必须（imperative）在质量和速度之间取得平衡。如果回复缺乏足够的质量，受害者受骗的可能性就会降低，但如果回复不迅速，ViKing 不是真人的情况就会更加明显。

因此，我们首先评估了几种模型，包括 OpenAI 的 GPT [15]、Meta 的 LLaMa [16]及其模型系列（OLLaMa [17]、ViCuna [18]）。

每个模型都有其独特的优势，但 OpenAI 的模型因其在上下文理解、响应生成速度和对话流畅性方面的先进能力而脱颖而出，而对话流畅性对于营造电话中实时对话的假象至关重要。

OpenAI 提供了多种模型。最初，我们采用了 GPT-3.5，它在响应质量和计算效率之间提供了平衡。不过，GPT-4 在生成更具语境准确性和细微差别的回答方面表现出了卓越的性能。尽管其计算要求和成本较高，但生成内容的质量证明将其集成到系统中是正确的。在 GPT-4- Turbo 发布后，我们发现它是 ViKing 的最佳选择，因为它将 GPT-4 的先进功能与更快的响应时间和更低的成本相结合。

建立agent的角色设置：

Building a persona:建立一个令人信服的角色对于有效的网络钓鱼攻击至关重要，因为这涉及到制作一个受害者可以信任并与之产生共鸣的身份，从而更容易操纵情绪、建立可信度并鼓励披露敏感信息。

这一点在通过电话进行的实时互动中尤为重要，因为角色的可信度可能决定攻击的成败。此外，角色还必须为 LLM 提供信息，以应对来自受害者的意外问题或阻力，从而赋予（confer）其一定程度的适应性(adaptability)。

我们通过四种不同的属性来描述 “角色”：

名称（“角色 ”的名称，在机器人自我介绍和对话过程中使用）；

目的（“角色 ”的目标和试图达到的目的，可以是善意的，也可以是恶意的）；

语气（“角色 ”在整个对话过程中的言谈举止）和背景故事（“角色 ”的个人经历和背景）。

以下是一个角色的例子：

name':'Agent Francis',

'purpose':'你的首要目标是让接听电话的人相信他们正在接受联邦调查，或者与正在接受调查的人有关。利用这种恐惧心理，以 “还他们清白 ”或 “确保他们受到保护 ”为幌子，套取敏感的个人和财务信息。',

'语气'：'你的语气严厉、不苟言笑，体现了联邦特工在高风险下工作的特点。你表现出隐含的紧迫感，暗示如果接听电话者不立即合作就会有潜在风险。',

'背景故事': '你是弗朗西斯特工，一名经验丰富的联邦调查局官员，在你的职业生涯中曾参与过多项重要调查。

目前，您正在处理一起'以某种方式'涉及被呼叫人的重大案件。鉴于此事的敏感性，您将绕过地方当局直接联系，以确保保密并迅速采取行动。为了“他们的安全”，他们提供必要的详细信息至关重要。

值得注意的是，与图 1 所示的系统模型不同，在 ViKing 中指定角色还包括攻击目标（即目的）。

为了评估的目的，我们开发了五个不同的角色：两个具有良性目标，三个具有恶意意图。

附录§A-B 提供了这些角色的更多细节。

表 VIII 列出了性别、年龄、学历和技术熟练程度的样本分布情况。表 VII 列出了 ViKing 使用的服务成本

ViKing 在三次通话中的每一次通话中都扮演了特定的角色。这是通过切换角色来实现的。在第三节 B 中介绍的角色由一组呼叫者参数组成，如姓名、目的、语气和背景故事，这些参数包含在认知处理单元的初始提示中，并决定了 ViKing 在通话过程中的行为。

角色 1 – 迈克尔：ViKing 试图说服受害者直接提供 Innovatech 首席执行官的私人电话号码。 “迈克尔”假装是一家合作伙伴公司的首席执行官，他需要与业务合作伙伴讨论与公司交易有关的紧急事项。 “迈克尔”的语气紧迫而有说服力。

角色 2 - 索菲亚： ViKing 冒充（impersonate） Innovatech 公司的 IT 支持专家。索菲亚的目的是以需要他们立即合作的强制性安全更新为借口，获取通话者的密码。她的语气专业、乐于助人，又略带紧迫，强调必须立即采取行动，确保公司系统的安全性和完整性。索菲亚恰当地使用技术术语（jargon），树立了可信度和权威性，强调了验证凭证以确保员工账户安全的紧迫性。

角色 3 - 萨曼莎：作为 Innovatech 公司的人力资源代表，“萨曼莎 ”的目标是获取员工的社会安全号（SSN）。她始终保持着专业和令人放心的语气，强调保持员工记录的更新对于福利、税务和法律目的的重要性。萨曼莎 "的任务是对员工记录进行全面审核，以符合公司政策和联邦就业法规的最新更新。

构建合适的Prompt：

Developing the prompt template: 为了能够利用不同的角色，我们开发了一个定制的提示模板，其中包括角色的特征和 LLM 的行为方式。这种标准化的做法可以在各种网络钓鱼场景中实现一致而真实的互动。最终的提示模板结构如下：

你是 $name。您的目的： $purpose。您的语气： $tone。您的背景故事：$backstory。您将参加与 $victimName 的电话通话。你必须遵循你的目的，因为这是一个电话，时间很重要，所以要尽可能简洁。如果受害者开始反驳，你要在目标范围内转移话题，不要过分坚持，同时态度要和蔼。如果你的目标已经实现，或者受害者似乎不愿意合作，你就应该结束谈话。对话结束时，请准确说出以下内容： $eoc. 对话现在开始。

该提示模板还包括受害人简介（见图 1），仅包含受害人姓名。提示语是反复推敲的结果，直到 LLM 达到预期效果。例如，为了纠正不受欢迎的行为，还加入了关于反应时间长短和撬动受害者多少才算放弃的说明。. LLM 还负责跟踪和解释对话流程，不仅要检测受害者何时不合作，还要检测目标何时实现，对话何时应该结束，之后再挂断电话--在这方面，OpenAI 的 GPT-4-Turbo 远远胜过其他设备。

道德讨论：

Circumventing（规避） LLM’s ethical restrictions: 在第一项试点研究中，我们制作了一个提示，指示机器人明确欺骗受害者提供敏感信息。然而，由于 LLM 内置的道德保障措施，它拒绝生成任何可用的回复。为了绕过这些限制，我们修改了提示，要求 LLM 冒充一个真正需要信息的角色，这样我们就能创建可用的对话。考虑到本研究的角色扮演性质和使用虚构信息的情况，这一策略并不违反任何法律或道德准则。

C. Audio processing

STT 和 TTS 处理组件使 ViKing 能够通过电话会话与受害者进行实时互动。要确保无缝和逼真的互动，这两个组件都面临着独特的挑战，其中最重要的是减少受害者讲话结束与合成语音播放开始之间的延迟。

STT介绍（语音转文本功能）

STT：语音转文本功能对于将受害者的口语转换为文本至关重要，文本随后将被输入 ViKing 的 LLM。我们在 STT 模块上面临两个主要挑战：(i) 确保实时转录而不会出现引人注意的延迟。因为任何反应滞后都会影响（jeopardize）对话的真实性；(ii) 确保它能检测到受害者何时停止说话，以便将转录内容转发给认知处理单元。

目前有许多 STT 解决方案，包括本地模式 [19, 20] 和在线服务 [21, 22]。在 ViKing 中，我们采用了谷歌的 “语音转文本”[21] 服务，该服务具有实时工作能力，因此受害者语音结束与最终转录之间的延迟很小。此外，它还专门针对电话对话进行了训练。此外，其检测语音端点的能力对于维持自然的对话流程至关重要。这种识别说话者何时讲完的能力使我们能够避免人工逻辑检测语音停顿，从而简化了流程。

TTS介绍（文本到语音功能）

TTS：文本到语音功能对于将生成的文本回复转换成语音至关重要，这对于保持真实对话的假象也至关重要。该模块面临的主要挑战是如何在语音质量和合成速度之间找到平衡，因为合成逼真的语音需要更长的时间。虽然最小延迟是整个系统的普遍要求，但对于 TTS 来说尤其如此，因为它是持续时间最长的任务之一。

市面上有许多 TTS 系统，既有本地模式 [23-27] ，也有云服务 [28, 29]。我们选择了 ElevenLabs [29]，因为它在语音质量和合成速度之间取得了平衡。它还包含多个选项以尽可能减少流程延迟，包括微调语音逼真度参数，以及以先进先出队列的形式实时工作，不断合成来自 LLM 的结果。我们使用 ElevenLabs 的预制语音，因为我们发现他们庞大的语音库足以满足我们的使用需求。

D. Call processing

我们对电话处理有多项要求，因为这是 ViKing 与受害者之间的主要接口。

电话：电话组件有两个关键功能：获取一个公开可信的电话号码和管理电话呼叫服务。公开电话号码是建立初步信任的关键，因为看起来是本地或熟悉的号码不容易引起怀疑。之所以选择 Twilio [30]，是因为它有大量可用的电话号码，并能通过 WebSockets 实现双向媒体流，这对于接收电话音频和传输合成回复都至关重要。

End of call:为了防止电话打得没完没了（everlasting），必须让 ViKing 具备检测何时应该挂断电话的能力。为此，我们给 LLM 下达了一项任务：当它认为目标已经实现或者电话没有任何进展时，就输出一个特定的字符串。之后，在从 LLM 到 TTS 的管道中，我们添加了一个 if 条件来搜索这个字符串--如果检测到它，就会指示电话挂断通话(hang up the call)。

Synchronization: LLM 并不是为接收流式输入而设计的。因此，我们需要一种机制来防止向LLM输入不完整句子。为此，我们实现了一个简单的同步机制，使 ViKing 开始和停止监听受害者的语音：(i) 当受害者停止说出句子时，STT 停止聆听并处理结果；(ii) TTS 播放完合成语音后，STT 再次开始监听受害者的语音。重复此循环直至通话结束。

Token streaming: 为了减少受害者语音结束与 ViKing 开始播放合成回应之间的延迟，我们将 GPT 配置为以标记形式流式输出。这些词块被收集到一个名为文本分块器的缓冲器中，直到收到足够的词块来组成一个完整的单词。一旦这样做了，我们就将词发送到 ElevenLabs 进行合成。同样，我们将 ElevenLabs 配置为使用流媒体，一旦它开始输出媒体，我们就直接通过 Twilio 的媒体流进行流式传输。与等待 GPT 的全部输出、发送到 ElevenLabs，然后等待全部合成语音再通过 Twilio 的媒体流发送相比，这种方法的延迟要低得多。

E. Implementation

为了促进扩展并使我们的系统能够并行运行多个机器人，我们将 ViKing 实现为分布式系统。这种设置有几个工作人员，每个人都负责拨打网络钓鱼电话。通过 Twilio 为每位员工分配一个单独的电话号码。此外，还有一个主服务负责持续查询 Worker，以确定哪些 Worker 可以启动新的调用。为了根据需要启动尽可能多的 Worker，我们将它们部署为 Docker 容器。

我们使用 Node.js 的 JavaScript 为 Worker 实现了 ViKing 软件的完整原型，因为我们发现它能更好地与我们的第三方服务集成，而主服务则使用 Python。我们编写了大约 1000 行代码，其中 750 行用于 Worker 的 JavaScript 代码，250 行用于 Master 的 Python 代码。

我们使用 GPT 模型“gpt-4-1106-preview”、ElevenLabs 模型“eleven Turbo v2”和 Google Speech to Text 模型“电话”。 ViKing 在配备 2 个 Intel Xeon Gold 5320 CPU、128GB 内存和 NVidia RTX A4000 GPU 的本地服务器上运行。

IV. EVALUATION METHODOLOGY

在本节中，我们将介绍在监控环境中使用 ViKing 研究第 II 节中提出的研究问题的方法。我们详细介绍了实验设计（§IV-A）、研究的伦理预防措施（§IV-B）以及为开展研究而有效进行的实验（§IV-C）。

A. Experiment design

为了评估 ViKing，我们必须与潜在受害者进行电话钓鱼，这带来了两个主要挑战。首先，部署我们的系统来提取真实个人的敏感数据在道德上是站不住脚的（untenable）。其次，在受控的志愿者群体中进行测试并非易事（trivial），因为我们不能使用参与者的个人信息，也不能完全公开测试结果。鉴于需要使用欺骗手段来有效评估我们的工具在模仿虚拟网络钓鱼攻击方面的成功率，我们需要了解研究的真实意图。这种开放程度可能会影响他们对 ViKing 电话的回应，从而影响我们结果的有效性。

模拟情景

Staged scenario:为了应对这些挑战，我们招募了一批自愿参与者参与（partake）模拟情景。参与者被指派扮演一个角色，具体来说是一家名为 Innovatech Solutions 的虚构公司的秘书（secretary）。他们获得与公司有关的（pertain）敏感和非敏感信息，负责处理外部电话，协助潜在客户或第三方。这些电话是由 ViKing 机器人拨打的，但参与者没有被告知这些电话是人工智能自动拨打的，他们也不知道呼叫者的真实意图。通过这种方法，我们可以：(i) 持续使用虚构数据；(ii) 在参与者不知道来电者是恶意还是善意的情况下，评估网络钓鱼攻击的有效性；(iii) 观察参与者是否（以及何时）能分辨出来电者不是人类。

向参与者提供了公共信息和敏感信息

Provided information:为了与来电者互动，我们向参与者提供了公共信息和敏感信息。

公共信息包括(i) 公司名称及其公共联系人；(ii) 一些财务信息，如年收入、税号和 Innovatech 的银行名称及相应的 IBAN；(iii) 开放和关闭时间； (iv) Innovatech 每条服务线的一般描述； (v) Innovatech 的地址

敏感信息包括 (i) 包括首席执行官、首席财务官、营销经理、IT 经理和销售代表在内的多名员工的姓名、职位和直拨电话号码；(ii) 秘书在公司信息系统中的用户名和密码；(iii) 秘书的社会安全号 (SSN)。这些信息一旦被窃取，就会被恶意行为者用于邪恶目的，如继续进行欺诈/网络钓鱼、身份盗窃计划或骚扰活动 [31-33]。

三通电话:一通电话带有恶意,2tong良性互动

Phone calls: 为了建立向 ViKing 披露信息的意愿基线，我们选择了三通电话，每通电话都来自不同的来电者，他们有各自的需求/目标、语气和个性。三通电话中的一通电话带有恶意，而其他电话则是良性互动。每个参与者的通话顺序都是随机的。

在恶意呼叫中，ViKing 可能会试图诱骗参与者 (i) 冒充合作公司的首席执行官，泄露（divulge） Innovatech 首席执行官的个人电话号码、(ii) 冒充创新科技公司的信息技术支持专家，泄露秘书的用户名和密码、(iii) 冒充 Innovatech 公司的人力资源代表，泄露秘书的 SSN。

在良性呼叫中，我们的系统扮演的角色要么是 DHL 快递员(courier)，要求提供公共信息以运送包裹，要么是不同公司的代表，询问可能的合作伙伴和公共财务信息。

通过在三种角色之间切换来扮演特定的角色（§III-B）。在附录（§A-B）中，我们解释了我们如何实施这些角色。

网络应用程序方便互动

Participant session workflow: 为了方便与参与者互动，我们使用 Node.js、Pug 模板引擎和 SQLite3 数据库开发了一个简单的网络应用程序。我们将该应用程序托管在我们自己的服务器上，并通过 Ngrok 隧道对其进行访问。与每个参与者的互动是通过这个网络应用程序分三个阶段进行的.

介绍阶段从每个参与者进入实验开始，包括：

(i) 披露研究的条款和条件并征得参与者的同意；

(ii) 收集相关的特征分析信息（如性别、年龄、技术熟练程度）、供 ViKing 拨打电话的有效电话号码，以及允许 ViKing 按要求称呼个人姓名的参与者姓名；

(iii) 实验情景概述，包括一分钟的教学视频。

参与者在完整观看视频后才进入语音通话阶段。然后，参与者会接到三个来自 ViKing 机器人的电话，他们可以根据自己的喜好做出回应，并且可以不间断地访问这家虚假公司的详细信息。每次通话的最长时间为十分钟。

反馈阶段：

最后，在反馈阶段，参与者填写了三份表格：

(i) 表格 1 有 10 个问题，用于衡量(gauge)工具的可信度和社交技能--在此阶段，参与者并不知道呼叫是人工智能生成的；(ii) 表格 2 有 9 个问题，旨在衡量 ViKing 在告知他们与自动系统互动后的真实感；(iii) 表格 3 允许公开评论。

Data discretion(慎重): 为了评估参与者对研究性质的了解是否会影响他们不愿披露敏感信息的程度，我们组织了四组不同的实验，称为 “波次”。在每一波中，我们都招募(enlist)了不同的参与者，并逐步(incrementally)披露更多关于向陌生来电者透露敏感数据的风险警告。为此，我们对每一轮的说明进行了调整，以反映四个级别的谨慎性：

第 1 级--最低限度的谨慎：在第一轮测试中，我们只告诉受试者要扮演秘书并保持专业水准。

第 2 级--中度警戒：在第二波中，我们进一步提到要考虑秘书不应向陌生来电者透露敏感或机密信息。

第 3 级--提高认识：在第三级中，我们举例说明了秘书不应披露的敏感信息（如直拨电话号码、员工姓名和地址、社会保障号、密码）。

第 4 级--最高警惕：在最后一波中，我们使用了另一段视频： (i) 强化秘书在与他人共享信息时应小心谨慎，(ii) 告知 Innovatech 曾是社会工程学电话攻击的受害者，其员工有责任保护其信息。

模招平台介绍

Recruitment platform:为了大规模招募参与者，我们采用了众包参与者招募平台，并考虑了几种不同的服务，包括亚马逊\Prolific [35]。我们选择 Prolific 是因为它在之前的人工智能研究中享有盛誉[36-38]，还因为它的用户可以选择参加欺骗调查[39]。我们的实验只对启用了该选项的用户开放。除了对有欺骗意愿的参与者进行预选(prescreening)之外，由于 ViKing 依赖于几个以英语为重点的组件，我们还选择对主要语言为英语的参与者进行预选。我们采用了 Prolific 的标准年龄和性别分布。我们按每小时 12 英镑的标准向参与者支付报酬，每次实验的设计时间约为 15 分钟。

试点研究

Pilot studies:为了简化我们的方法，我们进行了三项试点研究：一项是在我们的研究小组内进行，另两项是通过 Prolific 与较小的志愿者小组进行。初期试点的重点是对 LLM 参数和提示工程进行微调，帮助我们调整提示模板和定制(tailor)电话回复长度。随后的试点工作改进了说明和视频的清晰度，以及问题的清晰度、回答选项、问卷排序和实验阶段顺序。试点项目在方法上的主要调整包括 (i) 减少指导语的冗长(verbosity)，提高视频的清晰度；(ii) 将代表特定质量程度的回答选项限制为五个，以尽可能确保普通性；(iii) 排除被认为容易混淆的问题。在最终的问卷设置中，我们保留了控制问题，以评估密切相关的特性.

Role playing considerations:如上所述，我们采用了角色扮演的方法来评估 ViKing，这样我们就可以在实验中使用模拟(mock up)数据而不是真实的敏感数据。为了降低在参与者中引入偏见的风险，我们采取了三方面的策略：在研究说明页面中客观描述任务；鼓励与客户进行专业互动；强调按照标准商业惯例保守机密的重要性。

C. Characterization of participants

表一详细列出了通过 Prolific 与我们互动的所有志愿者，共计 1099 人。我们最终从中挑选出 240 名合适的参与者，平均分配到四个实验阶段。每波实验有 60 名参与者（每个目标信息 20 人），以便对不同条件下的实验结果进行一致的分析。每波实验按顺序进行。在开始下一波实验之前，我们会对每位志愿者的参与情况进行审查，以决定是否接受其参与。参与者只能参加一次我们的研究，并被排除在以后的实验之外。

共有 801 名志愿者没有完成研究。其中大部分（71.06%）被归类为 “返回”，表明他们开始了研究，但没有提交回复就退出了。我们的日志显示，这些参与者在几分钟后才开始与网页互动。出现这种延迟的原因可能是参与者同时打开了多个研究项目，以 “保留 ”这些研究项目，然后再依次参与每个研究项目。还有一小部分志愿者（1.82%）没有完成实验，被标记为 “超时”，这意味着他们未能在一小时内完成实验。

在完成实验的 298 名参与者中，我们拒绝了 38 人。没有完成全部三通电话或没有填写表格的参与者被标记为 “未完成”（1%）。那些完成了通话和填表但无视实验指南的参与者被视为 “低努力”（0.6%）。让电话转到答录机的参与者被标记为 “答录机”（1.8%）。最终，260 项实验获得批准，但我们由于技术问题和被错误批准的一项，进一步排除了20：19。

240 名入选者代表了不同的人口和专业背景。女性参与者的比例略微失衡，占 56.25%。参与者的平均年龄为 37 岁，从 18 岁到 68 岁不等。参与者的学历参差不齐，但相当一部分人完成了高中学业（32.92%）或获得了学士学位（45.83%）。技术熟练程度很高，95% 的人将自己评为称职、精通或专家。详细信息见附录（表 VIII）

V. EVALUATION RESULTS

本节将介绍我们的评估结果。我们的目标如下：评估该工具对毫无戒心的受害者成功实施网络钓鱼攻击的有效性（§V-A）；评估受害者对机器人是否值得信任的看法（§V-B）；评估 ViKing 在与人进行语音交互时的逼真度（§V-C）；以及评估该工具在发起网络钓鱼攻击时的成本（§V-D）。

A. Can an AI-powered vishing system effectively extract information from victims?

为了评估 ViKing 从潜在的网络钓鱼攻击受害者那里提取信息的有效性，我们查看了机器人和参与者之间的对话，并量化了机器人在每个设计场景中提取敏感信息的次数。在图 3 中，我们展示了我们的系统在每波所有场景中的成功率。接下来，我们将讨论这些发现，并通过分析与参与者的对话，深入了解 ViKing 收集信息的能力。

共有 52% 的参与者披露了敏感信息： 在所有波次中，ViKing 说服了 240 位参与者中的 124 位透露了敏感信息，这些信息可能是首席执行官的直拨电话号码、秘书的用户名和密码或秘书的 SSN，具体取决于所使用的攻击场景。为了了解未成功尝试背后的原因，我们对参与者的回答进行了分析，发现大多数失败的原因是参与者不愿披露敏感信息。表 II 列出了四个主要原因。

在 25.83% 的通话中，参与者断然(outright)拒绝分享信息；有些人没有提供具体原因，有些人则以公司政策或规程(protocol)作为理由(rationale)。值得注意的是，在 116 名未提供信息的参与者中，有 48 人（41.8%）推迟(defer)提供信息并启动了回电程序。他们告知来电者，他们无权提供信息，并建议将电话转给可以提供帮助的同事，或者向公司的通用电子邮件地址发送电子邮件，提出请求，这让机器人挂断了电话。最后，有三名参与者故意提供错误信息

攻击的成功率大幅下降，但并没有随着自由裁量权(discretion)等级的提高而完全缓解(mitigate)：如图 3 所示，随着我们向参与者提供的有关保护敏感信息的指示越来越明确，ViKing 攻击的成功率也越来越低。在第一轮测试中，当测试者被简单地要求扮演一名专业秘书时，60 名测试者中有 46 人向 ViKing 机器人透露了虚假的敏感信息、这表明，与会者普遍倾向于认为工作责任比保护敏感信息更重要。随着说明和警告越来越明确，披露敏感信息的参与者人数有所下降，尤其是在第 3 波和第 4 波（见表 II）。独立性的卡方检验（χ2 = 28.43，p < 0.001）表明，波数与攻击成功率之间存在密切联系。逻辑回归显示，波数对攻击成功率有显著的负向影响（β = -0.642，p < 0.001），从而证实了这一下降趋势。

虽然这些发现强调了持续培训和提高认识计划在加强网络安全防御方面的重要性，但在第 4 波的 60 位参与者中，仍有 20 位（33%）泄露了敏感信息，这表明有必要针对此类攻击制定更有效的防御措施。

学历、性别、年龄和职业对攻击效果没有统计学意义：分析表明，学历与电话攻击的成功率之间没有明显关系。独立性的卡方检验（χ2 = 3.485，p = 0.480）并未显示出显著的关系，这表明学历水平并不影响攻击成功的可能性。逻辑回归分析证实了这一结论，所有教育水平的系数均不显著（例如，高中：β = -0.194，p = 0.512；硕士：β = -24.706，p = 1.000；理学硕士：β = -0.270，p = 0.469；博士：β = -0.625，p = 0.354）。这些结果表明，仅凭学历不足以预测是否容易受到网络钓鱼攻击。同样，独立性的卡方检验（χ2 = 0.576，p = 0.902）表明，性别与攻击效果之间没有显著关联，女性的成功率为 67/135，男性的成功率为 53/97，“其他 ”和 “不愿透露 ”类别的成功率均为 2/4。我们使用卡方检验法（χ2 = 7.35，p = 0.0614）对不同年龄组进行了分析，结果表明年龄组与攻击成功率之间没有显著的统计学关联。逻辑回归分析表明，年龄与攻击成功的可能性之间存在轻微的负相关关系（β = -0.0129，p = 0.234），但这种关系在统计学上并不显著，这进一步证实了年龄对攻击成功没有实质性影响的结论。关于职业和攻击效果，秩方检验结果（χ2 = 7.253，p = 0.778）表明两者之间没有显著的统计学联系。总之，这些发现强调了不同人口群体的个人普遍易受社会工程学策略的影响。

通话时间越长，攻击成功率越低： 在进行逻辑回归时，我们发现以秒为单位的通话时长对攻击成功率有统计学意义的轻微负面影响（β = -0.0224，p < 0.001）。这一发现表明，随着对话时间的延长，攻击成功的可能性会降低。这表明，较长的对话可能会为目标提供更多发现和抵制网络钓鱼企图的机会。

参与者拼写单词对攻击效果产生了负面影响：我们的分析表明，ViKing 在处理参与者拼写单词的对话时存在技术困难。在这种情况下，ViKing 通常会中断对话，并将不完整的答案作为最终答案处理，要求重复信息。出现这一问题的原因是，人类经常以不规则的间隔逐字拼写复杂的单词或大数字（如密码或 SSN）。值得注意的是，所有存在这一问题的攻击场景调用都涉及密码（Inn0V4t3CH）或 SSN（324125748）。虽然在 720 次调用中只有 45 次出现这种情况，而且只有 15 次是攻击场景，但从统计意义上讲，这种情况是显著的，表明需要进一步改进人工智能管道。具体来说，密码场景受到这些困难的显著影响，因为它显示出拼写单词的呼叫与不成功的攻击之间存在明显的关系（χ2 = 5.08，p = 0.024）。

ViKing 经常在谈话中即兴发挥（improvised）：在对话中，即使面对参与者无法预知的答案，LLM 也能始终根据具体情况做出适当的回应。此外，ViKing 还经常表现出随机应变的能力，在面对无法预料的问题时，能做出新颖的回答。例如，在一次对话中，一位参与者询问呼叫者是否知道首席执行官的名字，机器人巧妙地（ingeniously）回答说：'他叫乔纳森-史密斯。过去，我曾与他就我们的合资企业(venture)有过几次直接会面。(...)'在这里，机器人编造(fabricate)了一个名字以及与首席执行官的虚构(fictional)历史，这一行为导致参与者终止了通话。还有一次，在询问机器人的全名和电子邮件时，它回复的是编造的(invented)凭证：我的全名是迈克尔-哈里斯（Michael Harris），是 CyberNest Technologies 战略合作伙伴副总裁（......），我的电子邮件地址是 m.harris@cybernesttech.com (...)'. 同样，当被问及电话号码时，机器人也提供了：当然，我知道需要验证。我的直线电话是 555-342-9087。(...)' - 一个虚构的（ficitious）号码。

ViKing 在对话中很少（seldom）有错误的（faculty）推理：机器人在建立合乎逻辑和连贯的对话方面表现出了非凡的能力。然而，在有些情况下，LLM未能提供高质量的答复。例如，在一个机器人被编程为与艾丽卡交流的情境中，它错误地把自己介绍成了艾丽卡，这给参与者造成了困惑，并导致了一次不成功的攻击。在另一次互动中，机器人错误地请求参与者提供电话号码，而不是首席执行官的电话号码。在某些情况下，机器人 “忘记 ”在提示中自定义首席执行官姓名的占位符，从而导致了诸如''''''''''''等回复：是的，我很清楚。我需要与此处插入首席执行官的姓名通话（......）“，以及 ”至于首席执行官的姓名，根据之前的互动，我的印象是插入首席执行官的姓名（......）"。

ViKing 还能有效收集公开的非敏感公司信息情报：我们的研究主要探讨机器人提取公司员工不应披露的敏感信息的能力。不过，在社会工程学攻击中，收集公开信息对于收集有关组织或个人的情报同样至关重要。有趣的是，ViKing 没有专门为此任务编程，却能说服参与者透露公共和非敏感信息。例如，在与一个模仿 DHL 快递服务的机器人互动时，许多参与者很乐意提供假冒公司的地址和营业时间。在要求假冒公司公开财务细节以建立潜在合作关系（partnership）的情景中，参与者最初都会分享年收入(revenue)和业务范围(business lines)等信息。然而，在后来的浪潮中，一些参与者以未经授权为由拒绝与 ViKing 分享这些信息，或者将机器人转给其他员工寻求帮助。这一变化反映出参与者对以下问题的认识在不断提高.

B. Can an AI-powered vishing system be perceived as trustworthy by humans?

为了确定 ViKing 是否值得信赖(trustworthy)，我们分析了参与者对表格 1 的回答，表格 1 是由 10 个问题组成的初始问卷，我们要求参与者在语音呼叫阶段结束后填写（见第 IV-A 节）。为确保回答无偏见，在填写表格 1 时没有明确告知参与者他们正在与人工智能驱动的网络钓鱼系统互动。为了说明我们的研究结果，图 4 显示了获得数字答案的问题子集，简化了从 1 到 5 的解释（5 为最高分），我们在表 III 中显示了表格 1 中的其余问题，这些问题获得了更加丰富的定性回答。整套问题及其回答见附录（表 IX）。

68.33% 的参与者认为 ViKing 的可信度和可信任度达到或超过平均水平，这与攻击成功的几率较高有关;

ViKing 甚至能从一些并不完全信任呼叫者的参与者那里收集到敏感信息;

对 ViKing 的初步良好印象会极大地影响攻击的成功与否。

C. Can an AI-powered system sound and feel like a real person in a phone call?

为了评估 ViKing 电话的逼真度及其在模拟真人方面的成功，我们检查了表格 2 中的反馈以及参与者在表格 3 中提供的意见和建议。这两份表格都是参与者在得知自己与人工智能机器人互动后填写的。图 5 和图 6 展示了从表格 2 中得到的启示：图 5 展示了对问题 1 到问题 8 的回答，而图 6 则是对问题 9 的回答。附录（表十）中列出了更多去尾信息。我们还从表格 3 中精选了十条有见地的意见和建议，列于表 IV。总体而言，我们的实验获得了积极的反馈，引人入胜的对话和熟练的互动管理得到了称赞。