【论文速读】| APOLLO:一种基于 GPT 的用于检测钓鱼邮件并生成警告用户的解释的工具

news2024/11/24 23:10:16

图片

基本信息

原文标题:APOLLO: A GPT-based tool to detect phishing emails and generate explanations that warn users

原文作者:Giuseppe Desolda, Francesco Greco, Luca Viganò

作者单位:University of Bari “A. Moro”, Italy, King’s College London, UK

关键词:网络钓鱼、LLMs、警告、解释、电子邮件分类

原文链接:https://arxiv.org/pdf/2410.07997

开源代码:https://anonymous.4open.science/r/APOLLO-658A

论文要点

论文简介:本论文提出了一个名为APOLLO的工具,它基于OpenAI的GPT-4o模型,旨在检测网络钓鱼邮件并生成解释信息来警告用户。该工具能够自动分类钓鱼邮件并生成详细的解释,帮助用户理解为什么某封邮件可能是恶意的。这种系统通过增强用户对警告的理解和信任,提高了用户的安全决策能力。论文还通过一项实验验证了该工具在邮件分类任务中的性能,展示了97%的分类准确率,并在结合第三方数据后,准确率提升至99%。

研究目的:网络钓鱼攻击因其复杂性和不断进化的手段,已成为当今网络犯罪中最广泛且有效的攻击方式之一。研究的目的在于通过利用大语言模型(LLMs),提出一种能够自动检测和解释网络钓鱼邮件的防御工具,旨在提高用户对潜在威胁的防御能力。传统的警告系统虽然能够检测恶意内容,但缺乏有效的解释信息,使得用户在面对复杂攻击时缺乏足够的决策依据。APOLLO的设计旨在填补这一空白,既提高了技术检测的准确性,又增强了用户在面对警告时的信任感和理解力。

引言

如今的数字世界依赖度极高,网络钓鱼攻击已成为对用户、组织和IT系统的重大威胁。这些攻击之所以成功,是因为它们利用了人类的认知弱点,如缺乏知识、时间压力和情绪化判断。因此,随着钓鱼攻击的日益复杂化,迫切需要加强钓鱼防护,涵盖技术和人类两个方面。尽管现代浏览器和邮件客户端已经具备高级技术手段来检测可疑内容,但许多警告系统仍未能有效地保护用户。传统的警告缺乏详细解释,无法帮助用户了解威胁背后的原因。

本论文提出了一种基于大语言模型的解决方案,旨在动态生成个性化的解释信息,帮助用户理解并规避潜在的网络钓鱼攻击。这种方法通过自动生成解释,取代了目前手动编写警告信息的繁琐过程,使其能够更快、更有效地适应新的攻击手段。

相关工作

本论文主要讨论了与网络钓鱼防护相关的两个领域的研究:警告系统和大语言模型(LLMs)的应用。传统的警告系统往往缺乏解释性内容,用户容易忽视或误解其重要性,尤其是在面对复杂的钓鱼邮件时。而加入解释信息的警告系统则能够帮助用户更好地理解潜在风险,增强警告的有效性。

在LLMs领域,尽管这些模型在文本处理任务中表现优异,但在网络钓鱼防护领域的应用仍然较少。现有研究表明,LLMs在检测网络钓鱼邮件中的潜力巨大,尤其是在识别复杂的社会工程攻击手段时表现出色。通过结合技术手段和人类因素,本论文的研究为LLMs在钓鱼防护中的应用提供了新的方向。

APOLLO

APOLLO系统的核心是利用GPT-4o模型来自动分类邮件并生成解释信息。系统架构包含三个主要模块:预处理模块、URL增强模块和LLM提示模块。预处理模块负责提取和清理邮件内容,将其转换为适合GPT模型处理的格式;URL增强模块通过VirusTotal和BigDataCloud API获取邮件中的URL信息,并将这些外部情报加入模型的推理过程中;最后,LLM提示模块基于邮件和URL信息生成分类结果和详细解释,帮助用户理解邮件的潜在风险。

图片

图片

APOLLO评估

实验方法:APOLLO系统的评估采用了一个包含4000封邮件的数据集,其中一半为钓鱼邮件,另一半为合法邮件。评估过程中,系统首先通过预处理和URL增强模块处理每封邮件,然后使用GPT-4o模型对其进行分类。实验还模拟了不同的外部信息准确度场景,以测试VirusTotal等服务的数据对分类性能的影响。

图片

数据分析:通过精度、召回率、准确率和F1评分等指标来衡量模型的分类效果。此外,还使用了Log-loss和ROC AUC来评估模型的概率估计性能。结果表明,APOLLO在没有URL信息的情况下,仍然能够达到97.4%的准确率,且ROC AUC值接近1.0,表明模型在分类任务中具有极高的辨别能力。

实验结果:实验结果显示,GPT-4o模型在处理网络钓鱼邮件分类任务时表现优异,特别是在引入外部信息(如URL情报)的情况下,准确率进一步提升至99%。然而,如果外部信息质量较低,可能会导致误分类。该系统在应对不同精度的外部信息时表现出较强的鲁棒性,即使在部分错误信息的情况下,仍然能有效检测出钓鱼邮件。

图片

研究评估

通过用户研究评估了APOLLO生成的警告信息的质量。实验招募了20名参与者,比较了APOLLO生成的警告与现有浏览器(如Chrome、Firefox和Edge)的警告,以及手动创建的警告。结果表明,APOLLO生成的警告在理解度、可信度和吸引力上均优于现有解决方案,且用户对其生成的解释信息反馈积极。

研究结果

定量结果:在本次实验中,APOLLO系统使用GPT-4o模型对4000封电子邮件进行分类(包括一半钓鱼邮件和一半合法邮件),展示了卓越的性能。没有外部URL信息增强时,模型的分类准确率为97.4%,ROC AUC值为0.994,表明其在区分钓鱼邮件和合法邮件方面非常准确。引入VirusTotal等外部URL情报后,分类准确率提升至99%,F1评分接近满分,进一步提高了检测的精度。然而,当外部情报信息错误时,模型的准确性会有所下降,尤其是在错误标记URL为安全的情况下,准确率下降至44.9%。即便如此,系统在检测钓鱼邮件时依然表现出较高的召回率,避免漏报。实验结果表明,结合外部威胁情报显著提升了模型的分类效果,使APOLLO成为钓鱼防护的有效工具。

图片

定性结果:在用户研究中,APOLLO生成的警告信息在多个维度上得到了积极反馈。用户普遍认为这些警告信息清晰易懂,尤其是包含详细解释的部分,帮助他们更好地理解邮件的潜在风险。相比传统的警告提示,APOLLO的解释性警告更具吸引力和可信度,用户表示这些警告能够提升他们的安全意识,并促使他们采取更为谨慎的行为。在调查中,参与者提到的常见反应包括对邮件内容的怀疑和停止交互的决定,尤其是在遇到不熟悉或可疑的链接时,许多人表示会选择不继续操作。此外,用户认为这些警告不仅帮助他们识别钓鱼邮件,还增强了他们对系统的信任感。部分用户指出警告中的某些技术术语,如“域名”和“IP地址”,略显复杂,但整体上这些警告信息显著提高了用户的风险认知水平。

图片

论文结论

本论文的贡献在于提出了一个基于LLM的网络钓鱼防护工具APOLLO,并展示了其在邮件分类和生成解释信息方面的有效性。通过实验验证,APOLLO在检测和解释网络钓鱼邮件方面表现出色,能够显著提升用户对安全威胁的感知能力。未来的研究将进一步优化系统,并探索LLMs在网络安全领域的更多应用。

原作者:论文解读智能体

校对:小椰风

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2234529.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

jfrog artifactory oss社区版,不支持php composer私库

一、docker安装 安装环境:centos操作系统,root用户。 如果是mac或ubuntu等操作系统的话,会有许多安装的坑等着你。 一切都是徒劳,安装折腾那么久,最后还是不能使用。这就是写本文的初衷,切勿入坑就对了。 …

WindowsDocker安装到D盘,C盘太占用空间了。

Windows安装 Docker Desktop的时候,默认位置是安装在C盘,使用Docker下载的镜像文件也是保存在C盘,如果对Docker使用评率比较高的小伙伴,可能C盘空间,会被耗尽,有没有一种办法可以将Docker安装到其它磁盘,同时Docker的数据文件也保存在其他磁盘呢? 答案是有的,我们可以…

vue常见题型(1-10)

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 2.2双向绑定的原理是什么vue框架采用的是数据双向绑定的方式,由三个重要部分构成2.2.1.ViewModel2.2.2 双向绑定2.2.3.1.编译Compile2.2.3.2.依赖收集 3…

python怎么将字符串转换为数字

python如何将列表中的字符串转为数字?具体方法如下: 有一个数字字符的列表: numbers [1, 5, 10, 8] 想要把每个元素转换为数字: numbers [1, 5, 10, 8] 用一个循环来解决: new_numbers []; for n in numbers:new_n…

大数据新视界 -- 大数据大厂之 Impala 性能优化:解锁大数据分析的速度密码(上)(1/30)

💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…

Flutter 插件 sliding_up_panel 实现从底部滑出的面板

前言 sliding_up_panel 是一个 Flutter 插件,用于实现从底部滑出的面板。它在设计上非常灵活,能够适应多种 UI 场景,比如从底部滑出的菜单、可拖动的弹出面板等。以下是 sliding_up_panel 的详细用法,包括常用的参数说明和示例代…

大客户营销数字销售实战讲师培训讲师唐兴通专家人工智能大模型销售客户开发AI大数据挑战式销售顾问式销售专业销售向高层销售业绩增长创新

唐兴通 销售增长策略专家、数字销售实战导师 专注帮助企业构建面向AI数字时代新销售体系,擅长运用数字化工具重塑销售流程,提升销售业绩。作为《挑战式销售》译者,将全球顶尖销售理论大师马修狄克逊等理论导入中国销售业界。 核心专长&…

es数据同步(仅供自己参考)

数据同步的问题分析: 当MySQL进行增删改查的时候,数据库的数据有所改变,这个时候需要修改es中的索引库的值,这个时候就涉及到了数据同步的问题 解决方法: 1、同步方法: 当服务对MySQL进行增删改的时候&…

入门车载以太网(3) -- 网络层

目录 1. 网络通信示例 2. IP地址类别 3. IP数据报 4. 小结 今天继续车载以太网,聊聊网络层。 1. 网络通信示例 我们首先回顾车载以太网的数据传输模型。 从7层开始(车载以太网模糊了5-7层,统称应用层),每个中间层都为上层提供功能&…

六个核桃斥资千万研究脑健康,核桃健脑作用科学具象化了

健康,是这两年热度居高不下的社会话题。对健康的追求影响了诸多领域的发展,上至尖端科研,下至日常接触的食品饮料,都已被卷入大势。 其中,“脑健康”这个听起来更前沿的话题,又已经成为格外重要的一个领域…

基于Multisim光控夜灯LED电路(含仿真和报告)

【全套资料.zip】光控夜灯LED电路设计Multisim仿真设计数字电子技术 文章目录 功能一、Multisim仿真源文件二、原理文档报告资料下载【Multisim仿真报告讲解视频.zip】 功能 1.采用纯数字电路,非单片机。 2.通过检测周围光线,光线暗且有声音时自动开灯…

【go从零单排】go中的基本数据类型和变量

Don’t worry , just coding! 内耗与overthinking只会削弱你的精力,虚度你的光阴,每天迈出一小步,回头时发现已经走了很远。 基本类型 go中的string、int、folat都可以用连接boolen可以用逻辑表达式计算 package mainimport "fmt&quo…

前端学习笔记—Vue3特性

一、 Vue3与Vite构建工具简介 image.png image.png image.png image.png Vite构建工具(其他的打包工具有webpack,grunt,gulp) image.png image.png 构建 二、创建Vue3项目 vite在TypeScript结合使用上,直接开箱即用&am…

DICOM标准:DICOM图像核心属性概念详解——关于参考帧、病人位置、病人方位、图像位置和图像方向、切片位置、图像像素等重要概念解析

目录 1、参考帧模块属性 2、模态(Modality): 3、病人位置(Patient Position): 4、 病人方位(Patient Orientation): 5、 图像位置和图像方向: 6、切片位置 7、图像像素模块 7.1 图像像素属性描述 7.1.1 每个像素的样本 7.1.2 光度解释 7.1.3 平面结构 7.1.…

短视频矩阵系统的源码, OEM贴牌源码

针对矩阵短视频系统的源码功能设计,我们开发设计了以下核心模块: 1. 短视频一键发布功能:允许用户快速、便捷地发布短视频内容 2. 批量图文剪辑:支持同时编辑和处理多张图片与文本的组合,提高编辑效率 3. 批量剪辑短…

6款IntelliJ IDEA插件,让Spring和Java开发如虎添翼

文章目录 1、SonarLint2、JRebel for IntelliJ3、SwaggerHub插件4、Lombok插件5、RestfulTool插件6、 Json2Pojo插件7、结论 对于任何Spring Boot开发者来说,两个首要的目标是最大限度地提高工作效率和确保高质量代码。IntelliJ IDEA 是目前最广泛使用的集成开发环境…

新能源汽车与公共充电桩布局

近年来,全球范围内对新能源汽车产业的推动力度不断增强,中国新能源汽车市场也呈现蓬勃发展的势头,在政策与市场的共同推动下,新能源汽车销量持续增长。然而,据中国充电联盟数据显示,充电基础设施建设滞后于新能源汽车数量增长的现状导致充电桩供需不平衡,公共充电桩服务空白区域…

健身房管理智能化:SpringBoot技术指南

摘要 随着信息技术在管理上越来越深入而广泛的应用,管理信息系统的实施在技术上已逐步成熟。本文介绍了健身房管理系统的开发全过程。通过分析健身房管理系统管理的不足,创建了一个计算机管理健身房管理系统的方案。文章介绍了健身房管理系统的系统分析部…

Abaqus随机骨料过渡区孔隙三维网格插件:Random Agg ITZ Pore 3D (Mesh)

插件介绍 Random Agg ITZ Pore 3D (Mesh) V1.0 - AbyssFish 插件可在Abaqus内参数化建立包含水泥浆基体、粗细骨料、界面过渡区(ITZ)、孔隙在内的多相材料混凝土细观背景网格模型。 模型说明 插件采用材料映射单元的方式,将不同相材料赋值…

lora训练模型 打造个人IP

准备工作 下载秋叶炼丹器整理自己的照片下载底膜 https://rentry.org/lycoris-experiments 实操步骤 解压整合包 lora-scripts,先点击“更新” 训练图片收集 比如要训练一个自己头像的模型,就可以拍一些自己的照片(20-50张,最少15张&…