【论文速读】| LLMCloudHunter：利用大语言模型（LLMs）从基于云的网络威胁情报（CTI）中自动提取检测规则

news2024/9/20 18:48:55

本次分享论文：LLMCloudHunter: Harnessing LLMs for Automated Extraction of Detection Rules from Cloud-Based CTI

基本信息

原文作者：Yuval Schwartz, Lavi Benshimol, Dudu Mimran, Yuval Elovici, Asaf Shabtai

作者单位：Ben-Gurion University of the Negev, Department of Software and Information Systems Engineering

关键词：网络威胁情报(CTI)、大语言模型(LLM)、威胁狩猎、云、Sigma规则

原文链接：https://arxiv.org/abs/2407.05194

开源代码：暂无

论文要点

论文简介：随着网络攻击数量和复杂性的增加，威胁狩猎已成为主动安全的关键方面，能够在威胁造成重大损害之前进行检测和缓解。开源网络威胁情报（OSCTI）是威胁狩猎者的重要资源，但通常以非结构化格式提供，需要进一步的手动分析。本文提出了LLMCloudHunter，这是一个新颖的框架，利用大语言模型（LLMs）从文本和视觉OSCTI数据中自动生成通用签名检测规则候选。研究者使用12个注释的实际云威胁报告评估了所提出框架生成的规则的质量。结果表明，研究者的框架在准确提取威胁行为者API调用方面达到了92%的精确度和98%的召回率，并且在生成的检测规则候选成功编译并转换为Splunk查询方面达到了99.18%的成功率。

研究目的：在技术快速发展的背景下，网络攻击的数量和复杂性显著增加，传统的被动防御措施已经不足以应对这些威胁。威胁狩猎是一种主动搜索和缓解未被检测到的威胁的方法，旨在缩短入侵与发现之间的时间窗口。开源网络威胁情报（OSCTI）是威胁狩猎中广泛使用的信息来源，但由于其非结构化的特性，通常需要手动分析才能得出有意义的见解。本文的研究目的在于开发一个利用大语言模型（LLMs）的框架，能够自动从非结构化OSCTI中提取检测规则，从而提高威胁狩猎的效率和准确性，特别是在云环境下。

研究贡献：

1. 提出一个基于LLM的新框架，能够从非结构化OSCTI中自动生成Sigma规则候选，集成了文本和视觉信息，虽然框架主要针对云环境，但可以适用于本地环境相关的CTI。

2. 提供了一个包含12个云相关OSCTI帖子的注释数据集，支持框架的训练和评估。

3. 提供了关于LLM在网络安全复杂NLP任务中的应用见解，涉及提示工程技术和模型特性参数的有效使用。

4. 进行了全面的评估，评估了生成的Sigma规则候选的准确性和正确性。

5. 将研究者的代码和云CTI数据集在GitHub上公开，供研究社区使用。

引言

随着技术的快速发展和数字化进程的推进，网络攻击的数量和复杂性也随之增加，导致与这些技术进步相关的安全风险日益突出。为了应对这些风险，组织在传统的被动防御措施之外，开始采用动态防御策略，其中之一就是威胁狩猎。这种方法通过主动搜索和缓解未被检测到的威胁，旨在缩短从入侵到发现的时间窗口。开源网络威胁情报（OSCTI）作为威胁狩猎者的重要资源，提供了大量潜在和活跃威胁的信息。然而，OSCTI通常以非结构化的格式出现，需要手动分析才能得出有意义的见解。本文提出了LLMCloudHunter框架，利用大语言模型（LLM）自动从文本和视觉OSCTI数据中生成检测规则，特别针对云环境的独特安全挑战。

研究方法

本文提出的LLMCloudHunter框架包括三个主要阶段：预处理、段落级处理和OSCTI级处理。在预处理阶段，首先使用网络抓取工具下载并解析OSCTI的HTML代码，将其转换为统一的文本格式，并过滤掉不必要的内容。接着，通过图像分析模块处理从OSCTI中提取的图像，将其内容转换为文本以供进一步分析。

在段落级处理阶段，框架通过API调用提取器和MITRE ATT&CK TTP提取器，从预处理后的文本中识别出关键实体。然后，利用规则生成器将这些实体转化为初步的Sigma规则候选。

最后，在OSCTI级处理阶段，框架对从各段落生成的Sigma规则候选进行聚合和优化。通过规则优化器合并和分离选择字段，消除冗余，并通过IoC增强器将提取的IoC整合到Sigma规则中，最终生成逻辑一致且操作性强的检测规则。

通过这种方法，LLMCloudHunter能够从非结构化的OSCTI数据中自动生成适用于云环境的检测规则，提高威胁狩猎的效率和准确性。

研究讨论

研究者在12个云相关OSCTI源上评估了LLMCloudHunter的有效性和准确性。结果显示，该框架在准确提取威胁行为者的API调用方面达到了92%的精确度和98%的召回率，在提取IoC方面达到了99%的精确度和98%的召回率。此外，99.18%的生成检测规则候选成功转换为Splunk查询。通过综合评估，研究者确认了框架在处理OSCTI方面的高效性和准确性。

消融研究结果进一步验证了框架各组件的重要性。尤其是图像分析模块和API调用提取器，对提高整体性能起到了关键作用。然而，提取MITRE ATT&CK TTP的过程仍存在一定挑战，这可能影响整体性能，但不会影响Sigma规则候选的检测能力。总体而言，LLMCloudHunter展示了在自动化处理非结构化OSCTI数据方面的巨大潜力。

研究评估

数据集：研究者收集了12个由不同供应商发布的云环境开源网络威胁情报（OSCTI）。每个OSCTI的详细描述包括图像数量、标记数量、API调用数量及其技术复杂性。为了创建数据集的真实标签，研究者的研究团队（包括威胁狩猎和云安全专家）对每个OSCTI的内容进行了深入分析，识别并提取了OSCTI中描述的实体及其关系，以创建连贯且有意义的Sigma规则候选。

评估指标：研究者使用常见的实体和关系提取指标（精确度、召回率和F1分数）评估了框架的性能，并定义了一组特定的标准以测试每个Sigma规则候选在OSCTI的操作上下文中的功能性。

结果：LLMCloudHunter在提取威胁行为者的API调用方面表现出色，达到92%的精确度和98%的召回率，在提取IoC方面达到99%的精确度和98%的召回率。此外，生成的Sigma规则候选中有99.18%成功转换为Splunk查询。研究者的评估还显示，LLMCloudHunter生成的规则在语法正确性、条件字段准确性和描述元数据对齐方面表现优异，但在关键程度准确性方面略有不足。

消融研究进一步验证了各组件的重要性，特别是图像分析模块和API调用提取器在提高整体性能方面起到了关键作用。尽管在提取MITRE ATT&CK TTP方面存在挑战，但这些并未显著影响Sigma规则候选的检测能力。总体而言，LLMCloudHunter在处理非结构化OSCTI数据并生成可操作的检测规则方面展示了巨大的潜力。