关于Hfinger
Hfinger是一款功能强大的HTTP请求指纹识别工具，该工具使用纯Python开发，基于Tshark实现其功能，可以帮助广大研究人员对恶意软件的 HTTP 请求进行指纹识别。
该工具的主要目标是提供恶意软件请求的唯一表示（指纹），以帮助识别。这里的“唯一”指的是每个指纹仅出现在特定的恶意软件家族中，但一个家族可以拥有多个指纹。Hfinger通过简化请求的形式来表示请求，但仍保持人类可读性，而不是打印整个请求。
Hfinger不仅可用于手动恶意软件分析，还可用于沙盒系统或SIEM（安全信息与事件管理）中。生成的指纹有助于对请求进行分组，精确定位到特定恶意软件家族，识别某个家族的不同操作，或发现其他安全系统忽略的未知恶意请求，而这些请求具有相同的指纹。
运行机制
本项目的基本假设是，不同恶意软件家族的HTTP请求在某种程度上是独特的，因此可以通过指纹提取来提供某种识别方式。Hfinger保留了某些Header结构和值的信息，以便进一步分析。
在对恶意软件的HTTP请求和Header进行分析后，我们识别出了一些最具辨识度的请求部分，包括：
1、请求方法
2、协议版本
3、Header顺序
4、常见Header的值
5、Payload长度、熵值及是否包含非ASCII字符
此外，还考虑了请求URL的一些标准特性。所有这些部分被转换为一组特征，这些特征会被转化为可变长度的表示形式，即实际的指纹。根据报告模式，不同的特征被用于指纹化请求。
工具要求
Python>=3.3
Tshark>=2.2.0
fnvhash>=0.1.0
python-magic>=0.4.18
工具安装
由于该工具基于Python 3开发，因此我们首先需要在本地设备上安装并配置好最新版本的Python 3环境。
源码安装
接下来，广大研究人员可以直接使用下列命令将该项目源码克隆至本地：
git clone https://github.com/CERT-Polska/hfinger.git
然后切换到项目目录中，使用pip命令和项目提供的requirements.txt安装该工具所需的其他依赖组件：
cd hfinger pip install -r requirements.txt
PyPI安装
pip install hfinger
工具使用
安装完成后，我们可以直接在命令行中使用“hfinger”命令调用该工具，或通过“python -m hfinger”命令以Python模块的形式使用Hfinger，例如：
foo@bar:~$ hfinger -f /tmp/test.pcap
[{"epoch_time": "1614098832.205385000", "ip_src": "127.0.0.1", "ip_dst": "127.0.0.1", "port_src": "53664", "port_dst": "8080", "fingerprint": "2|3|1|php|0.6|PO|1|us-ag,ac,ac-en,ho,co,co-ty,co-le|us-ag:f452d7a9/ac:as-as/ac-en:id/co:Ke-Al/co-ty:te-pl|A|4|1.4"}]
工具帮助信息
usage: hfinger [-h] (-f FILE | -d DIR) [-o output_path] [-m {0,1,2,3,4}] [-v]
[-l LOGFILE]
Hfinger - fingerprinting malware HTTP requests stored in pcap files
optional arguments:
-h, --help：显示此帮助信息并退出；
-f FILE, --file FILE：读取单个pcap文件；
-d DIR, --directory DIR：从目录DIR中读取pcap文件；
-o output_path, --output-path output_path：输出目录的路径；
-m {0,1,2,3,4}, --mode {0,1,2,3,4}：指纹报告模式；
0 - 与模式2生成的指纹和冲突数量相似，但使用的特征更少，
1 - 展示所有设计的特征，但比模式0、2和4稍多冲突，
2 - 最优模式（默认模式），
3 - 生成最少指纹，但冲突最多，
4 - 指纹熵值最高，但生成的指纹比模式0-2稍多
-v, --verbose：报告请求中的非标准值信息；（如非ASCII字符、无CRLF标记、配置列表中不存在的值）。如果不使用--logfile (-l)，则输出到标准错误；
-l LOGFILE, --logfile LOGFILE：在详细模式下的输出日志文件，启用时隐含使用-v或--verbose选项；
工具输出
您必须提供 pcap 文件的路径 (-f)，或包含 pcap 文件的目录 (-d)。输出为 JSON 格式。它将使用源文件的名称打印到标准输出或提供的目录 (-o)：
hfinger -f example.pcap -o /tmp/pcap
输出内容将被保存至：
/tmp/pcap/example.pcap.json
在Python应用程序中使用Hfinger
from hfinger.analysis import hfinger_analyze pcap_path = "SPECIFY_PCAP_PATH_HERE" reporting_mode = 4 print(hfinger_analyze(pcap_path, reporting_mode))
许可证协议
本项目的开发与发布遵循GPL-3.0开源许可协议。
项目地址
Hfinger：【GitHub传送门】
参考资料
Entropy | Free Full-Text | Hfinger: Malware HTTP Request Fingerprinting
https://lcamtuf.coredump.cx/p0f3/
https://github.com/0x4D31/fatt
https://github.com/cisco/mercury
venv — Creation of virtual environments — Python 3.12.5 documentation
