Cyberchef配合Wireshark提取并解析HTTP/TLS流量数据包中的文件

news2024/11/18 11:08:13

本文将介绍一种手动的轻量级的方式，还原HTTP/TLS协议中传输的文件，为流量数据包中的文件分析提供帮助。

如果捕获的数据包中存在非文本类文件，例如png,jpg等图片文件，或者word，Excel等office文件异或是其他类型的二进制文件或者编码文件。如果想要了解这些非文本文件中的内容，往往需要将这些文件提取出来，使用特定的软件进行打开。

如何从PCAP或者pcapng数据包中提取这些文件内容，在之前的文章中《自动还原pcap数据包中文件的几种方法》，这里，介绍了借助Wireshark本身的能力以及scapy等编程的方式还原数据包中的文件内容，针对一些常见协议的批量化处理，借助Wireshark已有的功能以及scapy编程都是不错的方式。但是此种方法存在如下问题：

需要Wireshark能够支持某些传输文件协议的文件导出，例如HTTP，SMB等。但是如果Wireshark不支持该种协议的解析怎么办？
如果数据包中的文件数据不完整怎么办？出现大量重传，丢包等情况。
Wireshark协议解析出错怎么办？由于现实场景中，Wireshark很多时候会解析出错,导出的文件也不乏错误场景。
scapy编程方式需要针对每一种协议，指定文件的开始和结束。对于一些scapy不能够解析的协议，则并不容易在程序中识别文件的开始和结束。况且编程的方式需要针对每一种文件传输情况编写代码，稍显繁琐。

如下将介绍针对HTTP以及TLS手动的轻量级还原文件的方法。

HTTP

wrieshark 本身提供了导出HTTP文件的能力，如下图1：
在这里插入图片描述
图1
如果该功能正常，则可以直接使用。如果该功能不正常，例如丢包或者数据不完整导致文件解析出现错误或者异常数据导致文件解析出错，则无法直接导出，这个时候本文所提供的方法就能派上用场。当然不仅如此，后文中所介绍的方法在一些文件显示方面比值wireshark也是存在优势的。

提取图片文件

HTTP传输图片的数据包下载链接见这里，对应第7号流，如下图2：
在这里插入图片描述
图2
首先拷贝文件传输的相关数据，由于HTTP协议为文本协议，因此cyberchef是支持对于HTTP协议头部的处理的，因此follow TCP dump，按照原始数据显示后，全选拷贝作为cyeberchef 的输入，关于cyberchef的详细介绍，详见我的专栏《Cyberchef 从入门到精通教程
》，这里，如下图3：
在这里插入图片描述图3
RAW格式的显示内容为16进制的字符串，因此需要先将16进制字符串转换成为对应的16进制数值（即每两个字符构成一个十六进制的数值），同时去除HTTP的头部，则会得到最终的数据内容，如下图4：

图4
相关模块解释如下：

from hex模块将字符串转换为对应的数值。
第一个strip http headers 去除http request的头部，第二个strip http header 去除http response的头部。
-cyberchef提供的 render image模块可以直接解析并显示JPEG图像数据。
其对应的cyberchef的脚本为：

[
  { "op": "From Hex",
    "args": ["Auto"] },
  { "op": "Strip HTTP headers",
    "args": [] },
  { "op": "Strip HTTP headers",
    "args": [] },
  { "op": "Render Image",
    "args": ["Raw"] }
]

可以看到使用cyberchef 能够直接将16进制数据显示图像文件，这个是其优点之一。

gzip压缩

前一个实例中HTTP并没有使用压缩传输，这个例子讲述HTTP压缩传输的场景。关于Gzip的原理，详见我之前的文章《网络传输中的那些编码之-gzip编码》，这里。HTTP传输传使用gzip压缩数据包下载链接见这里。如下图5：
在这里插入图片描述
图5
同样的follow tcp dump，以raw格式显示之后全选作为cyberchef的输入，如下图6：

图6
同样的需要先将16进制字符串转换成为对应的16进制数值（即每两个字符构成一个十六进制的数值），去除HTTP的头部，然后解压缩，则会得到最终的数据内容，如下图7：
在这里插入图片描述
图7
如果对应的数据中使用了特殊的编码，则可以使用cyberchef中的encoding模块进行相应的编解码。关于cyberchef的更多使用方法介绍，详见我的专栏《Cyberchef 从入门到精通教程》，这里

gzip/chunk

前一个实例中HTTP并没有使用chunk传输，这个例子讲述HTTP chunk传输的场景。关于chunk传输的原理，详见我之前的文章《网络传输中的那些编码之-chunk传输编码》，这里。HTTP传输使用chunk和gzip数据包下载链接见这里。如下图8：
在这里插入图片描述
图8
同样的follow tcp dump，以raw格式显示之后全选作为cyberchef的输入，如下图9：

图9
将16进制字符串转换成为对应的16进制数值（即每两个字符构成一个十六进制的数值），去除HTTP的头部，然后chunk重组，解压缩，则会得到最终的数据内容，如下图10：
在这里插入图片描述
图10
其对应的cyberchef的脚本为

[
  { "op": "From Hex",
    "args": ["Auto"] },
  { "op": "Strip HTTP headers",
    "args": [] },
  { "op": "Strip HTTP headers",
    "args": [] },
  { "op": "Dechunk HTTP response",
    "args": [] },
  { "op": "Gunzip",
    "args": [] }
]

可以看到cyberchef对于HTTP协议的支持还是非常全面的，因此在HTTP协议处理方面使用cyberchef非常的便捷。

TLS

和HTTP协议不同的是，Wireshark并没有提供导出TLS证书的能力。在之前的文章中《提取pcap网络数据包中数字证书各属性字段信息》，这里，介绍了使用Wireshark lua插件提取流量中的数字证书，这个在批量提取的场景下，还是非常的便捷。但是有的时候只需要提取流量中少数的证书文件，这个时候可以采用手动的方式。

TLS数据包下载链接见这里，如下图11：
在这里插入图片描述
图11
追踪流会显示该流上所有的数据，由于我们只需要证书的数据，因此可以直接拷贝wireshark解析的字段。