概述
FuzzBench是谷歌做的一个评估模糊测试的benchmark，主要目的是为了评测覆盖率导向模糊测试工具能达到多少覆盖率，能够发现多少漏洞。本文主要介绍如何在本地运行fuzzbench的实验。当然也可以用谷歌的云服务来跑，具体教程在这：https://google.github.io/fuzzbench/running-a-cloud-experiment/
FuzzBench的相关链接如下：
- github仓库： https://github.com/google/fuzzbench
- 官方文档：https://google.github.io/fuzzbench/
本文使用的FuzzBench的版本为：这个commit 74fe0463fb10136cbe3238144a5a2a7d9e9a7c18
所以后续如果按照该教程无法正常跑实验的话，可以运行下面的命令：
cd fuzzbench
git checkout 74fe0463fb10136cbe3238144a5a2a7d9e9a7c18
安装
具体可参考：https://google.github.io/fuzzbench/getting-started/prerequisites/
之前也曾经尝试过fuzzbench，最近又回来看，发现好像比之前安装更简单了。
获取fuzzbench的代码
git clone https://github.com/google/fuzzbench
cd fuzzbench
sudo apt-get install build-essential rsync
# 需要在python3.10下执行下面命令
make install-dependencies
照官网教程安装一些依赖：https://google.github.io/fuzzbench/getting-started/prerequisites/
安装依赖后，可以验证下是否成功
make presubmit
如果出现success，就说明安装成功了。
运行实验
弄一个实验的配置文件，叫做 experiment-config.yaml ， 配置文件参数的如下：
- trials：跑多少次实验
- max_total_time：跑一次实验要多久，单位为秒
- docker_registry：使用的dokcer仓库
- experiment_filestore：实验数据存放的位置
- report_filestore：实验报告存放的位置
- local_experiment：是否本地运行实验
# The number of trials of a fuzzer-benchmark pair.
trials: 5
# The amount of time in seconds that each trial is run for.
# 1 day = 24 * 60 * 60 = 86400
max_total_time: 86400
# The location of the docker registry.
# FIXME: Support custom docker registry.
# See https://github.com/google/fuzzbench/issues/777
docker_registry: gcr.io/fuzzbench
# The local experiment folder that will store most of the experiment data.
# Please use an absolute path.
experiment_filestore: /tmp/experiment-data
# The local report folder where HTML reports and summary data will be stored.
# Please use an absolute path.
report_filestore: /tmp/report-data
# Flag that indicates this is a local experiment.
local_experiment: true
运行下面命令跑实验，fuzzer参数设定了要测试的fuzzer，这里是afl和libfuzzer。benchmark设定了要跑的benchmark。
source .venv/bin/activate
export EXPERIMENT_NAME=afltest
PYTHONPATH=. python3 experiment/run_experiment.py \
--experiment-config experiment-config.yaml \
--benchmarks libpng-1.2.56 \
--experiment-name $EXPERIMENT_NAME \
--fuzzers afl aflplusplus
然后可以用浏览器打开下面的目录的网页文件，查看最后的报告
/tmp/report-data/$EXPERIMENT_NAME/index.html
下图截取了部分报告：
更详细的样例报告，官网也给出了：https://www.fuzzbench.com/reports/sample/index.html
