2024-10-08，由哈尔滨工业大学（深圳）和清华大学深圳国际研究生院的研究人员联合创建的MIBench，作为首个模型反演攻击和防御的实用基准测试，不仅集成了16种最先进的攻击和防御方法，还提供了9种常用评估协议，为标准化和公平的评估分析提供了便利。MIBench的建立，目的通过全面比较和分析不同场景下各种方法的性能，克服以往工作中的不一致问题，推动该领域的进一步发展。
一、研究背景：
随着人工智能技术的广泛应用，模型反演攻击逐渐成为研究的热点。这种攻击通过目标模型的输出信息，重建隐私敏感的训练数据，引发了对深度学习模型隐私保护的广泛关注。
目前遇到困难和挑战：
1、缺乏全面、一致和可靠的基准测试，导致不同攻击方法间的比较不充分。
2、实验设置不统一，使得比较研究的有效性和公平性受到质疑。
3、评估指标的不统一，进一步模糊了研究结论的可靠性。
数据集地址：MIBench|模型反转攻击数据集|人脸识别数据集
二、让我们一起来看一下MIBench
MIBench是一个用于模型反演攻击和防御的综合性、可扩展的基准测试工具。集成了16种最前沿的攻击和防御方法，并提供了9种常用的评估协议，以实现标准化的性能评估。
MIBench的构建：
基于模块化设计，将MI攻击和防御的流程分解为数据预处理、攻击方法、防御策略和评估四个主要模块。
MIBench的特点：
1、支持多种攻击和防御算法的集成和比较。
2、提供了丰富的评估工具，包括准确度、特征距离、FID和样本多样性等多种评估指标。
3、模块化设计，易于扩展和复现实验结果。
用户可以通过MIBench进行数据预处理、模型训练、攻击实施和评估分析，以实现对MI攻击和防御方法的全面测试。
基准测试 ：
MIBench提供了一致的实验环境和评估标准，使得不同方法之间的比较更加公平和准确。
我们的基准测试中基于模块化的工具箱的基本结构概述。
不同 MI 攻击之间的可视化比较
不同白盒和黑盒 MI 攻击的比较。
三、让我们一起展望MIBench的应用
比如，你是一名专注于人工智能安全的研究者，你的当前项目是评估和加强面部识别系统的隐私保护能力。
你决定通过MIBench基准测试工具 ，它能够模拟各种模型反演攻击并测试不同的防御策略，以此来你面部识别模型做一个全面的体检。
1、选取数据集
你首先从MIBench中选择了两个广泛认可的面部数据集：CelebA和FaceScrub。CelebA数据集拥有大量名人的人脸图片，而FaceScrub则包含了更多普通人的面部数据。你决定使用FaceScrub作为你的私有数据集来训练面部识别模型，因为它更贴近实际应用场景。
2、应用攻击方法
接下来，你决定用两种不同的模型反演攻击方法来测试模型的隐私保护能力：GMI（Generative Model Inversion）和PPA（Plug & Play Attack）。你通过MIBench运行这两种攻击，看看它们能以多高的准确率从你的面部识别模型中恢复出训练时使用的原始人脸图像。
-
GMI攻击：你设置好攻击参数，开始了攻击流程。几天后，你发现GMI攻击在低分辨率图像上效果不错，恢复出的图像与原始图像有一定的相似度。
-
PPA攻击：然后你转向了PPA，这种攻击方法利用了预训练的StyleGAN2生成对抗网络。你发现PPA在高分辨率图像上的恢复效果更好，生成的图像细节更丰富。
3、部署防御策略
面对这些潜在的攻击威胁，你决定尝试几种不同的防御策略。
-
MID防御：你首先尝试了MID（Mutual Information Distillation）防御，它通过减少模型输出和输入之间的互信息来提高隐私保护。你调整了正则化参数，重新训练了模型，并发现MID在保持面部识别准确性的同时，确实降低了模型反演攻击的成功率。
-
BiDO防御：接着，你又尝试了BiDO（Bilateral Dependency Optimization）防御，它旨在减少模型输入和输出之间的依赖，同时增加潜在表示和输出之间的依赖。通过精心选择超参数，你发现BiDO进一步提高了模型的隐私安全性。
最后
经过一系列的测试和调整，你发现结合使用PPA攻击和BiDO防御能够在保持面部识别系统准确性的同时，有效抵御模型反演攻击。你撰写了一份详细的报告，说明了各种攻击和防御方法的效果，并提出了一系列加强面部识别模型隐私保护的建议。这样确保你的AI系统既智能又安全。
