个人阅读笔记,如有错误欢迎指出!
会议:PMLR 2021[2106.08283] CRFL: Certifiably Robust Federated Learning against Backdoor Attacks (arxiv.org)
问题:
现有的防御算法缺乏健壮性
创新:
证明了所提出框架得稳定性
通过马尔可夫核分析聚合模型的训练过程,提出用于模型推理得参数平滑
方法:
攻击方:single-shot,同时攻击
1、训练阶段:裁剪范数 添加扰动
服务器对收到的客户端范数通过阈值\rho_tρt\rho_tρt进行剪裁
对聚合后的全局模型添加高斯噪声
则最终融合后的参数为
在最后一轮中只剪裁全局模型参数
算法流程
2、测试阶段:参数平滑
构建平滑分类器,并基于此分类器预测
对原始全局模型的预测结果进行投票,获取概率最大的class(得票最多的类)
测试期间对裁剪后的全局模型次添加高斯噪声,用来估计个蒙特卡洛样本(近似类别概率)
GetCounts
用测试样本的每组噪声模型参数运行分类器,并返回计数向量
选择最大的两类和并计算其相应的和
CalculateBound经验校准估计
调整经验估计,约束平滑模型返回错误标签的概率,误差容忍度为
使用Hoeffding不等式计算的下界和的上界
算法流程
与中心化设置(RAB)中可证明鲁棒性比较:RAB使用M个噪声扰动的数据来训练M个模型,属于输入数据扰动。CRFL只训练了一个全局模型,并且最终生成M个噪声扰动的模型副本,输入模型参数扰动。