FedProto:跨异构客户端的联邦原型学习(论文阅读)

news2024/11/10 7:57:21

题目：FedProto: Federated Prototype Learning across Heterogeneous Clients

网址：http://arxiv.org/abs/2105.00243

摘要

在联邦学习(FL)中，当客户端知识在梯度空间中聚集时，客户端间的异构性通常会影响优化的收敛和泛化性能。例如，客户端可能在数据分布、网络延迟、输入/输出空间和/或模型架构方面存在差异，这很容易导致其局部梯度的不对齐。为了提高对异构的容忍度，我们提出了一种新的联邦原型学习框架(federalprototype learning, FedProto)，在该框架中，客户端和服务器端通过抽象类原型而不是梯度进行通信。FedProto将从不同客户端收集到的局部原型聚合在一起，然后将全局原型发送回所有客户端，以规范局部模型的训练。在每个客户端上进行训练的目的是使局部数据的分类错误最小化，同时使得到的局部原型与相应的全局原型足够接近。

补充(什么是局部梯度不对齐)：
在联邦学习中，各个客户端拥有不同且分布不均的数据，这导致每个客户端训练出的局部模型和计算出的
梯度方向各不相同。当这些梯度被发送到中心服务器进行聚合时，如果差异较大，会使得全局模型难以收
敛或者性能较差

预备知识

异构联邦学习

异构一般分为模型异构和统计异构(也叫Non-IID问题)两部分，现有的方法都只关注了一个异构，且都使用了基于梯度的聚合方法，在通信效率和解决基于梯度的攻击方面存在缺陷

本文提出的FedProto方法同时考虑了模型异构和统计异构的问题，并且这种方法提出了基于原型聚合的FL框架，只有原型在服务器和客户端之间传输。所提出的解决方案不需要聚合模型参数或梯度，因此它具有成为各种异构FL场景的健壮框架的巨大潜力。

原型学习

Prototype-based learning（原型学习）是一种机器学习方法，它的核心思想是通过存储一组代表性的样本（原型），然后使用这些原型来进行分类、回归或聚类等任务，受原型学习的启发，在异构数据集上合并原型可以有效地集成来自不同数据分布的特征表示

例如，当我们谈论“狗”时，不同的人会有一个独特的“想象图片”或“原型”来代表“狗”这个概念。由于不同的生活经历和视觉记忆，他们的原型可能会略有不同。在人与人之间交换这些特定概念的原型可以使他们获得更多关于“狗”概念的知识。将每个FL客户端视为类人智能体，我们的方法的核心思想是交换原型而不是共享模型参数或原始数据，这可以自然地匹配人类的知识获取行为。

个人理解：相比于传统的联邦学习方法，Fedproto是基于原型也就是每个类别的特征在全局进行聚合，将来自每个client的特征进行合并得到一个更加全面的特征，然后在将这个特征分发给每个client，每个client在本地再进一步训练自己掌握的的特征向全局特征靠拢，这样就实现了每个client的模型优化，且在这个过程中每个client的异构是没有影响的，因为我们只关注原型。