摘要:
可验证的安全聚合(VSA)是联邦学习(FL)中的关键过程,其中安全聚合实现局部梯度聚合,同时保留数据机密性,并且可验证性使参与者能够验证中央服务器(CS)返回的聚合结果的正确性)。大多数现有的 VSA 解决方案都采用繁琐的密码原语和技术(例如同态加密、双线性配对、交互式证明系统),这给参与者或 CS 带来了很高的通信轮复杂性和计算成本。此外,跨设备FL中由于网络连接不稳定而经常发生用户掉线的情况,需要设计特殊的机制来处理此类事件。在本文中,我们提出了一种具有轻量级 FL 验证的鲁棒安全聚合方案,利用 Shamir 的秘密共享技术设计随机掩码来保护局部梯度的机密性并实现对可能的用户丢失的恢复能力。为了支持聚合时的可验证性,我们扩展了多密钥同态 MAC 以实现梯度向量空间上的验证。我们提供安全分析来表明我们的方案可以保护数据机密性免受共谋攻击,同时确保在伪随机函数存在的假设下可验证的结果是不可伪造的。我们实施了我们的方案来验证其正确性和可行性,性能评估显示了其在效率和功能方面的优势。
1、引言
存在问题:
(局部模型参数的数据保密性)通过多次攻击,可以仅使用本地模型参数来推断和重建用户的私有本地数据[9]、[10],这使得保护本地模型参数的机密性对于隐私保护至关重要。
可验证性:执行特定计算的一方并不完全可信,因此需要向系统中的其他方证明计算结果的正确性。
• 为了实现客户端本地梯度的安全聚合并提供对用户丢失的恢复能力,我们使用 Shamir 的秘密共享来设计鲁棒的随机掩码。它是用 CS 在每次迭代开始时选择的随机训练会话令牌来计算的,使随机掩码代码成为客户端梯度的一次性填充。利用秘密共享的阈值特性,只要涉及的客户端数量等于或大于阈值,就可以保证聚合结果的正确性。
• 我们扩展了多密钥同态MAC以支持向量空间上的同态认证,并用它来构建基于随机掩码的验证机制。由于同态MAC是对称设置,因此我们引入双服务器模型,具体来说,其中一台服务器在原始FL模型中扮演中央服务器的角色,另一台称为验证服务器(VS),负责管理验证客户端聚合参数的有效性。
• 我们对我们的方案进行了严格的安全分析,并声称我们的方案可以安全地抵御共谋攻击,即无论CS 与多少个客户端共谋,剩余客户端的数据机密性仍然得到保护。在伪随机函数存在的假设下,我们证明可验证的聚合参数是不可伪造的。
• 我们使用C 编程语言和密码库实现了我们提出的VSA 方案,并验证了其正确性和可行性。我们在笔记本电脑上运行该实现并进行性能评估。最后我们将 RSA-LV 与几种现有方案在通信轮复杂度和原语方面进行比较,以显示我们方案的优势。
A、系统模型:
我们关注的联邦学习的拓扑结构是星型拓扑结构,系统模型如图1所示,它由三类实体组成,包括验证服务器(VS)、许多数据所有者(DO)和中央服务器( CS)。各实体的功能描述如下:
• 验证服务器(VS):验证服务器在系统中扮演两个角色。首先它扮演可信第三方的角色,负责初始化整个系统,为其他实体生成公共参数和公私钥对。通过安全通道发布公共参数并分发密钥后,它会等待数据所有者的验证请求。其次,它帮助数据所有者验证中央服务器返回结果的正确性。
• 数据所有者(DO):每个数据所有者在本地数据集上训练机器学习模型,然后在联邦学习的每次迭代期间根据需要将屏蔽的结果梯度和身份验证标签上传到中央服务器。接收到中央服务器发送的聚合梯度后,借助VS验证聚合结果的正确性,如果检查通过,则进入下一次迭代,否则中止并退出。下文中我们还将交替使用术语“用户”、“参与者”而不是“数据所有者”。
• 中央服务器(CS):中央服务器负责协调不同DO 的单独机器学习。具体来说,它根据其选择从它们那里收集本地训练结果并计算聚合梯度。此外,它还计算一个标签来验证其计算的正确性。当一些特殊事件发生时,包括用户丢失和延迟上传,CS需要在DO之间进行调解,以使聚合结果正确,同时又不侵犯任何单个DO的隐私。
B. 对手模型和设计目标
设所有参与者和服务器都是诚实但好奇的,即他们诚实地根据协议执行计算和通信,但试图恢复或推断其他参与者的一些私人信息。此外,服务器被认为可能返回错误的聚合梯度并与多个参与者串通,试图恢复其他人的私有梯度。具体来说,对手分为被动攻击和主动攻击:
• 被动攻击:虽然所有参与者和服务器都诚实地按照要求行事,没有偏离协议,但他们可能会秘密复制和保存一些中间计算结果和通信数据,从中寻求有用的信息,同时保持通信完整。
主动攻击:除了上述被动攻击之外,CS 可能会偏离协议,没有正确计算聚合梯度,并试图伪造一个错误的梯度并说服参与者其商业利益的正确性,例如,为了节省计算资源。最后,CS可能与多个参与者串通获取秘密参数,试图恢复其他参与者的局部梯度,或者通过伪造错误结果的有效证明来欺骗用户。
根据上述攻击,考虑联邦学习实际部署的性能和鲁棒性要求,我们的设计目标包括:
机密性:由于本地训练数据很可能被对手通过上传的本地梯度恢复,因此它们不能直接与原始值一起传输,即所有参与者的本地梯度的机密性应该受到保护。
可验证性:正如在对手模型中所讨论的,CS可能偏离协议,导致返回的聚合梯度不是正确计算的,需要可验证性,这使得参与者能够验证CS聚合梯度的正确性并检测其不诚实行为。
鲁棒性:参与者完成本地模型训练后,部分参与者可能会因上传本地梯度之前网络连接不可靠而退出。我们的稳健性目标是确保剩余功能良好的参与者的局部梯度的聚合不会受到合理数量的参与者退出的影响。
抗合谋性:与我们的对手模型一样,假设CS有可能与多个参与者合谋并获得一些秘密参数,利用这些秘密参数,CS可以成功伪造错误结果的有效证据。因此,抗共谋目标表明,即使 CS 和 DO 之间发生共谋,健全性仍然不会被破坏。
效率:不同实体的计算成本和实体之间的通信开销应尽可能低。需要注意的是,在跨设备环境中,参与者可能配备的移动设备的计算能力和数据传输带宽有限,因此我们主要关注参与者侧这两方面的效率。
评估:
在本节中,我们从上传、聚合和验证的性能方面对我们的方案进行综合性能评估,分别反映数据所有者、中心服务器和验证服务器的成本。此外,我们还将我们的方案与几个现有的相关方案进行了比较,包括[19]、[22]、[21]、[20]和[23]。为了更好地捕捉我们的方案在实际应用中的效率,我们实现了我们的方案并给出了一些运行时间测试数据,同时实现也验证了我们方案的正确性。