HarmoFL：在异构医学图像联邦学习中协调本地和全局漂移

多个医疗机构联合使用联邦学习（FL）训练模型已成为最大化数据驱动模型潜力的有前途的解决方案，但医学图像中的非独立和非同分布（non-iid）数据仍然是实际应用中的一个突出挑战。

• the non-independent and identically distributed
• problem:由不同扫描仪或协议引起的特征异质性在学习过程中引入了漂移，影响了收敛以及模型性能的表现。

许多先前的工作试图通过在本地或全局上解决漂移问题来解决non-iid问题，但如何共同解决这两种本质上相互耦合的漂移仍不清楚。

• 在这项工作中，我们专注于处理本地和全局漂移，并介绍了一个新的协调框架称为HarmoFL。

1. 首先，我们建议通过对转换为频域的图像的振幅进行归一化，以模拟统一的成像设置，从而在本地客户端之间生成一个协调的特征空间，以减轻本地更新漂移。
2. 其次，基于共生特征(harmonized feature)，我们设计了一个客户端权重扰动（weight perturbation），指导每个本地模型达到平坦的最优解，其中局部最优解的邻域区域具有统一的低损失。在不增加任何额外通信成本的情况下，该扰动通过聚合多个局部平坦最优解来协助全局模型优化达到收敛的最优解。
3. 我们已经在三个医学图像分类和分割任务上进行了理论分析和实证实验，表明HarmoFL优于一组最新的最先进方法，具有有前途的收敛行为。代码可在https://github.com/med-air/HarmoFL上获得。

what made the non-indepandent and identical data problem

1. the device vendors or data acquisitionprotocols are responsible for heterogeneity in the feature distributions设备供应商或数据采集协议对特征分布的异质性

2. the appearance of histology images varies due to different staining situations, and MRI data of different hospitals
   suffer from feature distribution shifts associated with various scanners or imaging protocols.

3. 组织学图像的外观因不同染色情况而异，不同医院的MRI数据由于各种扫描仪或成像协议而遭受特征分布漂移的影响

在本地更新中，每个客户端模型都将被优化到其自己的本地最优解（即适应其个体特征分布）而不是解决全局目标，这会引起客户端更新之间的漂移。

同时，在聚合这些不同的本地模型的全局更新中，服务器模型受到不匹配的本地最优解集合的干扰，随后导致服务器模型的全局漂移。

图1通过损失景观可视化（Li等，2018）直观地说明了这种本地和全局漂移，在两个非iid客户端的示例中。垂直轴显示每个客户端的损失（表示全局目标的解决方案为F *，每个本地目标的解决方案为Fi *），水平平面表示以全局模型的特定参数为中心的参数空间。

对于每个客户端，具有相同的目标函数和参数初始化，我们可以看到第一列中两个客户端的本地解决方案明显不同，这表明客户端更新之间存在漂移。在全局上，当前的良好解决方案F *可能对两个客户端都实现相对较低的损失。

然而，由于每个客户端都有自己的损失景观形状，将当前解决方案优化到全局最优解是困难的，而聚合这两个分散的本地解决方案进一步分散了当前的良好解决方案。

我们的主要贡献如下：

• 我们提出了一种有效减轻本地更新漂移的方法，通过将不同图像的频率空间振幅分量归一化到统一空间中，实现跨客户端协调非iid特征。
• 基于协调特征，我们进一步设计了一种基于权重扰动的新策略，以纠正全局服务器更新漂移，而不需要额外的通信成本。
• 据我们所知，我们是第一个针对异构医学图像联邦学习同时解决本地和全局更新漂移的研究。我们还从梯度相似性的角度理论分析了所提出HarmoFL框架，表明由数据异质性引起的漂移是有界的。
• 我们在三个医学图像任务上进行了广泛的实验，包括乳腺癌组织学图像分类、组织学细胞核分割和前列腺MRI分割。我们的HarmoFL明显优于一组最新的最先进FL方法。

---

1. Local client training
2. Global server aggregation

Multi-level Contextual 3D CNNs for False Positive Reduction in Pulmonary Nodule Detection(2017)

目的：假阳性减少是自动肺结节检测系统中最重要的组成部分之一，在肺癌的诊断和早期治疗中起着重要的作用。本文的目的是有效地解决这一任务中的挑战，从而准确地区分真正的结节和大量的候选结节。

方法：我们提出了一种新的方法，使用三维（三维）卷积神经网络（CNNs）来减少从体积计算机断层扫描（CT）扫描的自动肺结节检测的假阳性。

与二维模型相比，三维cnn通过三维样本训练的层次结构，可以编码更丰富的空间信息，提取更具有代表性的特征。更重要的是，我们进一步提出了一种简单而有效的策略来编码多层次的上下文信息，以应对肺结节的大变异和硬模拟所带来的挑战。

• 结论：实验结果表明，将多层次上下文信息整合到三维CNN框架中，实现体积CT数据中肺结节自动检测的重要性和有效性。
• 意义：虽然我们的方法是为肺结节检测量身定制的，但所提出的框架是通用的，可以很容易地扩展到许多其他来自体积医学图像的三维目标检测任务，其中目标目标有很大的变化，并伴随着许多硬模拟。

Our main contributions can be summarized as:

• 1. We propose a novel method to exploit 3-D CNNs for pulmonary nodule detection in volumetric CT scans; compared with their 2-D counterparts, the 3-D CNNs can encode richer spatial information and extract more discriminative representations via the hierarchical architecture trained with 3-D samples;
• 2. Considering the complicated anatomical surrounding environments of pulmonary nodules, we propose a simple yet effective strategy to encode multilevel contextual information to meet the challenges coming with the large variations and hard mimics of pulmonary nodules;
• 3. We validated our proposed framework on the LUNA16 challenge held in conjunction with ISBI 2016. Our team achieved the highest score in the false positive

Construction of 3-D CNNs

一般来说，每个三维卷积网络由三维卷积、三维最大池化和全连接层分层提取表示（也称为特征）和一个softmax层组成，最终回归到概率。

• 每一层包含多个通道，每个通道编码一个不同的模式。

对于三维CNN，卷积/最大池化层中的每个通道实际上都是一个三维特征体，而不是传统CNN中的一个二维特征图。三维特征体积包括一组立方结构的神经元

• 1. 3-D Convolutional Layer
     
• 2. 3-D Max-Pooling Layer
     
• 3. Fully Connected Layer
     

基于多视图平面（T1）、正交平面（T5）、沿特定方向相邻平面（T6）或单独的二维切片（T2和T3）的二维卷积神经网络的变体。

只有T4和我们的团队（T7）采用了三维卷积神经网络。

Quantitative Analysis of Our Method

• incorporated different levels of volumetric contextual information surrounding the pulmonary nodules.
• 网络的FROC曲线

网络的FROC（Free-response Receiver Operating Characteristic）曲线是一种评估医学图像检测算法性能的方法。它是一种允许检测算法在不同的误检率下评估检测结果的曲线。FROC曲线的横轴表示误检率，纵轴表示检测率，即正确检测到病灶的比例。在FROC曲线上，每个点表示在给定误检率下的检测率。FROC曲线的面积（AUC）可以用来比较不同算法的性能，AUC值越大，算法的性能越好。