以FFANet为主干，加入分类的分支，将模型扩展为多任务图像分割框架，设计了用于分类和分割的联合损失函数。

FFANet+MTL

1、FFANet和分割分支

FFANet作为骨干网络，作为对VoVNet的重新设计和优化，FFANet在骨干网中加入了残差连接，使VoVNet可以学习更多的特性。设计了一种特殊的特征融合机制来有效地聚合多尺度特征。最后，在上采样阶段，引入混合的注意力机制来细化分割结果

2、分支分类

对于分类分支，它由一个全局平均池化(GAP)层和一个全连接层组成。

3、联合损失函数

对于分类任务，使用交叉熵(cross-entropy, CE)损失函数:

对于分割任务，使用dice 损失函数：

最后加权损失:

这里选择的α=0.2

结果展示

1、数据集和指标

数据集是由MICCAI 2020公开竞赛甲状腺结节分割和分类(TN-SC 2020)提供。该数据集包括3644张图片，由3644名患者提供，并由专业医生注释。所有图像均为单通道灰度超声图像。训练集、验证集和测试集的比例为7∶1∶2。使用 4 个指标，即 DICE、准确性 (ACC)、灵敏度 (SE) 和特异性 (SP)。（这个ACC是像素级的 ACC）

2、权重（α）选择

α=0.2得到最高的性能，并用于后续的实验。

可以看到，当α=0.2分类性能稍差。

3、SOTA比较

多任务模型(0.2)在关键指标DICE上的最佳表现为0.935。在ACC和SP上的性能达到了第三名，在SE上的性能也很好。

论文所提出的多任务模型 (0.2) 达到了 0.79 的分类精度，排名第二，超过了 ResNet-50、具有 ECA-Net 通道注意力的 ResNet-50 和 VoVNet-39。

模型对目标区域的定位和预测非常准确，对病灶区域的描述也更加精细。

论文地址：

https://avoid.overfit.cn/post/6a605da56978443bb548e8f342cbda37

本文作者：Sik-Ho Tsang