Ensembled Prediction of Rheumatic Heart Disease from Ungated Doppler Echocardiography Acquired in Low-Resource Settings

摘要

本文背景
风湿性心脏病(RHD)是儿童常见的一种疾病，急性风湿热会对心脏瓣膜造成永久性损伤，从而损害心脏泵血的能力。多普勒超声心动图是一种流行的诊断工具，用于检测RHD。然而，执行这一评估需要熟练医生的工作，这就造成了可及性问题，特别是在获得临床专家的机会有限的低收入国家。

方法
本文提出了一种新的、自动化的、基于深度学习的方法，利用彩色多普勒超声心脏病片段检测RHD

1. 首先通过识别两个获取视图(胸骨旁和心尖)对无门控超声心脏病进行均匀化分析，然后提取心室收缩期间的左心房区域
2. 然后，应用多视图三维卷积神经网络模型集成和多视图Transformer来检测RHD
3. 该模型使我们的分析受益于时空信息的包含，并使用注意机制来识别RHD检测的相关时间框架，从而提高了准确检测RHD的能力

结果
在低资源环境下，591名儿童在护理点获得了2136个彩色多普勒超声心动图片段，对该方法的性能进行了评估，平均准确率为0.78，灵敏度为0.81，特异性为0.74。这些结果与专家临床医生进行的RHD检测相似，优于最先进的方法。因此，我们的新模型有可能提高对临床专家接触有限的患者的RHD检测

方法

Echocardiogram Homogenization

对超声心动图进行均匀化处理，标准化与RHD检测相关的图像信息，包括:(1)视图识别，(2)心室收缩时的帧选择，(3)左心房分割。

视图识别
A4CC和PLAXC是显示二尖瓣流入/流出进行反流的标准视图。为了从每个患者收集的大量数据中检索这些视图，通过深度学习分类模型传递每个视频流的第一帧(代表性帧)。

该模型包括:(1)输入图像大小为256 × 256像素× 3个颜色通道的ResNet50 CNN， (2) 7 × 7的平均池化层，(3)具有整流线性单元(ReLu)激活函数的512个单元的全连接层，以及(4)具有Softmax概率函数的最终输出层，将视图分为3类(A4CC, PLAXC和其他)。

ResNet-50 CNN在ImageNet数据集上进行预训练。256像素的大小是根据所需的内存确定的。模型的训练采用分类交叉熵损失函数，批大小为32,Adam优化算法，学习率为0.0001，共100次epoch

V室收缩时的帧选择
MR发生在心室收缩/心室收缩期，二尖瓣关闭。为了识别心室收缩期间的帧，我们使用了与View Identification中解释的结构相同的模型，但有以下显著区别:分析视频中的所有帧。此外，我们还使用了二元交叉熵损失函数。

左心房分割
使用了LinkNet和在ImageNet数据集上进行预训练的VGG16编码器

风湿性心脏病的检测

我们开发了一个多视图三维cnn和Transformer模型集成，将时空特征与RHD检测的注意机制融合在一起

多视图三维卷积神经网络
应用3D CNN从两个视图中提取时空信息，并将它们融合在一个端到端网络中。
输入数据来自两个视图之一在心室收缩期间捕获的局部左心房区域，并重新采样为64 × 64像素× 3个颜色通道× 16帧。这些大小是根据内存管理确定的。每个输入数据使用两个带有ReLu激活函数的3 × 3 × 3卷积滤波器进行处理。每个过滤器之后是一个批归一化层和2 × 2 × 2最大池化，每个维度的步长为2。然后，使用两个完全连接的层将两个视图中提取的特征进行连接和处理，其中包含256个带有ReLu激活函数的单元和2个带有Softmax概率函数的单元。该模型采用64个批大小，使用Adam优化算法最小化二元交叉熵损失函数，350个epoch的学习率为0.0001。
多视图转换器
我们包含了一个Transformer来嵌入心室收缩期间帧之间的相关依赖关系，并将注意力吸引到重要的时间点上。

首先，我们应用了两个DenseNet121 CNN，在ImageNet数据集上进行了预训练，从两个视图中捕获低级特征。CNN分析了心室收缩期间的帧，重新采样到16帧，大小为64 × 64像素× 3个颜色通道。从两个视图获得的信息被聚合起来，以便由Transformer模型进行高级分析，该模型类似于中提出的模型。Transformer模型首先将位置信息嵌入到输入特征中，以保持顺序信息。然后，该模型使用自注意模块学习帧间关系，然后使用前馈神经网络，该神经网络由两层组成，高斯误差线性单位。使用每个块的输入和输出之间的快捷连接来直接通过网络传递梯度。在每个块之后，应用归一化层以提高泛化性并减少处理时间。Transformer模型编码的特征通过全局最大池操作进行下采样，并使用Softmax概率函数将其馈送到最后一个完全连接的层以预测RHD。在最后一个完全连接层之前，我们应用了保持率为0.5的dropout。该模型使用10个batch大小和Adam优化算法(学习率为0.0001)进行训练，通过350 epoch最小化二元交叉熵损失函数。

风湿性心脏病的预测
3D cnn分析心室收缩期间的所有帧作为容量数据来评估RHD，而Transformer逐帧评估数据。

由于两个深度学习模型从不同的角度分析数据，我们通过应用最大投票策略将它们的预测分数融合在一个集成模型中以提高准确性。

此外，如临床实践中典型的那样，当可获得多个图像时，受试者对每个A4CC/PLAXC视图有多个视频，这也可能包括多个心室收缩。
我们纳入了所有可用的A4CC和PLAXC视图的心室收缩，以获得RHD的最终预测评分。