Minimal-Supervised Medical Image Segmentation via Vector Quantization Memory

摘要

辅助重构分支：该分支通过提供额外的监督并产生学习视觉表示所需的梯度，从而补充了分割任务。
伪标签生成分支：该分支利用向量量化（VQ）库存储纹理导向和全局特征。然后利用这些特征生成高质量的伪标签，这对于训练分割模型至关重要。
伪标签混合：为了增强模型训练，将分割预测与从VQ库获得的伪标签进行混合。这种混合过程确保模型从两个信息源中受益，从而提高性能。

方法

(a) 点标注和涂鸦标注的示例；

(b) 性能比较；

© 多任务分支中相似特征模式的研究。重建和分割Δ特征图是标注点与分割和重建特征图上每个类别的其余区域之间的特征距离。蓝色、红色和绿色点是标注点。BG、Myo、LV、RV和UA分别表示背景、心肌、左心室、右心室和未标注像素。

图2. 提出方法

该方法包括一个分割任务和一个辅助重建任务。一个编码器f用于提取视觉特征，一个解码器gseg从点标注或涂鸦标注中学习，以分割目标对象，另一个解码器grecon用于重建输入图像。重建分支中的存储库用于生成伪标签，然后用于辅助分割分支的训练。

采用memory存储

实验结果