视频来源:https://www.bilibili.com/video/BV11K4y1979o/?spm_id_from=333.999.0.0&vd_source=897075bbdd61e45006d749612d05a2ab
文章目录
- Image Reconstruction and Segmentation
- MR Image Reconstruction
- Brain ROI Segmentation
- Brain Disease --- Alzheimer's Disease
- Brain connectomics
- Imaging Genetics
- Human Brain Decoding
Image Reconstruction and Segmentation
MR Image Reconstruction
Why we need to reconstructure the MR Image?
- The scan time of MR Image is too long
- linited by physical and physiological constraints
- A promising method
- Compressed sensing MRI Reconstructing is an effective way to shorten acquisition time
- Reconstruction
- Resorting MR Images from under-sample images
如果得到右边的图像,则需要很长的时间,但是实际中不会用这么长的时间。
问题:使用机器学习/人工智能的方法,将左边的图像变为右边清晰的图像。
解决方案:优化模型
其中,深度学习(特别是GAN)得到了非常广泛的应用。
- Resorting MR Images from under-sample images
Structure-Enhanced Generative Adversarial Network for Reconstruction
为了加强网络对MRI的约束力,提出了一种“结构增强损失”,即图片中的绿色部分:
将约束加入到网络中(整体网络是UNet形状):
之后,在标准数据集中做了不同采样率下的图像重建取得了不错的效果。
- 对采样矩阵进行学习的思路
图中蓝色是影像的误差(不均匀),红色的线是模型的权重。为了解决不均匀问题,使用加权的方式(损失函数)
Brain ROI Segmentation
将大脑分成很多个区域。现如今有标准模板帮助我们进行划分,这些模板将某些体素划分成一个区域,再将另外一些体素划分成另外一些区域,当然了,创作这些模板非常耗费时间,因此,这些模板非常珍贵。
现在,很多疾病需要使用到脑分割,分割是一个基础但是很关键的步骤,需要自动化分割的方法。
“多图谱分割”目前特别火,
1、配准。将模板配准到Q空间,并且将L也转化到Q中。
2、标签融合。L_{Q}:多数投票
缺点:该方法对配准的要求非常高,只考虑对应位置上模板的标签,得到待分割脑特定区域label。
tatch-based:对配准要求低,但是可以对每个领域的体素label都可以参与“多数投票”
使用高级特征:两个图像之间协方差、均值等进行划分区域
High-order Feature Learning for Multi-atlas based Label Fusion
Brain Disease — Alzheimer’s Disease
Brain connectomics
脑连接组,使用功能或者结构磁共振像
脑内的疾病不仅与某一个脑区有关,也和脑区之间的连接有关。
通过图核判断连接
(Node-level Structure Embedding and Alignment)
将结构网络和功能网络通过双卷积连接起来
Imaging Genetics
很多疾病(AD)从基因遗传上讲,受基因影响较大。将Neuroimaging作为表型,通过获取基因可以减少学习的样本量,但是此方法对CS要求较高,需要用到一个精准的模型进行关联。
Human Brain Decoding
怎么通过大脑活动获取所看到的物体