图像分割笔记

目标：

实现图像中多个物体的分割，多个物体的标注方式为0,1,2,3,0表示背景，1表示一种物体，2表示另一种物体，假设我们现在的分割任务里面有5个目标需要，如肺叶分割，5个肺叶的标注方式为：0表示背景，1表示右上叶，2表示右中叶，3表示右下叶，4表示左上页，5表示左下叶。

前提：

首先我们拿到的标注应该是单通道的，如大小为96 96 64 1，但在网络模型设计中输出通道数应该是分割类别数，即网络模型最后的输出大小为969664*6（这里最后一维6指背景+5个目标），这样在训练的时候网络输出和标注之间大小不匹配，不能进行损失值计算，所以需要将原来单通道的标注图像变成6个通道，这就需要用到One-hot编码，在每个通道上（即将每一类进行二值化）。

deeplabv3:

多尺度图像信息的提取方法：
1.一个相同网络，共享权重，提取不同尺度图片特征，小尺寸提取全局图像信息，大尺寸提取局部图像信息，最后将多尺度图像信息融合。
2.下采样方法：浅层提取局部信息，深层提取全局信息，上采样将多尺度图片特征合并。
3.altrous convolution(dilated convolution)
空洞卷积将卷积核膨胀，中间插入空白元素，权重为0，不对图像进行卷积



ASPP模块：
将多个不同rate空洞卷积作用在特征图上，提取多尺度下图像特征并进行合并。


Deeplabv3+：在U-net基础上将更多底层特征图融入到Decoder中

Deepkabv3 整体架构：

Depthwise separable convolution:

batchsize过大导致爆内存时：


选择模型权重：
checkpoint的选择