1.什么是语义分割
1.1 任务:
将图像按照物体的类别分割成不同的区域,相当于对每个像素进行分类。
1.2 应用:
无人驾驶汽车
人像分割
实时替换视频背景
智能遥感
分辨地表物体的类别,通过右侧分割之后的图像可以看到,红色的部分属于湖泊河流。通过智能遥感能够监测不同季节地表水域的变化,从而辅助农业生产,以及旱灾洪灾的预测等等。
医疗影像分析
1.3 分类
语义分割 vs 实例分割 vs 全景分割
2. 语义分割的基本思路
2.1 按颜色分割
先验知识:物体内部颜色相近,物体交界颜色变化
存在的问题:
(1)先验知识不完全准确;
(2)不同物体颜色可能相近,物体内也会包含多种颜色。
2.2 逐像素分类
存在的问题:
效率低下,重叠区域重复计算卷积
解决方式:
复用卷积计算
2.3 全连接层的卷积化
2.4 预测图的升采样
双线性插值 Bilinear Interpolation
卷积实现双线性插值
转置卷积 Transposed Convolution
2.5 全卷积网络的预测和训练
2.6 基于多层级特征的上采样
各种解决方案:
2.5 上下文信息
图像周围的内容(也称上下文)可以帮助我们做出更准确的判断。
如何在分割过程中使用上下文信息?
方案:增加感受野更大的网络分支,将上下文信息导入局部预测中
2.6 空洞卷积和Deeplab系列
空洞卷积解决下采样问题
DeepLab模型
2.6 条件随机场CRF
条件随机场
能量函数的意义
2.6 空间金字塔池化 ASPP
3. 语义分割算法总结
4. 语义分割前言算法
4.1 SegFormer
4.2 K-Net
4.3 MaskFormer
4.4 Mask2Former
4.5 SAM
5. 语义分割模型的评估