来源

b站 地址

什么是语义分割

语义分割：对图像每个像素点进行分类
常见神经网络处理过程：Encoder提取特征，接着Docoder恢复成原图大小的图片

UNet整体结构

分为三个部分

1. 主干特征提取部分：
   • 卷积和最大池化的堆叠
   • 获得五个初步有效特征层
2. 加强特征提取部分：
   • 五个初步有效特征层进行上采样 + 特征融合
   • 获得一个最终融合了所有特征的有效特征层
3. 预测部分
   最后一个有效特征层对每一个特征点进行分类

BackBone-主干特征提取网络

bubbliiing使用的是VGG16作为主干特征提取网络。
UNet具体使用VGG16红色框线内的内容
具体实现代码：

• 卷积核都是1 × 1的，所以不改变高和宽，卷积核个数改变深度
• M：最大池化，长和宽 / 2
  

加强特征提取网络-FPN的构建

这块的步骤：堆叠->卷积->堆叠->卷积
代码部分，主要unetUp来实现
一小步的实现如下两图：

所有，最后输出的是512， 512， 64的特征层

利用特征获得最终的预测结果

利用1 × 1卷积，指定输出类别数目，即可

预测过程详解

unet的预测效果如下：
代码过程如下所示：

数据集格式

• JPEGImages：原图
• SegmentationClass：标签（灰度图，飞机是1，人是15）
• Segmentation
  • train.txt：训练集图片名字
  • val.txt：验证集图片名字
    

数据集的制作

使用一个软件labelme，版本3.16.7

pip install labelme==3.16.7 # 安装
labelme # 运行

在界面中通过一个闭环人工标注（真肝呀，yyds）

会生成对应的json文件
利用json_to_dataset文件，输入自己的类别，得到分割结果
得到分割结果

训练参数解析

num_class = 实际类别+1（背景）

冻不冻结？

使用focal loss可以防止样本不平衡

核心是给不同的权重

训练自己的数据集

之前做好的数据集，用voc_annotation进行划分

miou 评价指标计算

看完了，完结撒花，不过想做分割的话，接下来看看sam，unet接下来可以看看变种了！