语义分割——mmsegmentation框架使用

news2024/12/24 21:08:15

目录

1.mmsegmentation简介

2.mmsegmentation安装

3.mmsegmentation使用(代码结构介绍)

4.mmsegmentation使用实战(deeplab v3+为例)

4.1配置

4.2训练:

4.3预测:


1.mmsegmentation简介

mmsegmentation 是 OpenMMLab 开源的基于 PyTorch 实现的功能强大的语义分割工具箱。

简单来说,就是一个集成了并实现了多个语义分割框架的代码框架,你可以在里面自由地选用对应的语义分割模型,比如FCN、U-net、PSPNet、Deeplab v3、Swim Transformer等,而无需自己编写对应的模型代码,只需要按照MMSegmentation 官网文档编写其对应的训练文件。甚至你可以直接下载其在某些数据上预训练后的权重文件,并进行预测,获得语义分割结果。

 同时,mmsegmentation 还包含11 种主干网络代码,代表着你可以使用它进行自由组合,设计出你想要的语义分割网络。

所以,mmsegmentation 可以帮我们做什么呢?

如果你需要一些公开数据集(如voc,coco等)语义分割模型的实际比对结果,你就可以使用mmsegmentation 快速地获取结果,避免了一个一个模型进行手敲,并进行训练,节省大量时间。

再者,编写根据既定的规则编写训练以及预测代码总比编写模型代码简单的多。

2.mmsegmentation安装

首先,你得知道mmsegmentation 是基于pytorch实现的,所以你需要先安装pytorch,如果你需要使用GPU进行训练等,你还需要安装cuda等,具体网上都有教程,此处不进行叙述。

然后,你需要在安装好pytorch的环境中安装mmsegmentation 对应的依赖:

pip install -U openmim
mim install mmengine
mim install "mmcv>=2.0.0"

然后你可以直接下载mmsegmentation 的源码进行使用了:

https://gitcode.com/open-mmlab/mmsegmentation

 或者通过命令行形式:

git clone -b main https://github.com/open-mmlab/mmsegmentation.git
cd mmsegmentation
pip install -v -e .
# '-v' 表示详细模式,更多的输出
# '-e' 表示以可编辑模式安装工程,
# 因此对代码所做的任何修改都生效,无需重新安装

 然后就安装成功了,我们用pycharm打开项目文件,就可以进行对应的操作了。

安装过程中如果有不解的地方,可以参考官方文档:开始:安装和运行 MMSeg — MMSegmentation 1.2.2 文档

3.mmsegmentation使用(代码结构介绍)

mmsegmentation下载下来后的主要代码结构如下:

# MMSegmentation 算法库目录结构的主要部分 
mmsegmentation 
   | 
   |- configs                        # 配置文件 
   |     |- _base_                   ## 配置文件 
   |     |     |- datasets             ### 数据集相关配置文件 
   |     |     |- models               ### 模型相关配置文件 
   |     |     |- schedules            ### 不同迭代次数下的训练配置文件 
   |     |     |- default_runtime.py   ### 运行相关的默认的设置 
   |     |- ann                      ## 各个模型对应的配置加载文件
   |     |- apcnet    
   |     |- ...                         
   |- data                           # 数据集存放文件夹 
   |- mmseg  
   |     |- models                    ## 分割模型具体实现代码 
   |     |     |- backbones             ### 主干网络 
   |     |     |- decode_heads          ### 解码头 
   |     |     |- losses                ### 损失函数 
   |     |     |- necks                 ### 颈 
   |     |     |- segmentors            ### 构建完整分割网络的代码 
   |     |     |- utils                 ### 构建模型时的辅助工具 
   |- tools  
   |     |- train.py                  ## 训练脚本 
   |     |- test.py                   ## 测试脚本 
   |     |- ...                       
   |- ... 

可以得知的是,mmsegmentation下所有关于模型、数据集、训练次数等东西的配置都在configs文件夹下。也就是说,如果我们只是使用现成的模型,那我们只需要关注configs文件夹就好。

比如models文件夹点进去会有对应的模型配置文件,里面对模型的训练方式、骨干网络、语义分割类别数等信息进行了配置。

4.mmsegmentation使用实战(deeplab v3+为例)

4.1配置

下面对使用mmsegmentation中的deeplab v3+模型,在voc2012数据集中进行语义分割:

首先,我们下载voc2012数据集,并将其放到data文件夹下:

然后我们创建myModel/deeplabv3+文件夹,用来存放模型配置文件。

然后我们到configs文件夹中找到对应的配置文件,需要的配置文件主要有5个:

(1)configs/_base_/datasets/下的pascal_voc12.py文件,里面会对数据集中的存储文件进行了配置,如果数据集按照上述文件路径存放的不需要更改,直接复制到myModel/deeplabv3+文件夹中。否则,需要修改配置文件中的对应路径:

(2)configs/_base_/models/下的deeplabv3plus_r50-d8.py文件,里面对deeplabv3+模型的具体信息进行了定义。如果使用GPU训练及预测的就不用修改,使用CPU训练及预测的则改为BN:

(3)configs/_base_/下的schedule_20k.py文件,该文件定义了训练迭代次数。

(4)configs/_base_/下的default_runtime.py文件,该文件中需要对模型的预训练权重文件进行加载:

选择None则表示不加载预训练文件。

注意:每一个模型的预训练权重文件都可以在configs文件夹下的对应模型名称文件夹的readme文件中找到下载地址。如deeplabv3+的预训练文件在configs/deeplabv3plus/下的readme文件中:

找到对应的数据集、骨干网络、迭代次数下的[model]对应的地址即可下载。

下载完成后,我们可以创建对应的weights文件夹存放对应的权重文件。(参考上图中default_runtime.py的文件路径)

(5)configs/deeplabv3plus/下的deeplabv3plus_r50-d8_4xb4-20k_voc12aug-512x512.py文件。

文件名称格式为模型名称_骨干网络_迭代次数_数据集,对应上述各文件的选择。因此根据文件名称,我们需要确定好对应的数据集、模型、及迭代文件。

该文件对如何加载各类配置文件的路径进行了配置,是最终的集成配置文件。我们需要对里面的文件路径进行配置:

(6)然后

最终,我们再创建一个work-dir文件夹,存放训练时的文件。

最终文件夹下目录格式如下:

4.2训练:

配置完成后,我们就可以进行训练了。

找到tools文件夹下的train.py文件,修改里面对应文件的路径:

 然后运行,既可以进行训练。

然后,我们可以看到对应的checkpoint文件被保存在哪里:

 在work-dir文件夹中会有对应的日期文件夹,里面存放对应的数据。

4.3预测:

我们可以使用训练后得到的权重文件,或者直接使用预训练权重文件进行预测:

import numpy as np
import matplotlib.pyplot as plt

from mmseg.apis import init_model, inference_model, show_result_pyplot
import mmcv
import cv2

# 模型 config 配置文件
config_file = 'E:/tc-project/mmsegmentation/myModel/deeplabv3+/deeplabv3plus_r50-d8_4xb4-20k_voc12aug-512x512.py'

# 模型 checkpoint 权重文件
checkpoint_file = 'E:/tc-project/mmsegmentation/myModel/deeplabv3+/weights/deeplabv3plus_r50-d8_512x512_40k_voc12aug.pth'

device = 'cpu'
model = init_model(config_file, checkpoint_file, device=device)

# 测试图片路径
img_path = 'C:/Users/pc/Desktop/test.jpg'
img_bgr = cv2.imread(img_path)
result = inference_model(model, img_bgr)
pred_mask = result.pred_sem_seg.data[0].cpu().numpy()
cmap = plt.cm.colors.ListedColormap(['black', 'pink'])

# 显示语义分割结果
plt.figure(figsize=(14, 8))
plt.subplot(1,2,1)
plt.imshow(img_bgr[:,:,::-1])
plt.axis('off')
plt.subplot(1,2,2)
plt.imshow(img_bgr[:,:,::-1])
plt.imshow(pred_mask, cmap=cmap, alpha=0.6) # alpha 高亮区域透明度,越小越接近原图
plt.axis('off')
plt.savefig('outputs/deeplab_1.jpg')
plt.show()

上述代码中的配置文件是指最终的集成配置文件,权重文件本次使用了预训练权重文件。

运行效果:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1814980.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

结合兴趣行业和手头资源来看计算机专业是否还是好的选择,再前行路上FlowUs息流一直陪你成长

在这个数字化时代,计算机专业以其广阔的就业前景和持续的行业需求,依旧是许多有志青年的优选。无论你是被编程的逻辑之美所吸引,还是对人工智能的无限可能充满好奇,选择计算机专业意味着你将踏上一条充满挑战与机遇的道路。而Flow…

橘子叶子病害分类数据集38432张5类别

数据集类型:图像分类用,不可用于目标检测无标注文件 数据集格式:仅仅包含jpg图片,每个类别文件夹下面存放着对应图片 图片数量(jpg文件个数):38432 分类类别数:5 类别名称:["Citrus_Canker_Diseases_L…

有人说C语言99%的代码是可以包含在c++中,那剩下的1%是什么?

关于C语言99%的代码可以包含在C中,这个说法基本上是正确的,但并非完全绝对。至于剩下的1%不兼容的部分,这主要涉及一些C99标准中引入的新特性,这些特性在C中默认是不支持的。以下是一些主要的不兼容点: 刚好我有一些资…

大众点评全国丽人POI采集225万家-2024年5月底

大众点评全国丽人POI采集225万家-2024年5月底 店铺POI点位示例: 店铺id Hav6zIYtzhyyopIZ 店铺名称 防屏蔽 十分制服务评分 8.9 十分制环境评分 8.9 十分制划算评分 8.9 人均价格 210 评价数量 19935 店铺地址 建北一支路观音桥步行街红鼎国际A座9-9 店铺…

【perfetto分析性能学习笔记】

1.perfetto网站 https://ui.perfetto.dev/ 2.快捷键 3.线程状态分析 Runnable 表示线程正在运行或者等待CPU执行 Runnable (Preempted) 表示线程正在运行,但在运行过程中被其他高优先级线程抢占 Running 表示线程正在运行 Uninterruptible Sleep Uninterru…

光电液位传感器可以实现哪些功能

光电液位传感器安装于机器水箱的底部时,它的主要功能是监控水箱内的最低水位。当水位下降至低于传感器的预设水平时,传感器会立即发出信号,提示缺水状态。这一信号可以触发相关设备停止工作,以避免因缺水而导致的设备损坏或故障。…

企业IT运维管理体系-总体规划

企业IT运维管理体系-总体规划 企业IT运维管理体系的总体规划通过科学的调研、分析、设计和建设,提升管理成熟度、增强服务能力、实现技术创新和优化资源配置。重点在于建立组织保障体系、制定运维制度、构建运维平台和完善度量指标。通过明确运维治理模式和外包管理…

开放式耳机哪个品牌比较好?五大公认品牌推荐!

想要购买开放式耳机,但面对众多品牌和型号,你是否感到无从下手?别担心,作为耳机发烧友和测评专家,我为大家带来了几款热门开放式耳机的横向对比。从音质、设计、功能等方面进行详细对比,让你一目了然地了解…

使用Vue3+ElementPlus+高德地图实现在浏览器中搜索地点并被标记在地图中

效果描述 在页面的输入框中输入想要查询的地点&#xff0c;在输入框的下方会提示跟输入的关键字有关地点&#xff0c;然后按下回车键或者选择下方罗列的地点即可让地图跳转到搜索的位置。 效果展示 页面渲染完成的时候 输入想要查询的地点 按下回车键之后 代码实现 <temp…

图像处理:Python使用OpenCV 减少图片噪音

文章目录 1. 均值滤波 (Mean Filtering)2. 高斯滤波 (Gaussian Filtering)3. 中值滤波 (Median Filtering)4.代码实现示例5.效果展示 在图像处理中&#xff0c;均值滤波、高斯滤波和中值滤波是三种常用的降噪方法。它们的实现原理各有不同&#xff1a; 1. 均值滤波 (Mean Filte…

SD文生图超详参数使用技巧和方法-看这一篇就懂了!!!

【Stable Diffusion】文生图超详参数使用技巧和方法推荐 仁者见仁&#xff0c;智者见智&#xff0c;一千个读者&#xff0c;一千个哈姆雷特。 此章为记录学习和分享&#xff0c;为后继初学者提供便利。 作者&#xff1a;AI时代社 链接&#xff1a;https://zhuanlan.zhihu.com…

hot100 -- 栈

目录 &#x1f6a9;有效的括号 &#x1f33c;最小栈 AC 栈 AC 链表 &#x1f33c;字符串解码 &#x1f43b;每日温度 &#x1f352;柱状图中的最大矩形 解释 AC 单调栈 &#x1f6a9;有效的括号 20. 有效的括号 - 力扣&#xff08;LeetCode&#xff09; 1&#xf…

Seal^_^【送书活动第6期】——《Docker快速入门》

Seal^_^【送书活动第6期】——《Docker快速入门》 一、参与方式二、本期推荐图书2.1 作者荐语2.2 编辑推荐2.3 图书简介2.4 前 言2.5 目 录 三、正版购买 从Docker Desktop入手&#xff0c;快速掌握容器技术&#xff01;&#xff01;&#xff01;&#xff01; 一、参与方式 1、…

HALCON-从入门到入门-阈值分割定位算子综合运用

1.废话 之前我的一个师兄告诉我&#xff0c;针对图像上想要定位的内容&#xff0c;机器视觉中定位的方式有很多种&#xff0c;但是如果用阈值分割定位可以做的&#xff0c;就不要用模板匹配了。因为基于形状的模板匹配始终会存在匹配不到的风险&#xff0c;那如果打光效果可以…

VS2022使用C语言代码访问MariaDB数据库

第一步,先安装数据库服务器,如果你不想安装这个服务器,请看结尾: 第二步,建立数据库 第三步,配置VS2022 第四步,写代码 ,这里其实使用的是MariaDB 的C语言 API #include <stdio.h> #include <window

python添加两组实验显著性

Python-statannotations库添加显著性标注&#xff1a; 1、官网资料&#xff1a;https://github.com/trevismd/statannotations 官网例子&#xff1a; import seaborn as snsfrom statannotations.Annotator import Annotatordf sns.load_dataset("tips") x "…

使用 C# 学习面向对象编程:第 7 部分

多态性 我们在程序中使用多态的频率是多少&#xff1f;多态是面向对象编程语言的第三大支柱&#xff0c;我们几乎每天都在使用它&#xff0c;却不去想它。 这是一个非常简单的图表&#xff0c;它将解释多态性本身。 简单来说&#xff0c;我们可以说&#xff0c;只要我们重载类…

机器学习模型评价、模型与算法选择(综述)

摘要&#xff1a;本文主要讨论了模型评估、模型选择和算法选择的重要性&#xff0c;并回顾了解决这些任务的不同技术。文章强调了在小数据集上不推荐使用留出方法&#xff0c;而应使用bootstrap技术来评估性能的不确定性。在讨论偏差-方差权衡时&#xff0c;文章比较了leave-on…

【紧急警示】Locked勒索病毒利用最新PHP远程代码执行漏洞大规模批量勒索!文末附详细加固方案

1. Locked勒索病毒介绍 locked勒索病毒属于TellYouThePass勒索病毒家族的变种&#xff0c;其家族最早于2019年3月出现&#xff0c;擅长利用高危漏洞被披露后的短时间内&#xff0c;利用1Day对暴露于网络上并存在有漏洞未修复的机器发起攻击。该家族在2023年下半年开始&#xf…

给Windows软件添加异常捕获模块生成dump文件(附源码)

软件在运行过程中会时常发生内存越界、内存访问为例、stack overflow线程栈溢出、空指针与野指针等异常崩溃,仅仅是依靠Debug和Release下的调试是远远不够的,因为有些崩溃不是必现的,或者是Debug下很难出现的。所以我们需要在软件中添加异常捕获的模块,在捕获到异常时生成包…