图像语义分割 pytorch复现DeepLab v1图像分割网络详解以及pytorch复现（骨干网络基于VGG16、ResNet50、ResNet101）

news2024/11/16 9:47:38

图像语义分割 pytorch复现DeepLab v1图像分割网络详解以及pytorch复现（骨干网络基于VGG16、ResNet50、ResNet101）

  • 背景介绍
  • 2、 网络结构详解
    • 2.1 LarFOV效果分析
  • 2.2 DeepLab v1-LargeFOV 模型架构
  • 2.3 MSc（Multi-Scale，多尺度(预测)）
  • 2.3 以VGG16为特征提取骨干网络代码

背景介绍

论文名称：Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs

在这里插入图片描述

  • 2014 年发表于 CVPR
  • DeepLab v1 是一种用于语义分割的卷积神经网络模型，其核心思想是结合了全局上下文信息，以更好地理解图像中的语义内容。

论文中指出了当前图像语义分割的存在问题：

  • 下采样会导致图像的分辨率降低
    在 DCNN 中，通常通过池化层来进行信号下采样，这是为了减少特征图的尺寸和参数数量。然而，池化操作会导致特征图的空间分辨率降低，从而损失了一部分细节信息。在图像标注任务中，像素级的细节信息对于准确的标注非常重要，因此信号下采样可能会影响标注的质量。
    在这里插入图片描述
  • 空间不敏感
    DCNNs 在高级视觉任务中表现出色的一个原因是它们具有一定程度的平移、旋转、缩放等空间不变性。然而，对于像素级标注任务（如语义分割或像素级分类），我们希望网络能够对每个像素点进行精细的标注，这就需要网络具有较高的空间敏感性。然而，DCNNs 的不变性特性可能导致在特征提取过程中丢失一些空间信息，使得网络对于像素级标注任务不够敏感。

论文中解决以上两个问题的方案：
在这里插入图片描述

  • 1、采用空洞卷积
  • 2、采用fully-connected CRF（Condition Random Fie）(全连接条件随机场)
    CRF在语义分割领域是常用的方法，但是在DeepLab V3之后便不再使用

网络优势：

  • 速度更快，论文中说因为采用了膨胀卷积的原因，但fully-connect CRF很耗时
  • 准确率更高，相比之前最好的网络，提升了7.2个点
  • 结构简单，主要采用DCNN和CRFs级联构成在这里插入图片描述
    DeepLab：本文提出的语义分割模型
    MSc：Multi-Scale，多尺度
    CRF：全连接条件随机场，用于对图像进行后处理以改善分割或标注的结果。它通常用于在图像分割任务中对神经网络的输出进行精炼和优化
    LargeFOV：空洞卷积

2、 网络结构详解

DeepLab v1 的 Backbone 使用的是 VGG16作为主要的卷积神经网络架构（2014年最牛逼的分类网络为VGG）。在 DeepLab v1 中，VGG16 的部分或全部全连接层被去除，而只保留卷积层，并通过空洞卷积（Atrous Convolution）来增大感受野，从而实现对图像的全局上下文信息的捕获

VGG16 的结构包含 16 层卷积层和全连接层，其中包括 13 个卷积层和 3 个全连接层。该模型在 ImageNet 数据集上进行了训练，并在图像分类任务上取得了很好的性能。

2.1 LarFOV效果分析

在这里插入图片描述
将卷积核减小，比如从原来的 kernel_size = (7, 7) 变为 kernel_size = (4, 4) 或 kernel_size = (3, 3)
在这里插入图片描述

注意❗️

  • 这里替换全连接层的卷积层并非普通卷积层，而是一个膨胀卷积，它有一个膨胀系数 r，可以扩大感受野。
  • 图中的 input stride 其实是膨胀系数 r。

在这里插入图片描述

2.2 DeepLab v1-LargeFOV 模型架构

VGG系列网络结构：
在这里插入图片描述
DeepLab-LargeFOV 模型架构：
在这里插入图片描述

经过上采样得到 224 × 224 × num class的特征图并非模型最终输出结果，还要经过一个 Softmax 层后才是模型最终的输出结果。

Softmax 层的作用是将每个像素的类别预测转换为对应类别的概率。它会对每个像素的 num_classes 个类别预测进行归一化，使得每个预测值都落在 0 到 1 之间，并且所有类别的预测概率之和为 1。这样，对于每个像素点，我们可以得到每个类别的概率，从而确定该像素属于哪个类别的概率最大。最终的输出结果通常是经过 Softmax 处理后的特征图，其中每个像素点都包含了 num_classes 个类别的概率信息。

LargeFOV 本质上就是使用了膨胀卷积。

  • 通过分析发现虽然 Backbone 是 VGG-16 但使用 Maxpool 略有不同，VGG 论文中是 kernel=2，stride=2，但在 DeepLab v1 中是 kernel=3，stride=2，padding=1。接着就是最后两个 Maxpool 层的 stride 全部设置成了 1（这样下采样的倍率就从原来的 32 变成了 8）。最后三个 3 × 3 的卷积层采用了膨胀卷积，膨胀系数 r = 2。
  • 然后关于将全连接层卷积化过程中，对于第一个全连接层（FC1）在 FCN 网络中是直接转换成卷积核大小为 7 × 7，卷积核个数为 4096 的卷积层（普通卷积），但在 DeepLab v1 中作者说是对参数进行了下采样最终得到的是卷积核大小 3 × 3 ，卷积核个数为 1024 的卷积层（膨胀卷积）（这样不仅可以减少参数还可以减少计算量，详情可以看下论文中的 Table2），对于第二个全连接层（FC2）卷积核个数也由 4096 4096 采样成 1024（普通卷积）。
  • 将 FC1 卷积化后，还设置了膨胀系数（膨胀卷积），论文 3.1 中说的是 r = 4 但在 Experimental Evaluation 中 Large of View 章节里设置的是 r = 12 对应 LargeFOV。对于 FC2 卷积化后就是卷积核 1 × 1 ，卷积核个数为 1024 的普通卷积层。接着再通过一个卷积核 1 × 1 ，卷积核个数为 num_classes（包含背景）的普通卷积层。最后通过 8 倍上采样还原回原图大小。

注意❗️采用的是双线性插值（Bilinear Interpolation）的策略来实现上采样，双线性插值会考虑其周围 4 个最近的像素点，根据距离权重进行插值计算。这样可以有效地将特征图还原到原始输入图像的大小，使得网络的输出和输入在空间尺寸上保持一致

2.3 MSc（Multi-Scale，多尺度(预测)）

即融合多个特征层的输出
DeepLab-LargeFOV-MSc 模型架构
在这里插入图片描述

2.3 以VGG16为特征提取骨干网络代码

DeepLab-LargeFOV

#!/usr/bin/python
# -*- encoding: utf-8 -*-


import torchvision
import torch
import torch.nn as nn
import torch.nn.functional as F


斜体样式
class DeepLabLargeFOV(nn.Module):
    def __init__(self, in_dim, out_dim, *args, **kwargs):
        super(DeepLabLargeFOV, self).__init__(*args, **kwargs)
        # vgg16 = torchvision.models.vgg16()

        layers = []
        layers.append(nn.Conv2d(in_dim, 64, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.Conv2d(64, 64, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.MaxPool2d(3, stride = 2, padding = 1))

        layers.append(nn.Conv2d(64, 128, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.Conv2d(128, 128, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.MaxPool2d(3, stride = 2, padding = 1))

        layers.append(nn.Conv2d(128, 256, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.Conv2d(256, 256, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.Conv2d(256, 256, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.MaxPool2d(3, stride = 2, padding = 1))

        layers.append(nn.Conv2d(256, 512, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.Conv2d(512, 512, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.Conv2d(512, 512, kernel_size = 3, stride = 1, padding = 1))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.MaxPool2d(3, stride = 1, padding = 1))

        # 以下采用膨胀卷积
        layers.append(nn.Conv2d(512,
            512,
            kernel_size = 3,
            stride = 1,
            padding = 2,
            dilation = 2))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.Conv2d(512,
            512,
            kernel_size = 3,
            stride = 1,
            padding = 2,
            dilation = 2))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.Conv2d(512,
            512,
            kernel_size = 3,
            stride = 1,
            padding = 2,
            dilation = 2))
        layers.append(nn.ReLU(inplace = True))
        layers.append(nn.MaxPool2d(3, stride = 1, padding = 1))
        self.features = nn.Sequential(*layers)

        classifier = []
        classifier.append(nn.AvgPool2d(3, stride = 1, padding = 1))
        classifier.append(nn.Conv2d(512,
            1024,
            kernel_size = 3,
            stride = 1,
            padding = 12,
            dilation = 12))
        classifier.append(nn.ReLU(inplace=True))
        classifier.append(nn.Conv2d(1024, 1024, kernel_size=1, stride=1, padding=0))
        classifier.append(nn.ReLU(inplace=True))
        classifier.append(nn.Dropout(p=0.5))
        classifier.append(nn.Conv2d(1024, out_dim, kernel_size=1))
        self.classifier = nn.Sequential(*classifier)

        self.init_weights()


    def forward(self, x):
        N, C, H, W = x.size()
        x = self.features(x)
        x = self.classifier(x)
        x = F.interpolate(x, (H, W), mode='bilinear', align_corners=True)
        return x

    def init_weights(self):
        vgg = torchvision.models.vgg16(pretrained=True)
        state_vgg = vgg.features.state_dict()
        self.features.load_state_dict(state_vgg)

        for ly in self.classifier.children():
            if isinstance(ly, nn.Conv2d):
                nn.init.kaiming_normal_(ly.weight, a=1)
                nn.init.constant_(ly.bias, 0)


if __name__ == "__main__":
    net = DeepLabLargeFOV(3, 10)
    in_ten = torch.randn(1, 3, 224, 224)
    out = net(in_ten)
    print(out.size())

    in_ten = torch.randn(1, 3, 64, 64)
    mod = nn.Conv2d(3,
            512,
            kernel_size = 3,
            stride = 1,
            padding = 2,
            dilation = 2)
    out = mod(in_ten)
    print(out.shape)


    import os
    import torch
    from torchsummary import summary


    os.environ["CUDA_VISIBLE_DEVICES"] = "1"
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

    net=DeepLabLargeFOV(3,21).to(device)
    print(summary(net,(3,224,224)))

    print(torch.cuda.current_device())

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1125715.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Docker Swarm 节点维护

Docker Swarm 节点维护

Docker Swarm Mode Docker Swarm 集群搭建 Docker Swarm 节点维护 Docker Service 创建 1.角色转换 Swarm 集群中节点的角色只有 manager 与 worker，所以其角色也只是在 manager 与worker 间的转换。即 worker 升级为 manager，或 manager 降级为 worke…
阅读更多...
软件测试 (用例篇)

软件测试 (用例篇)

前言 上一篇博客讲述的是一次基本的测试过程。 在我们开始做了一段时间基础测试，熟悉了业务之后，往往会分配来写测试用例，并且在日常测试中，有时也需要补充测试用例到现有的案例库中。 在这里我们将回答以下问题 1、测试用例的…
阅读更多...
Pytorch深度学习快速入门—LeNet简单介绍（附代码）

Pytorch深度学习快速入门—LeNet简单介绍（附代码）

一、网络模型结构 LeNet是具有代表性的CNN，在1998年被提出，是进行手写数字识别的网络，是其他深度学习网络模型的基础。如下图所示，它具有连狙的卷积层和池化层，最后经全连接层输出结果。 二、各层参数详解 2.1 INPUT层…
阅读更多...
上门预约洗鞋小程序开发；

上门预约洗鞋小程序开发；

上门洗鞋小程序服务小程序是一款方便用户与服务提供者进行交流和预约的平台，覆盖多个行业，包括家政清洁、洗衣洗鞋，维修服务等，满足用户在生活中各种需求的上门服务。用户可以在小程序中选择服务项目、预约时间，服务人…
阅读更多...
JDK的配置及运行过程

JDK的配置及运行过程

文章目录 介绍JDK编译运行过程为什么要配置环境变量配置环境变量的作用 配置JDK验证ps: 介绍JDK 【面试题】JDK、JRE、JVM之间的关系？ JDK(Java Development Kit):Java开发工具包，提供给Java程序员使用，包含了JRE，同时还包含了编译…
阅读更多...
Mysql如何理解Sql语句？MySql分析器

Mysql如何理解Sql语句？MySql分析器

1. 什么是 MySQL 分析器? MySQL 分析器是 MySQL 数据库系统中的一个关键组件，它负责解析 SQL 查询语句，确定如何执行这些查询，并生成查询执行计划。分析器将 SQL 语句转换为内部数据结构，以便 MySQL 可以理解和执行查询请求。 …
阅读更多...
数据集特征预处理

数据集特征预处理

1、什么是特征预处理 1.1、什么是特征预处理 scikit-learn的解释 provides several common utility functions and transformer classes to change raw feature vectors into a representation that is more suitable for the downstream estimators. 翻译过来：通…
阅读更多...
VRPTW（MATLAB）：斑马优化算法ZOA求解带时间窗的车辆路径问题VRPTW（提供参考文献及MATLAB代码）

VRPTW（MATLAB）：斑马优化算法ZOA求解带时间窗的车辆路径问题VRPTW（提供参考文献及MATLAB代码）

一、VRPTW简介 带时间窗的车辆路径问题(Vehicle Routing Problem with Time Windows, VRPTW)是车辆路径问题(VRP)的一种拓展类型。VRPTW一般指具有容量约束的车辆在客户指定的时间内提供配送或取货服务，在物流领域应用广泛，具有重要的实际意义。VRPTW常…
阅读更多...
嵌入式系统设计中时钟抖动的基础

嵌入式系统设计中时钟抖动的基础

嵌入式开发时钟抖动是时钟沿偏离其理想位置的偏差。了解时钟抖动在应用中非常重要，因为它在系统的时序预算中起着关键作用。它有助于嵌入式开发工程师了解系统时序裕度。 随着系统数据速率的提高，时序抖动已成为系统设计中的关键，因为在某些…
阅读更多...
[资源推荐]看到一篇关于agent的好文章

[资源推荐]看到一篇关于agent的好文章

链接在此：Chat 向左，Agent 向右 - 李博杰的文章 - 知乎 https://zhuanlan.zhihu.com/p/662704254当时在电脑知乎上看了一半，打开手机微信公众号，就给我推了同样的，这推荐算法😥今年关于大模型的想法经历了几…
阅读更多...
短视频矩阵系统源码搭建/技术应用开发/源头独立搭建

短视频矩阵系统源码搭建/技术应用开发/源头独立搭建

短视频剪辑矩阵系统开发源码----源头搭建 矩阵系统源码主要有三种框架：Spring、Struts和Hibernate。Spring框架是一个全栈式的Java应用程序开发框架，提供了IOC容器、AOP、事务管理等功能。Struts框架是一个MVC架构的Web应用程序框架，用于将数…
阅读更多...
功能基础篇8——图形用户界面

功能基础篇8——图形用户界面

图形用户界面 Graphics User Interface，GUI，图形用户界面 Ubuntu GUI Command Line Interface，CLI，命令行界面 Centos CLI tkinter GUI，Python标准库 from tkinter import ttk, Tkroot Tk() frm ttk.Frame(…
阅读更多...
网络工程师最强入职指南

网络工程师最强入职指南

大家好，我是老杨。 秋招即将进入尾声，各位都找到心仪的工作了吗？ 今年的春秋招的热度好像不是很高，而且很多网工都是在“全年找工作”的状态里持续着，字里行间无不透露出对行业和自身的焦虑。 毕竟“今年是未来10年…
阅读更多...
vue3 elementPlus 表格实现行列拖拽及列检索功能

vue3 elementPlus 表格实现行列拖拽及列检索功能

1、安装vuedraggable npm i -S vuedraggablenext 2、完整代码 <template> <div classcontainer><div class"dragbox"><el-table row-key"id" :data"tableData" :border"true"><el-table-columnv-for"…
阅读更多...
Qt 资源系统（Qt Resource System）

Qt 资源系统（Qt Resource System）

1. Qt Resource System是什么&#xff1f; Qt 资源系统&#xff08;Qt Resource System&#xff09;是一种将图片、数据存储在二进制文件中的一套系统。构建应用程序需要的不仅仅是代码。通常你的界面会需要图标来做动作&#xff0c;你可能想要添加插图或品牌标识&#xff0c;或…
阅读更多...
Spring Boot中RedisTemplate的使用

Spring Boot中RedisTemplate的使用

当前Spring Boot的版本为2.7.6&#xff0c;在使用RedisTemplate之前我们需要在pom.xml中引入下述依赖&#xff1a; <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId><vers…
阅读更多...
insert overwrite table：数据仓库和数据分析中的常用技术

insert overwrite table：数据仓库和数据分析中的常用技术

一、介绍&#xff1a; INSERT OVERWRITE TABLE 是用于覆盖&#xff08;即替换&#xff09;目标表中的数据的操作。它将新的数据写入表中&#xff0c;并删除原有的数据。这个操作适用于非分区表和分区表。 二、使用场景&#xff1a; 1、数据更新&#xff1a;当您需要更新表中…
阅读更多...
软考系列（系统架构师）- 2021年系统架构师软考案例分析考点

软考系列（系统架构师）- 2021年系统架构师软考案例分析考点

试题一 软件架构&#xff08;架构风格、质量属性&#xff09; 【问题1】&#xff08;9分&#xff09; 在架构评估过程中&#xff0c;质量属性效用树(utility tree)是对系统质量属性进行识别和优先级排序的重要工具。 请将合适的质量属性名称填入图1-1中(1)、(2)空白处&#xf…
阅读更多...
教您2个方法，轻松学会如何克隆硬盘或分区！

教您2个方法，轻松学会如何克隆硬盘或分区！

为什么需要克隆硬盘或分区&#xff1f; 在现在&#xff0c;学会如何克隆硬盘或分区是很重要的&#xff0c;因为这项技能本身是很简单的&#xff0c;并且也能够为我们带来足够多的好处与便利。 备份恢复&#xff1a;通过克隆硬盘驱动器或分区&#xff0c;您可以创建…
阅读更多...
企业文件加密软件！哪个好用？

企业文件加密软件！哪个好用？

天锐绿盾是一款专业的企业文件加密软件&#xff0c;提供了多种功能来保护企业文件的安全。它的主要功能包括文件加密、文件外发控制、打印内容监控、内网行为管理、外网安全管理、文件管理控制、邮件白名单管理和U盘认证管理等功能。 PC访问地址&#xff1a; https://isite.ba…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023