YOLOv5-7.0改进（四）添加EMA注意力机制

news2024/11/17 0:17:06

前言

关于网络中注意力机制的改进有很多种，本篇内容从EMA注意力机制开始！

往期回顾

YOLOv5-7.0改进（一）MobileNetv3替换主干网络

YOLOv5-7.0改进（二）BiFPN替换Neck网络

YOLOv5-7.0改进（三）添加损失函数EIoU、AlphaIoU、SIoU、WIoU、MPDIoU、NWD

目录

  • 一、EMA简介
  • 二、Neck端添加EMA
    • 第一步：在common.py中添加EMA模块
    • 第二步：在yolo.py中的parse_model函数加入类名
    • 第三步：制作模型配置文件
    • 第四步：验证新加入的Neck网络
  • 三、C3中添加EMA
    • 第一步：在common.py中添加EMA模块
    • 第二步：在yolo.py中的parse_model函数加入类名
    • 第三步：制作模型配置文件
    • 第四步：验证新加入的Neck网络

一、EMA简介

论文题目：Efficient Multi-Scale Attention Module with Cross-Spatial Learning

EMA注意力机制：基于跨空间学习的高效多尺度注意力机制，该模块首先将部分通道维度重塑为批量维度，以避免通用卷积进行某种形式的降维，接着在每个并行子网络中构建局部的跨通道交互，利用一种新的跨空间学习方法融合两个并行子网络的输出特征图，设计了一个多尺度并行子网络来建立长短依赖关系。

网络结构：

在这里插入图片描述

二、Neck端添加EMA

第一步：在common.py中添加EMA模块

代码如下：

#EMA
class EMA(nn.Module):
    def __init__(self, channels, factor=8):
        super(EMA, self).__init__()
        self.groups = factor # 分组因子
        assert channels // self.groups > 0
        self.softmax = nn.Softmax(-1) #softmax操作
        self.agp = nn.AdaptiveAvgPool2d((1, 1)) # 1×1平均池化层
        self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) # X平均池化层 h=1
        self.pool_w = nn.AdaptiveAvgPool2d((1, None)) # Y平均池化层 w=1
        self.gn = nn.GroupNorm(channels // self.groups, channels // self.groups) # 分组操作
        self.conv1x1 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=1, stride=1, padding=0) # 1×1卷积分支 
        self.conv3x3 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=3, stride=1, padding=1) # 3×3卷积分支
 
    def forward(self, x):
        b, c, h, w = x.size()
        group_x = x.reshape(b * self.groups, -1, h, w)  # b*g,c//g,h,w
        x_h = self.pool_h(group_x) # 得到平均池化之后的h
        x_w = self.pool_w(group_x).permute(0, 1, 3, 2) # 得到平均池化之后的w
        hw = self.conv1x1(torch.cat([x_h, x_w], dim=2)) # 先拼接，然后送入1×1卷积
        x_h, x_w = torch.split(hw, [h, w], dim=2)
        x1 = self.gn(group_x * x_h.sigmoid() * x_w.permute(0, 1, 3, 2).sigmoid())
        x2 = self.conv3x3(group_x) # 3×3卷积分支
        x11 = self.softmax(self.agp(x1).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x12 = x2.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        x21 = self.softmax(self.agp(x2).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x22 = x1.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        weights = (torch.matmul(x11, x12) + torch.matmul(x21, x22)).reshape(b * self.groups, 1, h, w)
        return (group_x * weights.sigmoid()).reshape(b, c, h, w)

插入效果：

在这里插入图片描述

第二步：在yolo.py中的parse_model函数加入类名

将EMA类名添加到注册表中，效果如下：

在这里插入图片描述

第三步：制作模型配置文件

1、复制models/yolov5s.yaml文件，并重命名

在这里插入图片描述
2、将以下代码复制到新创建的yaml文件

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
 
# Parameters
nc: 12  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32
 
# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]
 
# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13
 
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)
   [-1, 1, EMA, [256]],  # 加入到小目标层后
 
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)
   [-1, 1, EMA, [512]],  # 加入到中目标层后
 
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
   [-1, 1, EMA, [1024]],  # 加入到大目标层后
 
   [[18, 22, 26], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

第四步：验证新加入的Neck网络

1、修改yolo.py中以下两个地方

（1）DetectionModel函数下的cfg

在这里插入图片描述
（2）parser = argparse.ArgumentParser()下的cfg

在这里插入图片描述
2、运行yolo.py

(1)yolov5s_EMA.yaml

在这里插入图片描述

好了，到这一步在Neck端添加EMA基本完成，接下就可以开始训练~

三、C3中添加EMA

第一步：在common.py中添加EMA模块

代码如下：

#EMA
class EMA(nn.Module):
    def __init__(self, channels, factor=8):
        super(EMA, self).__init__()
        self.groups = factor # 分组率
        assert channels // self.groups > 0
        self.softmax = nn.Softmax(-1) # Softmax
        self.agp = nn.AdaptiveAvgPool2d((1, 1)) # 平均池化层
        self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) # x平均池化层 h=1
        self.pool_w = nn.AdaptiveAvgPool2d((1, None)) # y平均池化层 w=1
        self.gn = nn.GroupNorm(channels // self.groups, channels // self.groups) # 分组操作
        self.conv1x1 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=1, stride=1, padding=0) # 1×1卷积分支
        self.conv3x3 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=3, stride=1, padding=1) # 3×3卷积分支
 
    def forward(self, x):
        b, c, h, w = x.size()
        group_x = x.reshape(b * self.groups, -1, h, w)  # b*g,c//g,h,w
        x_h = self.pool_h(group_x)
        x_w = self.pool_w(group_x).permute(0, 1, 3, 2)
        hw = self.conv1x1(torch.cat([x_h, x_w], dim=2))
        x_h, x_w = torch.split(hw, [h, w], dim=2)
        x1 = self.gn(group_x * x_h.sigmoid() * x_w.permute(0, 1, 3, 2).sigmoid())
        x2 = self.conv3x3(group_x)
        x11 = self.softmax(self.agp(x1).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x12 = x2.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        x21 = self.softmax(self.agp(x2).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x22 = x1.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        weights = (torch.matmul(x11, x12) + torch.matmul(x21, x22)).reshape(b * self.groups, 1, h, w)
        return (group_x * weights.sigmoid()).reshape(b, c, h, w)
 
class C3_EMA3(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion
        super().__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c1, c_, 1, 1)
        self.cv3 = Conv(2 * c_, c2, 1)  # optional act=FReLU(c2)
        self.m = nn.Sequential(*(Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)))
        self.m1 = nn.ModuleList([EMA(2 * c_)])  # 添加在最后一个卷积之前
 
    def forward(self, x):
        return self.cv3(self.m1[0](torch.cat((self.m(self.cv1(x)), self.cv2(x)), 1)))
 
 
class C3_EMA2(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion
        super().__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c1, c_, 1, 1)
        self.cv3 = Conv(2 * c_, c2, 1)  # optional act=FReLU(c2)
        self.m = nn.Sequential(*(Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)))
        self.m1 = nn.ModuleList([EMA(c1)])  # 添加在最后一个卷积之前
 
    def forward(self, x):
        return self.cv3(torch.cat((self.m(self.cv1(x)), self.cv2(self.m1[0](x))), 1))
 
 
class C3_EMA1(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion
        super().__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c1, c_, 1, 1)
        self.cv3 = Conv(2 * c_, c2, 1)  # optional act=FReLU(c2)
        self.m = nn.Sequential(*(Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)))
        self.m1 = nn.ModuleList([EMA(c_)])  # 添加在最后一个卷积之前
 
    def forward(self, x):
        return self.cv3(torch.cat((self.m(self.m1[0](self.cv1(x))), self.cv2(x)), 1))

效果如下：

在这里插入图片描述

第二步：在yolo.py中的parse_model函数加入类名

将以下类名添加到注册表中

EMA, C3_EMA1, C3_EMA2, C3_EMA3

效果如下：
在这里插入图片描述

第三步：制作模型配置文件

将以下代码复制到yaml文件中

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
 
# Parameters
nc: 12  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32
 
# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3_EMA1, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]
 
# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13
 
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)
 
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)
 
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
 
   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

第四步：验证新加入的Neck网络

1、运行yolo.py

在这里插入图片描述
接下来也是对这个模型进行训练，需要注意的是这是在主干网络部分改进~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1664761.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

net 7部署到Linux并开启https

net 7部署到Linux并开启https

1.修改代码设置后台服务运行 安装nuget包 Install-Package Microsoft.Extensions.Hosting.WindowsServices Install-Package Microsoft.Extensions.Hosting.Systemd在Program代码中设置服务后台运行 var builder WebApplication.CreateBuilder(args);if (System.OperatingS…
阅读更多...
x6.js bug记录-流程图json数据导入进来之后拖拽节点，节点直接飞走了

x6.js bug记录-流程图json数据导入进来之后拖拽节点，节点直接飞走了

添加josn数据进来之后虽然能正常渲染，但是只要一拖拽，则节点就直接飞走了，看不到了。 找了一下午的问题，最后发现。保存的json坐标位置是字符串类型，而这边的位置必须是数字类型。如下： {position: { x: &…
阅读更多...
词令蚂蚁新村今日答案：微信小程序怎么查看蚂蚁新村今天问题的正确答案？

词令蚂蚁新村今日答案：微信小程序怎么查看蚂蚁新村今天问题的正确答案？

微信小程序怎么查看蚂蚁新村今天问题的正确答案？ 1、打开微信，点击搜索框； 2、打开搜索页面，选择小程序搜索； 3、在搜索框，输入词令搜索点击进入词令微信小程序； 4、打开词令微信小程序关键词口…
阅读更多...
基于Matplotlib的模型性能可视化工作

基于Matplotlib的模型性能可视化工作

一、项目简介 本项目是科技考古墓葬识别工作的中间过程，因为需要大量复用所以另起一章好了。 主要涉及到数据读取、数据可视化和少量的数据处理过程。 二、相关知识 PandasMatplotlib 三、实验过程 1. 数据探索性分析 1.1 准备工作–导入模块 import pandas…
阅读更多...
考研入门55问---基础知识篇

考研入门55问---基础知识篇

考研入门55问---基础知识篇 01 ＞什么是研究生入学考试？ 研究生是指大专和本科之后的深造课程。以研究生为最高学历, 研究生毕业后，也可称研究生，含义为研究生学历的人。在中国大陆地区，普通民众一般也将硕士毕业生称…
阅读更多...
JavaSE基础小知识Ⅱ（很容易错！！！）

JavaSE基础小知识Ⅱ（很容易错！！！）

1. 变量被final修饰后不能再指向其他对象，但可以重写 如果是引用变量被final修饰，那么的确如此； 基本变量不能重写 2. 下列代码的输出结果是？ public class Test {static {int x 5; }static int x,y; public static void ma…
阅读更多...
conan2 基础入门(01)-介绍

conan2 基础入门(01)-介绍

conan2 基础入门(01)-介绍 文章目录 conan2 基础入门(01)-介绍⭐什么是conan官网Why use Conan? ⭐使用现状版本情况个人知名开源企业 ⭐ConanCenter包中心github ⭐说明文档END ⭐什么是conan 官网 官网：Conan 2.0: C and C Open Source Package Manager 一句话来…
阅读更多...
【Linux：lesson1】的基本指令

【Linux：lesson1】的基本指令

🎁个人主页：我们的五年 🔍系列专栏：Linux课程学习 🌷追光的人，终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 🚗打开Xshell，登陆root…
阅读更多...
个人网站快速搭建手册：低成本，高效率，轻松发布

个人网站快速搭建手册：低成本，高效率，轻松发布

​🌈个人主页：前端青山 🔥系列专栏：React篇 🔖人终将被年少不可得之物困其一生 依旧青山,本期给大家带来-快速构建个人站|博客|系统,低成本发布上线 目录 前言 博主主页搭建案例 虚拟主机|服务器|域名 使用免费二级…
阅读更多...
python实现九宫格图片切割

python实现九宫格图片切割

欢迎关注我👆，收藏下次不迷路┗|｀O′|┛ 嗷~~ 目录 一.前言 二.代码 三.使用 四.分析 一.前言 朋友圈九宫格是一种在社交媒体上展示图片或内容的常见布局方式，特别是在微信朋友圈中非常流行。这种布局由九个相同大小的格子组成，通常用于展示一组相关的图片或内容。&…
阅读更多...
线程知识点

线程知识点

一、线程 1.定义 线程：是一个进程并发执行多种任务的机制。 串行：多个任务有序执行，一个任务执行完毕后，再去执行下一个任务 并发：多个任务在单个CPU上运行，同一个时间片上只能运行一个任务，c…
阅读更多...
数据的均匀化分割算法（网格划分法、四叉树法（含C++代码））

数据的均匀化分割算法（网格划分法、四叉树法（含C++代码））

数据的均匀化分割主要是指在分割过程中尽可能均匀地将数据点分布在各个子区域中，以保持数据分布的平衡和优化数据结构的性能。以下是几种可以实现数据均匀化分割的方法： 一. 网格划分法 1. 基本概念 虽然传统的网格划分法不是动态调整的，但通…
阅读更多...
软件验收计划书-验收规程（Word原件）

软件验收计划书-验收规程（Word原件）

编写软件验收计划是软件开发过程中的一个关键步骤，其重要性体现在以下几个方面： 明确验收标准：软件验收计划详细列出了验收的标准、测试方法、测试环境等，确保所有相关人员对验收的期望和要求有清晰的认识。这有助于避免在验收阶段…
阅读更多...
Ansible---自动化运维工具

Ansible---自动化运维工具

一、Ansible概述 1.1 Ansible简介 Ansible是一款自动化运维工具，通过ssh对目标主机进行配置、应用部署、任务执行、编排调度等操作。它简化了复杂的环境管理和自动化任务，提高了工作效率和一致性，同时，Ansible的剧本(playbooks)…
阅读更多...
centos7.9升级4.19内核

centos7.9升级4.19内核

centos默认的内核版本是3.10 通过命令 uname -a 输出系统的详细信息 在部署k8s集群时使用默认的3.10版本的内核，容易出各种奇奇怪怪的问题、可以理解为docker和k8s与该内核版本不兼容，所以在部署k8s集群时，务必要升级内核，这里…
阅读更多...
【论文笔记 | 异步联邦】FedSA

【论文笔记 | 异步联邦】FedSA

FedSA：一种处理 non-IID 数据 的 过时感知 异步联邦算法 1. 论文信息 FedSA：A staleness-aware asynchronous Federated Learning algorithm with non-IID data，Future Generation Computer Systems，2021.7，ccfc 是…
阅读更多...
即插即用篇 | YOLOv8引入局部自注意力 HaloAttention | 为参数高效的视觉主干网络扩展局部自注意力

即插即用篇 | YOLOv8引入局部自注意力 HaloAttention | 为参数高效的视觉主干网络扩展局部自注意力

本改进已集成到 YOLOv8-Magic 框架。 我们提出了Axial Transformers，这是一个基于自注意力的自回归模型，用于图像和其他组织为高维张量的数据。现有的自回归模型要么因高维数据的计算资源需求过大而受到限制，要么为了减少资源需求而在分布表达性或实现的便捷性上做出妥协。相…
阅读更多...
05-10 周五 FastBuild 容器启动引起超时问题定位与解决

05-10 周五 FastBuild 容器启动引起超时问题定位与解决

05-10 周五 FastBuild 容器启动超时问题 时间版本修改人描述2024年5月11日16:45:33V0.1宋全恒新建文档2024年5月11日22:37:21V1.0宋全恒完成解决方案的撰写，包括问题分析，docker命令 简介 关于FastBuild的优化，已经撰写了多个博客&#xff0…
阅读更多...
C#知识|无边框的WinForm窗体，如何拖动位置？

C#知识|无边框的WinForm窗体，如何拖动位置？

哈喽，你好啊，我是雷工！ 上一节时练习做了一个简单的登录窗体界面，为了美观设置成了无边框， 当运行起来，发现无边框的窗体无法用鼠标拖动位置， 本节记录通过添加代码实现无边框窗体实现移动&…
阅读更多...
IDEA创建springboot项目时不能选择java 8或者java 11等等版本的问题，解决方案

IDEA创建springboot项目时不能选择java 8或者java 11等等版本的问题，解决方案

文章目录 1. Project JDK 和 Java 的区别2. 没有 java 8 或 java 11 等版本2.1 方案一2.2 方案二2.3 方案三 1. Project JDK 和 Java 的区别 我们在利用 idea 创建 spring boot 项目时，会有以上两个选项，这两个选项有什么区别？ 答&#xff…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023