YOLOv8改进 | 2023 | LSKAttention大核注意力机制助力极限涨点

news2024/9/22 4:00:14

论文地址：官方论文地址

代码地址：官方代码地址

一、本文介绍 

在这篇文章中，我们将讲解如何将LSKAttention大核注意力机制应用于YOLOv8，以实现显著的性能提升。首先，我们介绍LSKAttention机制的基本原理，它主要通过将深度卷积层的2D卷积核分解为水平和垂直1D卷积核，减少了计算复杂性和内存占用。接着，我们介绍将这一机制整合到YOLOv8的方法，以及它如何帮助提高处理大型数据集和复杂视觉任务的效率和准确性。本文还将提供代码实现细节和使用方法，展示这种改进对目标检测、语义分割等方面的积极影响。通过实验YOLOv8在整合LSKAttention机制后，实现了检测精度提升(下面会附上改进LSKAttention机制和基础版本的结果对比图)。

 专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备

实验效果图如下所示-> 

本次实验我只用了一百张图片检测的是安全帽训练了一百个epoch，该结果只能展示出该机制有效，但是并不能产生决定性结果，因为具体的效果还要看你的数据集和实验环境所影响。

目录

一、本文介绍 

二、LSKAttention的机制原理 

三、LSKAttention的代码

四、手把手教你将LSKAttention添加到你的网络结构中

4.1 LSKAttention的添加教程

4.2 LSKAttention的yaml文件和训练截图

4.2.1 LSKAttention的yaml文件

4.2.2 LSKAttention的训练过程截图 

五、LSKAttention可添加的位置

5.1 推荐LSKAttention可添加的位置 

5.2图示LSKAttention可添加的位置 

六、本文总结 

二、LSKAttention的机制原理 

《Large Separable Kernel Attention》这篇论文提出的LSKAttention的机制原理是针对传统大核注意力（Large Kernel Attention，LKA）模块在视觉注意网络（Visual Attention Networks，VAN）中的应用问题进行的改进。LKA模块在处理大尺寸卷积核时面临着高计算和内存需求的挑战。LSKAttention通过以下几个关键步骤和原理来解决这些问题：

  1. 核分解：LSKAttention的核心创新是将传统的2D卷积核分解为两个1D卷积核。首先，它将一个大的2D核分解成水平（横向）和垂直（纵向）的两个1D核。这样的分解大幅降低了参数数量和计算复杂度。

  2. 串联卷积操作：在进行卷积操作时，LSKAttention首先使用一个1D核对输入进行水平方向上的卷积，然后使用另一个1D核进行垂直方向上的卷积。这两步卷积操作串联执行，从而实现了与原始大尺寸2D核相似的效果。

  3. 计算效率提升：由于分解后的1D卷积核大大减少了参数的数量，LSKAttention在执行时的计算效率得到显著提升。这种方法特别适用于处理大尺寸的卷积核，能够有效降低内存占用和计算成本。

  4. 保持效果：虽然采用了分解和串联的策略，LSKAttention仍然能够保持类似于原始LKA的性能。这意味着在处理图像的关键特征（如边缘、纹理和形状）时，LSKAttention能够有效地捕捉到重要信息。

  5. 适用于多种任务：LSKAttention不仅在图像分类任务中表现出色，还能够在目标检测、语义分割等多种计算机视觉任务中有效应用，显示出其广泛的适用性。

总结：LSKAttention通过创新的核分解和串联卷积策略，在降低计算和内存成本的同时，保持了高效的图像处理能力，这在处理大尺寸核和复杂图像数据时特别有价值。

上图展示了在不同大核分解方法和核大小下的速度-精度权衡。在这个比较中，使用了不同的标记来代表不同的核大小，并且以VAN-Tiny作为对比的模型。从图中可以看出，LKA的朴素设计（LKA-trivial）以及在VAN中的实际设计，在核大小增加时会导致更高的GFLOPs（十亿浮点运算次数）。相比之下，论文提出的LSKA（Large Separable Kernel Attention）-trivial和VAN中的LSKA在核大小增加时显著降低了GFLOPs，同时没有降低性能 

上图展示了大核注意力模块不同设计的比较，具体包括：

  1. LKA-trivial：朴素的2D大核深度卷积（DW-Conv）与1×1卷积结合（图a）。
  2. LSKA-trivial：串联的水平和垂直1D大核深度卷积与1×1卷积结合（图b）。
  3. 原始LKA设计：在VAN中包括标准深度卷积（DW-Conv）、扩张深度卷积（DW-D-Conv）和1×1卷积（图c）。
  4. 提出的LSKA设计：将LKA的前两层分解为四层，每层由两个1D卷积层组成（图d）。其中，N代表Hadamard乘积，k代表最大感受野，d代表扩张率​​。

个人总结：提出了一种创新的大型可分离核注意力（LSKA）模块，用于改进卷积神经网络（CNN）。这种模块通过将2D卷积核分解为串联的1D核，有效降低了计算复杂度和内存需求。LSKA模块在保持与标准大核注意力（LKA）模块相当的性能的同时，显示出更高的计算效率和更小的内存占用。

三、LSKAttention的代码

将下面的代码在"ultralytics/nn/modules" 目录下创建一个py文件复制粘贴进去然后按照章节四进行添加即可(需要按照有参数的注意力机制添加)。

import torch
import torch.nn as nn


class LSKA(nn.Module):
    def __init__(self, dim, k_size):
        super().__init__()

        self.k_size = k_size

        if k_size == 7:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 3), stride=(1,1), padding=(0,(3-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(3, 1), stride=(1,1), padding=((3-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 3), stride=(1,1), padding=(0,2), groups=dim, dilation=2)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(3, 1), stride=(1,1), padding=(2,0), groups=dim, dilation=2)
        elif k_size == 11:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 3), stride=(1,1), padding=(0,(3-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(3, 1), stride=(1,1), padding=((3-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,4), groups=dim, dilation=2)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=(4,0), groups=dim, dilation=2)
        elif k_size == 23:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 7), stride=(1,1), padding=(0,9), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(7, 1), stride=(1,1), padding=(9,0), groups=dim, dilation=3)
        elif k_size == 35:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 11), stride=(1,1), padding=(0,15), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(11, 1), stride=(1,1), padding=(15,0), groups=dim, dilation=3)
        elif k_size == 41:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 13), stride=(1,1), padding=(0,18), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(13, 1), stride=(1,1), padding=(18,0), groups=dim, dilation=3)
        elif k_size == 53:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 17), stride=(1,1), padding=(0,24), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(17, 1), stride=(1,1), padding=(24,0), groups=dim, dilation=3)

        self.conv1 = nn.Conv2d(dim, dim, 1)


    def forward(self, x):
        u = x.clone()
        attn = self.conv0h(x)
        attn = self.conv0v(attn)
        attn = self.conv_spatial_h(attn)
        attn = self.conv_spatial_v(attn)
        attn = self.conv1(attn)
        return u * attn

四、手把手教你将LSKAttention添加到你的网络结构中

4.1 LSKAttention的添加教程

添加教程这里不再重复介绍、因为专栏内容有许多，添加过程又需要截特别图片会导致文章大家读者也不通顺如果你已经会添加注意力机制了，可以跳过本章节，如果你还不会，大家可以看我下面的文章，里面详细的介绍了拿到一个任意机制(C2f、Conv、Bottleneck、Loss、DetectHead)如何添加到你的网络结构中去。

添加教程->YOLOv8改进 | 如何在网络结构中添加注意力机制、C2f、卷积、Neck、检测头

需要注意的是本文的task.py配置的代码如下(你现在不知道其是干什么用的可以看添加教程)-> 

        elif m in {LSKA}:
            args = [ch[f], *args]

4.2 LSKAttention的yaml文件和训练截图

4.2.1 LSKAttention的yaml文件

参数位置可以填写的有7、11、23、35、41、53(代表卷积核的大小)，具体哪个效果好可能要大家自己进行一定的尝试才可以，需要注意的是这里卷积核越大计算量就会变得越大。

​

4.2.2 LSKAttention的训练过程截图 

下面是我添加了LSKAttention的训练截图。

​

五、LSKAttention可添加的位置

5.1 推荐LSKAttention可添加的位置 

LSKAttention可以是一种即插即用的注意力机制，其可以添加的位置有很多，添加的位置不同效果也不同，所以我下面推荐几个添加的位，置大家可以进行参考，当然不一定要按照我推荐的地方添加。

  1. 残差连接中：在残差网络的残差连接中加入注意力机制(这个位置我推荐的原因是因为DCN放在残差里面效果挺好的大家可以尝试)

  2. 特征金字塔（SPPF）：在特征金字塔网络之前，可以帮助模型更好地融合不同尺度的特征。

  3. Neck部分：YOLOv8的Neck部分负责特征融合，这里添加注意力机制可以帮助模型更有效地融合不同层次的特征。

  4. 输出层前：在最终的输出层前加入注意力机制可以使模型在做出最终预测之前，更加集中注意力于最关键的特征。

大家可能看我描述不太懂，大家可以看下面的网络结构图中我进行了标注。

5.2图示LSKAttention可添加的位置 

​

六、本文总结 

到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，本专栏目前为新开的平均质量分98分，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，目前本专栏免费阅读(暂时，大家尽早关注不迷路~)，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~

 专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1249491.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

日本运营商启动先进边缘云技术研发

日本运营商启动先进边缘云技术研发

摘要：日本运营商乐天移动最近启动了为 5G 之后的下一个通信标准开发边缘平台功能的研发工作。 乐天移动（Rakuten Mobile）表示，其面向下一代通信的先进边缘云技术研发（R&D）项目已被日本国家信息通信技术…
阅读更多...
构建未来：云计算 生成式 AI 诞生科技新局面

构建未来：云计算 生成式 AI 诞生科技新局面

目录 引言生成式 AI：开发者新伙伴云计算与生成式 AI 的无缝融合亚马逊云与生成式 AI 结合的展望/总结我用亚马逊云科技生成式 AI 产品打造了什么，解决了什么问题未来科技发展趋势：开发者的机遇与挑战结合实践看未来结语开源项目 引言 2023年…
阅读更多...
CSS特效018：科技动画，hover后点亮阁楼，拉伸出楼梯

CSS特效018：科技动画，hover后点亮阁楼，拉伸出楼梯

CSS常用示例100专栏目录 本专栏记录的是经常使用的CSS示例与技巧，主要包含CSS布局，CSS特效，CSS花边信息三部分内容。其中CSS布局主要是列出一些常用的CSS布局信息点，CSS特效主要是一些动画示例，CSS花边是描述了一些CSS…
阅读更多...
重新开启GPT Plus充值通道——基于前端开发者工具

重新开启GPT Plus充值通道——基于前端开发者工具

chatGPT PLUS充值通道的关闭 由于chatGPT用户激增，近日，OpenAI的CEO Sam Altman宣布需要暂停新用户对ChatGPT Plus的订阅。在X上，他表达了对于确保用户体验的承诺，同时也提到了用户可以通过应用程序内的通知功能来了解服务恢复的…
阅读更多...
P7 C++指针

P7 C++指针

前言 指针是一个令很多人都很痛苦的内容，然而指针其实没有大家想象中的那么复杂。 对计算机来说内存就是一切，如果非要我说出编程中最重要的一件事，我可能会说是内存。 当你编写了一段程序并启动它时，所有的程序都被载入到内存…
阅读更多...
Presto+Alluxio数据平台实战

Presto+Alluxio数据平台实战

数新网络，让每个人享受数据的价值https://xie.infoq.cn/link?targethttps%3A%2F%2Fwww.datacyber.com%2F 一、Presto & Alluxio简介 Presto Presto是由Facebook开发的开源大数据分布式高性能 SQL查询引擎。 起初，Facebook使用Hive来进行交互式查询…
阅读更多...
nginx基础篇学习

nginx基础篇学习

一、nginx编译安装 1、前往nginx官网获取安装包 下载安装包 2、解压 3、安装 进入安装包 安装准备：nginx的rewrite module重写模块依赖于pcre、pcre-devel、zlib和zlib-devel库，要先安装这些库 安装： 编译： 启动&#xff…
阅读更多...
idea自动切换输入法Smart Input

idea自动切换输入法Smart Input

idea搜索后下载 红色表示中文输入法 再ideavim场景下会自动切换成英文非常好用强烈推荐下载一个
阅读更多...
堆的实现（堆的插入、堆的删除等）超级全

堆的实现（堆的插入、堆的删除等）超级全

堆的实现（堆的插入、堆的删除等）超级全 文章目录 堆的实现（堆的插入、堆的删除等）超级全一、前期基础知识1.树结构①树的定义②树的相关概念③二叉树④满二叉树和完全二叉树a.满二叉树b.完全二叉树 ⑤二叉树的性质⑥二叉树顺序结构…
阅读更多...
「Java开发中文指南」IntelliJ IDEA插件安装（一）

「Java开发中文指南」IntelliJ IDEA插件安装（一）

IntelliJ IDEA是java编程语言开发的集成环境。IntelliJ在业界被公认为最好的Java开发工具，尤其在智能代码助手、代码自动提示、重构、JavaEE支持、各类版本工具(git、svn等)、JUnit、CVS整合、代码分析、 创新的GUI设计等方面的功能是非常强大的。 插件扩展了Intel…
阅读更多...
只考数据结构，计算机评级C+，成都信息工程大学考情分析

只考数据结构，计算机评级C+，成都信息工程大学考情分析

成都信息工程大学(C) 考研难度（☆☆） 内容：23考情概况（拟录取和复试分析）、院校概况、24专业目录、23复试详情、各专业考情分析、各科目考情分析。 正文1715字，预计阅读：3分钟 2023考情概况 …
阅读更多...
【从浅识到熟知Linux】基本指定之cat、more和less

【从浅识到熟知Linux】基本指定之cat、more和less

🎈归属专栏：从浅学到熟知Linux 🚗个人主页：Jammingpro 🐟每日一句：写完这篇我要去吃晚饭啦！！ 文章前言：本文介绍cat、more和less指令三种查看文件的用法并给出示例和截图…
阅读更多...
格式化输入输出

格式化输入输出

跟着肯哥（不是我）学格式化输入输出 C语言格式化输入 在C语言中，格式化输入（Formatted Input）是一种从标准输入读取数据并按照指定格式进行解析的操作，它主要通过使用标准库函数scanf()来实现格式化输入。 …
阅读更多...
Go语言的学习笔记2——Go语言源文件的结构布局

Go语言的学习笔记2——Go语言源文件的结构布局

用一个只有main函数的go文件来简单说一下Go语言的源文件结构布局，主要分为包名、引入的包和具体函数。下边是main.go示例代码： package mainimport "fmt"func main() { fmt.Println("hello, world") }package main就是表明这个文件…
阅读更多...
计算机毕业设计 基于SpringBoot的无人智慧超市管理系统的设计与实现 Java实战项目 附源码+文档+视频讲解+答疑

计算机毕业设计 基于SpringBoot的无人智慧超市管理系统的设计与实现 Java实战项目 附源码+文档+视频讲解+答疑

博主介绍：✌从事软件开发10年之余，专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ 🍅文末获取源码联系🍅 👇🏻 精…
阅读更多...
14.docker部署应用的两种企业实践

14.docker部署应用的两种企业实践

1.介绍 1.1 说明 这里仅仅说明一下在企业应用的两种简单实践，并不包含自动化这套东西。这里说的两种实践，是我在工作中不同公司使用的两种部署方式，仅供大家参考。 1.2 两种部署方式 第一种：是把环境和app都一起打成一个镜像&…
阅读更多...
Javaweb之前端工程化的详细解析

Javaweb之前端工程化的详细解析

3 前端工程化 3.1 前端工程化介绍 我们目前的前端开发中，当我们需要使用一些资源时，例如：vue.js，和axios.js文件，都是直接再工程中导入的，如下图所示： 但是上述开发模式存在如下问题&#xff…
阅读更多...
力扣每日一道系列 --- LeetCode 206. 反转链表

力扣每日一道系列 --- LeetCode 206. 反转链表

📷 江池俊： 个人主页 🔥个人专栏： ✅数据结构探索 ✅LeetCode每日一道 🌅 有航道的人，再渺小也不会迷途。 LeetCode 206. 反转链表 思路一：头插 初始化两个指针，cur 和 newhead。…
阅读更多...
数据结构与算法介绍

数据结构与算法介绍

什么是数据结构 定义： 数据结构就是研究数据的存储方式；数据存储的目的是方便后期对数据的再利用；选择合适的方式来存储数据，是数据结构的核心内容。 数据存储结构的选择：取决于两方面，即数据的逻辑结构和…
阅读更多...
metersphere 设置定时任务和查看报告

metersphere 设置定时任务和查看报告

设置定时任务 设置时间 查看执行后的测试报告 查看报告详情
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023