[卷积神经网络]YoloV8

news2024/11/24 3:09:38

一、YoloV8

1.网络详解

        ①backbone部分:第一次卷积的卷积核缩小(由3变为6);CSP模块的预处理卷积从3次变为2次;借鉴了YoloV7的多分支堆叠结构(Multi_Concat_Block)。

                所小第一次卷积的卷积核尺寸会损失部分感受野,但是可以加速整个网络的运算速度。同时CSP模块借鉴了多分支堆叠结构,首先使用卷积将通道数扩充为原来的一倍,然后在此基础上进行对半分割(减少一次卷积次数,加速网络)

        ②FPN部分:不再对骨干网络的特征层进行卷积(可以有效加快计算速度),另外CSP模块预处理次数变为2次。

                FPN获取的特征向量分别来自骨干网络的中层(feat1=80x80x256),中下层(feat2=40x40x512),底层(feat3=20x20x1024*deep_mul,其中,deep_mul为深层缩放系数,用一以平衡计算量)。

        上采样部分:

                feat3经过上采样后与feat2融合后再由CSP模块进行减半得到特征向量P4(40x40x512)

                P4经过上采样后与feat1融合后再由CSP模块进行减半得到特征向量P3(80x80x256)

        下采样部分:

                P3经过一次下采样(3x3卷积)与P4 concat,再使用CSP模块进行特征提取,得到新P4(40x40x512)

                新P4同样适用3x3卷积处理后与P5concat,在使用CSP处理,得到新P5(20x20x1024xdeep_mul)

        最后FPN模块输出P3新P4新P5,可以很好的结合多尺度特征。

        ③预测头部分:加入DFL模块;同时借鉴了YoloX的anchor free结构,对一些长宽不规则的目标具有优势。

                DFL模块的加入使得Yolo Head不会直接获得回归值,而是通过概率的方式的方式获得回归值,若DFL的长度设为8,那么计算方法如下:

预测结果的softmax值0.00.10.00.00.40.50.00.0点乘
固定值012345670.1*1+0.4*4+0.5*5=4.2

2.Yolo Head的编码

        经过模型处理后,会得到3个输出结果,设类别数为num_classes,结果如下:

                P3   :回归输出(20x20x4),种类输出(20x20x num_classes)

                新P4:回归输出(40x40x4),种类输出(40x40x num_classes)

                新P5:回归输出(80x80x4),种类输出(80x80x num_classes)

        其中,回归输出的前两个元素代表预测框左上角的位置,后两个元素代表预测框右下角的位置,种类输出的参数为每个类的概率。

        将上述结果fatten后得到总回归输出(8400x4),种类输出(8400x num_classes),经过得分排序非极大抑制筛选后,满足置信度(confidence)的预测框将被输出。其中,非极大抑制的作用是筛选出一定区域内同一种类得分最大的框。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1611702.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

1.7jdk安装rpm的安装ssh加固

jk安装 [rootlocalhost ~]# java -version openjdk version "1.8.0_161"[rootlocalhost ~]# rpm -qa | grep java tzdata-java-2018c-1.el7.noarch python-javapackages-3.4.1-11.el7.noarch java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64 java-1.8.0-openjdk-1…

会议文字记录工具【钉钉闪记】

当开会时,需要文字记录会议内容,但是打字又慢,可以使用钉钉闪记。 钉钉工作台直接搜索-钉钉闪记

【Pytorch】PytorchCPU版或GPU报错异常处理(10X~4090D)

Pytorch为CPU版或GPU使用报错异常处理 文章目录 Pytorch为CPU版或GPU使用报错异常处理0.检查阶段1. 在conda虚拟环境中安装了torch2.卸载cpuonly3.从tsinghua清华源安装不完善误为cpu版本4.用tsinghua清华源安装成cpu错误版本5.conda中torch/vision/cudatoolkit版本与本机cuda版…

openai whisper 语音转文字尝鲜

最近大模型很火,也试试搭一下,这个是openai 开源的whisper,用来语音转文字。 安装 按照此文档安装,个人习惯先使用第一个pip命令安装,然后再用第二个安装剩下的依赖(主要是tiktoken) https:/…

paho-mqtt 库揭秘

文章目录 **paho-mqtt 库揭秘**第一部分:背景介绍第二部分:paho-mqtt 是什么?第三部分:如何安装这个库?第四部分:库函数使用方法第五部分:场景应用第六部分:常见Bug及解决方案第七部…

【海思Hi3516CV610】是面向新一代视频编解码标准、网络安全和隐私保护、人工智能行业应用方面的IPC SoC

海思Hi3516CV610是面向新一代视频编解码标准、网络安全和隐私保护、人工智能行业应用方面的IPC SoC,除了开发普通摄像机,还可以打造极具竞争力的枪球一体机、双目长短焦摄像机产品; 处理器内核: 支持ARM Cortex-A7 MP2 时钟速率950MHz 支持…

[Linux][进程信号][二][信号如何被保存][信号处理][可重入函数]详细解读

目录 1.信号如何被保存?1.信号其他相关常见概念2.信号在内核中的表示3.sigset_t -- 本质是个位图4.信号集操作函数sigset_t:sigprocmask()sigpending() 5.思考6.使用 2.信号处理0.内核态和用户态1.内核空间和用户空间2.信号何时被处理?3.信号…

Python | Leetcode Python题解之第42题接雨水

题目: 题解: class Solution:def trap(self, height: List[int]) -> int:if not height:return 0n len(height)leftMax [height[0]] [0] * (n - 1)for i in range(1, n):leftMax[i] max(leftMax[i - 1], height[i])rightMax [0] * (n - 1) [he…

5.Vue项目目录结构

Vue项目目录结构 我们通过Vue命令行工具 npm init vuelatest 创建项目,会出现很多文件及文件夹 .vscode --- VSCode工具的配置文件夹 node_modules --- Vue项目的运行依赖文件夹 public --- 资源文件夹(浏览器图标) src ---…

关于某次授权的大型内网渗透测试(1)

前期渗透: 打点:(任意文件上传) 直接发现头像处任意文件上传,这里直接上传冰蝎即可。 tasklist查看杀软 System Idle Process 0 N/A System …

5.11 mybatis之returnInstanceForEmptyRow作用

文章目录 1. 当returnInstanceForEmptyRowtrue时2 当returnInstanceForEmptyRowfalse时 mybatis的settings配置中有个属性returnInstanceForEmptyRow,该属性新增于mybatis的3.4.2版本,低于此版本不可用。该属性的作用官方解释为:当返回行的所…

npm的配置文件及其路径问题

如何快捷修改.npmrc配置文件? .npmrc文件,就是npm的配置文件所在位置。 当然,寻找这个文件的目的,多数是为了修改.npmrc文件内容。 但npm提供了方便快捷的修改方式,不知道这个文件的位置,其实也是可以修改…

数据赋能(63)——要求:IT部门职责

“要求:IT部门职责”是作为标准的参考内容编写的。 在数据赋能中,IT部门职责在于以提供原始数据核心,确保提供原始数据是真实、及时和完整性,以支持业务赋能的实现。 在数据赋能中,IT部门职责涉及多个方面&#xff0c…

LeetCode刷题总结 | 图论2—深度优先搜索广度优先搜索较为复杂应用

深搜广搜的标准模版在图论1已经整理过了,也整理了几个标准的套模板的题目,这一小节整理一下较为复杂的DFS&BFS应用类问题。 417 太平洋大西洋水流问题(medium) 有一个 m n 的矩形岛屿,与 太平洋 和 大西洋 相邻…

Kafka入门介绍+集群部署+简单使用

Kafka入门介绍集群部署简单使用 简介核心概念Broker(服务节点/实例)Producer(生产者)Topic(主题)Partition(分区)Consumer(消费者)和Consumer Group&#xff…

Java 笔记 03:Java 基础知识,使用 IDEA 创建 Java 项目、设置注释颜色,以及自动生成 JavaDoc

一、前言 记录时间 [2024-04-21] 系列文章简摘: Java 笔记 01:Java 概述,MarkDown 常用语法整理 Java 笔记 02:Java 开发环境的搭建,IDEA / Notepad / JDK 安装及环境配置,编写第一个 Java 程序 本文讲述了…

中国人的谦逊与生俱来

中国人的谦逊是与生俱来的,我们从老子的《道德经》就能探知一二: 一、不自夸、不自傲 《道德经》原文:自见者不明;自是者不彰;自伐者无功;自矜者不长。(第二十四章) 译文&#xff…

【深度学习】写实转漫画——CycleGAN原理解析

1、前言 上一篇,我们讲解了按照指定文本标签生成对应图像的CGAN。本篇文章,我们讲CycleGAN。这个模型可以对图像风格进行转化,并且训练还是在非配对的训练集上面进行的,实用性挺大 原论文:Unpaired Image-to-Image T…

Matlab|含sop的配电网重构(含风光|可多时段拓展)

目录 1 主要内容 2 部分程序 3 下载链接 1 主要内容 之前分享了很多配电网重构的程序,每个程序针对场景限定性比较大,程序初学者修改起来难度较大,本次分享一个基础程序,针对含sop的配电网重构模型,含风电和光伏&am…

FPGA - 基于自定义AXI FULL总线的PS和PL交互

前言 在FPGA - ZYNQ 基于Axi_Lite的PS和PL交互中,介绍了基于基于AXi_Lite的PL和PS交互,接下来构建基于基于Axi_Lite的PS和PL交互。 AXI_GP、AXI_HP和AXI_ACP接口 首先看一下ZYNQ SoC的系统框图,如下图所示。在图中,箭头方向代表…