计算机视觉——DiffYOLO 改进YOLO与扩散模型的抗噪声目标检测

news2024/11/27 15:33:36

概述

物体检测技术在图像处理和计算机视觉中发挥着重要作用。其中,YOLO 系列等型号因其高性能和高效率而备受关注。然而,在现实生活中,并非所有数据都是高质量的。在低质量数据集中,更难准确检测物体。为了解决这个问题,人们正在探索新的方法。例如,本文提出了一个名为 DiffYOLO 的框架。这可以提高低质量数据集上物体检测的准确性。

介绍

近年来,YOLO 被广泛应用于自动驾驶和医学图像处理等多个领域的物体检测任务中。例如,Alice Freudevaux 等人从卫星图像中检测车辆,Sudipto Paul 等人在核磁共振图像上识别脑肿瘤,Ethan Gruby 等人自动检测面部地标。然而,包括 YOLO 在内的物体检测模型仍然难以准确检测嘈杂图像中的物体。在高质量数据上训练出来的模型在噪声测试集上可能表现不佳。因此,本文提出了一个名为 DiffYOLO 的框架,旨在改进在高质量数据上训练的现有模型,提高它们在噪声测试集上的性能。该框架从预先训练好的扩散模型中提取特征,并将其纳入现有的目标检测模型,以提高它们对噪声的免疫力。实验结果表明,所提出的方法提高了在噪声图像中的性能。该方法有望以更少的资源实现更高的准确率,而无需自行训练模型。

相关研究

物体检测

物体检测是计算机视觉的基本任务之一,目前已经有许多方法可供参考。例如,有两步法(如 R-CNN 和快速 RCNN),也有一步法(如 YOLO);自 YOLOv1 以来,YOLO 更好、更快的模型不断涌现,如 YOLOx 和 PP-YOLOE。本文使用 YOLOv5 来提高噪声环境下的性能。

扩散模型

扩散模型旨在清除数据中的随机噪音。与以往的模型不同,扩散模型采用逐步实现目标的方法,每一步都使用深度学习来去除噪声。研究表明,扩散模型可以使其他模型更能抵御噪声。

抗噪

预先训练的模型很容易获得,但实际的目标检测需要清晰的图像。例如,在发送工业现场的图像时,传输过程中的问题、雾和阴暗天气都会造成噪音。因此,NoisyNet 和 IA-YOLO 模型等方法可以处理噪声。

建议方法

普通 YOLO 模型(YOLOv5)发现,图像噪声会影响物体检测。例如,很难检测到雨雾中的物体。因此,我们提出了一种新思路,以便在噪声环境中准确检测物体。

第一步是解释如何去除噪点。添加噪点前有一个准备过程,去除噪点后有一个后处理过程。这是一种清洁图像的方法,包括添加噪点的过程和去除噪点的过程。

接下来,利用(Dhariwal 和 Nichol,2021 年)提出的想法,提取图像特征。这包括找到图像的重要部分。这样就能生成具有特殊抗噪能力的图像。

最后,具有这种特殊能力的图像被用来训练普通的 YOLO 模型。这样,即使在嘈杂的图像中,普通模型也能准确检测到物体。使用这种方法,模型无需再次训练。这不仅节省了时间,还能在更多情况下使用。

试验

尝试并测试查找 PCB(印刷电路板)缺陷的方法,并将其与常规方法进行比较。

数据集

数据集 DeepPCB 包含 1500 张实际照片。其中包含印刷电路板中的常见故障(如断线、金属触点)。在本实验中,高质量照片被用来训练模型,并用不同类型的噪声进行测试。

实验结果

在实践中,为了有效地训练模型,某些特征被禁用。本文采用的方法不是生成特征,而是预先存储这些特征,并根据需要将其加载到模型中。

下表列出了检测结果。(a) Yolov5 模型的检测结果 (b) DiffYolo 模型的检测结果。

表 1:高质量数据集的检测结果

下表比较了两种模型在高质量数据集上的性能。

表 2:加西亚噪声下的检测结果

高斯噪声是随机添加到图像中的噪声,即从均值为 0 的高斯分布中随机添加到像素值中。这会导致整个图像出现轻微的模糊和细微的颜色变化。

表 3:使用椒盐噪声的检测结果

椒盐噪点是由图像中随机像素突然添加白色或黑色值造成的。这会导致亮点或暗点散布在图像中,从而降低图像的整体质量。

表 4:正噪声下的检测结果

在光线不足的条件下拍摄的图像中经常会出现 “占有噪声”。这种噪点是由遵循泊松分布的光强随机变化造成的。图像亮度的随机变化会降低图像质量。

每个表格都显示了模型在不同类型噪声和高质量数据集中的表现,通过比较结果,我们可以了解每个模型在不同情况下的表现。我们发现,当添加噪声时,模型的性能会下降,但 DiffYOLO 的性能优于基线。换句话说,某些方法可以使模型更能抵抗噪声。这种方法不仅能发现故障,还能提高模型本身的性能。

结论

本文提出了一种新方法来提高物体检测的准确性。实验结果表明,利用从这一特定模型中学到的信息,可以获得比通常更好的性能。这样就可以利用在高质量图像上训练的模型,在噪声环境中准确检测出物体。不过,人们也注意到,当使用模型的计算资源不足或数据容易变化时,这种方法就会受到限制。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1590553.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python实现PDF页面的删除与添加

在处理PDF文档的过程中,我们时常会需要对PDF文档中的页面进行编辑操作的情况,如插入和删除页面。通过添加和删除PDF页面,我们可以增加内容或对不需要的内容进行删除,使文档内容更符合需求。而通过Python实现PDF文档中的插入和删除…

SSL数字证书

SSL数字证书产品提供商主要来自于国外,尤其是美国,原理和使用操作系统一样,区别在于SSL数字证书目前无法替代性,要想达到兼容性99%的机构目前全球才3-4家,目前国内的主流网站主要使用的是国际证书,除了考虑…

深度学习在三维点云处理与三维重建中的应用探索

目录 点云数据处理 数据清洗 数据降噪和简化 数据配准 特征提取 数据增强 数据组织 性能考量 PointNet PointNet 算法问题 改进方法 三维重建 重建算法 架构模块 流程步骤 标记说明 优点和挑战 点云数据处理 数据清洗 去噪:点云数据通常包含噪声…

使用clickhouse-backup备份和恢复数据

作者:俊达 介绍 clickhouse-backup是altinity提供的一个clickhouse数据库备份和恢复的工具,开源项目地址:https://github.com/Altinity/clickhouse-backup 功能上能满足日常数据库备份恢复的需求: 支持单表/全库备份支持备份上…

AI电影创作,AI影视创作全套完整课程

课程下载:https://download.csdn.net/download/m0_66047725/89064240 更多资源下载:关注我。 课程内容: 【试听课】AI发展的现状及对影视行业未来的影响.mp4 0【AI影视创作】流程与基本逻辑_1.mp4 1【AI基础课程】ChatGPT 注册安装流程.…

使用DSP28335在CCS中生成正弦波

DSP芯片支持数学库,那如何通过DSP芯片生成一个正弦波呢?通过几天研究,现在将我的方法分享一下,如有错误,希望大家及时指出,共同进步。 sin函数的调用 首先看下一sin函数 的使用。 //头文件的定义 #includ…

VSCode中 task.json 和 launch.json 的作用和参数解释以及配置教程

前言 由于 VS Code 并不是一个传统意义上的 IDE,所以初学者可能在使用过程中会有很多的疑惑,其中比较常见的一个问题就是 tasks.json和 launch.json两个文件分别有什么作用以及如何配置 tasks.json VSCode 官网提供的 tasks.json 配置教程 使用不同的…

Linux 系统解压缩文件

Linux系统,可以使用unzip命令来解压zip文件 方法如下 1. 打开终端,在命令行中输入以下命令来安装unzip: sudo apt-get install unzip 1 2. 假设你想要将zip文件解压缩到名为"target_dir"的目录中,在终端中切换到目标路…

【线段树】【区间更新】2916. 子数组不同元素数目的平方和 II

算法可以发掘本质,如: 一,若干师傅和徒弟互有好感,有好感的师徒可以结对学习。师傅和徒弟都只能参加一个对子。如何让对子最多。 二,有无限多1X2和2X1的骨牌,某个棋盘若干格子坏了,如何在没有坏…

基于ssm微信小程序的医院挂号预约系统

采用技术 基于ssm微信小程序的医院挂号预约系统的设计与实现~ 开发语言:Java 数据库:MySQL 技术:SpringMVCMyBatis 工具:IDEA/Ecilpse、Navicat、Maven 页面展示效果 用户管理 医院管理 医生管理 公告资讯管理 科室信息管…

目前深圳嵌入式单片机就业环境如何?

深圳作为中国的科技创新中心之一,嵌入式行业的就业环境相对较好。我这里有一套嵌入式入门教程,不仅包含了详细的视频讲解,项目实战。如果你渴望学习嵌入式,不妨点个关注,给个评论222,私信22,我在…

DDoS攻击类型与应对措施详解

攻击与防御简介 SYN Flood攻击 原理: SYN Flood攻击利用的是TCP协议的三次握手机制。在正常的TCP连接建立过程中,客户端发送一个SYN(同步序列编号)报文给服务器,服务器回应一个SYN-ACK(同步和确认&#xf…

创新科技:FlexLua助力LoRa无线一氧化碳传感器轻松开发

随着智能科技的不断进步,无线传感器技术在环境监测领域的应用越来越广泛。其中,LoRa无线一氧化碳传感器以其高效的通信原理和精准的传感器原理,在各种应用场景中大显身手。而借助FlexLua低代码技术,开发这类传感器变得更加轻松快捷…

蓝桥杯python速成

总写C,脑子一热,报了个Python(有一点想锤死自己),临时抱佛脚了 1.list的插入删除 append extend insert(在索引位插入99)---忘记用法别慌,用help查询 remove(去掉第一个3…

NGO-VMD+皮尔逊系数+小波阈值降噪+重构

NGO-VMD皮尔逊系数小波阈值降噪重构 NGO-VMD皮尔逊系数小波阈值降噪重构代码获取戳此处代码获取戳此处 以西储大学轴承数据为例,进行VMD,且采用NGO进行K a参数寻优 并对分解分量计算皮尔逊相关系数筛选含噪声分量,对其进行小波软硬阈值降噪&a…

查找问价夹或文件linux命令

查找目录:find /(查找范围) -name 查找关键字 -type d 查找文件:find /(查找范围) -name 查找关键字 -print find / -name arthas -type d

(N-148)基于微信小程序网上书城系统

开发工具:IDEA、微信小程序 服务器:Tomcat9.0, jdk1.8 项目构建:maven 数据库:mysql5.7 前端技术:vue、uniapp 服务端技术:springbootmybatisredis 本系统分微信小程序和管理后台两部分&a…

2024年mathorcup(妈妈杯)数学建模C题思路-物流网络分拣中心货量预测及人员排班

# 1 赛题 C 题 物流网络分拣中心货量预测及人员排班 电商物流网络在订单履约中由多个环节组成,图 ’ 是一个简化的物流 网络示意图。其中,分拣中心作为网络的中间环节,需要将包裹按照不同 流向进行分拣并发往下一个场地,最终使包裹…

2024妈妈杯数学建模A 题思路分析-移动通信网络中 PCI 规划问题

# 1 赛题 A 题 移动通信网络中 PCI 规划问题 物理小区识别码(PCI)规划是移动通信网络中下行链路层上,对各覆盖 小区编号进行合理配置,以避免 PCI 冲突、 PCI 混淆以及 PCI 模 3 干扰等 现象。 PCI 规划对于减少物理层的小区间互相干扰(ICI),增…

中科数安 | 图纸加密、文件加密、设计院加密软件、防泄密软件、数据防泄漏系统….

#图纸加密# 中科数安是一家专注于数据安全领域的公司,提供的产品与服务设计图纸加密、文件加密、设计院专用加密软件以及防泄密软件、数据防泄漏系统等解决方案。 PC地址:www.weaem.com 以下是对中科数安相关产品和服务特点的概括: 图纸加密…