YOLO-UniOW: 高效通用开放世界目标检测模型【附论文与源码】

news2025/4/20 11:55:31

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】8.【基于深度学习的行人跌倒检测系统】
9.【基于深度学习的PCB板缺陷检测系统】10.【基于深度学习的生活垃圾分类目标检测系统】
11.【基于深度学习的安全帽目标检测系统】12.【基于深度学习的120种犬类检测与识别系统】
13.【基于深度学习的路面坑洞检测系统】14.【基于深度学习的火焰烟雾检测系统】
15.【基于深度学习的钢材表面缺陷检测系统】16.【基于深度学习的舰船目标分类检测系统】
17.【基于深度学习的西红柿成熟度检测系统】18.【基于深度学习的血细胞检测与计数系统】
19.【基于深度学习的吸烟/抽烟行为检测系统】20.【基于深度学习的水稻害虫检测与识别系统】
21.【基于深度学习的高精度车辆行人检测与计数系统】22.【基于深度学习的路面标志线检测与识别系统】
23.【基于深度学习的智能小麦害虫检测识别系统】24.【基于深度学习的智能玉米害虫检测识别系统】
25.【基于深度学习的200种鸟类智能检测与识别系统】26.【基于深度学习的45种交通标志智能检测与识别系统】
27.【基于深度学习的人脸面部表情识别系统】28.【基于深度学习的苹果叶片病害智能诊断系统】
29.【基于深度学习的智能肺炎诊断系统】30.【基于深度学习的葡萄簇目标检测系统】
31.【基于深度学习的100种中草药智能识别系统】32.【基于深度学习的102种花卉智能识别系统】
33.【基于深度学习的100种蝴蝶智能识别系统】34.【基于深度学习的水稻叶片病害智能诊断系统】
35.【基于与ByteTrack的车辆行人多目标检测与追踪系统】36.【基于深度学习的智能草莓病害检测与分割系统】
37.【基于深度学习的复杂场景下船舶目标检测系统】38.【基于深度学习的农作物幼苗与杂草检测系统】
39.【基于深度学习的智能道路裂缝检测与分析系统】40.【基于深度学习的葡萄病害智能诊断与防治系统】
41.【基于深度学习的遥感地理空间物体检测系统】42.【基于深度学习的无人机视角地面物体检测系统】
43.【基于深度学习的木薯病害智能诊断与防治系统】44.【基于深度学习的野外火焰烟雾检测系统】
45.【基于深度学习的脑肿瘤智能检测系统】46.【基于深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于深度学习的橙子病害智能诊断与防治系统】48.【基于深度学习的车辆检测追踪与流量计数系统】
49.【基于深度学习的行人检测追踪与双向流量计数系统】50.【基于深度学习的反光衣检测与预警系统】
51.【基于深度学习的危险区域人员闯入检测与报警系统】52.【基于深度学习的高密度人脸智能检测与统计系统】
53.【基于深度学习的CT扫描图像肾结石智能检测系统】54.【基于深度学习的水果智能检测系统】
55.【基于深度学习的水果质量好坏智能检测系统】56.【基于深度学习的蔬菜目标检测与识别系统】
57.【基于深度学习的非机动车驾驶员头盔检测系统】58.【太基于深度学习的阳能电池板检测与分析系统】
59.【基于深度学习的工业螺栓螺母检测】60.【基于深度学习的金属焊缝缺陷检测系统】
61.【基于深度学习的链条缺陷检测与识别系统】62.【基于深度学习的交通信号灯检测识别】
63.【基于深度学习的草莓成熟度检测与识别系统】64.【基于深度学习的水下海生物检测识别系统】
65.【基于深度学习的道路交通事故检测识别系统】66.【基于深度学习的安检X光危险品检测与识别系统】
67.【基于深度学习的农作物类别检测与识别系统】68.【基于深度学习的危险驾驶行为检测识别系统】
69.【基于深度学习的维修工具检测识别系统】70.【基于深度学习的维修工具检测识别系统】
71.【基于深度学习的建筑墙面损伤检测系统】72.【基于深度学习的煤矿传送带异物检测系统】
73.【基于深度学习的老鼠智能检测系统】74.【基于深度学习的水面垃圾智能检测识别系统】
75.【基于深度学习的遥感视角船只智能检测系统】76.【基于深度学习的胃肠道息肉智能检测分割与诊断系统】
77.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】78.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】
79.【基于深度学习的果园苹果检测与计数系统】80.【基于深度学习的半导体芯片缺陷检测系统】
81.【基于深度学习的糖尿病视网膜病变检测与诊断系统】82.【基于深度学习的运动鞋品牌检测与识别系统】
83.【基于深度学习的苹果叶片病害检测识别系统】84.【基于深度学习的医学X光骨折检测与语音提示系统】
85.【基于深度学习的遥感视角农田检测与分割系统】86.【基于深度学习的运动品牌LOGO检测与识别系统】
87.【基于深度学习的电瓶车进电梯检测与语音提示系统】88.【基于深度学习的遥感视角地面房屋建筑检测分割与分析系统】
89.【基于深度学习的医学CT图像肺结节智能检测与语音提示系统】90.【基于深度学习的舌苔舌象检测识别与诊断系统】
91.【基于深度学习的蛀牙智能检测与语音提示系统】92.【基于深度学习的皮肤癌智能检测与语音提示系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

目录

  • 摘要
  • 方法
  • 创新点
  • 实验结果
  • 总结

在这里插入图片描述

论文地址：https://arxiv.org/abs/2412.20645
代码地址：https://github.com/THU-MIG/YOLO-UniOW

摘要

传统的目标检测模型受限于封闭数据集，只能检测训练时遇到的类别。尽管多模态模型通过对齐文本和图像模态扩展了类别识别能力，但由于跨模态融合引入了显著的推理开销，并且仍然受限于预定义的词汇表，因此在开放世界场景中处理未知对象时效果不佳。本文提出了通用开放世界目标检测（Uni-OWD），这是一种新的范式，统一了开放词汇和开放世界目标检测任务。为了应对这一挑战，我们提出了YOLO-UniOW，这是一种新颖的模型，提升了效率、多功能性和性能的边界。YOLO-UniOW引入了自适应决策学习（AdaDL），用CLIP潜在空间中的轻量级对齐替代了计算昂贵的跨模态融合，实现了高效检测而不牺牲泛化能力。此外，我们设计了通配符学习策略，能够将分布外对象检测为“未知”，同时支持动态词汇扩展，而无需增量学习。该设计使YOLO-UniOW能够无缝适应开放世界环境中的新类别。大量实验验证了YOLO-UniOW的优越性，在LVIS数据集上实现了34.6 AP和30.0 APr，推理速度为69.6 FPS。该模型还在M-OWODB、S-OWODB和nuScenes数据集上设立了新的基准，展示了其在开放世界目标检测中的卓越性能。

方法

在这里插入图片描述

Uni-OWD旨在统一开放词汇检测（OVD）和开放世界检测（OWOD）任务，使模型不仅能够识别训练时未见过的类别，还能将未知对象分类为“未知”。为了实现这一目标，YOLO-UniOW提出了以下关键方法：

  1. 自适应决策学习（AdaDL）：通过引入低秩适应（LoRA）技术，AdaDL在CLIP文本编码器中动态调整文本特征，使其能够更好地与图像特征对齐，从而在无需跨模态融合的情况下构建更有效的决策边界。

  2. 通配符学习：通过引入“未知”类别的通配符嵌入，模型能够检测不在预定义词汇表中的对象，并将其标记为“未知”。该策略通过自监督学习进行优化，能够动态适应新类别的出现。

  3. 高效的双头匹配：YOLO-UniOW基于YOLOv10的双头匹配机制，通过区域文本对比学习，确保模型在检测已知和未知对象时都能保持高效和准确。

创新点

在这里插入图片描述

  1. 统一开放词汇和开放世界检测：YOLO-UniOW首次将开放词汇检测和开放世界检测任务统一在一个模型中，解决了动态类别和未知目标识别的挑战。

  2. 自适应决策学习（AdaDL）：通过低秩适应技术，AdaDL在不增加计算开销的情况下，显著提升了模型在开放世界场景中的泛化能力。

  3. 通配符学习策略：该策略使模型能够检测未知对象，并支持动态词汇扩展，而无需进行增量学习，极大地提升了模型的适应性和扩展性。

实验结果

YOLO-UniOW在多个基准数据集上进行了广泛的实验验证，结果如下：
在这里插入图片描述

  1. LVIS数据集：在零样本设置下，YOLO-UniOW在LVIS数据集上实现了34.6 AP和30.0 APr，推理速度达到69.6 FPS，显著优于现有的开放词汇检测模型。

在这里插入图片描述
2. M-OWODB和S-OWODB数据集：在开放世界检测任务中，YOLO-UniOW在未知类别的召回率（U-Recall）和已知类别的mAP上均取得了显著提升，特别是在M-OWODB任务中，未知类别的召回率达到了80.6%。
在这里插入图片描述

3.nuScenes数据集：在自动驾驶场景中，YOLO-UniOW在未知类别的检测上表现优异，展示了其在复杂场景中的强大适应能力。

总结

YOLO-UniOW通过引入自适应决策学习和通配符学习策略，成功地将开放词汇检测和开放世界检测任务统一在一个高效的模型中。实验结果表明，YOLO-UniOW不仅在开放词汇检测任务中表现出色，还在开放世界检测任务中展现了卓越的性能和适应性。该模型为动态环境中的目标检测提供了新的解决方案，具有广泛的应用前景。



---

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/19a19b1d392944be90df72e4fa6b7b3d.png)



**好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！**

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2319559.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

面向对象(进阶)(‘封装‘,‘多态‘,‘对象属性‘,‘类属性‘,‘类方法‘,‘对象方法‘及其应用场景)

面向对象(进阶)(‘封装‘,‘多态‘,‘对象属性‘,‘类属性‘,‘类方法‘,‘对象方法‘及其应用场景)

‘封装’,多态’及其应用场景 一, 封装及其应用场景 封装的定义 属于面向对象的三大特征之一, 就是隐藏对象的属性和现实细节, 仅对外提供公共的访问方式.(我们学的 函数, 类, 都是封装的体现). 封装的格式 __属性名 __属性名()封装的好处和弊端 好处 提高代码的安全性.…
阅读更多...
算法模型从入门到起飞系列——广度优先遍历（BFS）

算法模型从入门到起飞系列——广度优先遍历（BFS）

文章目录 前言一、广度优先遍历（BFS）简介1.1 广度优先遍历（BFS）的特点1.2 广度优先遍历（BFS）的要素 二、广度优先遍历（BFS）& 深度优先遍历（DFS）2.1 广度优…
阅读更多...
＜项目＞ 主从Reactor模型的高并发服务器

＜项目＞ 主从Reactor模型的高并发服务器

目录 Reactor 概念 分类 单Reactor单线程 单Reactor多线程 多Reactor多线程 项目介绍 项目规划 模块关系 实现 TimerWheel -- 时间轮定时器 定时器系统调用 时间轮设计 通用类型Any Buffer Socket Channel Poller EventLoop（核心） eventfd 设计思路 …
阅读更多...
注意力机制，本质上是在做什么？

注意力机制，本质上是在做什么？

本文以自注意机制为例，输入一个4*4的矩阵 如下： input_datatorch.tensor([[1,2,3,4], [5,6,7,8], [9,10,11,12], [13,14,15,16] ],dtypetorch.float) 得到Q和K的转置如下。 此时，计算QK^T ,得到如下结果 第一行第一个位置就是第一条样本和第…
阅读更多...
使用Python在Word中创建、读取和删除列表 - 详解

使用Python在Word中创建、读取和删除列表 - 详解

目录 工具与设置 Python在Word中创建列表 使用默认样式创建有序（编号）列表 使用默认样式创建无序（项目符号）列表 创建多级列表 使用自定义样式创建列表 Python读取Word中的列表 Python从Word中删除列表 在Word中&#xff…
阅读更多...
右键添加:新建HTML模板文件

右键添加:新建HTML模板文件

使用注册表给Windows右键添加:新建HTML文档模板的功能_注册表右键新建-CSDN博客 新建文件有了，但是没有引用模板文件，是空文件。 默认改成 htmlfile 模板成功
阅读更多...
Windows10配置OpenJDK11

Windows10配置OpenJDK11

下载 # 华为OpenJDK镜像源 https://mirrors.huaweicloud.com/openjdk/11.0.2/解压 # 解压后至于C:\Dev\Env\Java\jdk-11.0.2目录下 https://mirrors.huaweicloud.com/openjdk/11.0.2/openjdk-11.0.2_windows-x64_bin.zip编译安装 # 以管理员身份运行 CMD命令提示符 并进入JD…
阅读更多...
统一开放世界与开放词汇检测：YOLO-UniOW无需增量学习的高效通用开放世界目标检测框架

统一开放世界与开放词汇检测：YOLO-UniOW无需增量学习的高效通用开放世界目标检测框架

目录 一、摘要 二、引言 三、相关工作 开放词汇对象检测 开放世界目标检测 参数高效学习 四、高效通用的开放世界目标检测 问题定义 高效的自适应决策学习 开放世界通配符学习 五、Coovally AI模型训练与应用平台 六、实验 数据集 评价指标 实施细节 定量结果 …
阅读更多...
如何给商品一键换色？图生生AI，告别繁琐修图

如何给商品一键换色？图生生AI，告别繁琐修图

在电商竞争日益激烈的今天，商品图片的视觉效果直接影响着消费者的购买决策。而商品颜色的展示，更是重中之重！传统的图片换色方式，往往需要耗费设计师大量的时间和精力，从抠图到调色，再到细节调整&#xff0…
阅读更多...
练习-班级活动（map存储键值对）

练习-班级活动（map存储键值对）

问题描述 小明的老师准备组织一次班级活动。班上一共有 n 名 (n 为偶数) 同学，老师想把所有的同学进行分组，每两名同学一组。为了公平，老师给每名同学随机分配了一个 n 以内的正整数作为 id，第 i 名同学的 id 为 ai​。 老师希望…
阅读更多...
OpenHarmony 开源鸿蒙北向开发——hdc工具安装

OpenHarmony 开源鸿蒙北向开发——hdc工具安装

hdc（OpenHarmony Device Connector）是为开发人员提供的用于设备连接调试的命令行工具，该工具需支持部署在 Windows/Linux/Mac 等系统上与 OpenHarmony 设备（或模拟器）进行连接调试通信。简单来讲，hdc 是 Op…
阅读更多...
buu-bjdctf_2020_babystack2-好久不见51

buu-bjdctf_2020_babystack2-好久不见51

整数溢出漏洞 将nbytes设置为-1就会回绕，变成超大整数 从而实现栈溢出漏洞 环境有问题 from pwn import *# 连接到远程服务器 p remote("node5.buuoj.cn", 28526)# 定义后门地址 backdoor 0x400726# 发送初始输入 p.sendlineafter(b"your name…
阅读更多...
【Java SE】抽象类/方法、模板设计模式

【Java SE】抽象类/方法、模板设计模式

目录 1.抽象类/方法 1.1 基本介绍 1.2 语法格式 1.3 使用细节 2. 模板设计模式（抽象类使用场景） 2.1 基本介绍 2.2 具体例子 1.抽象类/方法 1.1 基本介绍 ① 当父类的某些方法，需要声明，但是又不确定如何实现时&#xff…
阅读更多...
Unix 域套接字（本地套接字）

Unix 域套接字（本地套接字）

Unix 域套接字（Unix Domain Sockets），也称为本地套接字（Local Sockets），是一种用于同一主机上进程间通信（IPC）的机制。Unix 域套接字提供了一种高效的进程间通信方式，它利…
阅读更多...
Nordic nRF 蓝牙的 Direct Test Mode (DTM) 测试介绍

Nordic nRF 蓝牙的 Direct Test Mode (DTM) 测试介绍

目录 概述 1. 核心物理层参数 1.1 射频频率 (RF Channel Frequency) 1.2 发射功率 (TX Power) 1.3 调制方式 (Modulation) 1.4 数据包类型 (Packet Type) 1.5 测试模式 (Test Mode) 2. 参数配置方法 2.1 通过 HCI 命令配置 2.2 示例（nRF52 系列&#xff0…
阅读更多...
LangChain开发（一）介绍和第一个例子

LangChain开发（一）介绍和第一个例子

文章目录 简介LangChain框架组成LangChain库（Libraries）LangChain任务处理流程核心概念1. LLMs2. Chat Models3. 消息（Message）4. 提示（prompts）5. 输出解析器（Output Parsers）6.Ret…
阅读更多...
Chrome-Edge-IDEA-Win 常用插件-工具包

Chrome-Edge-IDEA-Win 常用插件-工具包

Chrome-Edge-IDEA-Win 常用插件-工具包 Chrome-Edge-IDEA-Win 常用插件-工具包谷歌插件chropathJSONViewOctotree - GitHub code treeXPath Helper书签侧边栏篡改猴Print Edit WEEdge浏览器插件IDEA插件CodeGlance Pro 代码迷你缩放图插件Alibaba Cloud ToolkitAlibaba Java Co…
阅读更多...
电加热产品亚马逊审核标准UL499报告

电加热产品亚马逊审核标准UL499报告

很多亚马逊卖家都上架应季产品 像加热垫 加热杯垫 加热毯等产品 都少不了亚马逊UL测试的报告 亚马逊明确要求 电子产品在亚马逊销售就必须需要有UL报告 不然就产品就被有下架的风险。由于 UL 标准也就是美洲的安全测试标准，因此亚马逊出于对安全的考虑会加强对带电的…
阅读更多...
从实践到创新：低代码驱动教育行业数字化转型

从实践到创新：低代码驱动教育行业数字化转型

随着数字化转型浪潮席卷教育领域，低代码开发平台因其“低门槛、高效率、强适配”特性，正成为教育行业信息化改革的新工具。本文将结合低代码技术在教育场景中的典型应用案例，分享其对教学管理、科研创新及人才培养模式的变革价值。 一、政策与…
阅读更多...
dfs刷题排列问题 + 子集问题 + 组和问题总结

dfs刷题排列问题 + 子集问题 + 组和问题总结

文章目录 一、排列问题全排列II题解代码 优美的排列题解代码 二、子集问题字母大小写全排列题解代码 找出所有子集的异或总和再求和题解代码 三、组合问题电话号码的字母组合题解代码 括号生成题解代码 组合题解代码 目标和题解代码 组合总和题解代码 总结 一、排列问题 全排列…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023