目标检测中的不均衡问题综述

news2024/11/27 0:42:54

导推荐的,简单看了一下,(太菜,太多不懂,希望以后会懂,简单做个记录
其实做的是xmind,但是想放到csdn上只能导出成md了。
在这里插入图片描述

Imbalance Problems in Object Detection: A Review

类别不平衡

简单理解

  • 正例数量远远小于负例数量

Foreground-Foreground Class Imbalance

  • 分类类别上的不平衡

  • 发生情况

    • 数据集(dataset-level imbalance)
    • 一个 batch (mini-batch-level imbalance)
  • 存在的问题

    • 没有太大的引起现阶段目标检测研究的重视

Foreground-Background Class Imbalance

  • 研究最广泛,程度最深的一类不平衡

  • 引发原因

    • 不是由于数据集引起的
    • 由于现有目标检测架构引起的
  • 发生情况

    • background anchors 远远多于 foreground anchors
  • 解决方法

    • hard sampling

      • 有偏采样

      • 例子

        • mini-batch undersampling (R-CNN 系列标准配置)
        • OHEM
        • IoU-balanced sampling
        • PISA
        • 类 RPN 的 objectness 方法
    • soft sampling

      • loss reweighting

      • 例子

        • Focal Loss
  • 总结

    • 一大问题

      • 几乎所有的 sampling heuristics 都基于启发式
      • 具有大量的超参数需要调整
    • 举例

      • OHEM 需要调 mini-batch size 和 fraction
      • Focal Loss 需要调 α 与 γ
      • GHM 有一些必要的前提假设与区间 M 需要调
    • 解决不平衡最佳的策略(分布)是难以定义的

    • 本文

      • 回顾了 foreground-background imbalance

        • 探讨 sampling heuristics 是否必要
      • 由数据引起的不平衡

        • foreground-background imbalance 在训练和测试中是具有等同分布的

        • 使用采样,可能会改变这种分布

          • 不一定会在测试中取得更好的结果
        • 不使用采样

          • 陷入难以训练的境地

anchor-free 的 detector的不平衡

  • anchor-free 的检测器大多基于关键点的检测驱动

    • extreme point
    • center point
    • corner point
  • foreground points 数量比 background points 存在着明显差异

    • 影响

      • 不若 anchor boxes 那般造成如此剧烈的不平衡
      • 导致绝大部分的 anchor-free 检测器采用了 Focal Loss 或者其变体来训练网络

尺度不平衡

Object/box-level Scale Imbalance

  • 例子

    • COCO 中的小物体过多
  • 发生情况

    • 当某个尺度范围内的物体 over-represent 该数据集后

      • scale imbalance 就会发生
  • 影响

    • An Analysis of Scale Invariance in Object Detection - SNIP 中的 investigation 指出
    • 极大影响 overall detection performance
  • 处理多样性的边界框

    • 方法

      • pyramid

        • image pyramid (SNIP, SNIPER)
        • feature pyramid(SSD, FPN 等)
        • image pyramid + feature pyramid
    • 典型工作

      • Naiyan Wang: TridentNet:处理目标检测中尺度变化新思路

Feature-level Imbalance

  • 是什么

    • FPN-based architecture里

      • 层级之间特征的不平衡性
    • ow Level 和 High Level 的特征之间互有定位/语义之间的优缺点

    • 如何 mitigate 这种不平衡来达到最佳的检测效果?

  • 解决方案

    • 结构上

      • 各式各样的连接方法

空间不平衡

Imbalance in Regression Loss

  • 对于那些 low-quality IoU bounding-boxes

    • 会产生很大的损失

      • L1 和 L2 loss 会被它们所主导

IoU Distribution Imbalance

  • bounding boxes 在 IoU 段的分布上呈现出明显不均匀的分布

    • negatives

      • IoU 在 0~0.1 范围内的样本占据主导
    • positives

      • IoU 在 0.5~0.6 之间的样本占据主导
  • 解决工作

    • Cascade R-CNN (Naiyan Wang: CVPR18 Detection文章选介(上))

    • 步骤

      • 通过级联结构
      • 逐步调高 IoU threshold
      • 增强正样本的质量
      • 防止 regressor 对单一阈值过拟合

Object Location Imbalance

  • 解决工作

    • Region Proposal by Guided Anchoring

    • 作为一个 anchor-free 的 RPN

      • 可以预测出 proposals 的 location

多任务损失优化之间的不平衡

一般来说,分类任务的损失要比回归任务的损失要大一些

  • 原因

    • 回归只做 foreground example
    • 分类要做到所有的 example

解决方法

  • 设置 weighting factor 来调

    • 观察什么样的情况可以达到最佳
  • Prime Sample Attention in Object Detection 里的 Classification-Aware Regression Loss

    • 让网络更加注意到回归较好的 bounding-boxes
    • 此让回归损失和分类的 score 相关
    • 从而使得梯度可以从 regression branch 流到 classification branch

参考文献

[1] https://mp.weixin.qq.com/s/tNQh-04Z1SWXvgH8dOm8qA
[2] https://github.com/kemaloksuz/ObjectDetectionImbalance

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/83619.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

01GO入门

GO入门一、hello,world二、运行一、hello,world 对上图的说明 1.go文件的后缀是.go 2.package main ​ 表示该hello.go 文件所在的包是main,在go中每个文件都必须归属于一个包。 3.import“fmt” ​ 表示:引入一个包&#xf…

【Docker】Docker镜像是什么?浅谈对Docker镜像的理解

专栏往期文章 《Docker是什么?Docker从介绍到Linux安装图文详细教程》《30条Docker常用命令图文举例总结》 本期目录专栏往期文章1. Docker镜像介绍2. UnionFS介绍3. Docker镜像加载原理4. 为什么Docker镜像要采用分层结构5. 镜像只读, 容器可写1. Docker镜像介绍 …

nodejs+vue社团管理系统

目录 1 绪论 1 1.1 课题背景 1 1.2 课题研究现状 1 1.3 初步设计方法与实施方案 2 1.4 本文研究内容 2 2 系统开发环境 4 开发语言:nodejs 框架:Express 数据库:mysql 数据库工具:Navicat11 开发软件&#x…

前端基础—自动验证

自动验证 在HTML5中,通过对元素使用属性的方法,可以实现在表单提交时执行自动验证的功能。下面是在HTML5中追加的关于对元素内输入内容进行限制的属性的指定。 1.required属性 required属性的主要目的是确保表单控件中的值已填写。在提交时…

#4文献学习总结--能量优化动态计算卸载

文献:“Energy-optimal Dynamic Computation Offloading for Industrial IoT in Fog Computing” 通过将部分计算密集型任务从雾节点动态卸载到云服务器,可以在雾计算系统中进一步改善用户的计算体验。 能量最优动态计算卸载方案(EDCO&#…

Spring中@Async注解的使用

一、应用场景 1、同步调用 通常,在Java中的方法调用都是同步调用,比如在A方法中调用了B方法,则在A调用B方法之后,必须等待B方法执行并返回后,A方法才可以继续往下执行。 这样容易出现的一个问题就是如果B方法执行时间…

如何避免“非正常专利申请”?!

近年来,专利数量多但质量不优的现象时而发生。对此,国家知识产权局开始严打非正常申请专利行为。而就在前不久,上海、甘肃等地也出台了相应的地方惩戒措施以打击非正常专利申请,这也反映出未来国家对于专利质量有着更高要求的趋势…

ubuntu 18.04 安装搜狗拼音输入法(没有坑)

本文参考:https://blog.csdn.net/weixin_44497198/article/details/126133691 最近在使用 ubuntu18.04 发现自带的中文输入法太难用了,于是想起装一个搜狗拼音输入法,但是按照搜狗官方的教程安装失败,安装成功了也是不稳定&#x…

钉钉机器人报警设置

钉钉机器人报警设置 1. 钉钉机器人相关设置 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 2. 添加机器人 3. 选择自定义机器人 4. 选择一个安全标签 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 5. 添加完生成一个webhook…

小蓝本 第一本 《因式分解技巧》 第五章 十字相乘 笔记(第五天)

小蓝本 第一本 《因式分解技巧》 第五章 十字相乘 笔记(第五天)前言十字相乘研究对象类型普通二次三项式基本形式分解步骤注意二次齐次式基本形式分组步骤注意系数和为0的普通二次三项式习题5题目题解前言 今天的干货来了,十字相乘。 十字相…

【JS】事件基础

JavaScript事件基础事件的概述事件三要素常见的事件事件的调用在script标签中调用在元素中调用鼠标事件onclick事件onmouseover和onmouseoutonmousedown和onmouseup页面事件onloadonbeforeunloadthis其他事件事件的概述 事件操作是JavaScript的核心。 用户进行操作时&#xff0…

疫情在家用Python搞副业,也能月入10000+

下班副业实现经济自由的时候,你还在床上躺着,天天摆烂吗?这样的生活真的是你想要的吗? 疫情在家接一些Python相关的小单子,既能给自己练手,还能赚是真香 从零基础开始真的一台电脑和一部手机就可以✅ 一…

NC65 计算人员离退休的天数和日期(数据库 sql server)

最近公司需要人力资源部需要写一张报表,计算人员距离退休的天数和日期,现附上自己写是sql脚本(仅供参考),如下: select a.pk_psndoc,--员工信息主键a.code …

程序员快速成长的核心原则

如何快速成长、持续成长、提升技术,是每一个程序员都绕不开的话题。 当你还在困惑职业发展方向时,别人已经找好了接单平台开始兼职;当你还在苦恼bug修不好时,别人已经可以承接整个软件外包项目了;当你还在思考怎么让技…

MongoDB 命令行操作

通过 MongoDB 数据库安装详细教程 安装完成了MongoDB,MySQL数据库是通过sql命令操作数据,而MongoDB是通过类Javascript函数的查询方式进行数据库的操作,在使用MongoDB来操作数据库之前先来简单的了解MongoDB操作注意: MongoDB数据…

使用线性光耦合器的模拟隔离

介绍 模拟隔离仍然广泛应用于电机驱动、功率监测等,其中应用通常使用廉价的模拟电压控制来进行速度、强度或其他调整。 HCNR201/200模拟光耦合器通常被添加到,用于隔离应用电路的前端模块中的模拟信号。光耦合器将放置在模拟输入和A/D转换器之间&#…

C++list

1. list的介绍及使用 1.1 list的介绍 1. list是可以在常数范围内在任意位置进行插入和删除的序列式容器,并且该容器可以前后双向迭代。 2. list的底层是双向链表结构,双向链表中每个元素存储在互不相关的独立节点中,在节点中通过指针指向其…

外包出去找工作被歧视,投几个简历都说介意外包,不考虑外包。

说起外包这个话题,一直是职场的热门话题。 关于外包,最多被人讨论的就是歧视方面的。比如,关于门禁权限方面的歧视、关于语言交流上的歧视、关于福利上的歧视等等。 01 外包被歧视的情况确实存在 网传有一腾讯外包员工在脉脉上吐槽自己遭受…

python--内置高阶函数、异常处理;模块与包以及python基础部分的总结

文章目录一、内置高阶函数二、异常处理异常处理机制抛出异常三、模块与包python基础部分的总结一、sort()与sorted()函数的区别二、深拷贝和浅拷贝、is与四、基础部分的脑图总括一、内置高阶函数 map()函数 reduce()函数 filter()函数 sorted()函数 #排序 二、异常处理 Indent…

java基础巩固-宇宙第一AiYWM:为了维持生计,测试篇预热【单元测试、性能测试、灰度发布与回滚】~整起

单元测试【就像买保险,希望自己不要用上】是重构的保护网:单元测试可以为重构提供信心,降低重构的成本。我们要像重视生产代码那样,重视单元测试【元测试(Unit Testing)是针对程序模块(软件设计…