计算机视觉——day 90 基于级联卷积神经网络和对抗学习的显著目标检测

news2025/1/27 12:25:45

基于级联卷积神经网络和对抗学习的显著目标检测

  • I. INTRODUCTION
  • II. 网路架构
    • A. 基于级联卷积神经网络的生成器G
      • 全局显著性估计器 E
      • 局部显著性精炼器 R
  • B.鉴别器 D
  • Iv. 实验
    • A. 数据集和评价标准
    • B. 实验结果
  • V. 结论

I. INTRODUCTION

显著目标检测在过去的几年中受到了广泛的关注并取得了巨大的成功。要获得清晰的边界和一致的显著性仍然是一个挑战,这可以被认为是显着对象的结构信息。流行的解决方案是进行一些后处理(例如,条件随机场(CRF))来细化这些结构信息。

在本工作中,我们提出了一种新的基于级联卷积神经网络和对抗学习的显著目标检测方法(CCAL)。

综上所述,本文的主要贡献如下:

1)设计了一种新颖的显著性目标检测网络框架,该框架包含两个卷积神经网络,并以级联方式结合。它们分别关注全局显著性估计和局部显著性细化。在逐步的帮助下,检测结果逐步提高。

2)采用CGAN算法进行显著性目标检测,通过引入对抗损失隐式学习结构信息(即清晰的边界和一致的显著性)来提高性能。

3)我们在8个基准数据集上评估了所提出的方法。综合实验结果表明,该方法能够生成边界清晰、显著性一致的高质量显著图,显著优于现有方法。

II. 网路架构

image-20230513160832480

所提出的显著性目标检测模型中包含两个分量,即产生器G和判别器D,如图1所示。

A. 基于级联卷积神经网络的生成器G

全局显著性估计器 E

显著性目标检测可以看作是像素标记问题,对于显著性目标赋大值(如1),对于非显著性区域赋小值(如0)。本文借鉴了编码器-解码器网络的成功经验,构建了一个用于初始显著图估计的编码器-解码器网络(全局显著性估计器E),该网络包括编码器和解码器两部分。

具体来说,我们使用4 × 4的卷积核 和 步长为 2的卷积来代替3 × 3和stride 1的卷积和2 × 2和stride 2的pooling的组合,这是VGGNet[30]中的一个经典设置

这里,我们的编码器有n1 =8个卷积层,每一层的卷积核数分别为64、128、256、512、512、512、512、512、512。

对于解码器,它执行与编码器相反的过程,扩大特征图的大小。采用核大小为4 × 4、步幅为2的反卷积运算对特征图进行上进。此外,我们还使用跳跃连接来结合解码器的高级特征和编码器的低级特征,以促进特征学习。

最后一层是tanh激活函数。

从图1中,给定一个输入图像,e的输出是一个与输入图像大小相同的概率图,被认为是初始显著图,显著目标被突出,背景被抑制

局部显著性精炼器 R

有必要利用初始显著图提供的信息来修正这些差的估计。因此,我们设计了一种深度残差网络(称为局部显著性细化器R)进行局部显著性细化,其中输入为显著性估计器E生成的RGB图像和初始显著性图的组合,输出为优化后的显著性图作为最终的性能评估结果。

B.鉴别器 D

如上所述,给定一个输入图像I,其最终显著图X的生成过程可以表示为X = G(I)= R(I,E(I))。

生成对抗网络(GAN)中的鉴别器可以被看作是探索结构化损失函数的尝试。

因此,为了使生成器G能够很好地学习显著物的结构信息,我们设计了一个鉴别器D,它的作用是按照条件GAN (CGAN)的策略,将生成器G生成的假显著图与真实显著图(ground truth)进行区分。CGAN是GAN的条件版本。

image-20230513163032454

图2给出了不同模型配置产生的显著性目标检测结果的三个例子,直观地验证了我们的局部显著性细化器R和判别器D的优点。(e)就是本文提出的模型。

Iv. 实验

A. 数据集和评价标准

对八个标准基准数据集进行性能评价:SED1[64]、SED2[64]、ECSSD[4]、PASCAL-S[65]、HKU-IS[20]、SOD[66]、DUT-OMRON[67]和DUTS-TE[32]。

B. 实验结果

image-20230513163325281

不同显著性检测方法与我们的方法(CCAL)在各种具有挑战性的场景下的视觉比较。

V. 结论

本文提出了一种基于级联卷积神经网络和对抗学习的端到端显著性目标检测模型(CCAL)。设计了由级联cnn组成的编码器-解码器网络和深度残差网络,分别完成了全局显著性估计和局部显著性细化。采用由粗到细的级联方式,显著目标检测的性能可以逐步提高。作为一种结构化的损耗函数,识别器引入的对抗性损耗有助于CCAL更好地学习突出目标的结构信息,实验结果说明了它对提高性能的重要性。该方法无需任何后处理,即可产生准确的显著性目标检测结果。实验表明,CCAL不仅在8个基准数据集上获得了最先进的性能,而且在GPU上达到了17帧/秒的速度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/521396.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

AcWing算法提高课-1.3.7货币系统

宣传一下算法提高课整理 <— CSDN个人主页&#xff1a;更好的阅读体验 <— 本题链接&#xff08;AcWing&#xff09; 点这里 题目描述 在网友的国度中共有  n n n 种不同面额的货币&#xff0c;第  i i i 种货币的面额为  a [ i ] a[i] a[i]&#xff0c;你可以假…

Linux知识点 -- Linux环境基础开发工具使用

Linux知识点 – Linux环境基础开发工具使用 文章目录 Linux知识点 -- Linux环境基础开发工具使用一、Linux编辑器 - vim1.vim的打开与关闭2.vim的三种模式3.命令模式常见命令4.底行模式命令5.设置vim的table键为4个字符 二、Linux编辑器 - gcc / g1.介绍2.gcc / g的使用3.gcc /…

docker笔记详解

Docker 官方文档地址:https://www.docker.com/get-started 中文参考手册:https://docker_practice.gitee.io/zh-cn/ 1.什么是 Docker 1.1 官方定义 最新官网首页 # 1.官方介绍 - We have a complete container solution for you - no matter who you are and where you are …

Linux | 将SpringBoot+Vue项目部署到服务器上

知识目录 一、写在前面二、后端部署2.1 项目打包2.2 项目运行 三、通过Shell脚本自动部署项目3.1 安装Git和Maven3.2 编写Shell脚本3.2 执行脚本 四、前端部署4.1 安装NGINX4.2 node.js安装4.3 npm打包项目4.4 运行项目 四、总结撒花 一、写在前面 大家好&#xff0c;我是初心…

MyBatis配置

配置结构 属性&#xff08;properties&#xff09; 属性不仅可以在内部直接修改&#xff0c;还可以在外部引入&#xff0c;外部引入需要在配置文件引入属性的文件&#xff0c; db.properties放在资源目录下面&#xff0c;然后在configuration标签下面导入外部配置的propertie…

Kali linux ssh Permission denied, please try again解决

新装的kali 没有ssh 装上ssh后root用户禁止登录所以要修改ssh配置&#xff0c;下面就这个过程解决全部演示。 默认情况下 SSH 不允许以 root 用户登录&#xff0c;因此将会出现下面的错误提示信息&#xff1a; Permission denied, please try again.kali linux 默认没有ssh,因此…

股票量价关系基础知识5

图解各阶段量价关系&#xff1a;价涨量增 价涨量增是指股价上涨的同时成交量也放大。它是最常见的多头进攻模式&#xff0c;说明价量配合良好&#xff0c;反映投资者买卖情绪高涨。成交量放大说明有资金流入&#xff0c;做多力量增强&#xff0c;后市看涨。 注意&#xff1a;1…

yolov5 用自己的数据集进行训练

在训练之前先要按照一定目录格式准备数据&#xff1a; VOC标签格式转yolo格式并划分训练集和测试集_爱钓鱼的歪猴的博客-CSDN博客 目录 1、修改数据配置文件 2、修改模型配置文件 3、训练 1、修改数据配置文件 coco.yaml 拷贝data/scripts/coco.yaml文件&#xff0c; pa…

requset页面的代码逻辑

基地址 &#xff1a; //引入axios import axios from axios; //vuex // import store from ../store/index; //配置基准地址 const Serve axios.create({baseURL: http://47.99.166.157:3000,// transformRequest: [function (data) {// try {// return jsonBig.…

【python】无限量PPT免费下载?找模板在不怕心仪得不能用啦

前言 大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 开发环境: python 3.8 pycharm 不会安装的可以文末名片我获取哦 &#x1f60e; 模块使用: 第三方模块&#xff0c;需要安装 win R 输入cmd 输入安装命令 pip install 模块名 &#xff08;如果出现爆红 可能是因为 网络…

5分钟搞懂矩阵乘法的本质

大家好啊&#xff0c;我是董董灿。 很多与深度学习算法相关的面试&#xff0c;面试官可能都会问一类问题&#xff0c;那就是你是如何理解矩阵乘算法的。 更有甚者&#xff0c;会让你当场手写矩阵乘算法&#xff0c;然后问细节&#xff0c;问如何优化&#xff0c;面试现场&…

【MATLAB第31期】基于MATLAB的降维/全局敏感性分析/特征排序/数据处理方法MATLAB代码实现(持续更新)

【MATLAB第31期】基于MATLAB的降维/全局敏感性分析/特征排序/数据处理方法MATLAB代码实现(持续更新) 一、降维方法 常见的降维方法&#xff1a; 1.变量归类&#xff08;主成分分析PCA、核主成分分析KPCA&#xff09; 2.变量筛选&#xff08;临近成分分析NCA、皮尔逊系数PCC、…

签名预售活动圆满结束!各位敬等快递,第一个付款的兄弟来领取大礼!

我的新书经过千难万险终于上架&#xff0c; 为了感谢众多老铁的支持&#xff0c; 所以上周日搞了签名预售的活动&#xff0c;挂了300本&#xff0c; 一上线很快就被大家买光了&#xff0c; 留言需要单独写一些话的老铁&#xff0c;我也都尽量满足了&#xff0c; 如果一楼还…

HNU-操作系统OS-实验Lab5

OS_Lab5_Experimental report 湖南大学信息科学与工程学院 计科 210X wolf &#xff08;学号 202108010XXX&#xff09; 实验目的 了解第一个用户进程创建过程了解系统调用框架的实现机制了解ucore如何实现系统调用sys_fork/sys_exec/sys_exit/sys_wait来进行进程管理 实验…

计算机组成原理基础练习题第一章

有些计算机将一部分软件永恒地存于只读存储器中&#xff0c;称之为&#xff08;&#xff09; A.硬件    B.软件C.固件    D.辅助存储器输入、输出装置以及外界的辅助存储器称为&#xff08;&#xff09; A.操作系统    B.存储器 C.主机      D.外围设备完整的计算机系…

算法时间空间复杂度

文章目录 算法算法特性 时间复杂度时间复杂度概念算法运行时间例如时间复杂度分三种 空间复杂度 算法 算法特性 1.有穷性&#xff1a;执行有穷步&#xff08;有限步&#xff09;之后结束。 2.确定性&#xff1a;只有唯一的执行路径。 3.可行性&#xff1a;代码可以执行起来…

2023年数维杯ABC选题人数公布

根据各个平台开赛后28小时各项数据统计&#xff0c;进行评估&#xff08;方法见注释&#xff09;&#xff0c;最终得出2023年数维杯选题人数&#xff0c;大致为 A:B:C260&#xff1a;281&#xff1a;40 题号选题人数A260B281C40 选题人数统计结果分析&#xff1a;AB为研究生本…

vue3开启大海贼时代!!!

大海贼时代结束&#xff01;&#xff01;&#xff01; vue3开始&#xff01;&#xff01;&#xff01; setup初体验 1.与vue2不同的是 定义的变量和方法都被放到一个叫 setup( )里面了 2.vue2里面没有了 this 3. 1&#xff09;访问变量先定义 const msg 1 2&#xff0…

[架构之路-196] - 发现问题原因的通常步骤:提出问题、明确问题、偏差分析、因素分析、原因分析

目录 前言&#xff1a; 通用问题的方法论 第一步&#xff1a;是提出问题阶段&#xff1a;表象、总体、大致 第二步&#xff1a;是明确问题阶段&#xff08;深层&#xff09;&#xff1a;分解、分类、排序 第三步&#xff1a;是明确问题阶段&#xff08;目标&#xff09;&a…

关于一个C++项目:高并发内存池的开发过程(一)

原项目地址&#xff1a;高并发内存池项目: 高并发内存池项目的课堂板书代码 (gitee.com) 写在前面 本打算利用五一假期的时间将这个项目一口气开发完成&#xff0c;但由于本人的懈怠&#xff0c;这个项目最终只完成了80%。于是利用长假后的一天假期&#xff0c;将这个项目的框…