论文阅读(三十二):EGNet: Edge Guidance Network for Salient Object Detection

news2024/12/29 11:27:18

文章目录

  • 1.Introduction
  • 2.Related Works
  • 3.Salient Edge Guidance Network
    • 3.1Complementary information modeling
      • 3.1.1Progressive salient object features extraction
      • 3.1.2Non-local salient edge features extraction
    • 3.2One-to-one guidance module
  • 4.Experiments
    • 4.1Implementation Details
    • 4.2Datasets and Evaluation Metric
    • 4.3Ablation Experiments and Analyses


  论文:EGNet: Edge Guidance Network for Salient Object Detection
  论文链接:EGNet: Edge Guidance Network for Salient Object Detection
  代码链接:Github

1.Introduction

  常见用于显著性目标检测任务的深度学习方法大多存在边缘轮廓不清晰、显著性不能精确提取的问题,因此本文利用VGG网络的特性,即第二个池化层输出的特征图具有良好的边缘信息特征,而最后一层具有丰富的显著性特征,故将边缘信息特征与显著性特征进行像素级的融合,得到具有清晰轮廓的显著性目标。
  总的来说,本文研究了显著边缘特征和显著目标特征之间的关系,并利用显著边缘特征来帮助显著目标特征更准确地定位显著对象,尤其是边界信息。贡献如下:

  • 1.提出EGNet模型来建模显著目标信息和显著边缘信息,以保留显著目标的边界。
  • 2.EGNet模型允许这两个互补的任务相互帮助来互相优化,从而改善了预测的显著性图。

2.Related Works

  以往的工作往往专注于优化显著目标的细节信息,而没有充分利用显著边缘检测和显著目标检测之间的互补性。本研究计了两个模块来独立提取这两种特征,并将二者进行融合,使得显著的边缘信息不仅可以提高边缘的质量,而且可以使定位更加准确。

3.Salient Edge Guidance Network

在这里插入图片描述

3.1Complementary information modeling

  EGNet使用VGG作为主干网络(截断了最后三个全连接层),得到了六个编码器 C o n v 1 − 2 、 C o n v 2 − 2 、 C o n v 3 − 3 、 C o n v 4 − 3 、 C o n v 5 − 3 、 C o n v 6 − 3 Conv1-2、Conv2-2、Conv3-3、Conv4-3、Conv5-3、Conv6-3 Conv12Conv22Conv33Conv43Conv53Conv63的输出结果。其中 C o n v 1 − 2 Conv1-2 Conv12感受野较小被舍弃,将其余编码器输出记为:
在这里插入图片描述
其中, C o n v 2 − 2 Conv2-2 Conv22的输出 C ( 2 ) C^{(2)} C(2)(低级特征)保留较多细节信息,因此从中提取边缘特征,从其他输出中提取显著目标信息。

3.1.1Progressive salient object features extraction

在这里插入图片描述
  为获取丰富的上下文特征,在PSFEM(渐进式显著对象特征提取模块,Progressive Salient Object Features Extraction Module)模块中使用卷积层将编码器输入的特征图转换为单通道预测掩码,且每张特征图都通过深度监督帮助模型训练。
在这里插入图片描述
  将六个编码器模块对应的侧路径记为 S ( i ) , i ∈ { 1 , 2 , 3 , 4 , 5 , 6 } S^{(i)},i∈\{1,2,3,4,5,6\} S(i),i{1,2,3,4,5,6},每条侧路径上都有 C o n v Conv Conv模块(对应上图中黄色的 C o n v Conv Conv模块),该模块中包含三个卷积层( T 1 、 T 2 、 T 3 T1、T2、T3 T1T2T3),每个卷积层后都有 R e L U ReLU ReLU函数。这些 C o n v Conv Conv模块中的卷积层参数如上表所示,依次为卷积核大小、填充大小、卷积核个数。 D D D则是将多通道特征图转换为单通道显著性图的过渡卷积层。

3.1.2Non-local salient edge features extraction

在这里插入图片描述

  NLSEM(非局部显著边缘特征提取模块)模块用于对显著边缘信息进行建模并提取显著边缘特征。由于编码器 C o n v 2 − 2 Conv2-2 Conv22中保存较多的边缘细节信息,因此选择从该编码器的输出中提取局部边缘信息。为此,需要先从深层特征图中获取显著对象的语义信息、位置信息,便于在浅层特征图中定位显著目标区域。若直接将深层特征图不断下采样至低层,则其包含的语义信息会被逐渐稀释。为此,本文设计了一个位置传播方式,用于将深层特征图包含的位置信息传播到侧路径 S ( 2 ) S^{(2)} S(2)中,使得浅层特征图更关注于显著区域边缘信息的提取。
  融合后的特征图 C ‾ ( 2 ) \overline{C}^{(2)} C(2)表示为:
在这里插入图片描述

  • F ^ ( 6 ) \hat{F}^{(6)} F^(6):经过 C o n v Conv Conv操作后的深层特征图。
  • C ( 2 ) C^{(2)} C(2) C o n v 2 − 2 Conv2-2 Conv22编码器的输出。
  • T r a n s ( ∗ , θ ) Trans(*,θ) Trans(,θ):参数为 θ θ θ的卷积层,用于改变特征通道数。
  • ϕ ϕ ϕ:ReLU激活函数。
  • U p ( ) Up() Up():上采样操作,通过双线性插值实现。

之后与其他侧路径相同,将 C ‾ ( 2 ) \overline{C}^{(2)} C(2)输入到包含三个卷积运算的 C o n v Conv Conv模块中增强特征,这些卷积的参数可参考上表。模型中添加了额外的显著边缘监督来监督显著边缘特征,使用了交叉熵损失函数:
在这里插入图片描述

3.2One-to-one guidance module

在这里插入图片描述
  NLSEM模块获取了显著边缘特征(记为 F E F_E FE)、PSFEM模块获取了显著目标特征(对应路径 S ( i ) , i ∈ { 3 , 4 , 5 , 6 } S^{(i)},i∈\{3,4,5,6\} S(i),i{3,4,5,6},显著特征记为 F ^ ( i ) \hat{F}^{(i)} F^(i))。若直接通过采样操作从上到下逐渐融合显著边缘特征和多分辨率显著目标特征,则显著目标特征会在采样过程中被稀释。为此提出一对一指导模块,利用显著边缘特征来指导显著目标特征在分割和定位方面表现更好。
  具体做法为,在路径 S ( i ) , i ∈ { 3 , 4 , 5 , 6 } S^{(i)},i∈\{3,4,5,6\} S(i),i{3,4,5,6}中增加了子路径,将显著边缘特征融合到增强后的显著目标特征中,得到显著边缘引导特征,记为 G ( i ) G^{(i)} G(i)
在这里插入图片描述
之后与PSFEM模块一样,在每个子边路径中使用 C o n v Conv Conv增强显著边缘引导特征,并通过过渡卷积层将其转换为单通道的显著性图。
  每个显著性图加入模型训练的深度监督:
在这里插入图片描述
最后将各尺度的显著性图融合,得到最终的显著性图。最终显著性图的损失函数为:
在这里插入图片描述
  由此可得总的损失函数:
在这里插入图片描述

4.Experiments

4.1Implementation Details

  模型包含以VGG、ResNet为骨干的两个版本,新增卷积层的权重均以截断正态随机初始化( σ = 0.01 σ=0.01 σ=0.01),偏置初始化为0。学习率为 5 e − 5 5e^{-5} 5e5、权重衰减为0.0005、动量为0.9、每条支路生成的显著性图对应权重为1、轮次为124,且每15轮后将学习率除以10。在推理过程中,可以得到一张预测的显著边缘图和一组显著性目标图,使用融合后的显著性目标图作为最终的显著性图。

4.2Datasets and Evaluation Metric

  在六个数据集上评估了模型,使用了F-measure、MAE、S-measure作为评估指标。
在这里插入图片描述

4.3Ablation Experiments and Analyses

略。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2228927.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

深度学习:卷积神经网络中的img2col

im2col 是一种在卷积神经网络(CNN)中常用的技术,用于将输入图像数据转换为适合卷积操作的矩阵形式。通过这种转换,卷积操作可以被高效地实现为矩阵乘法,从而加速计算。 在传统的卷积操作中,卷积核&#xff…

java:入门基础(1)

练习一:文字版格斗游戏 需求: ​ 格斗游戏,每个游戏角色的姓名,血量,都不相同,在选定人物的时候(new对象的时候),这些信息就应该被确定下来。 举例: ​ 程序运行之后…

计算机毕业设计 | springboot+vue电影院会员管理系统 影院后台管理(附源码)

1,项目背景 随着互联网时代的到来,同时计算机网络技术高速发展,网络管理运用也变得越来越广泛。因此,建立一个B/S结构的电影院会员管理系统;电影院会员管理系统的管理工作系统化、规范化,也会提高影院形象…

TypeScript(中)+算法(二)

文章目录 算法排序冒泡排序选择排序 TS类型声明类型推断类型总览js中的数据类型ts中的数据类型原始类型和包装对象原始类型包装对象自动装箱 常用类型与语法anyunknownnevervoidvoid 与 undefined总结 算法 排序 有十种排序算法,分别是:冒泡排序&#…

算法定制LiteAIServer视频智能分析软件的过亮、过暗及抖动检测应用场景

在现代社会中,视频监控系统扮演着举足轻重的角色,其视频质量直接关乎监控系统的可靠性与有效性。算法定制LiteAIServer通过引入抖动检测和过亮过暗检测功能,为视频监控系统的稳定性和用户体验带来了显著提升。 以下是对这两种功能的技术实现、…

【隐私计算篇】全同态加密应用场景案例(隐私云计算中的大模型推理、生物识别等)

1.题外话 最近因为奖项答辩,一直在忙材料准备,过程非常耗费时间和精力,很难有时间来分享。不过这段时间虽然很忙碌,但这期间有很多新的收获,特别是通过与领域内专家的深入交流和评审过程,对密码学和隐私计算…

elasticsearch 8.x 插件安装(三)之拼音插件

elasticsearch 8.x 插件安装(三)之拼音插件 elasticsearch插件安装合集 elasticsearch插件安装(一)之ik分词器安装(含MySQL更新) elasticsearch 8.x插件(二)之同义词安装如何解决…

mac-ubuntu虚拟机(扩容-共享-vmtools)

一、磁盘扩容 使用GParted工具对Linux磁盘空间进行扩展 https://blog.csdn.net/Time_Waxk/article/details/105675468 经过上面的方式后还不够,需要再进行下面的操作 lvextend 用于扩展逻辑卷的大小,-l 选项允许指定大小。resize2fs 用于调整文件系统的…

2024 年 11 个最佳开源网络爬虫和抓取工具

用于网络爬行的免费软件库、软件包和 SDK?或者它是您需要的网络抓取工具吗? 嘿,我们是 Apify 。您可以在 Apify 平台上构建、部署、共享和监控您的抓取工具和爬虫。 来看看我们吧。 如果您厌倦了专有网络抓取工具的限制和成本,或者厌倦了被单一供应商锁定,开源网络爬虫和…

Centos安装ZooKeeper教程(单机版)

本章教程介绍,如何在Centos7中,安装ZooKeeper 3.9.3版本。 一、什么是ZooKeeper ? Apache ZooKeeper 是一个分布式协调服务,用于大型分布式系统中的管理和协调。它为分布式应用提供了一个高性能的通信框架,简化了开发人员在构建复杂分布式系统的任务。ZooKeeper 能够解决一…

检索引擎Elasticsearch

一.为什么要用Elasticsearch 由于我们在运行我们的项目的时候通常都是将数据存到mysql或者sql serve等数据库中,在进行数据搜索时使用sql 语句 like进行模糊匹配查询,其一:虽然可以查到数据,但是它模糊匹配查询速度较慢&#xff0…

CentOS9 Stream 支持输入中文

CentOS9 Stream 支持输入中文 方法一:确保 gnome-control-center 和相关组件已更新方法二:手动添加输入法源配置方法三:配置 .xinputrc 文件方法四:检查语言包 进入centos9 stream后,点击右上角电源键,点击…

基于PHP的http字段查询与注册(V1)(持续迭代)

目录 版本说明: 实现环境(WAMP): 数据库链接 查询页面 php处理逻辑 字段添加 版本说明: 该查询功能以查询http首部字段为目的实现的字段属性、字段内容的查询,以及对新字段信息的数据注册。 v1实现…

无人机之集群控制方法篇

无人机的集群控制方法涉及多个技术和策略,以确保多架无人机能够协同、高效地执行任务。以下是一些主要的无人机集群控制方法: 一、编队控制方法 领航-跟随法(Leader-Follower) 通过设定一架无人机作为领航者(长机&am…

jenkins搭建及流水线配置

1.安装docker curl https://mirrors.aliyun.com/repo/Centos-7.repo >> CentOS-Base-Aliyun.repomv CentOS-Base-Aliyun.repo /etc/yum.repos.d/yum -y install yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo http://mirrors.aliyun.com/…

Python+Playwright(Nuitka、Pyinstaller打包)

安装驱动 playwright install # 这个安装所有默认的浏览器 playwright install chromium # 一般只装这一个浏览器就够了,要是装另外两个浏览器,后面的参数名可以修改查看各个驱动的位置 playwright install --dry-run创建打包目录 在运行的包里面…

一篇文章理解CSS垂直布局方法

方法1&#xff1a;align-content: center 在 2024 年的 CSS 原生属性中允许使用 1 个 CSS 属性 align-content: center进行垂直居中。 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewpo…

《鸿蒙生态:机遇与挑战并行,创新引领未来》

《鸿蒙生态&#xff1a;机遇与挑战并行&#xff0c;创新引领未来》 一、鸿蒙生态崛起&#xff1a;机遇涌现&#xff08;一&#xff09;技术创新引领潮流&#xff08;二&#xff09;市场潜力巨大 二、抓住机遇的策略&#xff08;一&#xff09;开发者的黄金时代&#xff08;二&a…

Fakelocation 步道乐跑(Root真机篇)

前言:需要 Fakelocation&#xff0c;真机Root,步道乐跑&#xff0c;Dia&#xff0c;MT管理器系统需求 Fakelocation | MT管理器 | Dia | 环境模块 任务一 真机Root&#xff08;德尔塔&#xff0c;过momo&#xff0c;刷环境模块&#xff09; 任务二 前往Dia查看包名&#xff08…

docker离线安装达梦数据库

文章目录 下载达梦数据库docker镜像上传DM8镜像文件将DM8镜像导入到本地docker镜像仓库中查看本地docker镜像仓库是否存在DM8镜像带参数启动DM8docker启动DM8默认用户名/密码 下载达梦数据库docker镜像 达梦数据库官网 https://www.dameng.com/ 点击下载中心&#xff0c;选择D…