Densely Connected Convolutional Networks(引言翻译(有选择性))

news2024/9/28 22:30:39

翻译得有可能会不太专业,望见谅的同时,如果有些地方翻译错了,欢迎批评指正!

as information about the input or gradient passes through many layers, it can vanish and "wash out" by the time it reaches the end (or beginning) of the network.

当有关输入或梯度传递的信息通过许多层时,

当它到达网络的末端(或开始)时,

它可能会消失。

ResNets [11] and Highway Networks [34] bypass signal from one layer to the next via identity connections. Stochastic depth [13] shortens ResNets by randomly dropping layers during training to allow better information and gradient flow.

ResNets[11]和Highway Networks[34]通过身份连接将信号从绕过一层,跳跃到下一层。

随机深度[13]通过在训练期间随机丢弃一些层来缩短ResNets的来获取更好的信息和梯度流。

FractalNets [17] repeatedly combine several parallel layer sequences with different number of convolutional blocks to obtain a large nominal depth, while maintaining many short paths in the network.

FractalNets[17]将几个具有不同数量卷积块的并行层序列重复组合,以获得较大的标称(名义上的)深度,同时在网络中保持许多短的连接路径。

Although these different approaches vary in network topology and training procedure, they all share a key characteristic: they create short paths from early layers to later layers.

尽管这些不同的方法在网络拓扑和训练过程中有所不同,

但它们都有一个关键特征:它们都建立了从浅层到深层的短的连接路径。

In this paper, we propose an architecture that distills this insight into a simple connectivity pattern: to ensure maximum information flow between layers in the network,

we connect all layers (with matching feature-map sizes) directly with each other

在本文中,我们提出了一种架构,将这一见解提炼成一个简单的连接模式:

为了确保网络中各层之间的最大信息流,我们将所有层(具有匹配的特征映射大小)直接彼此连接。

To preserve the feed-forward nature, each layer obtains additional inputs from all preceding layers and passes on its own feature-maps to all subsequent layers.

为了保留前馈层的优点,每一层都从所有前面的层获取额外的输入,并将其自己的特征图传递给所有后续的层。

Figure 1 illustrates this layout schematically.

图1以示意图的方式说明了这种布局。

Crucially, in contrast to ResNets, we never combine features through summation before they are passed into a layer; instead, we combine features by concatenating them. Hence, the l th layer has l inputs, consisting of the feature-maps of all preceding convolutional blocks.

至关重要的是,与 ResNets 相比,我们在特征传递到层之前从未通过求和来组合特征;

相反,我们通过连接它们来组合特征。

因此,第l层有l个输入,由所有先前卷积块的特征图组成。

Its own feature-maps are passed on to all L−` subsequent layers. This introducesL(L+1) 2 connections in an L-layer network, instead of justL, as in traditional architectures. Because of its dense connectivity pattern, we refer to our approach as Dense Convolutional Network (DenseNet).

它将自己的特征图传递到所有 L-` 后续层。

这也意味着在 L 层网络中引入了 L(L+1) 2 个连接,而不是像传统架构中那样仅有 L个连接。

由于其密集连接的模式,我们将这个方法称为密集卷积网络 (DenseNet)。

A possibly counter-intuitive effect of this dense connectivity pattern is that it requires fewer parameters than traditional convolutional networks, as there is no need to relearn redundant feature-maps. Traditional feed-forward architectures can be viewed as algorithms with a state, which is passed on from layer to layer.

这种密集连接模式的看上去可能违反直觉,但是它需要的参数比传统的深度卷积网络要少,

因为不需要重新学习冗余的特征图。传统的前馈架构可以看作是一个具有状态的算法,

它在层之间传递。

Each layer reads the state from its preceding layer and writes to the subsequent layer. It changes the state but also passes on information that needs to be preserved. ResNets [11] make this information preservation explicit through additive identity transformations. Recent variations of ResNets [13] show that many layers contribute very little and can in fact be randomly dropped during training.

每层从其前一层读取状态并写入后续层。它改变了状态,但也传递了需要保留的信息。

ResNets [11] 通过加性恒等变换使这些信息保存下来。

ResNets 的最新变体 [13] 表明,许多层贡献很少,实际上可以在训练期间随机丢弃。

This makes the state of ResNets similar to (unrolled) recurrent neural networks [21], but the number of parameters of ResNets is substantially larger because each layer has its own weights.

这使得 ResNet 的状态类似于(展开)循环神经网络 [21],

但 ResNet 的参数数量要大得多,因为每一层都有自己的权重。

Our proposed DenseNet architecture explicitly differentiates between information that is added to the network and information that is preserved. DenseNet layers are very narrow (e.g., 12 filters per layer), adding only a small set of feature-maps to the "collective knowledge" of the network and keep the remaining featuremaps unchanged—and the final classifier makes a decision based on all feature-maps in the network.

我们提出的 DenseNet 架构明确区分了添加到网络的信息和需要保留的信息。

DenseNet 层非常窄(例如,每层 12 个过滤器),

仅向网络的“集体知识”添加一小组特征图并保持其余特征图不变

——最终的分类器根据网络中的所有特征图做出决定。

Besides better parameter efficiency, one big advantage of DenseNets is their improved flow of information and gradients throughout the network, which makes them easy to train. Each layer has direct access to the gradients from the loss function and the original input signal, leading to an implicit deep supervision [20]. This helps training of deeper network architectures. Further, we also observe that dense connections have a regularizing effect, which reduces overfitting on tasks with smaller training set sizes.

除了更好的参数效率外,DenseNets 的一大优势是它们在整个网络中改进了信息和梯度流

这使得它们易于训练。

每一层都可以直接访问损失函数和原始输入信号的梯度,从而得到隐式深度监督[20]

这有助于训练更深层次的网络架构

此外,我们还观察到密集连接具有正则化效果,这减少了对训练集大小较小的任务的过度拟合

We evaluate DenseNets on four highly competitive benchmark datasets (CIFAR-10, CIFAR-100, SVHN, and ImageNet).

我们在四个极具竞争力的基准数据集(CIFAR-10、CIFAR-100、SVHN和ImageNet)上评估DenseNet。

Our models tend to require much fewer parameters than existing algorithms with comparable accuracy. Further, we significantly outperform the current state-of the-art results on most of the benchmark tasks.

我们的模型通常需要比现有算法更少的参数,同时具有与其相当的准确度。

此外,我们在大多数基准测试任务上明显优于当前最先进的结果。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/429552.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

淄博烧烤、洛阳汉服......爆火,揭秘实体店客流爆满的秘诀!

淄博烧烤、云南泼水、洛阳穿越...... 沉寂了3年后,线下实体消费终于又开始火热起来,临近五一小长假,国内外旅游订单出现井喷式增长,线下消费持续迎来新一轮的高峰。 而这些热点,也带动了周边很多相关的实体店&#xff…

美团外卖平台的部分外卖 SPU数据实操练习

一、环境要求 Hadoop hive spark hbase开发环境 开启hadoop:start-all.sh开启zookeeper:zkServer.sh start开启hive:nohup hive --service metastore &nohup hive --service hiveserver2 & 打开hive界面:beeline -u j…

Ubuntu16.04安装NCNN和Opencv

一、安装NCNN 官网:NCNN官方文档 On Debian, Ubuntu or Raspberry Pi OS, you can install all required dependencies using: 首先安装NCNN的依赖项,根据官网安装以下依赖项。 sudo apt install build-essential git cmake libprotobuf-dev protobuf-…

dc-4靶机渗透

1.信息搜集,扫描存活主机,扫描端口,服务,发现开放80,22端口,cms没有看到 nmap 192.168.85.0/24 nmap -p1-66535 192.168.85.175 nmap -sv 192.168.85.1752.访问网站,发现登录框,根据提示&#…

360安全卫士 - 设置技巧 / 关闭广告

360安全卫士 - 设置技巧 / 关闭广告前言同步设置基本设置弹窗设置开机小助手安全防护中心漏洞修复木马查杀功能大全管理360文件夹游戏管家健康助手前言 360安全卫士是一款免费的PC安全软件,拥有垃圾清理、病毒查杀、启动项管理等功能。虽然有一些广告,但…

【Python】python技能树之包含元祖的列表升降序

文章目录前言一、实际操作二、使用步骤总结前言 大家都知道,在Python里面可以使用.sort方法或者sorted函数对各种数据进行排序,例如: 一、实际操作 a [2, 3, 1, 9, 3, 7, 4] a.sort() b [2, 3, 1, 9, 3, 7, 4] c sorted(b, reverseTrue…

Linux中的网络

文章目录一 、查看网络配置1.2 route命令—查看路由条目1.3 1.3hostname命令—查看主机名称1.4netstat命令—查看网络连接情况二 、测试网络连接2.1 ping 命令2.2 traceroute命令—跟踪数据包的路由途径2.3 mtr—动态跟踪网络2.4 nslookup命令—测试域名解析三 、使用网络配置命…

迎难而上,阿里高频考点2023Java岗面试突击手册

上周我接到一位粉丝的私信说目前互联网形势实在对他太不友好,感觉自己每个技术栈都会一点,但不是完全精通。基本二面三面的时候就挂了,已经完全不知道该朝哪个方向努力了,希望可以给他一些建议和方法指导。那么,本次就…

[golang gin框架] 20.Gin 商城项目-商品模块功能

一.商品模块数据表ER图关系分析商品模块数据表相关功能关系见:[golang gin框架] 16.Gin 商城项目-商品模块数据表ER图关系分析二.商品相关界面展示商品列表该商品列表有如下功能1.增加商品按钮:跳转到增加商品页面2.搜索功能:输入商品名称,点击搜索3.修改商品字段(上架,精品,新…

软件测试入门第一步:编写测试报告

什么是测试报告? 1、说明:是指把测试的过程和结果写成文档,对发现的问题和缺陷进行分析,为纠正软件的存在的质量问题提供依据,同时为软件验收和交付打下基础。 ps. 【测试过程和测试结果的分析报告,以及上线…

大爽pygame入门教程 第一节 基础知识 练习提示与答案

作者自我介绍:大爽歌, b站小UP主 ,编程1对1辅导老师 1 逐行展示 思路提示 点击触发 之前的多行展示,是通过循环实现的。 这一回要点击触发一行的展示,不能直接使用循环了。 这里我们往更深层次去思考一下: 之前循环…

【CSS】margin 外边距负值使用案例 ( 正常外边距 | 使用外边距负值实现边框重叠 | 重叠边框突出显示 )

文章目录一、正常外边距案例二、使用外边距负值实现边框重叠三、重叠边框突出显示案例1、使用相对定位2、使用 z-index 设置定位盒子层级一、正常外边距案例 margine 正常情况下使用 , 设置 float 浮动 , 使得相邻的盒子模型紧贴在一起 ; 如果设置边框 , 则相邻的边框会重叠在…

A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models论文学习

一、概述 Motivation:GPT系列的模型,像GPT-3,CodeX,InstructGPT,ChatGPT,尽管很多人关注他们能力的不同,但是很少关注GPT系列模型随着时间变化其能力的变化情况。 Methods: 在9个NL…

【LeetCode】轮转数组

👻内容专栏:《LeetCode刷题专栏》 🐨本文概括:189.轮转数组 🐼本文作者:花 碟 🐸发布时间:2023.4.12 目录 思想1 暴力求解 代码实现: 思想2 三次倒置 代码实现&#…

Linux使用宝塔面板搭建网站,并内网穿透实现公网访问

文章目录前言1. 环境安装2. 安装cpolar内网穿透3. 内网穿透4.固定http地址5. 配置二级子域名6.创建一个测试页面前言 宝塔面板作为简单好用的服务器运维管理面板,它支持Linux/Windows系统,我们可用它来一键配置LAMP/LNMP环境、网站、数据库、FTP等&…

Java阶段二Day02

Java阶段二Day02 文章目录Java阶段二Day02SpringMVC的部分主流程HTTP请求Request1:请求行2:消息头3:消息正文HTTP响应Response1:状态行2:响应头3:响应正文通过版本迭代仿写SpringBootV1BirdBootApplication…

云安全—etcd未授权漏洞cert证书遗失

0x00 前言 今儿来看看etcd未授权漏洞以及cert证书遗失问题 0x01 etcd简述 1.etcd是什么 etcd是采用go语言编写的一个分布式的key-value存储。 2.etcd作用 etcd主要用于解决集群管中的OS升级的分布式并发控制以及配置文件的存储与分发等问题。在kubernetes集群中&#xff…

《白帽子讲Web安全》世界观安全

1.Web安全简史1.1中国黑客简史对于现代计算机系统来说,在用户态的最高权限是root,也是黑客们最渴望能够获取的系统最高权限。不想拿到“root”的黑客,不是好黑客。在现实世界中,真正造成破坏的,往往并非那些挖掘并研究…

css右外边距失效问题解释以及解决办法

浏览器默认从左往右渲染元素&#xff0c;在没有超出父容器的宽度的前提下 如果子容器的宽度能够被容纳 设置margin-right是没有用的 解释 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title></title…

Linux环境搭建SVN服务器并实现公网访问 - cpolar端口映射

文章目录前言1. Ubuntu安装SVN服务2. 修改配置文件2.1 修改svnserve.conf文件2.2 修改passwd文件2.3 修改authz文件3. 启动svn服务4. 内网穿透4.1 安装cpolar内网穿透4.2 创建隧道映射本地端口5. 测试公网访问6. 配置固定公网TCP端口地址6.1 保留一个固定的公网TCP端口地址6.2 …