《论文阅读21》Group Equivariant Convolutional Networks

news2025/1/21 7:18:50

   一、论文

  • 研究领域:机器学习
  • 论文:Group Equivariant Convolutional Networks
  • PMLR  Proceedings of Machine Learning Research

  • 2016 

  • 论文链接

 二、论文简述

三、论文详述

群等变卷积网络

  • Abstract 

我们引入群等变卷积神经网络(G-CNN),卷积神经网络的自然泛化,通过利用对称性降低样本复杂度。G-CNN使用G卷积,这是一种新型的层,它享有比常规卷积层更高程度的权重共享。G-卷积在不增加参数数量的情况下增加了网络的表达能力。组卷积层易于使用,并且对于由平移、反射和旋转生成的离散组,可以以可忽略的计算开销来实现。G-CNN在CIFAR 10和旋转MNIST上实现了最先进的结果。

  • Introduction

深度卷积神经网络(CNN,convnets)已被证明是非常强大的感知数据模型,如图像,视频和音频。虽然目前缺乏强有力的神经网络设计理论,但大量的经验证据支持卷积权重共享和深度(以及其他因素)对于良好的预测性能都很重要。

卷积权重共享是有效的,因为在大多数感知任务中存在平移对称:标签函数和数据分布都近似地不随移位而变化。通过使用相同的权重来分析或建模图像的每个部分,卷积层使用的参数比完全连接的少得多,同时保留了学习许多有用变换的能力。

卷积层可以在深度网络中有效地使用,因为这样的网络中的所有层都是平移等变的:移动图像然后将其馈送通过多个层与将原始图像馈送通过相同的层然后移动所得到的特征图(至少达到边缘效果)相同。换句话说,对称性(平移)由每一层保持,这使得不仅可以在网络的第一层中利用它,而且可以在更高层中利用它。

在本文中,我们展示了如何将卷积网络推广到利用更大的对称性,包括旋转和反射。等方差的概念是这种推广的关键,因此在第2节中,我们将讨论这个概念及其在深度表示学习中的作用。在讨论了第3节中的相关工作之后,我们回顾了第4节中的一些数学概念,这些概念允许我们以通用的方式定义和分析G卷积。在第5节中,我们分析了标准CNN的等变特性,并表明它们对平移是等变的,但可能无法与更一般的变换等变。使用第4节的数学框架,我们可以通过类比标准CNN(后者是翻译组的G-CNN)来定义G-CNN(第6节)。我们证明了G-卷积以及现代CNN中使用的各种层,如池化、任意逐点非线性、批量归一化和残差块都是等变的,因此与G-CNN兼容。在第7节中,我们提供了群卷积的具体实现细节。

在第8节中,我们报告了MNIST-rot和CIFAR 10的实验结果,其中G-CNN实现了最先进的结果(MNIST-rot上的2.28%误差和CIFAR 10上的4.19%误差)。CIFAR 10增强型和普通型为6.46%)。我们表明,用G-卷积替换平面卷积一致地改善了结果,而无需额外的调谐。在第9节中,我们提供了这些结果的讨论,并考虑几个扩展的方法,在第10节结束之前。

2.结构化和等变表示

深度神经网络通过一系列参数化函数映射输入来产生一系列逐渐更抽象的表示(LeCun et al.2015)。在当前一代的神经网络中,表示空间通常具有非常小的内部结构,例如线性空间Rn。

在本文中,我们构造的表示,具有一个线性G-空间的结构,对于一些选定的群G。这意味着表示空间中的每个向量都具有与其相关联的姿态,该姿态可以通过某个变换组G的元素进行变换。这种额外的结构使我们能够更有效地建模数据:G-CNN中的滤波器检测具有优选相对姿态的特征的共现,并且可以通过称为G卷积的操作在每个全局姿态中匹配这样的特征星座。

一个表示空间可以从它所连接的其他表示空间获得它的结构。为了实现这一点,将一个表示映射到另一个表示的网络或层Φ应该是结构保留的。对于G-空间,这意味着Φ必须是等变的:

也就是说,通过变换g(Tg x)来变换输入x,然后将其传递通过学习的映射Φ,应该给予与首先将x映射到Φ然后变换表示相同的结果。

等变性可以通过许多方式实现,特别是算子T和T′不需要相同。对T和T′的唯一要求是,对于任意两个变换g和h,我们有T(gh)= T(g)T(h)(即T是G的线性表示)。

从等式1中我们看到,我们熟悉的不变性概念是一种特殊的等变性,其中T′ g是所有g的恒等变换。在深度学习中,广义等方差比不变性更有用,因为如果特征是不变的,就不可能确定它们是否处于正确的空间配置。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/950938.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

景联文科技数据标注:人体关键点标注用途及各点的位置定义

人体关键点标注是一种计算机视觉任务,指通过人工的方式,在指定位置标注上关键点,例如人脸特征点、人体骨骼连接点等,常用来训练面部识别模型以及统计模型。这些关键点可以表示图像的各个方面,例如角、边或特定特征。在…

《异常检测——从经典算法到深度学习》22 Kontrast: 通过自监督对比学习识别软件变更中的错误

《异常检测——从经典算法到深度学习》 0 概论1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法3 基于One-Class SVM的异常检测算法4 基于高斯概率密度异常检测算法5 Opprentice——异常检测经典算法最终篇6 基于重构概率的 VAE 异常检测7 基于条件VAE异常检测8 Donut: …

【UE】Texture Coordinate 材质节点

目录 一、简介 二、属性介绍 (1)参数:U平铺 (2)参数:V平铺 (3)参数:解除镜像U (4)参数:解除镜像V 三、 节点构成原理 四、初级…

java企业工程项目管理系统源码(三控:进度组织、质量安全、预算资金成本、二平台:招采、设计管理)

工程项目管理软件(工程项目管理系统)对建设工程项目管理组织建设、项目策划决策、规划设计、施工建设到竣工交付、总结评估、运维运营,全过程、全方位的对项目进行综合管理 工程项目各模块及其功能点清单 一、系统管理 1、数据字典&#xff…

docker 本地镜像发布到私有库

1、下载镜像 Docker Registry docker pull registry 2、运行私有库Registry,相当于本地有个私有Docker hub 默认情况,仓库被创建在容器的/var/lib/registry目录下,建议自行用容器卷映射,方便于宿主机联调 docker run \ -d \ -p…

Linux 通过 Docker 部署 Nacos 2.2.3 服务发现与配置中心

目录 环境准备Nacos 数据库创建Docker 部署 Nacos1. 创建挂载目录2. 下载镜像3. 创建和启动容器4. 访问控制台 导入 Nacos 配置SpringBoot 整合 Nacospom 依赖application.yml 配置 参考官方链接微服务商城源码 环境准备 名称版本IP端口Nacos2.2.3192.168.10.218848、9848MySQ…

餐厅固定资产怎么管理?

餐厅固定资产的管理需要做到以下几点:  固定资产购置:餐厅的固定资产包括设备、家具、厨房用品等,购置时需要注意质量和价格,并进行登记。  固定资产登记:将餐厅的固定资产名称、型号、规格、数量、单价、金额、购…

postgresql-子查询

postgresql-子查询 简介派生表IN 操作符ALL 操作符ANY 操作符关联子查询横向子查询EXISTS 操作符 简介 子查询(Subquery)是指嵌套在其他 SELECT、INSERT、UPDATE 以及 DELETE 语句中的 查询语句。 子查询的作用与多表连接查询有点类似,也是为…

成年T1D患者肠道微生物与宿主血糖

Biomamba荐语 今天分享的是一篇发表在《Diabetes Care》(IF17.1)上题为"The Gut Microbiome of Adults With Type 1 Diabetes and Its Association With the Host Glycemic Control."的文章,主要的实现方式为扩增子测序,所以不意外&#xff0…

深入浅出RPC框架 | 青训营

Powered by:NEFU AB-IN 文章目录 深入浅出RPC框架 | 青训营 RPC 框架分层设计远程函数调用(RPC)介绍名词解释一次RPC过程RPC好处和弊端分层设计编解码层协议层网络通信层 RPC 关键指标分析与企业实践稳定性保障策略请求成功率长尾请求注册中间件&#xf…

期权交易权限开通:需满足哪些要求,开通流程是怎样的?

现在期权开通方式多种多样,一种是50万元券商开通的正规渠道,一种是民间第三方期权分仓平台0门槛开通的方式,期权的买方风险有限收益无限,卖方风险无限收益有限,下文介绍期权交易权限开通:需满足哪些要求&am…

Android中级——消息机制

消息机制 概念ThreadLocalMessageQueueLooperHandlerrunOnUiThread() 概念 MessageQueue:采用单链表的方法存储消息列表Looper:查询MessageQueue是否有新消息,有则处理,无则等待ThreadLocal:用于Handler获取当前线程的…

基于鹰栖息算法优化的BP神经网络(预测应用) - 附代码

基于鹰栖息算法优化的BP神经网络(预测应用) - 附代码 文章目录 基于鹰栖息算法优化的BP神经网络(预测应用) - 附代码1.数据介绍2.鹰栖息优化BP神经网络2.1 BP神经网络参数设置2.2 鹰栖息算法应用 4.测试结果:5.Matlab代…

cs231n_1_IntroToConv

参考的视频来自如下链接https://www.bilibili.com/video/BV1Ed4y1b7bm/ 参考笔记如下https://blog.csdn.net/TeFuirnever/article/details/89059673 x.1 CV历史 生物快速发展于5.4亿年前,那时的化石显示生物进化出了视觉,视觉使得生物多样性大爆炸。 …

探索回文链表:识别中轴,判断对称性

如何识别回文链表呢?大家可以先思考一下,看看能不能做出力扣234. 回文链表这道题目。 识别以head为头结点的链表是否为回文链表分为三个步骤,分别是: 找出链表的中间结点mid。如果链表有偶数个结点,则找出偏右边的结点…

怎么把pdf图片转换成jpg?pdf转jpg的方法分享

pdf文件在我们的日常工作中非常的常见,因为这种文件安全性高,不会轻易的乱码,所以受到了我们的欢迎,但是它不容易被编辑,而且占用内存会比较大,所以我们需要将pdf文件进行转换,接下来小编会为大…

什么是synchronized的重量级锁

今天我们继续学习synchronized的升级过程,目前只剩下最后一步了:轻量级锁->重量级锁。 通过今天的内容,希望能帮助大家解答synchronized都问啥?中除锁粗化,锁消除以及Java 8对synchronized的优化外全部的问题。 获…

(笔记五)利用opencv进行图像几何转换

参考网站:https://docs.opencv.org/4.1.1/da/d6e/tutorial_py_geometric_transformations.html (1)读取原始图像和标记图像 import cv2 as cv import numpy as np from matplotlib import pyplot as pltpath r"D:\data\flower.jpg&qu…