深度学习中有哪些从数学模型或相关理论出发, 且真正行之有效的文章?

news2024/11/15 13:23:41

          自深度学习兴起后,深层网路对图像进行特征学习,将低层次的基础特征聚合成更高级的语义特征,取得突出的识别效果,在图像识别、分割及目标检测三大领域得到了众多应用。深度学习算法基本上是由多个网络层搭建,每个网络层可获得图像的一种特征表示,再将特征进行线性、非线性组合,随着网络层的深度增加,特征由基本浅层特征(比如角度、像素位置等)逐步转化为具有高层语义的高级特征,最终形成低维度且具有高识别度的特征表达。鉴于这类算法中特征提取器的参数主要是根据训练样本不断训练、反馈式地调整,因此该类型的算法有个共同的缺点就是需要大量的训练样本及其对应的标签,而且目前对网络的特性和具体配置 (包括网络需要多少层,为什么要使用多层,需要多少个内部和输出神经元,又如何优化滤波器和非线性操作)尚没有统一的结论。而且,为了对抗掉图像平移、旋转、形变等存在的一些基本变化,所研究的网络提取到的特征应该具备平移、旋转不变性、形稳定性等基本特性。此外,网络的设计理念也应该具备一定的理论依据。

        2012 年,法国工程学院院士Mallat 教授(我崇拜的学者,还有Meyer教授,阿贝尔奖获得者,还有Daubechies教授,有幸和她见过一次)深受深度学习结构框架思想的启发,提出了基于小波变换的小波散射变换,并以此构造了小波散射卷积网络。小波散射卷积网络的结构类似于CNN,不同的是其滤波器是预先确定好的小波滤波器,小波滤波器的参数不需要通过训练样本学习得到,其网络是非反馈式的。信号通过计算半离散小波变换,再通过非线性取模操作,得到的信号特征表达具有平移不变性、形变稳定性等优良特性,正好满足机器学习中对特征提取器的基本要求。此外,这些基本性质在数学上得到了严格的理论证明,弥补了CNN缺乏理论支撑的不足。经过大量试验,小波散射网络在手写体识别、纹理和音频分类任务中取得了突出的分类效果,尤其在小样本的情况下,相较于CNN获得了更小的分类错误率,因此小波散射卷积网络具有一定的优势以及研究意义。

         此外,再简单介绍一下小波散射网络的发展历程。自 21 世纪起,小波理论的奠基人之一 Mallat 等便开始对卷积神经网络的数学分析与研究。2012 年,Mallat以CNN结构为基础,提出小波散射变换,并以此为基础构造出了小波散射卷积网络。小波散射变换将原始信号通过预先设定好的小波滤波器和取模的非线性操作,得到的结果作为对该信号所提取的特征,经过理论验证,小波散射卷积网络具有平移、旋转不变性、形变稳定性等基本特性,CNN相比,小波散射网络由于采用了固定的小波核,无需反馈过程,因此摆脱了对训练样本的依赖性。自 2012年后,小波散射网络在国外就受到各界的广泛关注并且开始逐步在各个领域加以应用,其应用范围涉及信号处理领域的时频分析、计算机视觉方面的各种识别问题,例如纹理识别等,甚至拓展到生命科学领域,如生物神经信号的分析、检测与预测等方面。2013年,Mallat 将小波散射网络应用到语音时频分析领域,将提取出的语音信号特征直接用来分类,实现了在音频信号分类方面的应用。同年 8 月,Mallat 又将小波散射卷积网络拓展到二维信号分析中,将小波散射卷积网络作为特征提取器,提取出的特征直接用 SVM (高斯核) 和 PCA 进行分类,取得了手写数字和纹理辨别方面的最新分类结果,特别是在具有标签的样本数较小的情况下,与CNN相比,该网络获得了更低的分类错误率。2016 年,Mallat 对小波散射网络进行综述,系统地介绍该网络的核心思想、应用领域及发展现状。同年 6 月,瑞士应用数学家 Wiatowski 从理论上验证了几种具有不同的下采样率和非线性操作的散射网络,进一步阐述了Mallat 的小波散射卷积网络研究成果对应用数学领域的思想启发。2018年,Wiatowski 对小波散射变换做了进一步的深入研究,主要考察其基本的数学性质,对此进行了严密的数学推导和理论证明,进一步证明小波散射变换在特征提取方面的优越性,并将其理论进行了推广,得到泛化后的小波散射框架即一般化的散射卷积网络的框架与结构。2019 年,Li将 Mallat的研究成果进一步拓展,将时频 Gabor 变换与小波散射卷积网络的网络框架相结合,提出了时频散射变换,并构造出了时频散射卷积网络,在高光谱识别等方面也取得了不错的成果。综上所述,小波散射卷积网络凭借其理论较为完备,所需具有标签的样本少等优势,在艺术鉴赏、天文学、量子化学、生物医学、雷达目标识别与探测等方面的应用遍地开花,而且取得了突出的应用效果,引起了国内外研究学者的广泛关注。

给几个例子,代码见评论区链接

基于小波散射算法的空气压缩机异常噪声诊断

注意:运行环境为MATLAB R2021b。本算法用于确定压缩机中的健康状况和7种异常状况下的噪声,所有音频数据均以16 kHz 的频率采集。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/164809.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot自动装配

前言 Spring翻译为中文是“春天”,的确,在某段时间内,它给Java开发人员带来过春天,但是随着我们项目规模的扩大,Spring需要配置的地方就越来越多,夸张点说,“配置两小时,Coding五分…

Open3D Usage

Open3D UsageWhat is open3Dopen3D 核心功能包括:python quick start交互指令显示点云**read_point_cloud** ParametersReturnPointCloud的属性:加载ply点云:显示单帧点云:批量单帧显示点云可视化**draw_geometries** Parameters含…

Uniswap v3 详解(三):交易过程

交易过程 v3 的 UniswapV3Pool 提供了比较底层的交易接口,而在 SwapRouter 合约中封装了面向用户的交易接口: exactInput:指定交易对路径,付出的 x token 数和预期得到的最小 y token 数(x, y 可以互换)e…

Studio One2023新版本更新功能介绍

Studio One 6是一款非常专业的音乐创作编辑软件。为用户提供了所有一切你所需要创作的功能,包括所有的歌曲、项目、仪表板等动能,而且还自定义添加配置文件,良好的界面交互和丰富的功能板块,再结合优秀的性能,能够满足…

基于SpringBoot的SSMP整合(数据层)

模块创建 新建&#xff1a; 添加依赖项&#xff1a; 由于parent没有版本维护&#xff0c;还需在pom.xml文件再次添加&#xff1a; <dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version…

Django REST framework--类视图

Django REST framework--类视图基于类的视图APIView类视图generics通用类视图视图集DRF框架路由基于类的视图 项目开发中要不断思考如何让代码保持高内聚&#xff0c;低耦合&#xff0c;因此优化代码的道路上一直都不停歇。目前开发的视图是基于函数形式的&#xff0c;特点是灵…

Effective Objective-C 2.0学习记录(四)

学习记录15.用前缀避免命名空间冲突16.提供“全能初始化方法”17.实现description方法debugDescription&#xff1a;18.尽量使用不可变对象19.使用清晰而协调的命名方式类与协议的命名20.为私有方法名加前缀21.理解OC错误模型22.理解NSCopying协议深拷贝和浅拷贝15.用前缀避免命…

【1-神经网络计算】北京大学TensorFlow2.0

课程地址&#xff1a;【北京大学】Tensorflow2.0_哔哩哔哩_bilibiliPython3.7和TensorFlow2.1六讲&#xff1a;神经网络计算&#xff1a;神经网络的计算过程&#xff0c;搭建第一个神经网络模型神经网络优化&#xff1a;神经网络的优化方法&#xff0c;掌握学习率、激活函数、损…

ArcGIS基础实验操作100例--实验99三维爆炸分析

本实验专栏参考自汤国安教授《地理信息系统基础实验操作100例》一书 实验平台&#xff1a;ArcGIS 10.6 实验数据&#xff1a;请访问实验1&#xff08;传送门&#xff09; 空间分析篇--实验99 三维爆炸分析 目录 一、实验背景 二、实验数据 三、实验步骤 &#xff08;1&…

Open3D ICP精配准(使用鲁棒性核函数,Python版本)

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 标准的ICP算法(点到平面)是使得下面这个目标函数最小化: 其中 p 、 q p、q p、q是相对应的匹配点,

RocketMQ5.0.0路由中心NameServer

一、NameServer概览NameServer是RocketMQ的注册中心&#xff0c;是消息存储Broker、生产者、消费者沟通的桥梁。NameServer集群之间是相互独立的&#xff0c;Broker启动时向所有NameServer注册中心注册。通过DLedger构建NameServer集群&#xff0c;实现如主从切换等功能。启动N…

【笔记】大话设计模式24-28

【笔记】大话设计模式24-28 文章目录【笔记】大话设计模式24-2824 职责链模式24.1 Example24.2 定义24.3 Show me the code24.4 总结25 中介者模式25.1 Example25.2 定义25.3 Show me the code25.4 总结26 享元模式26.1 Example26.2 定义26.3 Show me the code26.4 总结27 解释…

aws s3 参与s3game寻找宝藏游戏挑战学习s3对象存储

参考资料 Pirates S3game workshop http://s3game-level1.s3-website.us-east-2.amazonaws.com/level1.html https://blog.benclmnt.com/notes/s3-game/ https://awscli.amazonaws.com/v2/documentation/api/latest/reference/s3/index.html 强烈推荐这种寓教于乐的方式学…

【ROS2 入门】ROS 2 actions 概述

大家好&#xff0c;我是虎哥&#xff0c;从今天开始&#xff0c;我将花一段时间&#xff0c;开始将自己从ROS1切换到ROS2&#xff0c;在上一篇中&#xff0c;我们一起了解ROS 2中Parameters&#xff0c; 这一篇&#xff0c;我们主要会围绕ROS中另外一个重要的概念“Actions ”来…

Linux 系统调用的实现(x86_64)

目录 1、系统调用的定义 1.1 SYSCALL_METADATA宏 1.2 __SYSCALL_DEFINEx定义 2、系统调用表-sys_call_table数组的定义 3、用户态系统调用流程 kernel 5.10 1、系统调用的定义 系统调用的定义我们其实都不陌生&#xff0c;类似这样的函数SYSCALL_DEFINE0&#xff0c; SYSC…

C语言常见错误汇总

1 数组遍历时使用sizeof(a) 任务&#xff1a;有个数组&#xff0c;找出第二大的数&#xff0c;并且打印出来&#xff08;使用*操作数组元素个数&#xff0c;不要使用[]&#xff09; #include<stdio.h> int main01() {int a[] { 100,100,100,234,123,500,32,68,41,99,1…

code.org免费的少儿编程入门平台

现在市面上的少儿编程课&#xff0c;都是先花9.9就能体验几节课&#xff0c;然后要花几千块才能继续学习后面的课程。这些钱大可不必花。 现在给大家推荐一个免费的网站&#xff0c;code.org&#xff0c;它是一个非营利组织创办的网站&#xff0c;目标是让每个学生都能像生物、…

高并发系统设计 --多级缓存

为了提高系统的性能&#xff0c;一般会引入“缓存机制”&#xff0c;将部分热点数据存入缓存中&#xff0c;用空间换取时间&#xff0c;以达到快速响应的目的。 我们对缓存的认知停留在redis&#xff0c;但其实缓存远远不是只有redis的&#xff0c;从客户端发起请求开始&#…

MySQL整体使用》导入数据、约束、多表查询、事务、变量类型、资源占用

我发的MySQL相关内容&#xff1a; C#基础知识体系框架图&#xff0c;及起对应我发过的博客 linux安装mysql8配置使用&#xff0c;并解决常见问题 MySQL常用命令&#xff08;DQL&#xff09; 执行脚本命令&#xff0c;本地生成SQL文件后在服务器执行 // 进入mysql命令控制 m…

svg绘(viewBox viewport preserveAspectRatio)代替png图片等

当我们的代码中需要一个小图标的时候没必要去iconfont进行下载图标使用 要是下载的png格式那么容量还很大 远不如svg 直接自己代码写 记住svg的坐标朝向和数学坐标轴不一样 实现下图添加的小图标 <svg width"20px" height"20px" style"border: …