关于机器学习/深度学习的一些事-答知乎问(五)

news2025/3/17 1:15:04

嵌入学习方法在解决小样本学习问题时面临的挑战是什么?

(1)过度依赖于辅助数据,预训练的模式违背了小样本学习的本质定义。几乎所有的嵌入学习方法都需要通过大量辅助样本来预训练特征嵌入函数,但在实际应用场景中,很多时候数据量受限,使用辅助样本的思路显得不切实际。还有,使用的辅助数据与当前任务样本的相关性较低时,嵌入学习方法会学习到较差的特征嵌入函数,不利于后续准确地对样本分类,而各类嵌入学习模型或多或少都会面临这种问题,但目前没有较好的解决方法。

(2)模型的设计与训练都过于偏向当前特定的任务基准,对其他任务样本的适用性和泛化性不够。在现有的研究工作中,将模型推广到新的但与目标任务无关的样本并保证其能够对样本快速学习也是需要实现的目标,但是每一类嵌入模型都过度针对特定的基准任务(Episodic Training的子任务)和数据集(辅助数据与目标任务)设计,削弱了对其他任务(新任务)的适用性。

(3)特征嵌入函数的训练模型对信息的结合以及参数的迁移不够明确,缺乏足够的可解释性。人们只知道训练样本的特征嵌入函数时学习了网络参数,但对于训练过程中如何使用外部先验知识以及如何结合目标任务的特征信息等相关细节并不是特别清晰,需要更加明确信息(知识)结合以及参数迁移的过程。

(4)对度量选择依据的讨论不够明确,缺乏对每个方法的最优度量选择的分析。度量的选择会影响小样本学习的最终学习效果,然而各嵌入学习方法并没有权威地讨论本方法选择度量的依据以及选择何种距离度量是最佳的(取得最好的学习效果)。

(5)样本学习的过程中忽视了类内差异的影响。现阶段关于样本类内差异的研究相对较少,大部分嵌入学习方法关注的重点是类间差异,类内差异也会对样本学习的准确率产生影响,这是当前工作需要解决的点。

(6)当前研究工作的梯度迁移算法还不是很合理, 大多是针对传统机器学习领域中的大数据集学习,算法实现过程中容易出现过拟合问题。在 Episodic training中,每次训练时子任务在学习知识的过程中梯度下降是较缓慢的。当模型迁移到新任务时,受限于样本数量较少,模型期望快速收敛的目标显得十分关键,需要梯度快速下降,但梯度下降过快容易导致过拟合问题的出现。因此,目前还需要针对嵌入学习方法设计合理的梯度下降算法来完善当前的工作,满足小样本学习的需求。

(7)对各领域的应用大多在起步阶段,缺乏足够小样本标准数据集供研究。目前嵌入学习方法只有在图像应用领域的发展较为成熟,而对文本分类,声音分类等领域的研究工作仍不成熟。在图像领域中,诸如 MiniImagenet数据集和Omniglot数据集等带标注的数据集已经被广泛使用。而在其他应用领域中,标准数据集仅有少数个例。

匹配网络是什么?

2016年,Vinyals等人在孪生网络的基础上提出了匹配网络MN,他们认为可以 结合外部机制来训练出更好的特征嵌入函数,MN的创新点为以下两点。

一是MN在构建通用特征嵌入函数的过程中加入了优化过程。优化通过记忆机制完成,它的本质是特征信息的接收反馈和适应调整(网络参数的优化),以消除辅助数据随机选择支持集与查询集样本的差异性。

二是MN在度量模块中加入了注意力机制,并不直接采用度量距离(余弦距离)来对样本分类, 而是通过带注意力机制的核函数来归类样本。

图片

MN 通过外部机制的融合实现了对传统的通用特征嵌入函数的优化,提升了其对目标任务样本的特征嵌入能力,使其更加适应新的任务样本,极大提升了学习的性能。

如何利用嵌入学习方法实现小样本学习?

嵌入学习方法,又称表示学习,嵌入即映射,与降维类似,核心思想是将样本嵌入到低维空间中,将样本特征转化特征向量的形式保存在低维特征空间中,减少假设空间的范围,通过较小的嵌入空间来进一步扩大嵌入样本间的区分度,使得同类样本联系更加紧密,而异类样本分布则更加分散,它的关键在于如何嵌入样本特征以及特征嵌入之后如何学习。

小样本场景中,嵌入学习方法的核心思想是训练优秀的特征嵌入函数来实现对样本的映射,旨在让样本在较小的样本特征嵌入空间具有更加清晰的区分度。 嵌入学习方法主要由嵌入模块和度量模块组成,嵌入模块的功能是利用CNN构建并训练特征嵌入函数,将样本以特征向量的形式映射到特征空间中;度量模块则选择合适的度量函数计算样本的相似度度量,完成对样本的分类。

通常,为了保证小样本学习的性能,嵌入学习方法采用Episodic Training的跨任务学习模式(借鉴元学习的思想),旨在将对整个目标任务样本集的学习转换为多个子任务的多次学习。

图片

一般情况下,嵌入学习方法对特征嵌入函数的训练很大程度依赖于辅助数据,在辅助数据中学习的是通用特征信息,而在目标任务样本中学习的是特定特征信息。嵌入学习方法可以只利用辅助数据的外部先验知识或目标样本的内部先验知识来训练特征嵌入函数,也可以同时结合两种特征信息来获得特征嵌函数。因此,依据训练特征嵌入函数的过程中结合任务特征信息的方式,可以划分为单一嵌入模型和混合嵌入模型。

单一嵌入模型

包括孪生网络

图片

匹配网络

图片

原型网络

图片

关系网络

图片

图神经网络

图片

信息检索法

图片

孪生学习网络

图片

动态条件卷积网络

图片

任务相关自适应度量

图片

病理图像分割的挑战是什么?

(1) 由于组织病理图像中组织基元高密度分布、基元间出现重叠、缠绕,使得传统基于图分析方法的检测与分割很难获得正确的结果。

(2) 对于病理状态图像而言,由于染质稀疏、背景杂斑干扰、表观多样等,基于有效特征提取的个体基元精准实例分割是一个挑战性问题。

(3) 对于不同类型的病理图像而言,由于图像特性存在显著差异,如何设计一个普适的分割方法是一个重要且具有挑战性的研究问题。

(4) 大多数已有的分割方法只局限于重叠或接触基元的简单分割,精确的完整轮廓推断能够显著改进个体基元的形态计算精度。

(5) 在已有方法中,检测与分割是两个相互独立的过程,如何设计一个统一的框架,联立执行检测与分割是亟待解决的问题。

(6) 已有深度学习方法需要较大规模的训练数据集以经验拟合深层网络参数,如何设计更加高效模型提升表征学习能力是当前的研究热点之一。

无人机航拍语义分割技术存在的挑战是什么?

(1)无人机航拍数据集。无人机航拍数据集的多样化导致了无人机航拍数据集的不统一,无法像通用场景的语义分割拥有较为标准的数据集作为实验基准和评价。

其次,无人机航拍图像在低空和高空的图像特征并不相同而且差异较大,当无人机在低空飞行时,航拍图像包含人、树木、道路、斑马线等,图像包含物体种类多样,物体细节丰富;当无人机航拍图像在高空飞行时,航拍图像大多包含建筑物、山脉、森林等。目前无人机航拍图像语义分割研究很少提及模型和数据集是用于低空还是高空环境,但无人机不同高度的航拍图像有较大的差别应予以区分。当无人机穿越不同高度时,图像特征也可能会变化,从而影响语义分割模型。例如,当无人机依靠图像实现着陆时,航拍图像会跨越多个飞行高度。

(2)实时语义分割和轻量化模型。实时性和准确性在语义分割模型中较难平衡,现阶段语义分割模型研究重点主要还是在模型精度上,但是对于无人机等嵌入式设备上,设备运算效率较低,存储资源有限,需要响应更快的轻量化模型。

(3)三维语义分割。随着激光雷达点云等设备的应用,点云等三维数据的获取更为便捷,目前大量的无人机航拍语义分割模型工作基于二维图像、三维图像数据集以及语义分割模型是未来的一个研究方向。

(4)弱监督和无监督语义分割。弱监督和无监督语义分割模型可以不依赖大量标注的数据集,但精度仍需 提高。

深度神经网络下的小样本学习策略有哪些?

采用数据增强的策略,为小样本数据集生成新数据。

图片

采用度量学习的策略,模拟样本之间的距离分布,使用非参数估 计的方法进行分类。

图片

采用外部记忆的策略,向模型中添加额外的记忆来保存一些信息,帮助模型进行学习。

图片

采用参数优化的策略,通过优化模型的参数或学习算法来加速网络学习。

图片

小样本故障诊断存在的问题及发展方向?

首先在实际生产过程中,数据往往难以收集,小样本条件下的故障诊断是有一定的现实意义的。

(1)从数据生成角度看,深度生成模型都需要大量的计算资源,模型难以训练。而且数据生成的效果依赖充足的真实数据,当真实数据数不足或者特征不明显时,生成效果较差。

(2)从辅助数据集角度看,迁移学习和元学习旨在将相关的辅助数据集知识应用到目标域中,只需要很少的目标数据就可以训练得到一个性能良好的分类模型。但是当辅助数据集与目标数据集相似程度不足或者辅助数据不充足时,甚至会发生负迁移问题。

(3)从分类模型角度看,需要分类模型从少量数据中提取更多的故障信息,以达到准确分类的目的,但是少量的数据更容易发生过拟合现象。

一些发展方向

首先,现有的基于数据的方法都是从数据生成角度解决小样本问题,忽略了生成样本与真实样本之间的差异,即生成样本包含的故障信息一定少于真实样本,也忽略了不同的特征对分类模型的影响不同。因此,从不同样本或者不同特征具有不同的重要性入手,可以生成包含重要特征的样本,也可以在分类模型训练时,区分重要样本和不重要样本,并分配不同的注意力。注意力机制的基本思想是从原始的数据中找到它们之间的关联性,然后根据需要突出某些重要的特征,即让机器去感知数据中更重要的部分。虽然基于注意力机制的方法并不是针对小样本问题而设计的,但是其原理让机器注意更重要的信息,有望用于小样本的故障诊断。

其次,大部分的小样本故障诊断方法都是聚焦于单模态数据,包含的信息有限。因此可以考虑从不同数据类型出发,利用多模态数据进行故障诊断。在生产中,虽然故障样本较为稀少,但是可以通过布置不同类型或者不同位置的传感器,获得多源多模态数据。这种数据包含的故障信息较单模态数据更加全面、更加广泛,分类模型也可以学习到更多的故障特征。

最后,大多数小样故障诊断的模型都是建立在欧几里德空间,对于非欧几里德数据有所忽视,而图数据作一种非欧几里德数据,包含更多的信息。小样本的故障诊断因为样本的缺乏而导致分类效果不佳,如果能从图数据中提取更多的故障信息,则可以建立一个更加可靠的模型。图神经网络作为一种新兴的神经网络,常用于对图数据的建模和分析。在小样本轴承故障诊断中利用图数据建模有两大优势:(1)图数据包含的信息多于欧式数据,同时包含节点信息和关系信息;(2)在实际的工业过程中传感器信号及其相互关系可以用节点和边的形式表示为图数据。

知乎学术咨询:

哥廷根数学学派 - 知乎

工学博士,担任《Mechanical System and Signal Processing》等期刊审稿专家,擅长领域:现代信号处理,机器学习,深度学习,数字孪生,时间序列分析,设备缺陷检测、设备异常检测、设备智能故障诊断与健康管理PHM等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1598159.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

葡萄书--图理论基础

图的定义 G{V,E} 节点和边的信息可以是类别型的,类别型数据的取值只能是哪一类别。一般称类别型的信息为标签。 节点和边的信息可以是数值型的,数值型数据的取值范围为实数。一般称数值型的信息为属性。 在图的计算任务中,我们认为&#x…

不消除存储瓶颈,AIGC就是梦幻泡影

大数据产业创新服务媒体 ——聚焦数据 改变商业 在大模型和AIGC的新纪元,我们正见证一个前所未有的技术革命。从更自然的人机对话,到图片、视频生成,AIGC技术正在彻底改变我们创造、学习和交流的方式。 然而,这一切进步的背后&am…

【数据结构|C语言版】顺序表应用

前言1. 基于动态顺序表实现通讯录1.1 通讯录功能1.2 代码实现1.2.1 SeqList.h1.2.2 SeqList.c1.2.3 Contact.h1.2.4 Contact.c1.2.5 test.c 1.3 控制台测试1.3.1 添加联系人1.3.2 删除联系人1.3.3 修改联系人1.3.4 查找联系人1.3.5 清空通讯录1.3.6 通讯录读档和存档 2. 好题测…

如何打开一个fbx模型

步骤 ① 下载fbx viewer ,以下是管网链接 FBX Review | Cross-platform 3D model viewer | Autodesk ②需要用邮箱进行注册+确认,这一步完成之后 ③下载之后吧fbx文件导入到这个里面就可以了

NL2SQL进阶系列(4):ConvAI、DIN-SQL、C3-浙大、DAIL-SQL-阿里等16个业界开源应用实践详解[Text2SQL]

NL2SQL进阶系列(4):ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL] NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL] NL2SQL基础系列(2)&#xff1a…

前端导出excel 接口处理和导出处理

如果按照一般的请求方式,接口会返回如下乱码 此时,接口其实已经请求成功了,只需要对乱码进行一下处理就行 1.请求方式处理 1.1 如果是直接使用axios进行请求 axios({method: get,url: url,params: params,//需要添加responseType: blob }…

采用分治法求含n个实数序列中的最大元素和次大元素(C语言)

目录 实验内容: 实验过程: 1.算法设计 2.程序清单 3.复杂度分析 4.运行结果 实验内容: 设计一个程序,采用分治法求含n个实数序列中的最大元素和次大元素,并分析算法的时间复杂度。 实验过程: 1.算法…

深度学习之PyTorch实现卷积神经网络(CNN)

在深度学习领域,卷积神经网络(Convolutional Neural Networks,CNN)是一种非常强大的模型,专门用于处理图像数据。CNN通过卷积操作和池化操作来提取图像中的特征,具有较好的特征学习能力,特别适用…

华为OD机试 - 连续天数的最高利润额(Java 2024 C卷 100分)

华为OD机试 2024C卷题库疯狂收录中,刷题点这里 专栏导读 本专栏收录于《华为OD机试(JAVA)真题(A卷B卷C卷)》。 刷的越多,抽中的概率越大,每一题都有详细的答题思路、详细的代码注释、样例测试…

AI音乐,8大变现方式——Suno:音乐版的ChatGPT - 第505篇

悟纤之歌 这是利用AI为自己制作的一首歌,如果你也感兴趣,可以花点时间阅读下本篇文章。 ​ 导读 随着新一代AI音乐创作工具Suno V3、Stable audio2.0、天工SkyMusic的发布,大家玩自创音乐歌曲,玩的不亦乐乎。而有创业头脑的朋友…

一些实用的工具网站

200 css渐变底色 https://webgradients.com/ 200动画效果复制 https://css-loaders.com/classic/ 二次贝塞尔曲线 https://blogs.sitepointstatic.com/examples/tech/canvas-curves/bezier-curve.html 三次贝塞尔曲线 https://blogs.sitepointstatic.com/examples/tech/c…

百货商场用户画像描绘and价值分析(下)

目录 内容概述数据说明技术点主要内容4 会员用户画像和特征字段创造4.1 构建会员用户基本特征标签4.2 会员用户词云分析 5 会员用户细分和营销方案制定5.1 会员用户的聚类分析及可视化5.2 对会员用户进行精细划分并分析不同群体带来的价值差异 内容概述 本项目内容主要是基于P…

环形链表II

给定一个链表的头节点 head ,返回链表开始入环的第一个节点。 如果链表无环,则返回 null 如果链表中有某个节点,可以通过连续跟踪 next 指针再次到达,则链表中存在环。 为了表示给定链表中的环,评测系统内部使用整数 …

【数据结构|C语言版】单链表

前言1. 单链表的概念和结构1.1 单链表的概念1.2 单链表的结构 2. 单链表的分类3.单链表的实现3.1 新节点创建3.2 单链表头插3.3 单链表头删3.4 单链表尾插3.5 单链表尾删3.6 链表销毁 4. 代码总结4.1 SLT.h4.2 SLT.c4.3 test.c 后言 前言 各位小伙伴大家好!时隔不久…

mysql 日环比 统计

接到一个任务,要计算日环比的情况。 16、查询销售额日环比情况 日环比: (今日-昨日)/ 昨日 的一个比率情况。 1,建表 DROP TABLE IF EXISTS sale; create table sale(id int not null AUTO_INCREMENT,record_date da…

偏微分方程算法之二维初边值问题(交替方向隐(ADI)格式)

一、研究对象 以二维抛物型方程初边值问题为研究对象: 为了确保连续性,公式(1)中的相关函数满足: 二、理论推导 2.1 向前欧拉格式 首先进行网格剖分。将三维长方体空间(二维位置平面一维时间轴&#xff09…

还在担心报表不好做?不用怕,试试这个方法(四)

系列文章: 《还在担心报表不好做?不用怕,试试这个方法》(一) 《还在担心报表不好做?不用怕,试试这个方法》(二) 《还在担心报表不好做?不用怕,…

UE5学习日记——制作多语言版本游戏,同时初步学习UI制作、多语言化、控制器配置、独立进程测试、打包配置和快速批量翻译等

所有的文本类,无论变量还是控件等都能实现本地化,以此实现不同语言版本。 在这里先将重点注意标注一下: 所有文本类的变量、控件等都可以多语言;本地化控制板中收集、编译时,别忘了编译这一步;支持批量复制…

海思Hi3519 DV500 部署yolov5并加速优化

本项目代码已开源,见文末 导出onnx模型 yolov5官方地址 利用官方命令导出python export.py --weights yolov5n.pt --include onnx 或者自写代码导出 import os import sys os.chdir(sys.path[0]) import onnx import torch sys.path.append(..) from models.co…

ASP.NET MVC企业级程序设计 (EF+三层架构+MVP实现查询数据)

目录 效果图 实现过程 1创建数据库 2创建项目文件 3创建控制器,右键添加,控制器 ​编辑 注意这里要写Home​编辑 创建成功 数据模型创建过程之前作品有具体过程​编辑 4创建DAL 5创建BLL 6创建视图,右键添加视图 ​编辑 7HomeContr…