小样本学习--学习记录

news2024/12/29 10:21:52

之前在做课题的时候,把数据不均衡和小样本的概念混淆了,昨天看了一篇论文:《 面向小样本数据的机器学习方法研究综述 (陈良臣,傅德印)》 ,这篇论文写的非常清晰。推荐阅读。
网上的一些综述整理都是根据《小样本学习研究综述(赵凯琳)》这篇论文:知乎上的一篇笔记

一、论文里的一些概念

  1. 小样本学习的概念以及目的?

小样本学习是面向小样本数据的机器学习。目前小样本 学习的研究主要关注如何在缺乏足够样本条件下,仅通过较少 数量的样本就能理解事物的本质特征,避免过拟合并给出泛化 性良好的结果。

  1. “小样本”指多少数据?

根据训练样本数量将小样本学习分为3类:只 有一个训练样本,称为单样本学习;不存在目标训练样本,称 为零样本学习;目标训练样本在数十个量级时,称为小样本学 习。很多文献将这3类统称为小样本学习,前两类为特殊情况 。

  1. 目前学者们的研究方法?

基于模型微调、基于数据增强、基于度量学习和基于元学习。

在这里插入图片描述

二、基于数据增强

因为我之前一直在做GAN算法的学习,所以为了解决小样本问题,重点关注数据增强这一方法。
在论文《 面向小样本数据的机器学习方法研究综述 (陈良臣,傅德印)》中,作者给出了一些引用文献,我把GAN相关的文献全部下载下来(到arxiv、知网、google搜索就能简单找到,所以不放在博客里记录了),并进行一个整理。

  1. GAN

文 献[37]提出了生成对抗网络模型 GAN,基于博弈论思想将噪声 分布映射到接近数据的真实分布,对小样本数据进行数据增强。
Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]. In: Advances in Neural Information Processing Systems, 2014,27:2672−2680

  1. DAGAN

文献[38]在生成对抗网络基础上,提出了数据增强生成对抗网络 DAGAN,组合 UNet 和 ResNet,通过生成与样本近似分布的增强数据来改善模型质量。 Antoniou A, Storkey A, Edwards H. Data augmentation generative adversarial networks[J]. arXiv preprint arXiv:1711.04340,2017

这篇知乎上的翻译,大致看来是增加局部信息,使生成的样本效果更好。和小样本关系不大。先忽略。另外,码住比较易懂的一篇笔记;翻译1;翻译2。

  1. 生成对抗残差成对网络

文献[39]提出了一种生成对抗残差成对网络来处理单样本学习问题。 Mehrotra A, Dukkipati A. Generative adversarial residual pairwise networks for one shot learning[C].preprint arXiv: 1703.08033, 2017.

中文资料较少,融合扩充-双重特征提取应用于小样本学习

  1. Meta-GAN

文献[42]提出了一种 Meta-GAN 模型,结合生成对抗网络和分类网络优化,使用产生的数据进行小样本数据增强。 Zhang R, Che T, Ghahramani Z, et al. Metagan: An adversarial approach to few-shot learning[C]. Advances in neural information processing systems, 2018:2365-2374.

简书社区的论文阅读,没有完全看完,只看了前面的一部分,Meta-GAN相当于是一种改进算法,在MAML 、Reaction net基础上添加的,由于这两种基础算法还没有看,所有暂时不考虑使用Meta-GAN做课题。

  1. f-VAEGAN-D2

文献[44] 结合变分编码器和 GAN,集成新网络,完成小样本学习分类,并 使得生成样本的特征空间具有可解释性。 Xian Y,Sharma S, Schiele B, et al. f-VAEGAN-D2: A feature generating framework for any-shot learning. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition. 2019. 10275−10284.

csdn的一个博客;知乎上的论文翻译

  1. CWGAN

文献[45]利用 CWGAN 生成扩充数据集以提高分类能力和生成样本的多样性。 Chen WJ. Semi-supervised learning study summary. Academic Exchange, 2011,7(16):3887−3889

没看,应该不适用于小样本。

  1. f-DAGAN

文献[46] 提出了一种适用于小样本学习的数据增强生成对抗网络 f-DAGAN,使用双重鉴别器来处理生成的数据和生成的特征空间,以更好地学习给定的数据。 Bharat Subedi, V. E. Sathishkumar, V. Maheshwari.
Feature LearningBased Generative Adversarial Network Data Augmentation for Class-Based Few-Shot Learning[J]. Mathematical Problems in Engineering. 2022:1-20.

DAGAN:CSDN上的一个博客;知乎上的一篇,但是写的不详细,但给了代码链接

三、码住其他有用的链接

1.小样本学习研究综述 赵凯琳1,2,靳小龙1,2 , 王元卓1,2 ,这篇论文对四种研究方法都有一定的介绍,另外很贴心的把引用的所有文献的原文链接都放在了下面。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/383992.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2月VR大数据:硬件份额变化不大,PS VR2首发游戏超50款

Hello大家好,每月一期的VR内容/硬件大数据统计又和大家见面了。 想了解VR软硬件行情么?关注这里就对了。我们会统计Steam平台的用户及内容等数据,每月初准时为你推送,不要错过喔!本数据报告包含:Steam VR硬…

擅长捉弄的内存马同学:Valve内存马

前言 内存马的文章已经很久没有更新过了, 这篇文章不太适合想直接学习利用Valve内存马的师傅 ,因为我这篇文章可能会有大篇笔墨去说Tomcat容器,至于原因就是我想更深入的了解一些Tomcat,而Valve内存马属于已经被师傅们玩烂了的一…

现场设备发生故障,如何第一时间通知相关人员?

一、前言 虹科物联网HMI作为一站式物联网解决方案,致力于解决用户在数据采集和可视化、远程监控、边缘计算、软PLC、数据存储(SQL数据库和CSV文件)、数据上云(OPC UA、MQTT)等方面的需求,帮助企业快速实现…

运营数据分析模型—用户画像

用户画像 伴随着大数据应用的讨论、创新,个性化技术成为了一个重要落地点。相比传统的线下会员管理、问卷调查、购物篮分析,大数据第一次使得企业能够通过互联网便利地获取用户更为广泛的反馈信息,为进一步精准、快速地分析用户行为习惯、消费习惯等重要商业信息,提供了足…

SpringCloud系列(十四)[分布式搜索引擎篇] - 索引库及文档的增删改查操作

本文主要介绍一下索引库及文档的一些增删改查操作, 以下都是一些常用的操作, 无需死记硬背, 只需要用到的时候常翻阅即可;   当然学习索引库和文档的一些基本操作还是要先在虚拟机启动一下 elasticsearch 及 kibana, 启动成功后输入 172.16.xx.xxx:5601 后出现以下界面即启动成…

信创-东方通和达梦适配

1 TLQ8.0 简单的例子,发送MQ,然后收消息连接是一样的,要不断去拉取数据消费的public static void main(String[] args) {//发送消息的目的队列String queName "lq";//连接工厂类QueueConnectionFactory queueConnectionFactory n…

制造业仓库很乱,该如何有效的管理呢?

首先来统计一下制造业仓库很乱的问题: 1.管理多仓库/多店铺,库存不清2.库存控制不合理,出现滞销与脱销的情况3.库存盘点时间长,数据不准确在传统管理模式下,一些中小型制造业的仓库,物料摆放位置、明细等都…

TOOLS_Seaborn相关性可视化分析示例

TOOLS_Seaborn相关性可视化分析示例 相关性应用场景 如要回答 推测 网站留存、观看时长、收藏次数、转发次数、关注数之间是否存在相关性,以及相关性有多大的问题; 对于更有关注的留存,可以尝试分析一个与其相关性比较大的因素&#xff0c…

【大数据专题】大数据理论基础01之分布式CPA原理深入理解

分布式CAP定理 CAP定理又称CAP原则,指的是在一个分布式系统中,Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),最多只能同时三个特性中…

编写一个Vue插件,上传NPM官网开源使用

插件开发及上传NPM流程 完成组件封装、组件完成统一封装成插件插件入口文件配置src/main.js 中引入口文件、安装插件配置 package.json 文件npm run lib 打包umd.min.js 配置到 package.json登录 NPM 上传插件npm i 安装引入使用 一、编写好组件 二、插件入口文件配置 plugins/…

更安全更稳定,阿里云斩获多项云系统稳定安全运行优秀案例

近日,阿里云凭借在稳定性领域的全栈投入,获评中国信通院混沌工程实验室 2022 年度杰出贡献企业,并斩获“云系统稳定安全运行优秀案例”活动中多领域优秀案例。阿里云持续推动企业 IT 系统建设,保障千行百业安全稳定的实现数字化转…

普通人如何用AI帮你干活——娱乐1

案例描述:一天朋友突然发信息跟我说:看你朋友全最近总在显摆AI作画,看起来好像有点牛逼;我家小朋友最近在参加一个国家绘画比赛,能不能让你的AI帮忙画几张有趣的有创意的画。给小朋友做灵感启发,小朋友可以…

如何处理负面评论?利用负面评论发挥优势

每家公司都应该做的一件事:回复评论! 37%的买家积极考虑对评论的回应,以评估和对品牌的看法。所以不要忘记回复评论! 如何处理负面评论 如果您的公司正在经历大量负面评论,请了解您的产品团队如何利用它们来发挥自己的…

CSS隐藏元素、BFC、元素居中、布局

1、css中有哪些方式可以隐藏页面元素?区别是什么?1.1 display:none元素在页面上将彻底消失,元素本身占有的空间会被其他元素占有,导致浏览器的重排和重绘。特点:元素不可见,不占据空间,不会触发…

面试阿里自动化测试工程师被狂虐,回家猛补3个月,成功上岸字节

前言 大家好,我是小祖,个人背景:985中下游,无大厂实习(小厂打杂),无竞赛,无相关论文。 毕业几年,表面上用过很多技术,但都没能深入学习,一年的工…

python 支付宝营销活动现金红包开发接入流程-含接口调用加签

1 创建网页/移动应用 2 配置接口加签方式 涉及到金额的需要上传证书,在上传页面有教程, 在支付宝开放平台秘钥工具中生成CSR证书,会自动保存应用公钥和私钥到电脑上,调用支付宝接口需要应用私钥进行加签 上传完CSR证书后会有三个…

互联网衰退期,测试工程师35岁的路该怎么走...

国内的互联网行业发展较快,所以造成了技术研发类员工工作强度比较大,同时技术的快速更新又需要员工不断的学习新的技术。因此淘汰率也比较高,超过35岁的基层研发类员工,往往因为家庭原因、身体原因,比较难以跟得上工作…

DSP_TMS320F28335_PIE学习笔记

前言 本文重点探讨DSP PIE模块的学习笔记,由于学这部内容的时候,是用28335学的,所以标题是用的28335,但其实28377D和28335的PIE使用基本上是一样的,也是可以借鉴的。 正文 原理 讲点原理,PIE&#xff0…

linux minio更改密码MINIO_ACCESS_KEY报错

minio版本RELEASE.2020-11-13T20-10-18Z启动文件配置如下cat run.sh#!/bin/bashexport MINIO_ACCESS_KEYminioexport MINIO_SECRET_KEYfasffnohup /opt/minio/minio.RELEASE.2020-11-13T20-10-18Z server http://192.168.100.x/data/minio_data http://192.168.100.x/data/mini…

Docker中对已存在运行的容器修改端口映射

一、初次创建容器,指定宿主机和容器端口的映射,如下示例: docker run -itd -p 11935:1935 -p 11985:1985 -p 18080:8080 -p 20903:20903 -p 18888:8888 \ --restartalways \ -v /srv/srs3/conf/:/usr/local/srs/conf/ \ -v /srv/srs3/objs/:…