机器学习——终身学习

news2024/11/26 16:38:04

在这里插入图片描述

终身学习

在这里插入图片描述

  • AI不断学习新的任务,最终进化成天网控制人类
  • 终身学习(LLL),持续学习,永不停止的学习,增量学习

在这里插入图片描述

  • 用线上收集的资料不断的训练模型

在这里插入图片描述

  • 问题就是对之前的任务进行遗忘,在之前的任务上表现不好

在这里插入图片描述

  • 要同时学好任务,可以将数据放一起进行学习,如果没有一起学的话,会忘记之前的一个

例子

20个QA任务
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 同时学习20个任务的时候在一些任务上是表现不错的,同时会一些技能
  • 连续学的话不太可能学会所有的
    在这里插入图片描述
    在这里插入图片描述
  • 多任务训练可以解决问题!使用所有数据进行训练
  • 存储问题
  • 计算问题
  • 多任务训练可以被视为LLL的上限

在这里插入图片描述

  • 最终我们无法存储所有模型
  • 知识无法在不同任务之间转移

在这里插入图片描述

  • 迁移学习:可以做任务2,因为已经学会了任务1,不关心机器是否仍然能够完成任务1
  • 终身学习:即使我已经学会了任务2,我也不会忘记任务1。
  • 迁移学习是指将从一个任务学到的知识或模型应用到另一个相关任务中的机器学习方法。通过利用已有任务的知识来加速新任务的学习,以解决数据稀缺或训练时间长的问题。
  • 终身学习是一种机器学习范式,旨在模拟人类不断学习的能力,持续积累新知识并适应新环境。终身学习系统可以不断接收新数据、学习新任务,并保持对先前学到知识的更新和利用,以实现持续学习和适应性。

评估

在这里插入图片描述

  • 一些任务序列和相关内容,包括任务1到任务10的排列、时间单位以及一些类别的描述。

在这里插入图片描述
在这里插入图片描述

  • 三种评估方式:
    • 学完所有任务之后,再对每个任务计算指标并计算平均指标
    • 每学完一个任务之后跟之前学完自己任务之后的指标进行求差的平均
    • 在还没有看过其他任务的时候,使用此时的情况减去第一个

可能的解法

在这里插入图片描述

选择性的突触的可塑性

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 为什么会发生灾难性遗忘的内容,涉及到任务1和任务2的错误曲面,其中颜色较深的部分表示损失较小。

  • 灾难性遗忘的原因在于神经网络在学习新任务时会忘记先前学习的任务,导致先前任务的信息丢失。在这种情况下,任务1和任务2的错误曲面显示了损失较小的部分,这可能表明神经网络在学习这两个任务时存在一定程度的重叠,导致出现灾难性遗忘。因为神经网络更倾向于记住新任务的信息,而忘记旧任务的信息,这可能会导致先前任务的损失加剧。
    在这里插入图片描述

  • 选择性突触可塑性:基本思想是模型中的一些参数对于先前的任务非常重要。只改变那些不重要的参数;每个参数 θ i θ_i θi都有一个“守卫” b i b_i bi

  • 如果bi为0,表示对应参数θi的“守卫”机制认为该参数对当前任务的重要性较低,可以被视为不重要的参数,会被重新学习。

  • 如果bi为正无穷,表示对应参数θi的“守卫”机制认为该参数对当前任务的重要性非常高,是不可或缺的重要参数。在这种情况下,根据“选择性突触可塑性”的概念,这样的重要参数将被视为必须保留不变,不会被改变或调整,以确保先前任务学习到的重要知识得以保留并应用到新任务中。

在这里插入图片描述

  • 对于任务1和任务2,参数θ2和参数b1较小,而参数b2较大。这意味着可以修改参数θ1,但不改变参数θ2。

在这里插入图片描述

  • 任务A、任务B和任务C的训练情况,以及使用的训练时间、EWC, L2、SGD等相关信息

在这里插入图片描述

  • b i b_i bi的设置方式有多种,包括
    • 弹性权重保持(Elastic Weight Consolidation,EWC)
    • 突触智能(Synaptic Intelligence,SI)
    • 记忆感知突触(Memory Aware Synapses,MAS)
    • RWalk
    • 切片Cramer保留(Sliced Cramer Preservation,SCP)

改变任务的顺序对结果会有较大的影响

GEM

对梯度方向上做选择去更新参数,需要把过去的资料存下来来修改g的方向,不需要大量的资料
在这里插入图片描述

  • 梯度情节记忆"(Gradient Episodic Memory,GEM)涉及到任务1和任务2,以及负责当前任务的梯度g和负责先前任务的梯度g’之间的关系。梯度g表示当前任务的负梯度,而梯度g’表示先前任务的负梯度,它们之间的乘积大于等于0。这种方法需要来自先前任务的数据以更新方向。

增加网络资源分配

在这里插入图片描述

渐进式神经网络

在这里插入图片描述

  • 渐进式神经网络(Progressive Neural Networks)是一种用于处理逐步增加任务复杂性的神经网络结构。在渐进式神经网络中,每个新任务都会引入一个新的神经网络模块,而不会破坏先前任务的学习。这种方法允许神经网络在逐步学习新任务的同时保留先前任务的知识,从而实现对多任务学习的有效管理和应用。通过逐步增加模块来处理新任务,渐进式神经网络能够在不同任务之间实现知识共享和迁移,提高整体学习效率和性能。
  • 渐进式神经网络的一些缺点包括:
  1. 网络结构复杂性增加: 随着每个新任务引入一个新的神经网络模块,网络结构会变得越来越复杂,可能导致计算资源需求增加和训练时间延长。
  2. 参数冗余: 每个任务都会引入新的神经网络模块,这可能导致参数冗余,使得模型变得庞大且难以管理。
  3. 遗忘问题: 在处理多任务学习时,可能会出现遗忘问题,即学习新任务时会影响先前任务的表现,导致灾难性遗忘。
  4. 知识共享限制: 每个任务有自己独立的神经网络模块,可能限制了不同任务之间的有效知识共享和迁移。
  5. 训练稳定性: 随着模型复杂性的增加,可能会影响训练的稳定性和收敛速度,增加了调参的难度。

在小数据集上表现还是可以的

PackNet

在这里插入图片描述

  • 先训练一个大的模型,在不同的任务时只用其中的一部分
  • PackNet是一种用于神经网络压缩和加速的方法。它采用了一种称为“PackNet”的结构,通过将神经网络的参数分组打包,以实现更高效的计算和存储。PackNet的主要思想是将网络参数分成多个组,每个组称为一个“包”(pack),然后对每个包应用特定的压缩技术,例如低秩近似、量化或剪枝等,以减少参数量并提高计算效率。
  • 通过使用PackNet,可以在不损失太多性能的情况下大幅减少神经网络的参数量和计算复杂度,从而实现模型的轻量化和加速。这种方法在资源受限或对速度要求较高的场景下特别有用,可以帮助提高模型的推理速度和在嵌入式设备上的部署效率。

内存回复

在这里插入图片描述
内存回复(Memory Replay)是一种机器学习中的技术,用于增强模型的学习和泛化能力。在传统的机器学习训练中,通常使用静态的训练数据进行模型的训练和更新。然而,内存回复引入了一种记忆机制,允许模型在训练过程中保存和重播先前的经验。

内存回复的基本思想是将具有代表性的训练样本存储在一个内存缓冲区中,然后在后续的训练中周期性地从内存中提取样本,并将其与当前的训练数据一起使用。这样做的好处是可以增加训练样本的多样性和数量,从而提供更全面和丰富的训练信号,有助于模型更好地捕捉数据中的模式和结构。

生成数据

在这里插入图片描述

  • 使用生成模型生成伪数据来处理先前任务,以及生成任务1数据、解决任务1、任务2的训练数据和解决任务2等步骤
  • 旨在利用生成模型为先前任务生成数据,以帮助解决新任务
增加新类别

在这里插入图片描述

  • 学习无遗忘(Learning without forgetting,LwF):旨在解决在学习新任务时导致先前任务遗忘的问题。LwF方法通过在训练过程中结合新任务数据和先前任务的知识,以确保在学习新任务时不会忘记先前任务的信息。
  • iCaRL: 增量分类器和表示学习(Incremental Classifier and Representation Learning
  • 连续学习的三种场景等内容

课程学习

在这里插入图片描述

  • 不同任务的顺序对最终的结果也是有影响的
  • 课程学习(Curriculum Learning)是一种机器学习技术,通过按照难度或复杂性的顺序对模型进行一系列任务的训练。课程学习的思想是通过逐渐呈现越来越具有挑战性的训练样本,促进学习过程。
  • 在传统的机器学习方法中,训练数据通常是随机或按照固定顺序呈现的。然而,课程学习承认在模型学习更复杂的概念之前,某些模式或概念可能更容易或更直观地学习。通过以有意义的顺序组织训练数据,课程学习旨在引导模型按照一种课程或教学大纲学习,模仿人类学习的方式。
  • 课程可以根据特定问题领域和任务的要求以各种方式设计。例如,在计算机视觉任务中,课程可以从包含清晰模式的简单图像开始,逐渐引入具有遮挡或变化的更复杂图像。类似地,在自然语言处理中,课程可能涉及从简单的句子结构开始,逐渐引入更复杂的语法构造。
  • 课程学习的主要动机是提高模型的学习效率和泛化性能。通过逐渐向模型展示越来越困难的示例,它可以在现有知识的基础上构建,并学习更强大的表示。课程学习已在计算机视觉、自然语言处理和强化学习等各个领域证明有效。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1530863.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MySQL数据库的基本概念与安装

目录 引言 一、数据库的基本概念 (一)数据、表与数据库 1.数据(Data) 2.表 3.数据库 (二)数据库管理系统 (三)数据库系统 二、数据库的发展 三、主流数据库的介绍 (一)关…

基于BusyBox的imx6ull移植sqlite3到ARM板子上

1.官网下载源码 https://www.sqlite.org/download.html 下载源码解压到本地的linux环境下 2.解压并创建install文件夹 3.使用命令行配置 在解压的文件夹下打开终端,然后输入以下内容,其中arm-linux-gnueabihf是自己的交叉编译器【自己替换】 ./config…

杰发科技AC7801——读取Flash数据做CRC校验

查看Keil的编译结果发现总共6160个字节。计算结果如下, 代码如下 #include "ac780x_crc.h" #include "ac780x.h" #include "ac780x_debugout.h" #include "string.h" #include "ac780x_eflash.h"#define TestSi…

2024年第二届亚洲前沿图像处理会议(AAIP 2024)即将召开!

2024年第二届亚洲前沿图像处理会议(AAIP 2024)将于2024年7月26-28日在泰国曼谷召开。本次会议由温特沃斯理工学院、国立中山大学、泰国国立法政大学联合主办,JOIG期刊参与支持。会议旨在促进图像处理相关领域学术交流与合作,热忱欢迎从事相关技术研究的专…

【PyQt】17-日历控件

文章目录 前言一、代码二、运行结果总结 前言 固定格式的表述 日期的获取 一、代码 #Author :susocool #Creattime:2024/3/19 #FileName:40-日历控件 #Description: 日历控件的展示 import sys from PyQt5.QtCore import * from PyQt5.QtWidgets import * from PyQ…

麒麟 V10 一键安装 Oracle 11GR2(231017)单机版

Oracle 一键安装脚本,演示 麒麟 V10 一键安装 Oracle 11GR2 单机版过程(全程无需人工干预):(脚本包括 ORALCE PSU/OJVM 等补丁自动安装) ⭐️ 脚本下载地址:Shell脚本安装Oracle数据库 脚本第…

代码随想录算法训练营第十一天| 20. 有效的括号、1047. 删除字符串中的所有相邻重复项、150. 逆波兰表达式求值

题目:20. 有效的括号 文章链接:代码随想录 视频链接:LeetCode:20.有效的括号 题目链接:力扣题目链接 图释: class Solution { public:// 有效的括号 bool isValid(string s) {// 遇到左括号时就放入右括号&#xf…

【C语言】结构体类型名、变量名以及typedef

文章目录 分类判断结构体成员的使用typedef 分类判断 struct tag {char m;int i; }p;假设定义了上面这一个结构体,tag 就是类型名, p 就是变量名, m 和 i 就是结构体成员列表。 可以这么记,括号前面的是类型名,括号后…

尝试搭建谷粒商城 记录(四)

1、分布式组件 父工程引入依赖(已完成) spring boot 2.1.8.RELEASE spring cloud Greenwich.SR3 spring cloud alibaba 2.1.0.RELEASE 1. nacos用作服务注册中心 1、nacos下载安装 下载地址: https://github.com/alibaba/nacos/rel…

教务管理系统(java+mysql+jdbc+Druid+三层架构)

1、项目要求 1.1数据库表描述 设计一个教务管理系统,要求如下: 系统涉及的表有 account表(账号表) teacher表(教师表) student表(学生表) course表 (课程表) score表(成…

【运维】MacOS Wifi热点设置

目录 打开热点 配置共享网段 打开热点 打开macOS设置,进入通用->共享 点击如下图标进行配置, 会进入如下界面(⚠️目前是打开共享状态,无法修改配置,只有在未打开状态才能进入配置) 配置完成后&#x…

STM32-DMA数据转运

DMA进行转运的条件 1:开关控制,DMA_CMD必须使能2:传输计数器必须大于03:触发源必须有触发的信号

短剧app系统开发:在短剧爆发期普通人如何实现收益?

今年春节,几部大热短剧抓住了流量密码,在市场中掀起了一股新的短剧热潮。在短剧火爆的诱惑下,吸引了越来越多的人进行到短剧市场中,市场规模迅速暴涨,已超五百多亿元! 随着互联网的发展,各类影…

宝宝洗衣机买几公斤?四款实力扛鼎婴儿洗衣机推荐

对于有了宝宝的家庭来说,洗衣成为了一项重要的家务事。大家都知道,宝宝的皮肤比较娇嫩,容易受到各种细菌、病毒的侵扰。所以,宝宝的衣物应该与大人的分开单独清洗。婴儿洗衣机作为一种专门为婴幼儿家庭设计的洗衣机,其…

Vue.js前端开发零基础教学(二)

目录 前言 2.1 单文件组件 2.2 数据绑定 2.2.2 响应式数据绑定 2.3 指令 2.3.1 内容渲染指令 2.3.2 属性绑定指令 ​编辑 2.3.3 事件绑定指令 2.3.4 双向数据绑定指令 2.3.5 条件渲染指令 2.3.6 列表渲染指令 2.4 事件对象 2.5 事件修饰符 学习目标&am…

VR消防安全体验馆的作用|元宇宙文旅|VR设备价格

VR消防安全体验馆的作用主要包括以下几个方面: 提高火灾防范意识: 通过虚拟现实技术展示各种火灾场景和应急情况,让参观者身临其境地感受到火灾的危险性,从而增强他们的火灾防范意识。 实战演练能力: 参观者可以在虚拟…

安科瑞ASCP 系列电气防火限流式保护器

背景 随着社会经济的飞速发展,电气化程度不断提高,用电负荷过大、线路短路等原因导致电气火灾发生越来越频繁,使得火灾数量呈上升趋势。 据公安部消防局5年的统计分析,电气火灾发生的场所中,住宅发生火灾事故的数量高…

本地gitlab-runner的创建与注册

引言 之前通过一些方式在本地创建runner,时而会出现一些未知的坑,所以写下本文记录runner可以无坑创建的方式。 以下注册runner到相应仓库的前提是已经在本地安装了gitlab-runner 具体安装方式见官网 本地gitlab-runner安装常用的指令 查看gitlab r…

【设计模式】Java 设计模式之模板命令模式(Command)

命令模式(Command)的深入分析与实战解读 一、概述 命令模式是一种将请求封装为对象从而使你可用不同的请求把客户端与接受请求的对象解耦的模式。在命令模式中,命令对象使得发送者与接收者之间解耦,发送者通过命令对象来执行请求…

ZEM系列台式扫描电镜在陶瓷材料中的应用

陶瓷是一种常见的无机非金属材料,由于其优异的物理化学性能,在航空航天、电子信息、生物医药、高端装备制造等高端科技领域随处可见。如制造电子线路中的电容器用的电介质瓷,制造集成电路基片和管壳用的高频绝缘瓷等。陶瓷材料以其独特的声、…