2022 VeLO: Training Versatile Learned Optimizers by Scaling Up

news2024/11/18 3:25:51

VeLO: Training Versatile Learned Optimizers by Scaling Up

通过扩展模型的规模来训练一个通用的优化器。

设计上,优化器的原理基于元学习的思路,即从相关任务上学习经验,来帮助学习目标任务。

相比迁移学习,元学习更强调获取元知识,它是一类任务上的通用知识,可以被泛化到更多任务上去。

基于这一思想,VeLO也会吸收梯度并自动输出参数更新,无需任何超参数调优,并自适应需要优化的各种任务。

架构上,AI优化器整体由LSTM(长短期记忆网络)和超网络MLP(多层感知机)构成。

其中每个LSTM负责设置多个MLP的参数,各个LSTM之间则通过全局上下文信息进行相互协作。

训练上,AI优化器采用元训练的方式,以参数值和梯度作为输入,输出需要更新的参数。

image-20230114165015842

Introduction

在meta-training中存在的问题?

在meta-learning中,数据集(也就是大量的Tasks)不容易收集(不像image、text这样的任务):In meta-learning, a large training dataset corresponds to a large set of tasks, which are representative of the tasks a practitioner might want to optimize. Unlike image and text data that can be gathered from the internet, there is no standardized or automated way to collect these tasks

什么是一个Learned update rules呢?

回忆一下SGD,其中优化器的更新是一个fixed-form,即下一个参数=上一个参数-梯度*学习率(也有可能不是一个固定的学习率,但必然是一个超参数)。而在Learned update rules中,我们可以把这个更新函数进行参数化,变成一个可学习的neural networks with meat-parameters, 它使用梯度信息作为输入, U ( g , . . . ; θ ) U(g, ...; θ) U(g,...;θ)

进一步地,除了梯度信息作为输入,还可以讲loss、当前的参数值等信息作为参数输入进来。

什么是Meta-training?

Meta-training is the process of fifinding the (meta-)parameters θ of the update rule U(·; θ) such that the resulting optimizer performs well on some specifified meta-objective.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/163959.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2023年批量下载和改名音频专辑(单页列表)

一、下载原理 1)找到目标音频的专辑网页,这里以 kite runner mp3为例。(需要自己找) https://www.xi___ma___la_____ya.com/album/71718770 2)进入详细页(称为一次请求URL)(不需要…

JUC(java.util.concurrent)的常见类

文章目录一、JUC常见类Callable 接口ReentrantLockSemaphore(信号量)CountDownLatch一、JUC常见类 concurrent代表了并发,这个包下为我们提供了并发编程(多线程)相关的组件. Callable 接口 我们的Callable接口和Runnable是一样的,但也有一些区别: Run…

C/C++实现跨年表白烟花

跨年表白烟花使用c/c实现烟花效果(小白进)分析诉求,拆分问题头文件贯穿全文的媒体部分文字部分:进入烟花弹部分烟花弹的属性初始化烟花弹让烟花弹飞起来烟花爆炸烟花弹的属性初始化烟花让烟花炸起来完成代码:使用c/c实…

840个最优的机器学习python开源项目整理分享

本资源包含了840个很棒的机器学习开源项目,总共270万颗星分为32个类别。所有项目均按项目质量得分排名,该得分是根据从GitHub和不同程序包管理器自动收集的各种指标计算得出的。资源整理自网络,资源获取见源地址:https://github.c…

三星手机提取微信聊天数据

三星手机提取微信聊天数据的方法,无需root。 注意,暴力破解密码需要英伟达显卡,一小时内破解,无显卡可能要两天。 1. 安装USB驱动,通过S换机助手,备份微信软件至电脑。注意,选择不加密。 三星…

[硬核] Bootstrap Blazor Table 综合演示例子

知识点: 1.导入导出 2.分页功能 3.增删改查 4.批量删除 5.批量编辑(审核) 6.列排序与列搜索 7.顶部搜索实现所有列搜索 8.高级搜索实现多条件搜索 9.顶部与刷新与视图列 10.实现文本类型明细行 11.列的统计 12.隐藏列,时间日期列格式化 13.新窗口打开 14.随机数据 15.自由编辑…

DVWA靶机CSRF全难度(未完)

目录 Low难度 medium难度 Cross Site Request Forgery跨站的请求伪造 原理:利用受害者尚未失效的身份认证信息、会话;诱骗其访问黑客设计号的页面,在受害人不知情的情况下以受害人的身份向服务器发送请求完成非法操作 Low难度 源代码 &l…

十二、RabbitMQ 报错汇总

🌻🌻 目录一、报版本过低问题一、报版本过低问题 问题: error: Failed dependencies: libcrypto.so.1.1()(64bit) is needed by erlang-25.1.2-1.el8.x86_64 libcrypto.so.1.1(OPENSSL_1_1_0)(64bit) is needed by erlang-25.1.2-1.el8.x86_…

基于模糊控制的自平衡小车的研究

1、内容简介略635-可以交流、咨询、答疑2、内容说明随着人类文明的发展,传感器技术、计算机应用技术、机械学、微电子技术、通讯技术以及人工智能技术也得到了飞速的发展。进入21世纪后,在机器人学和机器人技术领域,自平衡小车已成为其中的重…

LeetCode 2293. 极大极小游戏

【LetMeFly】2293.极大极小游戏 力扣题目链接:https://leetcode.cn/problems/min-max-game/ 给你一个下标从 0 开始的整数数组 nums ,其长度是 2 的幂。 对 nums 执行下述算法: 设 n 等于 nums 的长度,如果 n 1 ,…

【OpenCV】形态学操作 | 图像平滑 | 边缘检测 | Laplacian算子

Ⅰ. 形态学操作 0x00 腐蚀和膨胀 腐蚀和膨胀是最基本的形态学操作,腐蚀和膨胀都是针对白色部分(高亮部分)而言的。 膨胀就是使图像中的高亮部分扩张,效果图拥有比原图更大的高亮区域;腐蚀是原图中的高亮区域被蚕食&…

C语言文件补充笔记2:VS查看定义、文件章节涉及到的函数

1 VS查看函数的定义与库的原码 (1)查看库函数的定义 右击要查看的函数,然后“转到定义” 这里就跳转到了定义的所在文件 在右上角关闭相关文件 (2) 查看库原码 将鼠标放到导入的库中,然后右击&#…

给数组创建复制(深拷贝)给数组创建复制(深拷贝)

【小白从小学Python、C、Java】 【计算机等级考试500强双证书】 【Python-数据分析】 数组的深拷贝、浅拷贝、引用拷贝 修改原数组不会影响复制后的数组 numpy.copy() [太阳]选择题 对于以下python代码最后输出的结果是? import numpy as np print("【执行】a np.arang…

awesome平铺窗口使用笔记

这个故事要从vim开始。从入了vim的坑以后,就爱上了平铺窗口模式。在macOS中就开始使用yabai。使用了yabai以后,就很大程序可以用键盘完成大部分操作了。然后我开始用linux,使用的是i3wm。感觉非常不错,几乎就与vim中的窗口管理差不…

[Android Studio] 如何查看Android Studio的版本信息

🟧🟨🟩🟦🟪 Android Debug🟧🟨🟩🟦🟪 Topic 发布安卓学习过程中遇到问题解决过程,希望我的解决方案可以对小伙伴们有帮助。 📋笔记目…

命令行批量 PDF 转换器:2PDF 2.0.8x Crack

命令行 PDF 转换器 2PDF 是一个专业的命令行实用程序,用于以批处理模式将办公文档和图像转换为 PDF。2PDF 基于命令行界面和语法,通过简单的标准命令提供对批量转换为 PDF 的完全控制。 从 Windows 命令提示符将文档和图像转换为 PDF 2PDF 可以将 PDF 和…

面试官问我微服务注册中心如何保证数据强一致性?头秃了。。。

目录 1、再回顾:什么是服务注册中心?2、Consul服务注册中心的整体架构3、Consul如何通过Raft协议实现强一致性?4、Consul如何通过Agent实现分布式健康检查? 1、再回顾:什么是服务注册中心? 先回顾一下什么…

Promise 详解

Promise 详解示例一个抽奖小游戏原生 JavaScript 实现Promise 实现读取文件原生 JavaScript 实现Promise 实现Promise 对象Promise 对象的状态Promise 对象的创建Promise 对象的状态的改变pending 转换为 fulfilledpending 转换为 rejected与 Promise 对象相关的 APIPromise.th…

Linux---gdb调试方法

1. 背景 程序的发布方式有两种,debug模式和release模式 Linux gcc/g出来的二进制程序,默认是release模式 要使用gdb调试,必须在源代码生成二进制程序的时候, 加上 -g 选项2. gdb调试 进入/退出调试: list/l 行号:显…

佳能2420报错代码E000007-0000

应该是定影的问题,先试一下清零,如果还是出现这个问题,不是电压就是应该换定影了。(包含:轴套、定影膜、缺硅油了【定影膜硅油、润滑脂】) 维修模式菜单: CLEAR > ENGIN > ERRCLR &…