Neural Network Diffusion论文解读

news2024/11/16 13:21:40

详细解读:扩散模型生成神经网络参数,速度快了44倍:Neural Network Diffusion论文解读

摘要:

扩散模型在图像和视频生成方面取得了显著的成功。在这项工作中,我们证明了扩散模型也可以生成高性能的神经网络参数。我们的方法很简单,利用自动编码器和标准潜在扩散模型。自动编码器提取经过训练的网络参数子集的潜在表示。然后训练扩散模型,从随机噪声中合成这些潜在参数表示。然后,它生成通过自动编码器解码器传递的新表示形式,其输出可用作网络参数的新子集。在各种架构和数据集中,我们的扩散过程始终如一地生成与经过训练的网络具有可比或改进性能的模型,同时将额外成本降至最低。值得注意的是,我们通过经验发现,生成的模型在训练网络中的表现不同。我们的研究结果鼓励了对扩散模型的多功能应用的更多探索。

仔细观察神经网络训练和扩散模型,基于扩散的图像生成与随机梯度下降(SGD)学习过程在以下方面具有共性(如图)

i) 神经网络训练和扩散模型的逆向过程都可以看作是从随机噪声/初始化到特定分布的过渡。

ii) 高质量的图像和高性能参数也可以通过多次噪声添加而退化为简单分布,例如高斯分布。

基于上述观察,我们引入了一种新的参数生成方法,称为神经网络扩散(p-diff,p代表参数),它采用标准的潜在扩散模型来合成一组新的参数。这是因为扩散模型能够将给定的随机分布转换为特定的随机分布。我们的方法很简单,包括一个自编码器和一个标准的潜在扩散模型,用于学习高性能参数的分布。首先,对于由 SGD 优化器训练的模型参数子集,对自动编码器进行训练以提取这些参数的潜在表示。然后,我们利用标准的潜在扩散模型从随机噪声中合成潜在表示。最后,将合成的潜在表示传递到经过训练的自动编码器的解码器中,以产生新的高性能模型参数。 

我们的方法具有以下特点:

i) 它在几秒钟内跨多个数据集和架构实现与其训练数据(即由 SGD 优化器训练的模型)相似甚至增强的性能。

ii)我们生成的模型与训练好的模型有很大的不同,这说明我们的方法可以合成新的参数,而不是记住训练样本。我们希望我们的研究能够为将扩散模型的应用扩展到其他领域提供新的见解。

神经网络扩散:


我们提出了神经网络扩散(p-diff),旨在从随机噪声中生成高性能参数。如图 2 所示,我们的方法由两个过程组成,分别是参数自动编码器和生成。给定一组经过训练的高性能模型,我们首先选择这些参数的一个子集,并将它们展平为一维向量。随后,我们引入了一个编码器来从这些向量中提取潜在表示,并伴随着一个负责从潜在表示中重建参数的解码器。然后,训练一个标准的潜在扩散模型,以从随机噪声中合成潜在表示。训练后,我们利用 p-diff 通过以下链生成新参数:随机噪声→反向处理→训练的解码器→生成的参数。 

结果

 表 1 显示了在 8 个数据集和 6 个架构中与两个基线的结果比较。表 1 显示了在 8 个数据集和 6 个架构中与两个基准的结果比较。基于这些结果,我们有以下几点看法:i) 在大多数情况下,我们的方法取得了与两个基线相似或更好的结果。这表明我们的方法可以有效地学习高性能参数的分布,并从随机噪声中生成卓越的模型。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1483656.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

程序员的金三银四求职宝典!

目录 ​编辑 程序员的金三银四求职宝典 一、为什么金三银四是程序员求职的黄金时期? 二、如何准备金三银四求职? 1. 完善简历 2. 增强技术能力 3. 提前考虑目标公司 4. 提前准备面试 三、程序员求职的常见面试题 1. 数据结构和算法 2. 数据库 …

在原有pytorch环境下安装DGL库和其对应的CUDA【自用】

前段时间看到一篇AAAI2024的论文Patch-wise Graph Contrastive Learning for Image Translation,它采用GNN的思想来进行image-to-image translation的任务,非常的新颖,但我进行复现的时候,发现直接下载它里面需要的DGL库是无法运行…

旧的Spring Security OAuth已停止维护,全面拥抱新解决方案Spring SAS

Spring Authorization Server 替换 Shiro 指引 背景 Spring 团队正式宣布 Spring Security OAuth 停止维护,该项目将不会再进行任何的迭代 目前 Spring 生态中的 OAuth2 授权服务器是 Spring Authorization Server 已经可以正式生产使用作为 SpringBoot 3.0 的最新…

C#中什么是非托管代码?托管代码和非托管代码有什么区别

在C#中,托管代码和非托管代码是两种不同类型的代码,它们在内存管理和执行环境上有所不同。 托管代码(Managed Code): 托管代码是由.NET运行时(CLR,Common Language Runtime)管理和执…

Neo4j学习笔记2:使用Neo4j-admin import快速初始化导入数据

上一篇提到过小规模数据如何新增到数据库,但是一旦数据开始变多,效率就不够看了 同样的数据,使用上一篇的方法,预计要26天,但是使用Neo4j-admin import只要1分钟 参考文档在这里 文件处理 具体的导入csv文件结构可以…

没有经验的新手小白能做抖音小店无货源吗?

大家好,我是电商花花。 一个没有电商经验,没有货源的新手能做抖音小店吗? 这应该是很多想做抖音小店的一个疑虑吧,想做又担心做不好。 今天花花说一下关于我个人对抖音小店无货源的一些小见解吧,希望能给到你建议。 …

为什么网站页面没有被百度搜索收录?是网站被攻击了?

例如,为什么网站页面没有被百度搜索收录? 网站是否受到攻击? 网站索引量和网站流量之间有关系吗? 您在运行网站或小程序时是否有过这样的疑问? 下面我将为大家详细解答这些问题。 1.PC/H5站点相关 1、为什么新网站页面…

【真机Bug】异步加载资源未完成访问单例导致资源创建失败

1.错误表现描述 抽卡时,10抽展示界面为A。抽取内容可能是整卡或者碎片,抽到整卡,会有立绘展示和点击详情的按钮。点击详情后出现详情页B。【此时界面A预制体被销毁,卡片数据进入数据缓存池】点击页面B的返回按钮,单例…

2024理解这几个安全漏洞,你也能做安全测试!

如今安全问题显得越来越重要,一个大型的互联网站点,你如果每天查看日志,会发现有很多尝试攻击性的脚本。 如果没有,证明网站影响力还不够大。信息一体化的背后深藏着各类安全隐患,例如由于开发人员的不严谨导致为Web应…

【计算复杂性理论】证明复杂性(九):命题鸽巢原理的指数级归结下界——更简短的证明

往期文章: 【计算复杂性理论】证明复杂性(Proof Complexity)(一):简介 【计算复杂性理论】证明复杂性(二):归结(Resolution)与扩展归结&#xff…

基于springboot实现二手图书交易平台系统项目【项目源码+论文说明】

基于springboot实现二手图书交易平台系统演示 摘要 本文讲述了基于B/S模式的校园二手交易网站统的设计与实现。所谓的校园二手交易网站统是通过网站推广互联企业的二手物品和技术服务,并使客户随时可以了解企业和企业的产品,为客户提供在线服务和订单处…

【2024最新版】我用python代码带你看最绚烂的烟花,浪漫永不过时!

2024年就快要到了,提前用python代码给自己做一个烟花秀庆祝一下。本次介绍的python实例是实现一个简易的烟花秀。 一、步骤分析 总的来说,要实现烟花秀的效果,需要以下几个步骤: 1.1、创建一个类,包含烟花各项粒子的…

Golang 调度器 GPM模型

Golang 调度器 GPM模型 1 多进程/线程时代有了调度器需求 在多进程/多线程的操作系统中,就解决了阻塞的问题,因为一个进程阻塞cpu可以立刻切换到其他进程中去执行,而且调度cpu的算法可以保证在运行的进程都可以被分配到cpu的运行时间片。这…

Springboot项目实战

文章目录 SpringBootVue后台管理系统所需软件下载、安装、版本查询Vue搭建一个简单的Vue项目 *Spring项目项目架构 SpringBootVue后台管理系统 学习视频: https://www.bilibili.com/video/BV1U44y1W77D/?spm_id_from333.337.search-card.all.click&vd_sourcec…

搜索算法(算法竞赛、蓝桥杯)--DFS迭代加深

1、B站视频链接&#xff1a;B25 迭代加深 Addition Chains_哔哩哔哩_bilibili 题目链接&#xff1a;Addition Chains - 洛谷 #include <bits/stdc.h> using namespace std; int n,d;//d为搜索的深度 int a[10005];//存储加成的序列bool dfs(int u){//搜索第u层 if(ud)r…

【论文阅读】基于图像处理和卷积神经网络的板式换热器气泡识别与跟踪

Bubble recognizing and tracking in a plate heat exchanger by using image processing and convolutional neural network 基于图像处理和卷积神经网络的板式换热器气泡识别与跟踪 期刊信息&#xff1a;International Journal of Multiphase Flow 2021 期刊级别&#xff1a;…

【Spring Boot 源码学习】BootstrapRegistry 初始化器实现

《Spring Boot 源码学习系列》 BootstrapRegistry 初始化器实现 一、引言二、往期内容三、主要内容3.1 BootstrapRegistry3.2 BootstrapRegistryInitializer3.3 BootstrapRegistry 初始化器实现3.3.1 定义 DemoBootstrapper3.3.2 添加 DemoBootstrapper 四、总结 一、引言 前面…

反序列化逃逸 [安洵杯 2019]easy_serialize_php1

打开题目 题目源码&#xff1a; <?php$function $_GET[f];function filter($img){$filter_arr array(php,flag,php5,php4,fl1g);$filter /.implode(|,$filter_arr)./i;return preg_replace($filter,,$img); }if($_SESSION){unset($_SESSION); }$_SESSION["user&qu…

2024年腾讯云优惠政策_腾讯云TOP10优惠活动

腾讯云服务器多少钱一年&#xff1f;62元一年起&#xff0c;2核2G3M配置&#xff0c;腾讯云2核4G5M轻量应用服务器218元一年、756元3年&#xff0c;4核16G12M服务器32元1个月、312元一年&#xff0c;8核32G22M服务器115元1个月、345元3个月&#xff0c;腾讯云服务器网txyfwq.co…

医学大数据|文献阅读|有关“胃癌+机器学习”的研究记录

目录 1.基于32基因特征构建的机器学习模型可有效预测胃癌患者的预后和治疗反应 2.胃癌患者术后90天死亡率的机器学习风险预测模型 3.使用机器学习模型预测幽门螺杆菌根除患者胃癌患病风险 4.利用初始内窥镜检查和组织学结果进行个性化胃癌发病率预测 1.基于32基因特征构建的…