【博士每天一篇文献-算法】 PNN网络启发的神经网络结构搜索算法Progressive neural architecture search

news2024/11/15 0:55:35

阅读时间:2023-12-23

1 介绍

年份:2018
:Chenxi Liu,Google DeepMind研究科学家;Barret Zoph,OpenAI;Maxim Neumann,Goolge
会议:B区会议, Proceedings of the European conference on computer vision (ECCV).
引用量:2320
Liu C, Zoph B, Neumann M, et al. Progressive neural architecture search[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 19-34.
本文提出了一种新的卷积神经网络(CNN)结构学习方法。是一种顺序模型优化(Sequential Model-Based Optimization, SMBO)策略,通过逐步增加模型复杂度来搜索结构,并同时学习一个替代模型(surrogate model)来指导搜索过程。与直接搜索完整CNN结构的方法不同,本文方法首先搜索一个好的卷积“单元”(cell),然后根据训练集大小和期望的运行时间,将这个单元堆叠多次形成最终的CNN。从简单的模型开始,逐步过渡到复杂的模型,并在此过程中剪枝掉没有前景的结构。为了减少训练和评估模型的成本,同时训练一个模型或替代函数来预测一个结构的性能,而无需实际训练它。
image.png
image.png
image.png

2 创新点

  1. 渐进式搜索策略:与传统的一次性搜索整个网络结构的方法不同,论文提出了一种渐进式的搜索策略,即从简单的网络结构开始,逐步增加复杂性,这有助于快速获得初步结果并对替代模型进行训练。
  2. 结构化搜索空间:采用了一种结构化的搜索空间,通过搜索卷积“单元”(cell)而不是整个CNN,然后将这些单元堆叠起来构建最终的网络结构,这提高了搜索的效率和模型的可转移性。
  3. 替代模型引导搜索:为了减少实际训练模型的数量,论文提出了使用一个替代模型来预测候选模型的性能。这个替代模型基于已评估模型的性能数据进行训练,并用于指导搜索过程。
  4. 高效的性能预测:论文中使用了LSTM和MLP作为替代模型,通过学习模型结构与性能之间的映射关系,有效预测模型性能,减少了对实际训练的依赖。
  5. 优化的搜索过程:通过扩展当前候选单元并使用替代模型进行评估,选择最有前景的候选者进行训练和评估,这一过程不断迭代,直到达到所需的单元复杂度。
  6. 实验验证:论文在CIFAR-10和ImageNet数据集上进行了广泛的实验,验证了所提出方法的有效性,并且在计算效率和模型性能上均达到了当时的最佳水平。

3 算法步骤

  1. 初始化候选单元集合
    • 从单个块(block)的单元结构开始,构建所有可能的单元结构集合 S 1 S_1 S1
  2. 单元转换为CNN
    • 将每个单元结构转换为一个CNN模型,这是通过将单元结构重复堆叠一定次数来完成的。
  3. 训练代理CNN
    • 训练集合 S 1 S_1 S1中的每个单元结构对应的CNN模型,并在训练集上进行训练。
  4. 评估验证准确率
    • 在验证集上评估每个CNN模型的性能,获取它们的验证准确率。
  5. 训练性能预测模型
    • 使用已评估的单元结构的准确率作为训练数据,训练一个性能预测模型(如LSTM或MLP),用于预测单元结构的性能。
  6. 扩展候选单元
    • 将当前候选单元集合 S b S_b Sb中的每个单元扩展一个块,生成新的候选单元集合 S b + 1 ′ S'_{b+1} Sb+1
  7. 预测性能
    • 使用性能预测模型对 S b + 1 ′ S'_{b+1} Sb+1中的单元进行评分,预测它们的性能。
  8. 选择最有前景的单元
    • 根据预测模型的评分,选择最有前景的K个单元结构,形成新的候选集合 S b + 1 S_{b+1} Sb+1
  9. 转换和训练
    • S b + 1 S_{b+1} Sb+1中的单元结构转换为CNN模型,并在训练集上进行训练。
  10. 更新性能预测模型
  • 使用新训练的CNN模型在验证集上的性能来更新性能预测模型。
  1. 迭代搜索
  • 重复步骤6到10,直到达到所需的最大块数量B。
  1. 选择最终模型
  • 在最终的候选单元集合 S B S_B SB中,选择验证准确率最高的单元结构作为最终的CNN模型。
  1. 进一步训练和评估
  • 将选定的单元结构进一步训练,并在测试集上评估其性能。

image.png
途中单元结构由5个“块”(blocks)组成,每个块代表网络中的一个操作或一组操作。
image.png
展示了PNAS算法在最大块数 ( B = 3 ) 的情况下的搜索步骤。

  1. 初始化候选单元集合
    • S b S_b Sb表示具有b个块的候选单元集合。
    • 搜索从 S 1 S_1 S1开始,即所有只包含1个块的单元结构集合 S 1 = B 1 S_1 = B_1 S1=B1
  2. 训练和评估
    • 训练并评估 S 1 S_1 S1中的所有单元,并使用它们的性能数据来更新性能预测模型(预测器)。
  3. 迭代扩展
    • 在第2次迭代中,将 S 1 S_1 S1中的每个单元扩展为具有2个块的单元,得到 S 2 ′ = B 1 : 2 S'_2 = B_1:2 S2=B1:2
    • 使用性能预测模型对 S 2 ′ S'_2 S2中的所有可能的2块单元进行评分。
  4. 选择和评估
    • S 2 ′ S'_2 S2中选择预测性能最好的K个单元,形成 S 2 S_2 S2
    • 训练并评估 S 2 S_2 S2中的单元,并再次更新性能预测模型。
  5. 进一步迭代
    • 在第3次迭代中,将 S 2 S_2 S2中的每个单元扩展为具有3个块的单元的子集,得到 S 3 ′ ⊆ B 1 : 3 S'_3 \subseteq B_1:3 S3B1:3
    • 同样地,使用性能预测模型对 S 3 ′ S'_3 S3中的单元进行评分。
  6. 最终选择
    • S 3 ′ S'_3 S3中选择预测性能最好的K个单元,形成 S 3 S_3 S3
    • 训练并评估 S 3 S_3 S3中的单元,选择最终的最佳单元作为搜索过程的获胜者。
  7. 搜索树的每个层级
    • 在搜索树的每个层级,“beam size” K 表示在该层级训练和评估的模型数量。这是一个重要的参数,因为它决定了在每一步中考虑的候选模型的数量。
  8. 块的数量
    • B b B_b Bb表示在第b层可能的块的数量。随着b的增加,理论上可能的块组合数量会增加,但实际搜索过程中会使用性能预测模型来减少需要考虑的候选数量。

4 实验分析

(1)PNAS算法中使用的MLP集成预测器的准确性
image.png
图中上下部分分别展示了预测器在训练集上和未见过的更大模型集上的表现。

  • 训练集上的准确性:对于训练集,RNN通常比MLP有更高的相关系数,这意味着RNN在训练数据上能够更准确地预测模型的性能排名。
  • 泛化能力:当预测器应用于未见过的更大的模型时,MLP似乎比RNN有更好的表现。这表明尽管RNN在训练集上表现良好,但MLP在新数据上的泛化能力更强。

(2)神经架构搜索(NAS)、渐进式神经架构搜索(PNAS)和随机搜索这三种方法的相对效率
image.png

  • PNAS的效率:PNAS在训练和评估较少模型的情况下,能够快速地获得高性能的模型架构。这表明PNAS在搜索过程中具有很高的效率。
  • NAS的效率:与PNAS相比,NAS在达到相同平均准确率时需要训练和评估更多的模型。这意味着NAS的效率低于PNAS。
  • 随机搜索的效率:随机搜索在图4中作为基线,通常需要更多的尝试才能找到性能良好的模型,因此在效率上不如PNAS和NAS。
  • 性能稳定性:误差条和彩色区域显示了不同方法在多次试验中性能的波动情况。较短的误差条意味着方法的性能更加稳定。
  • 模型训练次数的影响:每个模型都训练了20个周期,这意味着不同方法在模型训练上的投入是相同的,但PNAS在模型选择上更为高效。
  • 搜索策略的重要性:结果强调了有效的搜索策略在神经架构搜索中的重要性,PNAS通过渐进式搜索和性能预测模型的使用,显著提高了搜索过程的效率。

5 思考

借鉴了PNN的结构设计的架构搜索算法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1932077.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Android14 ShellTransitions】(七)Transition就绪

Transition.onTransactionReady的内容比较长,我们挑重点的部分逐段分析(跳过的地方并非不重要,而是我柿子挑软的捏)。 1 窗口绘制状态的流转以及显示SurfaceControl 注意我们这里的SurfaceControl特指的是WindowSurfaceControll…

Excel办公技巧:制作二级联动下拉菜单

分享制作二级联动下拉菜单的方法,即使数据有增删,菜单也能自动更新! 可以通过先定义名称,再结合数据验证,来做二级联动下拉菜单。 1. 准备数据 首先,我们需要准备好要进行二级联动下拉菜单的数据&#xff…

K8S 上部署 Emqx

文章目录 安装方式一:快速部署安装方式二:定制化部署1. 使用 Pod 直接部署 EMQX Broker2. 使用 Deoloyment 部署 Pod3. 使用 Services 公开 EMQX Broker Pod 服务4. 通过 kubernetes 自动集群 EMQX MQTT 服务器5. 修改 EMQX Broker 的配置6. 赋予 Pod 访…

共享自助台球厅系统,扫码开台,物联网开灯,智能计费

共享自助台球厅系统,扫码开台,物联网开灯,智能计费 含小程序,商家手机端和pc管理端 后端php 前端uniapp 纯开源 可定制 持续更新

常用的点云预处理算法

点云预处理是处理点云数据时的重要部分,其目的是提高点云数据的质量和处理效率。通过去除离群点、减少点云密度和增强特征,可以消除噪声、减少计算量、提高算法的准确性和鲁棒性,从而为后续的点云处理和分析步骤(如配准、分割和重…

实战打靶集锦-31-monitoring

文章目录 1. 主机发现2. 端口扫描3. 服务枚举4. 服务探查4.1 ssh服务4.2 smtp服务4.3 http/https服务 5. 系统提权5.1 枚举系统信息5.2 枚举passwd文件5.3 枚举定时任务5.4 linpeas提权 6. 获取flag 靶机地址:https://download.vulnhub.com/monitoring/Monitoring.o…

算法力扣刷题记录 四十九【112. 路径总和】和【113. 路径总和ii】

前言 二叉树篇继续。 记录 四十九【112. 路径总和】和【113. 路径总和ii】 一、【112. 路径总和】题目阅读 给你二叉树的根节点 root 和一个表示目标和的整数 targetSum 。判断该树中是否存在 根节点到叶子节点 的路径,这条路径上所有节点值相加等于目标和 target…

VsCode远程ssh连接失败:Could not establish connection to XXX

一、问题描述 在VsCode中按下"F1",选择Remote-SSH:Connect to Host 选择一个已经配置好的SSH主机,比如我选择的是192.168.0.104: 结果提示:Could not establish connection to XXX 二、解决方法 观察VsCode的输出信息…

走进NoSql

一、引入 1.1什么是NoSql NoSQL(Not Only SQL)是一组非关系型数据库(或称为非SQL数据库)的统称,它们提供了与传统的关系型数据库不同的数据存储和检索方式。NoSQL数据库通常用于处理大量的、分布式的、非结构化或半结…

STM32使用Wifi连接阿里云

目录 1 实现功能 2 器件 3 AT指令 4 阿里云配置 4.1 打开阿里云 4.2 创建产品 4.3 添加设备 5 STM32配置 5.1 基础参数 5.2 功能定义 6 STM32代码 本文主要是记述一下,如何使用阿里云物联网平台,创建一个简单的远程控制小灯示例。 完整工程&a…

BurpSuit的intruder模块结果进行筛选和导出

文章目录 一、搭建的测试网站第一步 先抓去数据包,查看数据包第二步 可以控制返回信息一条一条的显示第三步 使用intrude模块进行遍历,每次只显示一条用户信息第四步 配置过滤规则第五步 查看结果显示第六步 进行数据导出第七步 查看导出的表格二、实际项目中使用免责声明一、…

PCIe驱动开发(3)— 驱动设备文件的创建与操作

PCIe驱动开发(3)— 驱动设备文件的创建与操作 一、前言 在 Linux 中一切皆为文件,驱动加载成功以后会在“/dev”目录下生成一个相应的文件,应用程序通过对这个名为“/dev/xxx” (xxx 是具体的驱动文件名字)的文件进行相应的操作即…

Azure Repos 仓库管理

从远端仓库克隆到本地 前提:本地要安装git,并且登录了账户 1.在要放这个远程仓库的路径下,打git 然后 git clone https://.. 如果要登录验证,那就验证下,点 generate git credentials,复制password 克隆完后,cd 到克隆的路径, 可以用 git branch -a //查看分…

Spring Cloud环境搭建

🎥 个人主页:Dikz12🔥个人专栏:Spring学习之路📕格言:吾愚多不敏,而愿加学欢迎大家👍点赞✍评论⭐收藏 目录 1. 开发环境安装 1.1 安装JDK ​1.2 安装MySQL 2. 案列介绍 2.1 …

Linux 命令 —— top命令(查看进程资源占用)

文章目录 top 命令显示信息介绍top 命令使用 top 命令显示信息介绍 top 命令是 Linux/Unix 系统中常用的进程监控工具,可以实时动态显示系统中各个进程的资源占用情况,包括CPU、内存等。 进入 linux 系统,直接输入 top,回车&…

全网超详细Redis主从部署(附出现bug原因)

主从部署 整体架构图 需要再建两个CentOs7,过程重复单机部署 http://t.csdnimg.cn/zkpBE http://t.csdnimg.cn/lUU5gLinux环境下配置redis 查看自己ip地址命令 ifconfig 192.168.187.137 进入redis所在目录 cd /opt/software/redis cd redis-stable 进入配置文件 vim redi…

书生大模型第三关-Git基础

1.任务1: 破冰活动:自我介绍 目标: 每位参与者提交一份自我介绍。 提交地址:https://github.com/InternLM/Tutorial 的 camp3 分支~ 行动: 首先Fork项目到自己Repo中,然后git clone在本地上 然后创建一个…

liunx面试题目

如何看当前Linux系统有几颗物理CPU和每颗CPU的核数? 查看物理cup: cat /proc/cpuinfo|grep -c ‘physical id’ 查看每颗cup核数 cat /proc/cpuinfo|grep -c ‘processor’ 若希望自动实现软件包的更新,可以使用yum-cron并启动该服务 yum -y …

【java计算机毕设】农产品仓库管理系统系统MySQL ssm JSP maven项目代码+文档 前后端一体 暑假作业

目录 1项目功能 2项目介绍 3项目地址 1项目功能 【java计算机毕设】农产品仓库管理系统系统MySQL ssm vue maven项目代码文档 前后端一体 暑假作业 2项目介绍 系统功能: 农产品仓库管理包括管理员、用户俩种角色。 管理员功能包括个人中心模块用于修改个人信息和…

60K起?“软件安全岗”比“网络安全岗”薪资高在哪里?

在网络世界的江湖中,“软件安全”与“网络安全”这两大“武林高手”都肩负着守护数字领域和平的重任。不过,眼尖的小伙伴们可能发现了,软件安全岗位的薪资待遇往往比网络安全岗位要丰厚那么一些,这到底是为啥呢?今天&a…