【mmengine】配置器(config)(进阶)继承与导出,命令行修改配置

news2024/11/6 7:10:34

一、配置文件的继承

1.1 继承机制概述

新建optimizer_cfg.py:

optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)

新建runtime_cfg.py:

device = "cuda"
gpu_ids = [0, 1]
batch_size = 64
epochs = 100
num_workers = 8

新建resnet50.py:

_base_ = ['optimizer_cfg.py',"runtime_cfg.py"]

新建inherit_and_export.py:

from mmengine.config import Config

cfg = Config.fromfile('resnet50.py')
print(cfg)

运行inherit_and_export.py:
在这里插入图片描述
虽然我们在resnet50.py 中没有定义 optimizer 字段和run_time参数,但由于我们写了 base = [‘optimizer_cfg.py’, runtime_cfg.py],会使这个配置文件获得 optimizer_cfg.py和 runtime_cfg.py中的所有配置信息。

1.2 修改继承字段

由于 optimizer 这个字段是一个字典,我们只需要重新定义这个字典里面需修改的下级字段即可。这个规则也适用于增加一些下级字段。
修改resnet50.py:

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)

# 覆盖
optimizer_SHUAI = dict(lr=0.123456)

在这里插入图片描述
对于非字典类型的字段,例如整数,字符串,列表等,重新定义即可完全覆盖,例如下面的写法就将 gpu_ids 这个字段的值修改成了 [0,1,2,3,4,5,6,7]。

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)
# 覆盖
# 字典类
optimizer_SHUAI = dict(lr=0.123456)
# 非字典类,重新定义即是覆盖
gpu_ids = [0, 1, 2, 3, 4, 5, 6, 7]

在这里插入图片描述

1.3 删除字典中的 key

有时候我们对于继承过来的字典类型字段,不仅仅是想修改其中某些 key,可能还需要删除其中的一些 key。这时候在重新定义这个字典时,需要指定 delete=True,表示将没有在新定义的字典中出现的 key 全部删除。

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)

# 覆盖
# 字典类
optimizer_SHUAI = dict(lr=0.123456)
# 非字典类,重新定义即是覆盖
gpu_ids = [0, 1, 2, 3, 4, 5, 6, 7]

# 删除, 只保留type和lr
optimizer = dict(_delete_=True, type='SGD', lr=0.01)

在这里插入图片描述
这时候,optimizer_SHUAI 这个字典中就只有 type 和 lr 这两个 key,momentum 和 weight_decay 将不再被继承。

1.4 引用被继承文件中的变量

有时我们想重复利用 base 中定义的字段内容,就可以通过 {{base.xxxx}} 获取来获取对应变量的拷贝。例如:
新建refer_base_var.py:

_base_ = ['resnet50.py']
a = {{_base_.model}}

在inherit_and_export.py中

cfg = Config.fromfile('refer_base_var.py')
print(cfg.a)

结果
在这里插入图片描述
解析后发现,a 的值变成了 resnet50.py 中定义的 model

配置类提供了一种更 pythonic 的方式,让我们能够在 python 类配置文件中修改 base 中定义的变量(类配置文件专属特性,目前不支持在 json、yaml 配置文件中修改 base 中定义的变量)。

_base_ = ['resnet50.py']
# a = {{_base_.model}}

a = _base_.model
a.type = 'MobileNet'

在这里插入图片描述

二、 配置文件的导出

==在启动训练脚本时,用户可能通过传参的方式来修改配置文件的部分字段,为此我们提供了 dump 接口来导出更改后的配置文件。==与读取配置文件类似,用户可以通过 cfg.dump(‘config.xxx’) 来选择导出文件的格式。dump 同样可以导出有继承关系的配置文件,导出的文件可以被独立使用,不再依赖于 base 中定义的文件。

基于继承一节定义的 resnet50.py,我们将其加载后导出:

cfg = Config.fromfile('resnet50.py')
cfg.dump('resnet50_dump.py')

optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)
model = dict(type='ResNet', depth=50)

cfg.dump(‘resnet50_dump.py’)导出的py格式的:
在这里插入图片描述
cfg.dump(‘resnet50_dump.yaml’)导出的yaml格式的:
在这里插入图片描述
cfg.dump(‘resnet50_dump.json’)导出的json格式的:
在这里插入图片描述

三、 其他进阶用法

3.1 命令行修改配置

考虑到我们想修改的配置通常是一些内层参数,如优化器的学习率、模型卷积层的通道数等,因此 MMEngine 提供了一套标准的流程,让我们能够在命令行里轻松修改配置文件中任意层级的参数。

1.使用 argparse 解析脚本运行的参数
2.使用 argparse.ArgumentParser.add_argument 方法时,让 action 参数的值
3.为 DictAction,用它来进一步解析命令行参数中用于修改配置文件的参数使用配置类的 merge_from_dict 方法来更新配置

新建argparse_demo.py:

import argparse

from mmengine.config import Config, DictAction


def parse_args():
    # 1. 定义
    parser = argparse.ArgumentParser(description='Train a model')

    # 2. 增加参数
    parser.add_argument('config', help='train config file path')
    parser.add_argument('--cfg-options',
        nargs='+',
        action=DictAction,
        help='要在使用的配置中覆盖某些设置,应采用 xxx=yyy 格式的键值对 它们将被合并到配置文件中。如果要被覆盖的值是一个列表,它应该像')
    # 3. 解析
    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    cfg = Config.fromfile(args.config)
    if args.cfg_options is not None:
        cfg.merge_from_dict(args.cfg_options)
    print(cfg)


if __name__ == '__main__':
    main()

新建emample.py:

model = dict(type='CustomModel', in_channels=[1, 2, 3])
optimizer = dict(type='SGD', lr=0.01)

通过命令行的方式修改model和optimizer中的值:

python argparse_demo.py ./example.py 
--cfg-options optimizer.type="Adam" 
--cfg-options model.in_channels="[1, 1, 1]"

结果:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2181804.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

图解C#高级教程(三):泛型

本讲用许多代码示例介绍了 C# 语言当中的泛型,主要包括泛型类、接口、结构、委托和方法。 文章目录 1. 为什么需要泛型?2. 泛型类的定义2.1 泛型类的定义2.2 使用泛型类创建变量和实例 3. 使用泛型类实现一个简单的栈3.1 类型参数的约束3.2 Where 子句3…

不相同的二叉搜索树

给你一个整数 n ,求恰由 n 个节点组成且节点值从 1 到 n 互不相同的 二叉搜索树 有多少种?返回满足题意的二叉搜索树的种数。 示例 1: 输入:n 3 输出:5示例 2: 输入:n 1 输出:1提…

数字教学时代:构建高效在线帮助中心的重要性

在数字化教学日益普及的今天,教育领域正经历着前所未有的变革。随着在线课程、虚拟教室、智能学习平台等数字化工具的广泛应用,教育资源的获取方式和学习模式发生了深刻变化。然而,这种变革也带来了新的挑战,其中之一便是如何确保…

YashanDB Docker镜像制作

本文作者:YashanDB中级服务工程师鲍健昕 为什么需要Docker部署数据库 常规使用 yasboot 部署数据库的方法,操作流程复杂,需要配置许多配置文件以及环境变量,不同用户使用的环境不同,那么环境配置也会存在差异&#x…

YOLO11震撼发布!

非常高兴地向大家介绍 Ultralytics YOLO系列的新模型: YOLO11! YOLO11 在以往 YOLO 模型基础上带来了一系列强大的功能和优化,使其速度更快、更准确、用途更广泛。主要改进包括 增强了特征提取功能,从而可以更精确地捕捉细节以更…

啤酒在文学中的浪漫形象:精酿啤酒的诗意之旅

在文学的浩瀚星空中,啤酒并非仅仅是醉人的琼浆,它更是一种情感的载体,一种浪漫的符号。尤其是当提及Fendi Club精酿啤酒时,我们仿佛能闻到那从古老酒窖中飘出的馥郁香气,感受到它在文字间流淌的诗意与温情。 一、啤酒…

uniapp中检测应用更新的两种方式-升级中心之uni-upgrade-center-app

uniapp一个很是用的功能,就是在我们发布新版本的app后,需要提示用户进行app更新,并告知用户我们新版的app更新信息,以使得用户能及时使用上我们新开发的功能,提升用户的实用度和粘性。注意:这个功能只能在app端使用 效…

损失函数篇 | YOLOv10 更换损失函数之 MPDIoU | 《2023 一种用于高效准确的边界框回归的损失函数》

论文地址:https://arxiv.org/pdf/2307.07662v1.pdf 边界框回归(Bounding Box Regression,BBR)在目标检测和实例分割中得到了广泛应用,是目标定位的重要步骤。然而,对于边界框回归的大多数现有损失函数来说,当预测的边界框与真值边界框具有相同的长宽比,但宽度和高度的…

信号量SEM

前提 1.信号量的本质是一把计数器 2.申请信号本质就是预订资源 3.PV操作是原子的! 将一个公共资源当做整体访问-->锁 如果公共资源不当做整体使用,多进程可以并发的访问公共资源,但不是同一个区域,为了将资源均分,所以有了…

如何利用ChatGPT开发一个盈利的AI写作助手网站

3-1 整体介绍写作助手及原型展示说明 在当今数字化时代,人工智能(AI)技术正逐步改变我们的生活方式,特别是在内容创作领域。本文将详细介绍如何利用ChatGPT技术,开发一个能够生成高质量内容的AI写作助手网站&#xff…

埃及 Explained

古埃及,位于尼罗河畔的神秘文明,曾在北非的荒漠中繁荣昌盛。这个充满谜团的王国凭借其宏伟的成就和神秘的文化,数百年来吸引了无数人的好奇心。 埃及人创造了复杂的象形文字,建造了像吉萨大金字塔这样宏伟的建筑,并通…

字体文件压缩

技术点 npm、html、font-spider 实现原理 个人理解:先引入原先字体,然后重置字符为空,根据你自己填充文字、字符等重新生成字体文件,因此在引入的时候务必添加自己使用的文字、字符等!!! 实…

k8s高级功能(系统升级)

版本升级 k8s由于1.23 到1.24底层变了,所以本次示例以1.22升到1.23 升级Master节点 (在master节点执行) 腾空节点 kubectl drain master --ignore-daemonsets 升级kubeadm yum install -y kubelet-1.23.17 kubeadm-1.23.17 kubectl-1.23.17…

【刷题6】一维前缀和、二维前缀和

目录 一、一维前缀和二、二维前缀和 一、一维前缀和 题目: 思路: 一、前缀和,时间复杂度O(1),快速得到区间的值 二、预处理,公式——dp[i] dp[i-1] arr[i] 三、使用前缀和,根据…

使用小尺寸大模型和 Dify 清洗数据:Qwen 2.5 7B

本篇文章,我们聊聊如何使用最近发布的 Qwen 2.5 7B 模型来做日常低成本的数据清理工作。 写在前面 这个月好像比上个月还忙,去了很多地方,见了很多朋友。 之前云栖大会上说要写几篇 Qwen 相关的实践,一直没有时间,趁…

银河麒麟,apt 安装软件报错640Unknown Status

今天把银行麒麟的机器恢复出厂了,然后apt install 安装极其不稳定,故障现象如下图所示: 错误提示里面有: 640 Unknown Status [IP: 106.116.184.122 80] E: 无法下载 http://archive.kylinos.cn/kylin/KYLIN-ALL/pool/universe/f…

了解客户支持的人工智能:人工智能如何改变客户服务

作者:来自 Elastic Elastic Platform Team 我们都经历过这种情况:走进商店时,看到人工收银台排着长队,而所有自助收银台都是空的。这就是所谓的便捷工具并不那么便捷的情况。曾经,许多客户服务 “解决方案” 也处于这种…

腾讯云新开端口

检查防火墙设置 890 2024-09-30 20:47:18 netstat -tuln | grep 1213891 2024-09-30 20:47:49 ping 110.40.130.231892 2024-09-30 20:48:38 sudo firewall-cmd --zonepublic --add-port1213/tcp --permanent893 2024-09-30 20:48:51 sudo firewall-cmd --reload894 2024-…

加油站智能视频监控预警系统(AI识别烟火打电话抽烟) Python 和 OpenCV 库

加油站作为存储和销售易燃易爆油品的场所,是重大危险源之一,随着科技的不断发展,智能视频监控预警系统在加油站的安全保障方面发挥着日益关键的作用,尤其是其中基于AI的烟火识别、抽烟识别和打电话识别功能,以及其独特…

C++入门基础知识93(实例)——实例18【猴子吃桃问题】

成长路上不孤单😊😊😊😊😊😊 【14后😊///C爱好者😊///持续分享所学😊///如有需要欢迎收藏转发///😊】 今日分享关于猴子吃桃问题的相关内容! 关…