🚗🚗🚗🚗🚗🚗🚗🚗🚗🚗🚗🚗🚗🚗🚗🚗🚗
MMdetection框架速成系列
MMdetection框架速成系列 第01部分：
https://v9999.blog.csdn.net/article/details/128486362
MMdetection框架速成系列 第02部分：
https://v9999.blog.csdn.net/article/details/128486548
MMdetection框架速成系列 第03部分：
https://v9999.blog.csdn.net/article/details/129294753
MMdetection框架速成系列 第04部分：
https://blog.csdn.net/qq_39237205/article/details/131524481
🚗🚗🚗🚗🚗🚗🚗正文开始🚗🚗🚗🚗🚗🚗🚗
配置文件详细解析
- MMdetection框架速成系列
- 1. 文件结构
- 2. Config类
- 2.1 读取配置文件
- 2.2 修改配置参数
- 2.3 查看配置文件信息
MMDetection搭建训练算法只需要3个步骤：1) 准备数据集 2) 编写配置文件 3) 执行train.py文件开始训练。但上篇博客只是很简略的介绍了一下大体流程，本文将从源码角度剖析配置文件构建机制，主要参考的是官方说明文档（不得不说网上那么多教程，最终发现最好的还是官方文档）。
1. 文件结构
MMDetection已经实现的配置文件都位于./configs文件夹下，配置文件都按照统一的规则命名，具体字段的含义可以去官方文档(https://mmdetection.readthedocs.io/zh_CN/latest/tutorials/config.html#id4)自行查阅。
# 配置文件命名规则
{model}_[model setting]_{backbone}_{neck}_[norm setting]_[misc]_[gpu x batch_per_gpu]_{schedule}_{dataset}
这些配置文件都是继承原始配置文件得到的，原始配置文件位于./configs/_base_文件夹下，有4个基本组件类型，分别是数据集(datasets)、模型(models)、训练策略(schedules)和运行时的默认配置(default_runtime)。
一般来说，当新建一个配置文件时，需要从上述四个组件中分别继承一个原始配置文件，然后根据自己需要进行调整。当然，也可以直接新建与现有方法都不共享结构的全新方法，不继承任何原始配置文件。
为了了解一个配置文件中都包含哪些必要信息，这里我新建了一个test_config.py，最低程度继承了4个原始配置文件：
_base_ = [
'mmdetection/configs/_base_/models/fast_rcnn_r50_fpn.py', # models
'mmdetection/configs/_base_/datasets/coco_detection.py', # datasets
'mmdetection/configs/_base_/schedules/schedule_1x.py', # schedules
'mmdetection/configs/_base_/default_runtime.py', # defualt_runtime
]
然后使用mmdetection/tools/misc/print_config.py打印完整的配置文件信息，为了使整个配置文件结构看起来更加清晰，将不重要的信息用省略号代替：
# 1. 模型配置(models) =========================================
model = dict(
type='FastRCNN', # 模型名称是FastRCNN
backbone=dict( # BackBone是ResNet
type='ResNet',
...,
),
neck=dict( # Neck是FPN
type='FPN',
...,
),
roi_head=dict( # Head是StandardRoIHead
type='StandardRoIHead',
...,
loss_cls=dict(...), # 分类损失函数
loss_bbox=dict(...), # 回归损失函数
),
train_cfg=dict( # 训练参数配置
assigner=dict(...), # BBox Assigner
sampler=dict(...), # BBox Sampler
...
),
test_cfg =dict( # 测试参数配置
nms=dict(...), # NMS后处理
...,
)
)
# 2. 数据集配置(datasets) =========================================
dataset_type = '...' # 数据集名称
data_root = '...' # 数据集根目录
img_norm_cfg = dict(...) # 图像归一化参数
train_pipeline = [ # 训练数据处理Pipeline
...,
dict(type='Normalize', **img_norm_cfg),
...
]
test_pipeline = [...] # 测试数据处理Pipeline
data = dict(
samples_per_gpu=2, # batch_size
workers_per_gpu=2, # GPU数量
train=dict( # 训练集配置
type=dataset_type,
ann_file=data_root + 'annotations/instances_train2017.json', # 标注问加你
img_prefix=data_root + 'train2017/', # 图像前缀
pipline=trian_pipline, # 数据预处理pipeline
),
val=dict( # 验证集配置
...,
pipline=test_pipline,
),
test=dict( # 测试集配置
...,
pipline=test_pipline,
)
)
# 3. 训练策略配置(schedules) =========================================
evaluation = dict(interval=1, metric='bbox')
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)
optimizer_config = dict(grad_clip=None)
lr_config = dict(
policy='step',
warmup='linear',
warmup_iters=500,
warmup_ratio=0.001,
step=[8, 11])
runner = dict(type='EpochBasedRunner', max_epochs=12)
# 4. 运行配置(runtime) =========================================
checkpoint_config = dict(interval=1)
log_config = dict(interval=50, hooks=[dict(type='TextLoggerHook')])
custom_hooks = [dict(type='NumClassCheckHook')]
dist_params = dict(backend='nccl')
log_level = 'INFO'
load_from = None
resume_from = None
workflow = [('train', 1)]
配置文件包含四个基本组件：datasets、models、schedules以及runtime。
model：模型本身网络结构、bbox assigner、bbox sampler、nms等配置参数；
data：batch_size、训练集、验证集、测试集的相关参数 ；
schedules：优化器、学习率、迭代次数等训练过程相关参数的配置信息；
runtime：日志打印、参数保存、分布式训练相关的配置。
如下图所示，各个模块都可以在配置文件中找到对应的配置参数：Backbone到Loss这几个模块都在model的配置参数中，Tricks则体现在schedules的配置中。
所以只要写好配置文件，后续MMDetection框架就会自动解析配置文件，构造出整个算法流程。
总的来说，配置文件是由一系列dict类型变量组成的文本文件，其中还会包含一些中间变量，比如data_root、test_pipeline等，这些中间变量可以被其他dict引用。配置文件可以通过_ base_ = [‘…’]的方式继承其他配置文件中的参数，然后通过重写的方式完成特定参数的修改。当然也可以新建一个空白文件，然后从头完成各个参数的赋值。
2. Config类
MMDetection使用MMCV库中Config类完成对配置文件的解析。
Config 类用于操作配置文件，提供了类似字典对象的接口来获取和设置值，并支持从多种文件格式中加载配置，包括python, json和yaml。
2.1 读取配置文件
一般使用Config.fromfile(filename)来读取配置文件（也可以直接传入一个dict），返回一个Config类：
from mmcv import Config
cfg = Config.fromfile('../configs/test_config.py')
@staticmethod
def fromfile(filename,
use_predefined_variables=True,
import_custom_modules=True):
cfg_dict, cfg_text = Config._file2dict(filename,
use_predefined_variables)
# import_modules_from_strings()是根据字符串列表对应的模块
if import_custom_modules and cfg_dict.get('custom_imports', None):
import_modules_from_strings(**cfg_dict['custom_imports'])
return Config(cfg_dict, cfg_text=cfg_text, filename=filename)
例如上面构建的test_config.py经过_file2dict()函数后，会得到下面的字典数据，然后初始化一个Config对象返回给fromfile()的上级调用。
另外有两点需要补充一下，其一是构造Config对象的时候，会将python的dict数据类型转换为ConfigDict类型进行处理。ConfigDict是第三方库addict中Dict的子类，因为python原生的dict类型不支持.属性的访问方式，特别是dict内部嵌套了多层dict的时候，如果按照key的访问方式，代码写起来非常低效，而Dict类通过重写__ getattr __()的方式实现了.属性的访问方式。所以继承了Dict的ConfigDict也支持使用.属性的方式访问字典中的各个成员值。
from mmcv import ConfigDict
model = ConfigDict(dict(backbone=dict(type='ResNet', depth=50)))
print(model.backbone.type) # 输出 'ResNet'
其二是，MMCV为了兼容配置文件名中出现小数点的情况，_file2dict()会在'C:/Users/ADMINI~1/AppData/Local/Temp/'创建一个临时文件夹，如果C盘有访问权限，可能会出现报错，不过这个问题只会出现在Windows系统下。
2.2 修改配置参数
知道MMCV解析配置文件的内部逻辑后，如何修改配置参数的值自然也清楚了。因为_file2dict()是根据文本顺序构建字典，所以后写的键值可以覆盖原来的值 (如果变量类型是list，会将list进行全部替换，无法实现某一个item的修改)。以修改优化器为例，原来的继承的优化器是SGD，学习率为0.02：
# 原来继承的优化器
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)
现在想要将由_base_继承的学习率调整为0.001，可以直接在当前配置文件中增加一行：
# 修改学习率
optimizer = dict(lr=0.001)
这样只会修改optimizer键值中的lr参数，其他参数不受影响，当前优化器就配置就变成了：
# 修改学习率后的SGD
optimizer = dict(type='SGD', lr=0.001, momentum=0.9, weight_decay=0.0001)
如果想要现在想要换一个新的优化器，但两个优化器的参数不兼容，需要删掉原来的键值，用一组全新的键值代替，这时可以通过配置_delete_=True来实现：
# 将原来的SGD替换成AdamW
optimizer = dict(_delete_=True, type='AdamW', lr=0.0001, weight_decay=0.0001)
然后就完成了优化器的替换，当前配置文件的优化器参数如下：
# 当前优化器变为AdamW
optimizer = dict(type='AdamW', lr=0.0001, weight_decay=0.0001)
2.3 查看配置文件信息
调用Config.fromfile()后会返回一个Config对象，其中除了上面提到的解析配置文件得到的ConfigDict类型的_cfg_dict外，还包含了text和pretty_text这两个成员变量。
text存储的是各个配置文件（包含_base _中继承的文件）中的原始文本信息，会标识配置文件的路径。
pretty_text是_cfg_dict字典内容的格式化文本，MMCV内部是借助Google的YAPF库来对字典对象进行格式化，使其输出符合人们的阅读习惯，直接print(cfg.pretty_text)即可查看完整配置文件信息，和MMDetection的mmdetection/tools/misc/print_config.py的效果是一样的。
另外，还可以通过cfg.dump(filepath)将pretty_text存储到文件中方便查看。
