训练底座

训练案例

盘古矿山模型

Main

下面是快速助手
https://support.huaweicloud.com/qs-modelarts/modelarts_06_0006.html

准备开发环境
在ModelArts控制台的“ 开发环境 > Notebook”页面中，创建基于pytorch1.8-cuda10.2-cudnn7-ubuntu18.04镜像，类型为GPU，规格选择Pnt1或Vnt1系列的Notebook，具体操作请参见创建Notebook实例章节。
如果需要使用本地IDE（PyCharm或VS Code）远程连接Notebook，需要开启SSH远程开发。本案例以在线的JupyterLab为例介绍整个过程。

Notebook创建完成后，状态为“运行中”。单击“操作”栏的“打开”，进入JupyterLab页面。
打开JupyterLab的Terminal。此处以Terminal为例介绍整个过程。JupyterLab更多操作请参见JupyterLab简介及常用操作。
图1 打开Terminal

Step1 创建算法工程
在JupyterLab的Terminal中，在work目录下执行ma-cli createproject命令创建工程，根据提示输入工程名称，例如：water_meter。然后按回车键选择默认参数（连续按五次回车），并选择跳过资产安装步骤（选择6）。
图2 创建工程

执行以下命令进入工程目录。
cd water_meter

执行以下命令复制项目数据到Notebook中。
python manage.py copy --source {obs_dataset_path} --dest ./data/raw/water_meter_crop
python manage.py copy --source {obs_dataset_path} --dest ./data/raw/water_meter_segmentation

说明：
{obs_dataset_path}路径为Step1 准备数据中下载到OBS中的数据集路径，比如“obs://{OBS桶名称}/water_meter_segmentation”和“obs://{OBS桶名称}/water_meter_crop”

图3 复制数据集到Notebook中

Step2 使用deeplabv3完成水表区域分割任务
执行如下命令安装ivgSegmentation套件。
python manage.py install algorithm ivgSegmentation==1.0.2

图4 ivgSegmentation套件安装成功

如果提示ivgSegmentation版本不正确，可以通过命令python manage.py list algorithm查询版本。

安装ivgSegmentation套件后，在JupyterLab界面左侧的工程目录中进入“./algorithms/ivgSegmentation/config/sample”文件夹中查看目前支持的分割模型，以sample为例（sample默认的算法就是deeplabv3），文件夹中包括config.py（算法外壳配置）和deeplabv3_resnet50_standard-sample_512x1024.py（模型结构）。
图5 进入sample文件夹

表盘分割只需要区分背景和读数区域，因此属于二分类，需要根据项目所需数据集对配置文件进行修改，如下所示：
修改“config.py”文件。

图6 修改sample文件夹下的config.py文件

```c
# config.py
alg_cfg = dict(
data_root='data/raw/water_meter_segmentation',   
# 修改为真实路径本地分割数据集路径
```

修改完后按Ctrl+S保存。

修改“deeplabv3_resnet50_standard-sample_512x1024.py”文件。
图7 修改deeplabv3_resnet50_standard-sample_512x1024.py文件

# deeplabv3_resnet50_standard-sample_512x1024.py

gpus=[0]
...
data_cfg = dict(
    ...    num_classes=2,  # 修改为2类
    ...    
    ...    train_scale=(512, 512),  # (h, w)#size全部修改为(512, 512)
    ...    train_crop_size=(512, 512),  # (h, w)
    ...    test_scale=(512, 512),  # (h, w)
    ...    infer_scale=(512, 512),  # (h, w)
 )

修改完按Ctrl+S保存。

在water_meter工程目录下，执行如下命令安装deeplabv3预训练模型。

python manage.py install model ivgSegmentation:deeplab/deeplabv3_resnet50_cityscapes_512x1024

图8 安装deeplabv3预训练模型

执行如下命令训练分割模型。（推荐使用GPU进行训练）

python manage.py run --cfg 

algorithms/ivgSegmentation/config/sample/config.py --gpus 0

图9 分割模型训练结果

训练好的模型会保存在指定位置中，默认为“./output/deeplabv3_resnet50_standard-sample_512x1024/checkpoints/”中。

验证模型效果。
模型训练完成后，可以在验证集上计算模型的指标，首先修改配置文件的模型位置。

修改“config.py”文件，修改完按Ctrl+S保存。

config.py

...

alg_cfg = dict(
…
load_from=‘./output/deeplabv3_resnet50_standard-sample_512x1024/checkpoints/checkpoint_best.pth.tar’, # 修改训练模型的路径
…
)

执行如下命令计算模型指标。

python manage.py run --cfg
algorithms/ivgSegmentation/config/sample/config.py --pipeline evaluate

图10 模型指标计算结果

模型推理。
模型推理能够指定某一张图片，并且推理出图片的分割区域，并进行可视化，首先需要指定需要推理的图片路径。

修改“config.py”文件，修改完按Ctrl+S保存。

alg_cfg = dict(
…
img_file=‘./data/raw/water_meter_segmentation/image/train_10.jpg’ # 指定需要推理的图片路径
…
)

执行如下命令推理模型。

python manage.py run --cfg algorithms/ivgSegmentation/config/sample/config.py --pipeline infer

图11 表盘分割模型推理结果

推理输出的图片路径在“./output/deeplabv3_resnet50_standard-sample_512x1024”下。

图12 水表表盘分割结果可视化

执行如下命令导出算法SDK。
python manage.py export --cfg algorithms/ivgSegmentation/config/sample/config.py --is_deploy

算法开发套件支持将模型导出成一个模型SDK，方便进行模型部署等下游任务。SDK导出的路径为“./export/deeplabv3_resnet50_standard-sample_512x1024/Linux_x86_64_GPU_PyTorch_Common_py”

图13 SDK导出路径

图14 SDK导出示意图

Step3 水表读数识别
执行如下命令安装mmocr套件。