第二章 TensorFlow模型迁移&训练

CANN训练营_昇腾AI入门课

本章学习目标

  1. 了解异构计算架构CANN在神经网络训练中发挥的主要作用。

  2. 掌握如何基于CANN将TensorFlow模型迁移到昇腾AI处理器上。

  3. 掌握如何在昇腾AI处理器上进行模型训练，感受昇腾AI的极致性能。

  4. 掌握如何查看训练日志和训练结果，具备基本的问题定界、定位能力。

AI模型开发基础知识入门

Python水平要求

本课程中的示例代码、练习涉及Python语言的如下基础知识

a. 使用位置和关键字参数定义和调用函数

b. 字典、 列表、 集合（创建、访问和迭代）

c. for循环， for具有多个迭代器变量的循环（例如，for a, b in [(1,2), (3,4)]）

d. if/else条件块和条件表达式

e. 字符串格式 （例如，'%.2f' % 3.14）

f. 变量、赋值、基本数据类型 (int, float, bool, str等)

了解深度学习和神经网络

需要看 DeepLearning AI B站官方账号发布的AI For Everyone(AI4E)视频学习，主要是科普内容，不会涉及到深层的理论知识

了解TensorFlow AI框架

TensorFlow官网

了解基于CANN的模型开发流程（重点）

最新的文档，6.0.0.alpha001

TensorFlow AI模型迁移详解

本节学习目标

1. 了解为什么要做模型迁移

2. 了解模型迁移的两种迁移方式

3. 掌握如何进行模型迁移

为什么要做模型迁移

昇腾910 AI处理器是华为在2019年发布的人工智能（AI）专用的神经网络处理器，其算力高达256T，最新款算力高达310T，是业界主流处理器算力的2倍，基于昇腾910 AI处理器的昇腾系列硬件，比如Atlas 800训练服务器

除了昇思MindSpore外，TensorFlow等其他深度学习框架下的模型并不能直接在昇腾910 AI处理器上训练，需要借助异构计算架构CANN的Plugin适配层转换，使转换后的模型能够高效运行在昇腾910 AI处理器上。目前，CANN已经能够支持多种主流AI框架，包括昇思MindSpore、TensorFlow、PyTorch、飞浆、ONNX等，并且开发者只需要非常少的改动，即可快速搞定算法移植，大大减少切换平台的代价。

TensorFlow AI模型自动迁移详解（重点）

通过迁移工具对原始脚本进行AST语法树扫描，可自动分析原生的TensorFlow API在昇腾AI处理器上的支持度，并将原始的TensorFlow训练脚本自动迁移成昇腾AI处理器支持的脚本，对于无法自动迁移的API，可以参考工具输出的迁移报告，对训练脚本进行相应的适配修改。

文档链接，适用于原生的Tensorflow 1.15训练脚本自动迁移场景，其他版本也可以在文档中找到。

TensorFlow AI模型手工迁移详解（重点）

算法工程师需要人工分析TensorFlow训练脚本中的API支持度情况，并且参照文档逐一手工修改不支持的API，以便在昇腾AI处理器上训练，该种方式较为复杂，我们建议大家优先使用自动迁移方式。

视频里面讲了两种迁移

更多内容看补充资料

补充资料（重点）

实验：TensorFlow 1.x训练脚本迁移
本实验以一个Sess.run的手写数字分类网络为例，介绍如何迁移TensorFlow 1.15训练脚本，以支持NPU训练。

昇腾AICANN系列课程——TensorFlow训练脚本迁移与调优

TensorFlow AI模型训练详解

本节学习目标

1. 了解ModelArts训练之前各项准备工作

2. 了解OBS、ModelArts以及Pycharm插件关系

3. 掌握如何使用ModelArts平台进行网络训练

4. 掌握如何查看训练日志和训练结果，具备基本的问题定界、定位能力。

基于昇腾910的TF网络脚本训练(ModelArts平台) （重点）

时长一个多小时的一个视频，讲的是从注册账号、制作并上传数据集、模型迁移和进行训练的整个流程

文档链接

新手班章节小测（二）

第4题应该有问题，不是手工迁移工具，应该是自动迁移工具