将TensorFlow模型快速迁移到昇腾平台

news2024/11/22 19:04:38

当前业界很多训练脚本是基于TensorFlow的Python API进行开发的，默认运行在CPU/GPU/TPU上，为了使这些脚本能够利用昇腾AI处理器的强大算力执行训练，需要对TensorFlow的训练脚本进行迁移。

首先，我们了解下模型迁移的全流程：

通过上图可以看出，模型迁移包括“脚本迁移 –> 模型训练 –> 精度调优 –> 性能调优 –> 模型固化”几个流程，其中：

  • “脚本迁移”是将TensorFlow训练脚本经过少量修改，可以运行在昇腾AI处理器上。

  • “模型训练”是根据模型参数进行多轮次的训练迭代，并在训练过程中评估模型准确度，达到一定阈值后停止训练，并保存训练好的模型。

  • “精度调优”与“性能调优”是在用户对精度或性能有要求时需要执行的操作。

  • “模型固化”是将训练好的、精度性能达标的模型固化为pb模型。

下面我们针对“脚本迁移”和“模型训练”两个阶段进行详细的介绍。

脚本迁移

将TensorFlow训练脚本迁移到昇腾平台有自动迁移和手工迁移两种方式。

  • 自动迁移：算法工程师通过迁移工具，可自动分析出原生的TensorFlow Python API在昇腾AI处理器上的支持度情况，同时将原生的TensorFlow训练脚本自动迁移成昇腾AI处理器支持的脚本，对于少量无法自动迁移的API，可以参考工具输出的迁移报告，对训练脚本进行相应的适配修改。

  • 手工迁移：算法工程师需要参考文档人工分析TensorFlow训练脚本的API支持度，并进行相应API的修改，以支持在昇腾AI处理器上执行训练，该种方式相对复杂，建议优先使用自动迁移方式。

下面以TensorFlow 1.15的训练脚本为例，讲述训练脚本的详细迁移操作，TensorFlow 2.6的迁移操作类似，详细的迁移点可参见“昇腾文档中心”。

自动迁移

自动迁移的流程示意图如下所示：

详细步骤如下；

  1. 安装迁移工具依赖。

pip3 install pandas
pip3 install xlrd==1.2.0
pip3 install openpyxl
pip3 install tkintertable
pip3 install google_pasta

  1. 执行自动迁移命令。

进入迁移工具所在目录，例如“tfplugin安装目录/tfplugin/latest/python/site-packages/npu_bridge/convert_tf2npu/”，执行类似如下命令可同时完成脚本扫描和自动迁移：

python3 main.py -i /root/models/official/resnet -r /root/models/official/

其中main.py是迁移工具入口脚本，-i指定待迁移原始脚本路径，-r指定迁移报告存储路径。

  1. 查看迁移报告。

在/root/models/official/output_npu_*下查看迁移后的脚本，在root/models/official/report_npu_*下查看迁移报告。

迁移报告示例如下：

手工迁移

手工迁移训练脚本主要包括如下迁移点：

  1. 导入NPU库文件。

from npu_bridge.npu_init import *

  1. 将部分TensorFlow接口迁移成NPU接口。

例如，修改基于Horovod开发的分布式训练脚本，使能昇腾AI处理器的分布式训练。

# Add Horovod Distributed Optimizer
opt = hvd.DistributedOptimizer(opt)
# Add hook to broadcast variables from rank 0 to all other processes during
# initialization.
hooks = [hvd.BroadcastGlobalVariablesHook(0)]

修改后：

# NPU allreduce
# 将hvd.DistributedOptimizer修改为npu_distributed_optimizer_wrapper"
opt = npu_distributed_optimizer_wrapper(opt)   
# Add hook to broadcast variables from rank 0 to all other processes during initialization.
hooks = [NPUBroadcastGlobalVariablesHook(0)]

  1. 通过配置关闭TensorFlow与NPU冲突的功能。

关闭TensorFlow中的remapping、xla等功能，避免与NPU中相关功能冲突。例如：

config = tf.ConfigProto(allow_soft_placement=True)
# 显式关闭remapping功能
config.graph_options.rewrite_options.remapping = RewriterConfig.OFF
# 显示关闭memory_optimization功能
config.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF

  1. 配置NPU相关参数

Ascend平台提供了功能调试、性能/精度调优等功能，用户可通过配置使能相关功能，例如enable_dump_debug配置，支持以下取值：

  • True：开启溢出检测功能。

  • False：关闭溢出检测功能。

配置示例：

custom_op.parameter_map["enable_dump_debug"].b = True

模型训练

迁移成功后的脚本可在昇腾AI处理器上执行单Device训练，也可以在多个Device上执行分布式训练。

  • 单Device训练

  1. 配置训练进程启动依赖的环境变量。

# 配置昇腾软件栈的基础环境变量，包括CANN、TF Adapter依赖的内容。
source /home/HwHiAiUser/Ascend/nnae/set_env.sh 
source /home/HwHiAiUser/Ascend/tfplugin/set_env.sh
# 添加当前脚本所在路径到PYTHONPATH，例如：
export PYTHONPATH="$PYTHONPATH:/root/models"
# 训练任务ID，用户自定义，不建议使用以0开始的纯数字
export JOB_ID=10066     
# 指定昇腾AI处理器逻辑ID，单P训练也可不配置，默认为0，在0卡执行训练   
export ASCEND_DEVICE_ID=0

  1. 执行训练脚本拉起训练进程。

python3 /home/xxx.py

  • 分布式训练

分布式训练需要先配置参与训练的昇腾AI处理器的资源信息，然后再拉起训练进程。当前有两种配置资源信息的方式：通过配置文件（即ranktable文件）或者通过环境变量的方式。下面以配置文件的方式介绍分布式训练的操作。

  1. 准备配置文件。

配置文件（即ranktable文件）为json格式，示例如下：

{
"server_count":"1",  //AI server数目
"server_list":
[
   {
        "device":[   // server中的device列表
                       {
                        "device_id":"0", 
                        "device_ip":"192.168.1.8",    // 处理器真实网卡IP
                        "rank_id":"0"     // rank的标识，rankID从0开始
                        },
                        {
                         "device_id":"1",
                         "device_ip":"192.168.1.9", 
                         "rank_id":"1"
                         }
                  ],
         "server_id":"10.0.0.10"   //server标识，以点分十进制表示IP字符串
    }
],
"status":"completed",   // ranktable可用标识，completed为可用
"version":"1.0"         // ranktable模板版本信息,当前必须为"1.0"
}

  1. 执行分布式训练。

依次设置环境变量配置集群参数，并拉起训练进程。

拉起训练进程0：

# 配置昇腾软件栈的基础环境变量，包括CANN、TF Adapter依赖的内容。
source /home/HwHiAiUser/Ascend/nnae/set_env.sh 
source /home/HwHiAiUser/Ascend/tfplugin/set_env.sh
export PYTHONPATH=/home/test:$PYTHONPATH
export JOB_ID=10086
export ASCEND_DEVICE_ID=0
# 当前Device在集群中的唯一索引，与资源配置文件中的索引一致
export RANK_ID=0
# 参与分布式训练的Device数量
export RANK_SIZE=2
export RANK_TABLE_FILE=/home/test/rank_table_2p.json
python3 /home/xxx.py

拉起训练进程1：

# 配置昇腾软件栈的基础环境变量，包括CANN、TF Adapter依赖的内容。
source /home/HwHiAiUser/Ascend/nnae/set_env.sh 
source /home/HwHiAiUser/Ascend/tfplugin/set_env.sh
export PYTHONPATH=/home/test:$PYTHONPATH
export JOB_ID=10086
export ASCEND_DEVICE_ID=1
# 当前Device在集群中的唯一索引，与资源配置文件中的索引一致
export RANK_ID=1
# 参与分布式训练的Device数量
export RANK_SIZE=2
export RANK_TABLE_FILE=/home/test/rank_table_2p.json
python3 /home/xxx.py

以上就是TensorFlow模型迁移训练的相关知识点，您也可以在“昇腾社区在线课程”板块学习视频课程，学习过程中的任何疑问，都可以在“昇腾论坛”互动交流！

相关参考：

[1]昇腾文档中心：Link

[2]昇腾社区在线课程：Link

[3]昇腾论坛：Link

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/196228.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

.net6Api返回统一结果+Vue3前端访问

.net6Api返回统一结果+Vue3前端访问

目录 第一种 第二种 第三种 Vue3前端访问 在我们开发api的时候，需要让接口返回统一的接口，这样容易理解，也容易管理。所以封装返回的统一结果是非常必要的。 下面介绍3种方案。 第一种 建立一个控制器，让所有控制器都继承…
阅读更多...
电脑休眠唤醒后会出现屏幕闪烁问题怎么彻底解决？

电脑休眠唤醒后会出现屏幕闪烁问题怎么彻底解决？

电脑休眠唤醒后会出现屏幕闪烁问题怎么彻底解决？有的用户在电脑待机休眠之后，重新去唤醒电脑使用，这个时候电脑屏幕就会出现验证的屏幕闪烁，导致无法进行正常的使用。这个情况是电脑系统不兼容导致的。如果想要彻底解决问题&#…
阅读更多...
NoClassDefFoundError错误解决

NoClassDefFoundError错误解决

NoClassDefFoundError 类型报错 NoClassDefFoundError与ClassNotFoundException略有区别，从两者的异常类型可以发现，前者属于Error，后者属于Exception，发生了Error往往会导致程序直接崩溃或者无法启动运行。 NoClassDefFoundErro…
阅读更多...
ecchart关系图展示（知识图谱）

ecchart关系图展示（知识图谱）

<!DOCTYPE html> <html> <head><meta charset"UTF-8"><title>ECharts 关系图</title><script type"text/javascript" src"http://code.jquery.com/jquery-3.5.1.min.js"></script><script s…
阅读更多...
蓝桥杯-迷宫

蓝桥杯-迷宫

没有白走的路&#xff0c;每一步都算数&#x1f388;&#x1f388;&#x1f388; 题目描述&#xff1a; 已知一个30行50列的方格&#xff0c;方格由0和1组成&#xff0c;1 表示障碍物&#xff0c;0表示可行的方块。人从最上边开始行走&#xff0c;逃出这个迷宫&#xff0c;走到…
阅读更多...
Git 之reflog回滚操作失误

Git 之reflog回滚操作失误

前言 以前只知道有git log命令&#xff0c;并不知道有git reflog。今天一个偶然的机会&#xff0c;我不小心把自己前两天写的代码给整丢了&#xff0c;如果时几个小时的代码&#xff0c;我重新写一遍就算了&#xff0c;但是这次不一样&#xff0c;这次是非常重大的修改&#x…
阅读更多...
openfeign集成sentinel实现服务降级

openfeign集成sentinel实现服务降级

openfeign集成sentinel实现服务降级使用openfeign调用服务&#xff08;不含sentinel&#xff09;代码测试openfeign集成sentinel实现服务降级引入sentinel相关环境编写FeignClient注解接口的实现类在服务提供者中&#xff0c;认为添加异常代码&#xff0c;以供测试 / 或者不启动…
阅读更多...
SpringBean的生命周期

SpringBean的生命周期

下文要讲的均是spring的默认作用域singleton的bean的生命周期&#xff0c;对spring作用域不了解的可以 https://blog.csdn.net/hlzdbk/article/details/128811271?spm1001.2014.3001.5502 什么是SpringBean的生命周期 springBean的生命周期&#xff0c;指的是spring里一个be…
阅读更多...
Python爬虫以及数据可视化分析之某站热搜排行榜信息爬取分析

Python爬虫以及数据可视化分析之某站热搜排行榜信息爬取分析

目录前言一&#xff0c;确定目标二&#xff0c;发送请求三, 解析数据四, 保存数据pyecharts进行可视化“某站”数据排名前10视频类型“某站”标题标签可视化“某站”喜欢视频分类概况总结前言 本项目将会对“某站”热搜排行的数据进行网页信息爬取以及数据可视化分析 本教程仅…
阅读更多...
数据结构：栈的学习

数据结构：栈的学习

作者&#xff1a;爱塔居 专栏&#xff1a;数据结构 作者简介&#xff1a;大三学生&#xff0c;希望跟大家一起进步 目录 一、栈 1.1 概念 1.2 栈的使用 1.3 示例 二、栈的应用场景 2.1 改变元素的序列 2.2 逆波兰表达式求值 2.3 括号匹配 2.4 栈的压入、弹出序列 一、栈…
阅读更多...
upstream sent duplicate header line: “Transfer-Encoding: chunked“

upstream sent duplicate header line: “Transfer-Encoding: chunked“

实际情景&#xff1a; 公司项目有一个下载文件的功能&#xff0c;没有经过Nginx代理之前&#xff0c;好好的&#xff0c;正常下载&#xff1b; 加入了Nginx代理之后&#xff0c;过Nginx访问就会有 err_empty_response 这个错误&#xff1b; 搞了半天&#xff0c;nginx.conf加入…
阅读更多...
第一章 linux概述

第一章 linux概述

第一章 Linux概述 1、为什么要使用Linux Linux内核最初只是由芬兰人林纳斯托瓦兹&#xff08;Linus Torvalds&#xff09;在赫尔辛基大学上学时出于个人爱好而编写的。 Linux是一套免费使用和自由传播的类Unix操作系统&#xff0c;是一个基于POSIX和UNIX的多用户、多任务、支…
阅读更多...
【蓝桥杯_学习_51单片机】矩阵键盘 状态机法

【蓝桥杯_学习_51单片机】矩阵键盘 状态机法

矩阵键盘 一.基础知识 在键盘中按键数量较多时&#xff0c;为了减少I/O口的占用&#xff0c;通常将按键排列成矩阵形式采用逐行或逐列的“扫描”&#xff0c;就可以读出任何位置按键的状态 矩阵键盘和独立按键一样&#xff0c;也需要进行消抖处理&#xff01; 于此补充一下抖…
阅读更多...
c++之基础入门一

c++之基础入门一

一、c的初始化typedef struct student {int age;char name[10];int num; }student;int main() {//在c中可以利用花括号进行初始化struct student student1{12,"zs",123456 };int a 10, b 20;int b{ 20 }, a{ 10 };double c{ 20 };int* p{ nullptr };int arr[10]{ 1…
阅读更多...
Day877.数据空洞 -MySQL实战

Day877.数据空洞 -MySQL实战

数据空洞 Hi&#xff0c;我是阿昌&#xff0c;今天学习记录的是关于数据空洞的内容。 数据库占用空间太大&#xff0c;把一个最大的表删掉了一半的数据&#xff0c;怎么表文件的大小还是没变&#xff1f; 一个 InnoDB 表包含两部分&#xff0c;即&#xff1a; 表结构定义数…
阅读更多...
我通过 tensorflow 预测了博客的粉丝数

我通过 tensorflow 预测了博客的粉丝数

前言&#xff1a;由于最近接触了 tensorflow.js&#xff0c;出于试一下的心态&#xff0c;想通过线性回归预测一下博客的粉丝走向和数量&#xff0c;结果翻车了。虽然场景用错地方&#xff0c;但是整个实战方法用在身高体重等方面的预测还是有可行性&#xff0c;所以就记录下来…
阅读更多...
亚马逊云科技助力游戏上云学习心得-增长篇

亚马逊云科技助力游戏上云学习心得-增长篇

云服务已经是大势所趋了&#xff0c;通过购置传统服务器来进行应用开发&#xff0c;无法与现代化敏捷的开发方法相结合&#xff0c;对于系统运维的难度也大大增加&#xff0c;而云服务的弹性伸缩、动态计费可以很好地帮助中小企业实现快速应用开发&#xff0c;使得产品的价值最…
阅读更多...
LeetCode题目笔记——1337. 矩阵中战斗力最弱的 K 行

LeetCode题目笔记——1337. 矩阵中战斗力最弱的 K 行

文章目录题目描述题目难度——简单方法一&#xff1a;暴力&#xff0c;统计代码/Python方法二&#xff1a;优化代码总结彩蛋题目描述 给你一个大小为 m * n 的矩阵 mat&#xff0c;矩阵由若干军人和平民组成&#xff0c;分别用 1 和 0 表示。 请你返回矩阵中战斗力最弱的 k 行…
阅读更多...
Dubbo服务方消费方通信案例

Dubbo服务方消费方通信案例

文章目录Maven_服务方Maven_服务消费方测试通信使用注册中心自动找服务设置超时时间重试次数单独设置某个方法不可重试处理多版本的问题本地存根策略负载均衡策略Dubbo高可用服务降级服务降级实现方式Maven_服务方 pom文件&#xff0c;注意依赖的版本。 <properties><…
阅读更多...
《无线电发射设备管理规定》解读

《无线电发射设备管理规定》解读

2022年12月22日&#xff0c;工业和信息化部公布了《无线电发射设备管理规定》&#xff08;工业和信息化部令第57号&#xff0c;以下简称《规定》&#xff09;。为了更好地理解和执行《规定》&#xff0c;工业和信息化部产业政策与法规司负责同志对《规定》进行了解读。 问题一 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023