【2023 · CANN训练营第一季】基于昇腾910的TF网络脚本训练(ModelArts平台)

news2025/1/11 0:13:52
  • 准备工作:
    1.注册华为云账号,获取AK/SAK,授权ModelArts,并申请华为云代金券
    2.获取训练数据集,并进行数据预处理,比如离线制作成tfrecords(建议,可选)
    3.将数据集(训练脚本)上传到OBS
    4.安装PycharmIDE及ToolKit插件
    5.对Tensorflow训练代码进行NPU的迁移&适配

  • 创建并提交训练任务
    1.Pycharm打开训练工程代码,配置训练参数,下发训练任务
    2.查看训练结果
    创建并提交训练任务
    1.Pycharm打开训练工程代码,配置训练参数,下发训练任务
    2.查看训练结果
    Modelarts官网教程:Modelarts官网教程
    OBS Browser+下载:OBS Browser+下载
    ModelArts管理控制台: ModelArts管理控制台

OBS/ModelArts/Pycharm的关系

在这里插入图片描述

ModelArts平台:它是华为云面向A开发者的一站式开发平台,开发者可以在云上进行数据处理、模型训练以及模型部署等操作,但它自身不具备存储服务。
对象存储服务(Object Storage Service,OBS):它是一个基于对象的海量存储服务,为客户提供海量安全、高可靠、低成本的数据存储能力
Pycharm插件ToolKit:为开发者快速的将本地代码提交到公有云的训练环境,协助用户完成代码上传提交训练作业、将训练日志获取到本地展示等,用户只需要专注于本地的代码开发即可。

准备工作

申请代金券
在这里插入图片描述
数据集获取
在这里插入图片描述
数据集预处理

下载好的数据集一般为原始格式,训练时我们需要将其转换为tfrecord格式进行训练。有的训练脚本数据集小,将转换代码直接写在训练脚本中,读取原始格式的数据集,例如Bert-Finetune的squad阅读理解任务:
但是通常对于大多数训练任务,数据集比较大,例如Resnet的ImageNet数据集124GBert-Pretrain的Wiki数据集340G。这些训练脚本会提供已有的数据预处理脚本,提前将数据集预处理并生成tfrecord。

在这里插入图片描述
注意:数据集需要上传至华北-北京四。

下载OBS:
OBS 工具
安装PyCharm toolkit
在这里插入图片描述
在PyCharm中配置AK和SK
在这里插入图片描述
在PyCharm右下角出现下列提示则说明成功:
在这里插入图片描述
安装OBS
在这里插入图片描述
登录OBS:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/567653.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

一文细说vDSO机制原理

1. 什么是 vDSO 众所周知,操作系统为我们管理硬件资源,并以系统调用的方式对用户进程提供 API,但是 syscall 很慢,涉及陷入内核以及上下文切换。对于少量频繁调用的系统调用(比如获取当期系统时间)来说&am…

CDN 回源与CDN 多级缓存原理

一、什么是回源 回源是指浏览器在发送请求报文时,响应该请求报文的是源站点的服务器,而不是各节点上的缓存服务器(比如Nginx开启缓存),那么这个过程相对于通过各节点上的缓存服务器来响应的话就称作为回源。回源的请求…

Mac 原神电脑版下载安装使用教程,MacBook 上也可以玩原神了

最近发现了一个很棒的工具,他可以让你的 Mac 苹果电脑运行原神,而且画质和流畅度都是在线的,今天分享给大家 软件名字叫 playCover ,根据作者的介绍这款软件最初就是国外的一位博主想在 Mac 上玩原神特意开发的一款软件&#xff…

Faster R-CNN网络架构详解和TensorFlow Hub实现(附源码)

文章目录 一、RPN网络1. RPN网络简介2. backbone网络简介 二、Faster R-CNN网络架构1. Faster R-CNN网络简介2. 基于TensorFlow Hub实现Faster R-CNN 前言:Faster R-CNN的简介见 上一篇文章 一、RPN网络 1. RPN网络简介 RPN网络全称Region Proposal Network&#…

【星戈瑞】BODIPY-530/550氟化硼二吡咯荧光染料

BODIPY是一种荧光染料,其分子结构稳定、荧光强度高、荧光寿命长、光谱范围广,因此在许多领域都有应用。在生物医学领域,BODIPY作为荧光探针,可用于细胞成像、生物分子探测、药物筛选等方面。例如,一些研究者将BODIPY修…

如何在华为OD机试中获得满分?Java实现【计算某字符出现次数】一文详解!

✅创作者:陈书予 🎉个人主页:陈书予的个人主页 🍁陈书予的个人社区,欢迎你的加入: 陈书予的社区 🌟专栏地址: Java华为OD机试真题(2022&2023) 文章目录 1. 题目描述2. 输入描述3. 输出描述…

今天面了个字节拿23k出来的小伙,让我见识到了什么才是天花板...

2023年堪称大学生就业最难的一年,应届毕业生人数是1158万,再次刷新记录。 但是我观察到一个数据,那就是已经就业的毕业生中,计算机通信等行业最受毕业生欢迎! 计算机IT行业薪资高,平均薪资是文科其他岗位的…

Java之旅(二)

Java安装 检查您是否在 Windows PC 上安装了 Java,请在开始栏中搜索 Java 或在命令提示符 (cmd.exe) 中键入以下内容:java -version 在 Windows 上安装 Java: 转到“系统属性”(可以在控制面板 > 系统和安全 > 系统 >…

android aidl及binder基础知识总结

1、什么是binder binder是android framework提供的,用于跨进程方法调用的机制,具有安全高效等特点。 我们知道,在 Android 系统中,每个应用程序都运行在一个独立的进程中,各个进程之间需要进行数据交换和调用&#x…

元宇宙应用领域-医疗

元宇宙(Metaverse)是一个虚拟空间,用户可以通过数字技术和设备在其中生活和工作。元宇宙由一系列相关的技术和应用组成,包括区块链、虚拟现实、增强现实、人工智能、网络安全、大数据和云计算等。 元宇宙是一种新型的虚拟空间&am…

【加解密】bcryptjs | CryptoJS | JSEncrypt | node-rsa 加密| 解密 | RSA | ASE | MD5

加解密 1、 bcryptjs 解密 - 只可加密,比对密码,不可解密 下载 npm i bcryptjs 作用:字符串加密,已加密的字符串不可破解,只可比对。优点:加密的字符不可解密缺点:已加密的字符不可解密&#…

【TI毫米波雷达笔记】IWR6843AOPEVM开箱功能测试

【TI毫米波雷达笔记】IWR6843AOPEVM开箱功能测试 我用的是IWR6843AOPEVM-G 相关资源可以在ti官网下载 要用的软件是 TI官方上位机 mmWave_Demo_Visualizer 可以用网页版 也可以用软件包 建议先上网页版看看版本支不支持对应的板子 网页版: dev.ti.com/gallery/…

CMake之安装

目录 公共选项安装目标安装文件安装目录安装导出 公共选项 install有多个签名,这些签名公用的选项有以下: DESTINATION:指定文件要安装的目录,可以是相对路径或绝对路径。 相对路径:会使用 CMAKE_INSTALL_PREFIX 作为…

rttread-nano 使用记录:rt_kprintf函数格式化打印无法左对齐

rttread-nano 使用记录:rt_kprintf函数格式化打印无法左对齐 今天用rt_kprintf函数打印输出一个表格,为了表格好看每一列我都使用格式化参数-负号符号设置为了左对齐,但是发现无法打印,也无法打印浮点数,换成微库的pri…

通过注册表显示和隐藏“我的电脑”、“回收站”等图标

注册表路径: HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\HideDesktopIcons\NewStartPanel 其中{208D2C60-3AEA-1069-A2D7-08002B30309D}是我的电脑,值的类型为REG_DWORD,改为0后隐藏,1代表显示。 其…

Try ‘apt --fix-broken install’ with no packages解决办法

在Ubuntu中用apt-get安装软件,系统报出Unmet dependencies错误。 Unmet dependencies. Try ‘apt --fix-broken install’ with no packages (or specify a solution) 解决方案如下: sudo apt --fix-broken install sudo apt-get update sudo apt-get u…

建筑专业应届生零基础想学习数据分析,职业发展前景如何?能学会吗?

建筑应届生零基础想学习数据分析,职业发展前景如何?能学会吗? 当然是能学会的,但如果想要有发展前景,不仅是会数据分析而已,更需要实战能力,能够结合不同的业务进行分析,掌握各种常见…

openFast中的陆上风电机组5MW_Land_DLL_WTurb参数详解

文章目录 一、openFAST是什么?二、参数截图三、参数详解 一、openFAST是什么? openFAST是一种开放源代码的工具,为风能工程师提供了用于模拟和设计风力涡轮机的框架。它可以计算风力涡轮机在各种环境条件下的性能,并提供对风力涡…

HTML、CSS、 JavaScript介绍(二)

CSS 指层叠样式表 (Cascading Style Sheets),CSS定义如何显示 HTML 元素。HTML 标签原本被设计为用于定义文档内容,样式表定义如何显示 HTML 元素,就像 HTML 中的字体标签和颜色属性所起的作用那样。样式通常保存在外部的 .css 文件中。我们只…

「GPT实战」GPT接入直播间实现虚拟人互动

摘要 ChatGPT和元宇宙都是当前数字化领域中非常热门的技术和应用。结合两者的优势和特点,可以探索出更多的应用场景和商业模式。例如,在元宇宙中使用ChatGPT进行自然语言交互,可以为用户提供更加智能化、个性化的服务和支持;在Ch…