【昇腾AI创新大赛集训营南京站学习笔记】-Ascend算子开发课程

news2024/9/17 7:15:29

昇腾AI创新大赛训练营
14:00-14:30 基础知识-理论课
一、CANN 、达芬奇架构和算子
1.AI Core逻辑架构
达芬奇架构包含三部分：
1）计算类：矩阵计算单元（两个矩阵扔进去相乘）、向量计算单元、标量计算单元
2）控制类：整个计算过程提供了指令控制
3）存储类： 存储单元和数据通路构成了存储系统
AI core是昇腾AI处理器的核心
在这里插入图片描述

计算单元包括Vector计算单元、Cube计算单元等
2.计算单元
包含:
1)Scalar计算单元
2）Cube计算单元
异步指令流、同步信号流、计算数据流
数据从AI core并行计算有六条流水线
3.什么是算子-算子在神经网络中的定义
算子对应数学含义：
1）一个函数空间到另一个函数空间的映射，比如微分算子，不定积分算子
常见算子，Relu算子，Sigmoid算子
（计算机不能精确表达根号二，因为精度不够）
算子基本概念-总览
● 算子名称 用于标志网络中的某个算子- Conv1，Conv2
● 算子类型
● 数据容器
4.张量
  Tensor用于存储算子输入数据和输出数据的容器，TensorDesc是对输入数据与输出数据的描述。
在这里插入图片描述

tensor的shape：（4，20，20，3）
长宽都是20，4张图片，像素点由红、绿、蓝三颜色组成，即数据排布格式
  深度学习中，多维数据通过多维数组存储，比如卷积网络中特征图（Feature Map）通常用四维张量来表示
在这里插入图片描述
遍历一般是高维到低维进行的
基本概念-轴
轴（Axis):代表张量中维度的下标
shape是（5，6),axis=0表示张量中的第一维

二、实践（昇腾Ascend C快速入门）
指导：
在这里插入图片描述

更改ip地址：
在这里插入图片描述

远程登陆
在这里插入图片描述
实验截图：
1.连接板子
在这里插入图片描述
2.查看网络连接：
在这里插入图片描述
3.检查ip地址是否修改成功：
在这里插入图片描述
4.连接Mobaterm
在这里插入图片描述

14:30-16:00 矢量计算-理论课
1.什么是Ascend C算子
什么场景需要开发自定义算子？
  一般场景下无需自己开发算子，但若是以下场景，开发者需要考虑自定义算子开发
  推理场景，将第三方框架模型使用ATC工具转换为适用昇腾适配器
Device模块
  Device负责指定计算运行的真实设备，包含aclrtSetDevice、arlrtResetDevice、aclrtGetDevice、aclrtGetRunMode等众多运行时接口用于进行device管理。
在这里插入图片描述
2.如何编写核函数
核函数是Ascend C算子设备侧的一种扩展
编写：使用变量类型限定符
规则或建议：核函数必须有void返回类型
核函数的调用：是C/C++函数调用语句的一种扩展：<<<...>>>

kernel_name<<<blockDim<<blockDim,12ctrl, srteam>>>(argument list);

blockDim：规定核函数将会在几个核上执行
12ctrl：保留参数，暂时设置为固定值nullptr
stream：
编程模型—SPMD模型
Ascend C算子编程是SPMD的编程，将需要处理的数据拆分并在多个计算核心上运行；多个AI core 共享相同的指令代码

在这里插入图片描述

编程用到Vector_in和Vector_out
3.采用标准C++用法，基于类库API进行编程
基础API
高级API
Ascend C匹配用户开发习惯，采用标准C++语法和一组类库API进行编程
C++运算符重载
整个tensor参与计算：dst=src1+src2
tensor前n个数据计算：Add(dst,src1,src2,n)
tensor高维切分计算：Add(dst,src1,src2,mask,repeatTimes，{dataBlockStride,....}

高级API
编程范式–TPIPE并行计算
Programming Paradigm
Ascend
4.典型的计算范式
这里向我们展示了示例代码:

namespace ops {
class AddCustom : public OpDef {
public:
    explicit AddCustom(const char* name) : OpDef(name)
    { 
        // Add算子的第一个输入
        this->Input("x")
            .ParamType(REQUIRED)    // 代表输入必选
            .DataType({ ge::DT_FLOAT16, ge::DT_FLOAT, ge::DT_INT32 })   // 输入支持的数据类型
            .Format({ ge::FORMAT_ND, ge::FORMAT_ND, ge::FORMAT_ND })    // 输入支持的数据格式
            .UnknownShapeFormat({ ge::FORMAT_ND, ge::FORMAT_ND, ge::FORMAT_ND });  // 未知Shape情况下的Format的默认值
        // Add算子的第二个输入
        this->Input("y")
            .ParamType(REQUIRED)
            .DataType({ ge::DT_FLOAT16, ge::DT_FLOAT, ge::DT_INT32 })
            .Format({ ge::FORMAT_ND, ge::FORMAT_ND, ge::FORMAT_ND })
            .UnknownShapeFormat({ ge::FORMAT_ND, ge::FORMAT_ND, ge::FORMAT_ND });
        this->Output("z")
            .ParamType(REQUIRED)
            .DataType({ ge::DT_FLOAT16, ge::DT_FLOAT, ge::DT_INT32 })
            .Format({ ge::FORMAT_ND, ge::FORMAT_ND, ge::FORMAT_ND })
            .UnknownShapeFormat({ ge::FORMAT_ND, ge::FORMAT_ND, ge::FORMAT_ND });
        // 关联InferShape函数
        this->SetInferShape(ge::InferShape);
        // 关联Tiling函数
        this->AICore()
            .SetTiling(optiling::TilingFunc);
        // 注册算子支持的AI处理器型号，请替换为实际支持的AI处理器型号
        this->AICore().AddConfig("ascendxxx");
    }
};
// 结束算子注册
OP_ADD(AddCustom);
} // namespace ops

基本的向量编程范式：CopyIn，CopyOut,Compute
基本的矩阵编程范式
复杂的矢量、矩阵编程范式
  计算并行流动起来，实行流水任务，矢量编程任务间通信和同步，矢量中任务间通信与同步
  执行加队列是因为，Enque本身是堵塞的，有一个Enque完成，vector才能启动;做同步是用队列实现
开发流程
算子分析
核函数定义
在add_custom核函数的实现中实例化KernelAdd算子类，调用Init（）函数完成内存初始化
根据编程范式，输入输出队列
Init（）函数实现
Process函数实现
创建local—copyin阶段
x+y=z compute阶段
–copyout阶段
c++，申请之后就要释放，（比如app越用越卡，爆了）
  以上是关于内存的处理。

在这里插入图片描述

16:00-17:00 实践

cd ~/samples/operator/AddCustomSample/KernelLaunch/
cp -r AddKernelInvocationNeo/ test
cd test/
bash run.sh -r cpu -v Ascend310P1

在这里插入图片描述

观察结果

在这里插入图片描述

用MobaXTerm左侧的文件栏打开~/samples/operator/AddCustomSample/KernelLaunch/test/scripts/gen_data.py
修改其中代码：
input_x = np.random.uniform(1,10,[8,2048]).astype(np.float16)
golden = np.sinh(input_x).astype(np.float16)
保存

在这里插入图片描述

再打开add_custom.cpp
修改其中compute()函数，把“Add(xxxxxxxxxxxxxxxxx)”那一行注释掉，改成sinh的计算逻辑，用xLocal当输入，zLocal当输出，改完后保存。

在这里插入图片描述

测试方式：
bash run.sh -r cpu -v Ascend310P1

输出“test pass”即为修改成功。

在这里插入图片描述
感悟：
  来到华为南京研究所，不仅感受到浓厚的科研氛围，舒适的办公环境，更是在短短几节课就收益良多，对Ascend算子有了初步的理解，并亲手连接板子进行实践，在老师的指导下进行测试，过程中虽然遇到了一些困难，最后却都能独立完成，我十分激动，对计算机知识也更加有兴趣，集训营第一天我就收获满满，期待明天的旅程，同时也坚定了自己以后做华为的一份子的决心!

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1945803.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

一天搞定React（4）——Redux

一天搞定React（4）——Redux

Hello&#xff01;大家好&#xff0c;今天带来的是React前端JS库的学习&#xff0c;课程来自黑马的往期课程&#xff0c;具体连接地址我也没有找到&#xff0c;大家可以广搜巡查一下&#xff0c;但是总体来说&#xff0c;这套课程教学质量非常高&#xff0c;每个知识点都有一个…
阅读更多...
鸿蒙OpenHarmony Native API【drawing_path.h】 头文件

鸿蒙OpenHarmony Native API【drawing_path.h】 头文件

drawing_path.h Overview Related Modules: [Drawing] Description: 文件中定义了与自定义路径相关的功能函数 Since: 8 Version: 1.0 Summary Functions FunctionDescription[OH_Drawing_PathCreate] (void)[OH_Drawing_Path] * 函数用于创建一个路径对象OH_Drawin…
阅读更多...
前端页面：用户交互持续时间跟踪（duration）user-interaction-tracker

前端页面：用户交互持续时间跟踪（duration）user-interaction-tracker

引言 在用户至上的时代&#xff0c;精准把握用户行为已成为产品优化的关键。本文将详细介绍 user-interaction-tracker 库&#xff0c;它提供了一种高效的解决方案&#xff0c;用于跟踪用户交互的持续时间&#xff0c;并提升项目埋点的效率。通过本文&#xff0c;你将了解到如…
阅读更多...
EXO-chatgpt_api 解释

EXO-chatgpt_api 解释

目录 chatgpt_api 解释 resolve_tinygrad_tokenizer 函数 resolve_tokenizer 函数 调试和日志记录​​​​​​​ 参数 返回值 初始化方法 __init__ 异步方法 注意事项 chatgpt_api 解释 展示了如何在一个项目中组织和导入各种库、模块和类，以及如何进行一些基本的We…
阅读更多...
双向链表（C语言版）

双向链表（C语言版）

1. 双向链表的结构 注意&#xff1a;这里的“带头”跟单链表的“头结点”是两个概念&#xff0c;实际上在单链表阶段称呼不太严谨&#xff0c;但是为了更好地理解就直接称为单链表的头结点。带头链表里的头结点&#xff0c;实际为“哨兵位”&#xff0c;哨兵位结点不存储任何有…
阅读更多...
rsync文件远程同步

rsync文件远程同步

目录 一、什么是rsync远程同步 二、实操rsync远程文件同步 1、配置rsync同步源 2、客户端部署 3、增量备份​编辑 4、删除文件 5、如何实现免交互登录 6、crontab rsync 实现定时同步 7、使用ssh实现rsync数据同步【☆】 如何使用ssh免交互实现数据同步&#xff1f;…
阅读更多...
C++ Map Set的模拟实现

C++ Map Set的模拟实现

C Map Set的模拟实现 文章目录 前言一、Map 和 Set是什么&#xff1f;1.Set2.Map 二、困难点困难一、set和map中值的类型不同困难二、Map和Set中值不可修改困难三、红黑树中迭代器的和--1.2.- - 困难四、map中[ ] 运算符重载的实现1.修改红黑树以及Map和Set中insert的返回值1.修…
阅读更多...
Spring Boot入门指南：轻松构建高效Spring应用（四）

Spring Boot入门指南：轻松构建高效Spring应用（四）

Spring Boot入门指南&#xff1a;轻松构建高效Spring应用&#xff08;三&#xff09;-CSDN博客 一.传递参数 7.传递数组 1.在IDEA中写出处理代码 2.打开postman 或者这样:key相同时&#xff0c;也会组成一个数组。 8. 传递集合 如果像数组传参一样传递集合&#xff0c;可能…
阅读更多...
Transformer合集

Transformer合集

资料 位置编码&#xff1a;https://zhuanlan.zhihu.com/p/454482273 自注意力&#xff1a;https://zhuanlan.zhihu.com/p/455399791 LN&#xff1a;https://zhuanlan.zhihu.com/p/456863215 ResNet&#xff1a;https://zhuanlan.zhihu.com/p/459065530 Subword Tokenizati…
阅读更多...
重生之我们在ES顶端相遇第5章-常用字段类型

重生之我们在ES顶端相遇第5章-常用字段类型

思维导图 前置 在第4章&#xff0c;我们提到了 keyword&#xff08;一笔带过&#xff09;。在本章&#xff0c;我们将介绍 ES 的字段类型。全面的带大家了解 ES 各个字段类型的使用场景。 字段类型 ES 支持以下字段类型&#xff08;仅介绍开发中常用&#xff0c;更多内容请自…
阅读更多...
接口自动化测试框架实战-4-日志方法封装

接口自动化测试框架实战-4-日志方法封装

上一小节我们讲解了文件读写方法的封装方法，本小节我们完成一下框架日志的封装方法。 首先我们讲解一下日志封装和日志记录有哪些用处？ 更加方便的设置日志的格式和输出方式全局方法可以各个类/函数中都能统一调用分类记录接口用例执行日志，方便嵌入测试报告错误日志提示，…
阅读更多...
乘云数字受邀Zabbix MeetUp济南站，分享《DataBuff在打造可观测性数据底座上的探索》

乘云数字受邀Zabbix MeetUp济南站，分享《DataBuff在打造可观测性数据底座上的探索》

7月20日&#xff0c;Zabbix主办的MeetUp线下活动在济南圆满举行&#xff0c;众多技术大咖汇集现场&#xff0c;交流技术知识、分享先进的思想。乘云数字受邀参加此次盛宴&#xff0c;创始人兼CEO向成钢在现场发表了关于“DataBuff在打造可观测性数据底座上的探索”的主题演讲。…
阅读更多...
【多模态】CLIP-KD: An Empirical Study of CLIP Model Distillation

【多模态】CLIP-KD: An Empirical Study of CLIP Model Distillation

论文&#xff1a;CLIP-KD: An Empirical Study of CLIP Model Distillation 链接&#xff1a;https://arxiv.org/pdf/2307.12732 CVPR 2024 Introduction Motivation&#xff1a;使用大的Teacher CLIP模型有监督蒸馏小CLIP模型&#xff0c;出发点基于在资源受限的应用中&…
阅读更多...
NFTScan 浏览器现已支持 .mint 域名搜索功能！

NFTScan 浏览器现已支持 .mint 域名搜索功能！

近日&#xff0c;NFT 数据基础设施 NFTScan 浏览器现已支持用户输入 .mint 域名进行 Mint Blockchain 网络钱包地址的搜索查询&#xff0c; NFTScan 用户能够轻松地使用域名追踪 NFT 交易&#xff0c;为 NFT 钱包地址相关的搜索查询功能增加透明度和便利性。 NFTScan explorer…
阅读更多...
C++树形结构（2 树的直径）

C++树形结构（2 树的直径）

目录 1.定义&#xff1a; 2.直径的性质&#xff1a; 3.树的直径求解方法&#xff1a; 4.直径端点求解方法&#xff1a; 朴素方法&#xff1a; 优化方法&#xff1a; 5.例题&#xff1a; 6.直径公共点&#xff1a; 7.例题&#xff1a; 8.去掉再加上&#xff1a; 9.例…
阅读更多...
Hi3751V560_SELinux

Hi3751V560_SELinux

Hi3751V560_SELinux setenforce Enforcing setenforce Permissive（或“setenforce 0”） getenforce V560:demo本身的： [ 13.765161] type=1400 audit(1628821512.905:4): avc: denied { read } for pid=1926 comm="system_server" name="ifindex" d…
阅读更多...
vue3前端开发-小兔鲜项目-图片切换效果和动态class

vue3前端开发-小兔鲜项目-图片切换效果和动态class

vue3前端开发-小兔鲜项目-图片切换效果和动态class!这次实现的效果是&#xff0c;图片预览效果&#xff0c;根据小图片&#xff0c;来实时改变大图&#xff08;预览&#xff09;的效果。同时让动态的特征class也跟着显示出来。 <script setup> import {ref} from vue // …
阅读更多...
【Vue3】响应式数据

【Vue3】响应式数据

【Vue3】响应式数据 背景简介开发环境开发步骤及源码使用 ref 定义基本类型响应式数据使用 reactive 定义对象类型响应式数据使用 ref 定义对象类型响应式数据 ref 和 reactive 的对比使用原则建议 背景 随着年龄的增长&#xff0c;很多曾经烂熟于心的技术原理已被岁月摩擦得愈…
阅读更多...
【C++初阶】string类

【C++初阶】string类

【C初阶】string类 &#x1f955;个人主页&#xff1a;开敲&#x1f349; &#x1f525;所属专栏&#xff1a;C&#x1f96d; &#x1f33c;文章目录&#x1f33c; 1. 为什么学习string类&#xff1f; 1.1 C语言中的字符串 1.2 实际中 2. 标准库中的string类 2.1 string类 2.…
阅读更多...
day07：用户下单、订单支付

day07：用户下单、订单支付

文章目录 地址薄相关相关代码需求分析和设计代码书写 用户下单需求分析和设计代码开发 订单支付微信支付介绍微信支付准备工作如何保证数据安全&#xff1f;如何调用到商户系统 地址薄相关相关代码 需求分析和设计 产品原型接口设计数据库设计 代码书写 地址薄相关代码都是单…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023