《昇思25天学习打卡营第10天|使用静态图加速》

news2024/11/23 21:13:36

文章目录

  • 今日所学：
  • 一、背景介绍
    • 1. 动态图模式
    • 2. 静态图模式
  • 三、静态图模式的使用场景
  • 四、静态图模式开启方式
    • 1. 基于装饰器的开启方式
    • 2. 基于context的开启方式
  • 总结：

今日所学：

在上一集中，我学习了保存与加载的方法，在接下来的这一期将会继续的学习有关AI编译框架的两种运行模式。下面是我今天通过本节学习内容所学到的相关知识与心得。

一、背景介绍

首先学习了AI编译框架包括动态图模式和静态图模式两种运行方式。在默认情况下，MindSpore采用动态图模式运行，但用户也可以手动切换到静态图模式。下面就详细介绍这两种模式：

1. 动态图模式

我了解到了动态图模式是一种即时执行模式，也就是说在构建计算图的同时进行计算（Define by Run），这种模式非常符合Python的解释执行特质。当我们在计算图中定义一个Tensor时，它的值会立即被计算和确定。这种模式在模型调试时非常便利，因为我们可以实时得到中间结果的值。但是，需要注意的是，所有的节点都需要被保存，这可能会导致对整个计算图进行优化的难度增大。

在MindSpore框架中，动态图模式被称为PyNative模式。由于动态图的解释执行特性，我们建议在进行脚本开发和网络流程调试的过程中使用动态图模式。如果需要手动设定框架使用PyNative模式，可以通过以下代码进行设置：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.PYNATIVE_MODE)  # 使用set_context进行动态图模式的配置

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

可以得到如下结果：

在这里插入图片描述

2. 静态图模式

我还学习了静态图模式的原理和应用。静态图模式的特点是将计算图的构建和计算过程分离，在MindSpore中，这种模式被称为Graph模式。在Graph模式下，可以利用图优化和计算图整图下沉等技术进行全局优化，从而获得优质的性能表现，特别适合对网络结构较固定且需要高性能的场景。如果需要手动将框架设置为静态图模式，我学习了相应的网络构建代码。这些都将对我使用MindSpore深度学习框架进行模型训练和推理带来极大的便利。代码如下：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.GRAPH_MODE)  # 使用set_context进行运行静态图模式的配置

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

可以得到如下结果：

在这里插入图片描述

三、静态图模式的使用场景

我学习到了MindSpore编译器主要针对Tensor数据和其微分处理。因此，使用MindSpore API和基于Tensor对象的操作更适合用静态图模式进行编译优化。所以一些非Tensor的操作，虽然也可以编译，但优化的效果有限。另外，由于静态图模式采用的是先编译后执行的方式，这就会导致有编译的时间消耗。因此，如果函数无需执行多次，使用静态图模式进行加速可能就变得不太有价值了。

使用静态图来进行网络编译示例可以见：《昇思25天学习打卡营第6天|网络构建》

四、静态图模式开启方式

进一步学习了如何选择并切换不同的模式来优化神经网络的构建和性能。动态图模式或者称作PyNative模式，由于其灵活性，通常被用来进行自由的神经网络构建，以实现模型的创新和优化。但是，当我需要对神经网络进行性能加速时，我了解到可以转向使用静态图或称作Graph模式。MindSpore为此提供了两种切换方式，包括基于装饰器的开启方式和基于全局context的开启方式。这些知识对于优化我的神经网络模型构建和提升性能都非常有用。

1. 基于装饰器的开启方式

MindSpore提供了jit装饰器，它允许我们将Python函数或类的成员函数编译成计算图，进而利用图优化等技术提升运行效率。这样我们就可以为需要加速的模块简单地应用图编译，同时保留模型其他部分的动态图灵活性。值得注意的是，无论全局context设置为何种模式，被jit装饰的部分总是以静态图模式运行。

当需要对Tensor的特定运算进行编译加速时，我们可以在函数定义时使用jit装饰器。调用这个函数时，该模块会自动被编译为静态图。但请注意，jit装饰器只能用于修饰函数，不能用于修饰类。下面是使用jit的示例代码：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))

@ms.jit  # 使用ms.jit装饰器，使被装饰的函数以静态图模式运行
def run(x):
    model = Network()
    return model(x)

output = run(input)
print(output)

可以得到如下结果：

在这里插入图片描述

并且了解到除使用修饰器外，也可使用函数变换方式调用jit方法，代码如下：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))

def run(x):
    model = Network()
    return model(x)

run_with_jit = ms.jit(run)  # 通过调用jit将函数转换为以静态图方式执行
output = run(input)
print(output)

可以得到如下结果：

在这里插入图片描述

如果我们需要对神经网络的某部分进行加速时，可以直接在construct方法上使用jit修饰器，在调用实例化对象时，该模块自动被编译为静态图，代码如下：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    @ms.jit  # 使用ms.jit装饰器，使被装饰的函数以静态图模式运行
    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
model = Network()
output = model(input)
print(output)

可以得到如下结果：

在这里插入图片描述

2. 基于context的开启方式

context模式是一种全局的设置模式。代码示例如下：

import numpy as np
import mindspore as ms
from mindspore import nn, Tensor
ms.set_context(mode=ms.GRAPH_MODE)  # 使用set_context进行运行静态图模式的配置

class Network(nn.Cell):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.dense_relu_sequential = nn.SequentialCell(
            nn.Dense(28*28, 512),
            nn.ReLU(),
            nn.Dense(512, 512),
            nn.ReLU(),
            nn.Dense(512, 10)
        )

    def construct(self, x):
        x = self.flatten(x)
        logits = self.dense_relu_sequential(x)
        return logits

model = Network()
input = Tensor(np.ones([64, 1, 28, 28]).astype(np.float32))
output = model(input)
print(output)

可以得到如下结果：

在这里插入图片描述
并且还进一步的了解了静态图的语法约束：MindSpore的静态图编译器维护了Python常用语法子集，以支持神经网络的构建及训练可参考静态图语法支持，以及还学习了JitConfig配置选项与静态图高级编程技巧

在这里插入图片描述

总结：

今日学习的重点是使用静态图加速，并理解和区分动态图模式和静态图模式的异同，并了解各自的使用场景。学习了如何在MindSpore框架中切换这两种模式，包括基于装饰器和基于context的切换方式。这些知识将有助于我们在实际的模型训练和推理中选择更适合的模式，提升工作效率和模型性能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1898708.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

《数字图像处理-OpenCV/Python》第17章：图像的特征描述

《数字图像处理-OpenCV/Python》第17章：图像的特征描述

《数字图像处理-OpenCV/Python》第17章：图像的特征描述 本书京东 优惠购书链接 https://item.jd.com/14098452.html 本书CSDN 独家连载专栏 https://blog.csdn.net/youcans/category_12418787.html 第17章：图像的特征描述 特征检测与匹配是计算机视觉的…
阅读更多...
ASUS/华硕枪神4 G532L G732L系列 原厂win10系统 工厂文件 带F12 ASUS Recovery恢复

ASUS/华硕枪神4 G532L G732L系列 原厂win10系统 工厂文件 带F12 ASUS Recovery恢复

华硕工厂文件恢复系统 ，安装结束后带隐藏分区，一键恢复，以及机器所有驱动软件。 系统版本：Windows10 原厂系统下载网址：http://www.bioxt.cn 需准备一个20G以上u盘进行恢复 请注意：仅支持以上型号专用…
阅读更多...
植物大战僵尸融合版最新版1.0下载及安装教程

植物大战僵尸融合版最新版1.0下载及安装教程

《植物大战僵尸融合版》最新版1.0已经发布，为粉丝们带来了全新的游戏体验。这个版本由B站UP主蓝飘飘fly精心打造，引入了创新的植物融合玩法，让玩家可以享受策略和创意的结合。以下是游戏的详细介绍和安装指南： 游戏特色介绍 全新…
阅读更多...
建智慧医院核心：智能导航系统的功能全析与实现效益

建智慧医院核心：智能导航系统的功能全析与实现效益

在数字化转型的浪潮中，智慧医院的建设是医疗行业数字化转型的关键步骤。随着医院规模的不断扩大和医疗设施的日益复杂，传统的静态不连续的导航方式已无法满足患者的需求。院内智能导航系统，作为医疗数字化转型的关键组成部分，正逐…
阅读更多...
【ABB】控制器语言切换

【ABB】控制器语言切换

【ABB】控制器语言切换 操作流程演示 操作流程 点击【菜单】点击【Control Panel】点击【Language】点击【Chinese】点击【OK】此时会弹出弹窗，点击【YES】此时控制器会重启，重启完成就是中文了 演示 点击【菜单】 点击【Control Panel】 点击【Langua…
阅读更多...
Vue3学习笔记（n.0）

Vue3学习笔记（n.0）

vue指令之v-for 首先创建自定义组件&#xff08;practice5.vue&#xff09;&#xff1a; <!--* Author: RealRoad1083425287qq.com* Date: 2024-07-05 21:28:45* LastEditors: Mei* LastEditTime: 2024-07-05 21:35:40* FilePath: \Fighting\new_project_0705\my-vue-app\…
阅读更多...
c++ 里如何检测内存泄露：比如用了 new ，但没有用 delete

c++ 里如何检测内存泄露：比如用了 new ，但没有用 delete

&#xff08;1 方法一&#xff09; 用 MFC 框架的 F5 不带断点的调试。可以在输出窗口提示是否有内存泄露。 &#xff08;2 方法二&#xff09; &#xff0c;在 main 函数中添加如下代码&#xff0c;用 F5 不带断点的调试&#xff1a; int main() {_CrtSetDbgFlag( _CRTDBG_A…
阅读更多...
strcpy,srtcmp,strlen函数漏洞利用

strcpy,srtcmp,strlen函数漏洞利用

strcpy,srtcmp,strlen函数漏洞利用 strcpy strcpy函数用于将字符串复制到另一个指针指向的空间中&#xff0c;遇到空字符 **b’x\00’**时停止&#xff0c;&#xff1a; 所以可以利用 strcpy不检查缓冲区 的漏洞&#xff08;构造的字符串要以\0结尾&#xff09;&#xff0c;…
阅读更多...
【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【20】认证服务04—SSO单点登录

【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【20】认证服务04—SSO单点登录

持续学习&持续更新中… 守破离 【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【20】认证服务04—SSO单点登录 xxl-sso多系统-单点登录单点登录流程原理图单点登录流程简单实现参考 xxl-sso https://gitee.com/xuxueli0323/xxl-sso xxl-sso是开源的一个单点登录框架 …
阅读更多...
hnust 1815: 算法10-6~10-8：快速排序

hnust 1815: 算法10-6~10-8：快速排序

hnust 1815: 算法10-6~10-8&#xff1a;快速排序 题目描述 快速排序是对起泡排序的一种改进。它的基本思想是&#xff0c;通过一趟排序将待排序的记录分割成两个独立的部分&#xff0c;其中一部分记录的关键字均比另一部分的关键字小&#xff0c;在分成两个部分之后则可以分别…
阅读更多...
C语言_操作符

C语言_操作符

目录 算术操作符 移位操作符 位操作符 赋值操作符 单目操作符 关系操作符 逻辑操作符 条件操作符 逗号表达式 下标引用&#xff0c;函数调用&#xff0c;结构成员 表达式求值 隐式类型转换 算术转换 操作符的属性 练习题 代码仓库 算术操作符 加()&#x…
阅读更多...
WAIC上官宣！大模型语料提取工具MinerU正式发布，开源免费“敲”好用

WAIC上官宣！大模型语料提取工具MinerU正式发布，开源免费“敲”好用

7月4日&#xff0c;2024 WAIC科学前沿全体会议在上海世博中心红厅隆重举行。上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣浦语2.5&#xff08;InternLM2.5&#xff09;&#xff0c;同时全链条工具体系迎来重磅升级&#xff0c;对于大模…
阅读更多...
17.【C语言】初识常见关键字 下

17.【C语言】初识常见关键字 下

1.typedef 类型&#xff08;重新&#xff09;定义&#xff08;或命名&#xff09;&#xff0c;可简化输入 如&#xff1a; #define _CRT_SECURE_NO_WARNINGS 1 #include <stdio.h> typedef signed long long k; int main() {k a 0; } signed long long被简写为k这个…
阅读更多...
基于SpringBoot的乐校园二手书交易管理系统

基于SpringBoot的乐校园二手书交易管理系统

你好呀&#xff0c;我是计算机学姐码农小野&#xff01;如果有相关需求&#xff0c;可以私信联系我。 开发语言 Java 数据库 MySQL 技术 SpringBoot框架 工具 Visual Studio、MySQL数据库开发工具 系统展示 首页 用户注册界面 二手图书界面 个人中心界面 摘要 乐校园…
阅读更多...
vue3+ts+vite项目报错：找不到名称“GC”。ts-plugin(2304)

vue3+ts+vite项目报错：找不到名称“GC”。ts-plugin(2304)

GC变量通过script标签引入的第三方引入&#xff0c;但是ts-plugin并不知道&#xff0c;需要明确声明这个变量的类型 /// <reference types"vite/client" />declare module "*.vue" {import type { DefineComponent } from "vue";// eslint…
阅读更多...
【8】相关补充

【8】相关补充

【8】相关补充 文章目录 前言一、不同模型在测试集上的精度二、实验记录三、SNP位点筛选及其它python脚本四、总结五、后续安排总结 前言 存放一些有关这个项目研究的补充。 三叶青图像识别研究简概 一、不同模型在测试集上的精度 存放了不同识别模型在测试集上精度评估展示…
阅读更多...
2024年前端面试中面试官常拷打的“项目细节”！

2024年前端面试中面试官常拷打的“项目细节”！

前言 都知道前端面试中&#xff0c;面试官最爱拷打的项目细节&#xff0c;根据你的项目经历来进行相关提问&#xff0c;时不时再给你几个高难度问题&#xff0c;让人头疼。 程序员大都有一个特点&#xff1a;会做&#xff0c;不会写&#xff0c;更不会说 前端面试&#xff0c…
阅读更多...
【Revit二次开发】创建rvt文件，但不打开Revit

【Revit二次开发】创建rvt文件，但不打开Revit

介绍 需要安装Revit&#xff0c;但不用打开Revit加载插件&#xff0c;而是运行一个控制台应用&#xff0c;就可以创建一个rvt文件&#xff08;更多读写功能都可自行添加&#xff09;。 本文内容主要参考&#xff1a;博客1&#xff0c;但对内容进行了简化&#xff0c;只保留了…
阅读更多...
第N7周：seq2seq翻译实战-pytorch复现-小白版

第N7周：seq2seq翻译实战-pytorch复现-小白版

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 理论基础 seq2seq&#xff08;Sequence-to-Sequence&#xff09;模型是一种用于机器翻译、文本摘要等序列转换任务的框架。它由两个主要的递归神经网络&#…
阅读更多...
BSI 第七届万物互联智慧高峰论坛：主题：拥抱AI时代，标准赋能组织实现可持续发展

BSI 第七届万物互联智慧高峰论坛：主题：拥抱AI时代，标准赋能组织实现可持续发展

BSI 第七届万物互联智慧高峰论坛&#xff1a;主题&#xff1a;拥抱AI时代&#xff0c;标准赋能组织实现可持续发展 主要收到 BSI 温女士的邀请参加的本次论坛。还是学到的很多 。 在科技日新月异的时代背景下&#xff0c;BSI 第七届万物互联智慧高峰论坛于[时间&#xff1a;6…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023