昇思MindSpore学习入门-CELL与参数一

news2024/9/27 12:12:19

Cell作为神经网络构造的基础单元,与神经网络层(Layer)的概念相对应,对Tensor计算操作的抽象封装,能够更准确清晰地对神经网络结构进行表示。除了基础的Tensor计算流程定义外,神经网络层还包含了参数管理、状态管理等功能。而参数(Parameter)是神经网络训练的核心,通常作为神经网络层的内部成员变量。本节我们将系统介绍参数、神经网络层以及其相关使用方法。

Parameter

参数(Parameter)是一类特殊的Tensor,是指在模型训练过程中可以对其值进行更新的变量。MindSpore提供mindspore.Parameter类进行Parameter的构造。为了对不同用途的Parameter进行区分,下面对两种不同类别的Parameter进行定义:

  • 可训练参数。在模型训练过程中根据反向传播算法求得梯度后进行更新的Tensor,此时需要将required_grad设置为True。
  • 不可训练参数。不参与反向传播,但需要更新值的Tensor(如BatchNorm中的mean和var变量),此时需要将requires_grad设置为False。

在Cell的__init__方法中,我们定义了w和b两个Parameter,并配置name进行命名空间管理。在construct方法中使用self.attr直接调用参与Tensor运算。

获取Parameter

在使用Cell+Parameter构造神经网络层后,我们可以使用多种方法来获取Cell管理的Parameter。

获取单个参数

单独获取某个特定参数,直接调用Python类的成员变量即可。

可使用Cell.trainable_params方法获取可训练参数,通常在配置优化器时需调用此接口。

使用Cell.get_parameters()方法可获取所有参数,此时会返回一个Python迭代器

或者可以调用Cell.parameters_and_names返回参数名称及参数。

修改Parameter

直接修改参数值

Parameter是一种特殊的Tensor,因此可以使用Tensor索引修改的方式对其值进行修改。

可调用Parameter.set_data方法,使用相同Shape的Tensor对Parameter进行覆盖。该方法常用于使用Initializer进行Cell遍历初始化。

运行时修改参数值

参数的主要作用为模型训练时对其值进行更新,在反向传播获得梯度后,或不可训练参数需要进行更新,都涉及到运行时参数修改。由于MindSpore的使用静态图加速编译设计,此时需要使用mindspore.ops.assign接口对参数进行赋值。该方法常用于自定义优化器场景。下面是一个简单的运行时修改参数值样例:

import mindspore as ms

@ms.jit

def modify_parameter():

    b_hat = ms.Tensor([7, 8, 9])

    ops.assign(net.b, b_hat)

    return True

modify_parameter()

print(net.b.asnumpy())

Parameter Tuple

变量元组ParameterTuple,用于保存多个Parameter,继承于元组tuple,提供克隆功能。

如下示例提供ParameterTuple创建方法:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1909640.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Python】已解决:(最新版selenium框架元素定位报错)NameError: name ‘By’ is not defined

文章目录 一、分析问题背景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项 已解决:(最新版selenium框架元素定位报错)NameError: name ‘By’ is not defined 一、分析问题背景 在使用Selenium进行Web自动化测试或爬虫开…

R包:‘patchwork合并多个R图的包‘

介绍 patchwork是基于gglot2的拼图包,它使得基于ggplot2的图形更容易拼接在同一个图层。 安装 因为作者仅仅在GitHub发布了patchwork,因此无法使用install.packages("patchwork")从CRAN处获取。为了获取该包,首先应该安装devtoo…

十进制与十六进制,和二进制的相互转变

十六进制与十进制 十六进制(Hexadecimal)是一种进位制,基数为16,常用于计算机科学和电子工程中。十六进制使用16个符号来表示数值:0-9表示0到9,A-F表示10到15。十六进制的每一位可以表示4位二进制数&#…

万界星空科技MES:磷酸铁锂正极新材料生产管理系统

磷酸铁锂MES通过对生产现场的数据进行实时采集、处理和监控,实现对生产过程的优化和控制。它可以实时监控生产设备的运行状态、物料的使用情况、产品的生产进度等信息,并根据这些信息对生产过程进行调整和优化。例如,当发现某个生产设备的故障…

电脑桌面日历记事本怎么弄 好用的桌面日历记事本

在这个数字化的时代,电脑已成为我们日常生活中不可或缺的伙伴。我常常在电脑上记录各种事项,以便随时查看和提醒自己。而我最钟爱的记事方式,莫过于使用桌面日历记事本。 想象一下,你的电脑桌面上有一个直观的日历,每…

【Elasticsearch】开源搜索技术的演进与选择:Elasticsearch 与 OpenSearch

开源搜索技术的演进与选择:Elasticsearch 与 OpenSearch 1.历史发展2.OpenSearch 与 Elasticsearch 相同点3.OpenSearch 与 Elasticsearch 不同点3.1 版本大不同3.2 许可证不同3.3 社区不同3.4 功能不同3.5 安全性不同3.6 性能不同3.7 价格不同3.8 两者可相互导入 4…

【大模型】提示工程基础学习

目录 1. 零样本提示2. 少样本提示3. 链式思考提示(CoT)4. 自我一致性5. 生成知识提示6. 链式提示7. 思维树(ToT)8. 检索增强生成(RAG)9. active prompt10. 自我反思(reflexion)11. 多…

儿童网络守护计划:如何为孩子营造一个纯净的在线空间?

青少年不想被监视,但他们需要受到保护,免受互联网危险。我们告诉您如何与您的孩子建立信任,同时了解他们在网上面临的挑战。 对于今天的孩子来说,将离线和在线朋友分开是不可能的。青少年在任何时候都与一切事物和每个人联系在一起…

2024年道路运输企业主要负责人证考试题库及道路运输企业主要负责人试题解析

题库来源:安全生产模拟考试一点通公众号小程序 2024年道路运输企业主要负责人证考试题库及道路运输企业主要负责人试题解析是安全生产模拟考试一点通结合(安监局)特种作业人员操作证考试大纲和(质检局)特种设备作业人…

MFC引用C#生成的dll,将dll放置到非exe程序目录,如何操作?

🏆本文收录于「Bug调优」专栏,主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&…

【Linux进阶】vim的用法

1.什么是vi/vim? 简单来说,vi是老式的文本编辑器,不过功能已经很齐全了,但是还是有可以进步的地方。vim则可以说是程序开发者的一项很好用的工具,就连 vim的官方网站( http://www.vim.org)自己也说vim是一…

《无所不能的JavaScript · prototype 原型链》

📢 大家好,我是 【战神刘玉栋】,有10多年的研发经验,致力于前后端技术栈的知识沉淀和传播。 💗 🌻 近期刚转战 CSDN,会严格把控文章质量,绝不滥竽充数,欢迎多多交流。&am…

掌握Midjourney:一份全面的使用教程

Midjourney 它是一种通过人工智能生成图片的人工智能绘画工具,如何使用Midjourney?很简单,只要在对话框中输入imagine 命令,添加您需要的图像描述或关键字,并在发送后生成相应的艺术图片。除了其强大的生图功能外&…

STM32CubeMX如何配置生成项目以及安装包

目录 一、STM32CubeMX介绍 二、用STM32CubeMX生成项目 1.创建项目 2.定义引脚 3.配置时钟 4.保存项目 5.生成项目 6.打开项目 一、STM32CubeMX介绍 STM32CubeMX是STM32Cube工具家族中的一员,专门为STM32微控制器的开发提供便利。它是一款图形化工具&#xf…

古代VS现代,太阳黑子的影响有什么变化?

公元前28年,我国汉朝人在人类历史上第一次记载下了“太阳黑子”。在《汉书五行志》里是这样记载:“汉成帝河平元年三月乙未,日出黄,有黑气,大如钱,居日中央”。在2052年前,人类对于太阳黑子的认…

基于考研题库小程序V2.0实现倒计时功能板块和超时判错功能

V2.0 需求沟通 需求分析 计时模块 3.1.1、功能描述←计时模块用于做题过程中对每一题的作答进行30秒倒计时,超时直接判错,同时将总用时显示在界面上;记录每次做题的总用时。 3.1.2、接口描述←与判定模块的接口为超时判定,若单题用时超过 …

【BUG】已解决:JsonMappingException

已解决:JsonMappingException 欢迎来到英杰社区https://bbs.csdn.net/topics/617804998 概述: 没有getter方法的实体的序列化,并解决Jackson引发的JsonMappingException异常。 默认情况下,Jackson 2只会处理公有字段或具有公有get…

镭速助力全球高速传输,实现点对点高效传输打破时差壁垒!

在当今全球化的背景下,跨国界的文件协作已成为许多跨国企业日常工作的一部分。但是,时差和网络不稳定等因素常常影响团队间的有效交流与合作。特别是在大文件传输环节,传统的在线传输方法在接收方离线或网络条件不佳时显得力不从心&#xff0…

pycharm使用micropython

一、打开设置 2、搜索micropython、安装、重启 3、第5步需要设置成你插的电脑USB口,一个一个试 4、 5、 6、OK

【重大消息】报告称OpenAI的产品可经由微软的服务提供给中国客户

尽管OpenAI正在采取措施限制中国用户访问其平台,但一份最新报告称,中国用户仍可通过微软的Azure云计算平台访问该公司的产品。微软和OpenAI有着密切的合作关系,前者通过人工智能功能获得了独家产品访问权以拓展企业计算。最新的报道来自《The…