Pytorch 容器 - 2. Module的属性访问 modules(), children(), parameters(), buffers()等

news2024/11/13 3:38:41

目录

1. modules() 和 named_modules()

2. children() 和 named_children()

3. parameters() 和 named_parameters()

4. buffers() 和 named_buffers()


Module类内置了很多函数,其中本文主要介绍常用的属性访问函数,包括: modules(), named_modules(), buffers(), named_buffers(), children(),  named_children(),  parameters(), named_parameters()。官方文档 Module — PyTorch 1.7.0 documentation

示例代码均使用如下:

class Net(nn.Module):
    def __init__(self, num_class=10):
        super().__init__()
        self.features = nn.Sequential(
            nn.Conv2d(in_channels=6, out_channels=9, kernel_size=3),
            nn.BatchNorm2d(9),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=2, stride=2)
        )

        self.classifier = nn.Sequential(
            nn.Linear(9 * 8 * 8, 128),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(128, num_class)
        )

    def forward(self, x):
        output = self.features(x)
        output = output.view(output.size()[0], -1)
        output = self.classifier(output)
        return output


model = Net()

1. modules() 和 named_modules()

【相同点】均返回Module类中的所有子层(子类),返回类型为生成器(可以遍历访问)

【不同点】modules()仅返回子类,named_modules()返回子类和对应的名字

 

 示例1:model.modules() 会遍历并返回模型中所有的nn.Module子类对象,包括model自身(因为model也是继承Module), self.features, self.classifier(Sequential继承Module类),以及Conv,MaxPool,ReLU, Linear, BN, Dropout等都是nn.Module子类。

for item in model.modules():
    print(item)


#Net(
#   (features): Sequential(
#     (0): Conv2d(6, 9, kernel_size=(3, 3), stride=(1, 1))
#     (1): BatchNorm2d(9, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
#     (2): ReLU(inplace=True)
#     (3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
#   )
#   (classifier): Sequential(
#     (0): Linear(in_features=576, out_features=128, bias=True)
#     (1): ReLU(inplace=True)
#     (2): Dropout(p=0.5, inplace=False)
#     (3): Linear(in_features=128, out_features=10, bias=True)
#   )
# )
# Sequential(
#   (0): Conv2d(6, 9, kernel_size=(3, 3), stride=(1, 1))
#   (1): BatchNorm2d(9, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
#   (2): ReLU(inplace=True)
#   (3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
# )
# Conv2d(6, 9, kernel_size=(3, 3), stride=(1, 1))
# BatchNorm2d(9, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
# ReLU(inplace=True)
# MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
# Sequential(
#   (0): Linear(in_features=576, out_features=128, bias=True)
#   (1): ReLU(inplace=True)
#   (2): Dropout(p=0.5, inplace=False)
#   (3): Linear(in_features=128, out_features=10, bias=True)
# )
# Linear(in_features=576, out_features=128, bias=True)
# ReLU(inplace=True)
# Dropout(p=0.5, inplace=False)
# Linear(in_features=128, out_features=10, bias=True)

示例2:model.named_modules() 会遍历并返回所有的nn.Module子类对象和名字。除了自定义的一些名字外,如features, classifier等,其他层都采用PyTorch的默认命名方式

for item in model.named_modules():
    print(item)


#('', Net(
#   (features): Sequential(
#     (0): Conv2d(6, 9, kernel_size=(3, 3), stride=(1, 1))
#     (1): BatchNorm2d(9, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
#     (2): ReLU(inplace=True)
#     (3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
#   )
#   (classifier): Sequential(
#     (0): Linear(in_features=576, out_features=128, bias=True)
#     (1): ReLU(inplace=True)
#     (2): Dropout(p=0.5, inplace=False)
#     (3): Linear(in_features=128, out_features=10, bias=True)
#   )
# ))
# ('features', Sequential(
#   (0): Conv2d(6, 9, kernel_size=(3, 3), stride=(1, 1))
#   (1): BatchNorm2d(9, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
#   (2): ReLU(inplace=True)
#   (3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
# ))
# ('features.0', Conv2d(6, 9, kernel_size=(3, 3), stride=(1, 1)))
# ('features.1', BatchNorm2d(9, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True))
# ('features.2', ReLU(inplace=True))
# ('features.3', MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False))
# ('classifier', Sequential(
#   (0): Linear(in_features=576, out_features=128, bias=True)
#   (1): ReLU(inplace=True)
#   (2): Dropout(p=0.5, inplace=False)
#   (3): Linear(in_features=128, out_features=10, bias=True)
# ))
# ('classifier.0', Linear(in_features=576, out_features=128, bias=True))
# ('classifier.1', ReLU(inplace=True))
# ('classifier.2', Dropout(p=0.5, inplace=False))
# ('classifier.3', Linear(in_features=128, out_features=10, bias=True))

2. children() 和 named_children()

【相同点】均返回Module类中的当前的子层(子类),不会递归遍历所有,返回类型同样为生成器

【不同点】children() 仅返回当前子类, named_children() 返回子类和对应的名字

示例1:如果把model按层次从外到内进行划分的话,features和classifier是model的子层,而conv2d, BatchNorm, ReLU, Maxpool2d 是features的子层, Linear, ReLU,Dropout, Linear等是classifier的子层,因此当前model的子层只有两个Squential,即 features 和 classifier

for item in model.children():
    print(item)

#Sequential(
#   (0): Conv2d(6, 9, kernel_size=(3, 3), stride=(1, 1))
#   (1): BatchNorm2d(9, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
#   (2): ReLU(inplace=True)
#   (3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
# )
# Sequential(
#   (0): Linear(in_features=576, out_features=128, bias=True)
#   (1): ReLU(inplace=True)
#   (2): Dropout(p=0.5, inplace=False)
#   (3): Linear(in_features=128, out_features=10, bias=True)
)

示例2:同理,named_children()会返回子层和名字

for item in model.named_children():
    print(item)

# ('features', Sequential(
#   (0): Conv2d(6, 9, kernel_size=(3, 3), stride=(1, 1))
#   (1): BatchNorm2d(9, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
#   (2): ReLU(inplace=True)
#   (3): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
# ))
# ('classifier', Sequential(
#   (0): Linear(in_features=576, out_features=128, bias=True)
#   (1): ReLU(inplace=True)
#   (2): Dropout(p=0.5, inplace=False)
#   (3): Linear(in_features=128, out_features=10, bias=True)
# ))

3. parameters() 和 named_parameters()

【相同点】均返回模型中的所有可学习参数,返回类型为生成器(可以遍历访问)

【不同点】named_parameters()返回参数和对应的可学习层的名字

 

示例1:以named_parameters()为例,每个参数都会带有 .weight或 .bias以区分权重和偏置。

其中 features.0对应 self.features中的 nn.Conv2d,features.1 对应 self.features中的 nn.BatchNorm2d,classifier.0对应self.classifier中的nn.Linear(9 * 8 * 8, 128), classifier.3对应self.classifier中的nn.Linear(128, num_class)。

for item in model.named_parameters():
    print(item[0], item[1].shape)

# features.0.weight torch.Size([9, 6, 3, 3]) 
# features.0.bias torch.Size([9])
# features.1.weight torch.Size([9])
# features.1.bias torch.Size([9])
# classifier.0.weight torch.Size([128, 576])
# classifier.0.bias torch.Size([128])
# classifier.3.weight torch.Size([10, 128])
# classifier.3.bias torch.Size([10])

示例2:parameters()

for item in model.parameters():
    print(item.shape)

# torch.Size([9, 6, 3, 3])
# torch.Size([9])
# torch.Size([9])
# torch.Size([9])
# torch.Size([128, 576])
# torch.Size([128])
# torch.Size([10, 128])
# torch.Size([10])

示例3:常将 parameters() 其放到优化器内

torch.optim.SGD(params_list.parameters(),
                lr=args.lr,
                momentum=args.momentum,
                weight_decay=args.weight_decay)

4. buffers() 和 named_buffers()

【相同点】均保存在模型参数中的不可学习参数,如BN中的均值和方差(running_mean 和 running_var),返回类型为生成器

【不同点】named_buffers() 除返回参数外,还返回名字

 

 示例1:named_buffers()

for item in model.named_buffers():
    print(item[0], item[1].shape)
    
# features.1.running_mean torch.Size([9])
# features.1.running_var torch.Size([9])
# features.1.num_batches_tracked torch.Size([])

示例2:buffers()

for item in model.buffers():
    print(item.shape)

# torch.Size([9])
# torch.Size([9])
# torch.Size([])

 

 本文部分代码和内容参考的博客:https://www.jianshu.com/p/a4c745b6ea9b

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/420613.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Spring事务源码-EnableTransactionManagement实现解析

Transactional注解 Transactional是spring中声明式事务管理的注解配置方式。Transactional注解可以帮助我们标注事务开启、提交、者回滚、事务传播、事务隔离、超时时间等操作。 而EnableTransactionManagement是开启Spring 事务的入口。 EnableTransactionManagement 标注启…

什么是数字人?数字人可以应用在哪些行业?

数字人指的是由计算机技术、人工智能技术和大数据技术等多种技术手段构建的一种虚拟的人类形态。数字人通常具备丰富的信息处理能力、模拟能力和学习能力,可以根据人们的需求进行智能化定制服务。 数字人 在很多行业领域,数字人都被广泛应用&#xff0…

【并发编程】ConcurrentHashMap源码分析(一)

ConcurrentHashMap源码分析CHM的使用CHM的存储结构和实现CHM源码put源码分析initTable 初始化tabletreeifyBin()和tryPresize()transfer 扩容和数据迁移高低位的迁移ConcurrentHashMap是一个高性能的,线程安全的HashMapHashTable线程安全,直接在get,put方…

spring security 的AuthenticationSuccessHandler 没有调用 ,无法生效

今天想不明白,我控制层写了一个登录的接口。结果验证成功了,我发现AuthenticationSuccessHandler 没有调用 ,而且也不生效啊,最后研究终于发现是因为我们需要配置登录的url 这个url 我们访问,中间的什么控制器什么的框…

Win10怎么取消开机密码?这样做就可以!

集美们,我每次开电脑都要输入密码,感觉太麻烦了,想把开机密码取消掉,应该怎么做呀?感谢回答!】 在Windows 10操作系统中,用户可以设置开机密码来保护计算机的安全性。然而,有时候用…

【CSS】使用绝对定位 / 浮动解决外边距塌陷问题 ( 为父容器 / 子元素设置内边距 / 边框 | 为子元素设置浮动 | 为子元素设置绝对定位 )

文章目录一、外边距塌陷描述1、没有塌陷的情况2、外边距塌陷情况二、传统方法解决外边距塌陷 - 为父容器 / 子元素设置内边距 / 边框三、使用浮动解决外边距塌陷 - 为子元素设置浮动四、使用绝对定位解决外边距塌陷 - 为子元素设置绝对定位一、外边距塌陷描述 在 标准流的父盒子…

AE开发20210601之绘制集合要素、绘制点、空间查询、属性查询、图形查询、选择集内容、符号化

AE开发之绘制集合要素绘制点步骤queryFilterQueryDefcursor查现有的SpatialRel可以有的空间关系有哪一些。Map类,对应的是FeatureSelection属性,SelectionCount属性,空间查询属性查询图形查询选择集内容符号化multiparrcolorRampLineSymbol下…

a标签 链接 target=”_blank” 为什么要增加 rel=”noopener noreferrer”

在<a></a>中使用target"_blank" 那么会得到以下错误提示&#xff1a; Using target"_blank" without rel"noopener noreferrer" is a security risk: see https://mathiasbynens.github.io/rel-noopener [react/jsx-no-target-blank…

Golang流媒体实战之七:hls拉流服务源码阅读

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)&#xff1a;https://github.com/zq2599/blog_demos 本篇概览 本文是《Golang流媒体实战》系列的第七篇&#xff0c;继续学习一个重要且通用的知识点&#xff1a;hls拉流在《体验开源项目lal》一文中&#xff0…

两种方法实现杨辉三角(java实现)

&#x1f389;&#x1f389;&#x1f389;点进来你就是我的人了 博主主页&#xff1a;&#x1f648;&#x1f648;&#x1f648;戳一戳,欢迎大佬指点!人生格言&#xff1a;当你的才华撑不起你的野心的时候,你就应该静下心来学习! 欢迎志同道合的朋友一起加油喔&#x1f9be;&am…

AI 作图绘画的软件和网址

软件分享 分享软件一&#xff1a;NovelAI NovelAI是一个用于ai写文章的工具&#xff0c;大家可以给它文章标题框架&#xff0c;让它生成文章。后来这款工具进行功能拓展&#xff0c;完成了ai绘画功能&#xff0c;它支持我们上传草图生成图片&#xff0c;也支持我们通过画面描…

计算机网络思维导图,快快收藏学习啦!

第一章&#xff08;概述&#xff09; P0 - 计算机网络<思维导图> 第二章&#xff08;物理层&#xff09; P1 - 计算机网络<思维导图> 便签中的内容&#xff1a; ①香农公式&#xff1a;CW*Log2(1S/N) (bit/s) C:极限传输速率 W:信道带宽(单位Hz) S:信道内所传…

graylog实现日志监控

graylog graylog是一个轻量级的日志管理工具,依托elasticsearch作为日志存储中间件,MongoDB作为元数据信息存储中间件.自带WEB-UI界面,LDAP整合各种日志类型.提供了日志收集、日志查询、监控告警等相关功能。提供了graylog sidecar通过sidecar模式可以很方便的收集目标主机、容…

UEFI Protocol

一、概述 二、Protocol的定义 1、Protocol是服务器端和客户端之间的一种约定&#xff0c;在软件编程上称为接口&#xff0c;服务器端和客户端通过这个约定信息的互通。 2、服务器端和客户端在UEFI中都是可执行的二进制文件。 3、为了实现这些二进制文件之间的互通&#xff0c;…

nginx反向代理_负载均衡的配置

说明 两台虚拟机&#xff1a; 88节点是自己的虚拟机 66节点是小组成员的虚拟机&#xff0c;我们暂且叫同学机 tomcat端口&#xff0c;分别为8081和8082 总结就是&#xff1a; 自己虚拟机上面安装nginx和tomcat8082 同学机上安装tomcat8081 一、开始安装nginx&#xff08;只安装…

香港布局Web3.0 既是金融试探,也是未来战略

香港Web3.0协会成立的消息已在业内刷屏&#xff0c;作为跨业界的非盈利机构&#xff0c;该协会致力于促进Web3.0生态环境的建设&#xff0c;港府特首李家超和北京中央驻港联络办公室部分领导均出席了成立典礼。 李家超在致辞中表示&#xff0c;Web3.0的发展正值黄金起点&#x…

Vue随记

1、Vue模板语法 Vue模板语法有两大类&#xff1a; 1.1、插值语法 功能&#xff1a;用于解析标签体内容。 写法&#xff1a;{{xxxx}}&#xff0c;xxxx是js表达式&#xff0c;且可以直接读取到data中的所有属性。 1.2、指令语法 功能&#xff1a;用于解析标签&#xff08;包…

《鸟哥的Linux私房菜-基础篇》学习笔记

主要用来记录学习&#xff0c;如果能帮助到你那最好了。 数据流重导向 概念 cat /etc/crontab /etc/vbirdsay 标准输出&#xff1a;将cat的文件输出到屏幕上 标准错误输出&#xff1a;无法找到文件报错 *系统会将标准输出和标注错误输出都输出到屏幕上&#xff0c;看着比较乱…

Vue双向数据绑定原理

一. Vue双向数据绑定原理 Vue.js的双向绑定是通过响应式原理实现的。响应式原理就是当数据发生改变时&#xff0c;自动更新相关的视图和数据。下面是Vue.js双向绑定的详细解释和介绍&#xff1a; Vue.js通过 Object.defineProperty() 将数据对象的属性值绑定到对应的DOM元素上…

【数据结构启航!】数据结构开胃菜之顺序表

【数据结构启航&#xff01;】数据结构开胃菜之顺序表一、线性表简介二、目标三、实现1、初始化工作2、顺序表的尾插2.1、图解原理2.2、代码实现3、顺序表的尾删3.1、图解原理3.2、代码实现4、打印顺序表5、顺序表的增容6、顺序表的头插6.1、图解原理6.2、代码实现7、顺序表的头…