一、PyTorch基础

news2025/2/5 14:56:06

一、PyTorch基本操作

1，导包

import torch

2，查看版本号

torch.__version__
"""
'2.0.1+cpu'
"""

3，初始化(全零)矩阵

x = torch.empty(3,2)
x
"""
tensor([[7.2868e-44, 8.1275e-44],
        [6.7262e-44, 7.5670e-44],
        [8.1275e-44, 6.7262e-44]])
"""

4，随机创建初始化矩阵

4.1 符合正态分布

x_1 = torch.randn(3,4)
x_1
"""
tensor([[ 0.1605, -0.9290, -0.0501, -0.0723],
        [ 0.6792,  0.1977, -0.7773,  0.6927],
        [ 0.7576, -1.4204,  0.1976, -2.2545]])

"""

4.2 符合均匀分布

x_2 = torch.rand(3,4)
x_2
"""
tensor([[0.5876, 0.5991, 0.9678, 0.8188],
        [0.2934, 0.4345, 0.1316, 0.8469],
        [0.0042, 0.3754, 0.3141, 0.8362]])
"""

5，初始化全零矩阵

x1 = torch.zeros(5,2,dtype=torch.long)
x1
"""
tensor([[0, 0],
        [0, 0],
        [0, 0],
        [0, 0],
        [0, 0]])
"""

6，初始化全一矩阵

x2 = torch.ones(3,4)
x2
"""
tensor([[1., 1., 1., 1.],
        [1., 1., 1., 1.],
        [1., 1., 1., 1.]])
"""

7，查看矩阵大小规格

x2.size()
"""
torch.Size([3, 4])
"""

8，改变矩阵维度

y = torch.randn(3,4)
y
"""
tensor([[-1.3152,  0.2621, -0.7739,  0.1728],
        [-1.3887,  1.0964,  0.7797,  2.0587],
        [ 0.4726, -0.2367,  0.8845,  0.9405]])
"""

y1 = y.view(12)
y1
"""
tensor([-1.3152,  0.2621, -0.7739,  0.1728, -1.3887,  1.0964,  0.7797,  2.0587,  0.4726, -0.2367,  0.8845,  0.9405])
"""


y2 = y.view(2,6)
y2
"""
tensor([[-1.3152,  0.2621, -0.7739,  0.1728, -1.3887,  1.0964],
        [ 0.7797,  2.0587,  0.4726, -0.2367,  0.8845,  0.9405]])
"""


y3 = y.view(6,-1)
y3
"""
tensor([[-1.3152,  0.2621],
        [-0.7739,  0.1728],
        [-1.3887,  1.0964],
        [ 0.7797,  2.0587],
        [ 0.4726, -0.2367],
        [ 0.8845,  0.9405]])
"""

9，Numpy和Tensor格式互转

9.1 Numpy转Tensor

z1 = torch.ones(2,5)
z1
"""
tensor([[1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.]])
"""

z2 = z1.numpy()
z2
"""
array([[1., 1., 1., 1., 1.],
       [1., 1., 1., 1., 1.]], dtype=float32)
"""

9.2 Tensor转Numpy

import numpy as np
a1 = np.ones([2,4])
a1
"""
array([[1., 1., 1., 1.],
       [1., 1., 1., 1.]])
"""

a2 = torch.from_numpy(a1)
a2
"""
tensor([[1., 1., 1., 1.],
        [1., 1., 1., 1.]], dtype=torch.float64)
"""

10，Tensor常见形式

import torch
from torch import tensor

10.1 scalar

只要是个数或者单一的值，就成为scalar

x = tensor(22)
x
"""
tensor(22)
"""

x.dim() # 0
2*x # tensor(44)
x.item() # 22

10.2 vector

vector向量，表示某一个特征。例如：[年龄，身高，体重]，[25,178,60]
向量不是一个值，而实多个值的集合

我的理解是：多个scalar构成了vector

y = tensor([25,178,60])
y
"""
tensor([ 25, 178,  60])
"""

y.dim() # 1
y.size() # torch.Size([3])

10.3 matrix

matrix矩阵，通常是多个维度的。
例如：有三个学生，张三、李四、王二麻子，他们也都有各自的特征([年龄，身高，体重])，[[25,178,60], [22,180,62], [21,177,61]]，组合到一块就成了matrix矩阵。

我的理解是：多个vector构成了matrix
在这里插入图片描述

m = tensor([[1,2,3], [2,1,3], [3,1,2]])
m
"""
tensor([[1, 2, 3],
        [2, 1, 3],
        [3, 1, 2]])
"""

m.matmul(m)
"""
tensor([[14,  7, 15],
        [13,  8, 15],
        [11,  9, 16]])
"""

tensor([1,0,1]).matmul(m)
"""
tensor([4, 3, 5])
"""

tensor([1,2,1]).matmul(m)
"""
tensor([ 8,  5, 11])
"""

m*m
"""
tensor([[1, 4, 9],
        [4, 1, 9],
        [9, 1, 4]])
"""

10.4 n-dimensional tensor

pytorch在处理图像中常用到[N,C,H,W]四维tensor进行处理
N：每一个batch中的图像数量
C：每一张图像中的通道数
H：每一张图像垂直维度的像素数个数(高)
W：每一张图像水平维度的像素数个数(宽)
在这里插入图片描述

11，Model Zoo

调用别人训练好的网络架构以及权重参数，最终通过一行代码就可以搞定。
方便懒人进行调用，Pytorch中成为hub模块
Github上相关链接
pytorch官网API链接

例如，打开pytorch官网中的随便一个项目，复制粘贴即可运行，下载相关权重参数文件的时候需要科学上网。

二、autograd自动求导机制

案例一：反向传播求导，函数表达式为y = w*x*x + b*x + c，其中w=2，x=3，b=5，c=4
在这里插入图片描述

import torch
w = torch.tensor(2, dtype = torch.float32, requires_grad = True)
x = torch.tensor(3, dtype = torch.float32, requires_grad = True)
b = torch.tensor(5, dtype = torch.float32, requires_grad = True)
c = torch.tensor(4, dtype = torch.float32, requires_grad = True)
w,x,b,c
"""
(tensor(2., requires_grad=True),
 tensor(3., requires_grad=True),
 tensor(5., requires_grad=True),
 tensor(4., requires_grad=True))
"""

y = w * x**2 + b * x + c
y
"""
tensor(37., grad_fn=<AddBackward0>)
"""

y.backward() #反向传播

w.grad
"""
tensor(9.)
"""
x.grad
"""
tensor(17.)
"""
b.grad
"""
tensor(3.)
"""
c.grad
"""
tensor(1.)
"""

三、最基础的模型训练完整步骤演示

需求：监督学习，训练模型符合y = 2*x + 5

import torch
import numpy as np

1，标签数据准备

① x样本

Ⅰ、0-9，10个数

这里为了简单起见，x样本为0-9，10个数，用列表存储

x = [i for i in range(10)]
x # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Ⅱ、转换成array格式方便操作

x_arr = np.array(x,dtype=np.float32)
x_arr # array([0., 1., 2., 3., 4., 5., 6., 7., 8., 9.], dtype=float32)

Ⅲ、转换成一列数据，方便后续操作

x_train = x_arr.reshape(-1,1)
x_train
"""
array([[0.],
       [1.],
       [2.],
       [3.],
       [4.],
       [5.],
       [6.],
       [7.],
       [8.],
       [9.]], dtype=float32)
"""

x_train.shape # (10, 1)

② y样本

Ⅰ、通过函数y=2*x+5生成对应的结果y

y = [2*x+5 for x in range(10)]
y # [5, 7, 9, 11, 13, 15, 17, 19, 21, 23]

Ⅱ、转换成array格式方便操作

y_arr = np.array(y,dtype=np.float32)
y_arr # array([ 5.,  7.,  9., 11., 13., 15., 17., 19., 21., 23.], dtype=float32)

Ⅲ、转换成一列数据，方便后续操作

y_train = y_arr.reshape(-1,1)
y_train
"""
array([[ 5.],
       [ 7.],
       [ 9.],
       [11.],
       [13.],
       [15.],
       [17.],
       [19.],
       [21.],
       [23.]], dtype=float32)
"""

y_train.shape # (10, 1)

2，设计模型

这里使用一个最简单的两层线性层进行搭建模型，训练的数据都是单一一个
第一层输入维度为1，输出维度为2
第二层输入维度是2，输出维度是1

class Linear_yy(torch.nn.Module):
    def __init__(self,in_dim,media_dim,out_dim):
        super(Linear_yy,self).__init__()
        self.linear_1 = torch.nn.Linear(in_dim,media_dim)
        self.linear_2 = torch.nn.Linear(media_dim,out_dim)
        
    def forward(self,x):
        x = self.linear_1(x)
        x = self.linear_2(x)
        return x

in_dim = 1
media_dim = 2
out_dim = 1

model = Linear_yy(in_dim=in_dim,media_dim=media_dim,out_dim=out_dim)
model
"""
Linear_yy(
  (linear_1): Linear(in_features=1, out_features=2, bias=True)
  (linear_2): Linear(in_features=2, out_features=1, bias=True)
)
"""

3，指定epoch、学习率、优化器、损失函数等参数

epochs = 1000 #epoch
learning_rate = 0.0001 # 学习率
optimizer = torch.optim.Adam(model.parameters(),lr=learning_rate) # 优化器选择Adam
loss_faction = torch.nn.MSELoss() # 损失函数选择MSE

4，训练模型

for epoch in range(epochs):
    epoch += 1
    # 注意转行成tensor
    inputs = torch.from_numpy(x_train)
    labels = torch.from_numpy(y_train)

    # 梯度要清零每一次迭代
    optimizer.zero_grad() 

    # 前向传播
    outputs = model(inputs)

    # 计算损失
    loss = loss_faction(outputs, labels)

    # 返向传播
    loss.backward()

    # 更新权重参数
    optimizer.step()
    if epoch % 50 == 0: # 每50次输出一次损失值
        print('epoch {}, loss {}'.format(epoch, loss.item()))

5，模型预测

predicted = model(torch.from_numpy(x_train).requires_grad_()).data.numpy()
predicted
"""
array([[0.6956282 ],
       [0.75930536],
       [0.82298255],
       [0.88665974],
       [0.9503369 ],
       [1.014014  ],
       [1.0776913 ],
       [1.1413685 ],
       [1.2050457 ],
       [1.2687228 ]], dtype=float32)
"""

6，模型权重保存

torch.save(model.state_dict(), 'model.pth')

在这里插入图片描述

7，模型权重加载

模型权重加载一般用于模型训练中断，需要使用上次的权重参数接着训练，此时就需要先保存模型，然后再加载权重参数即可

model.load_state_dict(torch.load('model.pth'))

8，完整代码(CPU)

当然，这只是训练模型的完整代码，最后的测试和保存模型权重，参考5，6，7即可

import torch
import torch.nn as nn
import numpy as np

class Linear_yy(torch.nn.Module):
    def __init__(self,in_dim,media_dim,out_dim):
        super(Linear_yy,self).__init__()
        self.linear_1 = torch.nn.Linear(in_dim,media_dim)
        self.linear_2 = torch.nn.Linear(media_dim,out_dim)
        
    def forward(self,x):
        x = self.linear_1(x)
        x = self.linear_2(x)
        return x
    
in_dim = 1
media_dim = 2
out_dim = 1

model = Linear_yy(in_dim=in_dim,media_dim=media_dim,out_dim=out_dim)

epochs = 1000
learning_rate = 0.0001
optimizer = torch.optim.Adam(model.parameters(),lr=learning_rate)
loss_faction = torch.nn.MSELoss()

for epoch in range(epochs):
    epoch += 1
    # 注意转行成tensor
    inputs = torch.from_numpy(x_train)
    labels = torch.from_numpy(y_train)

    # 梯度要清零每一次迭代
    optimizer.zero_grad() 

    # 前向传播
    outputs = model(inputs)

    # 计算损失
    loss = loss_faction(outputs, labels)

    # 返向传播
    loss.backward()

    # 更新权重参数
    optimizer.step()
    if epoch % 50 == 0:
        print('epoch {}, loss {}'.format(epoch, loss.item()))

9，完整代码(GPU)

使用GPU训练只需要把训练数据、模型放入GPU中即可

指定是否使用GPU训练模型
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

模型放入GPU中
model.to(device)

数据放入GPU中
inputs = torch.from_numpy(x_train).to(device)
labels = torch.from_numpy(y_train).to(device)

import torch
import torch.nn as nn
import numpy as np

class Linear_yy(torch.nn.Module):
    def __init__(self,in_dim,media_dim,out_dim):
        super(Linear_yy,self).__init__()
        self.linear_1 = torch.nn.Linear(in_dim,media_dim)
        self.linear_2 = torch.nn.Linear(media_dim,out_dim)
        
    def forward(self,x):
        x = self.linear_1(x)
        x = self.linear_2(x)
        return x
    
in_dim = 1
media_dim = 2
out_dim = 1

model = Linear_yy(in_dim=in_dim,media_dim=media_dim,out_dim=out_dim)

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model.to(device)

epochs = 1000
learning_rate = 0.0001
optimizer = torch.optim.Adam(model.parameters(),lr=learning_rate)
loss_faction = torch.nn.MSELoss()

for epoch in range(epochs):
    epoch += 1
    # 注意转行成tensor
    inputs = torch.from_numpy(x_train).to(device)
    labels = torch.from_numpy(y_train).to(device)
    
    # 梯度要清零每一次迭代
    optimizer.zero_grad() 

    # 前向传播
    outputs = model(inputs)

    # 计算损失
    loss = loss_faction(outputs, labels)

    # 返向传播
    loss.backward()

    # 更新权重参数
    optimizer.step()
    if epoch % 50 == 0:
        print('epoch {}, loss {}'.format(epoch, loss.item()))

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/647165.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

教你用Fiddler捕获HTTPS请求

教你用Fiddler捕获HTTPS请求

安装Fiddler 这里不特别说明了&#xff0c;网上搜索一大把&#xff0c;根据安装引导一步步安装即可。&#xff08;这里采用的是fiddler v4.6&#xff09; 配置Fiddler 1、打开fiddler配置Tools –>Telerik Fiddler Options。 如果你想学习Fiddler抓包工具&#xff0c;我这…
阅读更多...
vue基础--重点

vue基础--重点

&#xff01;1、vue的特性 &#xff01;2、v-model 双向数据绑定指令 &#xff08;data数据源变化&#xff0c;页面变化&#xff1b; 页面变化&#xff0c;data数据源也变化&#xff09; 1、v-model 会感知到 框中数据变化 2、v-model 只有在表单元素中使用&#xff0c;才能…
阅读更多...
CSS体验透视效果

CSS体验透视效果

CSS体验透视效果 使用css视距属性perspective结合动画效果实现透视效果。 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><me…
阅读更多...
金融数字化转型将驶向何处？存储如何保驾护航？

金融数字化转型将驶向何处？存储如何保驾护航？

文 | 螳螂观察 作者 | 李永华 “XX行业数字化进入深水区”&#xff0c;经常被谈及。 在金融行业&#xff0c;“深水区”说法却很少出现——这里的数字化始终在“深水区”。 作为数字经济的重要组成部分&#xff0c;金融行业一直走在数字化转型的前沿&#xff0c;总是有新的…
阅读更多...
11-执行上下文和执行栈

11-执行上下文和执行栈

一、执行上下文 &#x1f35f;&#x1f35f;&#x1f35f;是一种对js代码执行环境的抽象概念 只要有js代码运行&#xff0c;一定是运行在执行上下文中 执行上下文的类型分为三种&#xff1a; 全局执行上下文&#xff1a;只有一个&#xff0c;浏览器中的全局对象就是 window对…
阅读更多...
汽车电子Autosar之DTC

汽车电子Autosar之DTC

目录 一、DTC基本介绍 1、DTC基本组成 2、DTC故障类型 3、DTC与event区别与联系 4、 DTC状态位 5. DTC信息存储 6. DTC信息及状态读取 本文将聚焦于大家都耳熟能详的DTC&#xff08;Diagnostic Trouble Code&#xff09;技术点来聊一聊。 一、DTC基本介绍 DTC顾名思义即…
阅读更多...
List of MediaTek systems on chips

List of MediaTek systems on chips

这里写目录标题 ARMv7Single coreDual-coreQuad-coreHexa-core and octa-core(六核和八核) ARMv8Quad-coreOcta coreHelio X Series (2014–2017)Helio A Series (2018–2020)Helio P Series (2015–2020)Helio G Series (2019–present)Dimensity Series (2020–present)Dimen…
阅读更多...
SimpleCG绘图函数(8)--绘制多边形

SimpleCG绘图函数(8)--绘制多边形

在这里将展示多边形的绘制&#xff0c;多边形可以绘制从三角形到任意多边形。绘制函数如下所示: //多边形以一组POINT表示的点坐标数组ptPoints为顶点&#xff0c;nNum表示数组中的点数量//画无填充多边形 void polygon( const POINT *ptPoints, int nNum );//画无边框填充多边…
阅读更多...
Android进阶 四大组件的工作过程（三）：广播的注册，发送和接收过程

Android进阶 四大组件的工作过程（三）：广播的注册，发送和接收过程

Android进阶 四大组件的工作过程&#xff08;三&#xff09;&#xff1a;广播的注册&#xff0c;发送和接收过程 导语 本篇文章是介绍四大组件工作过程的第三篇文章&#xff0c;在前两篇文章里我们已经介绍了Activity和Service的工作流程。而本篇文章&#xff0c;我们将介绍广…
阅读更多...
第七十四天学习记录：高等数学：不定积分（宋浩板书）

第七十四天学习记录：高等数学：不定积分（宋浩板书）

给定一个函数f(x)&#xff0c;如果存在一个函数F(x)&#xff0c;满足F’(x)f(x)&#xff0c;则称F(x)是f(x)的一个原函数。我们通常用∫f(x)dx表示f(x)的不定积分&#xff0c;它表示的是所有原函数的集合&#xff0c;也就是说&#xff0c;∫f(x)dx就是f(x)的原函数集合。 不定…
阅读更多...
Docker安装wordpress并配置数据库(超详细版)

Docker安装wordpress并配置数据库(超详细版)

Docker在线拉取安装wordpress并配置数据库 一、拉取wordpress镜像(默认最新)二、启动wordpress容器三、查看容器状态四、安装wordpress博客程序 如果您已经在 Docker 容器中分别安装了 WordPress 和 MySQL&#xff0c;并且想要让它们链接起来&#xff0c;可以按照以下步骤进行操…
阅读更多...
什么是三极管的截止饱和放大

什么是三极管的截止饱和放大

三极管可以工作在三个状态&#xff0c;分别是截止状态&#xff0c;饱和状态和放大状态。 当三级管BE之间的电压小于等于BE间的开启电压UON&#xff0c;并且CE间电压>BE间电压时 &#xff0c;三极管处于截止状态&#xff0c;一般硅管在0.7V左右&#xff0c;锗管在0.3V左右。…
阅读更多...
数据库第三章（SQL）

数据库第三章（SQL）

目录 1.SQL语言 索引 1.SQL语言 sql语言是个非过程性语言 sql的特点 1.综合统一&#xff0c;把增删查改都统一了起来 2.高度非过程化&#xff0c;不关心过程 3.面向集合的操作方式 sql基本语法 drop是删除表 delete是删除表的某个元组 安全方面&#xff1a;grant授权 revo…
阅读更多...
Java实训日志05

Java实训日志05

文章目录 八、项目开发实现步骤&#xff08;七&#xff09;创建数据访问接口实现类1、创建学校数据访问接口实现类&#xff08;1&#xff09;编写按标识符查询学校记录方法&#xff08;2&#xff09;编写更新学校记录方法 1_、测试学校数据访问接口实现类&#xff08;1&#xf…
阅读更多...
在Nginx服务器如何安装SSL证书

在Nginx服务器如何安装SSL证书

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言提示&#xff1a;我用的是阿里云的产品&#xff0c;就以阿里云进行的&#xff1a; 一、下载SSL证书二、安装SSL证书 前言 提示&#xff1a;我用的是阿里云的产…
阅读更多...
多元回归预测 | Matlab遗传算法(GA)优化核极限学习机回归，GA-KELM回归预测，多变量输入模型

多元回归预测 | Matlab遗传算法(GA)优化核极限学习机回归，GA-KELM回归预测，多变量输入模型

文章目录 效果一览文章概述部分源码参考资料效果一览 文章概述 多元回归预测 | Matlab遗传算法(GA)优化核极限学习机回归，GA-KELM回归预测，多变量输入模型 评价指标包括:MAE、RMSE和R2等，代码质量极高，方便学习和替换数据。要求2018版本及以上。 部分源码 %% 清空环境变量…
阅读更多...
设计模式(十六)：行为型之责任链模式

设计模式(十六)：行为型之责任链模式

设计模式系列文章 设计模式(一)&#xff1a;创建型之单例模式 设计模式(二、三)&#xff1a;创建型之工厂方法和抽象工厂模式 设计模式(四)&#xff1a;创建型之原型模式 设计模式(五)&#xff1a;创建型之建造者模式 设计模式(六)&#xff1a;结构型之代理模式 设计模式…
阅读更多...
2.链表的实现：带哨兵

2.链表的实现：带哨兵

1.带哨兵的单链表的定义 /*** 单向链表----带哨兵*/ public class SinglyLinked {/*** 节点类* 数据域和地址域*/private static class Node {int value; //值Node next; // 指向下一个节点public Node() {}public Node(int value, Node next) {this.value value;this.next …
阅读更多...
【linux】在Ubuntu20.04下录制屏幕为视频，并制作成gif动态图片

【linux】在Ubuntu20.04下录制屏幕为视频，并制作成gif动态图片

1、下载软件 录制屏幕软件 sudo apt install simplescreenrecorder视频转图片软件 sudo apt install mplayer图片合成gif动态图片 sudo apt install imagemagick2、录制屏幕 1）运行命令 simplescreenrecorder2）设置：区域、帧率 选择录制的区域; 设置帧率为10（或者更小…
阅读更多...
3.vue 指令

3.vue 指令

3.10 v-text和v-html 更新 DOM 对象的 innerText / innerHTML 语法: v-text"vue数据变量" v-html"vue数据变量" 注意: 会覆盖插值表达式 v-text 把值当成普通字符串显示 v-html 把值当做 html 解析 <template><div><p v-text"str…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023