rnn/lstm

news2024/11/23 7:22:46

tip:本人比较小白,看到july大佬的文章受益匪浅,现在其文章基础上加上自己的归纳、理解,以及gpt的答疑,如果有侵权会删。 july大佬文章来源:如何从RNN起步,一步一步通俗理解LSTM_rnn lstm-CSDN博客

-------------------------------------------------------------------------------------------------------------------

1.RNN

1.1 从单层网络到经典的RNN结构

在学习LSTM之前,得先学习RNN,而在学习RNN之前,首先要了解一下最基本的单层网络,它的结构如下图所示:

输入是x,经过变换Wx+b和激活函数f,得到输出y。相信大家对这个已经非常熟悉了。

在实际应用中,我们还会遇到很多序列形的数据:

如:

        1. 自然语言处理问题。x1可以看做是第一个单词,x2可以看做是第二个单词,依次类推
        2. 语音处理。此时,x1、x2、x3……是每帧的声音信号。
        3. 时间序列问题。例如每天的股票价格等等

而其中,序列形的数据就不太好用原始的神经网络处理了。

为了建模序列问题,RNN引入了隐状态h(hidden state)的概念,隐状态h可以对序列形的数据提取特征,接着再转换为输出。

--------------------------------------------------------------------------------------------------------------------

1.2 由x到h

先从h的计算开始看:

图示中记号的含义是:

  • a)圆圈或方块表示的是向量。
  • b)一个箭头就表示对该向量做一次变换。如上图中h_{0}x_{1}分别有一个箭头连接,就表示对h_{0}x_{1}各做了一次变换

说白了,h_1基于上一个隐藏层的状态h_{0}和当前的输入x_{1}计算得来,且提前说一嘴,泛化到任一时刻,便是h_{t}=f\left(W h_{t-1}+U x_{t}\right),而这里的f一般是tanh、sigmoid、ReLU等非线性的激活函数。

\rightarrow  且在实践中,h_t一般只包含前面若干步而非之前所有步的隐藏状态

在 RNN 模型(或者神经网络模型)中,权重矩阵W和偏置向量 b初始时一般是随机生成的(在之后不断训练)

(即上面的U、W、b参数)

  1. 在计算时,每一步使用的参数U、W、b都是一样的,也就是说每个步骤的参数都是共享的,这是RNN的重要特点,一定要牢记;
  2. 而下文马上要看到的LSTM中的权值则不共享,因为它是在两个不同的向量中。而RNN的权值为何共享呢?很简单,因为RNN的权值是在同一个向量中,只是不同时刻而已。

依次计算剩下来的(使用相同的参数U、W、b):

 我们这里为了方便起见,只画出序列长度为4的情况,实际上,这个计算过程可以无限地持续下去。

------------------------------------------------------------------------------------------------------------------------------

1.3 tip: 为什么要用到激活函数?

如果没有激活函数,那么公式就是一个线性映射:

对于序列数据的多个时间步,如果在每一层计算时都没有激活函数,输出将是输入的线性组合。最终,整个 RNN 变成一个线性模型,即:

这里的W是个向量。 

这是一个简单的线性变换,无法捕捉复杂的非线性关系,而我们通常需要通过神经网络处理非线性问题。

  • 序列数据(如自然语言、时间序列)中的依赖关系往往是复杂且非线性的。激活函数(如 Tanh 或 ReLU)能够让神经网络捕捉这些非线性模式,使得模型能够学习复杂的时间依赖关系。
  • TanhSigmoid 是常见的激活函数,用于控制隐藏状态的更新。Tanh 的输出范围是 [-1, 1],能够有效捕捉输入数据的正负变化;Sigmoid 的输出范围是[0,1],适合用于门控机制。

---------------------------------------------------------------------------------------------------------------------------------


1.4 由h到y 


我们目前的RNN还没有输出,得到输出值的方法就是直接通过h进行计算。

这里从h到y又有不同的说法了,即是否也选择激活函数,比如上面出现了softmax函数。

在 RNN 的每一个时间步t,我们有一个隐藏状态 ht​,它保存了当前时间步的特征表示。在这个时间步中,我们希望将隐藏状态映射为一个输出 yt。

  • 分类任务:预测某个类别(如情感分析)。
  • 回归任务:预测数值(如股价、温度)。
  • 语言模型:预测下一个单词。

核心公式如下:

根据任务的不同,我们会选择不同的激活函数f:

  1. 分类任务(如多分类的文本分类):

                使用 Softmax 激活函数,将输出变为概率分布。    

其中​。Softmax 确保所有输出值都在 0 到 1之间,并且所有类别的概率和为 1。 

举个例子:

        2. 二分类任务(如情感分析:积极 vs 消极):

                使用 Sigmoid 激活函数,将输出限制在 0 到 1 之间,表示属于某一类别的概率。

        3. 回归任务(如股价预测、温度预测):

                不需要激活函数,直接使用线性输出:

----------------------------------------------------------------------------------------------------------------------

1.5 RNN 的正向传播

这里先从x到h,再从h到y,总体来看是x到y,这个步骤就是rnn的正向传播

而总的来说,在 RNN 中输入和输出的序列长度不需要相同。具体情况要看任务需求,可以是一对一多对多一对多多对一 等多种形式。每一种模式都有其适用的场景和特点。

除了刚才图上面的多对多相互对应的情况(相当于即时反馈),还有其他常见的场景。比如下面一对多和多对一:

 以及序列长度不同的多对多:

 

1.6 RNN 的训练:反向传播算法

RNN 的训练与普通神经网络类似,也是通过梯度下降法来优化参数。但由于 RNN 的参数在每个时间步共享,因此要用一种特殊的算法,叫做 BPTT(Backpropagation Through Time,时间反向传播算法)

上面的W是向量。反向传播和正向传播是对应的,正向传播从头到尾得到返回值y,反向传播则从末尾到开头连续修正相应参数。

---------------------------------------------------------------------------------------------------------------------------

1.7 正向与反向传播的关系

  • 单次正向传播:给定一个输入序列 x1,x2,…,xT,RNN 会从第一个时间步传递到最后一个时间步,得到输出序列 y1,y2,…,yT和损失值。
  • 单次反向传播(BPTT):从损失函数开始,从时间步 T 向前传播误差,依次传递回到时间步 1。这会更新每一层的参数。

整个训练过程中:RNN 需要多轮(epoch)训练,即对整个数据集多次进行正向和反向传播。

--------------------------------------------------------------------------------------------------------------------------

1.8 RNN 中的梯度消失与梯度爆炸问题

1. 梯度消失问题:

  • 在反向传播(BPTT)过程中,误差需要沿时间轴逐步传播。由于每次传播都会涉及到链式求导,当激活函数(如 sigmoid 或 tanh)将输出限制在(0,1) 或 (−1,1)范围内时,梯度的值会越来越小。
  • 经过多次时间步的传播后,远处时间步的梯度会指数级缩小,导致模型在更新参数时,无法有效调整靠前时间步的权重。这就是梯度消失

2. 梯度爆炸问题:

  • 这是指在某些情况下,梯度的值会变得非常大,导致模型参数更新不稳定甚至发散。
  • 梯度爆炸通常出现在训练初期或权重初始化不当的情况下,但这不是图中所描述问题的主要原因。

解决方案:

  • 梯度裁剪(Gradient Clipping):将梯度限制在一个最大值范围内,防止梯度爆炸。
  • LSTM / GRU:引入门控机制来解决梯度消失问题。

梯度消失在实际例子上的体现(前部序列信息权重降低):

在 RNN 中,隐藏状态ht会从前一时刻 ht​-1 传递到下一时刻 ht+1​。这种逐步传播的特点使得距离较远的时间步(例如 x1对应的状态)信息可能会在后面的时间步中变得越来越不重要。

梯度爆炸的例子倒是挺少见,反正就是梯度消失的相反面,由于某些不好的原因导致的梯度过于大,导致模型参数更新不稳定甚至发散。

2. LSTM

2.1 为什么要从rnn到lstm(解决梯度消失和梯度爆炸)

LSTM 通过引入细胞状态门控机制(遗忘门、输入门和输出门),实现了信息的线性传递,避免了多次非线性激活导致的梯度消失。同时,遗忘门动态调节信息的保留与遗忘,避免无关信息的累积,减少梯度爆炸的风险。这种设计使得梯度在长时间步上传递时更加稳定,从而有效解决了 RNN 中的梯度消失和梯度爆炸问题,让模型能够捕捉长期依赖关系。

再具体一点:

LSTM 通过以下方式解决了 RNN 中的梯度消失和梯度爆炸问题:

  1. 细胞状态的线性传递:信息可以跨多个时间步不受抑制地传递,缓解了梯度消失问题。
  2. 门控机制的动态调节:输入门、遗忘门、输出门选择性地更新状态,避免了无关信息的累积,减少了梯度爆炸的风险。
  3. 减少梯度缩放的次数:LSTM 通过线性更新状态,将非线性变换限制在局部,使梯度的稳定性更好。
  4. 遗忘门控制信息流:有效控制长期状态中的冗余信息,进一步缓解梯度爆炸问题。

---------------------------------------------------------------------------------------------------------------------------------

2.2 忘记门--Forget Gate(ft)

内容来自如何从RNN起步,一步一步通俗理解LSTM_rnn lstm-CSDN博客

可以点进网页里看动图,支持原作者july。

2.3 输入门--Input Gate(it)and 候选状态--Candidate State(~Ct)

 2.4 细胞状态--Cell State(Ct)

 2.5 输出门--Output Gate(ot)

2.6 数据形状(向量、矩阵等) 

上面提到的公式中大部分符号(如xt、ht、Ct等)都代表向量矩阵,而不是标量。这是因为 LSTMRNN 处理的是高维数据,如词向量、时间序列中的多特征数据等。

 其中,batch_size 表示一个批次中的样本数量,hidden_size 是隐藏状态的维度。

2.7 提到的权值是否共享问题

在遗忘门部分,july哥提到的rnn和lstm权值是否共享问题,其实很容易理解,rnn和lstm在不同时间步之间都是共享的,而在lstm不同门里,不同门有独立的参数。

  • RNN 中:所有时间步的参数共享,即所有时间步使用相同的权重矩阵 W,U。
  • LSTM 中:不同的门(遗忘门、输入门、输出门、候选单元)之间的权重不共享,但在同一门的不同时间步之间权重是共享的。

2.8 激活函数(sigmoid 或 tanh)的选择

  1. sigmoid 用于比例控制(信息保留、写入、输出),因为其输出在0−1 之间。
  2. tanh 用于状态表示(候选状态和隐藏状态),因为其输出在 −1 到 1之间,允许正负信息的存在。

通过这种组合,LSTM 能够精确控制信息的流动,避免梯度消失,并有效捕捉长时间依赖关系。

具体机制大致如下:

 

 2.9 lstm的参数调整(反向传播)

lstm也是通过反向传播来调节参数,先介绍下在调参层面上lstm和rnn之间的关系。

LSTM 和 RNN 在反向传播中主要区别和联系是:

  • RNN 由于简单且高效,适合处理 短序列或短期依赖问题。但它的梯度消失问题使得它难以捕捉长时间的依赖关系。
  • LSTM 通过 细胞状态的线性传递和门控机制 缓解了梯度消失问题,因此更适合处理 长时间序列。但代价是训练时的计算量更大,参数更新更复杂。

lstm调参在大方向上类似于rnn,先正向传播,后计算损失。

然后是反向传播调参,即把损失函数对各参数求偏导(梯度)

然后结合旧的参数和学习率,得到新的参数,此外还提到了一些优化算法,能更好的调整学习率。

  

 最后,有一些超参数调节。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2230926.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python | Leetcode Python题解之第528题按权重随机选择

题目: 题解: class Solution:def __init__(self, w: List[int]):self.pre list(accumulate(w))self.total sum(w)def pickIndex(self) -> int:x random.randint(1, self.total)return bisect_left(self.pre, x)

使用Python多线程抓取某图网数据并下载图片

前言 在互联网开发领域,数据抓取是一项非常实用的技术。通过数据抓取,我们可以从网页上获取所需的信息,并将其转化为结构化数据,以便进一步分析或使用。本文将介绍如何利用Python编写一个多线程程序来抓取网页上的图片数据&#…

SQL之排名窗口函数RANK()、ROW_NUMBER()、DENSE_RANK() 和 NTILE() 的区别(SQL 和 Hive SQL 都支持)

现有一张student 表,表中包含id、uname、age、score 四个字段,如下所示: 该表的数据如下所示: 一、ROW_NUMBER() 1、概念 ROW_NUMBER() 为结果集中的每一行分配一个唯一的连续整数,编号从 1 开始。‌ 该函数按照指…

Verilog HDL基础

模块的基本结构 module 模块名(端口列表); // 模块声明// 端口定义input [数据类型] [位宽] 输入端口列表; output [数据类型] [位宽] 输出端口列表; inout [数据类型] [位宽] 双向端口列表; // 数据类型定义wire [位宽] 线网名,线网名,…; …

C语言实验 选择结构

时间&#xff1a;2024.11.2 一、实验 实验一、7-1 计算分段函数[2] #include<stdio.h> #include<math.h> int main(){float x,r;scanf("%f",&x);if(x<0){rpow((x1.0),2)2*x1.0/x;}else rpow(x,0.5);printf("f(%.2f) %.2f",x,r);retu…

六、Go语言快速入门之数组和切片

文章目录 数组和切片数组:one: 数组初始化:two: 数组的遍历:three: 多维数组:four: 将数组传递给函数 切片(Slice):one: 切片的初始化:star: new和make区别 :two: 切片的使用:three: 将切片传递给函数:four: 多维切片:four: Bytes包:four: 切片和垃圾回收 &#x1f4c5; 2024年…

【Sublime Text】格式化Json和XML

无package control解决方案 删除文件中的package control这一行并保存 下载 下载中

vue常用的修饰符有哪些

1、修饰符是什么 在Vue 中&#xff0c;修饰符处理了许多 DOM 事件的细节&#xff0c;让我们不再需要花大量的时间去处理这些烦恼的事情&#xff0c;而能有更多的精力专注于程序的逻辑处理 vue中修饰符分为以下五种 汇总修饰符说明表单lazy光标离开标签的时候&#xff0c;才会…

微服务设计模式 - 发布订阅模式(Publisher Subscriber Pattern)

微服务设计模式 - 发布订阅模式&#xff08;Publisher Subscriber Pattern&#xff09; 定义 发布-订阅模式&#xff08;Publisher-Subscriber Pattern&#xff09;是一种常见的设计模式&#xff0c;被广泛用于云计算和分布式系统中&#xff0c;以实现松散耦合的组件间通信。发…

00-开发环境 MPLAB IDE 配置

MPLAB IDE V8.83 File 菜单简介 New (CtrlN)&#xff1a; 创建一个新文件&#xff0c;用于编写新的代码。 Add New File to Project...&#xff1a; 将新文件添加到当前项目中。 Open... (CtrlO)&#xff1a; 打开现有文件。 Close (CtrlE)&#xff1a; 关闭当前打开的文件。 …

Pytorch猴痘病识别

Pytorch猴痘病识别 &#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 电脑系统&#xff1a;Windows11 显卡型号&#xff1a;NVIDIA Quadro P620 语言环境&#xff1a;python 3.9.7 编译器&#xff1a;jupyte…

GA/T1400视图库平台EasyCVR视频分析设备平台微信H5小程序:智能视频监控的新篇章

GA/T1400视图库平台EasyCVR是一款综合性的视频管理工具&#xff0c;它兼容Windows、Linux&#xff08;包括CentOS和Ubuntu&#xff09;以及国产操作系统。这个平台不仅能够接入多种协议&#xff0c;还能将不同格式的视频数据统一转换为标准化的视频流&#xff0c;通过无需插件的…

Kafka相关知识点(上)

为什么要使用消息队列&#xff1f; 使用消息队列的主要目的主要记住这几个关键词:解耦、异步、削峰填谷。 解耦: 在一个复杂的系统中&#xff0c;不同的模块或服务之间可能需要相互依赖&#xff0c;如果直接使用函数调用或者 API 调用的方式&#xff0c;会造成模块之间的耦合…

qt QTextEdit详解

QTextEdit是Qt框架中的一个文本编辑控件类&#xff0c;它提供了丰富的功能用于编辑和显示纯文本以及富文本。 重要方法 setPlainText(const QString &text)&#xff1a;设置纯文本内容。toPlainText()&#xff1a;获取纯文本内容。setHtml(const QString &text)&#…

大学城水电管理系统开发:Spring Boot指南

2相关技术 2.1 MYSQL数据库 MySQL是一个真正的多用户、多线程SQL数据库服务器。 是基于SQL的客户/服务器模式的关系数据库管理系统&#xff0c;它的有点有有功能强大、使用简单、管理方便、安全可靠性高、运行速度快、多线程、跨平台性、完全网络化、稳定性等&#xff0c;非常…

Github 2024-11-02 Rust开源项目日报 Top10

根据Github Trendings的统计,今日(2024-11-02统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Rust项目10Python项目2Dart项目1RustDesk: 用Rust编写的开源远程桌面软件 创建周期:1218 天开发语言:Rust, Dart协议类型:GNU Affero Genera…

【android12】【AHandler】【4.AHandler原理篇ALooper类方法全解】

AHandler系列 【android12】【AHandler】【1.AHandler异步无回复消息原理篇】-CSDN博客 【android12】【AHandler】【2.AHandler异步回复消息原理篇】-CSDN博客 【android12】【AHandler】【3.AHandler原理篇AHandler类方法全解】-CSDN博客 其他系列 本人系列文章-CSDN博客…

【深度学习】CrossEntropyLoss需要手动softmax吗?

【深度学习】CrossEntropyLoss需要手动softmax吗&#xff1f; 问题&#xff1a;CrossEntropyLoss需要手动softmax吗&#xff1f;答案&#xff1a;不需要官方文档代码解释 问题&#xff1a;CrossEntropyLoss需要手动softmax吗&#xff1f; 之前用 pytorch 实现自己的网络时&…

EtherCAT转ModbusTCP相关技术

EtherCAT/Ethernet/IP/Profinet/ModbusTCP协议互转工业串口网关https://item.taobao.com/item.htm?ftt&id822721028899 MS-GW15 概述 MS-GW15 是 EtherCAT 和 Modbus TCP 协议转换网关&#xff0c;为用户提供一种 PLC 扩展的集成解决方案&#xff0c;可以轻松容易将 Modbu…

使用Centos搭建Rocket.Chat教程

本章教程,主要介绍如何在CentOS系统上搭建Rocket.Cha。 一、Rocket.Chat是什么? Rocket.Chat 是一个开源的团队协作和通讯平台,类似于 Slack 或 Microsoft Teams。它提供了即时消息、视频会议、文件共享、以及与其他服务的集成等功能。用户可以在自己的服务器上部署 Rocket.…