机器学习（李宏毅）—

机器学习（李宏毅）——RNN

news2025/2/21 5:41:39

一、前言

本文章作为学习2023年《李宏毅机器学习课程》的笔记，感谢台湾大学李宏毅教授的课程，respect！！！

二、大纲

引例
RNN历史
基本思想
RNN变形
RNN训练

三、引例

学习RNN之前先看一个例子：
假设要做一个火车订票系统（ticket booking system），给机器输入一句话“I would like to arrive Taipei on November 2nd. ”，期望机器能够自动识别“目的地”和“到达时间”，这该如何做到呢？

方法：训练一个神经网络（Feedforward network ），当输入看到Taipei时候就应该输出这是地名，看到November 2nd就应该输出时间，所以地名和时间就像是这句话的插槽（slot filling）一样。

但这个方法会有一个问题，比如我输入“leave Taipei on November 2nd. ”，同一个模型同样可以识别到地点和时间，但是这句话地点则是出发地，时间是出发时间。所以我们要把上下文语义信息关联上去，于是就有了RNN，也可以理解为有记忆的神经网络模型。

四、RNN历史

RNN称为递归神经网络，发展历史如下：

1980-1990 年代：RNN 的基础理论建立，但训练困难。
1997 年：LSTM 诞生，解决了梯度消失问题，使 RNN 变得实用。
2014-2015 年：GRU 被提出，RNN 开始大规模应用于 NLP 任务。
2017 年后：Transformer 取代RNN，成为主流 NLP 解决方案。

虽然现在的主流是Transformer，但还是有必要学习下RNN的经典算法。

五、基本思想

隐藏层的输出被存储在记忆里；
存储的记忆看做是输入；
实际的计算过程如下：

说明：
假设上图神经网络所有权重都是1，没有bias，所有的激活函数都是linear的。
RNN的基本思想就是将隐藏层的输出存在记忆中（memory）作为下一次的输入，计算过程如上gif图。
同样的结构叠成多层，接起来变成如下的结构：

每个位置的输入都是看过上次输出的memory（起始点除外）。
当然还可以叠多层，让其越叠越深，结构如下：

六、RNN变形

1.双向RNN
Bidirectional RNN
在这里插入图片描述
双向的递归神经网络，例如输入的一个句子，使用RNN正序算一遍句子的每个位置的输出，逆序再算一遍每个位置的输出，最终双向结果拼接起来一块作为输出，这就是Bidirectional RNN。优点是考虑了双向的语义信息。

2.LSTM（Long Short-term Memory）
又名长短时记忆递归神经网络，精髓是让机器自己决定输入、记忆、输出这三件事情。

输入：要不要输入；
记忆：要更新记忆还是擦除记忆；
输出：要不要输出。

对应起来就是控制门的思想，有三个控制门，分别是：输入门、遗忘门、输出门。如下图：
在这里插入图片描述

进一步拆解LSTM原理如下：
在这里插入图片描述

step1：输入一分为四，分别是z，zi，zf，zo，对应输入、输入门、遗忘门和输出门。激活函数式sigmoid，将输出的数值值域控制在0~1之间，好处就是输出是否关系；
step2：输入：输入z经过sigmoid函数g得到g(z)；
step3：输入门：zi经过sigmoid函数f得到f(zi)；
step4：将输入和输入门得到的值g(z)和f(zi)做multiply相乘得到输出g(z)f(z)；
step5：遗忘门：zf经过sigmoid函数f得到f(zf)，决定了记忆c是擦除还是保留。记忆c和f(zf)相乘再和g(z)f(z)相加得到c’。
step6：输出门：zo经过sigmoid函数f得到f(zo)；
step7：最终输出：c’经过sigmoid函数h得到h(c’)，然后再和f(zo)相乘得到a；

以上就是LSTM的计算原理了，下面是实际的计算过程演示：
在这里插入图片描述
用一个结构图来表达就是如下这样：

将多个这样的单元块接起来就会变成：
在这里插入图片描述

实做过程中还会把前一个时间点的记忆c和h输出当做下一次的输入，改写成：
在这里插入图片描述
更多层的接起来就像是下图这样：

看着虽然复杂，但基本的思想还是比较简单直接。

七、RNN训练

RNN的训练并非是容易的事情，虽然用的还是Backpropagation through time (BPTT)和Gradient Decent。

Backpropagation through time (BPTT) 进阶版的反向传播方法
Gradient Decent 梯度下降方法

实做过程中，RNN训练loss曲线比较崎岖震荡，如下图：
在这里插入图片描述
形象在图上表达就是悬崖峭壁，如果一脚踩在悬崖，一脚踩在谷底，直接飞了，也就是梯度爆炸的现象。

那如何解决呢？
有一招说穿不值钱，就是clipping，碰到悬崖的壁时候就不要乱蹦跶了，该参数就不要再更新乱动了，以免梯度爆炸。

举个例子，进一步形象说明一下：
在这里插入图片描述
已知条件：输入为[1 0 0 … 0]，权重都设为1，memory为w，有考虑的memory的最后的输出就是w⁹⁹⁹。
假设情况
情况1：
1、如果w=1，y¹⁰⁰⁰ = w⁹⁹⁹=1。
2、改变一点点的话，如果w=1.01，y¹⁰⁰⁰ = w⁹⁹⁹≈20000。
这种情况就是变量只改变了一丢丢，梯度却是改变了相当大，说明这里相当崎岖，极端下对应的就是上图悬崖情况，也就是梯度爆炸，当然这里不一定爆炸。