递归神经网络 (RNN)

news2024/11/13 9:06:35
弗朗西斯科·佛朗哥

一、说明

        循环神经网络非常有趣,因为与前馈网络不同,在前馈网络中,数据只能在一个方向上传播,每个神经元可以与连续层的一个或多个神经元连接,在这种类型的网络中,神经元还可以环回自身或连接到前一层的神经元。

        循环网络允许神经元连接到先前层的神经元或同一层的神经元。这一特征使这些神经网络变得特殊,因为递归的概念带来了网络中的记忆概念。事实上,在 RNN 中,神经元的输出可以在时间上连续的阶段影响自身,或者可以影响前面层的神经元,进而影响原始神经元的行为,从而闭合循环。当然,实现 RNN 的方法不止一种。多年来,许多不同类型的 RNN 被提出和研究,其中最著名的是 LSTM(长短期记忆)和 GRU(门控循环单元),稍后将讨论。

二、什么时候应该使用 RNN?

        我们举一个简单的例子来说明。如果我正在分析一张照片,我想在其中观察一些感兴趣的物体,我需要向神经网络提供随时间变化的静态信息,即照片的像素。使用前馈网络可以轻松处理这种情况。例如,训练有素的卷积神经网络 (CNN),其输入层将由与照片中的像素乘以 3(对于 RGB 图像)一样多的神经元组成。

        但是如果我们处理的不是图像而是视频怎么办?如果我们仍然只想识别物体,那么什么都不会改变,但如果我们想识别和分类行为,事情就会完全不同。

        识别行为需要对某个行为进行随时间的分析,只有收集到的整套信息才能告诉我们所观察到的行为类型。识别视频中的一个人是一回事,而识别这个人是否正在喝酒或向瓶子里吹气则是另一回事。

        因此,我们的目标是了解如何处理随时间变化的动态信息,从而构建和指导具有记忆的网络  (RNN),以便它能够观察变化并识别不同的行为。该问题的解决方案是 RNN,其最简单的形式是 RNN 单元。

        然而,在解释什么是 RNN 单元之前,必须绝对清楚它们是按时间运行的,因此,与提供静态数据的经典前馈网络不同,RNN 设计用来处理的数据类型是时态数据。序列或系列。让我们看几个例子。

        时间序列或时间序列可以被认为是在许多时刻采样的函数。例如,它可以是采样声音的波形、股票市场中股票的行为或短语。

三、 RNN的工作流程

        在由短语组成的序列的情况下,样本是经过适当编码的单个单词。在这种情况下,随着时间的推移,RNN 单元将接收单个单词作为输入,这些单词将被视为前一个单词或多个单词的函数,具体取决于所使用的 RNN 单元的类型。

        在上图中,X_0 代表该短语的第一个单词。S_0 是细胞在 t=0 时的状态,S_1 是细胞在 t=1 时的状态,而 tanh(双曲正切)是激活函数。

        简而言之,在 RNN 单元中,在每个时刻 t,单元不仅会接收输入 X(t),还会接收 S(t-1) 之前时刻的自身输出。输出的追溯性将使网络能够根据其过去的历史做出决策。在这种类型的方法中,确定要使用的最大迭代次数显然很重要。否则网络将陷入无限循环。

        现在我们已经了解 RNN 可以用具有有限状态循环的单元来表示,让我们看看如何训练它。

        此时,我们应该引入网络展开的概念,它基本上转化为将 RNN 转换为前馈类型网络的操作。看下图,其实很容易看出Recurrent Neural Net已经变成了前馈网络。

        让我们尝试将上面阐述的概念形式化一点。RNN 单元是循环网络的一部分,它为每个瞬时保存一个内部状态 h(t)。它由固定数量的神经元组成,可以被视为网络的一种层。在我们的网络中,每一时刻的输出将是:

        其中 h_t 取决于输入 X_t 和之前的状态 h_(t-1)。

        继续展开网络意味着先确定要进行分析的时间步骤的数量。因此,一个 10 步展开的 RNN 相当于一个 10 层的前馈深度神经网络 (DNN)。

        对于具有两个输入的神经元,输出函数类似于:

        具有两个输入的 S 型神经元

        在这里:

        和:

        其中 sigmoid 是激活函数,我们称之为 phi,b=0。

        将相同的推理应用于 RNN,我们有:

        其中 w_x 和 w_h 是权重,b 是偏差,phi 是激活函数。

        最简单的细胞的学习能力和记住远距离步骤输入的能力都会受到限制。当需要跟踪遥远的事件时,这种限制可能会成为一个问题。例如,就短语而言,单词的上下文至关重要。事实上,在一个短语中,某些单词的出现并不是唯一的相关因素,而且单词之间的相互联系也很重要。因此,仅记住单词序列中紧邻的前一个单词是不够的。在这种情况下,我们需要更复杂的存储单元,例如 LSTM 和 GRU,我将在另一篇文章中讨论。

四、结论

        总之,RNN 是一种非常有价值的资产,经常用于自然语言处理NLP )问题。循环神经网络特殊的“记忆”特性使其具有惊人的创造力。

        通过要求他们识别旋律序列中最可能的连续音符,可以创建完全由人工智能编写的真实、原创乐谱,就像Google 的Magenta 项目使用Tensorflow创建的乐谱一样

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1135792.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java和Linux脚本操作:如何实现自动化测试?

Java和Linux脚本操作:实现自动化测试的方法与示例 引言: 在软件开发过程中,自动化测试能够极大地提高测试效率和质量。通过使用Java语言和Linux脚本,我们可以编写强大的自动化测试脚本,实现自动化执行测试用例、生成测…

shopee哪个站点好做

Shopee是一个跨国电子商务平台,拥有许多不同的站点,分布在亚洲和其他地区。哪个Shopee站点适合做生意要取决于你的产品、目标市场和其他因素。以下是一些考虑因素: 1、目标市场:首先要确定你想要销售的产品的目标市场是哪里。不同…

Transformer-深度学习-台湾大学李宏毅-课程笔记

目录 参考Seq2seqSequence-to-sequence(Seq2seq)适用任务语音识别机器翻译语音翻译语音合成聊天机器人自然语言处理硬解任务:文法分析硬解任务:多标签分类硬解任务:目标检测 Sequence-to-sequence(Seq2seq&…

《动手学深度学习 Pytorch版》 10.5 多头注意力

多头注意力(multihead attention):用独立学习得到的 h 组不同的线性投影(linear projections)来变换查询、键和值,然后并行地送到注意力汇聚中。最后,将这 h 个注意力汇聚的输出拼接在一起,并且…

0024Java程序设计-毕业论文管理系统的设计与实现

文章目录 **目录**系统设计开发环境 随着高校的规模不断扩大,如何合理地利用教学资源、有效地加强教学管理工作,已成为各大高校关注的焦点。目前,在教学管理方面,特别是在学生学籍管理、成绩管理等方面都普遍采用了网络化管理手段,而对于课程设计这一重要的教学环节,则普遍采用…

暴跌5600亿!台积电没有想到,中国5G手机如此要命

自从国产5G手机上市以来,台积电的股价持续下跌,至今已下跌了蒸发770亿美元(约5600亿元),损失规模居亚洲之首,然而更可怕的是这款手机产生的影响正持续扩大,台积电可能面临生存危机。 一、台积电…

Maven项目用jetty在服务器部署与配置

Maven项目用jetty在服务器部署与配置 零.Jetty在服务器部署配置 0.1 修改jetty的默认端口 修改 $JETTY_HOME/etc/jetty.xml 文件, 将jetty.port的值改为指定自己需要的端口号即可, 默认为8080。 如下图 jetty 9 版本中,修改%JETTY_HOME%…

A股风格因子看板 (2023.10 第12期)

该因子看板跟踪A股风格因子,该因子主要解释沪深两市的市场收益、刻画市场风格趋势的系列风格因子,用以分析市场风格切换、组合风格暴露等。 今日为该因子跟踪第12期,指数组合数据截止日2023-09-30,要点如下 近1年A股风格因子检验统…

贝锐蒲公英推出二层组网功能,实现远程工业设备数据互通、扫描发现

工业物联是目前的发展趋势所在,包含人机互动、状态感知、设备监测、数据交互等应用场景,海量的设备需要实现互联网接入与管理能力。 但是,工业设备往往位于分散在各地的制造工厂或是户外,且不同地区通常使用了不同的网络运营商&am…

windows中毒

一.查看系统账户安全 1.查看服务器是否有弱口令、可疑账号、隐藏账号、克隆账号、远 程管理端口是否对公网开放 2.winr 查看他 二.检查异常端口 进程 查看端口 定位exe程序 3.另一种方法 d盾 火绒剑 xuetr 判断可疑进程 三.检查启动项 计划任务 服务 …

分享5款小而精的实用软件

分享是一种神奇的东西,它使快乐增大,它使悲伤减小。分享好用软件给大家的同时,我自己也能获得愉悦的心情。 1.鼠标点击特效——ClickShow ​ ClickShow是一款给鼠标点击加上特效的软件,可以让用户在点击鼠标时显示一层波纹特效,左键&#x…

ArcGIS中如何为跨带数据投影?

北京54、西安80高斯克吕格投影是我国常用的投影坐标系统,它们是一种分带投影方式,有3和6分带,不适合大范围内的投影使用。但是如果有份数据范围较大,跨越了多个度带,该选择哪个坐标系统进行投影转换呢? 在大范围内,常用的坐标系统有Albers等面积投影和Lambert等角投影,…

【C++面向对象】9. 重载

文章目录 【 1. 函数重载 】【 2. 运算符重载 】2.1 可重载运算符 / 不可重载运算符2.2 一元 运算符重载2.3 二元 运算符重载2.4 关系 运算符重载2.5 输入/输出 运算符重载2.6 和-- 运算符重载2.7 赋值 运算符重载2.8 函数调用() 运算符重载2.9 下标[ ] 运算符重载2.10 类成员访…

众和策略可靠吗?股权除息是好是坏?

可靠 股权除息,指的是公司在股息发放前,将公司股票分拆,以减少股东持有的股份,添加每股的股息金额。简略来说,就是将股份拆成更小的比例,每股股息也随之添加。 股权除息关于股东来说,好坏参半…

YB5302是一款工作于2.7V到6.5V的PFM升压型双节锂电池充电控制集成电路

YB5302 锂电输入升压型双节锂电池充电芯片 概述: YB5302是一款工作于2.7V到6.5V的PFM升压型双节锂电池充电控制集成电路。YB5302采用恒流和准恒压模式(Quasi-CVT™)对电池进行充电管理,内部集成有基准电压源,电感电流检测单元,电池电压检测电…

第二证券:企业债转常规后受理审核进入常态化运行阶段

第一批14单项目获受理 拟征集资金估计超550亿元 14单项目是企业债转常规后第一批受理的项目,标志企业债的受理、审理、发行等作业进入常态化运转阶段,企业债的审理透明度与功率将有用改善 沪深北证券生意所网站10月25日宣布的信息显现,14单…

CAN接口的PCB Layout规则要求汇总

随着时代高速发展,控制器局域网(CAN)接口的应用越来越广泛,尤其是在汽车电子、航空航天等领域中发挥着重要作用,为了确保CAN接口的可靠性和稳定性,工程师必须在其PCB Layout方面下功夫,下面来看…

酷开科技 | 酷开系统时时刻刻相伴你左右

作家张小娴曾说过一句话:陪伴,是最长情的告白。每个人都需要别人的陪伴,每个人也都要陪伴别人。无论是亲情、友情还是爱情,陪伴永远是这世间一切感情中最不可或缺的一部分。同样,酷开系统通过各种功能及大内容战略陪伴…

绩效考核有什么好处?除了考核员工外?

绩效考核的真正作用,根本不在”考核员工“!绩效考核的真正作用只有一个—— 辅助企业经营目标的达成。 只不过是因为企业想到达成这个经营目标,光靠老板是不可能的,必须靠”员工“,所以说考核员工只是手段&#xff0…

ITSS信息技术服务运行维护标准符合性证书申请详解及流程

ITSS信息技术服务运行维护标准符合性证书 认证介绍 ITSS(InformationTechnologyServiceStandards,信息技术服务标准,简称ITSS)是一套成体系和综合配套的信息技术服务标准库,全面规范了IT服务产品及其组成要素,用于指导实施标准化…