神经网络算法--文搞懂LSTM(长短期记忆网络)

news2024/11/14 18:55:49

本文将从LSTM的本质、LSTM的原理、LSTM的应用 三个方面,带您一文搞懂长短期记忆网络Long Short Term Memory | LSTM。

**__**一、**_LSTM的本质_****__**

RNN 面临问题RNN(递归神经网络)在处理长序列时面临的主要问题:短时记忆和梯度消失/梯度爆炸。

梯度更新规则

LSTM解决问题: 大脑和LSTM在处理信息时都选择性地保留重要信息,忽略不相关细节,并据此进行后续处理。这种机制使它们能够高效地处理和输出关键信息,解决了RNN(递归神经网络)在处理长序列时面临的问题。

大脑记忆机制

  • 大脑记忆机制:当浏览评论时,大脑倾向于记住重要的关键词。无关紧要的词汇和内容容易被忽略。回忆时,大脑提取并表达主要观点,忽略细节

  • LSTM门控机制:LSTM通过输入门、遗忘门和输出门选择性地保留或忘记信息,使用保留的相关信息来进行预测,类似于大脑提取并表达主要观点。

_**二、LSTM_**_**_**_****_的原理_****_**_**_**_**_

RNN 工作原理第一个词被转换成了机器可读的向量,然后 RNN 逐个处理向量序列。

逐一处理矢量序列

  • 隐藏状态的传递

  • 过程描述:在处理序列数据时,RNN将前一时间步的隐藏状态传递给下一个时间步。

  • 作用:隐藏状态充当了神经网络的“记忆”,它包含了网络之前所见过的数据的相关信息。

  • 重要性:这种传递机制使得RNN能够捕捉序列中的时序依赖关系。

将隐藏状态传递给下一个时间步

  • 隐藏状态的计算

  • 细胞结构:RNN的一个细胞接收当前时间步的输入和前一时间步的隐藏状态。

  • 组合方式:当前输入和先前隐藏状态被组合成一个向量,这个向量融合了当前和先前的信息。

  • 激活函数:组合后的向量经过一个tanh激活函数的处理,输出新的隐藏状态。这个新的隐藏状态既包含了当前输入的信息,也包含了之前所有输入的历史信息。


tanh激活函数(区间-1~1)

  • 输出:新的隐藏状态被输出,并被传递给下一个时间步,继续参与序列的处理过程。


RNN的细胞结构和运算

LSTM工作原理

LSTM的细胞结构和运算

  • 输入门

  • 作用:决定哪些新信息应该被添加到记忆单元中。

  • 组成:输入门由一个sigmoid激活函数和一个tanh激活函数组成。sigmoid函数决定哪些信息是重要的,而tanh函数则生成新的候选信息。

  • 运算:输入门的输出与候选信息相乘,得到的结果将在记忆单元更新时被考虑。

输入门(sigmoid激活函数 + tanh激活函数)

  • 遗忘门

  • 作用:决定哪些旧信息应该从记忆单元中遗忘或移除。

  • 组成:遗忘门仅由一个sigmoid激活函数组成。


sigmoid激活函数(区间0~1)

  • 运算:sigmoid函数的输出直接与记忆单元的当前状态相乘,用于决定哪些信息应该被保留,哪些应该被遗忘。输出值越接近1的信息将被保留,而输出值越接近0的信息将被遗忘。

  • 遗忘门(sigmoid激活函数)

  • 输出门

  • 作用:决定记忆单元中的哪些信息应该被输出到当前时间步的隐藏状态中。

  • 组成:输出门同样由一个sigmoid激活函数和一个tanh激活函数组成。sigmoid函数决定哪些信息应该被输出,而tanh函数则处理记忆单元的状态以准备输出。

  • 运算:sigmoid函数的输出与经过tanh函数处理的记忆单元状态相乘,得到的结果即为当前时间步的隐藏状态。

  • 输出门(sigmoid激活函数 + tanh激活函数

_**三、LSTM****___**_******___**_**的应用**_**___******_**___******_

机器翻译:

应用描述:LSTM在机器翻译中用于将源语言句子自动翻译成目标语言句子。

关键组件:

  • 编码器(Encoder):一个LSTM网络,负责接收源语言句子并将其编码成一个固定长度的上下文向量。

  • 解码器(Decoder):另一个LSTM网络,根据上下文向量生成目标语言的翻译句子。

流程:

  1. 源语言输入:将源语言句子分词并转换为词向量序列。

  2. 编码:使用编码器LSTM处理源语言词向量序列,输出上下文向量。

  3. 初始化解码器:将上下文向量作为解码器LSTM的初始隐藏状态。

  4. 解码:解码器LSTM逐步生成目标语言的词序列,直到生成完整的翻译句子。

  5. 目标语言输出:将解码器生成的词序列转换为目标语言句子。

优化:通过比较生成的翻译句子与真实目标句子,使用反向传播算法优化LSTM模型的参数,以提高翻译质量。

情感分析:

应用描述:LSTM用于对文本进行情感分析,判断其情感倾向(积极、消极或中立)。

关键组件:

  • LSTM网络:接收文本序列并提取情感特征。

  • 分类层:根据LSTM提取的特征进行情感分类。

流程:

  1. 文本预处理:将文本分词、去除停用词等预处理操作。

  2. 文本表示:将预处理后的文本转换为词向量序列。

  3. 特征提取:使用LSTM网络处理词向量序列,提取文本中的情感特征。

  4. 情感分类:将LSTM提取的特征输入到分类层进行分类,得到情感倾向。

  5. 输出:输出文本的情感倾向(积极、消极或中立)。

优化:通过比较预测的情感倾向与真实标签,使用反向传播算法优化LSTM模型的参数,以提高情感分析的准确性。

如何学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)]()👈

学习路线

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2058516.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

智慧导览系统主要在哪些场景有应用

随着信息化和智能化的快速发展,智慧导览系统作为一种新型导览工具,在多个领域展现出其独特的应用价值。该系统通过集合互联网、人工智能、大数据分析等技术,为用户提供更加便捷、高效的导览服务。以下将详细给大家介绍智慧导览系统主要在哪些…

获取阿里云Docker镜像加速器地址

注册并登录阿里云账号:首先,你需要有一个阿里云账号。如果还没有,可以在阿里云官网注册。 访问容器镜像服务:登录后,进入“产品与服务”,找到“容器服务”或“容器镜像服务”。阿里云容器服务 找到镜像加…

Kolmogorov-Arnold Networks——高效、可解释的神经网络的新前沿

引言 神经网络一直处于人工智能发展的前沿,从自然语言处理和计算机视觉到战略游戏、医疗保健、编码、艺术甚至自动驾驶汽车,无所不包。然而,随着这些模型的规模和复杂性不断扩大,它们的局限性正成为重大缺陷。对大量数据和计算能…

gazebo下使用Fast-planner配置(包含mpc局部规划+控制Gazebo小车以及FastPlanner配置)

源码链接: https://github.com/USE-jx/NMPC_CASADI_CPP?tabreadme-ov-file #这是NMPC的 里面有Fast-Planner,但编译可能缺少东西,所以再放一个Fast-Planner的,可以装装缺少的库 https://github.com/HKUST-Aerial-Robotics/Fast-P…

centos7.9系统安装cloudpods

1. 简介: Cloudpods 是一款简单、可靠的企业IaaS资源管理软件。帮助未云化企业全面云化IDC物理资源,提升企业IT管理效率。 Cloudpods 帮助客户在一个地方管理所有云计算资源。统一管理异构IT基础设施资源,极大简化多云架构复杂度和难度&…

1553B总线电缆网络

1553B总线电缆网络 MIL-STD-1553B总线全称为飞行器内部时分命令/响应多路数据总线(Aircraft Internal Time Division Command/Response Multiplex Data Bu),它是由美国SAE的AE-9E委员会在军方和工业界的支持下,我国与之对应的标准…

Ubuntu清除缓存的方法--防止系统崩溃

前情提要:虚拟机出现过好几次的崩溃,终于同事发给了一个可以清除缓存的 1)崩溃1:之前将虚拟机放置在某盘中,该盘后续一直有别的东西存入,导致ubuntu直接打不开,后续就将虚拟机直接放在电脑单独…

洛谷 P1094 [NOIP2007 普及组] 纪念品分组

题目背景 NOIP2007 普及组 T2 题目描述 元旦快到了,校学生会让乐乐负责新年晚会的纪念品发放工作。为使得参加晚会的同学所获得 的纪念品价值相对均衡,他要把购来的纪念品根据价格进行分组,但每组最多只能包括两件纪念品, 并且…

RAG Foundry:一个用于增强大语言模型以实现检索增强生成的框架

一、结论写在前面 论文来自Intel Labs。 论文标题:RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation 论文链接:https://arxiv.org/pdf/2408.02545 代码:https://github.com/IntelLabs/RAGFoundry 实现检…

这一定是魔法!5个绝招解决苹果微信照片删除了怎么恢复问题

情景一:更新苹果手机系统后,重新打开微信却发现聊天记录中的照片不见了。 情景二:清理微信缓存数据以释放手机空间,再次打开微信发现聊天中的微信照片找不到了。 …… …… 类似于上述的情景在日常生活中时有发生,但…

【数据分享】1929-2024年全球站点的逐日降水量数据(Shp\Excel格式\1万多个站点)

气象数据是在各项研究中都经常使用的数据,气象指标包括气温、风速、降水、湿度等指标,说到常用的降水数据,最详细的降水数据是具体到气象监测站点的降水数据! 有关气象指标的监测站点数据,之前我们分享过1929-2024年全…

AI时代的价值盈利②:人工智能将如何改变SaaS应用的定价指标

介绍 随着行业和企业走上人工智能之旅,对每个投资者和商业领袖来说,最紧迫的问题之一是这种变革性技术将如何重塑他们的商业模式。GenAI有望释放巨大的价值,并有可能彻底改变消费者与服务或应用程序的交互方式。虽然它可能会带来巨大的成本&…

热门的蓝牙耳机中,哪种类型更受欢迎?四款热度高的开放式耳机

在如今的耳机市场中,开放式耳机异军突起,成为了众多消费者的新宠。如果你还在为传统入耳式耳机带来的不适而烦恼,那么开放式耳机绝对值得你一试。它不仅能让你在享受音乐的同时,依然可以清晰感知周围环境,保障你的安全…

函数与二元关系在编程中的应用

目录 引言 函数的基本概念与编程应用 二元关系与其在编程中的实现 函数与关系的高级编程应用 总结与应用 引言 函数与二元关系是计算机科学中描述元素间相互作用的核心工具。它们在算法设计、数据库管理、图论及各种建模任务中发挥着不可或缺的作用。掌握函数与二元关系的…

【代码】Swan-Transformer 代码详解(待完成)

1. 局部注意力 Window Attention (W-MSA Module) class WindowAttention(nn.Module):r""" Window based multi-head self attention (W-MSA) module with relative position bias.It supports both of shifted and non-shifted window.Args:dim (int): Number…

汽车的UDS诊断01

UDS(Unified Diagnostic Services):ISO14229中定义了汽车通用诊断协议;ISO15765规定了帧的格式; 1)UDS中的四种帧 UDS中的四种帧:单帧、首帧、流空帧、连续帧 图1 …

美团面试题:new Integer(“127“)和Integer.valueOf(“128“)有什么

🍅 作者简介:哪吒,CSDN2021博客之星亚军🏆、新星计划导师✌、博客专家💪 🍅 哪吒多年工作总结:Java学习路线总结,搬砖工逆袭Java架构师 🍅 技术交流:定期更新…

Windosw下Visual Studio2022编译安装VTK(支持QT),ITK

VTK(Visualization Toolkit)是一个开源的、跨平台的三维可视化开发库,用于处理和可视化三维数据。它提供了一系列算法和工具,用于创建、操作和渲染复杂的三维图形,并支持多种数据表示方式,包括点、线、面、…

桔子哥/基于云快充协议1.5版本的充电桩系统软件-充电桩系统 -新能源车充电平台源码

基于云快充协议1.5版本的充电桩系统软件 介绍 SpringBoot 框架,充电桩平台充电桩系统充电平台充电桩互联互通协议云快充协议1.5-1.6协议新能源汽车二轮车公交车二轮车充电-四轮车充电充电源代码充电平台源码Java源码 软件功能 小程序端:城市切换、附…

植物神经紊乱也不怕!吃出好心情,饮食调整秘籍大公开

Hey小伙伴们~👋 今天我们来聊聊一个可能听起来有点陌生但又挺常见的健康问题——植物神经紊乱。是不是有时候感觉心跳加速、呼吸不畅、还容易失眠多梦?别怕,除了专业治疗,饮食调整也是超级重要的一环哦!🍽️…