2024年新SCI顶刊算法红嘴蓝鹊优化器RBMO优化Transformer模型的多变量时间序列预测

news2024/11/24 19:46:23

matlab R2024a以上

一、数据集

二、2024年新SCI顶刊算法红嘴蓝鹊优化器RBMO

红嘴蓝鹊优化算法(Red-billed blue magpie optimizer, RBMO)是一种新型的元启发式算法(智能优化算法),灵感来源于红嘴蓝鹊的合作、高效的捕食行为。 该成果由Shengwei Fu等人于2024年5月发表在 SCI顶刊《Artificial Intelligence Review》 上!

算法流程:

  • 种群初始化

其中ub,lb分别代表问题空间的上下界

  • 寻找食物:在寻找食物时,红嘴蓝鹊通常以小组(2至5只)或群集(超过10只)的方式操作,以增强搜索效率。它们采用各种技术,如跳跃在地面上,行走,或搜查树木以寻找食物资源。这种适应性和灵活性使红嘴蓝鹊能够根据环境条件和可用资源采用多样化的狩猎策略,确保有充足的食物供应。当小组探索食物时,使用等式(3),而在群集搜索时使用等式(4)。

  • 攻击猎物:红嘴蓝鹊在追捕猎物时展现出高水平的狩猎技能和合作能力。它们采用快速啄食、跃起捕食或飞行捕捉昆虫等策略。在小团体行动中,主要目标通常是小型猎物或植物。相应的数学模型在方程(5)中呈现。在集群操作时,红嘴蓝鹊能够联合瞄准大型昆虫或小型脊椎动物等更大的猎物。该行为的数学表征概述在方程(6)中。这种掠食性狩猎行为突显了红嘴蓝鹊所具备的多样策略和技能,使其成为一个能够成功在各种情境下安全获取食物的多才多艺的捕食者。

  • 储存食物:除了搜索和攻击食物外,红嘴蓝鹊还会将多余的食物存放在树洞或其他隐蔽的地点以供将来食用,确保在食物短缺时有稳定的食物供应。这一过程保留了解决方案信息,帮助个体找到全局最优值。数学模型如方程(7)所示。

综上所述,在RBMO中,优化过程通过生成一组随机的候选解(称为种群)开始。RBMO的搜索策略通过反复的轨迹探索适当的位置,无论是次优解还是最优解。食物存储阶段增强了RBMO的探索和开发能力。最后,RBMO搜索过程在满足结束标准时结束。值得注意的是,红嘴蓝鹊的种群大小在捕食过程中不同,但小规模种群和群集的总数保持相似。在本文中,我们提出了一个用于平衡种群的系数\epsilon,将其设定为0.5。RBMO的伪代码在算法1中提供。

三、Transformer模型

Transformer模型是一种用于处理序列数据的深度学习模型,最初由Vaswani等人在2017年提出。它在自然语言处理(NLP)领域取得了巨大的成功,并成为许多语言模型的基础,如BERT、GPT系列等。以下是Transformer模型的详细介绍:

Transformer模型的基本结构

Transformer模型由编码器(Encoder)和解码器(Decoder)两部分组成,每一部分都由多个层(Layers)堆叠而成。每一层包括两个主要组件:多头自注意力机制(Multi-Head Self-Attention Mechanism)和前馈神经网络(Feed-Forward Neural Network)。

编码器

编码器负责将输入序列转换为一组隐含表示(Hidden Representations)。每个编码器层包括:

  1. 多头自注意力机制(Multi-Head Self-Attention):通过计算输入序列中每个位置的自注意力分数,捕捉输入序列的全局依赖关系。
  2. 前馈神经网络(Feed-Forward Neural Network):对每个位置的隐含表示进行非线性变换,增强模型的表达能力。
  3. 残差连接和层归一化(Residual Connection and Layer Normalization):这些技术帮助训练更深的网络,保持梯度稳定。
解码器

解码器负责生成输出序列,每个解码器层包括:

  1. 掩蔽多头自注意力机制(Masked Multi-Head Self-Attention):类似于编码器的自注意力机制,但只关注之前生成的输出位置,防止信息泄露。
  2. 编码器-解码器注意力机制(Encoder-Decoder Attention):将解码器的隐含表示与编码器的隐含表示进行结合,捕捉输入与输出之间的依赖关系。
  3. 前馈神经网络和残差连接、层归一化:与编码器相同。

关键组件

  1. 注意力机制(Attention Mechanism):Transformer模型的核心,通过计算查询(Query)、键(Key)和值(Value)之间的点积注意力分数来实现。注意力机制允许模型在处理当前位置时关注整个序列,从而捕捉长距离依赖关系。
  2. 多头注意力(Multi-Head Attention):通过将注意力机制扩展为多个头(Heads),模型可以在不同的子空间中并行计算注意力,从而捕捉更丰富的特征。
  3. 位置编码(Positional Encoding):由于Transformer不包含循环神经网络(RNN)或卷积神经网络(CNN)等顺序信息处理机制,位置编码用于为输入序列中的每个位置添加顺序信息。

四、效果展示

五、代码获取

感兴趣的朋友可以关注最后一行

% 参数设置
options0 = trainingOptions('adam', ...
    'Plots','none', ...
    'MaxEpochs', 100, ...
    'MiniBatchSize', 32, ...
    'Shuffle', 'every-epoch', ...
    'InitialLearnRate', 0.01, ...
    'L2Regularization', 0.002, ...         % 正则化参数
    'ExecutionEnvironment', "auto",...
    'Verbose',1);


%% https://mbd.pub/o/bread/mbd-ZpmYkphr

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1995336.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

005集——运算符和循环——C#学习笔记

C# 提供了许多运算符。 其中许多都受到内置类型的支持,可用于对这些类型的值执行基本操作。 这些运算符包括以下组: 算术运算符,将对数值操作数执行算术运算比较运算符,将比较数值操作数布尔逻辑运算符,将对 bool 操作…

基于医院临床数据中心而建立的ADR药品智能监测上报系统,源码支持二次开发

ADR监测上报系统是基于医院临床数据中心而建立,运用信息技术实现药品不良反应的智能监测、报告管理、知识库查询、统计分析等功能。 系统自动提取不良反应报告数据,主动实时监测临床发生的不良反应,第一时间反馈到ADR监测组,及时…

邀请函 I 松下信息和望繁信科技邀您参加「数智时代下大数据应用的“道”与“术”」闭门会议

在数字化浪潮席卷全球的今天,大数据与智能化的结合成为企业成功的关键。为了深入探讨这一重要议题,松下信息系统(上海)有限公司(简称“松下信息”)与上海望繁信科技有限公司(简称“望繁信科技”…

2024年最新AI算力厂商排名!

随着人工智能技术的飞速发展,AI算力已成为衡量一个国家或企业在AI领域竞争力的重要指标。2024年,全球AI算力领域再度迎来新的突破与变革,不仅体现在技术创新的深度和广度上,更在应用场景和市场价值上展现出巨大的潜力。 众厂商排名…

扩展01:企业级Nginx+Keepalived双主架构实战

NginxKeepalived主备架构总是会有一台服务器处于空闲状态,这样会造成资源的浪费,所以为了能够将两台服务器都利用起来,我们需要借助NginxKeepalived双主架构来实现。即是对外两个VIP地址,同时接收请求。 一:Nginxkeep…

生成订单幂等性(防止订单重复提交)

订单唯一性(防止重复下单)方案 重复下单产生原因: 客户端原因: 比如下单的按键在点按之后,在没有收到服务器请求之前,按键的状态没有设为已禁用状态,还可以被按。又或者,在触摸屏下,用户手指…

15秒完成作文自动批阅!璞公英与恩施三中正式签约试点,AI 大模型自动批阅+精准教学助力学校教育升级!

在国家大力推动教育数字化战略行动的浪潮中,通过科技创新赋能教育,促进教育公平与质量双提升的重要签约仪式,于恩施市第三高级中学隆重举行。一直以来,恩施市第三高级中学积极寻求创新与突破,引入璞公英的先进教育技术…

MyBatis动态SQL标签2

4.choose (when, otherwise)标签是使用举例 类似switch...case,从上到下匹配,找到匹配的条件,就结束匹配其他的! 5.set标签是使用举例 set这个标签是用在更新操作上的 set标签代替sql中的set关键字,可以把set语句后多…

DC-8靶机渗透测试

DC-8靶机 文章目录 DC-8靶机信息收集web渗透获取权限权限提升靶机总结 信息收集 1.nmap扫描出主机IP为192.168.78.156 开放80和22端口,没扫出来什么漏洞,但是发现robots.txt文件,给出了后台登录地址/usr/login web渗透 1.登陆到主页发现是…

Java有哪些数据类型?

Java有哪些数据类型 1. 基本数据类型 2. 引用数据类型 3. 总结 🎈边走、边悟🎈迟早会好 Java 中的数据类型分为两大类:基本数据类型(primitive types)和引用数据类型(reference types)。 …

代发考生战报:8月6号 西安 ,HCIE存储H13-629考试通过

代发考生战报:8月6号 西安 ,HCIE存储H13-629考试通过,目前这个考试变题了,我找客服买的包过服务,有老师指导,考试通过了,里面的新题我看了,我是一点也不会,自己考的还是不…

Java代码混淆加密之Xjar

使用背景 代码安全性需求:在交付给客户或第三方时,保护源代码不被泄露或反编译是许多企业的核心需求。尤其是在竞争激烈的市场中,代码泄露可能导致严重的经济损失。 传统工具的局限性:虽然有很多混淆和加密工具,比如 …

【学习笔记】用线段树维护区间计数问题

前言 简单的区间计数问题可能直接推式子就行了。 但有些问题必须要数据结构维护。线段树就是一个比较好的处理区间的数据结构。 Gym102222L 思路 满足条件的区间特征: max ⁡ { a i } − min ⁡ { a i } 1 − c n t 0 \max\{a_i\}-\min\{a_i\}1-cnt0 max{ai​}…

uniapp离线打包热更新失败-AndroidStudio离线打包apk后无法下载打开-热更新失败-plus.runtime.install失败

效果图 仅安卓 前言 1.plus.runtime.install一直fail(20240808), uni.openDocument可以打开本地apk文件 2.权限问题需小心 跑通前提 1.先确定apk地址有效,浏览器中手动下载可安装 2.确保已添加离线打包AndroidStudio的“android.permission.INSTALL_PACKAGES”权…

初识自然语言处理NLP

文章目录 1、简介2、自然语言处理的发展简史3、语言学理论句法学(Syntax)语义学(Semantics)语用学(Pragmatics)形态学(Morphology) 4、统计与机器学习方法n-gram 模型隐马尔可夫模型…

JNPF快速开发平台赋能数字办公方式转变

随着信息技术的飞速发展,数字化转型已成为各行各业提升效率、优化流程的重要手段。JNPF快速开发平台正是在这样的背景下应运而生,它通过简化开发流程,使得非技术人员也能参与到应用的构建中来,从而加速了数字办公方式的转变。 数字…

解决r2dbc连mysql时timestamp字段的时区问题

现象: 在两个mysql库用相同SQL都建了某表,都有created_at字段: created_at timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT 创建时间, 。但是在往此表insert记录时,B库的created_at字段比当前时间慢了8个小时,而A…

MySQL学习(19):锁

1.什么是锁 锁是计算机协调多个进程或线程并发访问某一资源的机制。 在数据库中,数据是供许多用户共享的资源,数据库必须保证数据并发访问的一致性、有效性,这就要靠锁来协调实现。 MySOL中的锁,分为以下三类: &am…

深度学习基础 - 向量投影

深度学习基础 - 向量投影 flyfish 给定两个向量 a \mathbf{a} a 和 b \mathbf{b} b,我们想要计算 a \mathbf{a} a 在 b \mathbf{b} b 上的投影。 点乘 (Dot Product) 点乘是一个标量,表示两个向量在相同方向上的程度。公式为: a ⋅ b …

行为验证码热门行业解决方案

行为式验证码是一种较为流行的验证码。从字面来理解,就是通过用户的操作行为来完成验证,而无需去读懂扭曲的图片文字,以下是常见的案例。 ​​热门行业解决方案 教育解决方案 教育资源不断线上化,使得违法违规内容风险不断提高&…