【Matlab智能算法】RBF神经网络-遗传算法(RBF-GA)函数极值寻优——非线性函数求极值

news2024/11/24 2:35:41

上一篇博客介绍了GRNN-GA：GRNN神经网络遗传算法(GRNN-GA)函数极值寻优——非线性函数求极值，神经网络用的是GRNN神经网络，RBF神经网络（径向基函数神经网络）和GRNN神经网络有相似之处。本篇博客将GRNN神经网络替换成RBF神经网络，希望能帮助大家快速入门RBF网络。

1.背景条件

要求：对于未知模型（函数表达式未知）求解极值。
条件：已知模型的一些输入输出数据。

程序的示例是根据用神经网络遗传算法寻优非线性函数 y = x 1 2 + x 2 2 y = x_1^2+x_2^2 y=x12​+x22​ 的极值，输入参数有2个，输出参数有1个，易知函数有极小值0，极小值点为(0, 0)。已知的只有一些输入输出数据（用rand函数生成输入，然后代入表达式生成输出）：

for i=1:4000
    input(i,:)=10*rand(1,2)-5;
    output(i)=input(i,1)^2+input(i,2)^2;
end

2.RBF神经网络函数说明

newrbe

RBF神经网络参数设置函数（严格(exact)RBF网络函数）
函数形式：

net = newrbe(P,T,spread)

P:输入数据矩阵。
T:输出数据矩阵。
spread：径向基函数的扩展速度。默认为1。RBF神经网络和GRNN网络一样，都有一个 spread 参数，GRNN神经网络其实是RBF神经网络的一种变形。

例如：

net=newrbe(inputn,outputn,0.1)

近似(approximate)RBF网络函数：

net=newrb(inputn,outputn)

用 newrb() 创建 RBF网络是一个不断尝试的过程，在创建过程中，需要不断增加中间层神经元和个数，直到网络的输出误差满足预先设定的值为止。

3.近似RBF神经网络

%% 清空环境变量
clc

tic
%% 载入数据
load data

%从1到4000间随机排序
k=rand(1,4000);
[m,n]=sort(k);

%划分训练数据和预测数据
input_train=input(n(1:3900),:)';
output_train=output(n(1:3900),:)';
input_test=input(n(3901:4000),:)';
output_test=output(n(3901:4000),:)';

[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);

%% RBF网络训练
% %初始化网络结构
net=newrb(inputn,outputn); % 近似RBF网络

%% RBF网络预测
%预测数据归一化
inputn_test=mapminmax('apply',input_test,inputps);

%网络预测输出
an=sim(net,inputn_test);

%网络输出反归一化
RBFoutput=mapminmax('reverse',an,outputps);

%% 结果分析
error=output_test-RBFoutput;
errorsum=sum(abs(error))

toc

save data net inputps outputps

运行之后得到：（ctrl + C 中止）

在这里插入图片描述

当隐藏层神经元个数为50的时候，误差已经很小了。

在这里插入图片描述

4.完整代码

data.m

用于生成神经网络拟合的原始数据。

for i=1:4000
    input(i,:)=10*rand(1,2)-5;
    output(i)=input(i,1)^2+input(i,2)^2;
end
output=output';

save data input output

RBF.m

用函数输入输出数据训练RBF神经网络，使训练后的网络能够拟合非线性函数输出，保存训练好的网络用于计算个体适应度值。根据非线性函数方程随机得到该函数的4000组输入输出数据，存储于data中，其中input为函数输入数据，output为函数对应输出数据，从中随机抽取3900组训练数据训练网络，100组测试数据测试网络拟合性能。最后保存训练好的网络。

%% 清空环境变量
clc

tic
%% 载入数据
load data

%从1到4000间随机排序
k=rand(1,4000);
[m,n]=sort(k);

%划分训练数据和预测数据
input_train=input(n(1:3900),:)';
output_train=output(n(1:3900),:)';
input_test=input(n(3901:4000),:)';
output_test=output(n(3901:4000),:)';

[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);

%% RBF网络训练
% %初始化网络结构
net=newrbe(inputn,outputn,0.1); % 严格RBF网络
%net=newrb(inputn,outputn); % 近似RBF网络
view(net)

%% RBF网络预测
%预测数据归一化
inputn_test=mapminmax('apply',input_test,inputps);

%网络预测输出
an=sim(net,inputn_test);

%网络输出反归一化
RBFoutput=mapminmax('reverse',an,outputps);

%% 结果分析
error=output_test-RBFoutput;
errorsum=sum(abs(error))

figure(1);
plot(RBFoutput,':og');
hold on
plot(output_test,'-*');
legend('Predictive output','Expected output','fontsize',10);
title('RBF network output','fontsize',12);
xlabel("samples",'fontsize',12);

figure(2);
plot(error,'-*');
title('RBF Neural network prediction error');
xlabel("samples",'fontsize',12);

figure(3);
plot(100*(output_test-RBFoutput)./output_test,'-*');
title('RBF Neural network prediction error percentage (%)');
xlabel("samples",'fontsize',12);

toc

save data net inputps outputps

Code.m

编码成染色体。

function ret=Code(lenchrom,bound)
%本函数将变量编码成染色体，用于随机初始化一个种群
% lenchrom   input : 染色体长度
% bound      input : 变量的取值范围
% ret        output: 染色体的编码值
flag=0;
while flag==0
    pick=rand(1,length(lenchrom));
    ret=bound(:,1)'+(bound(:,2)-bound(:,1))'.*pick; %线性插值，编码结果以实数向量存入ret中
    flag=test(lenchrom,bound,ret);     %检验染色体的可行性
end

fun.m

把训练好的RBF神经网络预测输出作为个体适应度值。

function fitness = fun(x)
% 函数功能：计算该个体对应适应度值
% x           input     个体
% fitness     output    个体适应度值

%
load data net inputps outputps

%数据归一化
x=x';
inputn_test=mapminmax('apply',x,inputps);
 
%网络预测输出
an=sim(net,inputn_test);
 
%网络输出反归一化
fitness=mapminmax('reverse',an,outputps);

对于求极小值的函数，适应度可以设为RBF网络预测结果，如果需要求极大值，可以对适应度取反。

Select.m

选择操作采用轮盘赌法从种群中选择适应度好的个体组成新种群。

function ret=select(individuals,sizepop)
% 本函数对每一代种群中的染色体进行选择，以进行后面的交叉和变异
% individuals input  : 种群信息
% sizepop     input  : 种群规模
% ret         output : 经过选择后的种群

fitness1=1./individuals.fitness;
sumfitness=sum(fitness1);
sumf=fitness1./sumfitness;
index=[]; 
for i=1:sizepop   %转sizepop次轮盘
    pick=rand;
    while pick==0    
        pick=rand;        
    end
    for i=1:sizepop    
        pick=pick-sumf(i);        
        if pick<0        
            index=[index i];            
            break;  %寻找落入的区间，此次转轮盘选中了染色体i，注意：在转sizepop次轮盘的过程中，有可能会重复选择某些染色体
        end
    end
end
individuals.chrom=individuals.chrom(index,:);
individuals.fitness=individuals.fitness(index);
ret=individuals;

Cross.m

交叉操作从种群中选择两个个体，按一定概率交叉得到新个体。

function ret=Cross(pcross,lenchrom,chrom,sizepop,bound)
%本函数完成交叉操作
% pcorss                input  : 交叉概率
% lenchrom              input  : 染色体的长度
% chrom     input  : 染色体群
% sizepop               input  : 种群规模
% ret                   output : 交叉后的染色体
 for i=1:sizepop  %每一轮for循环中，可能会进行一次交叉操作，染色体是随机选择的，交叉位置也是随机选择的，%但该轮for循环中是否进行交叉操作则由交叉概率决定（continue控制）
     % 随机选择两个染色体进行交叉
     pick=rand(1,2);
     while prod(pick)==0
         pick=rand(1,2);
     end
     index=ceil(pick.*sizepop);
     % 交叉概率决定是否进行交叉
     pick=rand;
     while pick==0
         pick=rand;
     end
     if pick>pcross
         continue;
     end
     flag=0;
     while flag==0
         % 随机选择交叉位
         pick=rand;
         while pick==0
             pick=rand;
         end
         pos=ceil(pick.*sum(lenchrom)); %随机选择进行交叉的位置，即选择第几个变量进行交叉，注意：两个染色体交叉的位置相同
         pick=rand; %交叉开始
         v1=chrom(index(1),pos);
         v2=chrom(index(2),pos);
         chrom(index(1),pos)=pick*v2+(1-pick)*v1;
         chrom(index(2),pos)=pick*v1+(1-pick)*v2; %交叉结束
         flag1=test(lenchrom,bound,chrom(index(1),:));  %检验染色体1的可行性
         flag2=test(lenchrom,bound,chrom(index(2),:));  %检验染色体2的可行性
         if   flag1*flag2==0
             flag=0;
         else flag=1;
         end    %如果两个染色体不是都可行，则重新交叉
     end
 end
ret=chrom;

test.m

检验染色体的可行性。

function flag=test(lenchrom,bound,code)
% lenchrom   input : 染色体长度
% bound      input : 变量的取值范围
% code       output: 染色体的编码值

x=code; %先解码
flag=1;
if (x(1)<bound(1,1))&&(x(2)<bound(2,1))&&(x(1)>bound(1,2))&&(x(2)>bound(2,2))
    flag=0;
end

Mutation.m

变异操作从种群中随机选择一个个体，按一定概率变异得到新个体。

function ret=Mutation(pmutation,lenchrom,chrom,sizepop,pop,bound)
% 本函数完成变异操作
% pcorss                input  : 变异概率
% lenchrom              input  : 染色体长度
% chrom     input  : 染色体群
% sizepop               input  : 种群规模
% opts                  input  : 变异方法的选择
% pop                   input  : 当前种群的进化代数和最大的进化代数信息
% ret                   output : 变异后的染色体
for i=1:sizepop   %每一轮for循环中，可能会进行一次变异操作，染色体是随机选择的，变异位置也是随机选择的，
    %但该轮for循环中是否进行变异操作则由变异概率决定（continue控制）
    % 随机选择一个染色体进行变异
    pick=rand;
    while pick==0
        pick=rand;
    end
    index=ceil(pick*sizepop);
    % 变异概率决定该轮循环是否进行变异
    pick=rand;
    if pick>pmutation
        continue;
    end
    flag=0;
    while flag==0
        % 变异位置
        pick=rand;
        while pick==0      
            pick=rand;
        end
        pos=ceil(pick*sum(lenchrom));  %随机选择了染色体变异的位置，即选择了第pos个变量进行变异
        v=chrom(i,pos);        
        v1=v-bound(pos,1);        
        v2=bound(pos,2)-v;        
        pick=rand; %变异开始        
        if pick>0.5
            delta=v2*(1-pick^((1-pop(1)/pop(2))^2));
            chrom(i,pos)=v+delta;
        else
            delta=v1*(1-pick^((1-pop(1)/pop(2))^2));
            chrom(i,pos)=v-delta;
        end   %变异结束
        flag=test(lenchrom,bound,chrom(i,:));     %检验染色体的可行性
    end
end
ret=chrom;

Genetic.m

%% 清空环境变量
clc
% clear

%% 初始化遗传算法参数
%初始化参数
maxgen=100;                         %进化代数，即迭代次数
sizepop=20;                        %种群规模
pcross=[0.4];                       %交叉概率选择，0和1之间
pmutation=[0.2];                    %变异概率选择，0和1之间

lenchrom=[1 1];          %每个变量的字串长度，如果是浮点变量，则长度都为1
bound=[-5 5;-5 5];  %数据范围

individuals=struct('fitness',zeros(1,sizepop), 'chrom',[]);  %将种群信息定义为一个结构体
avgfitness=[];                      %每一代种群的平均适应度
bestfitness=[];                     %每一代种群的最佳适应度
bestchrom=[];                       %适应度最好的染色体

%% 初始化种群计算适应度值
% 初始化种群
for i=1:sizepop
    %随机产生一个种群
    individuals.chrom(i,:)=Code(lenchrom,bound);   
    x=individuals.chrom(i,:);
    %计算适应度
    individuals.fitness(i)=fun(x);   %染色体的适应度
end
%找最好的染色体
[bestfitness bestindex]=min(individuals.fitness);
bestchrom=individuals.chrom(bestindex,:);  %最好的染色体
avgfitness=sum(individuals.fitness)/sizepop; %染色体的平均适应度
% 记录每一代进化中最好的适应度和平均适应度
trace=[avgfitness bestfitness]; 

%% 迭代寻优
% 进化开始
for i=1:maxgen
    i
    % 选择
    individuals=Select(individuals,sizepop); 
    avgfitness=sum(individuals.fitness)/sizepop;
    % 交叉
    individuals.chrom=Cross(pcross,lenchrom,individuals.chrom,sizepop,bound);
    % 变异
    individuals.chrom=Mutation(pmutation,lenchrom,individuals.chrom,sizepop,[i maxgen],bound);
    
    % 计算适应度 
    for j=1:sizepop
        x=individuals.chrom(j,:); %解码
        individuals.fitness(j)=fun(x);   
    end
    
  %找到最小和最大适应度的染色体及它们在种群中的位置
    [newbestfitness,newbestindex]=min(individuals.fitness);
    [worestfitness,worestindex]=max(individuals.fitness);
    % 代替上一次进化中最好的染色体
    if bestfitness>newbestfitness
        bestfitness=newbestfitness;
        bestchrom=individuals.chrom(newbestindex,:);
    end
    individuals.chrom(worestindex,:)=bestchrom;
    individuals.fitness(worestindex)=bestfitness;
    
    avgfitness=sum(individuals.fitness)/sizepop;
    
    trace=[trace;avgfitness bestfitness]; %记录每一代进化中最好的适应度和平均适应度
end
%进化结束

%% 结果分析
[r c]=size(trace);
plot([1:r]',trace(:,2),'r-');
title('适应度曲线','fontsize',12);
xlabel('进化代数','fontsize',12);ylabel('适应度','fontsize',12);
disp('适应度                   变量');
x=bestchrom;
% 窗口显示
disp([bestfitness x]);

5.代码使用说明

上述代码运行顺序

data.m 生成数据（如果已有 input output 数据可跳过），
RBF.m 进行RBF神经网络训练及函数拟合，
Genetic.m（主函数）利用遗传算法求极值。

求最大值的方法

上述代码用于求解最小值，对于求解最大值的需求，可以在适应度函数里面，对适应度计算结果求反，把求解最大值的问题转化为求解最小值的问题。

例如：对于非线性函数 y = − ( x 1 2 + x 2 2 ) + 4 y = -(x_1^2+x_2^2)+4 y=−(x12​+x22​)+4 ：

for i=1:4000
    input(i,:)=10*rand(1,2)-5;
    output(i)=-(input(i,1)^2+input(i,2)^2)+4;
end

求最大值时，需要在 fun.m 里面，修改最后一行代码：

fitness=-mapminmax('reverse',an,outputps);

注意：每次运行结果不尽相同。

6.代码运行结果

对 y = x 1 2 + x 2 2 y = x_1^2+x_2^2 y=x12​+x22​ 求极小值

RBF神经网络拟合

运行RBF.m之后：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

输出：

errorsum =

    0.0013

历时 9.232266 秒。

注意：每次运行结果不尽相同。

遗传算法寻优

运行主函数 Genetic.m之后：

在这里插入图片描述

输出：

...
i =

   100
   
适应度                   变量
   0.0001   -0.0042    0.0074

历时 20.067215 秒。

最终结果最优个体为（-0.0042，0.0074），适应度为 0.0001。

注意：每次运行结果不尽相同。

参考

《MATLAB神经网络30个案例分析》

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/868652.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

安装istio和部署实例以及仪表盘

安装istio和部署实例以及仪表盘

安装Istio 接下来我们将介绍如何在 Kubernetes 集群中安装 Istio&#xff0c;这里我们使用的是最新的 1.10.3 版本。 下面的命令可以下载指定的 1.10.3 版本的 Istio: ➜ ~ curl -L https://istio.io/downloadIstio | ISTIO_VERSION1.10.3 sh -如果安装失败&#xff0c;可以…
阅读更多...
SolidWorks不能使用选择如允许此选择将生成有冲突的前后关系

SolidWorks不能使用选择如允许此选择将生成有冲突的前后关系

SolidWorks不能使用选择如允许此选择将生成有冲突的前后关系 1 SolidWorks不能使用选择如允许此选择将生成有冲突的前后关系 1 SolidWorks不能使用选择如允许此选择将生成有冲突的前后关系 https://www.swrjzxw.com/1556.html SolidWorks装配体时 显示 不能使用选择如允许此选…
阅读更多...
Linux 使用gdb调试C程序

Linux 使用gdb调试C程序

一、gdb的一些基础命令 l&#xff1a;显示代码 l n&#xff1a;跳转到当前代码页的第n行的代码 l filename.c &#xff1a;n&#xff1a;跳转到filename.c文件的第n行代码 b 行号&#xff1a;加断点 info break&#xff1a;查看断点信息 delete 断点编号&#xff1a;删除断点 …
阅读更多...
力扣 518. 零钱兑换 II

力扣 518. 零钱兑换 II

题目来源&#xff1a;https://leetcode.cn/problems/coin-change-ii/description/ C题解&#xff08;来源代码随想录&#xff09;&#xff1a; 这是一道典型的背包问题&#xff0c;一看到钱币数量不限&#xff0c;就知道这是一个完全背包。但本题和纯完全背包不一样&#xff0c…
阅读更多...
天津大数据培训机构哪家好？大数据必备知识

天津大数据培训机构哪家好？大数据必备知识

随着我国互联网IT行业的发展&#xff0c;我们步入了大数据时代&#xff0c;现在市场上急需大量的大数据专业人才&#xff0c;发展空间大&#xff0c;从业范围广&#xff0c;学习大数据专业对未来还是很有帮助的。今天小编来带大家了解一下大数据的知识和学习方式&#xff0c;作…
阅读更多...
Pygame 入门教程

Pygame 入门教程

1. Pygame简介 Pygame是一个基于Python的游戏开发库&#xff0c;它提供了一系列的工具和接口&#xff0c;使开发人员能够轻松地创建各种类型的游戏&#xff0c;包括2D游戏和简单的3D游戏。 在开始学习Pygame之前&#xff0c;您需要先安装Pygame库。您可以通过以下命令在命令行…
阅读更多...
分布式定时任务系列5：XXL-job中blockingQueue的应用

分布式定时任务系列5：XXL-job中blockingQueue的应用

传送门 分布式定时任务系列1&#xff1a;XXL-job安装 分布式定时任务系列2&#xff1a;XXL-job使用 分布式定时任务系列3&#xff1a;任务执行引擎设计 分布式定时任务系列4&#xff1a;任务执行引擎设计续 Java并发编程实战1&#xff1a;java中的阻塞队列 引子 这篇文章的…
阅读更多...
linux下查看谁在用显卡

linux下查看谁在用显卡

一般查看显卡的使用情况使用的命令为 nvidia-smi但是这个只能输出显卡的占用及进程&#xff0c;看不到谁在用 信息如下 但是可以借助上面的PID信息&#xff0c;查看对应的进程是谁调用的&#xff0c; 命令为&#xff1a; ps -f -p 4417其中4417就是上图中的其中一个PID 输出…
阅读更多...
snapshotter not loaded: overlayfs: invalid argument

snapshotter not loaded: overlayfs: invalid argument

测试containerd是否能创建和启动成功 执行如下命令拉取镜像并创建容器&#xff1a; 拉取容器 ctr i pull docker.io/library/nginx:alpine 创建容器 ctr c create --net-host docker.io/library/nginx:alpine nginx ctr task start -d nginx查看Containerd服务启动信息&…
阅读更多...
【Freertos基础教程】任务管理之基本使用

【Freertos基础教程】任务管理之基本使用

文章目录 前言一、freertos任务管理是什么&#xff1f;二、任务管理涉及到的一些概念1.任务状态2.优先级3.栈(Stack)4.事件驱动5.协助式调度(Co-operative Scheduling) 二、任务的基本操作1.创建任务什么是任务 2.创建任务3.任务的删除4.任务的调度3.简单示例 总结 前言 本fre…
阅读更多...
2023.8.12号论文阅读

2023.8.12号论文阅读

文章目录 TriFormer: A Multi-modal Transformer Framework For Mild Cognitive Impairment Conversion Prediction摘要本文方法实验结果 SwIPE: Efficient and Robust Medical Image Segmentation with Implicit Patch Embeddings摘要本文方法实验结果 TriFormer: A Multi-mod…
阅读更多...
【杨氏矩阵——（详细解法）】

【杨氏矩阵——（详细解法）】

杨氏矩阵&#x1f495; 题目&#x1f575;️ 思路展示&#x1f92f; 假设在二维数组arr中查找某个数input&#xff1a; 查找思路&#x1f9d0; 利用杨氏矩阵&#xff08;矩阵的每行从左到右是递增的&#xff0c;矩阵从上到下是递增的&#xff09;的特性&#xff0c;我们可以&a…
阅读更多...
CentOS7连接网络

CentOS7连接网络

1.下载centos7镜像文件 2.安装centos7 3.修改网卡,ens33. 注意: 这里使用的是dhcp,设置IPADDR192.168.31.64一方面是为了后面使用crt或者MobaXterm连接,另一方面它和windows电脑的网卡要一致.这样才可以连接到网络.win r,输入cmd,打开命令窗口输入ipconfig.可以看到IPv4: 102…
阅读更多...
Pytorch深度学习-----完整神经网络模型训练套路

Pytorch深度学习-----完整神经网络模型训练套路

系列文章目录 PyTorch深度学习——Anaconda和PyTorch安装 Pytorch深度学习-----数据模块Dataset类 Pytorch深度学习------TensorBoard的使用 Pytorch深度学习------Torchvision中Transforms的使用&#xff08;ToTensor&#xff0c;Normalize&#xff0c;Resize &#xff0c;Co…
阅读更多...
【mysql】—— 表的约束

【mysql】—— 表的约束

目录 序言 &#xff08;一&#xff09;空属性 &#xff08;二&#xff09;默认值 &#xff08;三&#xff09;列描述 &#xff08;四&#xff09;zerofill &#xff08;五&#xff09;主键 &#xff08;六&#xff09;自增长 &#xff08;七&#xff09;唯一键 &#…
阅读更多...
git命令使用

git命令使用

君子拙于不知己,而信于知己。——司马迁 清屏&#xff1a;clear 查看当前面板的路径&#xff1a;pwd 查看当前面板的文件&#xff1a;ls 创建文件夹&#xff1a;mkdir 文件夹名 创建文件&#xff1a;touch 文件名 删除文件夹&#xff1a;rm -rf 文件夹名 删除文件&#xff1a;r…
阅读更多...
【双指针_盛最多水的容器_C++】

【双指针_盛最多水的容器_C++】

题目解析 盛最多水的容器 算法原理 向内枚举&#xff1a; weight一定会减小 height不是不变就是减小要求的是盛水最多的容器&#xff0c;那么这些枚举情况就不需要。 拿比较小的数去向内枚举&#xff0c;v一直在减小&#xff0c;所以说直接排除 编写代码 class Soluti…
阅读更多...
【rust/egui】(一)从编译运行template开始

【rust/egui】(一)从编译运行template开始

说在前面 rust新手&#xff0c;egui没啥找到啥教程&#xff0c;这里自己记录下学习过程环境&#xff1a;windows11 22H2rust版本&#xff1a;rustc 1.71.1egui版本&#xff1a;rust windows安装参考&#xff1a;这里本文默认读者已安装相关环境(git、vscode等) 关于egui egui …
阅读更多...
[数据集][目标检测]钢材表面缺陷目标检测数据集VOC格式2279张10类别

[数据集][目标检测]钢材表面缺陷目标检测数据集VOC格式2279张10类别

数据集格式&#xff1a;Pascal VOC格式(不包含分割路径的txt文件和yolo格式的txt文件&#xff0c;仅仅包含jpg图片和对应的xml) 图片数量(jpg文件个数)&#xff1a;2279 标注数量(xml文件个数)&#xff1a;2279 标注类别数&#xff1a;10 标注类别名称:["yueyawan",&…
阅读更多...
【变形金刚02】注意机制以及BERT 和 GPT

【变形金刚02】注意机制以及BERT 和 GPT

一、说明 我已经解释了什么是注意力机制&#xff0c;以及与转换器相关的一些重要关键字和块&#xff0c;例如自我注意、查询、键和值以及多头注意力。在这一部分中&#xff0c;我将解释这些注意力块如何帮助创建转换器网络&#xff0c;注意、自我注意、多头注意、蒙面多头注意力…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023