通俗讲解-动量梯度下降法原理与代码实例

news2024/11/23 16:54:09

本站原创文章,转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com

目录

一.动量梯度下降法介绍   

1.1 动量梯度下降法简介与思想      

1.2 动量梯度下降法的算法流程      

二.动量梯度下降法代码实例  

2.1 动量梯度下降法实例代码


一.动量梯度下降法介绍   

本节介绍动量梯度下降法的思想以及算法流程

1.1 动量梯度下降法简介与思想      


动量梯度下降法是对梯度下降法的一种改进,
这主要是因为梯度下降法在遇到局部最优时,毫无办法

 为了解决跳出局部最优,动量梯度下降法为此模仿物体从高处滚到低处的原理,
由于物体具有动量,遇到小坑时会由于原有动量而跃出小坑,因此,动量梯度下降法在迭代的过程中引入动量的概念,它的迭代量改为"速度",而当前的负梯度只作为速度的修改量,


动量梯度下降法迭代公式如下:
v_t=mc*v_{t-1}+(1-mc)*(-\text{lr}*g)
x_t = x_{t-1} +v_{t}
其中,mc是动量系数,一般设为0.9,g是梯度
这样做的好处是,在遇到“小坑”的时候,会因为原有的速度方向,冲出小坑

1.2 动量梯度下降法的算法流程      


动量梯度下降法的具体算法流程如下
 一、设置参数与初始化相关变量                                 
1. 设置学习率lr                                               
    lr一般设为0.1                          
2. 设置动量系数mc                                        
    mc一般设为0.9                        
3. 初始化速度v                                              
    v一般初始化为0                       
4. 初始化初始解x                                          
    x随机初始化,或者具体问题具体设定    
 二、循环迭代                                                            
  按如下步骤进行迭代                       
1.计算当前的梯度g                                         
2.计算当前的梯度对v带来的修改量dx             
    \text{dx = lr*(-}g)
3.计算当前的速度                                          
    \text{v = mc*v+(1-mc)*dx}
4.更新x                                                         
     \text{x = x + v}        
5.检查迭代终止条件                                      

    如果满足终止条件,就退出迭代程序        

    终止条件可设如下:                 

      (1)是否达到最大迭代次数         

      (2)目标函数值是否满足要求       

      (3) x是否多次变化极小           

 三、输出结果                                                            
      输出最终的求解结果x 

二.动量梯度下降法代码实例  

本节展示动量梯度下降法求解函数最小值的一个代码实例


2.1 动量梯度下降法实例代码


   
现求解 \small \text{y} = 0.4*x^2+3*\textbf{exp}\left (-(x+2)^2\right)的极小值
它的函数图像如下:

 

 

其中,梯度公式为\dfrac{\partial \text{y}}{\partial x}=0.8*x-6*\textbf{exp}(-(x+2)^2)*(x+2)
 按以上算法流程,编写程序如下(matlab):  

% 本代码用动量梯度下降法求解函数y = 0.4*x^2+3*exp(-(x+2)^2) 的极小值
% 代码主旨用于教学,供大家学习理解动量梯度下降法的原理
%  转载请说明来自 《老饼讲解神经网络》 bp.bbbdata.com
clc;clear all ;
line_x = -5:0.1:5;                            % 目标函数曲线x
line_y = 0.4*line_x.^2+3*exp(-(line_x+2).^2); % 目标函数曲线y
lr = 0.1;                                     % 学习率
mc = 0.9;                                     % 动量系数
x  = -4;                                      % x的初始值
v  = 0;                                       % 初始速度
for i = 1:100
   gx = -(0.8*x-6*exp(-(x+2).^2)*(x+2));      % 计算负梯度
   v  = mc*v+(1-mc)*lr*gx;                    % 将负梯度叠加到上一次速度中,作为本次的速度
   x  = x+v;                                  % 更新x
   y  = 0.4*x.^2+3*exp(-(x+2).^2);            % 计算当前的目标函数值
   fprintf('第%d轮x的迭代值x=%f\n',i,x)
   plot(line_x,line_y,x,y,'or')               % 画出曲线与当前迭代点
   drawnow;                                   % 展示图象
end

运行结果如下
第0轮x的迭代值x=-3.970198
第1轮x的迭代值x=-3.914051
第2轮x的迭代值x=-3.835152
第3轮x的迭代值x=-3.737256
第4轮x的迭代值x=-3.624348
....
第95轮x的迭代值x=0.033763
第96轮x的迭代值x=0.037061
第97轮x的迭代值x=0.041660
第98轮x的迭代值x=0.047361
第99轮x的迭代值x=0.053971
经过100步迭代,求得最后y在x=0.053971处取得极小值


相关文章
1-LVQ的学习目录:老饼|BP神经网络-竞争神经网络
2-SVM的学习目录:老饼|BP神经网络-感知机与SVM
3-BP的学习目录:老饼|BP神经网络-BP入门

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/883065.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

7-3 查询水果价格

分数 15 全屏浏览题目 切换布局 作者 C课程组 单位 浙江大学 给定四种水果,分别是苹果(apple)、梨(pear)、桔子(orange)、葡萄(grape),单价分别对应为3.00…

mysql-事务特性以及隔离机制

一.ACID 事务(Transaction)是访问和更新数据库的程序执行单元;事务中可能包含一个或多个sql语句,这些语句要么都执行,要么都不执行。 1.逻辑架构和存储引擎 如上图所示,MySQL服务器逻辑架构从上往下可以分…

浪潮信息赵帅:多元算力时代 开源开放的OpenBMC成为服务器管理优先解

“多元算力时代下,大规模的异构服务器设备面临多种处理器架构、多种设备协议、不同管理芯片兼容的系统化设计挑战,管理固件也迎来新的变革。开源开放的OpenBMC,以创新的分层解耦软件架构,兼容不同处理器架构、算力平台和管理芯片&…

Python爬虫——scrapy_工作原理

引擎向spiders要url引擎把将要爬取的url给调度器调度器会将url生成的请求对象放入到指定的队列中从队列中出队一个请求引擎将请求交给下载器进行处理下载器发送请求获取互联网数据下载器将数据返回给引擎引擎将数据再次给到spidersspiders通过xpath解析该数据,得到数…

springboot集成ES

1.引入pom依赖2.application 配置3.JavaBean配置以及ES相关注解 3.1 Student实体类3.2 Teacher实体类3.3 Headmaster 实体类4. 启动类配置5.elasticsearchRestTemplate 新增 5.1 createIndex && putMapping 创建索引及映射 5.1.1 Controller层5.1.2 service层5.1.3 ser…

飞天使-jenkins进行远程linux机器修改某个文件的思路

文章目录 jenkins配置的方式jenkins中执行shell的思路 jenkins配置的方式 jenkins中执行shell的思路 下面的脚本别照抄,只是一个思路 ipall"$ips"# 将文本参数按行输出为变量 while IFS read -r line; doecho "$line" if [[ ! -z $line ]] &…

linux——mysql的高可用MHA

目录 一、概述 一、概念 二、组成 三、特点 四、工作原理 二、案例 三、构建MHA 一、基础环境 二、ssh免密登录 三、主从复制 master slave1 四、MHA安装 一、环境 二、安装node 三、安装manager 一、概述 一、概念 MHA(MasterHigh Availability&a…

Spring Boot 知识集锦之actuator监控端点详解

文章目录 0.前言1.参考文档2.基础介绍默认支持的端点 3.步骤3.1. 引入依赖3.2. 配置文件3.3. 核心源码 4.示例项目5.总结 0.前言 背景: 一直零散的使用着Spring Boot 的各种组件和特性,从未系统性的学习和总结,本次借着这个机会搞一波。共同学…

10 - 把间隔的几个commit整理成1个

查看所有文章链接:(更新中)GIT常用场景- 目录 文章目录 把间隔的几个commit整理成1个 把间隔的几个commit整理成1个

Elisp之获取PC电池状态(二十八)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 人生格言: 人生…

BTC转移案例分析

比特币 / 地址 / 3LyBT9iuka23wgRnYS88QggNw8gC15ntTC — Blockchair 涉及金额:10BTC 案例背景:存入了一定数量的BTC,前几天发现钱包空了,里面预存的BTC丢失了 解决方案:跟踪交易记录,交易所协助查询&am…

xarray 简易体会与实现

1 基础原理 xarray1主要由 xarray 结点组成,xarray 结点主要由槽位(即指针)、父节点指针等组成。xarray 根据整型索引组织 xarray 结点实现对目标值的高效存、查、删操作。 此文以 存查删等流程对应源码2具体实例 —— xarray 结点槽位数 …

Databend 开源周报第 106 期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。 Whats On In Databend 探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。 数据脱敏 Data…

spring Initializr快速创建项目

spring Initializr快速创建项目 创建创建完成后 创建 勾选依赖 创建完成后

【2022吴恩达机器学习课程视频翻译笔记】3.3代价函数公式

忙了一阵子,回来继续更新 3.3 代价函数公式 In order to implement linear regression. The first key step is first to define something called a cost function. This is something we’ll build in this video, and the cost function will tell us how well…

SMART PLC 64位双精度浮点数转32位单精度浮点数(Double_TO_Float)

有关博途PLC对位、字节、字元素的拆分和合并,请参看下面文章链接: 博途PLC 位/字/字节 Bit/ Word/Byte拆分与合并_博途的bit_RXXW_Dor的博客-CSDN博客有时候我们需要将分散分布的开关量信号组合为一个整体比如一个字节再完成发送,或者一些报警联锁控制,组合为一个字方便触…

原型模式 Prototype Pattern 《游戏编程模式》学习笔记

原型的定义 用原型实例指定创建对象的种类,并且通过拷贝这些原型创建新的对象。 举个例子 假设我现在要做一款游戏,这个游戏里有许多不同种类的怪物,鬼魂,恶魔和巫师。这些怪物通过“生产者”进入这片区域,每种敌人…

VR/AR眼镜方案,MTK联发科平台智能眼镜安卓主板设计方案

随着人工智能在不同领域的逐渐深入,人们对一款产品的需求不再局限于某种单一的功能或单一场景,尤其是在工业医疗等专业领域,加快数字化转型才能实现产业的升级。 AR智能眼镜,是一个可以让现场作业更智能的综合管控设备。采用移动…

实验三 图像分割与描述

一、实验目的: (1)进一步掌握图像处理工具Matlab,熟悉基于Matlab的图像处理函数。 (2)掌握图像分割方法,熟悉常用图像描述方法。 二、实验原理 1.肤色检测 肤色是人类皮肤重要特征之一&#xff…

Springboot 实践(4)swagger-ui 测试controller

前文项目操作,完成了项目的创建、数据源的配置以及数据库DAO程序的生成与配置。此文讲解利用swagger-ui界面,测试生成的数据库DAO程序。目前,项目swagger-ui界面如下: 以”用户管理”为例,简单讲述swagger-ui测试数据库…