作业11：优化算法比较

news2024/12/29 10:26:28

目录

    • 1. 编程实现图6-1，并观察特征
    • 2. 观察梯度方向
    • 3. 编写代码实现算法，并可视化轨迹
    • 4. 分析上图，说明原理（选做）
      • 1） 为什么SGD会走“之字形”？其它算法为什么会比较平滑？
      • 2）Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？

优化算法

1. 编程实现图6-1，并观察特征

import numpy as np
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
 
 
# https://blog.csdn.net/weixin_39228381/article/details/108511882
 
def func(x, y):
    return x * x / 20 + y * y
 
 
def paint_loss_func():
    x = np.linspace(-50, 50, 100)  # x的绘制范围是-50到50，从改区间均匀取100个数
    y = np.linspace(-50, 50, 100)  # y的绘制范围是-50到50，从改区间均匀取100个数
 
    X, Y = np.meshgrid(x, y)
    Z = func(X, Y)
 
    fig = plt.figure()  # figsize=(10, 10))
    ax = Axes3D(fig)
    plt.xlabel('x')
    plt.ylabel('y')
 
    ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap='rainbow')
    plt.show()
 
 
paint_loss_func()

运行结果：
运行结果
特征：有全局最小值、是一个向x轴方向延伸的“碗”状函数

2. 观察梯度方向

梯度方向
特征：Y轴方向梯度大，X轴方向梯度小；很多位置的梯度并没有指向最小位置(0,0)

3. 编写代码实现算法，并可视化轨迹

# coding: utf-8
import numpy as np
import matplotlib.pyplot as plt
from collections import OrderedDict
 
 
class SGD:
    """随机梯度下降法（Stochastic Gradient Descent）"""
 
    def __init__(self, lr=0.01):
        self.lr = lr
 
    def update(self, params, grads):
        for key in params.keys():
            params[key] -= self.lr * grads[key]
 
 
class Momentum:
    """Momentum SGD"""
 
    def __init__(self, lr=0.01, momentum=0.9):
        self.lr = lr
        self.momentum = momentum
        self.v = None
 
    def update(self, params, grads):
        if self.v is None:
            self.v = {}
            for key, val in params.items():
                self.v[key] = np.zeros_like(val)
 
        for key in params.keys():
            self.v[key] = self.momentum * self.v[key] - self.lr * grads[key]
            params[key] += self.v[key]
 
 
class Nesterov:
    """Nesterov's Accelerated Gradient (http://arxiv.org/abs/1212.0901)"""
 
    def __init__(self, lr=0.01, momentum=0.9):
        self.lr = lr
        self.momentum = momentum
        self.v = None
 
    def update(self, params, grads):
        if self.v is None:
            self.v = {}
            for key, val in params.items():
                self.v[key] = np.zeros_like(val)
 
        for key in params.keys():
            self.v[key] *= self.momentum
            self.v[key] -= self.lr * grads[key]
            params[key] += self.momentum * self.momentum * self.v[key]
            params[key] -= (1 + self.momentum) * self.lr * grads[key]
 
 
class AdaGrad:
    """AdaGrad"""
 
    def __init__(self, lr=0.01):
        self.lr = lr
        self.h = None
 
    def update(self, params, grads):
        if self.h is None:
            self.h = {}
            for key, val in params.items():
                self.h[key] = np.zeros_like(val)
 
        for key in params.keys():
            self.h[key] += grads[key] * grads[key]
            params[key] -= self.lr * grads[key] / (np.sqrt(self.h[key]) + 1e-7)
 
 
class RMSprop:
    """RMSprop"""
 
    def __init__(self, lr=0.01, decay_rate=0.99):
        self.lr = lr
        self.decay_rate = decay_rate
        self.h = None
 
    def update(self, params, grads):
        if self.h is None:
            self.h = {}
            for key, val in params.items():
                self.h[key] = np.zeros_like(val)
 
        for key in params.keys():
            self.h[key] *= self.decay_rate
            self.h[key] += (1 - self.decay_rate) * grads[key] * grads[key]
            params[key] -= self.lr * grads[key] / (np.sqrt(self.h[key]) + 1e-7)
 
 
class Adam:
    """Adam (http://arxiv.org/abs/1412.6980v8)"""
 
    def __init__(self, lr=0.001, beta1=0.9, beta2=0.999):
        self.lr = lr
        self.beta1 = beta1
        self.beta2 = beta2
        self.iter = 0
        self.m = None
        self.v = None
 
    def update(self, params, grads):
        if self.m is None:
            self.m, self.v = {}, {}
            for key, val in params.items():
                self.m[key] = np.zeros_like(val)
                self.v[key] = np.zeros_like(val)
 
        self.iter += 1
        lr_t = self.lr * np.sqrt(1.0 - self.beta2 ** self.iter) / (1.0 - self.beta1 ** self.iter)
 
        for key in params.keys():
            self.m[key] += (1 - self.beta1) * (grads[key] - self.m[key])
            self.v[key] += (1 - self.beta2) * (grads[key] ** 2 - self.v[key])
 
            params[key] -= lr_t * self.m[key] / (np.sqrt(self.v[key]) + 1e-7)
 
 
def f(x, y):
    return x ** 2 / 20.0 + y ** 2
 
 
def df(x, y):
    return x / 10.0, 2.0 * y
 
 
init_pos = (-7.0, 2.0)
params = {}
params['x'], params['y'] = init_pos[0], init_pos[1]
grads = {}
grads['x'], grads['y'] = 0, 0
 
optimizers = OrderedDict()
optimizers["SGD"] = SGD(lr=0.95)
optimizers["Momentum"] = Momentum(lr=0.1)
optimizers["AdaGrad"] = AdaGrad(lr=1.5)
optimizers["Adam"] = Adam(lr=0.3)
 
idx = 1
 
for key in optimizers:
    optimizer = optimizers[key]
    x_history = []
    y_history = []
    params['x'], params['y'] = init_pos[0], init_pos[1]
 
    for i in range(30):
        x_history.append(params['x'])
        y_history.append(params['y'])
 
        grads['x'], grads['y'] = df(params['x'], params['y'])
        optimizer.update(params, grads)
 
    x = np.arange(-10, 10, 0.01)
    y = np.arange(-5, 5, 0.01)
 
    X, Y = np.meshgrid(x, y)
    Z = f(X, Y)
    # for simple contour line
    mask = Z > 7
    Z[mask] = 0
 
    # plot
    plt.subplot(2, 2, idx)
    idx += 1
    plt.plot(x_history, y_history, 'o-', color="red")
    plt.contour(X, Y, Z)  # 绘制等高线
    plt.ylim(-10, 10)
    plt.xlim(-10, 10)
    plt.plot(0, 0, '+')
    plt.title(key)
    plt.xlabel("x")
    plt.ylabel("y")
 
plt.subplots_adjust(wspace=0, hspace=0)  # 调整子图间距
plt.show()

000
收敛效果排序依次为AdaGrad、Adam、Momentum、SGD。

4. 分析上图，说明原理（选做）

1） 为什么SGD会走“之字形”？其它算法为什么会比较平滑？

是因为图像的变化并不均匀，所以y方向变化很大时，x方向变化很小，只能迂回往复地寻找，效率很低。
图像

2）Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？

SGD
SGD是深度学习中最常见的优化方法之一，虽然是最常使用的优化方法，但是却有不少常见的问题。

learning rate不易确定，如果选择过小的话，收敛速度会很慢，如果太大，loss function就会在极小值处不停的震荡甚至偏离。每个参数的learning rate都是相同的，如果数据是稀疏的，则希望出现频率低的特征进行大一点的更新。深度神经网络之所以比较难训练，并不是因为容易进入局部最小，而是因为学习过程容易进入马鞍面中，在这种区域中，所有方向的梯度值几乎都是0。

Momentum(动量)

Momentum借助了物理中的动量的概念，即前几次的梯度也会参与计算。为了表示动量，引入一个新的变量V，V是之前的梯度的累加，但是在每个回合都会有一定的衰减。它的特点是当前后梯度方向不一致时，能够加速学习，前后梯度方向一致时，能够抑制震荡。
动量
Adagrad

在上述的优化算法中，参数的步长都是相的，那么能否为不同的常数设置不同的步长呢，对于梯度大的参数设置小的步长，对于梯度小的参数，设置大的步长。类比于在缓坡上面，我们可以大步长的前进，在陡坡上面，这需要小步长的前进。adagrad则是参考了这个思路。
Adagrad

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/61095.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C#获取子文件夹及其中所有的文件

C#获取子文件夹及其中所有的文件

首先用FolderBrowserDialog获取目标文件夹，如果不要求可视化也可以直接在文本框中输入，从其的SelectedPath属性中就可以获取目标路径。 FolderBrowserDialog folder new FolderBrowserDialog(); folder.ShowDialog(); string Root folder.SelectedPat…
阅读更多...
三台机器搭建redis集群过程及问题记录

三台机器搭建redis集群过程及问题记录

文章目录1. 前言2. 搭建集群3. 遇到的问题4. 相关文章1. 前言 Redis版本 5.0.4 服务器版本 Linux CentOS 6；CentOS 7；CentOS 9； redis集群需要至少要三个master节点，我们这里搭建三个master节点，并且给每个master再搭…
阅读更多...
Spring boot 启动流程及外部化配置

Spring boot 启动流程及外部化配置

平时我们开发Spring boot 项目的时候，一个SpringBootApplication注解加一个main方法就可以启动服务器运行起来，那它到底是怎么运行起来的呢？ Main 入口 我们首先从main方法来看源码，逐步深入： SpringBootApplicatio…
阅读更多...
Python实现Stacking回归模型(随机森林回归、极端随机树回归、AdaBoost回归、GBDT回归、决策树回归)项目实战

Python实现Stacking回归模型(随机森林回归、极端随机树回归、AdaBoost回归、GBDT回归、决策树回归)项目实战

说明：这是一个机器学习实战项目（附带数据代码文档视频讲解），如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 Stacking通常考虑的是异质弱学习器（不同的学习算法被组合在一起），st…
阅读更多...
（附源码）SSM宠物领养系统 毕业设计 031654

（附源码）SSM宠物领养系统 毕业设计 031654

SSM宠物领养系统 摘 要 如今，随着人们生活水平不断提高，人们的生活在物质满足的基础上，更多的人将生活的重点放在追求精神享受的过程中。于此同时，Internet铺天盖地的普及，使得这样的人纷纷通过Internet的方式去寻找精…
阅读更多...
（十一） 共享模型之无锁【CAS 与 volatile】

（十一） 共享模型之无锁【CAS 与 volatile】

一、问题引出（P158） 1. 取款案例 interface Account {// 获取余额Integer getBalance();// 取款void withdraw(Integer amount);/*** 方法内会启动 1000 个线程，每个线程做 -10 元 的操作* 如果初始余额为 10000 那么正确的结果应当是 0*/st…
阅读更多...
Seata概述基础

Seata概述基础

分布式事务原因： 单体架构的spring事务不能跨机器，不能跨数据源 分布式事务的概念： 一个业务流程，在分布式系统（微服务）中，每个业务模块都是一个分支，保证每个业务分支一起成功&am…
阅读更多...
ROS1 LTS版本安装教程

ROS1 LTS版本安装教程

Abstract: "ROS is primarily targeted at the Ubuntu , though other Linux systems as well as Mac OS X, Android, and Windows are supported to varying degrees. " 一、系统要求 ROS版本系统版本长期支持ROS Kinetic KameWily: amd64、i386 Xenial: amd64、i…
阅读更多...
JSP住宅小区物业管理系统(源代码+开题报告+论文+答辩PPT)科大云炬

JSP住宅小区物业管理系统(源代码+开题报告+论文+答辩PPT)科大云炬

小区物业管理毕业设计 （论文） 目 录 摘要--------------------------------------------------------------------------------------------1 ABSTRACT-----------------------------------------------------------------------------------2 第1章…
阅读更多...
制作composer包提供sdk扩展

制作composer包提供sdk扩展

目录 1、初始化包 2、将代码推送到github远程仓库 3、为写好扩展包打上tag标签标记当前代码版本 4、将包发布到包管理平台 初始化包，生成 Creates a basic composer.json file in current directory composer init composer init 按照引导就可以生成了 , 详细的…
阅读更多...
Python学习笔记 - 异常处理

Python学习笔记 - 异常处理

前言 为了增强程序的健壮性，计算机程序的编写也需要考虑如何处理一些异常的情况，Python 语言提供了异常处理功能，本博文主要介绍 Python 异常处理机制。 一 异常处理举例 为了学习 Python 异常处理机制，首先看下面进行除法运算的…
阅读更多...
MySQL的主从复制与读写分离详解

MySQL的主从复制与读写分离详解

MySQL的主从复制与读写分离详解读写分离概述什么是读写分离为什么要读写分离什么时候要读写分离MySQL主从复制与读写分离主从复制的概念MySQL支持的复制类型主从复制的工作过程主从复制示例保证MySQL主从服务器时间同步主节点服务器配置从节点服务器设置验证MySQL读写分离MySQL…
阅读更多...
Vue3 学习笔记 —— Hooks、全局函数和变量、Vue3 插件

Vue3 学习笔记 —— Hooks、全局函数和变量、Vue3 插件

目录 1. Hooks 1.1 Vue2 中的 mixins 1.1.1 mixins 是什么？ 1.1.2 mixins 缺点？ 1.2 Vue3 中的 Hooks 1.2.1 Vue3 Hooks 是什么？ 1.2.2 Vue3 内置 hooks 举例 1.2.3 自定义 Hooks 2. 全局函数和全局变量 2.1 app.config.globalProp…
阅读更多...
【深入设计模式】适配器模式—一切皆有可能

【深入设计模式】适配器模式—一切皆有可能

文章目录1. 适配器模式1.1 适配器模式简介1.2 适配器模式结构1.3 适配器模式示例2. 适配器模式在源码中的应用3. 总结适配器这个词来源于硬件领域，是一个独立的硬件设备接口，允许硬件或电子接口与其它硬件或电子接口相连，比如常见的电源适配器…
阅读更多...
（附源码）SSM芜湖公共书房服务平台 毕业设计 250859

（附源码）SSM芜湖公共书房服务平台 毕业设计 250859

SSM芜湖公共书房服务平台 摘 要 一座有底蕴的城市，应该是一个阅读的城市；一个有魅力的城市，应该是一个散发着书香的城市，而全民阅读量逐年增加，是社会进步、文明程度提高的重要标志。各大城市启动“全民阅读”工作以来…
阅读更多...
Redis缓存过期和和内存淘汰策略

Redis缓存过期和和内存淘汰策略

目录 1、MaxMemory 2、Expire数据结构 3、删除策略 3.1、惰性删除 3.2、主动删除 3.3、缓存淘汰策略 ​​​​​​​3.4、缓存淘汰策略的选择 1、MaxMemory Redis作为DB使用时，为了保证数据的完整性，不允许淘汰任何键值对。Redis作为缓存使用时&…
阅读更多...
汇编语言与微机原理 期末半开卷复习整理(上)

汇编语言与微机原理 期末半开卷复习整理(上)

8086CPU寄存器 8086：16位，4.77MHz~10MHz,16根数据线，20根地址线 AX/AL:乘除法指令中用作累加器，IO指令中用作数据寄存器，可显式或隐含调用 AH：在LAHF用作目的寄存器，隐含调用。 AL：…
阅读更多...
大数据必学Java基础（一百一十一）：过滤器注解应用和开发案例

大数据必学Java基础（一百一十一）：过滤器注解应用和开发案例

文章目录 过滤器注解应用和开发案例 一、过滤器注解应用 二、开发案例
阅读更多...
Python学习日记-第三十八天-生成器（第二节）

Python学习日记-第三十八天-生成器（第二节）

系列文章目录 使用greenlet，gevent完成多任务一、使用greenlet，gevent完成多任务 这里要先在pycharm里面提前安装好greenlet和gevent的包 操作： 代码： from greenlet import greenlet import timedef test1():while True:prin…
阅读更多...
Android入门第39天-系统设置Configuration类

Android入门第39天-系统设置Configuration类

简介 本节给大家介绍的Configuration类是用来描述手机设备的配置信息的，比如屏幕方向， 触摸屏的触摸方式等。 Configuration给我们提供的方法列表 densityDpi：屏幕密度fontScale：当前用户设置的字体的缩放因子hardKeyboardHidd…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023