深度学习-局部最小值与鞍点【Datawhale X 李宏毅苹果书 AI夏令营】

news2024/9/23 11:18:11

在网络优化时,有时会出现随时参数不断更新,训练的损失可能不会再下降,但训练结果并不满意。为什么会出现这样的情况呢?

假设排除数据集优劣的问题,可能需要进一步考虑的是为什么网络不再有新的最优值了,在此之前,先来了解有哪些情况会有最优值的出现。

出现最优值的时候是:当参数对损失的微分为0,梯度下降便不再更新参数了,训练就停止了,损失也就不再下降了。
梯度下降失效的情况
那么什么情况会导致参数对损失的微分为0呢?临界点时梯度为0。

  • 局部最小值
  • 鞍点:梯度是0,但有区别于局部极小值和局部最大值。
    局部最小值与鞍点
    如何判断临界点是局部极小值还是鞍点呢?
    需要知道损失函数的形状,但是损失函数的形式是很复杂的。有什么方法可以简化或者进一步解释吗?
    确实有,不得不提到海森矩阵H,这里就不详细展开说了,需要了解海森矩阵的可以自行去搜索了解。

判断的原理是:H的所有特征值都是正的,则说明H为正定矩阵,临界点是局部最小值,如果H的所有特征值都是负的,则说明H为负定矩阵,临界点是局部极大值,如果有正有负,则说明是临界点是鞍点。

但是,海森矩阵的计算量非常大,实际应用中基本不会使用海森矩阵计算来逃离鞍点。

常用的逃离鞍点的方法有哪些呢?
在三维空间上是鞍点的在四维空间上还会是鞍点吗?
也许局部极小值并没有鞍点那么常见,往往梯度不再更新可能遇到的是鞍点。

预知如何逃离鞍点,下期再见。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2068448.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【记录】MICCAI BraTs 2020数据集

简介 本文 MICCAI 竞赛中公布的用于脑肿瘤分割 BraTS 2020数据集,根据官方统计,该数据集中共含有660例数据,训练集369、验证集125,测试集166。不过仅有训练集中给出了详细的分割标签,验证集虽然公布了 但是仅为了验证,没有给出具体的Ground Truth。所以如果进行实验主要还…

昇腾 - AscendCL C++应用开发 图像文件的解码时硬件对图像的宽度和高度的处理方式

昇腾 - AscendCL C应用开发 图像文件的解码时硬件对图像的宽度和高度的处理方式 flyfish 假如是这样的 输入图片格式(YUV分量比例) jpeg(420) 输出图片格式 YUV420SP NV12 8bit 输出图片宽、高对齐要求 宽2对齐 高2对齐 输出图片宽Stride、高St…

CMake构建学习笔记2-zlib库的构建

文章目录 1. 概述2. 详论2.1 设置构建目录2.2 配置构建2.3 构建项目2.4 安装项目2.5 清理构建目录 3. 总结 1. 概述 Zlib是一个数据压缩库,它提供了在内存中对数据进行压缩和解压缩的功能。这个库非常泛用,除了直接使用这个库之外,很多依赖库…

学历不高能进大厂么?

吉祥知识星球http://mp.weixin.qq.com/s?__bizMzkwNjY1Mzc0Nw&mid2247485367&idx1&sn837891059c360ad60db7e9ac980a3321&chksmc0e47eebf793f7fdb8fcd7eed8ce29160cf79ba303b59858ba3a6660c6dac536774afb2a6330#rd 《网安面试指南》http://mp.weixin.qq.com/s?…

《终身学习——10个你必须掌握的未来生存法则》读书笔记

无论你遵守与否,大自然的法则是无法改变的,你若无视“重力法则”,从屋顶跳下,那给你善后的就不是“重力警察”了。同理,如果你不遵循成长法则,也不会有“成长警察”找你麻烦,你只会发现自己的成…

结合 curl 与住宅代理实现高效数据抓取

引言 什么是 curl?有哪些功能? 基本 curl 命令有哪些? 为什么要使用 curl 处理 HTTP 请求? 如何使用 curl 和住宅代理进行网络抓取? 总结 引言 在当今数据驱动的商业环境中,数据的获取和分析能力是企…

HttpMessageNotReadableException

项目本身用的全是JSON,但是对接MES的时候他们用的XML,就添加了对XML的支持,然后发现AGV发送任务的接口报下面的错误了。 Error while extracting response for type [class java.lang.String] and content type [application/json;charsetut…

77 智能卡ATR TA1通信速率计算

1 前言 智能卡读卡器在读卡前期会以默认标准通信速率9600与卡片交互,期间可通过卡片返回的ATR值中TA1字段获取卡片支持的最大通信速率,然后读卡器通过PPS指令与卡片协商更改通信速率,最后以协商的速率进行通信。 起初默认9600波特率是比较慢的…

图片高清修复怎么做?4种高清修复方法分享给你

照片已经成为我们记录生活、珍藏回忆的重要方式。然而,随着时间的推移,不少珍贵的照片可能因保存不当或拍摄技术限制而变得模糊不堪。想要将这些模糊的照片变清晰成为当下的急迫需求。不过不用担心,下面就来给大家分享4种高清修复图片方法&am…

TCP系列相关内容

一、TCP上传文件 loop——本地回环测试地址。 void *memset(void *s,int c,size_t n)——给一个变量设定一个值。 1、“粘包”问题 两次分别发送的数据,被一起接收形成该现象。 原因:TCP流式套接字,数据与数据间没…

超低排放验收流程的全方位指南

近年来,随着环保要求的不断升级,朗观视觉超低排放验收成为了众多工业企业必须面对的关键环节。本文将详细介绍超低排放验收流程的安装要求、最新政策、国家标准以及企业应对的解决方案,帮助企业更好地理解和应对这一重要课题。 一、超低排放验…

校园一卡通_q7e7o

TOC springboot576校园一卡通_q7e7o--论文 第一章 概述 1.1 研究背景 近些年,随着中国经济发展,人民的生活质量逐渐提高,对网络的依赖性越来越高,通过网络处理的事务越来越多。随着校园一卡通的常态化,如果依然采用…

JS中Promise用法(简要说明)

文章目录 1、下方自定义名词约定2、官方流程图3、构造函数Promise <状态>fulfilled 用法代码图示 4、构造函数Promise <状态>rejected 用法代码图示 5、第3和4结合使用&#xff0c;可以将promise状态settled为2种情况之一代码图示&#xff08;图中if和else都是调…

移动硬盘直接拔下来有什么影响吗?数据丢失如何恢复

在日常的工作与生活中&#xff0c;移动硬盘成为了我们不可或缺的数据存储和传输设备。然而&#xff0c;很多人或许都曾有过这样的经历&#xff1a;在数据传输或使用中&#xff0c;由于一时疏忽或赶时间&#xff0c;直接拔下了正在工作的移动硬盘。这样的行为&#xff0c;虽然看…

冷却液温度传感器检测诊断

检测发动机冷却液温度&#xff0c;向ECU输入温度信号&#xff0c;作为燃油喷射和点火正时的修正信号&#xff0c;同时也是其他控制系统的控制信号。 冷却液温度传感器安装位置 冷却液温度传感器&#xff08;俗称水温传感器&#xff09;一般安装在缸体水道上&#xff0c;缸盖水…

docker命令实现容器管理

容器镜像分类 1.系统类镜像 2.应⽤镜像 搜索镜像 下载镜像 默认下载最新版本 1.安装docker环境 #配置变量 2.启动并且使⽤ 2.配置远程管理 帮助和指令

JVM的五个 invoke 指令详解

文章目录 概述invoke 指令概览1. invokespecial2. invokevirtual3. invokestatic4. invokeinterface5. invokedynamic 总结 概述 Java 虚拟机 (JVM) 是 Java 语言的核心组件之一&#xff0c;负责执行 Java 字节码。在 JVM 中&#xff0c;invoke 指令用于执行方法调用。本文将详…

K8s 集群巡检

K8s 集群巡检 上次发文 K8s 无备份&#xff0c;不运维&#xff0c;文章开篇&#xff0c;插入了一张 K8s 集群巡检的图片&#xff0c;好多小伙伴私信留言&#xff0c;问我要开源地址。由于其通用性不高&#xff0c;大多数公司需要结合自身的架构情况进行不同的巡检&#xff0c;…

互联网应用主流框架整合之Redis配置

在实际的商用系统中&#xff0c;Redis常用的机制包括备份、回收策略、主从复制、哨兵模式、集群模式等&#xff0c;在保证性能的同时还要保证其高可用 首先要熟悉一下Redis的配置文件&#xff0c;如果实在linux系统中&#xff0c;配置文件是redis.conf&#xff0c;而在windows…

linux系统编程:网络通信

1.网络 1.粘包 tcp特点 面向连接 字节流&#xff08;TCP 将数据视为连续的字节流&#xff0c;没有明确的消息边界。会发生粘包问题。 避免粘包 特殊分隔符&#xff1a;在消息间加入特殊的分隔符&#xff08;如换行符或其他特殊字符&#xff09;&#xff0c;接收方根据分…