1.23神经网络框架(sig函数),逆向参数调整法(梯度下降法,链式法则(理解,及处理多层神经网络的方式))

news2025/1/16 18:52:12

框架 

输入层

 隐藏层

存在一个阈值,如果低于某一阈值就不激活;高于了就激活

输出层

逆向参数调整方法

 

初始阶段,随机设置权重值w1,w2

依据训练集

两个数学方法 (梯度下降、链式法则)

 调参借助两个数学方法

当导数为负时,步幅为正

就是说,这个调参是建立在预测结果与实际结果基础上的;自变量是参数,权重,因变量是反映预测结果与实际间的差距(为误差平方和),目的是要让这个差距最小

就是不同的权重参数下,有不同的误差差距,由此有个参数与误差间的函数;然后依据每点参数下的导数,去逐渐调整参数权值w;

当导数为负时,说明此时增大权值会使误差减少;当导数为正时,此时增大权值会使误差增大;故应始终朝使误差减少的方向,所以调整步幅要与导数方向相反

然后还有一个学习因子,表示基于当下参数的导数下,一个恒定的学习步幅,因子越大,那么调整的幅度越大;

在求导过程中会用链式法则

就是求导是求误差与参数间的关系,误差与神经网络产生的输出有直接关系,与参数无直接关系;产生的输出与隐藏层的激励函数有直接关系,是sim函数(即g函数),sim与权值设置w有直接关系,由此是链式法则 

这里是省略了隐藏层,就是隐藏层直接就是输出层,

可以发现是有这样一步的,g就是隐藏层汇总的信息,w是从输入层到隐藏层的汇总

E对g求偏导的结果、形式应该是固定的

对于汇总输入信号到隐藏层中的求导过程,是对wj求偏导,也就是只去确定一个权值,这就自动忽略了其他神经元对这个隐藏层神经元的影响,即其他权值wi(i不等于j)对这个路径无影响

是输入层接受输入,然后对各个隐藏层产生权值和积累,最后每个隐藏神经元会积累的权值和为gx

x是最开始的直接输入,隐藏神经元会依据其所接受的信号强度,产生它的激励,即E函数,作为这个隐藏层神经元的输出,有输出就会和最终结果有差距,就会产生S

所以就是

x->g->e->s

x依据各个输入层之间的神经元权重分配,分配给相应的隐藏层



多层

就是说,e对xj求偏导是体现的输出层对其紧邻的单个隐藏层神经元的关系,是紧邻的单个隐藏层神经元到它的路径,它有权值为w1,w2,这要确定就是确定w1,w2,确定好这个以后再往前回去推更前一层的权值,也就是说在更上一层时,w1,w2就已经成为了常数

e对xj求偏导是第j个最里层隐藏层对输出层的影响,然后xj对wi'求偏导,是外面一层的所有神经元中的第最里层的第i个对第j个下层隐藏层的影响,是隔离了其他外层神经元的影响

最终要建立的是,最后的误差与各个神经元连接之间的直接函数关系与导数关系,依据的就是这个神经元到最后最终输出所经过的神经元路径的链式法则来确定

要确定w1,就是它到最后输出只有一条路,所以只有少量的链式法则;对于w1',要在递归上w1

对于步骤5,S是误差,E是最终输出,确定xj参数

输出由参数以及输入所确定,是一个二元的,所以即使在只有一层时,也是偏导,即在一层时,是保证统一输入来去调整参数;

在这里,是先确定好最里层的参数,然后就是保证参数不变,去依据外层的参数w'的变化使这里输入发生变化,所以是变成了对里层隐藏层的输入x求偏导,,而不是其到输出层的参数w求偏导

然后里层隐藏层的输入受限于外一层隐藏层,然后依次确定这个连接的参数w',就是对其求偏导,就是控制上一层的输入不变,调整其参数w',因为就是要去确定这个参数w',也就是链式法则的最底层

如果它不是最底层,就是要保证这个参数w'在后续不会再发生变化,从而在这一层链式法则中,求偏导不是对参数w'求,而是对这个外层神经元的输入去求偏导,然后在那个外层神经元基础上去继续求偏导,直到找到要确定的参数的位置,即那个参数引起后续联通其到输出层神经元路径上的所有其他神经元变化

即,如果有多层,那么就有多次的链式法则,但只有一个w参数,这个参数是在最后的链式法则,就是这个w影响了其后续所有的神经元输入值的变化,然后中间过程的求偏导,都是对该神经元的输入求偏导,而不是对其与输出层所联通的权值w求偏导

对于上层隐藏层通过路径w对下层隐藏层造成的影响求偏导,其结果都满足 

注意应当是紧邻的输入与输出层的关系,就是直接这个输入,在对于权值w下,直接对其相连的神经元造成的影响,是这样,是由于选取的激励函数g函数是sim函数所决定的形式;然后最后要固定输入,定权值的影响,所以xj就是常量,在求导结果表达式当中

里层神经元与上一层单个神经元,由权值与其输入共同决定,还需要注意,里层不仅与这个相连,与其他的都相连,只是在对单个xj,或wj求偏导后,其他的都直接为0没了

E是这个里层神经元最后产生的输出,xj是外层神经元所接受的信号, 要知道权值的影响,就是对权值求偏导

对权值求偏导,那么输入就作为常数体现在最后的影响里;对输入求偏导,那么权值参数就作为常量体现在最后的影响里



u是最原始输入,w是第一层输出,x是第二层输出,e是最终输出层

就是说我们要得到的是在特定训练集下,参数与其所产生的预测误差之间的差距的导数,

既然是特定训练集,那么原始输入可以视为常数,因为要调整的是参数w,自变量是w

要注意的是,w是两层神经元连接的权重

这个式子里的j,是说要确定多个与输出层连接的隐藏层之间的权重,要确定是要一个一个的确定

数学总结理解 

就是说,激励函数是确定每层神经元递归下去时所带的一项,就是描绘的输入与输出之间的递归变化关系,sig函数是x(1-x)w,(对应是里层输出x,以及参数w不变,输入边)

每递归一层,就会多一个这样的形式,这样的形式由激励函数所确定,就是求导求出来的

然后还有2(E-y),这个是由最外面的梯度下降的检验方式,即误差平方所决定的,每个表达式里都有,而且唯一

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1416750.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【归并排序】【图论】【动态规划】【 深度游戏搜索】1569将子数组重新排序得到同一个二叉搜索树的方案数

本文涉及知识点 动态规划汇总 图论 深度游戏搜索 归并排序 组合 LeetCoce1569将子数组重新排序得到同一个二叉搜索树的方案数 给你一个数组 nums 表示 1 到 n 的一个排列。我们按照元素在 nums 中的顺序依次插入一个初始为空的二叉搜索树(BST)。请你统…

了解OpenCV的数据类型

OpenCV是一个开源的计算机视觉库,广泛应用于图像和视频处理领域。在OpenCV中,数据类型扮演着非常重要的角色,它们决定了数据的存储方式和操作方式。本文将介绍OpenCV中常见的数据类型,包括图像数据类型、矩阵数据类型和轮廓数据类…

线程调度(Java Android)

关于作者:CSDN内容合伙人、技术专家, 从零开始做日活千万级APP。 专注于分享各领域原创系列文章 ,擅长java后端、移动开发、商业变现、人工智能等,希望大家多多支持。 未经允许不得转载 目录 一、导读二、概览2.1、线程的属性 三、…

Dockerfile简介和基础实践

文章目录 1、Dockerfile简介1.1、Dockerfile解决的问题1.2、docker build 构建流程1.3、关键字介绍 2、Dockerfile 实践2.1、基本语法实践 --- golang2.1.1 问题检查 2.2、基本语法实践 --- gcc 总结 1、Dockerfile简介 Dockerfile是一个创建镜像所有命令的文本文件, 包含了一…

C++进阶(七)AVL树

📘北尘_:个人主页 🌎个人专栏:《Linux操作系统》《经典算法试题 》《C》 《数据结构与算法》 ☀️走在路上,不忘来时的初心 文章目录 一、AVL树的概念二、AVL树的旋转1、左单旋2、右单旋3、左右双旋4、右左双旋 三、AVL树的基本实…

PCL Kdtree 使用示例

PCL Kdtree 使用示例 文章目录 PCL Kdtree 使用示例一、关于 KDTree二、关于最近邻搜索三、复杂度分析四、C代码示例五、关键函数说明nearestKSearch 函数说明 一、关于 KDTree 点云数据主要是, 表征 目标表面 的海量点集合, 并不具备传统实体网格数据的…

Hive中left join 中的where 和 on的区别

目录 一、知识点 二、测试验证 三、引申 一、知识点 left join中关于where和on条件的知识点: 多表left join 是会生成一张临时表。on后面: 一般是对left join 的右表进行条件过滤,会返回左表中的所有行,而右表中没有匹配上的数…

【Git】项目管理笔记

文章目录 本地电脑初始化docker报错.gitignoregit loggit resetgit statusgit ls-filesgit rm -r -f --cached拉取仓库文件更新本地的项目报错处理! [rejected] master -> master (fetch first)gitgitee.com: Permission denied (publickey).error: remote origin already e…

linux进程(上)

目录 进程的概念 进程的状态 进程状态的理解 特殊的进程 本期我们将进行linux进程的学习。 进程的概念 我们或多或少都听说过进程的概念,但是在操作系统中,进程到底是什么呢? 进程就是程序的一次执行过程。 一个程序要被执行&#xff…

NLP自然语言处理的发展:从初创到人工智能的里程碑

自然语言处理(Natural Language Processing,NLP)人工智能领域中备受关注的重要分支之一。它使得计算机能够理解、解释和使用人类语言。随着技术的不断发展,NLP经历了从初创时期到深度学习时代的巨大演变,推动了互联网产…

AWS云用户创建

问题 需要给工友创建AWS云的用户,这里假设使用分配给自己AWS开发者IAM账号,给别人创建aws IAM账号。 登录系统 打开页面:https://xxx.signin.aws.amazon.com/console,使用分配的开发者账号登录。如下图: 创建用户…

有手就行!阿里云上3分钟搞定幻兽帕鲁联机服务器搭建

幻兽帕鲁最近在社区呈现了爆火的趋势,在线人数已突破百万级别,官方服务器也开始出现不稳定,卡人闪退的情况。对于有一定财力的小伙伴,搭建一个私人服务器是一个最稳定而舒服的解决方案。 本文萝卜哥将讲解一下如何快速搭建 palwo…

【技能---ubuntu上的github常用命令及其将自己的文件夹上传流程】

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言GitHub 作用github常用命令ubuntu上传自己的文件夹到github上1.创建远程仓库2. 生成token3. 上传本地代码 总结 前言 随着自己的代码越来越多,需要…

在线小学数学作业练习册出题网站源码,支持打印转成PDF

源码介绍 小学数学出题网页版源码,加减乘除混合运算,支持自定义数字、小数、混合运算,支持加减乘除运算混合多选(一道题中同时随机出现加减乘除运算符)支持自定义出题数量,支持一键打印成pdf,支…

k8s-配置管理

一、ConfigMap 1.1 创建ConfigMap 1.2 在环境种使用ConfigMap ConfigMap最为常见的使用方式就是在环境变量和Volume中引用。 1.3 在Volume中引用ConfigMap 在Volume中引用ConfigMap,就是通过文件的方式直接将ConfigMap的每条数据填入Volume,每条数据是…

统计学-R语言-8.1

文章目录 前言方差分析方差分析的原理什么是方差分析误差分解 单因子方差分析数学模型效应检验 练习 前言 本片开始介绍有关方差分析的知识。 方差分析 方差分析的基本原理是在20世纪20年代由英国统计学家Ronald A.Fisher在进行实验设计时为解释实验数据而首先引入的。方差分…

Mysql大数据量分页优化

前言 之前有看过到mysql大数据量分页情况下性能会很差,但是没有探究过它的原因,今天讲一讲mysql大数据量下偏移量很大,性能很差的问题,并附上解决方式。 原因 将原因前我们先做一个试验,我做试验使用的是mysql5.7.2…

Blender教程(基础)-物体的移动、旋转与缩放-04

一、新建一个立方体 ShiftA新建一个立方体用来演示。 二、物体的移动 xyz轴移动 点击下图图左侧的移动选项后,选中要移动的物体,会出现三个箭头的方向,这分别代表沿着x、y、z轴移动。xyz平面移动 这个小正方体代表沿着某一个面移动&#…

范仲淹大直男逆袭,先天下之忧而忧

人在最艰苦时,最能体现英雄本色。 天底下最苦的是读书。读书要眼到、手到、心到,专心致志,灵活运用。 范仲淹读书很用功,每天煮一锅粥。等到第二天,粥凝固了,范仲淹把隔夜粥划为四块,早上吃两块…

【c语言】详解操作符(上)

1. 操作符的分类 2. 原码、反码、补码 整数的2进制表示方法有三种,即原码、反码、补码 有符号整数的三种表示方法均有符号位和数值位两部分,2进制序列中,最高位的1位是被当做符号位其余都是数值位。 符号位都是用0表示“正”,用…