cnn突破八(两层卷积核bpnet网络扩展)

news2024/10/9 3:23:09

cnn突破七中x【?】怎么求?我们举个例子:

接着cnn突破七:

hicnn【】来自temphicnn【】2*2最大池化:

temphicnn[0]+=x[i=0,j=0,5*5方阵]*w1cnn[0-24],

hicnn是5*5的,temphicnn是10*10的,x是14*14的。

hicnn【1】来自temphicnn【2】【3】【12】【13】,一一对应池化中的位置(0,0)(0,1)(1,0)(1,1),假定(1,1)最大,即13=(第二行=1,第四列=3),即temphicnn【13=1*10+3】最大,对应x【17=1*14+3】

所以,一个hicnn对应一个hocnn,一个hocnn【1】对应25个w1cnn更新:

\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[1])*x[17];(公式最后两项关键,其他省略,可以看前头)

\frac{\partial E}{\partial w1cnn[1]}=.....ds(hocnn[1])*x[18];

\frac{\partial E}{\partial w1cnn[2]}=.....ds(hocnn[1])*x[19];

\frac{\partial E}{\partial w1cnn[3]}=.....ds(hocnn[1])*x[20];

\frac{\partial E}{\partial w1cnn[4]}=.....ds(hocnn[1])*x[21];卷积核第一行结束,开始第二行

\frac{\partial E}{\partial w1cnn[5]}=.....ds(hocnn[1])*x[17+14];

......

hicnn【0】来自temphicnn【0】【1】【10】【11】,一一对应池化中的位置(0,0)(0,1)(1,0)(1,1),假定(1,0)最大,即10=(第二行=1,第一列=0),即temphicnn【10=1*10+0】最大,对应x【14=1*14+0】

所以,一个hicnn对应一个hocnn,一个hocnn【0】对应25个w1cnn更新:

\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[0])*x[14];

\frac{\partial E}{\partial w1cnn[1]}=.....ds(hocnn[0])*x[15];

\frac{\partial E}{\partial w1cnn[2]}=.....ds(hocnn[0])*x[16];

\frac{\partial E}{\partial w1cnn[3]}=.....ds(hocnn[0])*x[17];

\frac{\partial E}{\partial w1cnn[4]}=.....ds(hocnn[0])*x[18];卷积核第一行结束,开始第二行

\frac{\partial E}{\partial w1cnn[5]}=.....ds(hocnn[0])*x[14+14];

......

有公式套就是好!这样我们cnn中的卷积核就在反向传播中更新了,我们这个卷积核cnn相当于四层bpnet网络,我们通过一个5*5的卷积核,把整个过程展现出来了!我们的网络结构是:

14*14-》4@10*10-》4@5*5-》80-》10,我们展示了一个卷积核,那么就是:

14*14-》10*10-》5*5-》80-》10,我们的hocnn有5*5个,其中一个就会更新一次5*5的w1cnn卷积核。

下面我们考虑28*28->4@24*24->4@12*12->16@8*8->16@4*4->80->10这个网络结构,

28*28->4@24*24是第一次4个5*5卷积核,

4@12*12->16@8*8是第二次4个5*5卷积核,

这个太复杂,我们化繁为简:

28*28->24*24->12*12->8*8->4*4->80->10

你有没有发现12*12->8*8->4*4->80->10和我们上面的一个卷积核的cnn一样?再看看:

14*14->10*10->5*5->80->10,是的,这个我们已经搞定,我记着为A=12*12->8*8->4*4->80->10那么:

28*28->24*24->12*12->8*8->4*4->80->10

就变成:28*28->24*24->A

我们A中的输入图像是x【】对吧!我们28*28要用,所以A的这个我们记着为hxo【】,好,我们简化网络:

28*28-》12*12-》4*4-》80-》10,显然这是一个5层网络,有扩展了,更复杂了,但我们要简单化:28*28处的卷积核我们记着为:w784【】,那么就有

x【】*w784【】-》sigmod(hxi【】)=hxo【】-》HIcnn,

hxo【】*w1cnn【25】=HIcnn-》sigmod(HIcnn)=HOcnn-》H2I,

hocnn【】*w12cnn【】=H2I-》sigmod(H2I)=H2O-》YI,

h2o【】*w2cnn【】=YI-》sigmod(YI)=YO,d【】是期望

其实我们写了这么多,我们只要在backward中实现:

x【】*w784【】-》sigmod(hxi【】)=hxo【】-》HI,

这一段的推导就可以了。还记得我们的四层网络公式吧:

\frac{\partial E}{\partial w1cnn[i]}=\sum_{k=0}^{9}(yo[k]-d[k])*ds(yo[k])*w2【m,k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])*x[i->?]

我们在五层卷积核中找到了规律,这样替换他:

我们令B=\sum_{k=0}^{9}(yo[k]-d[k])*ds(yo[k])*w2【m,k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])

\frac{\partial E}{\partial w784[i]}=B*\frac{\partial hicnn[]}{\partial hxo[]}*\frac{\partial hxo[]}{\partial hxi[]}*\frac{\partial hxi[]}{\partial w784[i]}

=B*w1cnn[25]*ds(hxo[])*x[i]

\sum_{k=0}^{9}(yo[k]-d[k])*ds(yo[k])*w2【m,k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])*w1cnn[25]*ds(hxo[])*x[i]

;这个x[i],我们说了是28*28图像,其实,我们现在要细化的就是:

\frac{\partial E}{\partial w784[i]}=......w1cnn[25]*ds(hxo[])*x[i=?]

我们先看看四层网络:\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[1])*x[17];

这个x【17】在这五层网络里被替换为hxo【17】;

\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[1])*hxo[17];(在五层里未必是1和17对应,这里我们重点看符号的对应

那么五层网络公式:

\frac{\partial E}{\partial w784[i]}=......ds(hocnn[j=1])*w1cnn[25]*ds(hxo[17])*x[i]就能看清楚?每一个hocnn[j]都会更新一次w1cnn,我们调整一下:

\frac{\partial E}{\partial w784[i]}=......w1cnn[25]*ds(hocnn[j=1])*ds(hxo[17])*x[i=?]

这里的关键是我们通过每一个hocnn[j]找到与hxo【?】的对应,

那么我们就能找到hxo【?】与x【i=?】的对应。

这个关系我们在四层网络中找到了呼应,就像递归一样,我们又要把找到的那个公式用起来,

实际就是这么一回事!

也就是说,我们在四层网络已经找过了hocnn和hxo的关系,现在要找hxo和x【i=?】的关系,仿照四层,我们用一样的办法就能搞定。

下一节我们用程序示范一下。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2197847.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

YOLOv8改进 - 注意力篇 - 引入SimAM注意力机制

一、本文介绍 作为入门性篇章,这里介绍了SimAM注意力在YOLOv8中的使用。包含SimAM原理分析,SimAM的代码、SimAM的使用方法、以及添加以后的yaml文件及运行记录。 二、SimAM原理分析 SimAM官方论文地址:SimAM文章 SimAM官方代码地址&#…

【土地那些事儿】一文读懂“集体所有土地”

今天咱们来聊一个既熟悉又神秘的概念——集体所有土地。在中国广袤的大地上,除了国有土地外,还有一种特殊的土地所有权形式,它关乎亿万农民的切身利益,那就是集体所有土地。来,让我们一起揭开它的面纱吧! …

根据指数做波段年化利率分析

根据指数做波段年化利率分析 股票投资,是众多投资方式中的一种。然而,每个人有不同的炒股方式,对股票不同的操作也会获得不同的收益/损失。作为“金融消费者”,如何做好自己在股票中的消费行为,是一门巨大的学问。这里…

D31【python 接口自动化学习】- python基础之输入输出与文件操作

day31 文件的打开 学习日期:20241008 学习目标:输入输出与文件操作﹣-43 常见常新:文件的打开 学习笔记: 文件的概念 使用open()函数打开文件 文件路径处理 文件打开模式 总结 文件操作包括:打开&#…

C++:string (用法篇)

文章目录 前言一、string 是什么?二、C语法补充1. auto2. 范围for 三、string类对象的常见构造1. Construct string object2. String destructor3. operator 四、string迭代器相关1. begin与end1)begin2)end3)使用 2. rbegin 与 r…

第33次CCF计算机软件能力认证-第4题十滴水

题干: 十滴水是一个非常经典的小游戏。 小 C C C 正在玩一个一维版本的十滴水游戏。 我们通过一个例子描述游戏的基本规则。 游戏在一个 1 c 1c 1c 的网格上进行,格子用整数 x ( 1 ≤ x ≤ c ) x(1≤x≤c) x(1≤x≤c) 编号,编号从左往…

Metal之旅——数据

顶点数据 顶点数据(Vertex Data)是指一系列顶点的集合,这些顶点用于图形渲染管线的输入。每个顶点通常包含位置、颜色、纹理坐标等属性信息 mesh网络 Mesh网络是指metal中通过将不同数量形状的三角形拼在一起覆盖在要绘制图形表面的网络 顶…

007集—— 自动获取图形的外边界(外轮廓)(CAD—C#二次开发入门)

本文只适用于闭合多段线组成的图像,其他情况(圆、弧、椭圆、未封闭line)暂不支持。 效果如下图所示: 原始图: 代码运行后图: 附代码: public class 外轮廓{Database db = HostApplicationServices.WorkingDatabase;[CommandMethod("xx")]public void Demo(…

基于SSM车位租赁系统【附源码】

基于SSM车位租赁系统 效果如下: 注册页面 首页展示 车位租赁订单展示 车位列表页面 公告信息管理页面 公告类型管理界面 研究背景 随着经济的持续增长和城市化进程的加速,土地资源变得日益紧缺,停车难问题已成为许多城市面临的共同挑战。随…

【Redis】List类型的常用命令大全

这里的list列表相当于一个双端队列,也可以认为是双向链表,也可以认为是数组,后续的很多命令都使用到下标。 list的特点: list中的每个元素也都是String类型里面的元素可以重复列表中的元素是有序的,如果里面元素顺序进…

epoll究竟是同步的还是异步的?

简单说一句话,你需要分层看这个事: epoll 这个系统调用,是同步的,也就是必须等待操作系统返回值。 而底层用了 epoll 的封装后的框架,可以是异步的,只要你暴露给外部的接口,无需等待你的返回值…

DDD简介

概述 传统的数据驱动开发模式,View、Service、Dao这种三层分层模式,会很自然的写出过程式代码,这种开发方式中的对象只是数据载体,而没有行为,是一种贫血对象模型。以数据为中心,以数据库ER图为设计驱动&a…

什么是变阻器?

变阻器是一种电子元件,主要用于调整电路中的电阻值,从而实现对电流、电压等电学参数的控制。它在电路中起到非常重要的作用,广泛应用于各种电子设备和实验装置中。 变阻器的主要作用是改变电路中的电阻值。在电路中,电阻值的大小…

二部图简单理解

目录 二部图简单理解 一、定义 二、性质与定理 三、原理举例 四、应用 二部图简单理解 二部图(Bipartite Graph),又称二分图,是图论中的一种特殊模型。以下是对二部图的详细介绍及原理举例: 一、定义 设G=(V,E)是一个无向图,如果顶点V可分割为两个互不相交的子集(…

目标检测or实例分割中AP、MAP的计算

参考链接: 目标检测中AP、MAP的计算_51CTO博客_目标检测map计算 举个例子:

【JVM】内存分析工具JConsole/Visual VM

1 缘起 日常补充JVM调优,调优实践前需要学习一些理论做支撑, JVM调优三步:理论>GC分析>JVM调优, 我们会有一些玩笑话说,做了这么久Java开发,做过JVM调优吗? 做过,面试时。当然…

【深度学习】yolov8n模型的剪枝操作记录

原始 剪枝微调后 可以看到模型大小了, 测试结果显示再cpu 上加速5%-10% from ultralytics import YOLOimport time # Load a pretrained YOLO11n model count_num 500 def test1():model YOLO("/home/justin/Desktop/code/v8_prun/runs/detect/train3/weig…

LC刷题专题:记忆化搜索

文章目录 576. 出界的路径数 本刷题专栏记录自己的记忆化搜索的做题。 576. 出界的路径数 题目链接及描述: https://leetcode.cn/problems/out-of-boundary-paths/description/ 第一次看到这个题目可能先入为主了,首先想到的是使用动态规划做&#xff…

19.安卓逆向-frida基础-hook分析调试技巧1-hookMD5

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 内容参考于:图灵Python学院 本人写的内容纯属胡编乱造,全都是合成造假,仅仅只是为了娱乐,请不要盲目相信。 工…

C#多线程基本使用和探讨

线程是并发编程的基础概念之一。在现代应用程序中,我们通常需要执行多个任务并行处理,以提高性能。C# 提供了多种并发编程工具,如Thread、Task、异步编程和Parallel等。 Thread 类 Thread 类是最基本的线程实现方法。使用Thread类&#xff0…