计算机视觉（五）深度学习基础

news2024/11/18 14:55:32

文章目录

  • 深度学习基础
    • 卷积神经网络与传统神经网络区别
      • 深度学习与神经网络的区别
    • 目标函数
      • 选择合适的目标函数
      • Softmax层
    • 改进的梯度下降
      • 梯度消失的直观解释
      • 激活函数
      • 学习步长
      • SGD的问题
        • Momentum动量
        • Nesterov Momentum
        • Adagrad
        • RMSprop
        • Adam
      • 各种梯度下降算法比较
      • 关于算法选择的建议
      • Batch Normalization的由来
    • 避免过适应
        • 早期停止训练
        • 权重衰减
        • Dropout
          • 测试时权重应减小
  • CNN初步介绍
    • CNN的基本组件
      • CNN卷积层
      • CNN池化层
      • CNN-Softmax层
    • 池化层的误差反向传播
      • 卷积层计算![在这里插入图片描述](https://img-blog.csdnimg.cn/be682bd439e04b999fe2448259bf47e5.png)
      • 卷积层运算的展开表示
    • 卷积层的误差反向传播

深度学习基础

卷积神经网络与传统神经网络区别

深度学习与神经网络的区别

在这里插入图片描述

目标函数

选择合适的目标函数

在这里插入图片描述
在这里插入图片描述

Softmax层

在这里插入图片描述

改进的梯度下降

梯度消失的直观解释

在这里插入图片描述

激活函数

在这里插入图片描述
在这里插入图片描述

学习步长

在这里插入图片描述

SGD的问题

在这里插入图片描述
存在马鞍面，使我们的训练卡住，于是提出下面方法：

Momentum动量

在这里插入图片描述

Nesterov Momentum

在这里插入图片描述
先利用“惯性”，“走”一步。避免一开始，就被当前梯度带偏。

Adagrad

为不同的参数设置不同的学习步长。
在这里插入图片描述

RMSprop

改进的Adagrad。使：
小的可以变大，大的可以变小。
在这里插入图片描述

Adam

在这里插入图片描述

各种梯度下降算法比较

在这里插入图片描述
在这里插入图片描述

关于算法选择的建议

在这里插入图片描述

Batch Normalization的由来

在这里插入图片描述
在这里插入图片描述
量纲不同，需要进行归一化处理。

避免过适应

在这里插入图片描述

早期停止训练

在这里插入图片描述

权重衰减

在这里插入图片描述

Dropout

在这里插入图片描述

测试时权重应减小

在这里插入图片描述

CNN初步介绍

CNN的基本组件

在这里插入图片描述

CNN卷积层

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

CNN池化层

在这里插入图片描述
通道数没变，尺度大小变了。

CNN-Softmax层

在这里插入图片描述

池化层的误差反向传播

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

卷积层计算在这里插入图片描述

卷积层运算的展开表示

在这里插入图片描述
与全连接是有区别的。

卷积层的误差反向传播

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
转了180度

在这里插入图片描述
在这里插入图片描述
下面是残差在这里插入图片描述

下面是梯度·在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/813795.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

1、Hadoop3.x 从入门到放弃，第一章：概念

1、Hadoop3.x 从入门到放弃，第一章：概念

Hadoop3.x从入门到放弃，第一章：概念 一、什么是大数据 1、主要解决什么 大数据主要解决：海量数据的“采集”、“存储” 和 "分析计算" 问题2、大数据特点 1> Volume 大量 2> velocity 高速 3> variety 多样性数据分为…
阅读更多...
高通死机分析-工具

高通死机分析-工具

为了方便高通稳定性领域分析9008以及死机问题，特此写此工具，方便大家分析死机问题，此工具还待完善，后续将发布，有兴趣请联系2251858097qq.com
阅读更多...
matlab进阶：求解在约束条件下的多元目标函数最值（fmincon函数详解）

matlab进阶：求解在约束条件下的多元目标函数最值（fmincon函数详解）

🌅*🔹** φ(゜▽゜*)♪ **🔹*🌅 欢迎来到馒头侠的博客，该类目主要讲数学建模的知识，大家一起学习，联系最后的横幅！ 喜欢的朋友可以关注下，私信下次更新不迷路&#xff0…
阅读更多...
【C#教程】零基础从入门到精通

【C#教程】零基础从入门到精通

今天给大家分享一套零基础从入门到精通：.NetCore/C#视频教程；这是2022年最新整理的、590G的开发教程资料。课程涵盖了.Net各方面的知识，跟着这个教程学习，就足够了。 课程分类 1、C#从基础到精通教程； 2、Winform从…
阅读更多...
6.生成随机数、猜数字游戏（rand函数、srand函数、time函数）

6.生成随机数、猜数字游戏（rand函数、srand函数、time函数）

猜数字游戏 1.生成随机数1.1 rand函数1.2 srand函数1.3 time函数1.4 设置随机数的范围 2.猜数字游戏 1.生成随机数 1.1 rand函数 函数原型如下： int rand(void); 所需头文件：stdlib.h 作用：调用后随机返回一个伪随机数，随机数范…
阅读更多...
QtXlsx: no such file or directory

QtXlsx: no such file or directory

Qt项目，引用了QtXlsx，准备运行，提示报错： QtXlsx: No such file or directory 奇怪。按理说，安装QtXlsx的三个步骤都已经执行成功了： qmake make make install 把生成的so库文件拷贝到相关目录也是无效。…
阅读更多...
解决PicGo上传图片失败错误信息和上传图片失败包404错误以及Typora怎么一键导入本地图片到PicGo

解决PicGo上传图片失败错误信息和上传图片失败包404错误以及Typora怎么一键导入本地图片到PicGo

😀前言 解决PicGo上传图片失败错误信息和上传图片失败包404错误以及Typora怎么一键导入本地图片到PicGo 🏠个人主页：尘觉主页 🧑个人简介：大家好，我是尘觉，希望我的文章可以帮助到大家&#x…
阅读更多...
c++ 的reinterpret_cast 与const_cast 类型转换举例

c++ 的reinterpret_cast 与const_cast 类型转换举例

（1）const_cast 转换，可以使得给常量赋值。reinterpret_cast 转换，可以把一种类型转换为无关的另一种类型。 图中给出了一个例子。成功给指针 p 写进去了内容。先去除指针p 的常量属性，再把p这个变量当成 B 类型的变量…
阅读更多...
C语言之#define以及预处理详讲解

C语言之#define以及预处理详讲解

目录 #define #define的使用方法 #define 替换规则 #和##的作用 带副作用的宏参数 宏和函数对比 #undef 文件包含 头文件被包含的方式： 嵌套文件包含 在C语言中，一段程序运行时会执行四个步骤：预编译、编译、汇编、链接。在程序预编…
阅读更多...
初学者如何选择自己的第一种编程语言？

初学者如何选择自己的第一种编程语言？

听人劝、吃饱饭，奉劝各位小伙伴，不要订阅该文所属专栏。 作者：不渴望力量的哈士奇(哈哥)，十余年工作经验, 跨域学习者，从事过全栈研发、产品经理等工作，现任研发部门 CTO 。荣誉：2022年度博客之星Top4、博客专家认证、全栈领域优质创作者、新星计划导师，“星荐官共赢计…
阅读更多...
Just Mask and Sum 手搓 自然语言模型

Just Mask and Sum 手搓 自然语言模型

背景 在这个每天都能看到，各种新LLM论文，出现的今天，大家讨论的都是如何将transformer ，或者说是将attention 进行线性化。 很少有人讨论，注意力机制是必要的吗（attention is must）？…
阅读更多...
CentOS 7.6使用yum安装stress，源码安装stree-ng 0.15.06，源码安装sysstat 12.7.2

CentOS 7.6使用yum安装stress，源码安装stree-ng 0.15.06，源码安装sysstat 12.7.2

cat /etc/redhat-release看到操作系统的版本是CentOS Linux release 7.6.1810 (Core)，uname -r可以看到内核版本是3.10.0-957.21.3.el7.x86_64 yum install stress sysstat -y安装stress和sysstat。 使用pidstat -u 5 1没有%wait项： 原因是CentOS 7仓…
阅读更多...
数电模电基础知识学习笔记汇总

数电模电基础知识学习笔记汇总

文章目录： 数电和模电的关系 一：模电学习笔记 二：数电学习笔记 三：福利 1.NI Multisim14.0电路仿真软件的下载安装 2.进制转换 3.电路常用公式 4.好的参考笔记 4.1 笔记 3.1.1 模电 3.1.1 数电 4.2 网站 5.八股文 …
阅读更多...
LeetCode130.Surrounded-Regions＜被围绕的区域＞

LeetCode130.Surrounded-Regions＜被围绕的区域＞

题目：被围绕的区域 思路： 好吧，这题不会。 bfs递归 dfs非递归 dfs并查集 - 被围绕的区域 - 力扣（LeetCode） 将问题转化为与边界O相连的O。有点像岛屿问题了。 代码是： //codeclass Solution { public:vo…
阅读更多...
【ARM】内核驱动之设备树的学习-长文

【ARM】内核驱动之设备树的学习-长文

❤️作者主页：凉开水白菜 ❤️作者简介：共同学习，互相监督，热于分享，多加讨论，一起进步！ ❤️点赞 👍 收藏 ⭐再看，养成习惯 订阅的粉丝可通过PC端文末加我微信，可对文章的内容进行一对一答疑! 文章目录 一、什么是设备树，为什么叫设备树？二、如何编译设备树？三、…
阅读更多...
妙用指针实现qsort

妙用指针实现qsort

妙用指针实现qsort qsort是什么qsort代码使用例子冒泡排序引言冒泡排序模拟qsort函数 qsort是什么 是一个可以对任意类型进行排序的函数 函数为： void qsort(void *base,size_t nmemb,size_t size,int (*compar)(const void *, const void *));参数解释 参数base …
阅读更多...
【数据结构与算法】基数排序

【数据结构与算法】基数排序

基数排序 基数排序（Radix Sort）属于“分配式排序”，又称“桶子法”或 bin sort，顾名思义，它是通过键值的各个位的值，将要排序的元素分配至某些“桶”中，达到排序的作用。基数排序法是属于稳定性…
阅读更多...
学C的第三十一天【通讯录的实现】

学C的第三十一天【通讯录的实现】

相关代码gitee自取：C语言学习日记: 加油努力 (gitee.com) 接上期： 学C的第三十天【自定义类型：结构体、枚举、联合】_高高的胖子的博客-CSDN博客 通讯录需求： 实现一个通讯录， 通讯录中存放保存人的信息&#xff1…
阅读更多...
【WebGL】初探WebGL,我了解到这些

【WebGL】初探WebGL,我了解到这些

WebGL（Web图形库）是一种强大的技术，允许您在Web浏览器中直接创建交互式的3D图形和动画。它利用现代图形硬件的能力来呈现令人惊叹的视觉效果，使其成为Web开发人员和计算机图形爱好者必备的技能。 WebGL基础知识 WebGL基于OpenGL …
阅读更多...
1.3 eureka+ribbon，完成服务注册与调用，负载均衡源码追踪

1.3 eureka+ribbon，完成服务注册与调用，负载均衡源码追踪

本篇继先前发布的1.2 eureka注册中心，完成服务注册的内容。 目录 环境搭建 采用eurekaribbon的方式，对多个user服务发送请求，并实现负载均衡 负载均衡原理 负载均衡源码追踪 负载均衡策略 如何选择负载均衡策略？ 饥饿加载…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023