深度学习细节总结

news2024/11/24 12:27:30

计算机视觉

目标检测,语义分割,目标分类

自然语言处理NLP

数据结构

  • 数据结构
    在这里插入图片描述
  • 访问元素
    在这里插入图片描述

线性回归

可以看成是一个单层的神经网络,有显式的解

优化算法

梯度下降,超参数:学习率、批量大小

分类回归

单层感知机,多层感知机

  • 多层感知机使用隐藏层和激活函数来得到非线性模型,常用的激活函数有Sigmoid、Tanh、ReLU;
  • Softmax来处理多分类问题
  • 多层感知机的超参数:隐藏层数,每层隐藏层的大小
  • 验证集数据和测试集数据不能混在一起,k-折交叉验证

过拟合欠拟合

在这里插入图片描述

模型容量:拟合各种函数的能力

在这里插入图片描述

控制模型的复杂度:参数的个数、参数值的选择范围

权重衰退和Dropout

  • 权重衰退是通过刚性的限制权重不超过某个值从而降低模型复杂度
  • 丢弃法将一些输出项随机设置为0来控制模型复杂度,丢弃概率是控制模型复杂度的超参数

数值稳定性

  • 梯度爆炸
  • 梯度消失
  • 保持训练稳定性:将乘法变加法,归一化(梯度归一化,梯度剪裁),合理的权重初始和激活函数

卷积层

每个输出通道可以识别特定模式,可以融合多通道

池化层

输入的通道等于输出的通道,缓解卷积层对位置的敏感性

正则化Regularization

规则化、规范化的意思,使得权重的值不要太大,避免一定的过拟合

批量归一化(Batch Normalization)

  • 批量归一化固定小批量中的均值和方差,然后学习出适合的偏移和缩放
  • 可以加速收敛速度,但一般不改变模型精度,可以使用大一点的学习率加快模型收敛

损失函数

  1. L2 Loss
    在这里插入图片描述

  2. L1 Loss
    在这里插入图片描述

  3. Huber Rubost Loss 鲁棒误差
    在这里插入图片描述

残差网络ResNet

残差块使得很深的网络可以更加容易训练,可以有效的避免训练到后期,梯度太小训练的很慢,通过残差块,可以先训练,然后回过来更新梯度。

图像增广

  • 在线生成图片,做随机增强,不会生成图像增强后的图片
  • 数据增广通过变形数据来获得多样性从而使得模型泛化能力更好,常见的图片增广包括翻转切割变色

finetune(微调)

finetune属于迁移学习的一种,就是在一个较大的数据集上训练好的模型,将模型的结构参数等直接拿过来运用到小数据集上(两个数据集有一定的相似性),但是在最后的fc(分类或者回归问题)要随机初始化参数训练
在这里插入图片描述

锚框

  • 边缘框(BordingBox)
    在这里插入图片描述
    首先生成大量锚框,并赋予标号,每一个锚框作为一个样本进行训练。在预测时使用NMS来去掉冗余的预测

目标检测

  • R-cnn(区域卷积神经网络)
  • Mask R-cnn:如果有像素级别的编号,使用fcn来利用这些信息
  • faster rcnn
    精度很高,但是处理速度很慢,不如yolo(you only look once)
  • ssd(单发多框检测)
    不再维护和开发,用的比较少
  • yolo
    yolo将图片均匀分成SxS个锚框,每个锚框预测B个边缘框

语义分割

像素级别的分类,分为背景和其他类型
在这里插入图片描述

转置卷积

可以增大输入图片的高宽,可以简单地理解成反向卷积操作,得到的结果和卷积操作相反
在这里插入图片描述

  • 全连接卷积神经网络 FCN
    在这里插入图片描述
    最后输出的通道数=类别数
  • 样式迁移
    分别求一个样式tensor和内容tensor,三个损失,样式、内容、噪点

硬件提升

在这里插入图片描述

序列模型

可以使用马尔科夫预测或者自回归预测

  • 文本预处理
    把句子中的一些词转换成能够处理的数据
  • 语言模型
    估计文本序列的联合概率,使用统计方法时常采用n元语法
  • RNN(循环神经网络)
    存储一个时序信息
    一个预测时序类型模型的好坏可以看成一个分类问题,即下一个token索引的概率,可以使用平均交叉熵来衡量
    在这里插入图片描述
  • 梯度剪裁
    rnn中经常使用梯度剪裁,有效的预防梯度爆炸

门控循环单元GRU

可以控制哪些重要,哪些不重要,能关注的机制(更新门);能遗忘的机制(遗忘门)

LSTM长短期记忆网络

  • 忘记门:将值朝0减少
  • 输入门:决定不是忽略掉输入数据
  • 输出门:决定是不是使用隐状态

深层循环神经网络

在这里插入图片描述
深度循环神经网络使用多个隐藏层来获得更多的非线性性

双向循环神经网络

在这里插入图片描述

  • 双向循环神经网络通过反向更新的隐藏层来利用方向时间信息
  • 通常用来对序列抽取特征、填空,而不是预测未来

编码器-解码器

在这里插入图片描述

Seq2seq

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Elmo预训练模型

前向后向预测,一词多义

  • GPT单向语言模型
  • BERT双向语言模型

束搜索

束搜索在每次搜索的时候保存k个最好的候选选项

  • k=1时,是贪心搜索
  • k=n时,是穷举搜索

注意力机制

在这里插入图片描述

我们可以这样来看待Attention机制(参考图为上图):将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成,此时给定Target中的某个元素Query,通过计算Query和各个Key的相似性或者相关性,得到每个Key对应Value的权重系数,然后对Value进行加权求和,即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和,而Query和Key用来计算对应Value的权重系数。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

使用注意力机智的seq2seq

在这里插入图片描述
在这里插入图片描述

自注意力机制

自注意力机制模型擅长处理特别长的文本,但是计算成本特别高,需要上千个gpu同时计算,越长的文本越消耗资源,是平方的关系

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

优化算法

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/498905.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

RuntimeError:cuDNN error:CUDNN_STATUS_EXECUTION_FAILED

背景 最近在服务器上跑Deeplabv3进行语义分割时&#xff0c;需要使用GPU版的pytorch。 我在Anaconda下配置了适配服务器CUDA的pytorch&#xff0c;但是报错如下&#xff0c;&#xff08;下图无限接近于我的错误&#xff0c;但是我忘记截图我的报错了&#xff0c;所以用了下面这…

魔百盒CM211-1S_ZG_增强版2+16_当贝纯净版桌面-卡刷固件包

魔百盒CM211-1S_ZG_增强版216_当贝纯净版桌面-卡刷固件包-内有教程-华为鸿蒙动画 特点&#xff1a; 1、适用于对应型号的电视盒子刷机&#xff1b; 2、开放原厂固件屏蔽的市场安装和u盘安装apk&#xff1b; 3、修改dns&#xff0c;三网通用&#xff1b; 4、大量精简内置的…

图灵java学习

反汇编 最后一行 效果是 程序计数器&#xff0c;保存下一个指令的地址 iadd. int加法 动态链接 Java动态链接&#xff08;Dynamic Linking&#xff09;是Java中的一种运行时特性&#xff0c;它允许在应用程序运行时动态地链接和加载库和组件。在编译时&#xff0c;Java程序不需…

逆向效率提升工具与方法汇总(持续更新...)

欢迎大家提供高效方法与工具 工具油猴插件SwitchyOmegaReresFiddler插件编程猫 奇淫技巧seleniumOptions常用参数防检测将浏览器navigator.webdriver重置为Falsestealth.min.js解决常见的指纹检测浏览器worker完美解决检测 小试牛刀chrome开发者工具设置中文调试代码如何友好格…

【MySQL】(创建,查看,使用,删除)数据库

目录 一.Cmd命令执行操作 1.使用cmd命令进入数据库&#xff08;mysql -uroot -p) 2.查看数据库 3.创建数据库 4.使用数据库 5.删除数据库 二.数据库软件执行操作 1.查看数据库 2.创建数据库 3.数据库 4.删除数据库 一.Cmd命令执行操作 1.使用cmd命令进入数据库&#…

详解PostMan使用

目录 1.简介 2.管理用例集 3.断言 3.1.概述 3.2.判断响应状态码 3.3.判断响应体是否包含某个字符串 3.4.断言JSON数据 3.5.断言响应头 4.全局变量和环境变量 4.1.概述 4.2.创建环境 4.3.设置变量 4.4.获取变量 5.前置脚本 6.关联 7.批量执行 8.测试报告 1.简介…

传统机器学习(六)集成算法(2)—Adaboost算法原理

传统机器学习(六)集成算法(2)—Adaboost算法原理 1 算法概述 Adaboost(Adaptive Boosting)是一种自适应增强算法&#xff0c;它集成多个弱决策器进行决策。 Adaboost解决二分类问题&#xff0c;且二分类的标签为{-1,1}。注&#xff1a;一定是{-1,1}&#xff0c;不能是{0,1} …

Linux 线程安全

目录 传统艺能&#x1f60e;Linux线程安全&#x1f60a;原子性&互斥&#x1f923;mutex&#x1f60a;互斥量初始化&#x1f64c;互斥量销毁&#x1f64c;互斥量加锁&#x1f64c;互斥量解锁&#x1f64c; 互斥量原理&#x1f60a;锁的申请&#x1f64c; 线程安全&#x1f9…

Java --- springboot2之文件上传

目录 一、文件上传 二、自动配置原理 一、文件上传 <form role"form" th:action"{/upload}" method"post" enctype"multipart/form-data"><div class"form-group"><label for"exampleInputEmail1&quo…

VUE 学习笔记(二)VUE的深入理解

一、VUE 简介 1.什么是VUE ? VUE 是一套用于构建用户界面的渐进式JavaScript框架 &#xff0c;对于简单应用&#xff0c;只需要轻量小巧的核心库&#xff0c;对于复杂的应用&#xff0c;可以引入各种VUE 插件。 模板引擎是 Vue 里最主要、最核心的一个能力&#xff0c;在模板引…

【Linux学习】多线程——线程控制 | 线程TCB

&#x1f431;作者&#xff1a;一只大喵咪1201 &#x1f431;专栏&#xff1a;《Linux学习》 &#x1f525;格言&#xff1a;你只管努力&#xff0c;剩下的交给时间&#xff01; 线程控制 | 线程TCB &#x1f9f0;线程控制&#x1f3b4;线程创建&#x1f3b4;线程结束&#x1…

华为eNSP综合实验学习记录

区域一&#xff1a;ISP 题目要求&#xff1a; 1、ISP区域&#xff0c;每台路由器需要指定一个环回口地址&#xff0c;所有设备之间互联使用/30网段&#xff0c;server1服务器区域是有10台服务器&#xff0c;使用10.1.1.0/24网段进行划分。LSW1是一台OLT设备&#xff0c;连接家…

谷歌账号注册流程全攻略

谷歌账号是获取谷歌各种服务的通行证&#xff0c;包括Gmail、Google Drive、Google Photos、Google Maps等。拥有一个谷歌账号可以让你的数字生活变得更加便捷。下面我们一起来看看谷歌账号的注册流程。 一、访问谷歌账号注册页面 首先&#xff0c;你需要访问谷歌账号注册页面…

【MYSQL】基础的增删查改

目录 1.create(新增) 2.retrieve(查询) 1.全列查询&#xff1a;*代表所有&#xff1b; 2.指定列查询&#xff1a; 3.取别名 4.去重--distinct 5.排序--order by 类型 asc 6.条件筛选--where 类型数值&#xff1b; 7.筛选null--is/not is 8.范围查找between and 9…

springboot第七章 结合Dubbo

实现Dubbo分布式框架&#xff0c;需要公共接口maven项目&#xff0c;需要服务提供者springboot项目&#xff0c;需要服务消费者springboot项目。 因为公共接口只有数据类和接口&#xff0c;后期提供者和消费者需要根据maven唯一坐标来导入公共接口项目的jar包&#xff0c;因此公…

Python简单教程(第01章---第04章)

Python简单教程 1. Python综述1.1 python是什么1.2 python的发展1.3 python的特点 2.Python3安装2.1 python3 和 python2的区别2.2 python3环境的安装&#xff08;以windows为例&#xff09;2.3 Anaconda 安装&#xff08;可选&#xff09; 3. Python基本语法3.1 编码3.2 标识符…

内网渗透之横向移动 委派-非约束委派约束委派资源委派

0x01 横向移动-非约束委派 原理&#xff1a; 机器A&#xff08;域控&#xff09;访问具有非约束委派权限的机器B的服务&#xff0c;会把当前认证用户&#xff08;域管用户&#xff09;的的TGT放在ST票据中&#xff0c;一起发送给机器B&#xff0c;机器B会把TGT存储在lsass进程…

tomcat乱码解决方案

2.将里面的java.util.logging.ConsoleHandler.encoding 的值改为GBK。如下图&#xff1a;

电影推荐算法

模型训练 下载数据集&#xff0c;解压到项目目录下的./ml-1m文件夹下。数据集分用户数据users.dat、电影数据movies.dat和评分数据ratings.dat。 ** 数据集分析 ** user.dat&#xff1a;分别有用户ID、性别、年龄、职业ID和邮编等字段。 数据集网站地址为http://files.group…

数智未来,因你而来 | 昇腾AI创新大赛2023全新启动

在5月6日-7日举行的昇腾AI开发者峰会2023上&#xff0c;昇腾AI创新大赛2023正式启动。大赛旨在鼓励全产业开发者基于昇腾AI技术和产品&#xff0c;打造软/硬件解决方案、探索模型算法&#xff0c;加速AI与行业融合&#xff0c;促进开发者能力提升。 会上&#xff0c;中国工程院…