李宏毅深度学习01——基本概念简介

news2024/11/8 11:53:55

视频链接

基本概念

Regression(回归):
类似于填空

Classification(分类):
类似于选择

Structure Learning(机器学习):
??

机器学习找对应函数的步骤

1、写出一个带有未知参数的函数

Model(模型):一个函数,比如y = b + w * x1(y是要预测的,x1是已知的)

weight(权重):上述中的w就是权重

bias(偏移):上述中的b就是偏移

2、定义训练数据的损失函数

loss(损失函数):一个函数,输入是模型中的参数 L(b, w),输出的值代表这组b,w好还是不好,值越大,代表b,w越不好

MAE(mean absolute error): 均值绝对误差

MSE(mean square error): 均值方差

Cross-entropy:如果预测值和实际值都是随机分布的,则使用这种方式查看损失值
在这里插入图片描述

label(真实值):真实的值,类似于训练数据

Error surface(误差面):等高线图
在这里插入图片描述

3、Optimization(优化)

找一个w和b,使得Loss结果最小

Gradient Descent(梯度下降)

在这里插入图片描述
在这里插入图片描述

Learning rate:学习速率 n
hyper parameters:超参数 自己设定
在这里插入图片描述

local minima局部最优

global minima全局最优

梯度下降有个问题就是容易导致局部最优?其实局部最优是一个假问题!
在这里插入图片描述
上述说的只是一个参数的情况,实际上多个参数也是一样的做法
在这里插入图片描述
在这里插入图片描述

由线性模型推广至非线性模型

前面的步骤统称训练,实际上都是基于已知数据进行的,我们的目的是要通过这个式子预测新的数据

在这里插入图片描述
在这里插入图片描述
为此,我们应该修改模型,以7天为一个周期来预测

linear models:线性模型,下面如图,就是考虑不同周期对应的线性模型
在这里插入图片描述
model bias:模型偏移
与之前说的bias不一样,这里说的是模型本身的限制导致没办法模拟真实的情况
在这里插入图片描述
所以我们需要一个更复杂的有未知参数的函数来替代线性模型

piecewise linear curves:分段线性曲线
在这里插入图片描述
这里面哪怕红色线不是线性的,而是曲线的,我们也可以通过微分的方式,选取足够多的点将其看成是线性的

在这里插入图片描述
那蓝色线的函数该怎么写出来呢,有一个很出名的函数叫做sigmoid,虽然是曲线,但是很接近蓝色线

sigmoid:S型线段对应的函数

在这里插入图片描述
而蓝色线的函数我们一般将其称作hard sigmoid

通过调整c、b、w这三个值,我们可以得到不同的sigmoid函数,从而逼近不同的蓝色线
在这里插入图片描述
所以上述的红色线可以通过以下公式逼近:
在这里插入图片描述

单个特征推广至多个特征

在这里插入图片描述

改写机器学习的每一步

1、函数式子转矩阵

上述多个特征的式子可以转成用矩阵的方式表示

在这里插入图片描述

在这里插入图片描述
上述已经知道r表示什么,再用a表示sigmoid®
在这里插入图片描述
所以最终式子y可以转成向量的表示方式如下所示
在这里插入图片描述

总结:
transpose:矩阵转置

在这里插入图片描述

在这里插入图片描述
重新定义一下未知参数
在这里插入图片描述

2、重定义Loss函数

在这里插入图片描述

在这里插入图片描述

3、优化

在这里插入图片描述

优化步骤没什么区别,还是用梯度下降,唯一就是参数变了,本质上还是前面w,b两个参数的时候情况是一样的

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
为什么要分一个个Batch?
下次课解释

数据、BatchSize、epoch、update之间的关系如下:
在这里插入图片描述

拓展——模型变型

模型不一定是要用sigmoid,也可以用其他的模型,比如ReLu

在这里插入图片描述
在这里插入图片描述
上述函数统称为激活函数(activation function)

神经网络 OR 深度学习

Neuron:神经元
Neuron Network:神经网络在这里插入图片描述

由于这个名字被搞臭了,所以换了个名字
layer:层
Deep Learning:深度学习
本质上是一个东西
在这里插入图片描述
为什么不把network变胖,而是将其变深???

过拟合

over fitting
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1819242.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

媲美Sora,免费使用!带物理模拟的,文生视频模型

6月13日,知名3D建模平台Luma AI发布最新文生视频模型Dream Machine,向所有用户免费开放使用。 Dream Machine除了支持文本之外,还可使用图片作为引导来生成视频,其生成的视频质量、动作一致性、色彩、光影、饱和度、运镜等方面&a…

CentOS系统自带Python2无法使用pip命令

Linux运维工具-ywtool 目录 一. 系统环境二.解决三.验证四.备注(1)输入"yum install -y python-pip",提示没有可用 python-pip包(2)安装完pip后进行升级 一. 系统环境 centos7系统自带的python2.7无法使用pip命令 二.解决 yum install python-pip -y三.验证 pip…

【QT5】<知识点> QT串口编程

目录 前言 一、串口编程步骤 0. 添加串口模块 1. 自动搜索已连接的串口 2. 创建串口对象 3. 初始化串口 4. 打开串口 5. 关闭串口 6. 发送数据 7. 接收数据 二、简易串口助手 1. 实现效果 2. 程序源码 3. 实现效果二 前言 本篇记录QT串口编程相关内容&#xff0…

Yolo-World训练过程中使用wandb进行可视化

训练过程可视化有两种方式:wandb和tensorboard,这里我采用的是wandb,想要在训练过程中调用wandb只需要在要训练的配置文件(如yolo_world_v2_l_vlpan_bn_sgd_1e-3_40e_8gpus_finetune_coco.py)中加上一行代码即可&#…

k8s+springboot+redis部署配置连接

1 springboot 配置k8s中的redis服务名 #tomcat访问端口 # 应用名称 spring.application.namedemo # 应用服务Web访问端口 server.port8089 server.envtest #缓存关闭 spring.thymeleaf.cachefalse #可选配置 management.endpoints.enabled-by-defaulttrue management.endpoint…

SpringBoot接入RS-232串口通讯实现数据交互

目录 一、什么是RS-232? 先看看硬件通讯接口长啥样 RS-232 二、方案一 1.前期准备 a.配置 RXTX 1)下载 RXTX 包并解压 2)拷贝动态库到对应的jdk目录下 Windows平台 Linux平台 3)在工程根目录下创建 lib 文件夹&#x…

提升网络安全韧性:从基础防护开始

随着信息技术的迅猛发展,互联网已深刻融入社会的各个层面,从日常生活到企业运营,再到国家基础设施。与此同时,网络威胁和攻击也呈现出多样化和复杂化的趋势,给网络安全带来了严峻挑战。 一、背景 随着信息技术的迅猛发…

力扣每日一题 6/13 反悔贪心算法

博客主页:誓则盟约系列专栏:IT竞赛 专栏关注博主,后期持续更新系列文章如果有错误感谢请大家批评指出,及时修改感谢大家点赞👍收藏⭐评论✍ 2813.子序列最大优雅度【困难】 题目: 给你一个长度为 n 的二…

使用pyqt对yolov5进行简答部署

YOLOv5是一种高效的实时目标检测算法,广泛应用于各类计算机视觉任务中。为了实现便捷的图形用户界面(GUI),我们采用了PyQt框架。PyQt是一个Python绑定的Qt库,用于创建跨平台的应用程序。 在本研究中,我们首…

LINUX网络FTP服务

一、FTP服务 FTP服务:file transfer protocol :文件传输协议。在网络上进行双向传输,也是一个应用程序。不同的操作系统有不同的FTP软件,但使用的协议是一样的。 FTP协议基于TCP协议,有两个端口,即20和21。 20端口&…

GTX的64B66B编码(高速收发器十九)

点击进入高速收发器系列文章导航界面 前文讲解了8B10B的原理,8B10B的开销比较大,每传输10位数据,就需要发送2位无效数据。为了减小8B10B编码的开销,同时保留编码方案的优点,提出了64B66B编码。 64B66B编码与8B10B编码方…

批量记录收支明细,轻松掌握财务动向,查看并统计上个月收支明细

在这个快节奏的时代,财务管理已经成为我们生活中不可或缺的一部分。然而,面对繁琐的收支明细记录,很多人感到头痛不已。今天,我们为您推荐一款高效的财务管理工具——晨曦记账本,让您轻松实现批量记录收支明细&#xf…

HTML|01HTML初识

HTML初识 1.html标签&#xff1a;所有html中标签的一个根节点 2.head标签&#xff1a;用于存放&#xff1a;title,meta,base,style,script,link 3.title标签&#xff1a;显示网站标题 4.body标签&#xff1a;显示主体 HTML骨架语法 <html> <head> <title>…

数据防泄密知识集锦|5个有效防止数据泄露的方法,你知道吗?

以下是五个有效防止数据泄露的方法&#xff0c;它们涵盖了从加强员工意识到技术实施等多个方面。 1.部署数据安全防护系统&#xff1a;安企神软件 专业的企业数据防泄密软件能够全方位地保护企业数据的安全。 该系统通常具有强大的文件加密功能、实时监控和异常检测、灵活的权…

使用 PNPM 从零搭建 Monorepo,测试组件并发布

1 目标 通过 PNPM 创建一个 monorepo&#xff08;多个项目在一个代码仓库&#xff09;项目&#xff0c;形成一个通用的仓库模板。 这里以在该 monorepo 项目中搭建 web components 类型的组件库为例&#xff0c;介绍从仓库搭建、组件测试到组件发布的整个流程。 这个仓库既可…

eclipse 老的s2sh(Struts2+Spring+Hibernate) 项目 用import导入直接导致死机(CPU100%)的解决

1、下载Apache Tomcat - Apache Tomcat 8 Software Downloads 图中是8.5.100的版本&#xff0c;下面的设置用的是另一个版本的&#xff0c;其实是一样。 2、先将Server配好&#xff0c;然后再进行导入操作。 2、选择jdk 当然&#xff0c;这里也可以直接“Download and instal…

Vue指令的使用以及自定义指令

文章目录 1. 指令概述2.常用指令的分类2.1 内容渲染指令2.1.1 v-text2.1.2 插值语法{{ }}2.1.2.1 插值语法{{}}可以写什么2.1.2.2 插值语法可以解决什么 2.1.3 v-html 2.2 属性绑定指令(v-bind)2.3 事件绑定指令(v-on)2.4 双向绑定指令(v-model)2.4.1 v-bind和v-model的区别和联…

【Java】解决Java报错:IllegalStateException during HTTP Request

文章目录 引言一、IllegalStateException的定义与概述1. 什么是IllegalStateException&#xff1f;2. IllegalStateException在HTTP请求中的常见触发场景3. 示例代码 二、解决方案1. 确保响应只被提交一次2. 正确管理Servlet的生命周期3. 避免重复访问输入流和输出流4. 使用框架…

光储充行业市场前景以及未来发展趋势

光储充行业作为新能源汽车产业链的重要环节&#xff0c;其市场前景广阔&#xff0c;未来发展趋势也呈现出积极向上的态势。随着新能源汽车市场的不断扩大&#xff0c;光储充设施的需求也日益增长&#xff0c;为行业的发展提供了强大的动力。 从未来发展趋势来看&#xff0c;光储…

基于FreeRTOS+STM32CubeMX+LCD1602+MCP4251(SPI接口)的数字电位器Proteus仿真

一、简介&#xff1a; MCP4251是一款SPI接口的8位数字电位器。 二、主要技术参数&#xff1a; 属性参数值抽头数257接口类型SPI通道数2供电电压1.8V~5.5V精度20%温度系数(典型值)150ppm/℃工作温度-40℃~125℃ 三、引脚定义 &#xff1a; 四、内部原理框图&#xff1a; 五、电…