李宏毅机器学习笔记(1)—机器学习基本概念+深度学习基本概念

news2025/4/2 16:28:28

在这里插入图片描述

机器学习基本概念

1、获取模型

步骤

1.1、假定未知函数

带未知参数的函数
在这里插入图片描述

1.2、定义损失函数

真实值:label
在这里插入图片描述
MAE
MSE
几率分布,cross-entropy?
在这里插入图片描述

1.3、优化

  • 单独考虑一个参数
    让损失函数最小,找导数为零的点
    单独考虑w,w0是随机选取的一个数
    斜率为负,左高右低,提高w,反之则反
    埃塔:调整步伐,学习速率,自己设定的(即hyperparameters)
    在这里插入图片描述
  • 考虑两个参数
    在这里插入图片描述
    在这里插入图片描述

2、验证模型

预测未来数据
在这里插入图片描述

3、模型调整

观察真实资料,周期性的,每隔七天就特别低,这个模型显示只能预测一天,我们应该看一个周期七天的的数据,可能模型更精准,因此要调整模型,考虑七天的数据
在这里插入图片描述
在这里插入图片描述

线性回归模型太简单了,需要一个复杂的模型模拟预测,线性模型存在Model Bias
在这里插入图片描述
引入threshold
在这里插入图片描述
Piecewise LInear Curve线段组成
在这里插入图片描述
如果是连续的曲线,逼近
在这里插入图片描述
因此,假设X和Y关系复杂,那么我们假定一个带有未知数的函数,这个函数表示一堆蓝色的函数(Hard SIgmoid)加上一个常数。这个蓝色函数公式如何写?直接写不容易,可以用曲线逼近,用sigmoid函数(即S形的函数)
在这里插入图片描述
调整b和w,可以获得不同形状的函数,来逼近蓝色函数
在这里插入图片描述
在这里插入图片描述
逼近模拟后获取新模型,之前使用单个特征值(x),接下来过渡到使用多个feature(x)

在这里插入图片描述
直观方式,考虑3个特征,j=1,2,3;i:一个i代表一个蓝色函数/sigmoid函数。wij表示第i个sigmoid函数在第j个特征处的权重
在这里插入图片描述
转换成矩阵
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
用向量矩阵表示防治法,则转换成如下
在这里插入图片描述
接下来,找未知参数,重新定义一下符号,x:feature;未知参数:w,b,cT,b,把这些拼起来,编程一个长向量
在这里插入图片描述
至此,完成了机器学习第一步:函数定义
在这里插入图片描述
接下来进行第2步,求损失函数
在这里插入图片描述
最后,优化,找一组set使误差最小,对每个一未知的参数计算微分
在这里插入图片描述
在这里插入图片描述
取部分资料进行计算,再用下一个资料算gradient,再更新参数,每次参数更新叫做update,所有batch看过后叫epoch
在这里插入图片描述
区别update和epoch,batch size也是hyperparams
在这里插入图片描述

  • ReLU函数
    hard sigmoid vs soft sigmoid
    在这里插入图片描述
    换成relu函数
    在这里插入图片描述
    在这里插入图片描述
    接下来,继续改模型,反复求a,多做几次的sigmoid或relu运算
    在这里插入图片描述
    一层的意思是,通过一次ReLU运算
    在这里插入图片描述
    在这里插入图片描述
    除夕,机器不知道
    测试了几个模型,还不知道一个好名字,
    在这里插入图片描述
    神经网络,80,90年代已经出现,很多layer就叫deep,神经网络越叠越深
    在这里插入图片描述
    在这里插入图片描述
    反复用ReLu或sigmoid函数,为什么不变胖,而是变深
    在这里插入图片描述
    overfitting(过拟合):在训练资料好,在测试资料上不好在这里插入图片描述
    为了预测未来的资料,应该选3层还是4层,选模型问题
    在这里插入图片描述
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2326677.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数字IC后端项目常见问题之streamOut layermap和innovus drc violation

Q1:我需要将Innovus设计GDS导出到Virtuoso,但发现写出GDS的过程会报如下所示的警告。这里写出GDS使用的是Virtuoso (DFII) streamOut mapping文件! Clock Gen模块Routing DRC,Timing分析及解决 streamOut tease.gds2 -mapFile cd…

短剧系统开发动漫短剧系统源码开发上线小程序app教程

一、市场规模与用户增长:突破677亿,Z世代成主力 整体扩张 2025年短剧市场预计同比增长15%,规模达677.9亿元,用户规模6.62亿(占网民59.7%)。动漫短剧作为细分领域,增速显著受益于二次元文化渗透&…

太阳能高杆路灯:照亮未来的新光

在全球能源转型进程加速以及可持续发展理念日益深入人心的背景下,太阳能高杆路灯作为融合新能源技术、智能控制技术与多功能集成特性的创新产品,正逐步革新传统路灯的格局。其不仅有效解决了传统路灯对电网供电的依赖问题,更为城市及乡村的照…

《C++Linux编程进阶:从0实现muduo 》-第8讲.C++面试如何高效获取线程ID

章节重点 在C面试时,经常被问到如果高效获取线程ID,但不少同学都不知道如何回答。 重点是通过__thread关键字。 重点内容 视频讲解:《CLinux编程进阶:从0实现muduo C网络框架系列》-第8讲. C面试如何高效获取线程ID 测试获取线…

【Tauri2】011——菜单menu(2)

前言 前面简单地创建了菜单,接下来就来试试菜单中的action Rust中菜单项注册action AppHandle in tauri - Rusthttps://docs.rs/tauri/2.4.0/tauri/struct.AppHandle.html#method.on_menu_event这就需要用到App或者AppHandle中的方法on_menu_event #[must_use] …

架构设计基础系列:面向对象设计的原则

引言 面向对象设计(Object-Oriented Design,OOD)是软件开发中的重要概念,其核心在于通过对象、类、继承、封装和多态等机制,实现对现实世界问题的抽象和建模。OOD不仅有助于提高代码的可重用性、可维护性和可扩展性&a…

UE5学习笔记 FPS游戏制作35 使用.csv配置文件

文章目录 导入.csv要求首先创建一个结构体导入配置文件读取配置 导入 .csv要求 第一行必须包含标题 第一列的内容必须不能重复,因为第一列会被当成行的名字,在数据处理中发挥类似于字典的key的作用 当前的配置文件内容如下 首先创建一个结构体 结构…

嵌入式单片机ADC数模转换的基本方法

第一:模数转换的概述 1:模数转换的概念 一般在电路中,信号分为两种,一种是模拟信号,一种是数字信号,绝大多数传感器采集的都是模拟信号,如温度、湿度、烟雾浓度、亮度.......,但是对于计算机需要处理的数字信号,那就需要利用电路把模拟信号转换为数字信号,这个转换的…

01-Docker 安装

1、安装环境介绍 安装环境:Linux CentOS 7 本安装教程参考Docker官方文档,地址如下:https://docs.docker.com/engine/install/centos/ 2、卸载旧版docker 首先如果系统中已经存在旧的Docker,则先卸载: yum remove do…

Redis 的缓存雪崩、击穿、穿透及其解决办法

文章目录 Redis 的缓存雪崩、击穿、穿透及其解决办法缓存雪崩解决办法 缓存击穿解决方案 缓存穿透解决方案 Redis 的缓存雪崩、击穿、穿透及其解决办法 本篇文章回顾 Redis 当中缓存崩溃、击穿、穿透现象以及相应的解决办法,主要的参考资料是:https://w…

性能比拼: Pingora vs Nginx (My NEW Favorite Proxy)

本内容是对知名性能评测博主 Anton Putra Pingora vs Nginx Performance Benchmark: My NEW Favorite Proxy! 内容的翻译与整理, 有适当删减, 相关指标和结论以原作为准 介绍 在本视频中,我们将对比 Nginx 和 Pingora(一个用于构建网络服务的 Rust 框架…

Ranger一分钟

简介 Ranger Admin:Web UIPolicy Admin Tool:定义和管理策略的模块Ranger Plugins:HDFS、Hive、HBase、Kafka、Storm、YARNRanger UserSync: LDAP、Active DirectoryRanger KMS:管理和保护数据加密的密钥 加密密钥管理…

STM32单片机入门学习——第5节: [3-1]GPIO输出

写这个文章是用来学习的,记录一下我的学习过程。希望我能一直坚持下去,我只是一个小白,只是想好好学习,我知道这会很难,但我还是想去做! 本文写于:2025.04.01 STM32开发板学习——第5节: [3-1]GPIO输出 前言开发板说明引用解答和…

pytorch中dataloader自定义数据集

前言 在深度学习中我们需要使用自己的数据集做训练,因此需要将自定义的数据和标签加载到pytorch里面的dataloader里,也就是自实现一个dataloader。 数据集处理 以花卉识别项目为例,我们分别做出图片的训练集和测试集,训练集的标…

SQL Server:触发器

在 SQL Server Management Studio (SSMS) 中查看数据库触发器的方法如下: 方法一:通过对象资源管理器 连接到 SQL Server 打开 SSMS,连接到目标数据库所在的服务器。 定位到数据库 在左侧的 对象资源管理器 中,展开目标数据库&a…

标题:利用 Rork 打造定制旅游计划应用程序:一步到位的指南

引言: 在数字化时代,旅游计划应用程序已经成为旅行者不可或缺的工具。但开发一个定制的旅游应用可能需要耗费大量时间与精力。好消息是,Rork 提供了一种快捷且智能的解决方案,让你能轻松实现创意。以下是使用 Rork 创建一个定制旅…

WebSocket原理详解(二)

WebSocket原理详解(一)-CSDN博客 目录 1.WebSocket协议的帧数据详解 1.1.帧结构 1.2.生成数据帧 2.WebSocket协议控制帧结构详解 2.1.关闭帧 2.2.ping帧 2.3.pong帧 3.WebSocket心跳机制 1.WebSocket协议的帧数据详解 1.1.帧结构 WebSocket客户端与服务器通信的最小单…

计算声音信号波形的谐波

计算声音信号波形的谐波 1、效果 2、定义 在振动分析中,谐波通常指的是信号中频率是基频整数倍的成分。基频是振动的主要频率,而谐波可能由机械系统中的非线性因素引起。 3、流程 1. 信号生成:生成或加载振动信号数据(模拟或实际数据)。 2. 预处理:预处理数据,如去噪…

RepoReporter 仿照`TortoiseSVN`项目监视器,能够同时支持SVN和Git仓库

RepoReporter 项目地址 RepoReporter 一个仓库监视器,仿照TortoiseSVN项目监视器,能够同时支持SVN和Git仓库。 工作和学习会用到很多的仓库,每天都要花费大量的时间在频繁切换文件夹来查看日志上。 Git 的 GUI 工具琳琅满目,Git…

UI设计系统:如何构建一套高效的设计规范?

UI设计系统:如何构建一套高效的设计规范? 1. 色彩系统的建立与应用 色彩系统是设计系统的基础之一,它不仅影响界面的整体美感,还对用户体验有着深远的影响。首先,设计师需要定义主色调、辅助色和强调色,并…