2022吴恩达机器学习课程——第一课

news2024/12/23 12:34:16

注:参考B站视频教程

视频链接:【(强推|双字)2022吴恩达机器学习Deeplearning.ai课程】


文章目录

  • 第一周
    • 一、监督学习与无监督学习
    • 二、线性回归
    • 三、梯度下降
  • 第二周
    • 一、向量化
    • 二、特征缩放
  • 第三周
    • 一、逻辑回归
    • 二、训练逻辑回归模型
    • 三、逻辑回归中的梯度下降
    • 四、正则化

第一周

一、监督学习与无监督学习

监督学习:输入数据和标签,让机器进行学习后,再输入一个它从未见过的数据,让机器预测输出。

一些监督学习的例子:

在这里插入图片描述


1、回归:房价预测
在这里插入图片描述


2、分类:乳腺癌检测
在这里插入图片描述


在这里插入图片描述


分类需要找到一个“决策边界”

在这里插入图片描述


3、监督学习总结
在这里插入图片描述


无监督学习:数据和标签之间没有联系

在这里插入图片描述


4、聚类:新闻&基因序列&人员分组
聚类:获取没有标签的数据,尝试将他们自动分组到不同的簇中去。

在这里插入图片描述


在这里插入图片描述


在这里插入图片描述


5、无监督学习的总结
在这里插入图片描述


在这里插入图片描述


二、线性回归

线性回归模型是一种特殊类型的监督学习模型

1、线性回归模型
在这里插入图片描述


训练集:

在这里插入图片描述


预测函数 f(x)

在这里插入图片描述


2、代价函数
a、代价函数公式
在这里插入图片描述


在这里插入图片描述


在这里插入图片描述


b、理解代价函数

在这里插入图片描述


在这里插入图片描述


在这里插入图片描述


在这里插入图片描述


c、可视化代价函数

当只有一个参数w时,代价函数看起来像U型曲线

在这里插入图片描述


当有两个参数w和b时:
在这里插入图片描述


在这里插入图片描述


三、梯度下降

编写算法,能够自动找到w和b,最小化代价函数,使用梯度下降进行训练

1、梯度下降的实现
在这里插入图片描述


出现局部最小值:在这里插入图片描述


同步更新w和b:

在这里插入图片描述


2、理解梯度下降
在这里插入图片描述


3、学习率
在这里插入图片描述


局部最小值:
在这里插入图片描述


接近最小值,导数会自动变小,参数更新步伐变小:
在这里插入图片描述


4、导数更新过程
在这里插入图片描述


在这里插入图片描述


用于线性回归的梯度下降,代价函数不会出现多个局部最小值,只会有一个全局最小值,图像是一个凸函数

在这里插入图片描述


5、运行梯度下降
在这里插入图片描述


第二周

一、向量化

1.1多维特征
在这里插入图片描述


含有n个特征的模型的定义:
在这里插入图片描述


多元线性回归模型:
在这里插入图片描述


1.2向量化-part1
在这里插入图片描述


1.3向量化-part2

使用Numpy的点积运算,效率更高

在这里插入图片描述


在这里插入图片描述


1.4用于多元线性回归的梯度下降法
在这里插入图片描述
在这里插入图片描述


二、特征缩放

2.1特征缩放-part1
在这里插入图片描述


在这里插入图片描述


重新缩放这些特征,使它们具有可比较的值的范围,可以显著加快梯度下降速度
在这里插入图片描述


2.2特征缩放-part2
最大值归一化
在这里插入图片描述


均值归一化
在这里插入图片描述


Z-Score归一化
在这里插入图片描述


当数据差别较大时,最好进行特征缩放
在这里插入图片描述


2.3判断梯度下降是否收敛
在这里插入图片描述


2.4如何设置学习率
当把α设置为很小的值时,发现损失函数J的值还会增大,说明是程序出现了bug
在这里插入图片描述


在这里插入图片描述


2.5特征工程
在这里插入图片描述


2.6多项式回归
在这里插入图片描述


在这里插入图片描述


第三周

一、逻辑回归

1.1分类
在这里插入图片描述


线性回归不适合于分类问题
在这里插入图片描述


1.2逻辑回归

逻辑回归虽然有“回归”这个词,但它是用来分类的
在这里插入图片描述


逻辑回归模型
在这里插入图片描述


在这里插入图片描述


1.3决策边界

在这里插入图片描述


线性决策边界
在这里插入图片描述


非线性决策边界
在这里插入图片描述


逻辑回归可以学会拟合非常复杂的数据
如果不用高阶多项式,也就是说你使用的特征只有x1,x2,x3,那么逻辑回归的决策边界永远是线性的,永远是一条直线
在这里插入图片描述


二、训练逻辑回归模型

2.1逻辑回归中的代价函数

给定训练集,如何选择参数w和b
在这里插入图片描述


对逻辑回归来说,平方损失函数不是一个好的选择,用它生成的图中会有很多局部最小值
在这里插入图片描述


逻辑回归模型定义
在这里插入图片描述


在这里插入图片描述


总结
在这里插入图片描述


2.2简化逻辑回归代价函数

y不是0就是1,不能取其他任何值
在这里插入图片描述


在这里插入图片描述


三、逻辑回归中的梯度下降

在这里插入图片描述


逻辑回归中的梯度下降方法
在这里插入图片描述


虽然逻辑回归的梯度下降公式和线性回归中的十分相似,但是本质并不一样,因为函数f(x)的定义变了
在这里插入图片描述


四、正则化

4.1过拟合问题

在这里插入图片描述


在这里插入图片描述


4.2解决过拟合问题

  • 收集更多训练数据
  • 减少特征数量
  • 正则化
    在这里插入图片描述

在这里插入图片描述


正则化要做的是尽可能地让算法缩小参数的值,而不是要求一定要把参数变为0
正则化的作用是:保留所有的特征,但防止特征权重过大,只有时候会导致过拟合
在这里插入图片描述
参数b是否正则化,并没有太大的区别


总结
在这里插入图片描述


4.3正则化
在这里插入图片描述


正则化的思想是:参数值越小,模型可能越简单,也许是因为模型的特征变少了,那它过拟合的可能性也变小了
在这里插入图片描述


选择合适的正则化参数λ
在这里插入图片描述


4.4用于线性回归的正则化方法
在这里插入图片描述


以下是可选内容

正则化在每次迭代中做的就是,将w乘上一个略小于1的数
在这里插入图片描述


推导过程:
在这里插入图片描述


4.5用于逻辑回归的正则化方法
在这里插入图片描述


在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/67154.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[运维]如何快速压缩一个数据库的硬盘占用大小(简单粗暴但有效)

文章目录前言一、数据库文件为什么会那么大?1.数据空间2.日志空间3.索引空间4.其他二、我的解决方案总结前言 在维护网站时我们经常会遇到数据库占用服务器磁盘空间的问题。高端的食材往往只需要采用最朴素的烹饪方式。本文我讲一个简单粗暴但有效的方法。本文以Sq…

RabbitMQ快速上手以及RabbitMQ交换机的四种模式

Win10安装&#xff1a; ​win10下安装 RabbitMQ​_柚几哥哥的博客-CSDN博客 Linux安装&#xff1a; Linux下载安装 RabbitMQ​_柚几哥哥的博客-CSDN博客 一、基础使用 1、导入依赖 <!--RabbitMQ--><dependency><groupId>org.springframework.boot</g…

JAVA12_06学习总结(JDBC,工具类优化)

今日内容 1. PreparedStatement PreparedStatement--预编译步骤1)注册驱动2)获取数据库连接对象3)准备sql语句--不需要拼接--需要的参数全部使用 ? 占位符4)通过数据库连接对象,获取预编译对象,同时将sql语句房费数据库,将参数和参数类型都存储在预编译中Connection中的方法…

均匀传输线的串扰和饱和长度

下图为串扰的电路模型&#xff0c;动态线与静态线之间通过互容与互感联系&#xff0c;这样也说明了动态线的信号耦合到静态线上的条件是存在di/dt或者dv/dt时&#xff0c;也就是说只在信号边沿上产生串扰&#xff0c;当电压或者电流为常数的时候静态线上就不会有串扰的信号。 信…

扩散模型:Diffusion models as plug-and-play priors作为即插即用先验的扩散模型

扩散模型&#xff1a;Diffusion models as plug-and-play priors作为即插即用先验的扩散模型0.摘要1.概述2.方法2.1.问题设置2.2.将去噪扩散概率模型作为先验3.实验&#xff1a;图像生成3.1.MNIST的简单说明3.2.使用现成组件条件生成脸部图像4.实验&#xff1a;语义分割附录B&a…

Ubuntu 20.04 系统最快安装WRF软件手册

前言 天气研究和预报&#xff08;WRF&#xff09;模型是一种中尺度数值天气预报系统&#xff0c;在全球范围内用于业务预报和研究目的。 这是在基于Intel的i7&#xff08;12核&#xff09;Linux Ubuntu 20.04 LTS系统上安装WRF 4.2.1的版本。这将有助于初学者在普通台式机上实现…

树莓派4b+mcp2515实现CAN总线通讯和系统编程(一.配置树莓派CAN总线接口)

文章目录前言硬件连线树莓派环境准备启用树莓派ssh启用mcp2515驱动下载can-utils工具测试CAN通讯开启CAN网卡测试发送和接收前言 树莓派本身是没有CAN通讯能力的&#xff0c;但他有mcp2515模块的驱动&#xff0c;可以通过SPI来控制mcp2515进行CAN的通讯。 本章主要讲,如何使能…

基于卡尔曼滤波的二维目标跟踪(Matlab代码实现)

&#x1f352;&#x1f352;&#x1f352;欢迎关注&#x1f308;&#x1f308;&#x1f308; &#x1f4dd;个人主页&#xff1a;我爱Matlab &#x1f44d;点赞➕评论➕收藏 养成习惯&#xff08;一键三连&#xff09;&#x1f33b;&#x1f33b;&#x1f33b; &#x1f34c;希…

双十二选哪个品牌led灯好一点?国产led灯这些品牌护眼好

现在绝大部分人造灯光都是使用led灯珠作为发光源了&#xff0c;所以led灯普遍的质量都比较好&#xff0c;也能护眼&#xff0c;特别是习惯晚上熬夜工作、学习、看书的人群&#xff0c;也都会选择led台灯来辅助照明&#xff0c;因为相比传统的家用室内顶灯&#xff0c;led护眼灯…

【小游戏】Unity游戏愤怒的足球(小鸟)

目录 1.弹弓逻辑 2.鸟的逻辑 3.GameManager主逻辑 文末有源工程地址 难度系数: ★★★★☆ 游戏玩法: 愤怒的足球,其实就是经典的愤怒的小鸟换图 项目简介: 功能完善,主要代码逻辑完整 本文内容: 记录一下这个工程,对内部代码逻辑没有深入了解有待以后发掘 1.弹弓逻…

workerman 聊天demo

1.demo下载 链接: https://pan.baidu.com/s/1MOqcDwvrZGgaYpZUBxxZiA 提取码: 2yqf 2.安装workerman 我这里使用的是tp5框架 下载官方压缩包解压到根目录 3.workerman 数据发送相关类 将worker目录放到项目extend文件夹中 4.启用workerman 登录服务器 linux启动方式&…

安卓APP源码和设计报告——购物APP的设计与实现

2021—2022学年第二学期期末考试 《Android手机软件开发》实践考核 项目设计说明书 项目名称&#xff1a; 购物APP的设计与实现 专 业&#xff1a; 计算机科学与技术 学 号&#xff1a; 姓 名&#xff1a; 任课教师&#xff1a; 2022年6月12日 目 录 1.项目概述11 2…

阿里云搭建博客之如何设置网页为中文

今天&#xff0c;在阿里云上参照“我的教程”–“搭建云上博客”中的指导&#xff0c;基于ApachemysqlWordPress搭建个人博客&#xff0c;参照上面的教程完成博客的搭建。但证登录博客后&#xff0c;发现业务展示为英文。在setting—>site language 设置中只有英文&#xff…

(附源码)springboot实验室预约管理系统 毕业设计 261141

实验室预约管理系统的设计与实现 摘 要 远程预约是一种全新的网络租用方式&#xff0c;它通过互联网突破了时间和空间限制&#xff0c;实现了便捷快速的预约与管理功能。在对数据信息有效组织并整合了一定使用功能后&#xff0c;远程预约系统可以方便地实现预约与取消&#xff…

如何在centos上安装nvidia驱动

首先查询服务器的gpu型号 [kfkbigdata-pro01 ~]$ lshw -C display WARNING: you should run this program as super-user. *-display description: VGA compatible controller product: SVGA II Adapter vendor: VMware physical id: f bus info: pci0000:00:0f.0 version: 00…

[附源码]JAVA毕业设计日常办公管理系统(系统+LW)

[附源码]JAVA毕业设计日常办公管理系统&#xff08;系统LW&#xff09; 项目运行 环境项配置&#xff1a; Jdk1.8 Tomcat8.5 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术…

【双碳环保】AcrelCloud-3500餐饮油烟监测云平台应用分析

背景概述 餐饮业油烟是大气中挥发性有机物&#xff08;VOCS&#xff09;和PM10的主要来源之一。近年来随着环保治理的加强&#xff0c;各地餐饮油烟条例相继推出&#xff0c;相关执法部门对大气监测&#xff0c;特别是餐饮油烟的治理监管都非常重视&#xff0c;为贯彻落实大气…

日本知名汽车零部件公司巡礼系列之株式会社123

株式会社123 业务内容&#xff1a; 各种自动组装机检测机的设计制作、半导体•液晶的设计制做、各种自动包装•省力化设备的设计制作、模具刀具的设计制作、各种零件的制作。 公司简介&#xff1a; 资本金&#xff1a;1000万日元&#xff08;2022年汇率折合人民币约50万元&a…

SystemV 信号量(一) —— SystemV信号量的相关操作函数

SystemV IPC 方案的相关内容都是通过 “房间密码”来创建房间&#xff0c;获取到房间的ID&#xff0c;后面其他进程也可以根据这个房间密码来拿到同一个房间的ID。这是理解下面这些操作函数的关键。 目录 1、信号量集合的创建 semget 2、信号量的初始化 / 销毁 semctl 3、信…

C/C++入门001-概述环境搭建与案例

文章目录1.C语言概述1.1 计算机与程序1.1.1 什么是计算机1.1.2 什么是计算机程序 ?1.2 进制转化1.3 计算机语言1.4 C语言发展1.5 安装开发工具与编译器1.5.1 安装 codeblocks1.5.2 设置MinGW的环境变量1.6 C语言的HelloWorld1.6.1 入门1.6.2 demo案例1.C语言概述 参考&#x…