MachineLearningWu_5_MultipleLinearRegression

news2024/9/22 1:29:48

在进行多元线性回归的时候,我们需要规定一些基本法则。例如我们使用 x j ( i ) x_j^{(i)} xj(i)来表示第i个sample的第j个特征。

请添加图片描述

将单元的线性回归变为多元线性回归,公式将变换为如下,

请添加图片描述

为了实现更简单的数学表达式,我们将表达式向量化,得到了multiple linear regression, not multivariate regression(是多元线性回归,不是多元回归),注意由于对应多个特征,所有只有w和x是多维的,而b只是一个一维标量。

请添加图片描述

接下来我们再来更加深入地讲解一下vectorization向量化/矢量化。在线性代数中我们知道,矩阵的引入简化了方程组的计算,在计算机和深度学习中亦是如此,当我们使用矩阵进行运算时,不仅可以简洁代码,甚至由于Pytorch/Tensorflow等底层代码还能为GPU加速,Numpy为CPU加速。接下来我们来比较两种不使用vectorization和一种使用vectorization的区别,所以我们建议将所有的参数(weight权重,bias偏置)和输入(feature特征)都采用矩阵或者向量来表示,

请添加图片描述

接下来我们将更加深入地了解Vectorization的作用,那么为什么Vctorization能带来速度的提升呢?很大一部分原因是因为他在计算机内部的运行往往是并行的,以for循环为例,for循环是一步一步串行计算的;而dot则是先全部in parallel并行计算完毕,再一次性将结果相加,过程比较如下:

请添加图片描述
请添加图片描述

在了解了向量化能够带来的优势后,我们用向量化来表达多元线性回归,我们将w和x向量化,得到如下的表示,

请添加图片描述

我们重点来了解一下偏微分的部分,假设我们有n个feature,m个sample,我们对单个feature求偏微分就应该对m个sample都求偏微分再求平均,如下,

请添加图片描述

同时,除了使用Gradient Descent来求解Linear Regression的解之外,我们还可以使用Normal equation法方程来求解,但是它并不像是GD能推广到别的机器学习如卷积神经网络上。我们需要注意到的是在一些机器学习库的后端,很有可能会使用Normal equation来求解Linear Regression的参数,因为这个方法更快。

请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/733138.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

haproxy负载均衡

目录 一.常见的web集群调度器 二.haproxy的概念 三.特性 四 图解haproxy 五 haproxy的配置文件详解 一.常见的web集群调度器 1.目前常见的web集群调度器分为软件和硬件 2.软件通常使用开源的lvs/haproxy/nginx 3.硬件一般使用比较多的是f5 也有国内的产品 二.haproxy的…

LeetCode:合并区间

题目:56. 合并区间 - 力扣(Leetcode) 讲这道题之前,先介绍一下sort函数的骚操作。 sort函数可以用于二维数组的排序!!! 解释: 这里sort函数也是从小到大进行排序,只…

确保无缝、安全的云转型

随着云计算继续主导数字化转型(这是理所当然的),组织面临着双重挑战:将运营无缝转移到云并确保这种转型的安全。 虽然云的采用保证了可扩展性、成本效率和生产力的提高,但保持警惕对于组织防范网络安全威胁和安全漏洞…

webpack5搭建与基本概念

webpack基础构建 新建文件夹进入文件夹查看是否安装node,命令:node-v创建package.json文件,命令:npm init -y安装webpack和webpack-cli,(命令自动创建出package-lock.json文件和node_modules文件夹&#x…

【智慧交通项目实战】《 OCR车牌检测与识别》(一)项目介绍

👨‍💻作者简介: CSDN、阿里云人工智能领域博客专家,新星计划计算机视觉导师,百度飞桨PPDE,专注大数据与AI知识分享。✨公众号:GoAI的学习小屋 ,免费分享书籍、简历、导图等,更有交流群分享宝藏资料,关注公众号回复“加群”或➡️点击链接 加群。 🎉专栏推荐: 点…

指针进阶(1)(字符指针,指针数组,数组指针,函数指针)

目录 前言: 字符指针 TIP: 指针数组 数组指针 概念辨析 形式辨析 数组名的理解: 数组指针如何使用? 二维数组的传参 函数指针 函数的地址: 函数指针的形式 函数指针的作用 关于函数指针一些奇特的点 前言&…

Java基础知识 之 java Applet 小训练

import java.applet.Applet; import java.awt.*; import java.util.Random;import static java.lang.Math.cos; import static java.lang.Math.sin;public class HelloWorldApplet extends Applet {public void paint(Graphics g) {// 将Graphics对象转换为Graphics2D类型java.…

Linux 系统编辑 --文件IO

目录 1.文件 IO 1.1系统调用 1.2 C 标准库文件 IO 函数 1.3 open/close 函数 1.4 文件描述符表 1.7 read/write 函数 1.8 缓冲区 1.9 错误处理函数 2.0 阻塞、非阻塞 2.1 lseek 函数 辅助学习资料 参考书 1 :《 Unix 环境高级编程》 W.Richard St…

MFC学习日记(二)——VS2012应用程序工程中文件的组成结构

上一篇我们用应用程序向导生成框架程序后,我们可以打开工程所在的文件夹看到以下以解决方案命名的文件夹,此文件夹中包含了几个文件和一个以工程名命名的子文件夹,这个子文件夹中又包含了若干个文件和一个res文件夹,创建工程时的选…

Vue2:axios解决跨域的问题(vue2没有config情况下)

在vue2上用axios发起Post模拟注册的时候,调用接口,提示报错: axios({method: post,url: http://1.12.254.80:8080/api/user/register,// url: /user/api/user/register,data: { // 请求体数据userAccount: userName,userPassword: pwd1,check…

离线环境下安装微软Visual Studio 2022 生成工具

1. 前言 最近,在学习cython的时候,需要安装windows下的C/C编译、链接工具。开始觉得传统的msvc太大了,想要尝试Mingw,但是都是编译错误。无奈之下,还是要安装msvc。 微软提供了Visual Studio 2022 Build Tools &…

MySQl数据库第五课 --------在SQl的简单命令--------学习学习

作者前言 欢迎小可爱们前来借鉴我的gtiee秦老大大 (qin-laoda) - Gitee.com ———————————————————————————— 目录 数据库的简单介绍 1.数据储存 2.数据库类型 (1).关系型数据库 (2).非关系型数据库…

大学英语六级相当于雅思考试多少分

雅思考试的难度,可以和大学英语六级进行对应,大家可以通过分数来基本确认雅思考试的难度系数。跟着小编来一起看看大学英语六级相当于雅思考试多少分? 英语六级相当于雅思多少分 大学英语六级和雅思没有直接的分数对应关系,一般大…

部署LVS+Keepalived高可用集群

目录 一、keepalived概述 1.1管理LVS负载均衡软件 1.2VRRP(Virtual Router Redundancy Protocol) 原理 二、keepalived服务的重要功能 2.1自动切换(failover) 2.2健康检查(health checking) 2.3高可用(HA&#x…

深度神经网络剪枝算法基础理论

非结构化剪枝可获得更高的剪枝率与精度,但是其非结构化特征带来的随机连接使得往往需要专门的软、硬件设计来支持其推理加速,而在现有的边缘硬件上难以满足其应用条件。鉴于此,目前在剪枝领域的研究多集中在结构化剪枝上,如图1.11…

RabbitMQ系列(22)--RabbitMQ优先级队列

前言:在购物系统中有一个订单催付的场景,如果客户在购物系统下单后在设定的时间内未付款那么就会给客户推送一条短信提醒,这是一个比较简单的功能,但是,商家对我们来说,肯定是要区分大客户和小客户的&#…

Xshell7/Xftp7 解决强制更新问题:要继续使用此程序,您必须应用最新的更新或使用最新版本

文章目录 一、背景二、解决方案方案一:重新安装(推荐)方案二:修改nslicense.dll文件(不推荐)方案三:修改系统时间(可选)Xshell.batXftp.bat 三、总结 一、背景 Xshell7/…

音频编码流程 ----- PCM编码为AAC格式

文章目录 1.音频编码流程2.编码函数API含义解释3.音频编码实战Demo PCM转AAC格式 1.音频编码流程 2.编码函数API含义解释 av_frame_make_writable 确保帧数据可写,尽可能避免数据复制.如果帧可写,则不执行任何操作,如果不可写,则…

ssm整合shiro安全框架 前后端分离项目

上一篇文章我们使用ssm整合了shiro安全框架前后端没有进行分离 本篇文章在上一章的项目基础上进行前后端代码分离操作 一、根据账号和密码登录后前后端代码分离🍉 (1)定义一个统一的json类 统一返回的格式🥝 package com.lzq.vo;import lombok.AllArg…

免费开源 | 基于SpringBoot的博客系统

介绍 基于springboot后端架构,websocket实现私信,前端采用thymeleafbootstraplayuiRedis 注册使用邮箱验证注册,且验证码存在redis中,所以需要有redis环境 软件架构 springbootwebsocketthymeleafbootstraplayuiRedismysql 8.…