Linear Regression多重共线性

news2024/12/26 2:27:16

目录

介绍:

一、 corr

​二、pairplot 

三、VIF

3.1自带vif

 3.2自定义函数vif

四、heatmp(直观感受)

介绍:

多重共线性是指在线性回归模型中,自变量之间存在强相关性或线性关系,从而导致模型的稳定性和可解释性受到影响。

在线性回归中,我们希望自变量与因变量之间有一定的线性关系,且自变量之间尽可能不相关,这样可以更好地解释因变量的变化。然而,当自变量之间存在强相关性时,模型很难区分各自变量对因变量的独立贡献,导致估计结果不准确。

多重共线性会对线性回归模型产生以下影响:
1. 估计值不稳定:由于自变量之间存在强相关性,小的变动可能导致估计值发生较大变化,使得模型不稳定。
2. 估计值偏离:多重共线性会导致估计值偏离真实值,造成参数估计的失准。
3. 可解释性下降:由于自变量之间存在强相关性,我们无法准确判断每个自变量对因变量的独立贡献,从而降低了模型的可解释性。

为了解决多重共线性问题,可以采取以下方法:
1. 使用岭回归或Lasso回归:这些方法通过对系数加上惩罚项,可以减小系数估计值的方差,从而减轻多重共线性带来的影响。
2. 特征选择:通过选择具有较高解释性和较低相关性的自变量,可以降低多重共线性的影响。
3. 增加样本量:增加样本量可以减小参数估计的方差,从而降低多重共线性的影响。

总之,多重共线性是线性回归模型中常见的问题,会影响模型的稳定性和可解释性。通过合适的方法处理多重共线性,可以改善模型的效果并得到准确的估计结果。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns#多元共线性是指多元回归模型中两个或多个变量高度线性相关的情况,当回归模型中的自变量相互关联时,就会出现多重共线性,因为自变量应该是独立的,如果变量之间的相关程度足够高,那么在拟合模型和解释结果时就会出现问题
df=pd.read_csv('50_Startups.csv')
df.head()

 

一、 corr

df.corr()#相关性

X=X1=df.iloc[:,:-2]#取前三行为自变量
X.head()

 二、pairplot 

sns.pairplot(X)#两两对比,可以看到R&D Spend和Marketing Spend相关性高

 

三、VIF

3.1自带vif

from statsmodels.stats.outliers_influence import variance_inflation_factor
variance_inflation_factor(X.values,0)#第一项的共线性
#结果:8.384570754559961
variance_inflation_factor(X.values,1)#第二项的共线性
#结果:4.0264055178945535
variance_inflation_factor(X.values,2)#第三项的共线性
#结果:7.593983592680924

 3.2自定义函数vif

def vif(X):
    vif=pd.DataFrame()
    vif["variables"]=X.columns
    vif["VIF"]=[variance_inflation_factor(X.values,i) for i in range(X.shape[1])]
    return(vif)

vif(X)#共线性分析

X=X.drop('R&D Spend',axis=1)#去掉R&D Spend
vif(X)#共线性降低

四、heatmp(直观感受)

X1.corr()
sns.heatmap(X1.corr())#热图

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1322296.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

使用相关序列方法做相位校准(附仿真代码)

TI对天线幅相校准提出了标准的方法和流程,可参考这篇文档使用级联毫米波传感器的成像雷达参考设计1(TI文档)-CSDN博客的3.3节。这里使用自相关序列的方法来对相位做校准。 自相关(Autocorrelation),也叫序列…

Hypervisor Display架构

Hypervisor Display架构部分 1,所有LA侧的APP与显示相关的调用最终都会交由SurfaceFlinger处理 2,SurfaceFlinger会最终调用android.hardware.graphics.composer2.4-service服务 3,android.hardware.graphics.composer2.4-service服务会调用G…

http代理的静态ip如何实现YouTube运营?有何优势?

一、静态ip是什么?静态住宅ip有什么优势? 静态ip是指网络中某个设备(如计算机、路由器)拥有的永久不变的ip地址,它的ip地址在设备与网络连接后,由网络管理员手动配置或预留,并且不会轻易更改。…

紫光FPGA学习之常见报错

紫光pango design suite报错: 一、4005: [D:/**/rtl/burstORsingle.v(line number: 47)] Logic for ddr_head_addr_rr does not match a standard flip-flop. 看来看去都没有发现这个定义没有问题呀,检查发现: 原来代码: always…

2023本四前端社招面经

美团 全程问项目,根据项目提问,SEO优化方案,还出了一道动态规划的题 SEO优化方案 一、内部优化 META 标签优化:例如:TITLE,KEYWORDS,DESCRIPTION (TDK)等的优化 内部链接…

轻量封装WebGPU渲染系统示例<53>- 多盏灯灯光照在地面的效果

WebGPU实时渲染实现模拟多盏灯的灯光照在地面的效果灯光效果 。 当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/feature/material/src/voxgpu/sample/MultiLightsTest.ts 当前示例运行效果: 此示例基于此渲染系统实现,当前示例TypeScript源…

Java版直播商城规划:电商源码、小程序、三级分销与免 费搭建全攻略

【saas云平台】打造全行业全渠道全场景的saas产品,为经营场景提供一体化解决方案;门店经营区域化、网店经营一体化,本地化、全方位、一站式服务,为多门店提供统一运营解决方案;提供丰富多样的营销玩法覆盖所有经营场景…

git命令查看提交代码行数和次数

右键点击Git Bash Here 查看代码提交次数 git log --since2022-7-1 --before2022-8-1 --author"XXXX" --pretty%aN |sort |uniq -c | sort -k1 -n -r查看代码提交行数 git log --since2022-8-1 --before2022-9-1 --authorXXXX --prettytformat: --numstat |awk {add…

无锡市某厂区工人上岗未穿工作服,殒命车间 富维AI守护每位工友

2018年12月23日,凌晨6点半左右,江阴华士某铜业公司轧球车间内,独自上夜班的操作工朱某正在操作行车吊运一筐切好的铜粒,吊运完成后,他开始解除料筐上的吊具。就在这时,意外突然发生,他身上穿着的…

前端开发新趋势:Web3、区块链和虚拟现实

目录 前言 Web3:下一代互联网 区块链技术 去中心化应用程序(DApps) 区块链:重塑数字世界 数字钱包 NFT(非同质化代币) 虚拟现实:沉浸式体验 WebVR和WebXR 三维图形 新挑战与机会 性…

中海达加入通信行业首个“北斗+5G专业委员会”

12月12日,广东省通信学会“北斗5G专业委员会暨北斗5G产业联盟”在广州成立。中国电信广东公司、中海达、华为、中兴、高德、小米等52家成员单位代表共约100人参加大会。作为全国通信行业首个“北斗5G专业委员会”,旨在加强北斗5G自主创新,构建…

【Hive】——DQL

1 SELECT 1.1 语法 从哪里查询取决于FROM关键字后面的table_reference。可以是普通物理表、视图、join结果或子查询结果。 [WITH CommonTableExpression (, CommonTableExpression)*] SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE wh…

sqlserver-事物日志

文章目录 前言事务日志逻辑体系结构事务日志物理体系结构虚拟日志文件 (VLF)事务日志的循环性质日志截断事务日志备份事务日志支持的操作恢复个别的事务。启动事务时恢复所有未完成SQL Server事务。将还原的数据库、文件、文件组或页前滚至故障点。支持事务复制。支持高可用性和…

虾多拉:帮助Shopee卖家提升运营效果的强大工具

在如今的电商领域,Shopee已经成为了一家备受欢迎的在线购物平台。然而,面对激烈的竞争,卖家们需要找到一种方法来提升他们的运营效果,实现更高的销售额和利润。幸运的是,有一款名为虾多拉(Shopdora&#xf…

迅为RK3588开发板瑞芯微国产化工业ARM核心板AI人工智能

性能强 iTOP-3588开发板采用瑞芯微RK3588处理器,是全新一代AloT高端应用芯片,采用8nm LP制程,搭载八核64位CPU,四核Cortex-A76和四核Cortex-A55架构,主频高达2.4GHz,8GB内存,32GB EMMC。 四核心…

复旦团队提出思维交流框架EoT,由CoT到EoT,可跨模型通信,表现更出色

大型语言模型(LLM)通过利用庞大的训练语料和强大的计算资源,在众多 NLP 任务中表现卓越。然而,在理解和进行推理方面,这些模型仍显得相对薄弱,仅依靠增加模型的大小无法解决这一问题。 然而,现…

tcp/ip协议2实现的插图,数据结构5 (22 - 章)

(103) 103 二二1 协议控制块 结构 file, socket , rawcb , inpcb , tcpcb 之间的联系 (104) 104 二二2 回顾总结ip选项和 ip 多播一 ip_dooptions 中对源路由的处理 (105) 105 二二3 回顾总结ip选项和 ip 多播二 选项的定义图与源路由变化图 (106) 106 二二4 回顾总结ip选项和 …

微信小程序长按图片识别二维码

设置show-menu-by-longpress"true"即可&#xff0c;长按图片后会弹出一个菜单&#xff0c;若图片中包含二维码或小程序码&#xff0c;菜单中会有响应入口 <image src"图片地址" show-menu-by-longpress"true"></image>官方说明

Netty应用(七) ----MQTT编解码器

目录 0.前言1. MqttEncoder--编码器1.1 构造方法1.2 encodeConnectMessage -- 连接消息1.3 encodeConnAckMessage - 确认连接1.4 encodePublishMessage -- 发布消息1.5 encodeSubscribeMessage - 订阅主题1.6 encodeUnsubscribeMessage - 取消订阅1.7 encodeSubAckMessage - 订…