多重共线性是指多元回归模型中有两个或两个以上的自变量，它们之间具有高度的相关性。当某些特征高度相关时，我们可能很难区分它们对因变量的个体影响。多重共线性可以使用各种技术来检测，其中一种技术是方差膨胀因子（VIF）。
在VIF方法中，我们选择每个特征并将其与所有其他特征进行回归。对于每个回归，因子计算如下：
其中，R平方是线性回归中的决定系数。它的值介于0和1之间。
正如我们从公式中看到的，R平方的值越大，VIF越大。因此，VIF越大，相关性越强。这与较高的R平方值表示较强的共线性的事实一致。通常，VIF高于5表示高多重共线性。
使用statmodels实现VIF：
statsmodels提供了一个名为variance_inflation_factor()的函数来计算VIF。
语法：statmodels.stats.outliers_influence.variance_inflation_factor（exog，exog_idx）
主要参数：
exog：一个数组，包含对其执行线性回归的特征。
exog_idx：要测量其对其他特征的影响的附加特征的索引。
示例：
下例中使用的数据集包含500人的身高、体重、性别和体重指数。这里的因变量是指数。
import pandas as pd
# the dataset
data = pd.read_csv('BMI.csv')
# printing first few rows
print(data.head())
输出
Gender Height Weight Index
0 Male 174 96 4
1 Male 189 87 2
2 Female 185 110 4
3 Female 195 104 3
4 Male 149 61 3
方法：
- 每个特征索引都被传递给variance_inflation_factor()以找到相应的VIF。
- 这些值以Pandas DataFrame的形式存储。
from statsmodels.stats.outliers_influence import variance_inflation_factor
# creating dummies for gender
data['Gender'] = data['Gender'].map({'Male':0, 'Female':1})
# the independent variables set
X = data[['Gender', 'Height', 'Weight']]
# VIF dataframe
vif_data = pd.DataFrame()
vif_data["feature"] = X.columns
# calculating VIF for each feature
vif_data["VIF"] = [variance_inflation_factor(X.values, i)
for i in range(len(X.columns))]
print(vif_data)
输出
feature VIF
0 Gender 2.028864
1 Height 11.623103
2 Weight 10.688377
正如我们所看到的，身高和体重具有非常高的VIF值，表明这两个变量高度相关。这是预料之中的，因为一个人的身高确实会影响他们的体重。因此，将这两个特征一起考虑会导致具有高多重共线性的模型。
