• 主要通过计算不同时间段内同一类用户特征的分布的差异来评估

• 常用的特征稳定性的度量有Population Stability Index (PSI)
• 当两个时间段的特征分布差异大，则PSI大
• 当两个时间段的特征分布差异小，则PSI小

3. PSI和IV对比

• IV是评估好坏用户分布差异的度量
• PSI是评估两个时间段特征分布差异的度量
• 都是评估分布差异的度量，并且公式其实一模一样，只是符号换了而已

2. 多特征筛选

1. 简介
当构建了大量特征时，接下来的调整就是筛选出合适的特征进行模型训练
过多的特征会导致模型训练变慢，学习所需样本增多，计算特征和存储特征成本变高

2. 方法

• 星座特征
• Boruta
• 方差膨胀系数
• 后向筛选
• L1惩罚项
• 业务逻辑

2.1 星座特征

1. 简介

星座是公认没用的特征，区分度低于星座的特征可以认为是无用特征

2. 步骤

• 把所有特征加上星座特征一起做模型训练
• 拿到特征的重要度排序
• 多次训练的重要度排序都低于星座的特征可以剔除

2.2 Boruta

1. 简介

• Boruta算法是一种特征选择方法，使用特征的重要性来选取特征
  • 网址：https://github.com/scikit-learn-contrib/boruta_py
  • 安装：pip install Boruta

2.原理

• 创建阴影特征 (shadow feature) : 对每个真实特征R，随机打乱顺序，得到阴影特征矩阵S，拼接到真实特征后面，构成新的特征矩阵N = [R, S].
• 用新的特征矩阵N作为输入，训练模型，能输出feature_importances_的模型，如RandomForest， lightgbm，xgboost都可以得到真实特征和阴影特征的feature importances,
• 取阴影特征feature importance的最大值S_max，真实特征中feature importance小于S_max的，被认为是不重要的特征
• 删除不重要的特征，重复上述过程，直到满足条件

3. 应用

import numpy as np 
import pandas as pd 
import joblib 
from sklearn.ensemble import RandomForestClassifier 
from boruta import BorutaPy 
#加载数据 
pd_data = joblib.load('data/train_woe.pkl') pd_data

#处理数据，去掉id 和 目标值 
pd_x = pd_data.drop(['SK_ID_CURR', 'TARGET'], axis=1) 
x = pd_x.values # 特征 
y = pd_data[['TARGET']].values # 目标 
y = y.ravel() # 将多维数组降位一维

• 使用Boruta，选择features

# 先定义一个随机森林分类器 
rf = RandomForestClassifier(n_jobs=-1, class_weight='balanced', max_depth=5) 
''' 
BorutaPy function 
estimator : 所使用的分类器 
n_estimators : 分类器数量, 默认值 = 1000 
max_iter : 最大迭代次数, 默认值 = 100 
''' 
feat_selector = BorutaPy(rf, n_estimators='auto', random_state=1, max_iter=10) 
feat_selector.fit(x, y)

• 展示选择出来的feature

dic_ft_select = dict() 
# feat_selector.support_ # 返回特征是否有用，false可以去掉 
for ft, seleted in zip(pd_x.columns.to_list(), feat_selector.support_): 
	dic_ft_select[ft] = seleted 
pd_ft_select = pd.DataFrame({'feature':pd_x.columns.to_list(), "selected": feat_selector.support_}) 
pd_ft_selec

2.3 方差膨胀系数 （VIF）

• 方差膨胀系数 Variance inflation factor (VIF)
• 如果一个特征是其他一组特征的线性组合，则不会在模型中提供额外的信息，可以去掉
• 评估共线性程度：

2. 计算 

• VF计算：

• VIF越大说明拟合越好，该特征和其他特征组合共线性越强，就越没有信息量，可以剔除

3 应用

• 加载数据

import numpy as np 
import pandas as pd 
import joblib 
from statsmodels.stats.outliers_influence import variance_inflation_factor 
pd_data = joblib.load('./train_woe.pkl') #去掉ID和目标值 
pd_x = pd_data.drop(['SK_ID_CURR', 'TARGET'], axis=1)

• 计算方差膨胀系数

#定义计算函数 
def checkVIF_new(df): 
	lst_col = df.columns 
	x = np.matrix(df) 
	VIF_list = [variance_inflation_factor(x,i) for i in range(x.shape[1])] 
	VIF = pd.DataFrame({'feature':lst_col,"VIF":VIF_list}) 
	max_VIF = max(VIF_list) print(max_VIF) 
	return VIF 
df_vif = checkVIF_new(pd_x) 
df_vif

• 选取方差膨胀系数 > 3的features

df_vif[df_vif['VIF'] > 3]

2.4 RFE 递归特征消除 (Recursive Feature Elimination)

• 使用排除法的方式训练模型，把模型性能下降最少的那个特征去掉，反复上述训练直到达到指定的特征个数

6.2 api

sklearn.feature_selection.RFE

6.3 应用

• 加载数据

import numpy as np 
import pandas as pd 
import joblib from sklearn.feature_selection 
import RFE from sklearn.svm 
import SVR pd_data = joblib.load('data/final_data.pkl') 
pd_data

• 特征，目标提取

pd_x = pd_data.drop(['SK_ID_CURR', 'TARGET'], axis=1) 
x = pd_x.values 
y = pd_data[['TARGET']].values 
y = y.ravel()

• 使用RFE，选择features

#定义分类器 
estimator = SVR(kernel="linear") 
selector = RFE(estimator, 3, step=1) # step 一次去掉几个特征 
selector = selector.fit(x, y) 
#展示选择参数 
dic_ft_select = dict() 
for ft, seleted in zip(pd_x.columns.to_list(), selector.support_): 
	dic_ft_select[ft] = seleted 
pd_ft_select = pd.DataFrame({'feature':pd_x.columns.to_list(), "selected": selector.support_}) 
pd_ft_select

2.5 基于L1的特征选择 (L1-based feature selection)

1. 简介

• 使用L1范数作为惩罚项的线性模型(Linear models)会得到稀疏解：大部分特征对应的系数为0
• 希望减少特征维度用于其它分类器时，可以通过 feature_selection.SelectFromModel 来选择不为0的系数
  • 特别指出，常用于此目的的稀疏预测模型有 linear_model.Lasso（回归）， linear_model.LogisticRegression 和 svm.LinearSVC（分类）
     

7.3 应用

from sklearn.svm import LinearSVC 
from sklearn.datasets import load_iris 
from sklearn.feature_selection import SelectFromModel 
iris = load_iris() X, y = iris.data, iris.target 
X.shape

lsvc = LinearSVC(C=0.01, penalty="l1", dual=False).fit(X, y) 
model = SelectFromModel(lsvc, prefit=True) 
X_new = model.transform(X) 
X_new.shape

3. 内部特征的监控

• 特征稳定性
  • 大多数情况下，随着业务越来越稳定，缺失率应该呈现逐渐降低的趋势
  • 如下表所示，Week3缺失率突然增加到28%，大概率是数据采集或传输过程出问题了
  • PSI，特征维度的PSI如果>0.1可以观察一段时间

3.2 后端监控（放款之后）

• 特征区分度
  • AUC/KS 波动在10%以内
  • KS 如果是线上A卡 0.2是合格的水平
  • IV值的波动稍大可以容忍，和分箱相关，每周数据分布情况可能不同，对IV影响大一些

分箱样本比例：

分箱风险区分：要重视每个特征的风险趋势单调性

• 每一箱 的bad_rate有波动，容忍度相对高一些
• 要高度重视不同箱之间风险趋势发生变化，如分箱1，分箱2，在week2和week3 风险趋势发生了变化
• 如果风险趋势单调性发生变化，要考虑特征是不是要进行迭代

4. 外部特征评估

4.1 数据评估标准

• 覆盖度、区分度、稳定性

4.2 使用外部数据注意事项

1. 避免未来信息

• 使用外部数据的时候，可能出现训练模型的时候效果好，上线之后效果差
  • 取最近一个时间周期的数据
  • 之前3~4个月或者更长时间的数据做验证，看效果是不是越来越差

2. 外部数据覆盖度计算

• 交集用户数 / 内部用户数
• 外部数据选择
  • 如果外部数据免费，那么全部调用，但付费的三方数据要在有必要的时候在调用
  • 在计算外部数据覆盖度前，首先应该明确什么客群适合这个第三方数据
  • 内部缺少数据且这个第三方数据能提升区分度，那这个第三方数据才有用
• 覆盖度 = 交集用户数 / 内部目标客群

3. 避免内部数据泄露

• 如果需要把数据交给外部公司，让对方匹配一定要将内部信息做Hash处理再给对方匹配

• 匹配上的是共有的数据，匹配不上的外部无法得知其身份

 4. 避免三方公司对结果美化

• 内部自己调用接口测覆盖度直接调用即可
• 如果是把样本交给外部公司让对方匹配，一定要加假样本
  • 这样他们只能匹配出结果，但无法得知真实的覆盖度
  • 只有内部公司能区分出真假样本，从而计算出真实覆盖度
  • 如果覆盖度高于真实样本比例，说明结果作假

5. 评分型外部数据

• 区分度和稳定性的分析方法同单特征的分析一样
• 区分度：AUC, KS, IV, 风险趋势
• 稳定性: PSI

6. 模型效果

• 内部特征训练的模型效果 vs 内部特征+外部特征训练的模型效果
  • AUC有 2~3个点的提升就很好了

7. 黑名单型外部数据

• 使用混淆矩阵评估区分度

• Precision: 外部命中的尽可能多的是内部的坏客户

• Recall: 内部的坏客户尽可能多的命中外部名单

8. 回溯性

• 外部数据是否具有可回溯性无法得知，所以尽可能取最近的样本去测
  早期接入数据后要密切关注线上真实的区分度表现