叮咚，信贷年终总结的又一个专题来了，作为报告总结类的系列型文章，近期我们番茄知识星球平台陆续发布了相关年终总结专题，依次为客群特征画像、贷中行为分析、贷后逾期表现等，以上文章可详见之前陆续发布的内容。该业务场景不仅涉及贷前贷中贷后的典型分析环节，而且还有专项描述风控体系的策略与模型。同时，每篇文章兼顾了业务介绍与案例实操，将理论知识、样例实践有效结合起来，便于大家能够更全面理解信贷总结的重点内容。
今天的专题文章将聚焦在“信贷产品年终总结之风控评分模型”，重点来介绍贷前申请评分模型（A卡）在历史数据的效果表现，从而客观评价模型区分度与稳定度的整体性能。在具体内容介绍过程中，我们将以实例模型分析为主线，围绕测试样本数据来描述模型对象在不同维度的效果与能力，例如好坏用户的区分度、时间窗口的稳定性、客户分层的有效性等。
在展开样例分析之前，我们简单熟悉下评分模型在贷前风控流程的重要价值，可以认为模型是信贷风控体系必不可少的模块，尤其是申请评分卡模型（A卡）是各信贷产品经常采用的形式。模型在应用层面上可以理解为是一种策略规则，但由于模型与策略在开发复杂度、特征丰富度、信息饱满度等方面有较大区别，因此模型在实际场景中往往以独立模块来对待。在贷前风控的决策流程中，模型与策略相互协调配合，构成风控决策有效的风险审核机制，二者虽然加工过程有较大差异，但识别风险且决策目标是一致的，相应示意描述如图1所示。
图1 贷前风控决策流程
1、实例样本描述
本文选取的实例样本均为具有贷后表现的存量用户数据，包含40000条样本与4个字段，部分数据样例如图2所示。其中，id为客户订单号，且主键唯一；date为放款时间，窗口范围202101～202112；score为A卡模型分数，取值范围300～700；flag为贷后违约标签，1/0分别代表是/否。
图2 样本数据样例
我们先来简单了解下模型分数score的极值大小，以及在全年时间窗口date的分布形态，具体实现过程如图3所示，输出可视化结果分别图4所示。由图可知，模型score主要集中在分数433～483区间段，整体分布并未呈现出标准的正态形式，当然这并非说明模型应用效果不好，而是实际业务的一种客观数据体现。此外，模型分数score的最大值、最小值、平均值依次为647、373、481。
图3 模型分布形态实现
图4 模型分布可视化
由于样本时间窗口为202101~202112全年12个月，通过图5分析过程可以从整体上了解不同月份的用户数量情况，具体可视化分布结果如图6所示，可见每月放款用户量的规模大小较为稳定。
图5时间窗口用户量分析
图6 时间窗口用户量分布
2、样本坏账分析
由于实例样本的特征标签flag代表违约表现，取值0/1直接反映出用户的好坏情况。因此，通过样本用户群体的好坏分布，可以了解贷前风控体系的综合效果，从而体现出策略与模型的决策性能。我们以不同月份时间窗为参考维度，来简单分析下各月份的坏账率变化趋势，样本坏账率badrate的分析过程如图7所示，输出明细结果数据如图8所示，相应可视化分布如图9所示。
图7 样本坏账率分析
图8 样本坏账率明细
图9 样本坏账率可视化
由以上分析结果可知，样本在全年所有月份的平均坏账率为36.3775%，各个月份表现基本在此数值附近，指标的整体变化趋势较为稳定，其中坏账率最高的月份为202103（37.1%），坏账率最低的月份为202107（35.3%）。
3、模型评级分布
评分模型在贷前环节的应用机制，往往是根据某个阈值进行判断并决策，当然这个阈值是在建模过程经过分析确定的。举个例子，当申请用户的模型score小于300时采取拒绝，否则予以通过走后续审核环节。对于存量用户且有贷后表现的样本数据，无需再次围绕某个阈值进行决策，但从客户管理方面考虑，我们可以将样本用户群体的模型分数采取分段形式表示，按照分数高低划分多个风险等级（例如A/B/C/D/E）,从而可以量化分析模型评级的风险程度差异。此外，模型评级也可用于客户价值度管理，为后期的精准营销提供理论依据与数据参考。
针对样本用户数据，我们通过模型分数score来进行风险等级划分，具体实现过程详见知识星球代码详情，将用户群体分为A/B/C/D/E共5个等级，风险从低到高。同时，我们在不同评级维度下汇总相应的好坏用户数量、坏账率等指标，输出结果如图11所示。
图11 模型评级分布
通过以上结果可知，按照模型分数转换得到的模型评级，对于各风险类型的用户群体有较明显区分效果，从A到E的风险等级升高，对应坏账率（bad_pct）同步增大，且数值跨度较为显著，可视化分布如图12所示。同时，各评级类型的样本群体占比均有一定规模（12.725%~23.3%），进一步体现了模型score对用户群体分层的有效性与合理性。
图12 模型评级坏账表现
由上图结果可以了解到，模型评级C对应的坏账率为36.73%，与所有用户的整体坏账率36.3775%较为接近，因此评级D与E属于坏用户群体，尤其是等级E相应的坏账率达到50.97%，因此了解此类用户群体的变化情况，在实际业务中非常必要。下面我们按照不同月份的时间窗维度，来汇总各个月份评级D与E的分布情况，具体实现过程详见知识星球代码详情，输出数据结果分别如图14、15所示。
图14 模型评级E分布结果
图15 模型评级D分布结果
从以上结果可知，高风险E/D等级用户群体在各个月份的占比大小分别稳定在22.5%、23.2%附近，没有较明显的波动节点。在实际业务场景中，此类用户群体由于风险表现较高，后期二次营销的价值度很低，但从风控体系优化的角度考虑，可以从中挖掘高风险的特征表现，从而为风控策略或模型的调整提供有价值的数据参考。
4、模型稳定性能
风控模型在应用实践中，除了重点分析模型的区分度，还要考虑模型的稳定度，若模型在不同时间窗口有较大波动，会直接影响业务的通过率、风控的准确率等，因此研究分析模型的稳定性能显得至关重要。本文根据时间维度date，按3个月间隔单位将全年12个月划分为4个时间窗口，分别为Time1（202101202103）、Time2（202104202106）、Time3（202107202109）、Time4（202110202112），我们依次分析Time1~Time4时间窗样本相互之间的稳定性能，这里采用PSI指标来展开量化分析。
为了便于分析，我们将模型分数score划分为10个区间bin01~bin10，然后分别统计各个Time时间窗的样本区间占比，从而可以算出样本分布的PSI指标，具体实现过程详见知识星球代码详情，由于各样本之间稳定性分析的原理逻辑一致，这里以Time1与Time2的分析过程作为样例，更多详情参见本文附带代码。
通过以上分析过程，可以得到时间窗Time1与Time2样本评分的PSI分布结果，其中PSI=(pct1-pct2)*ln(pct1/pct2)，具体数据如图18所示，相应样本模型评分的整体PSI=0.0019，远低于实际业务通常采用的稳定性判断阈值0.1，说明两个时间窗样本评分的稳定性表现较好。按照以上Time1与Time2对比分析逻辑，我们可以同理得到Time1~Time4时间窗样本相互之间的评分PSI值，具体结果如图19所示，可见模型评分在各个时间窗口均表现稳定。
图18Time1&Time2评分PSI
图19不同Time时间窗评分PSI
综合以上内容，我们围绕实例样本数据，通过实操详细介绍了评分模型的综合性能表现，包括风险量化的区分度、客户评级的有效性、时间窗口的稳定性等，客观描述了风控评分模型的整体决策优势，在实际场景中对于风控审批、客户分层、精准营销等方面具有非常重要的意义。为了便于大家对风控评分模型应用分析的进一步了解与熟悉，本文额外附带了与以上内容同步的python代码与样本数据，详情请移至知识星球查看相关内容。
…
~原创文章
