模型可解释性汇总
现有许多机器学习模型,尤其是深度学习模型,虽然他们的预测效果很好,但不具备很强的解释性,难以解释模型内部是如何作出决策的。这确实会带来很多问题:
-
信任度问题。如果一个模型无法解释自身,人们很难 100%信任它。这对于一些重要应用场景如医疗诊断来说尤其重要。
-
透明度问题。模型不能解释自身,就无法满足许多国家/机构对算法透明度和公平性的要求。
-
调试问题。如果模型出错了,我们无法根据内部机理找到问题所在,进行有针对性的修正。
-
性能问题。如果无法理解模型 bias 是如何影响结果的,就难以针对特定任务进行更好的优化。
-
开发问题。缺乏解释性意味着模型设计过程更加依靠试错,效率相对较低。
所以您说得对,解释性弱是当前机器学习的一个重要挑战。解决它需要我们在模型、算法和应用层面进行努力,例如提出更易解释的模型结构,采用可解释 AI 技术等。只有解释性强、可信赖的算法,才能真正推广应用和解决更多复杂问题。这将是未来该领域一个重要研究方向。
文章目录
六大可解释性技术
- 一、Partial Dependence Plot (PDP)
- 二、Individual Conditional Expectation (ICE)
- 三、Permuted Feature Importance
- 四、Global Surrogate
- 五、Local Surrogate (LIME)
- 六、Shapley Value (SHAP)
- 总结
一、Partial Dependence Plot (PDP)
Partial Dependence Plot(PDP)是机器学习模型解释技术中的一个重要方法。
Partial Dependence Plot用于可视化模型输出对单个或多个特征的部分依赖关系。它可以解释某个特征对结果的影响,而不是特征间的交互作用。
具体来说:
-
PDP 固定所有特征值,除了选定的那个(些)特征。
-
然后计算该(些)特征取不同值时,模型输出的平均值。
-
这些平均值的曲线就形成了Partial Dependence Plot图。
使用PDP可以查看:
-
一个特征值区间内,模型输出如何变化。
-
找到特征影响模型输出的“阈值区间”。
-
比较不同特征对结果的单独贡献。
PDP具有很好的可解释性,能直观展示特征单独对应模型输出变化趋势,被广泛应用于树系和神经网络模型解释中。但是它忽略了特征间交互影响,只反映部分依赖关系。
总体来说,PDP是一种重要的可视化分析技术,能有效解释模型中特征对结果的影响,但也存在一定限制。它有助于判断模型行为和建立用户信任
上面图中，X轴表示特征 F0 的值，Y轴表示预测值。阴影区域中的实线显示了平均预测如何随着 F0 值的变化而变化。PDP能很直观地显示平均边际效应，因此可能会隐藏异质效应。
-
例如，一个特征可能与一半数据的预测正相关，与另一半数据负相关。那么PDP图将只是一条水平线。
二、Individual Conditional Expectation (ICE)
ICE和PDP非常相似，但和PDP不同之处在于，PDP绘制的是平均情况，但是ICE会显示每个实例的情况。ICE可以帮助我们解释一个特定的特征改变时，模型的预测会怎么变化。
ICE(Individual Conditional Expectation)和PDP(Partial Dependence Plot)实际上是近似可以用来解释模型预测结果的两个技术。
ICE和PDP的主要区别如下:
-
PDP绘制的是随着某个特征值变化,模型预测结果平均值的变化曲线。它显示的是总体趋势。
-
而ICE针对每个单独样本,绘制的是这个样本随特征值改变时,模型预测结果的变化曲线。它显示的是个体层面的变化情况。
这就导致ICE可以:
-
对单个样本进行解释,帮助分析这个样本的预测结果为什么会这样。
-
剔除平均值的 smoothed 影响,更细粒度地观察特征对预测的影响。
-
查看是否存在个别样本的异常行为。
所以总体来说:
- PDP用于观察总体规律
- ICE更侧重于个别样本,可实现更细粒度的解释
ICE利用个体层面信息,在解释模型预测结果时比PDP提供了更丰富的细节。它们都有各自的使用场景,互相补充,对提升模型解释能力都很重要。
与PDP不同，ICE曲线可以揭示异质关系。但其最大的问题在于：它不能像PDP那样容易看到平均效果，所以可以考虑将二者结合起来一起使用。
三、Permuted Feature Importance
Permuted Feature Importance确实是一种通过特征值打乱检查特征对模型预测贡献的重要性计算方法。
具体来说:
-
Permuted Feature Importance通过对每个特征值进行打乱,从而破坏这个特征与label之间的关系。
-
然后计算随机打乱前后模型的预测性能差异,如AUC差异等。
-
预测性能下降越大,说明这个特征原本对预测贡献越大,它的重要性就越高。
与其他方法如特征选择比重不同,Permuted Feature Importance的计算思路是:
- 通过打乱特征来模拟这个特征“不存在”的情况
- 判断没有这个特征时,模型表现如何变化
- 表现下降幅度就代表这个特征的贡献程度
它可以给出每个特征的相对重要性,有助于解释模型中每个特征对结果的影响。
Permuted Feature Importance是一种重要且直观的特征重要性衡量方法,有助于解释模型预测中的特征贡献程度关系。
特征f2在特征的最上面，对模型的误差影响是最大的，f1在shuffle之后对模型却几乎没什么影响，生息的特征则对于模型是负面的贡献。
四、Global Surrogate
Global Surrogate方法是一种很好的可解释模型近似方法。
Global Surrogate的工作流程和原理如下:
-
先使用复杂难解释的"黑箱模型"对数据集进行预测。
-
然后在原始数据集和黑箱模型预测结果基础上,训练一个解释性较强的"替身模型"。
-
这个替身模型由于模型 simpler 和更具解释性,我们可以使用技术如PDP等解释它的预测规则。
-
因为替身模型能够很好地近似黑箱模型的表现,那么它的解释结果也能在一定程度上反映黑箱模型的内在机制。
通过这样一个易解释模型来近似复杂模型的预测结果和过程,从而实现对原始难解释模型的解释。
Global Surrogate由于采用替身模型,可以很好地平衡预测性能和解释性之间的权衡。
-
代理模型可以是任何可解释的模型：线性模型、决策树、人类定义的规则等。
使用可解释的模型来近似黑盒模型会引入额外的误差，但额外的误差可以通过R平方来衡量。
-
由于代理模型仅根据黑盒模型的预测而不是真实结果进行训练，因此全局代理模型只能解释黑盒模型，而不能解释数据。
五、Local Surrogate (LIME)
LIME与Global Surrogate在解释模型预测时存在重要差异:
-
Global Surrogate是训练一个全局替身模型来近似原始难解释模型的全局预测表征。
-
而LIME的思路是,对每个预测结果单独地训练和解释,它不尝试解释整个模型。
-
更具体地说,LIME通过对样本附近数据点进行随机扰动,观察样本被分类为各类别的概率变化。
-
从这些变化中获得独立预测结果的“局部解释”。
所以:
- Global Surrogate注重全局趋势近似
- LIME注重单个预测结果的局部因素分析
LIME的思路更细粒度,可以获得每个预测背后的不同特征影响,但解释范围局限在单个样本。
上面左边的图像被分成可解释的部分。然后，LIME 通过“关闭”一些可解释的组件（在这种情况下，使它们变灰）来生成扰动实例的数据集。对于每个扰动实例，可以使用经过训练的模型来获取图像中存在树蛙的概率，然后在该数据集上学习局部加权线性模型。最后，使用具有最高正向权重的成分来作为解释。
六、Shapley Value (SHAP)
Shapley值源于博弈论,通过将特征看作“博弈者”,基于机会公平性的思想来解释每个特征对预测结果的贡献。
您总结得特别好:
- 每个特征在各子集中做出的增量贡献称为边缘贡献
- Shapley值是其所有边缘贡献的加权平均
- Shapley值拥有加性性质,之和等于真实预测值减去基线预测
这一加性、可解释性非常强的性质,使 shapley值成为解释模型一个优秀而独特的方法:
- 可以清晰地分解每个特征的独立贡献
- 叠加后恰好等于最终预测值
- 符合公平性和经济学中的游戏论解释
该图显示了每个特征的Shapley值，表示将模型结果从基础值推到最终预测的贡献。红色表示正面贡献，蓝色表示负面贡献。
总结
机器学习模型的可解释性是机器学习中一个非常活跃而且重要的研究领域。本文中我们介绍了6种常用的用于理解机器学习模型的算法。
