可解释性与公平性的关系

news2024/11/27 11:44:08

可解释模型更有可能公平的三个原因

在这里插入图片描述

可解释性和公平性似乎是相辅相成的。可解释性涉及理解模型如何进行预测。公平性涉及理解预测是否偏向某些群体。负责任的人工智能框架和机器学习会议始终将这两个特征一起提及。然而,可解释性并不一定意味着公平。

话虽如此,可解释的模型仍然更有可能是公平的。这种关联有 3 个主要原因。对于可解释的模型,更容易识别不公平的原因。在可解释的模型中纠正不公平也更容易。一些方法,例如证明解释,甚至依赖于可解释性。最后,这两个特征都与建立对 AI 系统的信任的目标相关。我们将深入讨论这些原因。

使用不可知论方法测量偏见

在深入探讨这些问题之前,让我们先讨论一下如何分析公平性。这也有助于我们理解为什么这不是可解释性和公平性相关的原因之一。通常,公平性的衡量标准与模型无关。这意味着它们可以用于任何模型。这包括线性回归和决策树等固有可解释的模型。它还包括随机森林甚至神经网络等不太可解释的模型。

在这里插入图片描述

准确度是衡量公平性的一个简单例子。具体来说,我们将比较模型对不同人群的准确度。这里的人群由种族或性别等敏感特征定义。如果某个人群的准确度明显较低,则表明该模型对该人群不公平。

要计算公平性指标,我们只需要模型的预测和实际目标变量。我们不需要研究模型本身的内部工作原理。这意味着,对于可解释的模型和不太可解释的模型,计算指标同样容易。换句话说,可解释性并不能让我们更容易理解一个模型是否不公平。问题是,这样的指标并不能告诉我们为什么一个模型不公平。

原因一:更容易识别不公平的原因

[造成不公平的原因](不公平的预测:机器学习中的 5 种常见偏见来源)各有不同其中包括用于训练模型的数据中的偏见。具体来说,历史偏见、代理变量和不平衡的数据集可能会导致不公平的预测。我们对算法的选择以及用户与模型的交互方式也会带来偏见。对于可解释的模型,识别这些来源更容易。

这是因为,对于可解释的模型,更容易理解模型的工作原理。这意味着我们清楚地了解哪些特征是重要的。我们还了解这些特征与目标变量之间的关系。通常,与神经网络等模型相比,算法和成本函数也简单得多。所有这些都让我们更容易找出导致模型不公平的原因。

在这里插入图片描述

与此原因相关的是模型的构建方式。通常,当您构建可解释的模型(例如线性回归)时,您最终会手工挑选 8 到 12 个模型特征的最终集合。您还将花时间使用该领域的领域知识将特征趋势与预期进行比较。实际上,在特征选择上投入了更多的思考。只要我们考虑到公平性,我们就可以在模型开发过程的早期提出问题。这意味着您甚至可以在将偏见引入模型之前识别出偏见来源。

原因 2:更容易纠正偏见

对于可解释的模型,纠正不公平现象也更容易。这部分源于上面讨论的第一个原因。我们采取的纠正不公平的方法可能取决于不公平的原因。由于更容易确定原因,因此更容易选择最佳方法来纠正它。例如,我们可以纠正不公平模型的方法之一是删除代理变量。这些特征与种族或性别等敏感特征高度相关。

在这里插入图片描述

随机森林等模型最多可以有 30-40 个特征。模型结构还允许特征之间的交互。这种复杂性使得很难理解任何代理变量与目标变量之间的关系。如果这种关系导致不公平的决策,就更难理解了。最终,决定删除哪些代理变量变得更加困难。

算法本身还可以进行其他修正。例如,我们可以调整成本函数以考虑公平性。这可能涉及添加惩罚参数来惩罚不公平的决策。换句话说,模型的目标不仅是做出准确的预测,而且是公平的预测。可解释模型的算法和成本函数通常更简单。这使得调整它们更容易。

确保公平的方法也可以超越上述定量方法。对抗不公平的一个重要方法是向用户提供预测的解释。然后让用户有权挑战这些预测。我们越了解模型的工作原理,就越容易以人性化的方式进行解释。换句话说,可解释性使得给出好的解释变得更容易。

原因 3:它们都是为了建立信任

最重要的原因是可解释性和公平性的共同目标。它们都是为了建立对人工智能系统的信任。这主要通过减少这些系统可能造成的伤害来实现。也就是说,我们不会相信我们认为会对我们造成伤害的东西。

我们更有可能相信我们理解的东西。此外,我们对某件事了解得越多,我们就越能确定它不会造成伤害。从这个意义上说,可解释性可以建立信任。公平的目标更直接。它旨在减少不公平决策带来的伤害。最终,一个关心人工智能系统信任的组织会同时关心可解释性和公平性。

在这里插入图片描述

这就是为什么您经常会在负责任的 AI框架中看到公平性和可解释性一起提及。这些治理框架旨在定义开发 AI 系统的道德准则和最佳实践。除了公平性和可解释性之外,这些框架还涵盖了安全性、保障性和隐私等主题。Google1、微软2和 IBM3 等公司都有自己的框架。他们明白,客户不会使用他们不信任的系统。

人工智能的发展为改善全球人民的生活创造了新的机会,从商业到医疗保健再到教育。它也提出了新的问题,即如何在这些系统中实现公平性、可解释性、隐私性和安全性。

— Google AI 谈 responsible AI practices4

出于类似的原因,公平性和可解释性是相关的研究主题。例如,下面您可以看到FAccT 2022会议论文的一些感兴趣领域。这是关于公平、问责和透明度的会议。公平性和可解释性是算法开发中提到的第一个主题。有兴趣减少人工智能系统危害的研究人员会对这两个主题感兴趣。

在这里插入图片描述

信任的需求是公平性和可解释性之间关系的真正驱动力。我们看到,可解释模型的特征也使这种关系更加紧密。在此过程中,我们触及了一些与公平相关的主题。即不公平的原因、分析公平和确保公平的方法。以下三篇文章深入探讨了这些主题。

不公平的预测:机器学习中的 5 种常见偏见来源

常见的偏见来源——历史偏见、代理变量、不平衡数据集、算法选择和用户交互

分析机器学习的公平性

进行探索性公平性分析,并利用平等机会、均等几率和不同的因素来衡量公平性……

纠正和防止机器学习中的不公平现象

预处理、处理中和处理后定量方法。以及非定量方法……

参考

Birhane, A., (2021)算法不公正:一种关系伦理学方法。https 😕/www.sciencedirect.com/science/article/pii/S2666389921000155

Pessach, D. 和 Shmueli, E., (2020),算法公平性。https 😕/arxiv.org/abs/2001.09784

Mehrabi, N.、Morstatter, F.、Saxena, N.、Lerman, K. 和 Galstyan, A., (2021),机器学习中的偏见和公平性调查。https 😕/arxiv.org/abs/1908.09635


希望这篇文章对你有所帮助!你还可以阅读我的其他文章,或者查看有关企业 AI 实战项目的教程,相信会让你拥有更多收获。

「AI秘籍」系列课程:

  • 人工智能应用数学基础
  • 人工智能Python基础
  • 人工智能基础核心知识
  • 人工智能BI核心知识
  • 人工智能CV核心知识

AI企业项目实战课优惠二维码


  1. Google, https://ai.google/responsibilities/responsible-ai-practices/ ↩︎

  2. 微软, https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1:primaryr6 ↩︎

  3. IBM, https://www.ibm.com/artificial-intelligence/ethics ↩︎

  4. Google, responsible AI practices, https://ai.google/responsibilities/responsible-ai-practices/ ↩︎

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2100075.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[米联客-XILINX-H3_CZ08_7100] FPGA程序设计基础实验连载-26浅谈XILINX FIFO的基本使用

软件版本:VIVADO2021.1 操作系统:WIN10 64bit 硬件平台:适用 XILINX A7/K7/Z7/ZU/KU 系列 FPGA 实验平台:米联客-MLK-H3-CZ08-7100开发板 板卡获取平台:https://milianke.tmall.com/ 登录“米联客”FPGA社区 http…

9、Django Admin优化查询

如果你的Admin后台中有很多计算字段,那么你需要对每个对象运行多个查询,这会使你的Admin后台变得非常慢。要解决此问题,你可以重写管理模型中的get_queryset方法使用annotate聚合函数来计算相关的字段。 以下示例为Origin模型的中ModelAdmin…

Spring6梳理5——基于XML管理Bean环境搭建

以上笔记来源: 尚硅谷Spring零基础入门到进阶,一套搞定spring6全套视频教程(源码级讲解)https://www.bilibili.com/video/BV1kR4y1b7Qc 目录 ①搭建模块 ②引入配置文件 ③创建BeanXML文件 ④创建Java类文件(User…

在K8s上运行GitHub Actions的自托管运行器

1:添加Actions Runner Controller的Helm仓库 helm repo add actions-runner-controller https://actions-runner-controller.github.io/actions-runner-controller helm repo update2:创建GitHub Personal Access Token (PAT) 登录到你的GitHub账户。访…

SQL语句(数据更新、查询操作)

数据库表操作 创建数据库语法格式 create table 表名(字段名1 类型 约束,字段名2 类型 约束,..... ..... )创建学生表,字段要求如下: 姓名(长度为10)、年龄、身高(保留2位小数) cre…

安卓shiply热更新入门

目录 一。我的开发环境 二。集成shiply热更新sdk 三。编写代码 1。创建一个CustomRFixLog类 2。创建一个MyApplication类 3。配置AndroidManifest.xml 4。创建一个新的Activity继承AbsRFixDevActivity 用于测试 四。登录shiply后台配置 1。创建项目 五。制作补丁 1。在app…

Ae关键帧动画基础练习-街道汽车超车

目录 1.让背景向左移动 2.让小红车匀速移动 3.实现小黄车的超车 完成街道汽车超车的一个简单动画,背景向左移动看起来就如同画面向右移动了一般,根据这个原理,可以完成这个动画。 导入素材时,要选择不同的图层,这样…

微软AD替代方案统一管理Windows和信创电脑的登录认证与网络准入认证

自国资委79号文明确了2027年底前信息系统全面国产化的目标后,金融单位、央国企集团及各子公司纷纷加大国产化改造力度。不少子、孙公司表示,集团要求到2024年底或2025年底国外的关键IT基础设施要停止使用,如微软AD、云桌面等。 信创国产化是大…

Mybatis链路分析:JDK动态代理和责任链模式的应用

背景 此前写过关于代理模式的文章,参考:代理模式 动态代理功能:生成一个Proxy代理类,Proxy代理类实现了业务接口,而通过调用Proxy代理类实现的业务接口,实际上会触发代理类的invoke增强处理方法。 责任链功…

艾体宝洞察丨透过语义缓存,实现更快、更智能的LLM应用程序

传统的缓存只存储数据而不考虑上下文,语义缓存则不同,它能理解用户查询背后的含义。它使数据访问更快,系统响应更智能,对 GenAI 应用程序至关重要。 什么是语义缓存? 语义缓存解释并存储用户查询的语义,使…

功率谱密度估计(Power Spectral Density Estimation, PSD)介绍,轴承磨损检测

介绍 功率谱密度估计(Power Spectral Density Estimation, PSD)是信号处理中的一项重要技术,用于描述信号在频率域中的能量分布。PSD提供了信号的功率随频率变化的情况,是分析随机信号和确定信号频率特性的常用工具。 功率谱密度…

美团代付支持多模板全开源多种支付通道 多模版三合一源码附教程

美团代付 支持多模板全开源多种支付通道 多模版三合一源码附教程 美团代付源码,支持多模板,全开源,多种支付通道,其它的就没什么好介绍的了,有兴趣的自行去体验吧。

驱动(RK3588S)第五课时:字符设备驱动编程

目录 一、操作系统的框架二、设备的类型三、什么是设备四、杂项字符设备的 API五、代码实现1、底层实现(内核)2、应用层代码3、交叉编译环境4、结果展示 一、操作系统的框架 二、设备的类型 硬件设备其实是分类型的: 字符设备:所…

TCP/IP 报文传输过程

目录 1. 概念理解2. 传输过程 原文回到 TCP/IP 强烈推荐下面博客,详细阐述了TCP/IP协议概念和传输过程 TCP协议详解 (史上最全) 1. 概念理解 2. 传输过程 以一个具体例子为例,如下图所示,由A 给 F 发送一个数据包整个过程是怎样的

Windows 安装 MySQL8

目录 前言 下载 安装 配置 连接 前言 一般数据库都是部署在 Linux 服务器上,在 Windows 上开发,通过数据库连接工具来连接数据库。在工作中,如果条件允许,会有单独的开发库给开发人员使用,否则开发人员就只能连接…

U盘损坏深度解析与高效数据恢复指南

一、U盘损坏现象初探 在数字化时代,U盘作为便捷的数据存储与传输工具,几乎成为了我们日常生活与工作中的必需品。然而,不少用户都曾遭遇过U盘损坏的困境,面对无法读取、文件丢失或系统提示错误等问题,往往感到束手无策…

【概率与统计 动态规划】 808. 分汤

本文涉及知识点 C动态规划 数学 概率与统计 LeetCode 808. 分汤 有 A 和 B 两种类型 的汤。一开始每种类型的汤有 n 毫升。有四种分配操作: 提供 100ml 的 汤A 和 0ml 的 汤B 。 提供 75ml 的 汤A 和 25ml 的 汤B 。 提供 50ml 的 汤A 和 50ml 的 汤B 。 提供 25…

Chapter 10 async函数 await关键字

欢迎大家订阅【Vue2Vue3】入门到实践 专栏,开启你的 Vue 学习之旅! 文章目录 前言一、async 函数二、await 关键字 前言 在现代 JavaScript 开发中,异步编程是一个重要的概念。随着 ES2017 的引入,async 函数和 await 关键字为处…

一文读懂Mysql连接数的基本知识

目录 前言1. 基本知识2. 常用命令 前言 原先写过一篇SQL Server的知识点,推荐阅读:Sql Server缓冲池、连接池等基本知识(附Demo) 其余知识点推荐阅读: java框架 零基础从入门到精通的学习路线 附开源项目面经等&…

Windows10上Nginx如何通过自签名证书方式发布Https服务(上)

背景 在Android开发中使用平板设备进行调试,Android版本是13。在调试中遇到一个这样的报错信息:“java.io.IOException: Cleartext HTTP traffic to 192.168.137.1 not permitted”,然后查了下报错原因是:应用正在尝试通过不安全的HTTP协议进行网络通信,而你的应用运行的环…