让机器解释自己：避免让偏见影响机器学习系统

2018年5月25日，“通用数据保护条例”（GDPR）在整个欧盟范围内生效，要求对组织如何处理个人数据进行彻底改变。若违反GDPR条例的限制，相关组织必须支付高达2000万欧元或其全球收入4％的罚款（以较高者为准），对威慑大多数违规行为具有很重要的意义。

由于不久前的剑桥分析丑闻闹得人心惶惶，许多人希望GDPR将成为全球数据隐私新标准的典范。目前一些行业领导者正在呼吁Facebook将GDPR标准应用于其在非欧盟国家的业务。

但隐私只是围关于数据驱动系统之争的一个方面，实际上机器学习支持系统的日益普及引发了一系列相关问题，包括一个对社会产生很大影响且无法量化的问题：偏见。

在我们的生活中，许多重要决策都是由某种系统做出的，很多系统都存在明显的偏见，无论这系统是人、机器还是二者的组合。机器学习在决策制度中的作用越来越大，这为我们提供了一个建立更少偏见的系统的机会，当然也面临着加剧这一问题的风险。

我们通常认为计算机比人类更客观、更公正。然而过去的几年里，许多机器学习系统产生了带有偏见或歧视的结果，人们对此也有着很多争议。2016年时ProPublica曾报道，美国法院用来衡量被告再次犯罪可能性的机器学习算法，在对比背景相似的黑人与白人被告时会认为黑人的“风险更高”，即使系统没有提供有关被告种族的任何数据也依然如此。

不久前一篇名为《关于模型可解释性的深入思考：从哪里来，到哪里去？》的文章中，曾详细介绍了学习出一个通用智能行动者的潜力和局限性，算法公平方面细微的以及可以被真正规范化的挑战。人们使用机器学习系统的目的是希望世界更公平、更有效率，而不是进一步放大人类的偏见。

这就是为什么GDPR允许用户可以要求解释机器任何“合法或类似重要”的决策，希望解释的权利能够使“算法歧视”的受害者诉诸人权，从而减轻这种偏见的影响。

但是生成这些类型的解释——即创造可解释的人工智能——是非常复杂的，而且即便系统对决策做出了解释，也有一些评论家认为“无法分辨它们是真的反对偏见，还是仅仅是掩饰偏见。”

可解释的人工智能以及GDPR是否会使技术更公平？如果不是，随着机器学习的使用变得更加普遍，我们还有什么替代方法可以防范偏见？

机器学习中的偏见

关于偏见的讨论常常被过分简化为诸如“种族主义算法”这样的词语，但其实问题不在于算法本身，而是数据研究团队提供给机器的数据。

例如，收集以往的数据是数据科学项目的一个共同起点，但“历史数据往往偏向于我们不希望转移到未来的方式，”加州大学伯克利分校电子工程与计算机科学学院助理教授、加州大学伯克利分校崛起实验室的创始人之一Joey Gonzalez说。

假设某公司建立了一个筛选求职者的机器学习模型，并基于公司过去筛选类似职位求职者的数据集对模型进行培训。如果该公司的HR曾多次拒绝过那些试图重返职场的前全职父母，则培训的结果很有可能会让模型也将这些存在长期就业缺口的人排除在外。

如果更进一步，这将导致模型过多的拒绝女性求职者（全职父母多为女性）从而造成性别比例失调，即使性别并不是模型培训数据集中的特征。因此在这一领域中，使用机器学习将进一步放大人类的偏见。

而这就是可解释的人工智能的用武之地。如果操作人员能够检查“推理”算法，就有可能在算法产生严重偏差之前进行纠正。

让机器解释自己

由于机器学习系统的行为由它学到的数据所驱动，所以它的工作方式与人们编写的标准计算机程序有很大不同。人们可以测量一个机器学习系统的准确性，但是对于这种系统实际做出决策的可见性是有限的。

（和人脑类似，人脑的思考是由特定区域内神经元的复杂放电而产生，但人们并不确切知道具体怎样的神经元活动会得出怎样的思考。所以当人们想验证决策正确性时并不会去扫描大脑，而是通过相关数据以及过往的经验判断。）

可解释的人工智能要求机器学习算法可以自己证明决策的正确性。华盛顿大学的研究人员在2016年构建了一种称为LIME的解释技术，并在由Google构建的图像分类神经网络Inception Network上进行了测试。

LIME在做出图像分类决策时，不会考虑触发神经网络中的哪个神经元，而是在图像本身中搜索解释。它会将原始图像的不同部分变黑，并通过Inception将产生的“扰动”图像反馈回来，以检查哪些扰动将算法抛离最远。

通过这种方法，LIME可以将初始网络分类决策归因于原始图片的特定特征。例如对于青蛙的图像，LIME发现抹除部分脸部会让初始网络很难识别图像，这表明最初的分类决策大多是基于青蛙的脸。

虽然像LIME这样的特征归属方法并不能完全解释算法的决策，并且在各种类型的机器学习模型上都不能工作的很好，但至少在图像分类方面，它朝着正确方向迈出了一步。

据了解，美国的人脸识别系统对黑人的面部识别远不如对白人那般精确（训练算法时用的图像多为白人），这增加了黑人被监控摄像误认导致被逮捕的可能性，严重者甚至会产生误判。更好的解释这些算法决策并加以监督，显然将有助于避免此类不良结果。

人们还需要做什么

虽然可解释的人工智能和神经网络的特征归因很有发展前景，但消除人工智能的偏见最终会归结为一件事：数据。

如果算法的训练数据不能公平的覆盖开发者想要服务的人群，系统就很有可能出现偏差。如果训练数据隐含了历史上的不公平现象，该算法就会学习进而延续甚至放大这些问题。

虽然GDPR和类似的法规对组织如何使用数据进行了一些控制，但它们也无法阻止这些组织使用已经存在偏见的数据集。

算法的发展当然对克服偏见有所帮助，但归根结底责任并不在数学结构、软件或硬件，而是在于这些决策系统的设计者和操作者，人们有责任明智而公平地收集，存储和使用这些数据。

从某种意义上说，减少机器学习算法中的偏见不仅需要人工智能的进步，还需要我们对人类多样性理解的进步。

为了开发公平和负责任的人工智能，技术人员需要社会学家，心理学家，人类学家和其他专家的帮助，他们能够洞察偏见对人类生活的影响，并告诉人们如何避免让偏见影响机器学习系统。

技术本身并不能解决社会问题，但是通过不同学科间的合作，研究者和开发者可以创建有利于更公平社会的机器学习技术。