大数据文摘出品
来源：quantamagazine.org
编译：Ivy、李雷、小七、云舟
如果一个医生告诉你需要做手术，你肯定会想知道为什么，进一步地，你会希望他给你一个就算没学过医也能听得懂的明确解释。谷歌大脑（Google Brain）的研究科学家Been Kim认为，我们应该对人工智能抱有同样的期望。作为“可解释”机器学习的专家，她希望构建一个能够向任何人解释人工智能的软件。
自从十年前人工智能兴起以来，人工智能中的神经网络技术已经从电子邮件渗透到了药物研究等各个方面，它具有越来越强大的能力来学习和识别出数据中的模式。
但这种能力带来了一个让人头疼的问题：现代深度学习网络之所以能够实现自动驾驶和保险欺诈识别这样的壮举，主要原因在于网络的复杂性，其复杂度之高让神经网络专家也不能解释清楚网络内部到底是怎么工作的。
如果一个神经网络被训练来识别有患肝癌和精神分裂症等疾病风险的患者，例如2015年纽约Mount Sinai医院的“深度患者”系统，我们无法得知网络关注的是数据中的哪些特征，因为神经网络的层数太多了，每层中神经元还有成百上千个连接。
越来越多的行业正在试图通过人工智能实现自动化决策或增强他们的决策制定依据，这个所谓的黑盒问题不是技术上的问题，而是神经网路的根本性缺陷。
DARPA的“XAI”项目（针对“可解释的人工智能”）正在积极钻研这个问题，可解释性在机器学习中的地位越来越高。Kim认为：“人工智能正处于发展的关键时刻，我们需要判断这项技术是否对我们有益。如果我们不能解决可解释性问题，人工智能的发展可能会受到阻碍甚至被放弃。”
Kim和她在Google Brain的同事最近开发了一个名为“概念激活向量测试”（TCAV）的系统，她将该系统描述为“人类翻译器”，允许用户查询黑盒人工智能工作过程，即一个特定的高级概念在其训练中发挥了多大作用。例如，如果一个机器学习系统被训练来识别图像中的斑马，那么人们可以使用TCAV来确定系统在做出决策时“条纹”特征起了多重要的作用。
TCAV最初是在用于识别图像的机器学习模型上进行测试的，但它也适用于文本和某些特定类型图形数据（如脑电图波形）的模型。 Kim表示，TCAV的通用性让它能够解释许多不同的模型。
在Quanta杂志的采访中Kim讨论了可解释性意味着什么，以及它为什么现在受到了这么多的关注。下面是一个经过编辑和浓缩的采访版本。
Q：你的职业生涯专注于机器学习的“可解释性”，但那个词究竟意味着什么呢？
A：可解释性有两个重要意义。对于科学研究来说：如果你把神经网络作为研究对象，那么你就可以进行科学实验来真正理解模型的训练过程、神经元是如何反馈信息等各种细节。
而对于实际应用来说：用户不必了解模型的每一个细节，只要用户能够正确地使用该工具即可。这个方面是我最关注的，也是我们最终想要达到的目标。
Q：你为什么会对一个你不完全理解运作细节的系统有信心？
A：我给你打个比方。假设我后院有一棵树，我想砍掉它，我可能会选择使用电锯去锯树。虽然现在，我不太了解电锯的工作原理是什么，但电锯的使用手册上说明了使用步骤等信息，我可以安全地使用它。所以，有了这本手册，我更愿意使用省时省力的电锯，而不是更安全的手锯。
就好像你知道怎么运用神经网络，但是你不完全知道这个机制是如何实现的？
对。这就是第二个可解释性的目标是：我们能充分理解一个工具，以便安全地使用它。我们可以通过确认工具中反映出的有用的人类知识来形成理解。
Q：“反映人类知识体系”为什么会使黑盒子AI变得更容易理解？
A：再举个例子解释一下，如果医生使用机器学习模型来进行癌症诊断，那么医生会想确认，该模型没有关注不必要的数据点。确保这一点的一种方法就是确认机器学习模型会做一些医生想要做的事情，换句话说，就是证明模型学习到了医生的诊断知识。
因此，如果医生正在使用一个细胞标本来诊断癌症，他们是为了在标本中寻找一种叫做“融合腺”的东西。同时，他们还需要考虑患者的年龄，以及患者过去是否接受过化疗等情况。这些都是医生诊断癌症时关心的因素，如果我们能证明机器学习模型也注意到了这些因素，那么模型就更容易被理解了，因为它反映了医生的知识体系。
Google Brain的Been Kim正在研究如何让我们理解机器学习系统做出的决定。
Q：那这就是TCAV的作用吗？是为了揭示机器学习模型正在使用哪些高级概念来做出决策吗？
A：对。在此之前，可解释性方法只解释了神经网络在“输入特征”方面所做的工作。简单来说，如果你有一张图像，每个像素都作为一个输入特征。事实上，Yann Lecun（一位早期的深度学习先驱，目前是Facebook的人工智能研究主管）认为，神经网络模型已经具有可解释性，因为你可以查看神经网络中的每个节点，并查看每个输入功能的数值。这对计算机来说没问题，但人类的思维表示不是这样的。我不会跟你说图像的 100到200像素的RGB值是0.2和0.3，我会告诉你照片中狗的毛发特别蓬松，这就是人类描述的方式，我们是通过概念来沟通的。
Q：TCAV如何把输入特征转换为概念？
A：让我们回到医生使用机器学习模型的例子，例子中已经训练过的模型对细胞标本的图像进行分类以确定潜在的癌症。作为医生，你可能想知道“融合腺体”的概念在预测癌症时对模型的重要性。首先你要收集一些有融合腺体的图像示例——假设你收集了20 幅。然后，你将这些带标签的示例输入到模型中。
TCAV在模型内部的作用被称为“灵敏度测试”。当我们添加这些标记为融合腺体的图片时，癌症阳性预测的概率增加了多少，可以用0到1之间的数值来表示，那就是你的TCAV分数。如果概率增加，那么这是模型的一个重要概念。如果没有，则不是一个重要概念。
Q：“概念”是一个模糊的术语。有没有TCAV不起作用的时候？
A：如果你无法使用数据集的某些子集来描述你的概念，那么它就不起作用。如果你的机器学习模型是用图像训练的，那么这个概念必须得是可视化表达的。比方说我想在视觉上表达“爱情”的概念就真的很难。
我们也仔细验证了这个概念。我们有一个统计测试程序，如果一个概念向量对模型的影响与随机向量相同，那么这个概念向量就会被程序抛弃。如果你的概念没有通过这个测试，那么TCAV会说：“我不知道。这个概念看起来不像对模型很重要的东西。”
Q：TCAV主要是用于在AI中建立信任，而不是真正理解它吗？
A：不，不是这样。接下来我会解释原因，因为它很好区分。
我们从认知学和心理学的反复研究中得知人类非常容易上当受骗。这意味着，骗一个人相信任某些东西实际上很容易。而机器学习的可解释性的目标正与此相反，它是要告诉你，使用某系统是否安全，并揭露背后的真相，所以“信任”这个词的表达并不准确。
Q：所以“可解释性”的意思是揭示AI推理中的潜在缺陷？
A：是的，正是这样。
Q：它如何揭示这些潜在缺陷？
A：您可以使用TCAV向受过训练的模型询问不相关的概念。回到使用AI进行癌症预测的医生的例子，医生可能会突然想到，“看起来机器对于许多带蓝色的图像给出癌症阳性预测。我们认为不应该考虑这个因素。”因此，如果TCAV对于“蓝色”给出高评分，那么他们就发现了机器学习模型中的一个问题。
TCAV旨在找出现有不可解释的AI系统。那为什么不从一开始就使用可解释的系统，而要使用黑盒呢？
可解释性研究的其中一个方面是构建反映人类理解过程的固有可解释模型。但我认为：现在许多用于重要目的AI模型在一开始都没有考虑可解释性，这才是事实。比如，我们谷歌就有很多！你可以说，“既然解释性是如此有用，那我为你建立另一个模型来取代你现有的模型吧。”好吧，那就祝你好运。
Q：那么你下一步要做什么？
决定这项技术是否对我们有利对我们来说仍然很关键。这就是我使用“事后可解释性”方法的原因。如果某人给你一个模型并且你无法改变它，你如何为其行为生成解释，以便你可以安全地使用它？这就是TCAV的工作。
Q：TCAV可以让人类询问AI某概念是否重要。但是如果我们不知道该问什么怎么办？如果我们想让AI系统自己给出解释呢？
A：我们目前正在编写的系统可以自动发掘概念。我们称之为DTCAV——发掘型TCAV。但实际上，我认为增加人为操作，并实现机器与人之间的对话，是实现可解释性的关键。
很多时候，在高风险的应用程序中，领域专家已经有了他们关心的概念列表。我们在Google Brain的医疗应用中不止一次看到这一点。他们不希望模型自己找出一系列概念——他们想要告诉模型他们感兴趣的概念。我们与治疗糖尿病视网膜病变（一种眼疾）的医生一起工作，当我们告诉她什么是TCAV的时候她非常兴奋，因为她已经有很多关于这个模型可能做什么的假设，现在她正好可以验证一下这些假设。TCAV实际上很有优势，因为它是一种以用户为中心的协作机器学习方式。
Q：AI技术非常强大，你真的认为人们会因为其不具备可解释性而放弃使用吗？
A：是的，我认为是这样。在专家系统上已经发生过类似的事情了。20世纪80年代，使用专家系统执行某些任务比雇佣人类操作员要便宜的多。但是现在谁还在使用专家系统？没人。因此，很久以后我们也可能会放弃使用AI技术。
当然目前放弃AI不太可能，因为AI现在被炒的很热，而且已经投入了大量的资金。但从长远来看，我认为人类可能会判定这种技术不适合我们，或许是出于恐惧，或许是因为其缺乏可解释性，这都是有可能的。
相关报道：
https://www.quantamagazine.org/been-kim-is-building-a-translator-for-artificial-intelligence-20190110/返回搜狐，查看更多
责任编辑：