我们能打开人工智能的黑箱吗?

推荐会员: lex 所属分类: 机器学习,行业精选 发布时间: 2018-01-30 16:05

See the source image

Dean Pomerleau 仍然记得自己第一次研究黑箱问题(black-box problem)的经历。那是在1991年,他正在自动载具(autonomous-vehicle)方面开展一些开拓性的尝试,而现在教计算机学习驾驶已经成为了一个非常常见的研究领域。

这意味着计算机要接管经过了专门改装的悍马军用汽车的轮子然后引导他穿过城市街道,Pomerleau 说,他当时还是卡内基梅隆大学的机器人技术研究生。和他一起坐在悍马里面的计算机经过了他的编程——它可以读取相机得到的信息、解读路况并记忆他对每一种情况所作出的每一步响应步骤。Pomerleau 希望最后这台机器能够得到足够的关联,从而能够自己控制方向盘。

Pomerleau 在每一次出行的时候都会训练该系统几分钟,然后让它驾驶一下。一切看起来都很不错——直到有一天这辆悍马靠近一座桥时突然向一边急转弯。Pomerleau 赶紧抓住方向盘夺回了控制才得以避免这场车祸。

回到实验室,Pomerleau 试图了解计算机哪里出了问题。「我的课题的一部分是打开这个黑箱并且搞清楚它是怎么思考的,」他解释说。但该怎么做呢?他将这台计算机编程得能像一个「神经网络」一样工作——神经网络是一种以生物大脑为模型的人工智能(AI),其有望在复杂的真实世界情况中实现优于标准算法的表现。不幸的是,这样的网络也和大脑一样是不透明的。它们并不会将已经学到的内容存储在整齐的数字存储模块中,而是一种极难解读的方式将信息散乱地存放着。只有在全面地测试了他的软件对各种视觉刺激的反应之后,Pomerleau 才发现了问题的所在:该网络一直在使用路旁的草地作为道路的方向指引,所以桥梁的出现让它感到了迷惑。

二十五年之后,破译黑箱的难度已经成倍地增长了,而且也变得更为紧迫。这项技术本身的复杂度和应用都已经实现了爆发式的增长。现在正在卡内基梅隆大学兼职教授机器人学的 Pomerleau 将他原来的安装在小货车上的系统描述为部署在今天的机器上的大型神经网络的「穷人版本」。而在大数据集上训练网络的深度学习技术已经在从自动驾驶汽车到基于用户浏览历史进行推荐的网站等许多领域实现了商业应用。

它也有望在科学界变得无处不在。未来的无线电天文观测将需要深度学习来寻找有价值的信号,否则这么大量的数据将无法得到有效的管理;引力波探测器将使用它来理解和消除最微小的噪声源;出版商将使用它来筛选和标记数百万的研究论文和书籍。一些研究者相信,装备的深度学习的计算机将最终能够表现出想象力和创造力。「你只需要给这种机器送入数据,它就能给你返回自然规律。」位于帕萨迪纳的加州理工学院的物理学家 Jean-Roch Vlimant 说。

但这样的进步将会使得黑箱问题变得更加严重。比如说:机器到底是怎样找到那些有价值的信号的?谁能确保它是对的?人类能在多大程度上相信深度学习?「我认为我们在这些算法面前肯定是在节节败退,」位于纽约的哥伦比亚大学的机器人学家 Hod Lipson 说。他将这个情况比作是在遭遇某种外星智慧生物的情形:它眼睛的感受器不仅有红绿蓝这些基色,还有第四种颜色。人类会很难理解这种外星人是如何看世界的,外星人也难以向我们解释清楚。计算机在向我们解释事物上会存在类似的困难,他说:「在某种程度上,这就像是向一只狗解释莎士比亚。」

面对这样的挑战,人工智能研究者给出的回应和 Pomerleau 曾经做过的一样——通过打开黑箱和类似神经科学内的做法来理解网络的内部。答案并非见解(Answers are not insight),位于瑞士日内瓦附近的欧洲粒子物理学实验室 CERN 的一位物理学家 Vincenzo Innocente 说,他是人工智能在这一领域应用的开拓者,「作为一位科学家,只是将猫和狗分开并不能让我满意。一个科学家想要能够说:区别在于这里和那里。」

旅途愉快

第一个人工神经网络诞生于 1950 年代早期,那时候计算机才差不多刚刚能够执行算法。其背后的思想是模拟「神经元」这一小型计算单元,它们被以层级的形式进行排布,通过大量数字「突触」进行连接。底层的每个单元取入外部数据(如图像中的像素),然后将其信息分配给下一层中的一些或所有单元。接下来,第二层中的每一个单元就使用一种简单的数学规则整合来自第一层的输入,并将结果传递给后续的层。最后,顶层得出一个答案——比如说,将原始图像分类成了「猫」或「狗」。

  

  这种网络的力量源自它们的学习能力。给定一个带有正确答案的训练数据集,它们可以通过调整每个连接的强度而逐渐提升它们的表现,直到它们的顶层输出也是正确的。这个过程模拟了生物大脑通过强化或调整突触来进行学习的方式,最终能得到一个能成功分类来自训练数据集之外的新数据的网络。

在 1990 年代,学习能力对 CERN 的物理学家来说有很大的吸引力,他们在那时候成为了第一批经常使用大规模神经网络进行科研的人:事实证明神经网络在重建来自 CERN 的大型强子对撞机(Large Hadron Collider)中粒子对撞所产生的亚原子碎片的轨迹上能够带来巨大的帮助。

但这种学习的形式也是其网络中的信息如此散乱的原因:就像在大脑中一样,记忆被编码在多个连接的强度之中,而不是像常规的数据库一样存储在特定的区域。「你电话号码的第一个数字存储在你大脑中的哪里?可能是在一堆突触中,也许和其它数字相隔不远,」加州大学欧文分校的机器学习研究者 Pierre Baldi 说。但并不存在一个编码了这些数字的明确定义的比特序列。由此,正如拉勒米市的怀俄明大学的计算机科学家 Jeff Clune 说的那样:「即使我们做出了这些网络,我们也没有在理解它们上比理解人脑更近一步。」

对于需要在自己的学科处理大数据的科学家而言,这个问题让他们在使用深度学习作为工具上非常小心谨慎。为什么呢?英国牛津大学的一位计算机科学家 Andrea Vedaldi 说:想象一下在不远的将来,人们使用旧的乳房 X 光片训练了一个深度神经网络,这些乳房 X 光片根据最后哪些女性发展成了乳腺癌而进行了标注。Vedaldi 说,在训练之后,显然健康的女性的组织可能在机器「看」来是已经癌变了的。他说:「这个神经网络可能内在地已经学会了识别标志——我们不知道的特征,但那是癌症的预测。」

但如果这个机器不能解释它是如何知道的,Vedaldi 说,它就会将医生和病人带入严重的困境。对女性来说,选择预防性乳腺切除手术就已经很艰难了,因为她们有一个已知的会显著更容易导致患癌的基因变异。但如果不知道风险因素是什么,那么做决定甚至会更为艰难——即使根据机器的预测,机器给出的推荐是非常准确的。

「问题在于知识是在网络之中形成的,而不是在我们之中,」在华盛顿州西雅图市的谷歌的生物物理学家和程序员 Michael Tyka 说,「我们真正理解了任何东西吗?并没有——这种网络做到了。」

2012 年,有一些研究团队开始深入这个黑箱问题。加拿大多伦多大学的一位机器学习专家 Geoffrey Hinton 领导的一个团队曾参加了一场计算机视觉竞赛,并第一次证明了深度学习在 120 万张图像的数据库上的分类能力远远超过了其它人工智能方法。

为了深入理解这是如何做到的,Vedaldi 的研究组使用了 Hinton 开发的算法来改善神经网络的训练,然后从根本上对其进行了反向运行。该团队没有教网络给出一张图像的正确解读,而是开始于预训练的网络并尝试重建生成它们的图像。这帮助研究者确定了机器表征各种特征的方式——比如他们询问一个假想的癌症识别网络:这个乳房 X 光片的哪个部分让你决定其是癌症风险的标志?

去年,Tyka 和 Google 的研究员在最终结论的得出上也遵循了类似的方法。他们把他们的算法称为 Deep Dream,从一个图形开始,好比说一朵花或者有个沙滩,然后修改它来提高特定的顶级神经元的反应。

举个例子,如果神经元喜欢标记鸟类的图片,那么修改后的图片就将在各处都显示鸟类。这些生成的图片会让你有 LSD 般的致幻体验,从逐渐浮现出的鸟类的脸到各种建筑等等。

「我认为这更像是一个幻觉,而不是一个梦。」同时还作为一个艺术家的 Tyka 说道。当他和他的团队看到其他人也有能够使用这种算法去创造新事物的潜力时,他们果断地让这种算法变得人人可下载。几天之内,Deep Dream 仿佛就像一种病毒一样开始在网上流行。

使用技术可以最大化所有神经元的反应,而不仅限于那些顶级的神经元。Clune 的团队在 2014 年发现,黑箱问题可能比预期的更为糟糕:神经网络非常容易被人类理解上随机噪声似的图片所欺骗。例如,一个神经网络在看到扭动的线条时,它可能会将这些线条归类于海星;当它看到黑黄相间的线条时,它又会误以为这是辆校车。此外,在不同数据集里训练的模式会在神经网络里引发相同的反应。

研究人员已经提出了很多方法来解决这个所谓「欺骗」的问题,但到目前为止还没有通用的解决方案出现。

而在现实生活中,这可能会非常危险。Clune 说,一个特别可怕的场景是恶意的黑客们能够学会利用这些弱点来作恶。他们可以让一辆自动驾驶汽车误以为一块广告牌是一条道路从而引发车祸,也可以让白宫的视网膜扫描仪误以为入侵者是巴拉克·奥巴马而让其通过。

「我们正在竭尽所能地让机器学习变得更强壮和智能。」Clune 总结道。

这些问题的出现开始让一些计算机科学家们认为神经网络的深度学习不该是目前业界的唯一选择。一个名叫 Zoubin Ghahramani 的剑桥机器学习研究员认为,如果人工智能存在的意义是让人类更容易地理解问题的答案,但是,「对于很多问题来言,深度学习并不是那个解决问题最终的答案。」

一个相对透明的科研方法是由 Lipson 和 一位计算机生物学家 Michael Schmidt 在 2009 年首次提出的,随后这种方法在纽约的康奈尔大学被应用。他们的算法被称作 Eureqa,它可以仅通过观察一个相对简单的机械对象(一个钟摆运动系统)来重新发现牛顿定律。

从一个随机的数学模块组合,例如加号、减号和正余弦开始,Eureqa 会遵循一套受达尔文进化论启发的试错法,直到最终的结果能够最好地得到最终的数据表达公式。随后,Eureqa 还会提出测试模型实验的方法。Lipson 认为这种方法的优点之一就是简单,「Eureqa 生成的一个模型通常有 12 个参数,而一个神经网络却有数百万。」

On autopilot

去年,Ghahramani 发表了一个可以自动化数据科学家工作的算法,从查看最原始的数据到撰写论文,它都能够胜任。他这款被称为 Automatic Statistician 的软件,指出了数据集中的趋势和异常,并给出了它的结论,包括一个关于它推理的详细解释。Ghahramani 认为,透明度对于应用科学而言是至关重要的,但它也对很多商业应用同等重要。例如,在很多国家,银行可以拒绝向你贷款并可以在法律上解释这么做的理由,而深度学习算法却可能无法做到这样。

来自大数据公司 Arundo Analytics 的数据科学主任 Ellie Dobson 认为,类似的担忧在很多其他机构中也存在。如果有类似英国汇率设置错误的问题出现,英国央行是不能说「这是黑箱让我这么做的」

尽管存在着这些担忧,但计算机科学家们认为,努力地创建透明的人工智能应该被视为深度学习的补充,而不是替代。他们认为,一些透明的技术可能会适用于一些既定的抽象事实问题,但它们不善于感知从原始数据中提取事实的过程。

最后,这些研究人员认为,机器学习的复杂答案是科学工具集中必不可少的一部分,因为现实世界是如此的复杂,例如天气和股票市场等现象,一个简化的、合成的描述甚至都不可能存在。

「有些事情我们无法通过语言来表达。」一位名叫 Stéphane Malla 的应用数学家在巴黎理工学院说道,「但为什么需要花 20 年才能成为一个好医生呢?因为知识和信息不仅仅只存在于书本之上。」

对于 Baldi 而言,应该接受深度学习没有和黑箱搅合在一起的事实。毕竟,他们彼此都拥有黑箱。

「你一直在使用你的答案,你也一直在信任你的大脑,但你却不知道你的大脑是如何工作的。」

来源:http://dy.163.com/v2/article/detail/C2MNOKUC0511AQHO.html   http://www.nature.com/news/can-we-open-the-black-box-of-ai-1.20731

AI算法透明不是必须,黑箱和可解释性可简化为优化问题

AI算法对人类生活的影响越来越大,但它们内部的运作往往是不透明的,人们对这种技术的工作方式也愈加感到担忧。MIT科技评论曾经发表一篇题为“人工智能中的黑暗秘密”的文章,警告说:“没有人真正知道先进的机器学习算法是怎样工作的,而这恐将成为一大隐忧。”由于这种不确定性和缺乏问责制,纽约大学AI Now Institute的一份报告建议负责刑事司法、医疗保健、社会福利和教育的公共机构不应该使用AI技术。

输入的数据和答案之间的不可观察的空间通常被称为“黑箱”(black box)——名称来自飞机上强制使用的飞行记录仪“黑匣子”(实际上是橙色的,而非黑色),并且经常在空难事故后用于向调查人员提供有关飞机当时运作情况的数据。在人工智能领域,这个术语描述了AI技术如何在“暗处”运作的景象:我们提供数据、模型和架构,然后计算机给出答案,同时以一种看似不可能的方式继续学习——显然对于我们人类来说,这太难理解了。

黑箱没有什么可怕的

在医疗领域,这个问题尤其被关注。AI被用于区分哪些皮肤病变是癌变,从血液中识别早期癌症,预测心脏疾病,确定人和动物的哪些化合物可以延长寿命,等等。但是,对黑箱的这些担忧是不必要的。AI的透明程度并不亚于医生一直以来的工作方式——在许多情况下,AI甚至是一种进步,它增强了医院的能力,对病人和整个医疗系统都有积极的作用。毕竟,对于新技术来说,AI的黑箱问题并不是一个新问题:人类智能本身就是一个黑箱,而且一直都是。

让我们来看一个人类医生做诊断的例子。病人可能会问医生她是如何做出诊断的,医生可能会说出一些她用来得出结论的数据。但她真的能够解释她是如何、以及为什么得出这个结论吗,她从哪些研究中得到哪些具体数据,她从所受的教育或导师那里得到了什么影响,她从自己以及同事的共同经验中得到哪些隐性知识,以及所有这些的结合如何引导她得出那个诊断?当然,她可能会说出引领她往某个特定方向走的某些指示,但这也会有猜测的成分,有跟随直觉的成分。即使没有,我们也仍然不知道有没有什么其他因素是她自己甚至没有意识到的。

如果使用AI进行同样的诊断,我们可以从该患者的所有可用信息中获取数据,以及在不同时间和从其他无数同类患者身上匿名收集的数据,用以做出最有力的基于证据的决策。这是一种与数据直接相关的诊断,而不是基于有限数据的人类直觉,或者相对少的局部患者的诊断经验总结。

但是,我们每天都必须在很多我们并不完全了解的领域做决策——并且通常都非常成功——从预测政策对经济的影响到天气预报,再到我们最初接触大部分科学的方式。我们要么认为这些决策非常简单,要么接受它们过于复杂以至我们无法解决,更不用说完全解释它们了。这就像AI的黑箱:人类的智慧能够针对一个给出的结论进行推理和论证,但无法解释我们得出一个特定结论的复杂、隐含的过程。试想一下一对夫妻因某个明确的原因(例如,不忠)而离婚这个问题——在现实中,有许多完全看不见的、错综复杂的原因、影响和事件共同促成了这一结果。为什么这一对夫妇选择分手,而另一对类似情况的夫妇却没有?即使是处于这些关系中的人也无法完全解释这个问题。这是一个黑箱。

AI的黑箱更多是一个特征,而不是一个bug

具有讽刺意味的是,与人类智能相比,人工智能实际上更加透明。与人类的思维不同,人工智能可以——也应该——被审问和被解释。例如检查和改进模型的能力,揭示深度神经网络中的知识差距,必须要构建的调试工具,以及通过脑机接口增强人类只能的潜在能力,等等,有许多技术可以帮助解释人工智能,而这些解释AI的方式无法用于解释人脑。在这个过程中,我们甚至可以更多地了解人类智能的运作方式。

也许批评者们担忧的真正原因不是我们无法“看到”AI的推理过程,而是当AI变得愈加强大时,人类的心智就变成了限制因素。他们担心的是,在未来,我们需要利用AI去理解AI。在医疗领域以及其他领域,这意味着我们很快就会看到一个新类别的专业人士的出现,他们自己不必去做即时的决策,而是管理一个AI工人去做决策——就像商用飞机的驾驶员在恶劣的天气条件下使用自动驾驶仪降落一样。医生将不再“主导”初始诊断;相反,他们需要确保AI系统对患者的诊断是相关的和易于理解的,并监督AI在何时以及如何提供更多的说明和解释。未来的医生办公室很可能有多名计算机助理,包括医生方面的和病人方面的,以及来自外部的数据输入。

当这种情况成为现实时,显然,所谓的人工智能“黑箱”将更多是一种特征,而不是一个bug——因为它相比人类的大脑更能够理解和解释决策的过程。这并没有否定或忽视对AI进行监督的需求,只是说与其担心黑箱,我们更应该关注机会,从而更好地应对这样一个未来:AI不仅增强人类智能和人类直觉,而且甚至可以启发人之本质。

不要为了可解释性牺牲AI的能力

当前的AI系统可能会发生一些故障,例如使自动驾驶汽车遭遇事故,或在用于司法时对黑人判处相比白人更长的刑期。我们会知道这些,是因为AI已经在这些方面出现了错误。但是,这并不意味着我们应该坚持AI需要解释它在任何情况下如何做决策,包括欧盟的“一般数据保护条例”(GDPR)也如此要求。

要求可解释性听起来不错,但实现它可能需要让AI人为地变蠢。机器学习有如此强大的使用前景,缩减AI的能力可能意味着无法诊断疾病、无法发现气候变化的重要原因,等等。充分利用机器学习的能力意味着必须依赖那些现在无法向人类大脑解释的结果。

机器学习,特别是深度学习,可以将数据分析成数以千计的变量,将它们排列成非常复杂而敏感的加权关系数组,然后通过基于计算机的神经网络反复运行这些数组。要想理解这些运行的结果,例如为什么系统认为有73%的几率患上糖尿病,或者在象棋中走这步棋有84%的几率能导致最终胜利,这就需要理解这些成千上万的变量之间的关系,这些变量是通过大量的神经网络计算得出的。我们的大脑根本无法掌握这么多的信息。

可解释性是工具:我们用这些工具来达成目标。通过机器学习,可解释性能够帮助开发人员debug。可解释性也可以用来判断一个结果是否基于不应该计数的因素(例如性别,种族等,取决于具体情况)来评估责任。但是,我们可以通过其他方法来实现预期的效果,而不用约束机器学习系统的能力。

一个很有前景的工具是优化(optimization)。例如,在20世纪70年代石油危机期间,美国政府决定将限速降至55英里/时,从而优化高速公路。同样,政府也可以决定对自动驾驶汽车进行优化。

AI系统需要对针对某个目的的优化及其结果保持透明,特别是对我们希望它们支持的一些关键值保持透明。但是不一定要求算法是透明的。如果一个系统没有达到它的目标,就需要对它进行调优。如果达到了目标,可解释性就不是必要的。

通过将AI的可解释性问题视为优化问题,我们可以将争论集中在真正重要的问题上:我们想从一个系统中得到什么,我们愿意放弃什么来得到它?

来源:新智元

分享&收藏
关键词:

版权声明:本站原创和会员推荐转载文章,仅供学习交流使用,不会用于任何商业用途,转载本站文章请注明来源、原文链接和作者,否则产生的任何版权纠纷与本站无关,如果有文章侵犯到原作者的权益,请您与我们联系删除或者进行授权,联系邮箱:service@datagold.com.cn。

发表评论

电子邮件地址不会被公开。 必填项已用*标注