周涛:数据时代的伦理困境

推荐会员: 点金大数据 所属分类: 行业精选 发布时间: 2017-03-08 14:35

站在数据时代——又或者所谓的算法时代、智能时代——的门口,恐怕很多人是既期待又惶恐的。特别是看到了IBM的沃森超级医生和DeepMind的AlphaGo在疾病诊断和围棋上“过人的智慧”,我们对于人和机器的关系和未来,应该会有不同于以往的认识。不管我们给未来戴上一顶什么样的帽子(智能、算法、大数据……),数据作为最重要的原材料都会扮演关键的角色。在这段征程中,我们谈论最多的是数据的安全和隐私,然而我认为,数据加上算法所带来的伦理问题,要比安全和隐私重要得多。
下面,我从三个方面讨论这个问题。

第一,通过数据和算法,机器预测你将以很大概率犯罪,从而在你还没有实施犯罪行为时,你就已经实质上受到了惩罚。

在《大数据时代》一书中,Viktor Mayer-Schönberger讨论过一个可能的情形,就是当智能机器预测到你将在某时某地犯罪,就可以在你还没有实施犯罪的时候逮捕你!这听起来比George Orwell笔下的《一九八四》还要恐怖。

当然,这是一个极端的情况,实际上并没有发生过。然而Luck Dormehl在《算法时代》一书中讲了一个温和得多但已经现实发生的版本,就是美国政府根据历史数据和人脸识别算法,会对每一位航空旅客是恐怖分子的嫌疑度进行打分,一些无辜的人因为疑似恐怖分子或者近期有较高从事恐怖活动的可能性,而经常在机场被羁留检查,甚至多次错过飞机。因此,尽管你不太可能因为没有犯过的罪行而被逮捕,但是完全有可能因为被智能算法甄别为高度危险者,而从一个浪漫的二人约会中被强制带回警局协助调查。

从功利主义的角度讲,我不怀疑这些智能化的方法能够降低犯罪率,但是这里面一个核心的伦理问题就是“我们是否应该为尚未发生的一种可能性付出代价”,至于说算法到底有多精确,那都是其次的问题。

如果刚才的例子隔大家生活似乎比较远,那么我们来看一个现实的例子——酒驾。简单地说,对于机动车驾驶员来说,饮酒驾车是违法,醉酒驾驶可入刑。这条法律受到了数据有力的支撑:“当驾驶者血液中酒精含量达80mg/100mL时,发生交通事故的几率是血液中不含酒精时的2.5倍;达到100mg/100mL时,发生交通事故的几率是血液中不含酒精时的4.7倍。即使在少量饮酒的状态下,交通事故的危险度也可达到未饮酒状态的2倍左右。”事实上,这条法规的出台,有效降低了严重交通事故的发生率。但是从法理上来琢磨,这里面有些微妙的味道。首先,驾车不违法;其次,喝酒也不违法。如果一个醉酒驾驶者,还没有发生交通事故,就被警察逮捕投入监狱,从某种意义上讲,他实际上是因为“存在很高概率发生严重犯罪”而被惩处。醉酒驾驶的法规赋予了这种惩处合法性——因为他触犯了酒驾的法规,就已经是犯罪,而不是尚未犯罪。

海外很多国家对于酒驾也有或严厉或宽松的各种限制,相关的法规也往往是人们争论的焦点。有一些人认为,喝上一两杯啤酒然后驾车出行,是一种成年人可以控制的行为,可以享受的生活方式。我本人不喝酒,亦不开车,因此无条件地欢迎这条法规,但我同时在思考,这些基于大量数据分析所得到的有价值的法规,在给与我们更多安全的同时,是否会限制我们的自由?而且,这种限制对于不同人是很不一样的——酒驾法规对我没有任何影响,但对于那些喜欢喝酒,又喜欢驾车,并且酒精耐受度很高的人,就是一种很大的限制。

当数据的能力和分析的能力进一步增强之后,我们肯定能够发现更多严重影响健康或者安全的因素,并把他们写进法规中。说不定数据分析会显示,饮酒也是街头犯罪主要的因素,因此干脆把“醉酒后在公共场合行走”也禁止得了;几十年后,如果自动驾驶的车辆占有相当的比例,很可能主要的交通肇事都是由人驾驶的车辆引起的,那个时候的法律,可能就不是针对饮酒和吸毒后驾车了,但凡活人开车,都得抓了!我的一个基本判断是,当自动驾驶车辆超过50%之后,活人手动驾驶所贡献的交通风险比例,肯定要远远超过酒驾现在贡献的比例。因此,你活着没问题,你开一辆由机器驾驶的车出去也没问题,但活人手动驾驶就应该入刑——因为在那个时候,人驾驶车辆本身,就是一种对公共安全的危害。今天能接受酒驾入刑的人,明天能够接受手驾入刑吗?

更进一步,在大量个人数据的支撑下,算法的分析可以是完全个性化的。很可能,我们有一些完全无害的行为或其他特征,仅仅因为它们和犯罪分子有相似之处,我们就会为之付出代价。回到机场甄别恐怖分子的问题,一个人如果留大胡子,被单独羁留检查的概率会大大提升——对于一个仅仅是喜欢大胡子的无辜人士而言,他应该怎么选择?我曾经听公安的同事讲他们用天网系统监控火车站等人流量大、诈骗犯罪高发的场所,一旦看到一些漫无目的走来走去的人,就会让便衣去盯梢甚至盘查,因为这些人往往是高危人群。在今年旧金山的ACM SIGKDD会议上,我的朋友,罗格斯大学的熊辉教授,提出了一套算法,通过智能交通卡记录,甄别出一些异常乘客,他们乘坐路线没什么规律,或是突然改变乘坐模式,而不是像通常的乘客那样快速从A到B。这两个例子把我吓坏了,因为我小的时候,经常一个人在成都火车南站东游西逛,看似漫无目的,其实脑子里面在构思自己的武侠世界和童话世界。那时候个子小,乘公交车免费,又特别喜欢汽车行驶的振动感和柴油的味道,所以也经常带着本书,胡乱坐公交。如果放在今天,我在计算机世界里的形象,就将不停地在盗窃犯和诈骗犯之间震荡!唯一能够聊以自慰的是,我没有留大胡子!

第二,数据采集者和算法设计者主观的偏见,甚至表面上中立技术本身,都可能会产生和积累结果的偏见。

Luck Dormehl在《算法时代》一书中讲了一个名为罗伯特.摩西的设计者,他在二十世纪20年代至70年代,为纽约设计并修建了多处道路、公园和桥梁。在罗伯特.摩西的设计下,进入公园前的桥梁特别矮,只有2.7米左右,这就使得那些买得起轿车的有钱富人才能进入公园,而乘坐公共汽车的穷人(其中有很多是黑人)则只能绕道而行。这在当时是一种有代表性的观念,现在来看,则是难以容忍的偏见——这种偏见并不是诉诸文字法律,而是嵌入在城市的设计中了。

在数据的时代,数据的采集者和算法的设计人员很可能存在一些他们自己都意识不到的偏见,这些偏见会影响他们对数据采集的重点并隐蔽地藏在他们的代码中,最终产生有偏的结果。

举个例子,我们在给某银行成都分行就企业贷款的贷后管理进行合作的时候,注意到某特定籍贯人员开设的企业存在大量贷款偿还延期甚至恶意支付的现象。在我们把数据分析的结果反馈给银行的同事后,他们针对主要自然人股东中有相应籍贯或者法人股东注册在该地区的企业,添加了新的需要提供的尽调内容(更多的数据),并且人为收紧了放贷。这个结果是我们分析人员不可控的,也是一个典型的头痛医头脚痛医脚的方法,我个人认为不会导致一个解决方案,而只是让数据和模型变得复杂和丑陋。很可能,这个地区之所以出现高风险,是该地区特定经济形势造成的(例如鄂尔多斯等地曾因为能源价格下降发生过系统性经济风险,温州商人的现金流曾因为非法集资遭受整体性的影响),而这个形势过去后,这个问题就会缓解甚至自动消失。但是等到那个时候,这一批技术人员很可能已经离职或者升职,下一批银行的同事估计都不能理解这些“与众不同的数据采集和风控模型”背后的逻辑,所以这个针对特定地区的风控偏见,可能会一直持续下去。

公共安全的管理也会存在类似问题。有丰富经验的公安人员,对于什么样的人会涉毒、什么样的人可能是邪教分子、什么样的人有暴力犯罪的危险都有自己的一套判断方法,这和他个人曾经成功的经历以及自己的性格特点有关。因此,一个用来管理高风险人权并进行提前预警的系统,如果你们有专家模型,或者参考专家的意见来确认第一批数据采集的方向和内容,那么采访A专家和B专家得到的结果一般是不同的。

让我们不安的是,这种因为系统设计人员来带的初始偏见,有可能随着数据的积累以及算法的运转慢慢强化放大。举个例子,如果现在我们有一套抓小偷的工具,而能够抓到的小偷只是真实小偷总数的一小部分。如果说中国的小偷主要都来自于两个地方:成都和北京,大约各占一半。设计这个系统的人以前抓过的小偷大部分来自成都,而最早这个系统做验证的时候,所有的数据有一定偏差,成都的小偷更多。于是,算法一开始就会把是否是成都人作为一个重要的参考特征,从而更多提醒警察关注成都人——这当然会让更多成都小偷落网。于是,这就进一步证明了把成都人作为重点监控对象是正确的,因此这个特征的权重会越来越大,算法中成都小偷的样本数占比也会越来越大,于是偏见就积累并且被放大了。有的读者会问:如果不是把“是否是成都人”作为特征,而是把户籍作为一个特征,并且引入自适应的机器学习机制,这个问题就会得到缓解。但是,真实情况比这个要复杂很多,设计人员在选择特征的时候,往往会自以为做出了显著正确的选择,但事实上是受限于初始数据和个人经验的局限性,而赋予了一个“有偏见系统”的第一推动力。

即便完全去掉个人经验的影响,看起来中立的技术本身,也可能带来偏见。

比如在美国,面部识别技术对于男性的识别率高于女性,对于非白种人的识别率高于白种人,这就意味着一个犯罪现场出现过的白人女性,被识别出来的概率要小于非洲裔的男性。尽管算法不是有意为之,但是只要不是100%完美,总会存在自身的偏差,这些偏差投射在社会中,就可能成为算法导致的偏见。这种偏差甚至在你出生之前就能遇到,因为随着 B型超声波技术的发展和普及,同样严重等级的出生缺陷,凡是能从B超中检查出来的,就很可能被人工流产,而不能被B超检查出来的,“活着生出来”的概率就大得多——尽管这不一定是一件幸事。随着生物医疗技术的进一步发展,我们可以在胎儿早期就判断他未来罹患重大代谢性疾病的可能性,甚至他期望的智力水平,那么,一个20岁以后可能会不健康的人(但能健康活到20岁并且之后也不会立刻死亡),一个智力水平可能中等偏下的人(但不是弱智),还有机会出生吗?如果这些技术有偏差,对某些类型的“先天不足”检查能力更强,那么这种偏见是不是客观上扼杀或着放行了一些生命。

我从2007年开始,就一直做个性化推荐方面的算法研究。个性化推荐系统的算法本身是没有什么偏见可言的,无非是根据你以前的购买记录,来预测你最可能购买的东西,从而给你推荐。如果你是一个穷人,以前买过的东西都是相应品类中单价最低的,那么你在系统画像中有一个名为“价格敏感程度”的维度,分数会顶呱呱的高!于是乎,当你搜索一个关键词后,从前到后翻十页,你看到的都是为你这样的穷鬼量身定做的便宜货。如果说LV的店上面挂一个横幅,说“穷人与狗不得入内”,那肯定会被砸了——因为这是不得了的偏见甚至歧视,但是在互联网上,数据和算法带来的偏见却很隐蔽,而且,从综合的算法效果来说,还很正确!

当我们积累了越来越多的数据,我们的喜好就会被刻画地越来越清晰,于是乎算法会给出越来越精确符合我们需要的服务。逐渐地,我们会被计算机封锁在一个狭窄的空间里面,因为我们所读之书都符合以前的兴趣,所试的衣服都符合以前的审美,所购买的商品都符合以前的经济水平,这很可能也是一种无形的偏见,而且人机互动互为增益——不仅是偏见,还是个性化的偏见。

来源:http://blog.sciencenet.cn/blog-3075-1013066.html

关键词:

版权声明:本站原创和会员推荐转载文章,仅供学习交流使用,不会用于任何商业用途,转载本站文章请注明来源、原文链接和作者,否则产生的任何版权纠纷与本站无关,如果有文章侵犯到原作者的权益,请您与我们联系删除或者进行授权,联系邮箱:service@datagold.com.cn。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据