人工智能——机器歧视及应对之策
曹建峰 腾讯研究院法律研究中心研究员
算法、大数据以及人工智能等都在干涉和影响着人们的现实生活。算法将我们在网络世界中的各种足迹和活动、上网习惯、购物记录、GPS位置数据等统统转变为对我们的评分和各种预测。我们在网络中的存在日益受到算法左右，我们日益生活在一个打分社会。从信用评分到犯罪风险评分，我们日益生活在由各种打分构建的“算法牢狱”当中，但却忽视了其中的算法和机器歧视问题。随着自动化决策系统被广泛应用在教育、就业、信用、贷款、保险、广告、医疗、治安、刑事司法程序等诸多领域，算法和机器歧视问题变得日益突出。
人们希望利用算法和数学为人类社会各种事务和决策工作带来完全的客观性，然而，这不过是妄想。无论如何，算法和代码的设计都是编程人员的主观判断和选择。他们是否可以不偏不倚地将既定的规则和政策原封不动地编写进程序，这值得怀疑。规则的代码化所带来的不透明、不准确、不公平、无法审查等问题，是否可以将道德、伦理、法律等一股脑儿外包给技术，以及如何实现并保障自动化决策的公平性，都是需要认真思考、认真对待的问题。
一、人工智能迎来发展浪潮
过去被动执行命令的计算机正越来越具有自主性和创造性。阿尔法狗、虚拟现实、无人驾驶汽车、机器人作家等诸多新技术和新事物层出不穷。最优秀的算法不但可以通过图灵测试，而且其创作的诗歌已经可以迷惑人类的审美。面对人工智能创作的十四行诗，连诗歌知识丰富的人类判官也难以判断究竟出自人类诗人之手，还是人工智能诗人之手。人类与机器之间的分野逐渐变得模糊起来。
2010年以来，在大数据、机器学习以及超级计算机这三个相互加强的因素的推动下，人工智能迎来新一轮发展浪潮，开始突飞猛进，相关创业、投资和并购显著加强。不甘落后的政府开始出台国家人工智能战略。2016年10月，美国和英国双双出台国家人工智能战略。《美国国家人工智能研发战略计划》涵盖七大方面，包括长期投资AI研究，开发人类—AI协作的有效方式，认知并解决潜在的法律、道德、社会等影响，确保AI系统的可靠性和安全性，为AI开放、共享公共数据和环境，通过标准和基准测量、评估AI技术，更好理解AI的劳动力需求。[1]英国政府发布的《机器人学与人工智能》提出了机器人学与自主系统2020战略，希望成为这一领域的全球领导者，其雄心和野心可见一斑。以色列、印度、欧盟等诸多国家和地区也在纷纷跟进。
二、人工智能决策日益流行
虽然现在依然处在狭窄人工智能（Narrow AI）阶段，尚未迎来通用人工智能（General AI）阶段，但不妨碍人工智能介入并影响人类社会的各种决策工作。如今，在网络空间，算法可以决定人们看到什么新闻，收到什么广告，听到什么歌曲，人们的网络存在或者说数字存在（Digital Existence）日益受到算法左右。今日头条的成功某种程度上是算法是胜利。
当然，人工智能决策的价值不仅限于解决信息大爆炸和信息过载的个性化内容推荐，从购物推荐到精准广告，从信用评估到犯罪风险评估，越来越多的决策工作为机器、算法和人工智能所取代。当利用人工智能对犯罪人的犯罪风险进行评估，算法可以影响其刑罚；当自动驾驶汽车面对道德抉择的两难困境时，算法可以决定牺牲哪一方；当将人工智能应用于武器系统，算法可以决定攻击目标，诸如此类。由此引发了一个不容忽视的问题：当将本该由人类负担的决策工作委托给人工智能，机器能否做到不偏不倚？如何确保公平之实现？
三、机器歧视/偏见（Machine Bias）不容忽视
在人工智能决策时代，机器歧视并不鲜见。图像识别软件犯过种族主义大错，比如，谷歌的图片软件曾错将黑人标记为“大猩猩”，[2]Flickr的自动标记系统亦曾错将黑人的照片标记为“猿猴”或者“动物”。[3]2016年3月23日，微软公司的人工智能聊天机器人Tay上线。出乎意料的是，Tay一开始和网民聊天，就被“教坏”了，成为了一个集反犹太人、性别歧视、种族歧视等于一身的“不良少女”。于是，上线还不到一天，Tay就被微软公司给下线了。[4]Tay之所以发布诽谤性的、歧视性的推文，可能主要同其自身不成熟的学习和认知能力有关，但却暴露了人工智能和机器不能回避的歧视问题。
谷歌的算法歧视问题早已引起人们注意。研究表明，在谷歌搜索中，相比搜索白人的名字，搜索黑人的名字更容易出现暗示具有犯罪历史的广告；[5]在谷歌的广告服务中，男性比女性看到更多高薪招聘广告。当然，这可能和广告市场中固有的歧视问题有关，广告主可能更希望将特定广告投放给特定人群，比如男性。[6]此外，非营利组织ProPublica研究发现，虽然亚马逊CEO贝索斯宣称“亚马逊致力于成为地球上最以消费者为中心的公司”，但亚马逊网站的购物推荐系统却一直偏袒其自己以及其合作伙伴的商品，即使其他卖家的商品的价格更低，而且，在购物比价服务中，亚马逊隐瞒了自己以及合作伙伴商品的运费，导致消费者不能得到一个公正的比价结果。[7]
在美国，犯罪风险评估软件造成了不容忽视的歧视问题。比如，Northpointe公司开发的犯罪风险评估算法COMPAS对犯罪人的再犯风险进行评估，并给出一个再犯风险分数，法官可以据此决定犯罪人所应遭受的刑罚。非营利组织ProPublica研究发现，这一算法系统性地歧视了黑人，白人更多被错误地评估为具有低犯罪风险，而黑人被错误地评估为具有高犯罪风险的几率两倍于白人。通过对7000多名犯罪人的追踪，ProPublica发现，COMPAS给出的再犯风险分数在预测未来犯罪方面非常不可靠，在被预测为未来会进行暴力犯罪的犯罪人中，仅有20%的犯罪人后来确实再次实施犯罪。综合来看，这一算法并不比掷硬币准确多少。
错误的、不准确的、不相关的数据可能导致偏见。在计算机科学领域有一句俗语，叫做“垃圾进，垃圾出”。如果将错误的、无意义的数据输入计算机系统，计算机自然也一定会输出错误的、无意义的结果。偏见也可能是机器学习的结果。比如一个甄别错误姓名的机器学习模型，如果某个姓氏是极为独特的，那么包含这个姓氏的姓名为假的概率就很高；但是这可能造成对少数民族的歧视，因为他们的姓氏可能本来就不同于普通的姓氏。当谷歌搜索“学习到”搜索奥巴马的人希望在日后的搜索中看到更多关于奥巴马的新闻，搜索罗姆尼的人希望在日后的搜索中看到更少关于奥巴马的新闻，那也是从机器学习过程中产生的偏见。
四、人工智能决策三大问题：公平、透明性和可责性
1.算法默认（by default）是公平（Fairness）的吗？
长久以来，人们对计算机技术存在一个广为人知的误解：算法决策倾向于是公平的，因为数学关乎方程，而非肤色。人类决策受到诸多有意或者无意的偏见以及信息不充分等因素影响，可能影响结果的公正性。比如，一项实证研究表明，法官在饿着肚子时更加严厉，倾向于给犯罪人判处更重的刑罚。[8]所以，现在存在一种利用数学将人类社会事务量化、客观化的思潮，Fred Benenson将这种对数据的崇拜称之为数学清洗（Mathwashing），就是说，利用算法、模型、机器学习等数学方法重塑一个更加客观的现实世界。[9]
但是，在自动化决策系统越来越流行的今天，有几个问题需要回答：
第一，公平可以量化、形式化吗？可以被翻译成操作性的算法吗？
第二，公平被量化为计算问题会带来风险吗？
第三，如果公平是机器学习和人工智能的目标，谁来决定公平的考量因素？
第四，如何让算法、机器学习和人工智能具有公平理念，自主意识到数据挖掘和处理中的歧视问题？
显然，算法的好坏取决于所使用的数据的好坏。比如，如果拿一个个体吃的食物来评估其犯罪风险，那必然会得到很荒谬的结果。而且，数据在很多方面常常是不完美的，这使得算法继承了人类决策者的种种偏见。此外，数据可能仅仅反映出更大的社会范围内持续存在着的歧视。当然，数据挖掘可能意外发现一些有用的规律，而这些规律其实是关于排斥和不平等的既有模式。不加深思熟虑就依赖算法、数据挖掘等技术可能排斥弱势群体等参与社会事务。更糟糕的是，歧视在很多情况下都是算法的副产品，是算法的一个难以预料的、无意识的属性，而非编程人员有意识的选择，这更增加了识别问题根源或者解释问题的难度。因此，在自动化决策系统之应用日益广泛的互联网时代，人们需要摒弃算法本质上是公平的误解，考虑如何通过设计确保算法和人工智能系统的公平性，因为很多歧视来源于产品设计（Discrimination by Design）。[10]
2. 作为“黑箱”（Blackbox）的算法的透明化（Transparency）困境
算法的公平性是一个问题，算法的不透明性更是一个问题。人们质疑自动化决策，主要是因为这一系统一般仅仅输出一个数字，比如信用分数或者犯罪风险分数，而未提供做出这一决策所依据的材料和理由。传统上，法官在做出判决之前，需要进行充分的说理和论证，这些都是公众可以审阅的。但是，自动化决策系统并不如此运作，普遍人根本无法理解其算法的原理和机制，因为自动化决策常常是在算法这一“黑箱”中做出的，不透明性问题由此产生。
Jenna Burrell在其论文《机器如何“思考”：理解机器学习算法中的不透明性》（How the Machine“Thinks”: Understanding Opacity in Machine Learning Algorithms）论述了三种形式的不透明性：因公司商业秘密或者国家秘密而产生的不透明性，因技术文盲而产生的不透明性，以及从机器学习算法的特征以及要求将它们有效适用的测量中产生的不透明性。
因此，在需要质疑自动化决策的结果时，比如希望在法庭上挑战算法决策的合理性或者公平性，如何解释算法和机器学习就成了一大难题。这种不透明性使得人们很难了解算法的内在工作机制，尤其是对一个不懂计算机技术的外行而言。
3.如何向算法问责（Accountability）？
如果人们不满意政府的行为，可以提起行政诉讼；如果不满意法官的判决，可以提起上诉，正当程序（Due Process）确保这些决策行为可以得到某种程度的审查。但是，如果人们对算法决策的结果不满意，是否可以对算法进行司法审查呢？在算法决策盛行的时代，对算法进行审查是极为必要的。
但是，需要解决两个问题。第一，如果算法、模型等可以被直接审查，人们需要审查什么？对于技术文盲而言，审查算法是一件极为困难的事。第二，人们如何判断算法是否遵守既有的法律政策？第三，在缺乏透明性的情况下，如何对算法进行审查？
如前所述，算法的不透明性是一个普遍的问题，因为企业可以对算法主张商业秘密或者私人财产。在这种情况下，对算法进行审查可能是很困难的。此外，从成本—效益分析的角度来看，解密算法从而使之透明化可能需要花费非常大的代价，可能远远超出所能获得的效益。此时，人们只能尝试对不透明的算法进行审查，但这未必能得到一个公平的结果。
五、构建技术公平规则，通过设计实现公平（Fairness by Design）
人类社会中的法律规则、制度以及司法决策行为受到程序正义（Procedural Justice）和正当程序约束。但是，各种规则比如征信规则、量刑规则、保险规则等正被写进程序当中，被代码化。然而，编程人员可能并不知道公平的技术内涵，也缺乏一些必要的技术公平规则指引他们的程序设计。对于诸如行政机构等做出的外在决策行为，人们建立了正当程序予以约束。对于机器做出的秘密决策行为，是否需要受到正当程序约束呢？也许，正如Danielle Keats Citron在其论文《技术正当程序》（Technological Due Process）中所呼吁的那样，对于关乎个体权益的自动化决策系统、算法和人工智能，考虑到算法和代码，而非规则，日益决定各种决策工作的结果，人们需要提前构建技术公平规则，通过设计保障公平之实现，并且需要技术正当程序，来加强自动化决策系统中的透明性、可责性以及被写进代码中的规则的准确性。而这一切，仅仅依靠技术人员是无法达成的。
在政府层面，为了削弱或者避免机器偏见，美国白宫人工智能报告将“理解并解决人工智能的道德、法律和社会影响”列入国家人工智能战略，并建议AI从业者和学生都能接受伦理培训。英国下议院科学技术委员会呼吁成立一个专门的人工智能委员会，对人工智能当前以及未来发展中的社会、伦理和法律影响进行研究。
在行业层面，谷歌作为业界代表，则在机器学习中提出“机会平等”（Equality of Opportunity）这一概念，以避免基于一套敏感属性的歧视。Matthew Joseph等人在其论文《罗尔斯式的公平之于机器学习》（Rawlsian Fairness for Machine Learning）中基于俄罗斯的“公平的机会平等” （Fair Equality of Opportunity）理论，引入了“歧视指数”（Discrimination Index）的概念，提出了如何设计“公平的”算法的方法。
无论如何，在人工智能日益代替人类进行各种决策的时代，设计出验证、证实、知情同意、透明性、可责性、救济、责任等方面的机制，对于削弱或者避免机器歧视、确保公平正义，是至关重要的。
注释：
[1]https://techcrunch.com/2016/10/12/white-house-reports-on-ai-no-skynet/
[2]http://www.bbc.com/news/technology-33347866
[3]https://www.theguardian.com/technology/2015/may/20/flickr-complaints-offensive-auto-tagging-photos
[4]https://en.wikipedia.org/wiki/Tay_(bot)
[5]http://www.bbc.com/news/technology-21322183
[6]https://www.theguardian.com/technology/2015/jul/08/women-less-likely-ads-high-paid-jobs-google-study
[7]https://www.propublica.org/series/machine-bias
[8]https://www.scientificamerican.com/article/lunchtime-leniency/
[9]http://technical.ly/brooklyn/2016/06/08/fred-benenson-mathwashing-facebook-data-worship/
[10]https://www.propublica.org/article/discrimination-by-design
