孙保学.人工智能算法伦理及其风险[J].哲学动态,2019(10):93-99.
人工智能算法伦理及其风险
孙保学
湖南师范大学公共管理学院哲学系暨人工智能道德决策研究所
摘要：算法不仅能挖掘出数据背后隐藏的有价值的信息,而且给人们的行动提供指导和建议,在很多情况下已经可以代替人类决策和行动。随着算法越来越多地参与人类活动,接管各种复杂任务,它们已经成为一种调节人、机器和社会之间关系的关键纽结。由此,算法所引起的伦理问题将变得越来越突出。算法伦理的内涵澄清是我们进行理性探讨的前提,基于算法的使用过程可以将其问题域划分为算法的自主性特征、应用性场景和归责性困境三个方面,在此基础上我们能够更有效地展开算法伦理风险分析。
关键词：算法伦理;大数据;机器学习;人工智能;伦理风险;
基金：国家社会科学基金重大项目“大数据环境下信息价值开发的伦理约束机制研究”(17ZDA023);国家社会科学基金青年项目“人工智能的道德决策研究”(17CZX019)的阶段性成果;
我们已经生活在算法时代。算法已经成为信息社会的一种基础设施,引导和支配着我们的思维和行为,甚至在某种程度上决定着我们的生活和工作方式。一个显而易见的趋势是,智能设备被越来越多地嵌入人类的认知活动,分担特定的认知任务,参与人们的判断与决策。基于大数据算法的人工智能系统为人们提供新闻、天气、交通、理财和健身等各种服务信息和选择建议,能够辅助人们找到解决问题的最佳方案。近年来,语音识别、图像识别、机器翻译、医疗诊断和自动驾驶等技术的发展突飞猛进,其表现令人叹为观止。其实,它们都是仰赖大数据算法来实现其特定功能的飞跃,尤其以借鉴人脑结构的深度学习(deep learning)算法最具代表性。在某种意义上可以说,我们时刻都在和算法打交道,只是我们很少深刻地反思到这一点。基于此,本文尝试为人工智能的算法伦理研究提供一种可能的讨论框架,并对算法的伦理风险问题作出初步探索。
一 何为算法伦理
算法正在改变我们的生活,重塑我们的社会。算法不仅仅为人们的决策和行动提供具体的建议,在人类的授权下它们甚至能够代替人们决策和行动。事实上,越来越多的工作任务已被算法所接管。例如,在医疗领域,算法被用于体检、诊断和开具处方等;在司法领域,算法被用于分析判例以此来协助律师或法官的判案工作;在金融领域,对申请人贷款的批准与否越来越多地交给算法来完成。据统计,美国的股票交易决定有一半以上是由算法作出的;在军事领域,算法被用来模拟空战,其表现已经远远超过最优秀的飞行员;等等。毫无疑问,算法在未来社会的地位和作用将会越来越突出。它不仅调节机器与机器的关系,而且调节机器与人以及人与人的关系。算法越来越多地参与到人们的道德生活是一种必然趋势。
在人工智能所涉及的伦理问题中,算法伦理居于基础地位。在智能时代,算法不只是存在于网络空间的代码,而且已经渗透到人们生活的每个片段和角落,深刻地影响着我们对周遭环境的认知和理解,并渐趋成为我们生活世界底层架构的一部分。可以说,在人工智能的广泛应用并引发的越来越多的社会伦理问题中,多数都是由算法所派生的。但是,在试图解答算法伦理问题时,我们首先要明确“算法”所针对的话语系统,否则将会陷入算法的学术定义和日常用法来回跳跃的混乱情形。
算法在计算机科学、数学和公共话语等领域的内涵是不同的,试图为算法寻找一个涵盖所有领域的定义非常困难。长期以来,在计算机科学领域,算法被看作用某种方法解决问题的策略机制,它可以被具体化为一组准确且完整的描述或一系列清晰的指令。需要注意的是,算法与代码是不同的。代码是一系列计算机指令,是计算的具体实现;算法则是与具体实现相互独立的能够刻画某个问题解决方案的一系列步骤。在这里,算法更多地被理解为“在一个特定的程序、软件或信息系统中一个或多个算法的实现和交互,而不是一种数学结构”1。其实,算法的使用远不限于计算机科学领域。在古代,算法是数学家关注的核心问题。例如,数学家用欧几里得算法计算两个整数的最大公约数。到公元9世纪,波斯数学家花拉子密(Muhammad深ibn Mūsā al-Khwārizmī)在《代数学》(Kitāb al-jabr wal-muqabala)一书中引进印度-阿拉伯数字系统及配套算法来解决数学问题。其中,“al-jabr”就是后来“代数”这个词的前身,“自1230年起,花拉子密这个名字就成了‘算法(algorithm)’一词的来源”2。之后,在数学中,算法通常被用来描述解决某一问题的操作步骤,它们可以通过数字符号、算盘、图表和计算工具等来执行。当然,算法也不限定于数学领域。其实,在人类历史早期,原始先民们所发明的用来解决各种现实问题的进程(例如烹饪的食谱、织毛衣的图样),都可以被称为“算法”。因此,广义的算法可能和文字一样古老,只是到了后来人们越来越多地在符号表达方面使用它。人们在公共话语中所谓的算法主要是指这类广义的使用,正如罗宾·希尔(Robin Hill)所刻画的:“我们发现任何程序或决策过程,无论定义多么不明确,都可以在媒体和公共话语中被称为一种‘算法’。在新闻中,我们听到的是‘算法’能表明单身人士的潜在伴侣,可以检测到营销人员的财务收益趋势……”3媒体和公众舆论所谈的算法大多属于这一类。
如果想要全面地理解算法的伦理影响,我们必须考察算法在执行层所产生的问题,分析算法在实际操作中可能对人类和其他主体所造成的影响。这就要求我们不能仅仅限于数学的角度,而必须从更加综合的视角来看待算法。不过,希尔可能更倾向于将算法定义为数学结构,它具有“有限的、抽象的、有效的、复合的控制结构,在给定的条件下完成给定的目的”3。这种定义方式或许能够使算法具有更强的包容性,但仍是从抽象意义上谈论算法的本质。按照布伦特·米特尔施泰特(Brent Mittelstadt)等人的观点,当我们立足于公共话语体系来理解和解释算法时,通常是从它的实现层面来思考,而不是聚焦于算法的数学结构。“算法的一般用法还包括将数学结构构造成一种技术,以及为特定任务配置的技术的应用。一个完全配置的算法将把抽象的数学结构合并到一个系统中,用于在特定的分析领域进行任务分析。所以,对特定任务或数据集的算法配置不会改变其基本的数学表示或系统实现,对于具体的情况或问题,更需要对算法的操作进行进一步的调整。”4对于算法而言,底层的数学结构是相对稳定的,但算法的设置和应用层则是灵活多样的。
原则上,对于任何可计算的程序操作或决策过程,人们都可以用算法来刻画,但不是所有与算法相关的问题都被纳入伦理学讨论。根据米特尔施泰特等人的分析,算法的伦理问题至少有三个来源:数学结构、实现(技术、程序)和配置(应用程序)。但目前对算法的伦理考察主要集中于后两者。在公共话语中所讨论的算法主要指决策算法,即“在特定情况下采取的最佳行动,对数据进行最佳解释的算法。这些算法增强或取代人类的分析和决策,通常取决于数据和规则的范围或规模”4。当然,这些决策算法并不都隶属于道德决策算法,它们当中只有一部分与伦理问题相关。对于决策算法而言,程序、软件及信息系统的实现和执行层是技术与实际生活的活动界面,其伦理意义也在这个界面上展开。事实上,那些涉及人类权益可能受到侵害且决策者面临多重选择的情境更有可能发生道德冲突。
算法伦理研究的价值导向是算法在道德上的可接受性。在一些领域,算法的性能表现和解决任务的能力堪与人类媲美,在某些方面甚至要优于人类的分析和决策。随着算法广泛地嵌入人们的日常生活,对其可靠性要求越来越高,衡量标准既体现在算法技术的进步,也反映在算法在道德上的可接受性。这种价值导向使研究者的关注点主要聚焦于以下两类算法:一是人类很难预测其行为后果的算法;二是造成的事实背后的决策逻辑难以解释的算法。4它们将不确定性和不透明性引入计算过程,进而将其延伸到社会生活领域,无形地增加了伦理风险。这两类算法给伦理学带来全新的挑战,而且由于算法所引起的伦理问题与其他技术引起的伦理问题有明显不同,因此具有更大的讨论价值。
二 算法伦理研究的三个维度
在具体情境中,决策算法产生的伦理问题可能与其他因素导致的伦理问题相互纠缠和叠加。因此,对算法所产生的伦理问题进行分类变得非常重要。那么,如何思考算法所导致的伦理问题呢?按照米特尔施泰特等人的看法,首先,为了获得某个既定的结果,算法要将数据转化为证据;其次,这个结果将以(半)自动方式触发一个可能并非道德中立的行动;最后,考察由算法驱动的行动造成影响的责任分配问题。根据这种分析进路,由算法产生的伦理问题可分为不确定性、不可理解性、误导性、不公正性、变革性影响和可追溯性六类。前三类属于认知层面,主要关注触发算法行动的数据作为证据的质量问题;中间两类属于规范层面,主要关注算法所引起的行动。但是,算法触发的行动会牵涉众多的行动者,而且行动可能会失败。当行动失败时,该如何解释,由谁为其负责就变得复杂起来。这就要求可追溯性作为最根本的关注点。4这种分析进路是从算法的技术特征出发思考伦理问题,认为算法的伦理问题需要从认识论上寻找证据来源。实际上,这种方案会将很多算法伦理问题置换为数据伦理问题。本文则试图基于算法的使用过程,从算法的自主性特征、应用性场景和归责性困难三个方面理解算法的伦理问题。
第一,算法的自主性所引发的伦理问题。传统上,程序员是以手动方式编写代码,通过这种方式来定义简易算法的决策规则和权重分配。如今,机器学习算法能够自己给自己编写代码,“通过从数据中推断,它们自己会弄明白做事方法。掌握的数据越多,它们的工作就越顺利”5。也就是说,程序员无需编写成千上万行的详细代码,只需给出一个合适的算法,然后给它足量的训练数据即可。算法越来越依靠大数据的训练和学习能力的提升。机器学习利用数据产生新的模式和知识,并生成有效预测的模型6,具有基于大数据系统对决策规则进行自主定义、修改和调整的能力。这种学习能力赋予了算法某种程度的自主性,而且,“这种自主性的影响必须保持某种程度上的不确定。因此,由机器学习所执行的任务很难事先预测(如何处理一个新的输入)或事后解释(如何作出一个特定的决定)。这样,不确定性会抑制在算法设计和操作中对伦理挑战的识别和纠正”7。也就是说,算法的自主性在提高决策效率和质量的同时,也将不确定性和不透明性引入了决策过程。它们所带来的可解释性和可预测性困难已成为算法突出的弱点,而且,这种困难似乎变得越来越难以解决。这主要有两方面的原因:一方面,算法本身的复杂性在增加;另一方面,算法与决策过程的其他参与者之间的互动也在不断增加。两者的叠加效应使得对算法的解释和说明更加困难。具体而言,算法使用机器学习和推理统计来处理海量数据,基于相关性逻辑得出不确定的归纳知识。尽管这种不确定性可以通过统计方法进行量化,但统计方法只能识别出不同变量之间的相关性,而不能甄别出因果性。因此,为了达到某一目标,通过分析相关变量可能无法判定导致某一行动的根本原因。虽然人们期望在数据和结论之间建立某种特殊连接,使前者成为后者的可靠证据,但这种连接在很多情况下不仅不是透明的,有时甚至是难以理解的,遑论对它进行监视和改进。也即是说,数据的规模、来源和质量不断增加着算法操作的复杂性。尤其是,机器学习所依赖的底层数据与目标知识之间的中间环节过多,过程的复杂性进而强化了它的不可理解性。因此,算法的自主性特征的确使得那些试图为算法行动寻找确定性和可理解的证据的计划变得困难。
第二,算法在应用性场景下的伦理问题,主要包括算法偏见、算法歧视和个人隐私保护等。算法在处理数据时,数据的输入也会为结果的输出设置限度。所谓“垃圾进—垃圾出(garbage in, garbage out)”的现象表明,算法的输出严重地受制于训练模型的数据集。“在机器习得越来越像人的语言能力的过程中,它们也正在深度地吸取人类语言模式中隐含的种种偏见。”8因此,训练算法的数据并不是价值中立的,在其底层渗透着数据生产者的价值观。算法总是会或多或少地受到个人或集体偏见的影响。这种价值渗入过程主要有两种路径:一是程序开发人员在设计算法时,参数设定会受到主观价值偏好的影响;二是用户在使用智能设备时可以根据自己的需要设置算法应用参数。因此,算法在一定程度上反映了创制者或使用者的价值偏好,并通过这种方式传承了人类社会的价值体系。
目前,“大数据杀熟”是算法歧视中被讨论最多的现象。商家基于消费大数据对用户进行精准的差别定价,以隐蔽的方式对价格不敏感人群实施高定价。这是商家利用信息的不对称最大限度地攫取消费者剩余的一种手段。实际上,即使算法的操作参数是根据使用者的合理需求而设定的,其后续行为也可能无意中造成社会歧视。某些个人或群体的利益受到侵害的可能性总是不能完全被排除,不利影响往往很难在设置算法之初就被预料。此外,在评估算法驱动的行为及其后果时,人们会援引不同的伦理标准和原则考察其是否合乎道德或有违公正。显然,这种评估一定是依赖于评价者的主观视角的,往往也会造成某种歧视的发生。因此,事后的“算法审计(algorithm audits)”将成为减少不利影响的必要手段。9
人们在使用各种应用平台时,会自觉或不自觉地通过社交软件、购物平台和搜索引擎等方式将自己的个人信息共享到平台上。10这导致的后果是,人们对自己的个人信息和隐私的控制越来越弱。这里的冲突在于:一方面,人们强烈要求各种应用平台要尽可能地保护个人隐私;另一方面,人们要求算法要具有透明性、可解释性和可理解性。实际上,两者之间的张力是很难协调的。也就是说,在道德上可接受的算法操作并不能保证它必然产生可接受的合乎道德的行为。因此,算法也不是价值中立的,它总是负载着人类社会的价值。
第三,算法的归责性困境问题。算法能够自主地调整操作参数和规则,这种调整被比喻为“黑箱操作”,由此也就将不确定性引入了决策过程,从而对算法的可控性提出挑战。由于算法决策过程的中间环节过多,就现有技术水平而言,确定某一具体操作失误究竟是编程错误、系统故障或偏见影响往往非常困难。这意味着确认算法活动的影响或溯因变得困难,因而准确定位导致行为后果的直接责任主体更是难上加难。
在简易编程时代,程序员就是系统的行为控制者,如今自动化算法、训练数据和系统环境的结合成为行为的使动者。“这种计算机系统的模块化设计,意味着没有单个人或团队可以完全掌握系统与一个复杂新输入流进行互动或回应的方法。”11安德里亚斯·马蒂亚斯(Andreas Matthias)指出:“如今,可以表明的是机器行动的种类越来越多,传统的责任归属方式与我们的正义感和社会道德框架并不兼容,因为没有人能够完全控制机器的行为,能够对它们承担责任。这些情况构成了我们称为‘责任鸿沟(responsibility gap)’的东西。”12尤其是,在由线性编程转向自编程算法的当下,这种趋势变得越来越明显。由于可追溯的伦理评价总是要对伤害找出原因和确定责任,因此责任很可能会被分摊到多个参与者或主体,这使得归责问题变得更加复杂。
总之,算法的伦理关注应该是多维的,上述分类可能无法含纳所有的新情况。不过,这似乎并不影响我们对算法伦理的整体理解。由于看问题的视角不同,我们所认识到的问题也会呈现出另外的维度。关键在于,算法正在通过它所触发的一系列行为从社会的底层架构重塑我们的世界观,甚至修改我们的社会规则。
三 算法的伦理风险
新兴技术在被大规模地应用于社会之前,人们总是会高估或低估它实际的社会影响。即使是相关领域的专家往往也难以准确预测新兴技术的发展趋势,试图为它们将会面临的问题提前规划好解决方案更是缘木求鱼。“由于种种原因,确定算法的潜在和实际的伦理影响是困难的。识别人类主观性在算法设计和配置中的影响,常常需要对长期的、多用户的开发过程进行研究。即使有足够的资源,问题和潜在的价值在有问题的使用案例出现之前通常也不会很明显。”13实际上,在蒸汽机发明了十多年之后,热力学定律才被总结出来。以此类推,只有算法被广泛地嵌入人们的日常生活当中,它所引发的伦理问题才能被充分显露。那些试图为算法将会面临的伦理问题预置解决方案,以期防患于未然的做法并不切实际。不过,对算法引起的伦理风险进行分析和思考却是必要的。
在算法嵌入社会的过程中,人们需要应对的更多的是伦理风险。有很多人担心在未来的某个时刻超级智能(superintelligence)会超过人类,乃至最终灭绝人类。其实,这种“远虑”只是杞人忧天。实际上,算法的目标是人类设定的,算法本身根本不可能自我设定出灭绝人类这个大目标。灾难发生更可能的情形是,智能技术被某些邪恶的个体或群体所掌控,从而威胁人类安全。相对现实的问题是,如果大型算法事故最终无法追究到责任主体,社会和公众可能会要求禁止这种算法的继续推广和使用。随着人类对算法逐渐增强的过度依赖性,人类被数据蒙骗的可能性也大大增加。算法的决策失误有可能造成大规模的扩散风险,其后果往往难以预料。因此,人类在应用人工智能算法时,必须保持谨慎,既要加强监管,也要做好风险防控工作。
为了防控人工智能的伦理风险,算法应该是可理解的和值得信任的,这将是人工智能技术开发的基本共识和伦理要求。在未来相当长的一段时期内,这也应当作为算法技术研发的首要任务。但算法的可控性可能是一个永无止境的追求,甚至是一个难以完成的任务。算法操作有数不清的调节参数,其分析维度也几乎是无穷多的。以深度神经网络为例,它由成百上千的数学函数(相当于“神经元”)构成,这些函数可以组成数不清的连续软件层,现在的网络可达两百多层。它们在处理信息时并非遵循线性的变换,信号在函数之间的传递每深入一层,其信息的复杂度就会呈指数增长。如果对其进行道德责任的追溯分析,那么它所涉及的计算量将大得惊人。事实上,当前的算法还远远达不到可理解性和值得信任的要求。
那么,算法的伦理问题真的需要追溯到如此深层吗?答案可能是肯定的。让我们考虑算法被应用于社会时,出现与使用者的预期不相协调的一些情况。例如,申请贷款被银行的智能系统拒绝,申请人肯定会要求给出拒绝的理由;智能医疗诊断系统判断病人得了不治之症,病人肯定想知道算法到底是根据哪些症状作出了这种判断;自动驾驶汽车在危急时刻拐向危险地带到底是基于什么理论,等等。在这些情况中,数据显然是被视为算法作出决策的证据。如果某个算法不能在数据与决策结果之间建立可访问的或可审查的连接,那么它可能被认定为事故发生的风险制造者,从而被限制或禁止使用。正如多明戈斯所指出的,“只有工程师和机修工有必要知道汽车发动机如何运作,但每位司机都必须明白转动方向盘会改变汽车的方向、踩刹车会让车停下”14。
为了减少算法决策的偏差风险,工程师不断提高数据的完备性,但这种努力经常被人为制造的对抗样本和诱饵数据所破坏。机器学习在吸收具有正面价值的数据时,也会吸收具有负面价值的数据。而且,具有负面价值的数据在被纳入大数据集时往往不易被提前甄别,因此,试图从源头上消除对抗样本的数据非常困难。数据挖掘技术能够开发出有价值的信息,同时也会把隐藏在数据背后的负面价值提炼出来。杰里米·徐(Jeremy Hsu)证实,人工智能能够从人类的日常语言数据中学到性别歧视和种族歧视。15算法是基于统计的相关性作出推理的,数据之间的统计学关联可能隐藏着人类的过失、偏见和歧视。发现和改正这些偏差,以此来避免伦理风险,从技术上讲是非常困难的。通常,只有当算法被应用于现实场景时,我们才能发现它们是否会违反某些伦理规范。
算法可能误判数据,最终作出背离实际状况的决策。算法的目标是作出最优化的决策,但这往往意味着在很多情况下它会选择走捷径,而不去审查数据反映的是否是假象。这就要求我们注意防范黑客攻击的风险。例如,视觉算法对图像的识别精度在未来会远远超过人类。一些黑客或不法分子可能会利用机器学习容易误判数据的特点,对一些公共场合的图像进行人类肉眼无法察觉的更改,从而使得智能机器作出完全相反或错误的道德决策。因此,如何为算法设置防火墙和加固系统将是防范算法伦理风险的一项重要措施。
算法的伦理风险防控实质上仍是人类对自身伦理风险防控的一部分。因而,算法不是绝对可靠的,算法事故风险评估机制的建立是必要的。面对数据分析和算法的复杂性,这项工作的展开可能面临种种困境。它可能要求我们从两个方向努力“驯化”算法:一是通过技术手段努力使算法尽可能地可解释和可追溯,能够对决策步骤或推理过程以人类可理解的方式(文字、声音或图像等)呈现。当然,这种解释必须是经得起实践检验的,而不是欺骗人类的随机语义组合;二是重新定位智能机器与人类的关系。随着算法的自主性不断提高,智能机器将从辅助型发展为协作型。人们越来越多地使用算法来辅助决策,同时算法也越来越依靠人们的使用来提高其性能表现。
结语
目前,算法的伦理研究属于尚未成熟的领域,亟待一个可行的思考框架让问题的思考变得聚焦,使算法时代的伦理研究有行动指南。不过,明确算法的伦理问题是一回事,解决算法所引起的伦理困境是另一回事。本文简要地勾勒思考算法伦理的一种可能的思考架构,并没有急于为算法的伦理问题提供具体的可能解答,更没有提供解决算法伦理困境的具体方法和工具。算法所引发的伦理问题往往都是非常具体和适应于情境的,它们带来的是全新的伦理挑战。这些挑战所涉及的问题主要来自于算法的自主性的提高和应用层面的价值传承及参数调整,算法的伦理责任归属往往也需要追溯到数据作为参考证据,但不能完全还原为数据的伦理问题。虽然算法正在成为现代社会基础架构中越来越重要的部分,但它并不是万能的,也不能基于其“黑箱”特征视其为某种神秘谋划和操作。算法所引发的伦理问题有些可以随着技术进步得到缓解,但也需要我们从提升社会认知和完善制度建设方面作出积极的推动。总之,算法功能的发挥不能摆脱伦理约束的“紧箍”,使用算法解决现实问题同样要有伦理风险的“防火墙”。
注释
1.Brent Mittelstadt,et al.,“The Ethics of Algorithms:Mapping the Debate”,Big Data & Society,3(2),2016,p.2.
2.瑟格·阿比特博、吉尔·多维克:《算法小时代:从数学到生活的历变》,任轶译,人民邮电出版社,2017,第6页。
3.Robin K.Hill,“What an Algorithm Is”,Philosophy & Technology,29(1),2016,p.36,p.47.
4.Brent Mittelstadt,et al.,“The Ethics of Algorithms:Mapping the Debate”,p.2,p.3,p.3,pp.4—5.
5.佩德罗·多明戈斯:《终极算法:机器学习和人工智能如何重塑世界》,黄芳萍译,中信出版社,2017,第xiii页。
6.Martijn van Otterlo,“A Machine Learning View on Profiling”,Privacy,Due Process and the Computational Turn:Philosophers of Law Meet Philosophers of Technology,Mireille Hildebrandt & Katja de Vries (eds.),Routledge,2013,pp.48—50.
7.Brent Mittelstadt,et al.,“The Ethics of Algorithms:Mapping the Debate”,pp.3—4.
8.温德尔·瓦拉赫、科林·艾伦:《道德机器:如何让机器人明辨是非》,王小红主译,北京大学出版社,2017,第1页。
9.Bryce W.Goodman,“A Step Towards Accountable Algorithms:Algorithmic Discrimination and the European Union General Data Protection”,29th Conference on Neural Information Processing Systems (NIPS 2016),Barcelona:Spain,p.4.URL=<http://www.mlandthelaw.org/papers/goodman1.pdf>.
10.Engin Bozdag,“Bias in Algorithmic Filtering and Personalization”,Ethics and Information Technology,15(3),2013,p.209.
11.温德尔·瓦拉赫、科林·艾伦:《道德机器:如何让机器人明辨是非》,第32页。
12.Andreas Matthias,“The Responsibility Gap:Ascribing Responsibility for the Actions of Learning Automata”,Ethics and Information Technology,6(3),2004,p.177. :
13.Brent Mittelstadt,et al.,“The Ethics of Algorithms:Mapping the Debate”,p.2.
14.佩德罗·多明戈斯:《终极算法:机器学习和人工智能如何重塑世界》,第xix页。
15.Jeremy Hsu,“AI Learns Gender and Racial Biases from Language”,IEEE Spectrum,2017-4-13.URL=<https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/ai-learns-gender-and-racial-biases-from-language/>.
