人工智能体的自主性与责任承担[①]

宋春艳，李伦

摘要：认知是人类对信息加工的过程。延展认知理论认为，认知不一定局限于大脑和身体之内，可以延展到身体之外。当前，借助互联网和大数据技术，人工智能体对人类感觉、知觉、思维、语言等多种认知能力模拟水平飞速提高，智能化程度也大大提升。在智能体与人、环境等要素共同构成的人机系统中，人机交互呈现出新的特点，智能体表现出越来越强的“自主性”，而人却主动地放弃选择的自由，这引发学界关于人机系统中智能体能否承担事故责任以及怎样承担等问题的新讨论。本文认为，人类的认知可以被人工智能体延展，但责任却不能延展，由此设计出人机系统的责任分配原则；最后分别从人工智能体的“输入—输出”能否控制，尝试在四种语境下给出了人机系统的责任承担方案。

关键词：人工智能体；自主性；责任承担；风险防控

中图分类号：B82-057 文献标识码： A

文献信息：宋春艳,李伦.人工智能体的自主性与责任承担[J].自然辩证法通讯,2019,41(11):95-100.

本文在《中国社会科学文摘》2020年第1期主要观点摘登

关于认知的定义，一般认为是人类信息加工的过程，包括感觉、知觉、思维、语言等。传统观点认为，认知局限于人的大脑或者躯体以内；延展认知理论则突破这种局限，认为“认知不一定局限于大脑和身体之内，可以延展到身体之外”^[1]。从古到今，很多技术和技术产品已经实现了对人类认知的延展，如文字、符号、算盘、笔记本、计算机、互联网等媒介。当前，借助于互联网和大数据技术，人工智能体获得更加全面的实时数据进行学习和训练，从而大大提高了对人类认知的模拟水平。在智能体与人、环境等要素共同构成的系统中，智能体已经表现出越来越强的自动性和“自主性”。那么，这是否意味着未来人工智体将成为新的责任主体呢？人类是否可以在智能体引发的事故面前袖手旁观呢？

一、人工智能体的自主性与担责可能性的论辩

 1. 正方意见：人工智能体已经产生自主性，可以承担一定责任

当今技术发展的速度超过了历史上任何一个时期。英特尔创始人摩尔关于芯片性能每18个月倍增的定律成为技术发展速度加快的最佳证明之一。除了技术发展速度增快之外，技术领域的复杂性更让作为外行的公众难以适应，与技术的迅猛发展相对比的是，人类社会的精神文明建设却没有得到协调发展。以至于技术文化批评家温纳（Langdon Winner）惊呼，“技术领域的发展总是超过个人和社会系统的适应能力，社会日益增长的复杂性和变化速度都让我们迷失了方向。我们的不足不在于缺少得到很少证实的‘事实’，我们缺乏的是我们的方向。对技术事务的当代经验一再混淆我们的视野、期望，以及作出明智判断的能力”^[2]。人类对技术的最大恐惧莫过于担心对自己制造的技术产品失去控制权，尤其是当技术产生自主性侯。那么，技术真的产生自主性了吗？

一些学者认为技术已经产生了意向性或者自主性。技术现象学的观点认为，人不是直接面对世界，而是通过技术的“中介”关联世界，技术在人与世界的关系中起着“中介调节”的作用。这种调节作用主要表现在两个层面：一是知觉层面，表现为在转换人对世界感知上的“放大”或“缩小”的作用；另一个是实践层面，表现在技术对人类行为的激励或抑制作用^[3]。也就是说，技术是具有道德调节功能的。拉图尔（Bruno Latour）也有类似的观点，他认为技术是“行动者网络”中的一种“行动者”，具有一定的能动性，影响人类的道德行为。他通过汽车警报声强制他系好安全带的案例表明：技术人工物能够“影响我们所做的决定、我们行动的结果以及我们在世界存在的方式”^[4]。正因为如此，他认为技术是具有某种积极的、能动的、独立的意向性。技术悲观主义者埃吕尔（Jacques Ellul）甚至认为，技术已经发展成一个巨大的具有自主性的系统。而“人类个体本身在更大的程度上是某些技术及其工序的对象……（技术开发者）他们本身已深深技术化了。他们绝不愿意轻视技术，对他们来说，技术本质上是好的。他们绝不假装把价值赋予技术，对他们来说，技术自身就是一个产生目的的实体。他们绝不会要求它从属于任何价值，因为对他们而言，技术就是价值”^[5]。

技术自主性的支持者在智能化程度日趋提升的人工智能体那里试图找到更有力的证据。不论是赞成人工智能体有道德承担能力还是反对者，都认为其能否成为人工道德行为体（AMAS）的关键在于是否具有自我意识或自由意志。艾伦(Colin Allen)等学者仿效“图灵测试”，将谈话内容改为道德问题，假定讯问者（interrogators）如果没有在一定的错误比例中区分出人与机器，那么就说智能体通过了道德图灵测试，也就可以看作是人工道德行为体^[6]。而人工道德行为体意味着拥有自我意识，由此，道德图灵测试的结果就被认为是可以用来证明人工智能体或机器人具有自我意识的。那么，这真的可行吗？

如果人工智能体真的具有一定的自主性，那么必然意味着也要承担相关的责任。例如，网络社会中的违法行为，无论是电脑还是互联网，作为技术如果具有一定的自主性，那么就都应该承担一定的责任。约翰逊( Deborah G. Johnson)认为计算机系统具有道德代理关系，其工作类似于那些本该具有道德约束的人类服务人员，计算机系统从一种工具变成了代理人，计算机系统具有某种道德代理则是顺理成章的事^[7]。然而即使我们能设计一个在道德上评价计算机系统的框架，对于没有情感的技术产品问责是毫无意义的。斯塔尔(Bernd Carsten Stahl)认为，即使先进的计算机系统也缺乏完全成熟的道德行动者的属性，如拥有自由意志和体验能力或感到责备和赞美，因此他建议这样的智能体最多只能有一种准道德责任（quasi-moral responsibility）^[8]。伊利斯(Christian F.R.Illies)和梅杰斯(Anthonie Meijers)为了强调人工制品对使用者行动图景（action scheme）的深刻影响和责任担当，通过提出“第二责任”来指称设计者和包含在人工制品制作过程中的所有人对使用者应负的责任，也就是通过价值敏感设计来让人工制品具有道德属性^[9]。虽然“准责任”与“第二责任”都是强调技术人工物的责任属性，通过其存在调节人类的行为方式和责任关系。但归根结底，无论怎样设计，对技术人工物的褒奖或者惩罚是难以真正实现的，或者说人工物自身是无法感受到奖惩的，那么对人工物的道德关系调整必然还是要回到对人类行为的规制上。

2. 反方意见：人工智能体没有自主性，不能担责

对人工智能体自主性支持方最大的威胁主要来自对智能体自我意识的质疑。承担道德责任可能性的判据在主体的概念内涵中，“自我”是其中一个关键要素，即，能够意识到自己与众不同。人之所以能够具有自我意识和主体性，得益于人有自由意志。因为有了自由意志，才能自觉选择和自主决定自己的行为，可以主动选择行为A，而不是行为B，虽然行为B也是有能力完成的。技术虽然能够借道德物化的功能来展示自己的某种“自主性”，例如，马路上的斑马线促使人们自觉遵守交通规则，代替了交通警察执行了监督功能，以至于给人一种感觉，技术有了意向性或者自主性。但这种自主性不是自己给的，而是人所赋予的；并且，这种“自主性”只是看上去像有，而实质上并没有，这种自主性源于一种功能赋予。所谓的功能赋予，是指行动者利用物体的自然属性达到他们的目的，人类和某些动物具有赋予对象某种功能的能力^[10]。这些功能不是自然物体固有的物理学上的那种性质，而是由有意识的行为者从外部赋予的，行动者可以因为不同的目的给同一种自然物体赋予不同的功能，包括道德的功能。如，中国人喜欢在书房或者办公室挂字画牌匾来提示自己或警示自己，这种道德约束功能并不是书画匾额作品自身具有的，而是使用者赋予它的。技术不可能具有自主性，因为技术所表征出来的意义和的功能都是人所赋予，不管这种赋予是有意的还是无意的。在拉图尔提出的汽车案例中，汽车的“意向性”和“自主性”都是人类（这里主要指设计者）赋予的，使得技术人工物在功能上看上去有“自主性”和“意向性”而已。

对证明人工智能体有自我意识的最强有力支持的道德图灵测试，仍然遭到不少学者的质疑和批判。吴冠军认为，道德图灵测试实质上测的不是计算机是否真有意识，而是人是否认为它有意识。人工智能的意识犹如康德所说的物自体，人判断它存不存在，与它本身是否存在完全不相关^[11]。目前看来，人工智能体是否具有自我意识无法证实，也就无法证明其有自主性；没有自我意识，也就不可能产生荣誉感和羞耻心，不能产生承担责任的内生动力。

实质上，对于机器参与人类认知活动是否需要承担道德责任，控制论创建者维纳早就给出了答案：人类如果把责任丢给机器，最终会自食其果^[12]。在当今大科学时代，信息技术已经成为各学科各行业知识获得和传播的重要媒介，其过失行为应该被视作集体行为，相应的责任主体应该包括相关的系统使用者、系统设计者、网络维护者等^[13]。

3. 综合意见：人工智能体可以延展人类认知，但是责任不能延展

有认知能力并不等于有责任承担能力。“责任”是一个关联性的概念，不仅与个体属性相关，而且更多时候在群体层面发生意义。从个体层面来看，认知能力不一定要求有自我意识，而责任承担必然要求有自我意识的存在。认知包括感觉、知觉等能力，而根据人类认知五层级理论^[14]，低层级的感觉能力只要具备了，就可以看做是有认知能力，但是这并不必然要求自我意识，自我意识是人类独有的语言层级和思维层级认知才能产生的。现有的智能体已经能够模仿人类低阶认知，但是在高阶认知模拟上却存在局限性，即使语音技术的进步使得智能机器人能够说出“我认为……”或者“我为此事道歉”这样的语句，却并不能证明这是智能体思维的表征，因为其思维能力现在尚不能确定。从群体层面来看，责任承担涉及的不仅是个人的自我体会，而且还与整个社会的运行体制机制相关。即使智能体认知水平提高到超过人类普通水平，甚至拥有了自主性，但是智能体和人类仍然处于两个不同的可能世界，在智能体所在的可能世界与人类社会没有建立起交融的体系前，智能体是不可能如人类期望那样承担责任的。

再从认知的主客体关系看，从认知主体的角度出发，既然人工智能体的自我意识无法确定，那么就可以认为它们是无法体验情感，那么是不能承担任何责任的；而新近发展起来的社交机器人拥有酷似人类的外表，其行为能够引起人类的情感共鸣。在这样的背景下，如果从认知客体的角度出发，也就说从认知对象的体验出发，那么人工智能体只要作出了类似于人类的负责任的行为，我们就可以认为人工智能体是承担了责任。但这种承担责任的效果非常有限，仅限于心理安慰而已。

由此可见，人工智能体即使可以延展人类的认知，但却无法承担相关的责任，只有人类才能挑起责任重担。作为万物之灵的人类既可以在事前将人类价值观融入到智能体伦理设计中，也可以通过法律、金融、技术等手段进行事后干预，综合多种手段共同防控风险。

二、人机系统的责任分配原则

从延展认知的视角来看，一方面，智能体正作为环境要素影响着人类的认知过程和判断结果，因此，对人机系统的事故责任的考虑必须考虑人与技术在这一整体中的角色与互动；与此同时，在人的行为中，技术连接了人工物和使用者，但延展人类认知的仍然是没有自我意识和担责能力的技术，因此最终能够为行为本身负责的只能是人。就像芒德福(Lewis Mumford)所说，“技术本身不像整个宇宙一样，形成一个独立的体系。它只是人类文化中的一个元素，它起的作用的好坏，取决于社会集体对其利用的好坏。机器本身不提出任何要求，也不保证做到什么。提出要求和保证做到什么，这是人类的精神任务。”^[15]只有人类，才能提出道德规范，同时自觉遵守道德规范；而对于人工智能，我们可以期望，但不能指望。因此，在对人与人工智能体构成的整体系统进行责任分配方案设计时可以借鉴约纳斯(Hans Jonas)的责任伦理原则。约纳斯的责任伦理是一种整体性的伦理，作为具有自由意志和理性的主体，人类在面对作为对象的人工智能体时，不仅要为其行为造成的后果承担责任，而且为了人类社会的整体利益和长远利益必须负责任地行动^[16]。也就是说，人类应通过多种方式，主动承担道德意义的事前责任和法律意义的事后责任。在当前人机系统中，人与认知环境已经形成认知整体，同时责任主体却又只能是人，由此制定如下责任分配原则：

原则一：以人为本、共生共存原则

人工智能的兴起始于“人的需要”，因而其发展必然至始至终必须“以人为本”，或者以人类的利益为中心；虽然在发展的过程中，难免会因为科技的“双刃剑”效应，产生一些难以预料的后果，但总的来看是利大于弊的。人工智能将在发展中成为一个新的物种，其存在的初衷是为了促进人类幸福和长远发展，因此我们也应尊重它们，从自身长远利益和人类社会的整体利益出发，与其共生共存；同时，我们也应正视人工智能存在的不足，无论是当前模仿人类思维能力还是道德情感方面，利用人工智能来提升人类潜能才能从根本上让人类保持安全感和主人地位，更好地承担新的社会责任。

原则二：人类作为责任主体承担全部后果

目前的人工智能尚不具有自由意志和情感，因此从客观上无从谈起承担责任和后果；未来倘若人工智能能够产生自由意志和情感，那么我们也不能完全寄希望于他能自觉按照人类道德规范，承担相应的责任。就像人类社会中我们不能指望每一个人都自觉遵守道德规范一样，我们更不能指望一个智能机器人自觉遵守道德规范。唯一有效的办法，就是人类自觉遵守道德规范，主动承担法律意义的事后责任和道德意义的事前责任；同时加强对自主机器人的控制研究；一旦失控，则摧毁它，将人类社会的损失控制在最小范围。

原则三：分级分类制订担责方案

自计算机诞生之日起，人工智能就在模仿人的各种能力中不断进步。在人机系统中，由于人工智能的智能化程度不同，从而在认知整体中扮演着不同的角色；同时，其可控性也不同，因此，不同领域的人在和智能化程度不同的人工智能体交互时也应该承担不同的责任，由此制订担责方案时也应该有所区别，这就是分级分类制订担责方案的原则。目前的人工智能体并不具备真正的自主性，也就无法承担道德责任，但可以通过道德物化形式进行价值敏感设计，并综合运用技术、法律和保险等多种方式来进行风险防控；未来智能机器人即使产生自由意志，人类也应从整体利益和长远利益出发，主动承担道德意义的事前责任和法律意义的事后责任。

三、人机系统的责任承担方案

根据以上列出的三条人机系统责任分配原则，这里分别从人工智能体的“输入—输出”能否控制，在四种语境下给出了人机系统的责任分配方案：一类是针对人工智能体的输入、输出均可控制的人机系统，其事故责任归属方案主要是依赖传统的技术补救和法律追责；二类是针对人工智能体的输入不可控、输出可控制的人机系统，其事故责任归属必须依赖政府和企业对大数据的安全监控；三类是针对人工智能体输入可控、输出不可控的人机系统，必须通过技术的价值敏感设计和风险转移机制来规避风险；四类是针对人工智能体输入、输出均不可控制的人机系统，必须通过国家之间缔结盟约来应对全球威胁。

第一，“人——输入输出均可控的人工智能体”：传统的技术补救和法律问责

这类人机系统中的“机”主要是指传统的人工智能，还算不上真正的智能体。传统的人工智能以及当前主流的人工智能的输入输出均可控，如办公软件，平板电脑，等等，这一类系统的输入-输出是完全由计算机的初始设计所确定的，即使是随机函数，也是在一定范围的随机。因此，这类人工智能的过失可以说是由设计者的失误或疏忽造成，当然，要想完全排除这种失误也是不现实的。不过这类系统的危险并不来自于系统本身的强大，而是来自于设计者或者使用者。这类人工智能可能出现的失误已经形成了比较固定的防范模式，比如事前通过技术上的打补丁或者事后法律问责等。

第二，“人——输入不可控、输出可控的人工智能体”：政府和企业的安全监控

当前人工智能体性能的大幅提升得益于技术环境的改善，即，互联网和大数据技术的发展，这使得人工智能获得了丰富的“喂养”原料，因此训练的成本大大降低，训练的广度和深度却大大扩展，最终使得人工智能“模仿”人类智能水平大大提升。对于那些能够通过互联网自我深度学习的人工智能来说，人类反而无法掌控其学习的具体路径和方式，而只能从学成的结果判断人工智能的智能化水平。例如，谷歌开发的AlphaGo Zero，从对围棋一无所知的状态开始进行自我学习，通过自己跟自己博弈不断提升弈棋水平。在完全没有借助任何人类棋谱的情况下，通过一段时间自我学习的AlphaGo Zero以100：0的战绩完胜曾经以4:1比分战胜世界围棋冠军李世石的AlphaGo Lee，并以89:11战胜了对人类保持全胜记录的AlphaGo Master，成为最强围棋人工智能^[17]。诸如这类人工智能一旦投入到互联网，在完成给定目标的指令下，将通过自我搜索、自我学习来快速实现目标，而不管获取数据是否合法。针对这类人工智能，只能通过对其运行的环境的干预来降低风险，尤其是通过政府和企业合作，共同制定相关政策和采取相应措施来进行安全监控，规避隐私风险和安全风险。

第三，“人——输入可控、输出不可控的人工智能体”：技术的价值敏感设计和风险转移机制

在这类人机系统中，人工智能体的行为不完全由初始设计所确定，而且还取决于系统的全部经验，包括有限的训练阶段和投入使用后的全部经历。例如，以自动驾驶汽车为代表的通用人工智能，这类人工智能在运行过程中将遇到某些特殊的情境迫使其做“道德判断”——尽管人工智能体自身并不明白这样的选择具有道德选择的意味。人类目前正试图将自己认可的道德律令植入这类人工智能体，然而却一直争议不断。原因来自两方面：一是并没有所有人都同意的道德规则，尤其是在不同民族不同国家之中。一旦强制性地将某些规则植入人工智能，未必符合人类的长远利益，甚至影响社会的稳定；二是道德规则在植入后面对具体的情境，各种要求会互相竞争甚至冲突，唯一的解决办法就是由人来根据人工智能提供的信息作道德选择，从而把人工智能带来的风险处理提高到人类可以操控的层面^[18]。那么，一旦人工智能体的“道德选择”出错，谁来负责呢？这需要审视错误的性质，由此设计出不同的担责方案：一类从研发环节即从设计步骤入手，建议加强伦理学者与工程师的合作，与工程师合作商议决定机器人应该拥有那些能力，让机器人的行为和能力符合消费者（或人类）价值观；并限定机器人的检修周期和使用的最长寿命。另一类从运用环节考虑，通过保险等机制转移风险。由于人工智能体负载的功能复杂，其损失覆盖面通常比较大，大多数情况下个人甚至公司都无法独自承担风险。在这种情况下，国家的法律体系、金融保险体系、社会体系都需要做相应用的调整，以实现共担风险。如，针对无人驾驶汽车引发的事故制定双重保险计划的法律条文，保险公司先支付赔付，然后作为责任方从制造商处追回，如英国；或者汽车公司在销售无人驾驶汽车时同时售卖保险，巧妙地将保险费纳入到购车费用中，如特斯拉。总的来看，克服这类人工智能体的危险性的要点和难点在于对其后天经验的控制和影响，这不完全是个技术问题，而也是个社会工程。在科学技术融入日常生活的浸透，对这类影响深远的人工智能的开发必须谨慎，不仅需要研发者有一种伦理的意识影响其研发行为，同时还必须进行详细的技术评估。

第四，“人——输入输出均无法控制的人工智能体”：国家之间缔结盟约应对全球威胁

对输入输出均无法人为控制的人工智能体，无疑是最危险的人工智能，目前仅出现在科幻作品中。只要给了它“第一推动力”，也就是制造出来，那么就可以面对外在环境进行自我适应。这类人工智能体的控制一方面只能通过改变外在使用环境来限制；另一方面，谁来给予“第一推动力”就很重要。人类目前最担心的这类人工智能体莫过于“自主机器人杀手”。因为每个人都无法在心理上接受无辜的人被杀死，而在这类人工智能体面前，个体只是被攻击的普通对象，而非有血有肉有情感的人类。这样的人工智能体将和原子弹一样，成为恐怖组织追捧的新式武器，进而成为全球威胁。实质上，自主机器人杀手还不是真正的输入输出无法控制的人工智能，因为是可以召回的，科幻电影《异形：契约》里的大卫才是真正的输入输出无法掌控的人工智能。它可能外表没有那么可怕，但由于输入输出已经不能控制，自主性已经产生，人类不仅不能控制它，甚至可能被它们控制。而对这类人工智能体产生的风险的应对，则不能依赖一个企业或者一个国家，需要全球各个国家之间缔结盟约，共同应对这一世界难题。

结语：我们到底需要什么样的人工智能?

当一个貌似可以自主行动的人工智能体来到我们身边时，我们并不是只有惊喜。相信不少观众在观看世界围棋冠军李世石与 AlphaGo 下棋的同时，很容易就去幻想一个由机器主宰的未来，从而对人类的未来担忧。事实上，人类只愿意独享自主决定的优越性，并不希望由人工智能为人类做主，人类既然在工业时代就展现出征服自然的野心，那么征服机器同样也是志在必得。因此，对于人工智能的何去何从，人类绝不可能放弃作为主人的愿望；我们只希望让人工智能通过提供信息、预测任何行动过程的后果、提出建议来增强人类的智慧，或者代替人类从事人体不能胜任的体力劳动，但“何时行动？”“如何行动？”“何时停止？”的选择权和决定权应该留给人类。

参考文献

[1] Clark, A., & Chalmers, D. ‘The Extended Mind’ [J]. Analysis, 1998, 58(1):7-19.

[2] 兰登.温纳. 自主性技术：作为政治思想主题的失控技术[M]. 杨海燕译, 北京：北京大学出版社，2014,“导言”第5页.

[3] 彼得.保罗.维贝克. 将技术道德化——理解与设计物的道德[M]，闫宏秀, 杨庆峰译，上海：上海交通大学出版社, 2016, 8-14.

[4] Latour, B.‘Where Are the Missing Masses? The Sociology of a Few Mundane Artifacts’ In Bijker, W.E. & Law, J. (Eds.). Shaping Technology/Building Society: Studies in Socio-technical Change[M]. Cambridge, Mass.: MIT Press, 1992, 225-258.

[5] 雅克.埃吕尔. 技术秩序[A].技术哲学经典读本[M].吴国盛编，上海：上海交通大学出版社，2008, 123.

[6] Allen,C.，Varner, & G., Zinser，J. ‘Prolegomena to Any Future Artificial Moral Agent’[J]，Journal of Experimental and Theoretical Artificial Intelligence，2000, 12(3):254．

[7] 波瓦斯.约翰逊. 计算机作为代理者[A], 霍文，维克特主编. 信息技术与道德哲学[M].赵迎欢，宋吉鑫，张勤等译，北京：科学出版社, 2014，222-223.

[8] Stahl, B.. ‘Responsible Computers? A Case for Ascribing Quasi-responsibility to Computers Independent of Personhood or Agency’[J]. Ethics and Information Technology, 2006，8(4):205–213.

[9] Illies, C.F.R., & Meijers, A. ‘Artefacts, Agency and Action Schemes’. In Kroes, P.,& Verbeek, P.P.(eds). The Moral Status of Technical Artefacts[M]. Springer, 2014, 159.

[10] Searle, J. . Mind, Language and Society[M]. New York: Basic Books, 1998,121-122.

[11] 吴冠军. 神圣人、机器人与“人类学机器”——20世纪大屠杀与当代人工智能讨论的政治哲学反思[J]. 《上海师范大学学报》（哲学社会科学版）, 2018, 47(6): 42-53.

[12] 拜纳姆.诺波特. 维纳和信息伦理学的兴起[A], 霍文，维克特主编. 信息技术与道德哲学[M]. 赵迎欢，宋吉鑫，张勤等译，北京：科学出版社, 2014，13.

[13] Miller, S.. ‘Collective Responsibility and Information and Communication Technology’[A], Hoven,J.V.D. & Veckert, J.(Eds) Information Technology and Moral Philosophy[M], Press, 226-250.

[14] 蔡曙山. 人类认知的五个层级和高阶认知[J]. 科学中国人. 2016, (2).34.

[15] 刘易斯.芒福德. 技术与文明[M]. 陈允明、王克仁、李华山等译, 北京: 中国建筑工业出版社, 2009, 9.

[16] 方秋明. 为天地立心，为万世开太平——汉斯•约纳斯责任伦理学研究[M].光明日报出版社, 2009, 64-65.

[17] Silver, D. , Schrittwieser, J. , Simonyan, K. , Antonoglou, I. , Huang, A. , & Guez, A. , et al. ‘Mastering the Game of Go without Human Knowledge’[J]. Nature. 2017. 550(7676): 354-359.

[18] 王培. AI专栏：人工智能危险吗? [OL] . http://www.360doc.com/content/16/1120/19/33499934_608048035.shtml. （2019-7-26）