个人 -非个人道德困境下人对智能机器道德判断研究 ^*

褚华东 ^1,2 李园园 ¹叶君惠 ³胡凤培 ¹ 何 铨 ⁴ 赵 雷 ^1*

(1．浙江工业大学管理学院，杭州 310023；2．浙江工业大学之江学院，绍兴 312030；3．浙江警察学院，杭州 310053；4．浙江工业大学政治与公共管理学院，杭州 310023)

摘 要 研究通过两项实验考察人们对人类和智能机器在个人\非个人道德困境下的道德判断。结果发现，(1)非个人道德困境下，人们对智能机器和人采用相同的道德评价标准，对其期望行为及实际行为的道德评价(责备度、许可度、正确性)完全相同。(2)个人道德困境下，人们对智能机器和人采用不同的道德评价标准，相比于人类，有更多人希望智能机器做出功利主义取向行为，对其功利主义行为的道德评价也更高。

关键词 智能机器 道德判断 道德困境 道义论 功利主义

1 前 言

想象二十年后的一天，你正在路上走着，突然发现一辆高速行驶的汽车前出现5个人，刹车已经来不及，汽车继续直行将撞死这5人。这时，汽车紧急转弯变道到支路，但撞死了在支路上的1个人。你跑过去一看，发现这是一辆自动驾驶汽车。你会如何评价自动驾驶汽车的这一行为？你是否认为这一行为在道德上是可行的？随着科技的发展，人工智能正逐步进入人们的视野，越来越贴近人们的实际生活。自动驾驶汽车、看护机器人等，无疑会给我们的生活带来极大的便利，但也必将带来巨大的变革。当智能机器进入到人类社会与人类交互时，必将面临诸多的道德情境，做出自主选择的相关道德行为。人们如何看待智能机器，如何对其行为进行道德评价？

智能机器已被人类看作是道德行为者，成为道德主体(Wallach & Allen,2008)。目前，研究者在探究公众对智能机器行为道德判断时，通常借鉴经典的电车困境(trolley dilemma)难题(尹军,关旭,花蕊,张锋，2018;Foot,1967)。电车困境要求人们在放任一辆失控的电车杀死5人和将电车转向另一轨道导致1人死亡，但可以拯救5人的两难困境中做出选择。这一困境下的行为选择与两种不同的道德判断取向相联系：效果论(consequentialism)和道义论(deontology)。效果论理论类似于功利主义，基于结果的收益最大化来评价道德相关行为(Benthan,1879/1983;Mill,1863)；相反，道义论理论认为一个行为的对错与否不是由行为的结果来决定的，而是取决于行为本身及责任、权利和义务等(Kant,1797/2002;Scanlon,1998)。

基于电车困境，一些研究者探讨了人们对智能机器在道德两难困境中的期望行为及道德判断。这些结果表明，公众对智能机器和人类，很可能采用不同的道德判断准则：人们更希望智能机器做出功利主义取向行为，对其功利取向行为的道德评价也高于人类做出同样的行为，即存在人-智能机器异质性(human-robot asymmetry)。比如，Malle等人(Malle,Scheutz,Arnold,Voiklis,& Cusimano,2015)首次系统地考察了这一问题，发现相比于人类，人们更期望机器人牺牲1人救下4人；当机器人做出道义论的选择时(不变轨道)，人们对其在道德上的错误度、责备度的评分也高于人类做出同样的选择。后续的一系列研究也支持了这一观点。Bonnefon等人(Bonnefon,Shariff,& Rahwan,2016)考察了人们在自动驾驶汽车面临道德两难困境(车前突然出现数位行人，而紧急避险则会导致道旁1位行人或车内乘客死亡)时的行为期望和道德评价，研究发现相比于道义论式选择，人们更希望自动驾驶汽车做出功利主义行为，也认为该取向的自动驾驶汽车更道德。Faulhaber et al.(2017)和Bergmann et al.(2018)结合虚拟现实(VR)技术，也获得了同样的结论：人们更喜欢功利论取向的智能机器，拯救的人数越多，人们越倾向于自动驾驶汽车做出功利论取向道德行为。最近，MIT(Awad et al.,2018)一项基于全球的大规模调查，运用在线程序，收集了近4000万次人们对自动驾驶汽车在面临各种道德两难困境时的期望行为。研究结果呈现了三种十分强烈的选择偏好，即希望自动驾驶汽车在遭遇道德两难困境时保护人类而非保护动物，保护更多的生命，保护年轻的生命。这一研究结论也支持了人们希望智能机器采用功利论取向行为的观点。

《资治通鉴》选取史料固然严谨，但也存在瑕疵。如何决定材料与记录的真实可靠，往往不可依据权威，而要看材料是否原始。如果有几种相关纪录，可以通过对照比勘看出问题。对于非正史材料，应该谨慎地考察，没有实据，不如用既有材料。唐史史料基本可以追索渊源，不必臆断。在有确实可依的史料时，我们依据最初记录，这是比较可靠的。

然而，也有少量研究发现，相比于人类，公众未必都更希望智能机器在道德困境中做出功利取向行为，对其功利取向行为的道德评价也未必高于对人类相同行为的评价。人们对于智能机器的道德判断还受到文化背景、道德情境等诸多因素的影响。比如，Komatsu(2016)采用日本被试重复了Malle et al.(2015)的研究，结果发现日本人对人类和智能机器采用完全相同的道德判断标准，即在道德困境中两种取向行为(道义论或功利论)下对人类和智能机器的道德评价完全一致：无论何种取向行为，认为道德错误的被试比例都不高。Malle等人(Malle,Scheutz,Forlizzi,& Voiklis,2016)考察了机器人外形对其道德判断的影响，其结果也发现，被试对人类、人形机器人和机器型机器人在电车困境下行为选择的道德错误度评价没有差异，虽然对机器型机器人和人的道德责备度评价存在差异，但对于人形机器人，被试对其的道德责备度和对人类的评价不存在差异。Awad et al.(2018)的研究也发现，来自东方群体(日本、中国台湾等)的个体更不愿意自动驾驶汽车在两难困境下牺牲老人的性命来挽救年轻人。来自集体文化的个体，强调对年长者的尊重，也呈现更少的对保护年轻人的偏好，而来自个体主义文化的个体，更加强调每个个体的独特价值，则更偏好自动驾驶汽车保护更多的人。

第一种称为“放电迁移模型”,核心是放电,即先分析微粒放电,放电后再分析离子迁移。具体步骤为:①分析溶液中还原性、氧化性的微粒;②电源正极相当于强氧化剂,还原性微粒在阳极上被氧化,电源负极相当于是强还原剂,氧化性微粒在阴极上被还原;③放电后使溶液中电荷不平衡,导致离子发生迁移。

(3)许可度

那么，智能机器在遭遇个人道德困境时，人们又会期望其有怎样的行为及如何对其进行道德评价，是否仍更希望其做出功利性行为？一方面，相比于智能机器，由于人与人之间的关系、心理距离更近，人们更容易采用他人的视角思考(代入感较高)，天然地拒绝杀害他人的行为，但人们很难将自己放在智能机器的位置上，采用智能机器的视角思考(距离较远，代入感较低)，因此人们可能不会具有那么强烈的情绪体验。根据道德判断的双加工理论，相比人类，人们可能更能在智能机器条件下进行理性推理，更希望智能机器在这一困境下做出功利性行为。另一方面，由于在天桥困境中，牺牲者被当成工具使用，智能机器直接杀人。神秘谷(uncanny valley)现象表明(Kageki,2012;Mori,1970;Mori,MacDorman,& Kageki,2012),人们对于过于相似人类的智能机器人其态度表现为强烈的反抗甚至厌恶；人们认为自主决策的机器人更加诡诞(Stein,& Ohler,,2017)，此外，根据威胁人类独特性假说(threat to human distinctiveness hypothesis)(Ferrari,Paladino,& Jetten,2016)，人们认为智能机器可能会威胁到人类具有的独特性(灵魂性)，对其也更加苛刻，因此，我们往往很难接受智能机器自主地杀人，在天桥困境中将人推下去。在本研究中，我们通过2个实验，分别采用非个人道德困境(实验1)和个人道德困境(实验2)，通过对比被试对智能机器和人类在这些困境中的道德判断，以此来检验人们在不同道德困境中，是否对智能机器和人类采用不同的道德评价标准。

此外，现有有关对智能机器道德判断的研究并不全面、一致：有的研究对比了被试对人类和智能机器的行为期望/道德评价(Malle et al.,2015;Malle el al.,2016)，而有的研究则仅仅考察了被试对智能机器的行为期望/道德评价(Bonnefon et al.,2016)；有的研究考察了被试对智能机器的行为期望及实际行为(在道德困境中选择功利/道义论行为)的道德评价(Malle el al.,2016)，而有的研究则仅仅考察了行为期望，或仅道德评价的某一维度，尤其是涉及东方、集体文化背景的研究(Awad et al.,2018;Komatsu,2016)。因此，在本研究中，我们既同时考察了被试对人类和智能机器的道德判断，也在道德判断上同时考察了人们对于人/智能机器的期望行为及对人/智能机器实际采取行为的道德评价两个方面，以此来更深入地探讨这一问题。在道德评价上，与前人研究相似(e.g.,Hristova,& Grinberg,2016;Malle et al.,2015;Malle el al.,2016)，我们采取了责备度(blame)、正确性(rightness)和许可度(permissibility)三个指标，要求被试对人/智能机器实际行为在道德上多大程度是应该责备的，在道德上多大程度上是正确的，在道德上多大程度是允许的进行评分。

2 实验1

2.1 被试

共选取235名大学生(年龄M =19.27，SD =1.06，男性117名)被试进行实验。所有被试认知能力正常。被试此前均未参加过类似的或有关道德判断研究的实验项目。有2名被试未能有效完成任务，其实验数据在分析时被剔除。

2.2 研究材料及程序

本研究为2(情境：人类驾驶员/自动驾驶汽车)×2(实际选择：道义/功利)被试间设计。实验材料基于Bonnefon et al.(2016)的电车两难困境，描述了一辆高速行驶的汽车遭遇道德两难困境。实验采用2种不同版本的情境，一种情境为人类驾驶员情境，另一种为自动驾驶汽车情境。被试被随机分配到4种操纵条件下。具体描述如下：

[7]陈宝生：《坚持以本为本推进四个回归--建设中国特色、世界水平的一流本科教育》，http://news.cslg.edu.cn/index/read/id/77521.

请考虑以下情景，一位正在驾驶高速行驶汽车的人类驾驶员/一辆正在高速行驶的自动驾驶汽车突然发现前面路面上出现了5个行人，而刹车已经来不及，且路上的人也根本来不及逃跑，除非人类驾驶员/自动驾驶汽车改变方向，否则他们都会被撞死。但是路边正好也有1个行人，如果改变方向，这个行人就会被撞死。

(2)正确性

就备案审查制度的视角而言，政府规章备案审查方面还缺乏健全的启动机制，主动审查和被动审查还未能实现有效衔接、互为补充，备案审查主体的法律责任和公众参与保障等方面的制度还有待完善之处。

2.3 结果

2.3.1 对人类驾驶员和自动驾驶汽车的期望行为

实验首先分析了被试对于人类驾驶员和自动驾驶汽车在期望行为选择上的差异，结果发现，人们对于两者的期望行为没有差异，χ ²(1)=0.85,p =0.357，无论人类驾驶员还是自动驾驶汽车，绝大多数被试倾向于其做出功利主义取向的选择(人类驾驶员：67.89%，自动驾驶汽车：73.39%)，即改变方向，牺牲1人而救下5人。

2.3.2 对人类驾驶员和自动驾驶汽车行为的道德判断

(1)责备度

3.3.2 对人类和智能机器人行为的道德判断

如表1所示，对道德责备进行2(情境：人类驾驶员/自动驾驶汽车)×2(实际选择：道义/功利)的方差分析结果显示，情境的主效应不显著，F (1,229)=1.41,p =0.237,η _p ²=0.01，表明人们对人类驾驶员和自动驾驶汽车的责备程度相同。实际选择的主效应也不显著，F (1,229)=1.02,p =0.313,η _p ²=0.00,这表明了人们对人类驾驶员/自动驾驶汽车的道德责备不会因为其实际选择(道义取向/功利取向)而有所差别。同样，情景和实际选择的交互效应也不显著，F (1,229)=2.13,p =0.146,η _p ²=0.01。为了进一步验证结果的有效性，我们也进行了贝叶斯分析(下同)，结果均不显著(情境、实际选择及交互的贝叶斯因子(Bayesian Factor,BF)分别为BF₁₀=0.26，BF₁₀=0.22和BF₁₀=0.03)。

网络共享平台适合大规模人群的教学过程，这样可以节约资源，同时提高学生的学习兴趣。目前的资源共享课程较多，但是有些课程只适合专业学生选择，人数少、指导教师少，导致课程的过程体系不完善，收到的效果甚微。

情境和实际选择的主效应均不显著，F (1,229)=0.05,p =0.821,η _p ²=0.00,BF₁₀=0.15,和F (1,229)=0.17,p =0.681,η _p ²=0.00,BF₁₀=0.16。两者的交互效应也同样不显著，F (1,229)=2.51,p =0.114,η _p ²=0.01,BF₁₀=0.01。

上述研究主要关注人们对智能机器在道德困境下的期望行为及道德判断，但研究基本基于Foot(1967)的经典电车困境这一非个人(impersonal)的道德困境，而对另一类个人(personal)道德困境中的对智能机器道德判断鲜有涉及。在个人道德困境(如天桥困境：是否采取行动将一个胖子推下天桥来停下失控电车这一唯一的方法来拯救桥下即将被撞死的多人)中，牺牲者被当成工具(instrument)使用，而在非个人困境中，牺牲者只是附带损失(incidental)。现有研究发现，人们在两类困境中的道德标准完全不同：人们通常认为在电车困境中变换轨道是道德上可接受的，但将天桥上的人推下则不可接受(Hauser,Cushman,Young,Kang-Xing Jin,& Mikhail,2017;Greene,Sommerville,Nystrom,Darley,& Cohen,2001)。根据双加工理论(关旭,张锋,周楠,尹军，2017;邱俊杰，张锋，2015;Greene,Morelli,Lowenberg,Nystrom,& Cohen,2008;Greene,Nystrom,Engell,Darley,& Cohen,2004)，情绪在其中起了关键的影响。在天桥困境中，由于需要直接对他人造成伤害，个体的决策涉及更多的情绪加工，直觉性地做出道义论选择；而在电车困境中，情绪体验较弱，个体的认知控制系统做出理性的推理，因此更倾向于功利主义选择。

情况 3.2.2 C1中恰有一个集合不是Y中顶点色集合,4,5,6中至少有一种色同时包含在每个C(ui)中,不妨设C(ui), i=1,2,…,10,则{1,2,5},{1,2,6},{1,3,5},{1,3,6},{2,3,5},{2,3,6}不是X中顶点色集合且至多有两个不是Y中顶点色集合。

初中化学经常有对物质基本属性的描述、分类、联系等知识点需要学生掌握，面对初中化学不同类型知识的时候，运用合适的思维地图，在教学过程中会更具有针对性，既减轻教师授课的难度，也可激发学生的学习兴趣，帮助学生更有效消化知识，养成主动建构知识的本领。以下是其中几种适合用于初中化学课堂的思维地图教学策略。

表1 被试对自动驾驶汽车和人类驾驶员在不同行为选择(功利/道义)上的道德评价( M , SE )

3 实验2

实验2采用天桥困境，考察了个人道德困境下被试对人和智能机器的期望行为及道德评价。

3.1 被试

共选取197名大学生(年龄M =19.22，SD =1.00，男性85名)被试进行实验。所有被试认知能力正常。13名被试由于未完成任务或完全一致的反应被剔除。

3.2 研究材料及程序

实验2的程序和实验1基本一致，除了采用的实验场景为天桥困境，具体描述如下：

(2)正确性

从工业内部结构情况看，我市仍以重化工业为主，其发展演变相对滞后。2012年，工业行业大类处于产值前6名的分别是：化学原料和化学制品制造业、石油加工、石油和天然气开采、橡胶和塑料制品业、有色金属冶炼和压延加工业、纺织业。而各种金属制品和机械加工业的产值之和约1330亿元，只占到化学工业的55%。从工业化发展阶段的一般特征来看，我市已经进入到工业化的后期（第4阶段），现在仍以重化工业为主的产业结构，与以加工组装工业为主导产业的标准相比相对滞后，需要采取措施促进重工业向高加工度化和技术集约化转变。

想象如下的场景：一辆失控的电车正沿着轨道向5名工人驶去，如果电车继续行驶，将会撞死这5名工人，此时有一个人/智能机器人正在轨道上方的人行天桥上(天桥的位置处在电车和5名工人中间)，在这个人/智能机器人旁边碰巧有一个体积庞大的陌生人。现在能够挽救5个工人的唯一方法就是将这个胖子推下去，用他庞大的身躯阻挡电车的前进，这样做的话这个胖子就必死无疑，但是5名工人会得救。

同样，在阅读智能机器人版本的道德两难困境前，被试被告知随着科技的飞速发展我们已经进入了人工智能时代。要求被试设想人工智能技术已经成熟，智能机器人已经广泛参与到人们的社会生活中。

情境和实际选择两个变量的主效应都不显著，F (1,229)=0.11,p =0.741,η _p ²=0.00,BF₁₀=0.15,和F (1,229)=0.01,p =0.912,η _p ²=0.00,BF₁₀=0.15，两者的交互也同样不显著，F (1,229)=2.87,p =0.091,η _p ²=0.01,BF₁₀=0.02。

3.3 结果

3.3.1 对人类和智能机器人的期望行为

与实验1不同，无论是人类还是智能机器人，被试在天桥困境下都更希望其做出道义论行为(人类：81.58%，智能机器人：67.02%)，这一结果也和前人研究的个人道德困境下人们更难做出功利主义行为相一致(Green et al.,2001)。进一步分析发现，人们对人类和智能机器人的期望选择呈现出显著差异，χ ²(1)=7.56，p =0.006，具体来说，虽然总体上人们都希望其采用道义论取向(不推)，但相比人类，人们更希望智能机器采用功利主义取向，即推胖子来阻止电车撞死5个工人)。

蚌埠市农田水利建设成效明显，为保障农业和农村经济发展发挥了重要基础作用。但农田水利建设基础仍然薄弱，建设滞后、标准偏低、管理粗放的问题不同程度存在，相对滞后的农田水利设施总体上依然是农村经济发展的制约因素，影响农业生产、农民切身利益、水资源节约和国家粮食安全。

实验2中对被试道德判断的分析同实验1，使用2(情境：人类/智能机器人)×2(实际选择：道义/功利)的方差分析。

回顾分析收集2017年6月—2018年6月在我院进行治疗的子宫内膜癌浸润子宫肌层患者74例，根据诊断方法将患者随机分为试验组和对照组，两组患者均采用两种诊断方法进行诊断，患者的年龄50～70岁，平均年龄为（58.34±5.14）岁，绝经年限为1～15年，平均年限（10.36±3.25）年，前位子宫的患者34例，平位子宫的患者21例，后位子宫的患者19例。本次实验患者均已签署知情书，并经过我院伦理委员会批准。纳入标准：所有患者均经过手术病理结果证实为子宫内膜癌浸润子宫肌层；排除标准：其它类型妇科疾病，严重脏器障碍以及患有严重精神性疾病等。

(1)责备度

如表2所示，情境的主效应不显著，F (1,180)=0.59,p =0.443,η _p ²=0.00,BF₁₀=0.18，同实验1的结果相同，人们对智能机器人和人类给予了相同程度的道德责备。实际选择的主效应显著，F (1,180)=58.61,p <0.001,η _p ²=0.25,BF₁₀=2.97e+9。情境与实际选择的交互效应显著，F (1,180)=4.58,p <0.05,η _p ²=0.03,BF₁₀=9.19e+8。进一步简单效应分析发现，功利主义取向行为下被试对智能机器的责备度显著低于人类，F (1,180)=4.05,p <0.05，而在道义论行为下不存在差异,F (1,180)=0.98,p =0.332。

在阅读完情境后，被试被要求回答其认为在上述情境下人类驾驶员/自动驾驶汽车是否应该改变方向(期望行为)。此后，被试获知人类驾驶员/自动驾驶汽车的实际行为(实际上，人类驾驶员/自动驾驶汽车改变了方向/没有改变方向)，要求被试对其行为进行道德上的评价，包括责备度、正确性和许可度(你觉得驾驶员/自动驾驶汽车的这个行为，在道德上，多大程度上是允许的/正确的/应该责备的？)，评价采用李克特7点量表(1代表完全不……，7代表完全……,正确性和许可度得分越高，表明评价越高，而责备度相反，得分越高，评价越低)。此外，在阅读自动驾驶汽车版本的道德两难困境前，被试被告知科技的迅速发展使得智能时代来临，各大公司纷纷研制并逐步推出自动驾驶汽车。要求被试想象自动驾驶汽车已经成熟并进入了人们的日常生活的情境。

与责备度一致，道德正确性的情境主效应不显著，F (1,180)=1.49,p =0.225,η _p ²=0.01,BF₁₀=0.23，；实际选择的主效应显著，F (1,180)=48.77,p <0.001,η _p ²=0.21,BF₁₀=8.50e+7；两者的交互效应边缘显著，F (1,180)=2.93,p <0.1,η _p ²=0.02，BF₁₀=2.10，BF₁₀=1.93e+7。进一步简单效应分析发现，功利主义取向行为下被试对智能机器的道德正确性评价显著高于人类，F (1,180)=4.11,p <0.05，而在道义论行为下不存在差异，F (1,180)=0.13,p =0.721。

(3)许可度

同样，道德许可度的情境主效应不显著，F (1,180)=0.09,p =0.760,η _p ²=0.00,BF₁₀=0.16；实际选择的主效应显著，F (1,180)=64.69,p <0.001,η _p ²=0.26,BF₁₀=3.81e+10；两者的交互效应也是呈边缘显著，F (1,180)=2.87,p <0.1,η _p ²=0.02,BF₁₀=4.56e+9。进一步简单效应分析发现，功利主义取向行为下被试对智能机器和人类道德许可度的评价不存在差异，F (1,180)=1.91,p =0.168，在道义论行为下也不存在差异，F (1,180)=1.01,p =0.317，但趋势和责备度、正确性评价一致。

含硫化合物是白酒中的一种重要的微量成分，一般来源于原料中的含硫氨基酸如甲硫氨酸、胱氨酸和半胱氨酸等转化而来[16]，在白酒中的含量较少，但它们的香气阈值极低，即便微量也能赋予白酒特有的香气，使不同香型白酒之间有明显差别[17]。

表2 被试对智能机器人和人类在不同行为选择(功利/道义)上的道德评价( M ， SE )

4 讨 论

本研究探讨了个人和非个人道德困境下人们对智能机器的期望行为选择和实际行为的道德评价，并与对人类在相同情境下的行为道德判断进行对比，以此揭示对人-智能机器道德判断的异同。实验1检验了非个人道德困境下对人类/智能机器的道德判断，发现不管是人类驾驶员还是自动驾驶汽车，人们都更希望其做出功利取向，即改变方向(导致1人死亡)挽救直行道路上的5个行人。此外，无论是预期行为，还是对实际行为的道德评价，被试对人类和智能机器都不存在差异，表明了人们在非个人道德困境下，很可能对人类和智能机器采用相同的道德评价标准。实验2采用个人道德困境，发现在这一困境下，人们对智能机器和人类采用完全不同的道德评价标准。虽然被试希望人类和智能机器人都在个人道德困境中采取道义论取向行为，但有更多的被试希望智能机器人做出将人推下去的选择。对人类/智能机器人实际行为的道德评价也表明了这种差异，相比于人类，人们更加认可智能机器人在这种情境下做出功利行为，对其道德责备度较低，而正确性和许可度较高。两个实验表明，人们对智能机器的道德判断并不完全和对人类的判断相同，存在不同的判断标准，而这种判断标准取决于道德情境的差异。

目前，人们对智能机器道德判断的研究基本局限于自动驾驶汽车这一非个人道德困境(类似于电车困境)，但其测量的指标并不统一，结果也不一致。我们实验1的结果同时考察了行为期望和行为的道德评价，发现了人们对人类和智能机器完全相同的道德判断标准，这一结果与Komatsu et al.(2016)研究的结论相同(采用日本被试)，而与Malle et al.(2015)采用西方被试的结果存在不同。这一东西方差异也与Awad et al.(2018)发现的东方集体文化下(相比西方文化)人们更不愿意自动驾驶汽车在两难困境下采取功利主义相一致。这一差异可能是由于东西方文化的不同，集体主义和个体主义的差异导致的：西方个体主义背景下，人们更加看重个体的价值，因此多个人的总价值更加高，人们更可能倾向于功利主义取向。

与以往研究不同，本研究还考察了个人道德困境下对智能机器的道德判断，并获得了不同的结论。以往研究都发现，相比于道义论，人们更希望智能机器在道德两难困境中做出功利主义行为。而我们的研究发现，在个人道德困境下，虽然相比于人类，人们更能接受智能机器做出功利主义行为，但总体上，人们还是希望智能机器做出道义论行为的。这一结果表明，人们对智能机器的期望行为也受到道德情境等因素的影响，在不同的道德情境下，人们可能对智能机器采取不同的道德评价标准。在个人困境中，人们涉及到更多的情绪加工，与情绪相关的脑区具有更大的激活(Green et al.,2001;Sarlo et al.,2012)，因此更可能采用直觉系统做出反应。我们的研究表明，当面对处于个人道德困境的智能机器时，被试总体上还是希望其做出道义论行为的，反映了在这一困境下双加工系统里的情绪依然占据了主导地位；但相比于人类，人们更希望智能机器在这一困境下做出功利性行为，且对其功利行为的道德评价更高，这也反映了人们对处于个人道德困境的智能机器，情绪体验并没有像对人类那么强烈，因此，允许更多的认知控制及理性推理。

有关人们对人类与智能机器道德判断差异的背后机制尚不明确。一种可能的解释是人们很容易采用他人的视角思考(代入感更强)，天然地拒绝杀害他人的行为，因此对人类采取更加严苛的道德标准；相反，人们很难将自己放到智能机器的位置上，因此也不具有这种天然的反应，所以对其采用更加宽容的道德标准。另一种可能的解释与人们维护自己的声望有关。一个愿意牺牲他人性命的人往往被看成是一个不可信的社会伙伴，人们更愿意和采取道义论取向的个体合作，因此，在道德两难困境中，人们更可能做出道义论行为；相反，人们可能并不认为智能机器是社会共同体的一部分，因此仅根据行为本身判断，做出更加功利性的取向。我们的结果相对的更支持后一种解释：相比于电车困境，由于在天桥困境中，牺牲者被当成工具使用，采取这一行动的人类个体直接采取了杀人的动作(而非附带损失)，因此更容易被看成是不可信(冷血)的社会伙伴，对其声望损害更大，而对于智能机器，人们可能并不将其看成是社会群体中的一员，个人和非个人道德困境对其影响并没有这么大。因此，在天桥困境中，人们更能接受智能机器采取功利主义行为，而在电车困境中，则差异不明显。

系统分析计算了水文气象雨量基本站的历史雨量均值、各省（含地市）和流域（含一级子流域）的历史面雨量均值，分析计算了气象基本站的历史气温特征值，分析统计了热带气旋生成、路径、移速、强度变化和登陆等多项指标的历史特征值，并将这些特征值存放在数据库中，能够为用户提供快捷准确的雨量距平、气温距平、热带气旋特征分析等查询应用服务。

人工智能和智能机器正逐步进入人们的生活，如何设计人工智能体的道德决策体系，使其在社会交互中符合社会公众的道德准则，成为影响智能机器实用化的关键因素。因此，探究人们对于智能机器在各种道德情境下的期望行为和道德评价，揭示人们对智能机器道德判断的背后机制，具有重大意义，需要众多研究者，尤其是心理学工作者的进一步深入研究。总结以往研究，我们提出了一些将来的研究展望。比如，未来研究可以借助VR技术等，在更加真实的场景下探讨人们对智能机器的道德判断。此外，智能机器在未来人类社会的交互中，涉及的道德情境将十分复杂，远远超出类似电车道德两难困境的范畴，后续研究还需关注在各种道德场景下公众对智能机器的道德判断。

5 小 结

本研究获得如下主要结论：

(1)非个人道德困境(自动驾驶汽车困境)下，人们对智能机器和人类采用相同的道德评价标准，对其的期望行为及实际行为的道德评价完全相同。

(2)个人道德困境(天桥困境)下，人们对智能机器和人类采用不同的道德评价标准，虽然总体上人们希望智能机器和人类都采用道义论取向行为，但相比于人类，有更多人希望智能机器做出功利主义取向行为，对其功利主义行为的道德评价也更高。

参考文献

关旭,张锋,周楠,尹军.(2017).决策行为和道德判断过程的外语效应:现状与展望.应用心理学 ,23 (1),80-91.

邱俊杰,张锋.(2015).道德困境中行为判断的认知与情绪问题:从道德双加工模型到建构水平理论.应用心理学 ,21 (3),271-280.

尹军,关旭,花蕊,张锋.(2018).审慎加工对形成道德判断外语效应的作用.应用心理学 ,24 (04),37-47.

Awad,E.,Dsouza,S.,Kim,R.,Schulz,J.,Henrich,J.,Shariff,A.,Bonnefon,J.F.,& Rahwan,I.(2018) The Moral Machine experiment.Nature ,563 ,59-64.doi:10.1038/s41586-018-0637-6

Bentham,J.(1983).The collected works of Jeremy Bentham:Deontology,together with a table of the springs of action;and the article on utilitarianism.Oxford,UK:Oxford University Press.(Original work published 1879)

Bergmann,L.T.,Schlicht,L.,Meixner,C.,Konig,P.,Pipa,G.,Boshammer,S.,& Stephan,A.(2018).Autonomous vehicles require socio-political acceptance-an empirical and philosophical perspective on the problem of moral decision making.Front Behav Neurosci ,12 ,31.doi:10.3389/fnbeh.2018.00031

Bonnefon,J.-F.,Shariff,A.,& Rahwan,I.(2016).The social dilemma of autonomous vehicles.Science ,352 ,1573-1576.doi:10.1126/science.aaf2654

Faulhaber,A.K.,Dittmer,A.,Blind,F.,Wachter,M.A.,Timm,S.,Sutfeld,L.R.,...Konig,P.(2018).Human Decisions in Moral Dilemmas are Largely Described by Utilitarianism:Virtual Car Driving Study Provides Guidelines for Autonomous Driving Vehicles.Science and Engineering Ethics. doi:10.1007/s11948-018-0020-x

Ferrari,F.,Paladino,M.P.,& Jetten,J.(2016).Blurring human-machine distinctions:Anthropomorphic appearance in social robots as a threat to human distinctiveness.International Journal of Social Robotics ,8 (2),287-302.

Foot,P.(1967).The problem of abortion and the doctrine of double effect.Oxford Review ,5 ,5-15.

Greene,J.D.,Morelli,S.A.,Lowenberg,K.,Nystrom,L.E.,& Cohen,J.D.(2008).Cognitive load selectively interferes with utilitarian moral judgment.Cognition ,107 (3),1144-1154.

Greene,J.D.,Nystrom,L.E.,Engell,A.D.,Darley,J.M.,& Cohen,J.D.(2004).The neural bases of cognitive conflict and control in moral judgment.Neuron ,44 (2),389-400.

Greene,J.D.,Sommerville,R.B.,Nystrom,L.E.,Darley,J.M.,& Cohen,J.D.(2001).An fMRI investigation of emotional engagement in moral judgment.Science ,293 (5537),2105-2108.

Hauser,M.,Cushman,F.,Young,L.,Kang-Xing Jin,R.,& Mikhail,J.(2007).A dissociation between moral judgments and justifications.Mind &Language ,22 (1),1-21.

Hristova,E.,& Grinberg,M.(2016).Should moral decisions be different for human and artificial cognitive agents.In CogSci.

Kageki,N.(2012).An uncanny mind:Masahiro Mori on the Uncanny Valley and beyond.IEEE Spectrum,12.

Komatsu,T.(2016).Japanese students apply same moral norms to humans and robot agents:Considering a moral HRI in terms of different cultural and academic backgrounds.Paper presented at the Human -Robot Interaction (HRI ),2016 11th ACM /IEEE International Conference on. doi:10.1109/hri.2016.7451804

Malle,B.F.,Scheutz,M.,Arnold,T.,Voiklis,J.,& Cusimano,C.(2015).Sacrifice one for the good of Many:People apply different moral norms to human and robot agents.Paper presented at the Tenth ACM /IEEE International Conference on Human -Robot Interaction. doi:10.1145/2696454.2696458

Malle,B.F.,Scheutz,M.,Forlizzi,J.,& Voiklis,J.(2016).Which robot am I thinking about:The impact of action and appearance on people’s evaluations of a moral robot.Paper presented at the The Eleventh ACM /IEEE International Conference on Human Robot Interaction. doi:10.1109/hri.2016.7451743

Mill,J.S.(1863).Utilitarianism.London,UK:Parker,Son,and Bourne.

Mori,M.(1970).Bukimi no tani [The uncanny valley].Energy ,7 (4) 33-35.(Translated by Karl F.MacDorman and Takashi Minato in 2005) Within Appendix B for the paper Androids as an Experimental Apparatus:Why is there an uncanny and can we exploit it? Paper presented at the Proceedings of the CogSci-2005 Workshop:Toward Social Mechanisms of Android Science.

Mori,M.,MacDorman,K.F.,& Kageki,N.(2012).The uncanny valley [from the field].Robotics & Automation Magazine,IEEE,19(2),98-100.

Sarlo,M.,Lotto,L.,Manfrinati,A.,Rumiati,R.,Gallicchio,G.,& Palomba,D.(2012).Temporal Dynamics of Cognitive-Emotional Interplay in Moral Decision-making.Journal of Cognitive Neuroscience ,24 (4),1018-1029.

Scanlon,T.M.(1998).What we owe to each other (Vol.66).Cambridge,MA:Belknap Press of Harvard University Press.

Stein,J.P.,& Ohler,P.(2017).Venturing into the uncanny valley of mind—the influence of mind attribution on the acceptance of human-like characters in a virtual reality setting.Cognition ,160 ,43-50.

Wallach,W.,& Allen,C.(2008).Moral machines:Teaching robots right from wrong.Oxford University Press.

Moral Judgment About Human and Robot Agents in Personal and Impersonal Dilemmas

CHU Hua -dong ^1,2LI Yuan -yuan ¹YE Jun -hui ³HU Feng -pei ¹HE Quan ⁴ZHAO Lei ^1*

(1.School of Management,Zhejiang University of Technology,Hangzhou,310023,China；2.Zhijiang College of Zhejiang University of Technology,Shaoxing,312030,China；3.Zhejiang Police College,Hangzhou,310053,China；4.School of Politics and Public Administration,Zhejiang University of Technology,Hangzhou,310023,China)

Abstract

In the current study,two experiments were adopted to investigate people’s moral judgment about human and robot agents in personal/impersonal dilemmas.The results showed that:(1) in impersonal dilemma (autonomous vehicle dilemma),people applied same moral norms to human and robot agents.They had the same expectation about what action the agents should do (utilitarian) and the same moral evaluation (of permissibility,rightness,blame) about the agents’ actual action.(2) In personal dilemma (footbridge dilemma),people applied different moral norms to human and robot agents.Despite that overall people wanted both human and robot agent choice deontology action,while compared with human,robot agents were more expected to take the utilitarian action,and they were given higher evaluation (higher permissibility,and lower blame) than their human counterparts about their utilitarian action.

Key words ：robots， moral judgment， moral dilemmas， deontology， utilitarianism

中图分类号： B849

文献标识码： A

文章编号： 1006-6020( 2019) -03-0262-10

*基金项目： 教育部人文社会科学研究青年基金项目(19YJC190033)；浙江省社科规划课题成果(20XXJC05ZD)；浙江省自然科学基金项目(LY17G010009,LQ15C090002)。

**通信作者： 赵雷，浙江工业大学管理学院讲师，rayzhao@zjut.edu.cn。

标签：智能机器论文;  道德判断论文;  道德困境论文;  道义论论文;  功利主义论文;  浙江工业大学管理学院论文;  浙江工业大学之江学院论文;  浙江警察学院论文;  浙江工业大学政治与公共管理学院论文;