人对智能机器行为的道德判断：现状与展望 ^*

赵 雷 ¹李园园 ¹叶君惠 ²胡凤培 ^1**

(1.浙江工业大学管理学院，杭州 310023；2.浙江警察学院，杭州 310053)

摘 要 随着人工智能的发展，智能机器逐步进入人类社会。智能机器与人类社会的交互，尤其是人-机交互中涉及的伦理道德问题，越来越受到众多研究者的重视。本文主要关注智能机器道德框架构建及人们对智能机器行为道德判断两方面，整理了近年来关于智能机器道德决策的相关研究文献，重点探讨智能机器的道德体系，人们对人类-机器行为道德判断的差异，对智能机器行为的道德取向及影响人们对其道德判断的主要因素等，并指出未来研究方向。

关键词 人工智能 智能机器 道德判断

1 引 言

智能机器/人工智能指的是能够在不确定的环境中自主做出合理(智能)行为的机器(系统)(Albus,1991)。随着现代科技的发展，智能机器正逐步迈入民众的实际生活。“AlphaGo”战胜围棋大师，谷歌、起亚等自动驾驶汽车获得上路执照、即将实用化等，无不意味着智能时代的迫近(唐宁等,2018;周吉帆等,2016)。人工智能无疑将给人类社会带来巨大的进步，在各行各业发挥巨大的作用。如自动驾驶汽车可极大地降低交通事故，缓解交通压力，减少空气污染等；智能看护机器人可在家庭中照顾老人，其对老龄化日益严重、人力成本不断高涨的国家尤为重要。然而，人工智能也受到来自社会各界及相关领域的争议，如技术、立法、伦理道德等方面。鉴于人类社会的复杂性和智能机器的“自主性”，在人-智能机器交互(甚至智能机器-智能机器交互)中，智能机器必然面临诸多的道德情境，做出自主选择的相关道德行为。如当自动驾驶汽车遭遇道德两难困境时(紧急避险可拯救多人性命，但会导致少量无辜者牺牲)，应当如何决策？看护机器人是否可以通过“善意的谎言”让抗拒吃药的病人吃药(如机器人欺骗病人说如果病人不按时吃药，那它就会因为无法胜任工作而被回收毁灭)？因此，如何设计人工智能体的道德决策体系，使其在社会交互中符合社会公众的道德准则，成为影响智能机器实用化的关键因素，受到越来越多该领域研究者的重视，并成为一个研究热点(Allen,Varner,& Zinser,2000;Anderson & Anderson,2011;Scheutz & Malle,2014)。

目前，关于智能机器道德研究主要集中在以下两个方面。绝大部分研究者关注于如何为智能机器构建道德相关模块及整体道德框架，如道德体系设计取向、道德图灵测试(moral turing test,MTT)(Arnold & Scheutz,2016;Gerdes & Øhrstrøm,2015)、道德算法(algorithmic morality)(Goodall,2014,2016;Purves,Jenkins & Strawser,2015)、道德模块组成(Malle & Scheutz,2014,2015;Scheutz & Malle,2014)等，其主要致力于如何采用算法、决策树等建立智能机器道德决策的规范集(moral principle set)。然而，此取向显然简化了人类的道德判断，仅将人类的道德准则、行为规范等赋予智能机器，让其按照人类道德行为模式运行，一定程度上忽略了人类对智能机器行为的表征及道德判断。道德本身就具有复杂性，如道德是否为人类所特有，智能机器是否可以成为道德主体？此外，人类对于智能机器的态度、认知、信任也与对人的态度、认知、信任等存在一定的差异。因此，人们在对智能机器行为进行道德判断时，极有可能采用与对人类行为判断不同的道德准则及加工机制。基于此，另一些学者借鉴道德判断(moral judgment)理论，从人们对智能机器行为道德判断的角度出发，采用实验伦理(experimental ethic)的方法，探究人们对智能机器行为的道德判断模式，以及人们期望智能机器在社会交互中采用什么样的行为道德规范等问题(e.g.,Bergmann et al.,2018;Faulhaber et al.,2018;Malle,Scheutz,Arnold,Voiklis,& Cusimano,2015)。研究者希望通过这些研究，为构建智能机器道德体系提供理论依据和指导。本文从这两方面出发，首先回顾有关智能机器道德体系设计取向、模块框架等方面，然后重点论述人对智能机器行为道德判断领域的相关研究，旨在为国内相关领域研究提供借鉴，并为设计符合人类社会道德标准的智能机器道德行为体系，以及为有关部门制定经济、行政、交通等政策法规提供科学依据。

2 智能机器的道德体系构建

自Allen et al.(2000)启发性的提出有关人工智能道德的讨论后，构建智能机器的道德规范获得了越来越多的关注。Anderson & Anderson(2011)和Scheutz & Malle(2014)等强调了考虑智能机器道德的重要性，指出在众多领域中智能机器与人类交互，不可避免地会遭遇到道德挑战乃至道德两难情境，需要受到道德准则的约束。因此，众多研究者开始思考如何为智能机器构建相应的道德体系，他们从道德设计取向、道德模块组成、道德图灵测试等不同角度对它进行了研究，获得了大量的研究成果(e.g.,Allen,Smit & Wallach,2005;Gerdes & Øhrstrøm,2015;Scheutz & Malle,2014)。

2) 独立部署：微服务架构模式可实现每个微服务独立部署，开发人员无需协调部署本地变更到服务，这些变更经过测试之后即可立即部署。同时,每个微服务在启动方面比大型整体应用快得多，使得发布更为高效，且会加速部署。

2.1 智能道德机器(artifical moral agents)的设计取向

目前，在有关如何使智能机器获得道德的问题上，主要包含3种不同的理念：自上而下(top-down approach)，自下而上(bottom-up approach)及混合取向(hybrid approach)(Allen et al.,2005;Arkin,2009;Bringsjord & Taylor,2012)。自上而下取向认为，在设计智能道德机器时，人们应当运用道德准则和道德理论，将其变成规则(算法)来指导智能机器做出恰当的行为，这一理念又被称为基于规则的取向(rule-based approach)。自上而下的道德设计重点在于提供一系列抽象的道德准则供智能机器来遵循，如著名的阿莫西机器人三定律。这些准则既包含基于道义论(deontology)式的道德核心概念、特定领域的道德规则(domain-specificity of rules)和冲突解决规则(resolution of conflicting rules)，也包含基于功利论(utilitarianism)的收益损失分析的计算情境(computational context)(Arkin,2009;Bringsjord & Taylor,2012)。然而，基于规则的道德取向由于是事先设定的，往往无法完全面对复杂情况(未包换相应规则等)，且规则间极有可能相互冲突。与之相反，自下而上的取向认为，智能机器不应该被直接赋予特定的道德伦理，而是应该通过为它提供一个恰当的环境(鼓励智能机器做出恰当的行为)，使其通过经验而学习(learning through experience)、进化出整体的道德意识。这一取向与儿童的道德发展观十分类似，即儿童通过社会情境中的体验、学习来获得道德教育，辨别什么是合适或不合适的行为，而不需要显性的向其提供道德理论(Allen et al.,2005)。然而，自下而上的智能机器道德设计取向在实际的实现上特别地困难，在进化与学习过程中存在着大量的错误和失败。混合取向则认为，为了应对上述取向的问题，我们需要将自上而下和自下而上的取向结合起来，可以通过自上而下的方式为智能机器设定一些基础性道德语法(foundation moral grammar)，并通过自下而上的学习(神经网络、机器学习)来发展和进化，从而整合形成智能机器的道德决策体系(具体见Allen et al.,2005)。

2.2 智能机器的道德能力模块

Voiklis et al.(2016)在Malle et al.(2015)研究的基础上，通过询问被试开放性问题(为什么你认为人类/机器人的选择在道德上是许可的/错误的？你为什么会给人类/机器人该程度的道德责备度评分？)，进一步探讨了人们对智能机器在道德困境中行为选择的道德评价机制。结果发现，在被试对人类和智能机器的行为选择进行道德许可度评价时，对于被试不许可人类采取功利主义，但许可智能机器采取功利主义的理由中，均提到了道义规范(deontological norms)，表明人们对智能机器和人类在此评价上采用不同的道德准则。

2.3 智能机器道德图灵测试

一些研究者则关注如何评价智能机器的道德水准，或者说如何界定某一智能机器是一个有道德的个体。这些研究者借鉴图灵测试，试图从测试的视角入手，即考察智能机器能否通过有关道德的图灵测试，来验证该智能体是否是一个具有道德的个体(Arnold & Scheutz,2016;Gerdes & Øhrstrøm,2015;Wallach & Allen,2012)。对“智能机器”这一概念的界定来源于“图灵测试”。图灵测试(Turing testing)是Turing(1950)提出的一种测试机器是否具备人类智能的方法：如果机器能够通过一系列的人类询问的测试(非接触条件)，即人类询问者无法通过回答判断出回答问题的是人还是机器，那么，即认为这一机器是智能的。通过借鉴图灵测试，众多研究者考虑构建基于道德的图灵测试，即如果人类“询问者”在询问有关道德方面的问题时，无法区分回答者是机器还是人类，那么就可以认为该智能机器是一个道德个体。道德图灵测试的实质在于智能机器能否按照人类社会道德规范进行道德反应(行为选择)。

然而，也有学者对道德图灵测试提出质疑，认为无法通过道德图灵测试的途径来真正地构建道德智能机器(e.g.,Arnold & Scheutz,2016)。他们认为，任何道德图灵测试(只要是基于原有图灵测试的结构特性)都面临着道德风险(moral compromise)的问题，主要包括：(1)图灵测试的核心是依赖于隐藏身份后的模仿(imitation)来达到通过测试的目标，而在道德图灵测试时，为了达到这一目标，道德永远在成功模仿的动机之下(如通过欺骗来实现模仿)。比如，图灵本人就曾指出，智能机器本身就可能在其擅长的任务(如复杂数学计算)上有意误导(拖延时间，错误回答等)以避免被认出是机器，那么，一个道德智能机器是否也可以故意呈现道德瑕疵以避免被识别？(2)黑箱问题，即道德推理过程的不可访问性(inaccessibility)。(3)道德推理与行为间的鸿沟：图灵测试中人类询问者只能看到通过中介(对话或者人类控制者)后的反应(行为)，但从行为反推道德推理存在巨大鸿沟。(4)人类本身对智能机器就具有更高的道德要求的现实，即人们对智能机器的道德水准要求很可能高于对人类道德水准的平均水平(具体见Arnold & Scheutz,2016)。

3 智能机器行为的道德判断研究

上述研究主要由人工智能、计算机科学等领域的学者开展，他们往往就是智能机器的设计制造者，因此主要关注于如何为社会型智能机器构建道德决策体系，如该系统应该包含哪些模块(道德能力组成)，如何从无到有构建(设计取向)等问题。近年来，越来越多的研究者则从人类道德判断本身出发，借鉴道德判断的相关理论，采用实验伦理法，来探究如人们对智能机器行为的道德判断模式及规律如何，人们期望智能机器在社会交互中采用什么样的行为道德规范等问题，从而揭示人们对于智能机器行为道德评价的特殊性(e.g.,Bergmann et al.,2018;Faulhaber et al.,2018;Malle et al.,2015)。研究者希望在此基础上，为智能机器相关道德设计提供依据，如设置一些特定的智能机器道德准则、行为模式等，使智能机器符合人们对它的期望，从而更好地融入到人类社会中。

3.1 道德判断理论模型

3.1.1 理性模型

目前，智能机器已被人类看作是道德行为者，成为道德主体(Wallach & Allen,2008)。如Kahn Jr et al.(2012)等人发现绝大部分公众认为机器人是对轻微犯罪行为负有道德责任的。Monroe,Dillon & Malle(2014)认为机器人的选择能力是决定人们是否责备其犯罪行为的重要因素。相关结果表明，人们将智能机器看成是道德体，会对其行为进行道德判断、评价。目前，研究者在探究公众对智能机器行为道德判断时，通常基于双加工模型，借鉴经典的电车困境(trolley dilemma)难题(尹军,关旭,花蕊,张锋，2018;Foot,1967)。基于电车困境及其改编版本，研究者主要考察了公众对智能驾驶汽车和智能机器人在遭遇道德两难困境时的行为选择期望(道德取向)及对其相关行为的道德评价(e.g.,Hristova & Grinberg 2016;Voiklis,Kim,Cusimano,& Malle,2016)。

男性峰值摄氧量明显高于女性，分别为（27.5±6.8）ml/kg/min vs（20.6±3.4）ml/kg/mi，差异有统计学意义（P＜0.01）。见表2。

3.1.2 社会直觉模型

一旦确定了免疫程序，必须严格遵照执行。具体实践中一定要严格执行操作规程。按时，按要求，按说明书的剂量认真搞好免疫。并做好隔期加强免疫，防止因剂量不足带来抗体水平太低，达不到防疫效果。

3.2.3 公众对智能机器行为道德判断的影响因素研究

现有研究表明，公众对智能机器和人类，很可能采用不同的道德判断准则：相比于人类，人们更希望智能机器做出功利主义取向行为，对其功利取向行为的道德评价也高于对人类做出同样的行为的评价，即存在人-智能机器异质性(human-robot asymmetry)。比如，Malle et al.(2015)采用类似电车困境(trolley dilemma)的情境(电车困境要求人们在放任一辆失控的电车杀死5人和将电车转向另一轨道导致1人死亡，但可以拯救5人的两难困境中做出选择)，首次系统考察了这一问题，结果发现：相比于人类，公众更希望智能机器做出功利论取向的行为选择(牺牲少数而救下更多人)。当智能机器做出道义论的选择时(不改变轨道)，公众对其行为选择的道德评价也低于人类做出同样的选择，认为其行为在道德上更加错误，对其选择也表现出更高的责备度。Malle,Scheutz,Forlizzi,& Voiklis(2016)，Hristova & Grinberg(2016)的后续研究也验证了这一点，公众对智能机和人类在做出功利论行为和道义论行为时的评价并不一致，更希望智能机器做出功利论行为。

3.1.3 双加工理论模型

双加工模型整合理性与情绪，认为道德判断是情绪和认知共同作用的结果(邱俊杰，张锋，2015;Greene,2003)。在某一特定情境中，当个体进行道德判断时，既需要有意识的推理，也依赖于直觉过程。在道德判断中，这两个过程对应于两个相对立的伦理视角：道义论和功利论(Bartels,2008;Carney & Mason,2010;Conway & Gawronski,2013)。道义论认为行为的对错在于行为本身的责任、权利与义务等(比如，无论结果如何，伤害他人是错误的)；而功利论认为行为的对错取决于行为结果的收益-损失(比如，功利主义者认为为了救5人而牺牲1人在道德上是正确的，而道义论者则采取相反的观点)。

惠州的历史文化聚居点中梁化古城、博罗老城与府县双城是宋代以前惠州主要的府县所在，三者城址周边的道教祭祀场所与民间信仰祭祀场所集中区是惠州区域内最大型与最具代表性的研究点，城址都与东江水系有着明显的联系。以下便是对这3个案例的对比分析。

3.2 智能机器行为的道德判断

传统的道德判断理性模型认为道德判断主要是通过人们的思考和推理这一理性过程完成的，而情感、无意识等非理性要素并非道德判断的重要因素(Kohlberg & Kramer,1969;Piaget,1965)。

3.2.1 人对人类和智能机器行为的道德判断差异

张连长带着知青们走在山脚下的公路上。而所谓公路,其实只不过是包括拖拉机在内的各种大大小小的车辆压出来的一条土路。

一些研究者基于智能机器的道德模块组成，研究智能机器的道德能力(moral competence)模块及组成成分，以此构建智能机器整体道德模型(Malle & Scheutz,2015;Scheutz & Malle,2014)。Scheutz & Malle提出智能机器的道德能力应包含道德核心(moral core)、道德知觉与认知过程(moral perceptual and cognitive processes)、道德问题解决、决策过程(moral problem solving,decision-making process)和道德交流(moral communication)四个组成模块。道德核心包括道德相关的核心概念(准则)、语言标签(linguistic label)及概念间的联结关系，即知道什么是符合(违背)道德规范和准则的；道德知觉和认知过程包括所有在道德判断中与道德推理(reasoning)相关的知觉和认知的过程；道德问题解决、决策过程模块则表征道义式道德，计划道德决策路径(planning paths)和决策树(decision tree)；道德交流模块则让智能机器具备运用人类自然语言与人类进行道德交流的能力，为其道德行为选择进行解释和辩护。在此基础上，Malle等人(Malle & Scheutz,2014,2015)将道德词汇(moral vocabulary)独立出来，并整合了道德行动(moral action)及情感(affect)，提出了包含道德核心、道德词汇、道德认知与情感、道德决策及行动、道德交流5个组成成分的智能机器道德框架(具体见Scheutz & Malle,2014,2015)。研究者们认为智能机器道德能力框架的构建，是解决智能机器在社会交互中面临道德情境问题的必要条件(e.g.,Bigman & Gray,2018;Payr,Werner,F.,& Werner,K.,2015)。

然而，并非所有研究都支持了公众对智能机器和人采用不同的道德评价标准的观点，极少数研究也发现了人们对人和智能机器行为可能存在同样的道德判断标准。Komatsu(2016)采用日本人被试重复了Malle et al.(2015)的研究(不过仅测量了道德错误度[moral wrongness]一个指标)，但获得了完全不同的研究结论。他们发现，日本被试对智能机器和人类采用完全相同的道德判断准则，即被试对人类和智能机器在道德两难困境中采取道义论或功利论的行为选择的道德评价上并没有差别。Malle et al.(2016)在其研究的实验2中，改变了道德困境的描述方式，采用连环画形式呈现多张图片来描述道德困境，结果发现人们对于智能机器和人类行为道德评价(错误度、责备度)上的不对称性效应消失，即给予了同样的道德评价。褚华东等人(2019)的研究则表明，公众对人-智能机器行为道德判断的差异性受到道德情境的影响：在非个人道德困境(电车困境)下，人们对智能机器和人采用相同的道德评价标准；而在个人道德困境(天桥困境)下，人们对两者采用不同的道德评价标准，更希望智能机器做功利主义取向行为。因此，人们很可能对人类和智能机器行为的道德判断存在差异，但在特定情况下(比如特定道德情境，文化背景)也可能表现出一定的一致性。

教师在物理教学中要采取多样化的教学方法培养学生的创造性思维，而牢固的基础知识使学生进行创新的基础，只有让学生深刻的理解了物理基础知识，掌握基础技能，才能为学生思考问题、解决问题打下良好的基础。其次，教师在物理教学过程中要积极培养学生的综合能力，鼓励学生从不同的角度思考问题，摆脱应试教育给学生带来的束缚，通过对学生发散思维的培养，让学生的创新能力得到提升。

3.2.2 公众可接受的智能机器行为道德取向

智能机器行为的道德评价，还涉及智能机器的责任主体问题(谁应该为智能机器的行为选择负责)。大部分研究者将智能机器的责任主体分为三大类：制造商或政府、智能机器的拥有者或使用者、智能机器本身(Hevelke & Nida-Rümelin,2015;Li,Zhao,Cho,Ju,& Malle,2016)。智能机器已经被人们看成是一个道德主体，但人们对其承担责任的要求受到其能力、外形、与人交互方式等的影响(Hevelke & Nida-Rümelin,2015;Woerdt & Haselager,2016;Li et al.,2016)。Li et al.(2016)的研究发现，当自动驾驶汽车遭遇无法避免的事故时，人类会更多地将责任归因于自动驾驶汽车的制造商以及政府，而对自动驾驶汽车的责备最少。Komatsu(2017)同样利用道德困境研究范式来探究人类对人工智能系统设计者和使用者的责备度，其结果亦发现，不管人工智能系统做出哪种选择，人们对设计者的责备都要显著高于使用者。这些结果表明，人们更可能将这种道德责任归咎到人类(个体或政府)，而并非智能机器上，并未将智能机器看成是一个完整的道德承担者。而且，无论如何完善(具有完全的人类能力和外形)，智能机器似乎始终无法达到与人类个体相当道德体的程度(Hristova & Grinberg,2016)。

最近，MIT一项基于全球(233个国家和地区)的大规模调查，运用在线程序，收集了近4000万次人们对自动驾驶汽车在面临各种道德两难困境时的期望行为(Awad et al.,2018)。研究者通过设计各类不同的道德情境，考察了挽救主体(挽救人类vs.宠物)、默认行为(保持直行vs.转向)、挽救对象(乘客vs.行人)、人数(挽救更多人vs.挽救少数人)、性别(挽救男人vs.女人)、年龄(挽救青年人vs.老人)、规则(挽救合法过马路者vs.乱穿马路者)、健康(挽救健康者vs.不健康者)和社会阶层(挽救高社会地位者vs.低社会低位者)等因素对人们对自动驾驶汽车预期行为的影响。研究结果呈现出三种十分强烈的选择偏好，这些偏好都支持了人们希望智能机器采用功利论取向的观点：①希望自动驾驶汽车在遭遇道德两难困境时保护人类而非保护动物；②保护更多的生命；③保护年轻的生命。

然而，当涉及自身利益时，人们对智能机器的这种功利论偏好可能反转。Bonnefon et al.(2016)在研究中询问了被试对不同道德取向(道义论、功利论)的自动驾驶汽车的购买意愿，发现虽然人们更加认可功利论取向的自动驾驶汽车，并希望他人购买，但人们更愿意给自己购买那些无论何时都优先保护车内乘客(自我)的汽车，哪怕这意味在道德困境中牺牲更多人。不过，也有研究发现(Faulhaber et al.,2018;Bergmann et al.,2018)，人们并非纯粹的利己主义者，当可能死亡的人数逐渐增加时(≥5)，人们更愿意自动驾驶汽车牺牲乘客(自己)来挽救更多的人。同样，随着自我牺牲概率的降低，人们也更加愿意自动驾驶汽车采用功利主义取向(Wintersberger,Prison,Riener & Hasirlioglu,2017)。

理性模型忽略了情绪的作用，Hadit把情绪引入道德，并形成了道德判断的社会直觉模型。该模型认为直觉加工是道德判断的基本过程，道德判断是基于自动化、快速的道德直觉的评价过程(Haidt,2001;Haidt & Bjorklund,2008;Haidt & Joseph,2004)。该模型不再强调个体推理的重要性，而是重视社会和文化影响的重要性。

智能机器的外形会影响人们对其行为的道德判断。在智能机器设计中，主要存在着两类不同外形的机器，即人形机器人(humanoid robot)和机器型机器人(mechanical robot)。Malle et al.(2016)对比了被试对人类、人形机器人和机器型机器人在道德困境下行为选择的道德评价。研究发现虽然被试在对三者行为道德错误度的评价上没有差异，但人们对于机器型机器人和人类行为在道德责备度评价上并不对称——被试对智能机器做出功利论行为的道德责备度低于其做出道义论行为，而对于人类行为的道德评价则恰恰相反，相比于道义论行为，被试更加责备人们的功利论行为。而对于人形机器人，被试对其的道德评价(错误度、责备度)和对人类的评价类似，并不存在显著差异。Hristova & Grinberg(2016)同样对比了被试对人类与人形机器人、智能系统(automated system，无外形)在道德困境中行为的期望及道德评价。研究表明，人们更希望智能机器(人形机器人，智能系统)做出功利取向行为，认为该行为更正确，道德上更被许可(morally permissibility)，而对人类则不存在取向偏差。但在道德责备度上，人们对于人形机器人的道德责备度显著地低于人类和智能系统。后续分析发现，尽管实验中对人形机器人的描述已经让其尽可能地接近人类，但被试仍然认为其不具有与人类相同的道德代理能力(更低的道德辨析能力和道德责任承担等)，这可能导致了被试对其道德责备度的减少。

事故风险、不确定性也会影响到人们对智能机器行为的道德判断。Meder,Fleischhut,Krumnau,& Waldmann(2019)的研究表明，当自动驾驶汽车面临无法避免的道德两难困境时，引发事故结果的好坏显著影响了人们对自动驾驶汽车的道德判断。随着自动驾驶汽车转向发生碰撞结果的风险增加，人们更加偏向自动驾驶汽车“不作为”(停车)。同时，人们对发生转向产生碰撞结果的自动驾驶汽车给予更低的道德评价。Wintersberger et al.(2017)的研究也表明，随着车内乘客牺牲概率的降低，人们更期望自动驾驶汽车能够避免冲撞行人。

另外，人们对于智能机器行为的道德判断还受到文化背景、经济、制度等诸多因素的影响。Awad et al.(2018)的全球调查研究证实，来自东方群体(日本、中国台湾等)的个体更不愿意自动驾驶汽车在两难困境下牺牲老人的性命来挽救年轻人，而南方群体(大部分中美洲和南美洲的拉丁美洲国家)的个体则更可能这么做。此外，南方群体的个体，相比东方群体和西方群体(北美及许多欧洲国家的基督教团体)的人，更少地愿意以牺牲宠物来救人。同时，集体主义和个体主体文化也会影响人们对智能机器的道德判断。来自个体主义文化的个体，更加强调每个个体的独特价值，因此更偏好自动驾驶汽车保护更多的人；而来自集体文化的个体，强调对年长者的尊重，因此对保护年轻人的偏好相对较弱。来自较贫穷和规则不完善国家和地区的个体对非法过马路的行人更宽容，这可能与他们遵守规则程度较低，违规惩罚较轻有关。此外，贫富差距也影响人们的判断。贫富差距大的国家和地区的个体对待富人和穷人也更不平等，更可能希望自动驾驶汽车牺牲穷人。对女性越尊重的国家和地区(更好的女性健康水平和更平等的男女地位)，也越偏向于挽救女性(相比于挽救男性)。

3.2.4 智能机器行为道德责任承担

Malle et al.(2015)、Malle et al.(2016)等研究表明，相比于道义论式行为，人们似乎更偏好智能机器在道德两难困境中做出功利论行为。Bonnefon,Shariff,& Rahwan(2016)考察了人们对自动驾驶汽车在道德两难困境中行为选择的道德判断(车前突然出现数位行人，唯一的解救办法是紧急避险，但会导致道旁1位行人或车内乘客死亡)。研究者通过一系列实验发现，相比于道义论式行为选择，人们更希望自动驾驶汽车做出功利主义取向行为，对该取向自动驾驶汽车的道德评价也更高。随着获救人数的增加，认可功利取向的被试也相应增加，即使牺牲的是决策者自己或家人，这种倾向仍然存在。考虑到问卷情境的有效性问题，一些研究者则结合虚拟现实(VR)技术考察人对自动驾驶汽车行为的道德判断问题，亦获得了相同的研究结论：人们更喜欢功利论取向的智能机器，拯救的人数越多，人们越倾向于自动驾驶汽车做出功利论取向道德行为，即使这么做需要其违背交通规则。而且，人们更希望自动驾驶汽车挽救更年轻的生命(儿童)(Bergmann et al.,2018;Faulhaber et al.,2018)。

4 总 结

本文聚焦于人工智能领域，详细论述了智能机器的道德构建及人对智能机器行为的道德判断研究，并着重于后者，重点聚焦公众对智能机器在社会道德情境中的期望道德行为规范及对其行为的道德判断。众多研究表明，公众在对待智能机器时，很可能采用与对人类不同的道德准则，对其行为的道德评价机制也很可能与对人类评价存在一定的差异。但是，目前现有的文献研究尚不能很好地解释这种差异背后的机制。总之，有关智能机器行为道德判断的研究仍在初步发展当中，实际应用与现有理论间还存在着巨大的差异。在世界范围内推出智能机器之前，人们还需要从各个方面考虑社会的接受度，并且要尽可能找到所有预期道德风险发生的解决办法。建立人工智能的道德规范体系将要远比人们想象中的困难得多，需要前期大量的相关研究来支撑。

5 研究展望

从整合现有的研究结果大致可以发现，公众更希望智能机器在面对道德两难困境时做出功利性行为。但是,导致这一差异背后的机制目前并不明确，缺乏足够的研究来验证。一种可能的解释是人们很容易采用他人的视角思考(代入感更强)，天然地拒绝杀害他人的行为，因此对人类采取更加严苛的道德标准；相反，人们很难将自己放到智能机器的位置上，因此也不具有这种天然的反应，所以对其采用宽容得多的道德标准。另一种可能的解释与人们维护自己的声望有关。一个愿意牺牲他人性命的人往往被看成是一个不可信的社会伙伴，人们更愿意和采取道义论取向的个体合作(Everett,Pizarro,& Crockett,2016)。因此，在道德两难困境中，人们更可能做出道义论行为；相反，人们可能并不认为智能机器是社会共同体的一部分，因此仅根据行为本身判断，做出更加功利性的取向。此外，公众对智能机器的道德评价还受到文化背景、经济因素、制度等因素的影响：东西方文化差异、集体与个体文化差异、宗教思想、经济发展水平差异等，均会影响到其社会民众对于智能机器在道德情境下的行为预期和道德判断。因此，对智能机器的道德判断还需要在具体的社会情境下深入探讨。

其中，i为待求的像素；N为图像I中以像素i为核心的方形邻域；j表示邻域内的任一像素.σd和σr是基于高斯函数的标准差.Gσd是减弱远距离像素影响的空间邻近度函数，Gσr是用来减少像素点j对像素点i灰度差异影响的相似度函数.

总而言之，智能机器的道德判断研究目前尚处在起步阶段，通过对现有研究和发展趋势的梳理，本文提出了以下几点研究展望：

各种化妆品都会与我们亲密接触。特别是爱美女性，在长了痤疮、皱纹以后，会使用各种产品来保持皮肤的健康状况。由于激素具有消炎退红、抑制黑素生成、消肿的作用，使用后有瞬间美白、嫩肤的功效，一些不良商家便利用这个“神器”制成各种具有立即白、美、嫩的护肤品。长期使用了这些含有糖皮质激素类的化妆品后，一旦停用，可导致面部皮肤产生黑斑、萎缩变薄等问题，还可能出现激素依赖性皮炎等后果，正因为如此，糖皮质激素已被《化妆品卫生规范》(2007年版)列为化妆品禁用物质。

首先，以往研究中绝大部分都采用情境问卷，但已有研究表明人们在道德两难困境中的实际行为选择和问卷情境下的选择并不相同(FeldmanHall et al.,2012)。因此，这些研究获得的结论并不总是能够真实反映出当智能机器真正在人类社会中交互，做出道德行为时人们的评价。随着技术的进步，少数研究者已经通过采用VR技术等来模拟虚拟现实场景下智能机器的道德行为，从而进行研究。后续研究应更加注重完善实验范式，融入更多的研究手段，尽可能在接近真实的情境下获得更多公众对于智能机器行为道德判断的规律。

2.1两组临床疗效比较治疗有效率方面,观察组和对照组分别为95%%(47/50)、70%(35/50),观察组显著高于对照组,差异有显著性(p<0.05)。

其次，当前的所有研究几乎都借鉴了电车困境，采用在要么牺牲少数人挽救多数人，要么不做这样牺牲放任多人死亡的两难困境中做出选择的研究范式。然而，智能机器在未来人类社会的交互中，涉及的道德情境将十分复杂，远远超出类似电车困境的范畴。比如，自动驾驶汽车是否应该为了某些乘客或公众的某些利益而违背交通规则(闯红灯、超速)？智能机器人是否可以做出“善意的谎言”的行为？因此，后续研究需要关注在各种道德场景下公众期望智能机器的道德准则、对其行为的道德评价。

能，其是满足顾客入住需求的关键。这个过程中酒店人员利用酒店前台管理系统对顾客信息进行录入，客人正式入住后边可通过相应系统为客人做其他需求服务办理。通常酒店前台管理系统本身灵活性也相对较高，比如其在权限操作上，不同管理人员所具有的操作权限也有一定差异性。结合实际来看当前酒店前台管理系统服务需求主要体现在房间预订、登记入住、换房、加房、修改房价等特性，注重前台管理系统完善性和功能要点的灵活设置，是整个酒店管理系统得以流畅运行的关键[1]。

再次，目前绝大部分的研究来自于西方国家，而道德伦理显然是与文化背景、社会形态等密切相关。比如，相比于西方人，中国人更少在道德两难困境中做出功利论行为，这可能与中国人相信宿命论有关。因此，不同社会对于什么是符合伦理规则的智能机器行为显然有不同的评价标准。Awad et al.(2018)的研究初步检验了不同国家和地区的人们对于自动驾驶汽车在道德两难困境中的选择偏好，证明了这种文化背景、社会形态差异。因此，后续研究也应当更加深入到这一方面，考虑不同文化背景、不同道德伦理规范群体对智能机器的道德判断问题。

最后，目前绝大部分的研究还在描述公众对智能机器在道德情境下的行为预期和道德评价的基本模式上，对于人们为何对智能机器采取这样的道德判断模式的背后机制还知之甚少。比如，智能机器与人本身的心理距离是否是影响对其道德判断的一个关键因素？人们对于智能机器在道德困境中做出的选择是否激起与人类选择不同的情绪反应，从而导致了不同的道德评价？对于这些问题的深入探讨，有助于我们进一步加强对人类如何对智能机器行为进行道德判断的认识，为设计出符合人类社会规范的智能道德机器提供理论指导。

参考文献

褚华东,李园园,叶君惠,胡凤培,何铨,赵雷.(2019).个人-非个人道德困境下人对智能机器道德判断研究.应用心理学 ,(in press).

邱俊杰,张锋.(2015).道德困境中行为判断的认知与情绪问题:从道德双加工模型到建构水平理论.应用心理学 ,21 (3),271-280.

唐宁,安玮,徐昊骙,周吉帆,高涛,沈模卫.(2018).从数据到表征:人类认知对人工智能的启发.应用心理学 ,24 (1),3-14.

尹军,关旭,花蕊,张锋.(2018).审慎加工对形成道德判断外语效应的作用.应用心理学 ,24 (04),37-47.

周吉帆,徐昊骙,唐宁,史博皓,赵阳,高涛,沈模卫.(2016).“强认知”的心理学研究:来自AlphaGo的启示.应用心理学 ,22 (1),3-11.

Albus,J.S.(1991).Outline for a theory of intelligence.IEEE Transactions on Systems ,Man ,and Cybernetics ,21 (3),473-509.

Allen,C.,Smit,I.,& Wallach,W.(2005).Artificial morality:Top-down,bottom-up,and hybrid approaches.Ethics and Information Technology ,7 (3),149-155.

Allen,C.,Varner,G.,& Zinser,J.(2000).Prolegomena to any future artificial moral agent.Journal of Experimental &Theoretical Artificial Intelligence ,12 ,251-261.doi:10.1080/09528130050111428

Anderson,M.,& Anderson,S.L.(2011).Machine ethics .New York,USA:Cambridge University Press.doi:

Arkin,R.(2009).Governing lethal behavior in autonomous robots .New York,USA:Chapman and Hall/CRC.doi:10.1108/ir.2010.04937bae.001

Arnold,T.,& Scheutz,M.(2016).Against the moral turing test:Accountable design and the moral reasoning of autonomous systems.Ethics and Information Technology ,18 ,103-115.doi:10.1007/s10676-016-9389-x

Awad,E.,Dsouza,S.,Kim,R.,Schulz,J.,Henrich,J.,Shariff,A.,Bonnefon,J.F.,& Rahwan,I.(2018)The Moral machine experiment.Nature ,563 ,59-64.doi:10.1038/s41586-018-0637-6

Bartels,D.M.(2008).Principled moral sentiment and the flexibility of moral judgment and decision making.Cognition ,108 ,381-417.doi:10.1016/j.cognition.2008.03.001

Bergmann,L.T.,Schlicht,L.,Meixner,C.,Konig,P.,Pipa,G.,Boshammer,S.,& Stephan,A.(2018).Autonomous vehicles require socio-political acceptance:An empirical and philosophical perspective on the problem of moral decision making.Front Behav Neurosci ,12 ,31. doi:10.3389/fnbeh.2018.00031

Bigman,Y.E.,&Gray,K.(2018).People are averse to machines making moral decisions.Cognition ,181 ,21-34.

Bonnefon,J.-F.,Shariff,A.,& Rahwan,I.(2016).The social dilemma of autonomous vehicles.Science ,352 ,1573-1576.doi:10.1126/science.aaf2654

Bringsjord,S.,& Taylor,J.(2012).The divine-command approach to robot ethics.Robot ethics :The ethical and social implications of robotics ,85-108.

Carney,D.R.,& Mason,M.F.(2010).Decision making and testosterone:When the ends justify the means.Journal of Experimental Social Psychology ,46 ,668-671.doi:10.1016/j.jesp.2010.02.003

Conway,P.,& Gawronski,B.(2013).Deontological and utilitarian inclinations in moral decision making:A process dissociation approach.Journal of personality and social psychology ,104 ,216-235.doi:10.1037/a0031021

Everett,J.A.,Pizarro,D.A.,& Crockett,M.J.(2016).Inference of trustworthiness from intuitive moral judgments.Journal of Experimental Psychology General ,145 (6),772.

Faulhaber,A.K.,Dittmer,A.,Blind,F.,Wachter,M.A.,Timm,S.,Sutfeld,L.R.,...Konig,P.(2018).Human decisions in moral dilemmas are largely described by utilitarianism:Virtual car driving study provides guidelines for autonomous driving vehicles.Sci Eng Ethics. doi:10.1007/s11948-018-0020-x

FeldmanHall,O.,Mobbs,D.,Evans,D.,Hiscox,L.,Navrady,L.,& Dalgleish,T.(2012).What we say and what we do:The relationship between real and hypothetical moral choices.Cognition ,123 (3),434-441.

Foot,P.(1967).The problem of abortion and the doctrine of double effect.Oxford Review ,5 ,5-15.

Gerdes,A.,& Øhrstrøm,P.(2015).Issues in robot ethics seen through the lens of a moral Turing test.Journal of Information ,Communication and Ethics in Society ,13 ,98-109.doi:10.1108/JICES-09-2014-0038

Goodall,J.N.,(2014).Machine ethics and automated vehicles.Road Vehicle Automation ,Springer ,93-102.doi:10.1007/978-3-319-05990-79

Goodall,J.N.,(2016).Can you program ethics into a self-driving car? IEEE Spectrum ,53 ,28-58.doi:10.1109/mspec.2016.7473149

Greene,J.(2003).From neural‘is’ to moral‘ought’:What are the moral implications of neuroscientific moral psychology? Nature Reviews Neuroscience ,4 ,846-850.doi:10.1038/nrn1224

Haidt,J.(2001).The emotional dog and its rational tail:a social intuitionist approach to moral judgment.Psychological Review ,108 ,814. doi:10.1037/0033-295x.108.4.814

Haidt,J.,& Bjorklund,F.(2008).Social intuitionists answer six questions about morality.Social Science Electronic Publishing .

Haidt,J.,& Joseph,C.(2004).Intuitive ethics:How innately prepared intuitions generate culturally variable virtues.Daedalus ,133 ,55-66. doi:10.1162/0011526042365555

Hevelke,A.,& Nida-Rümelin,J.(2015).Responsibility for crashes of autonomous vehicles:An ethical analysis.Science and Engineering Ethics ,21 ,619-630.doi:10.1007/s11948-014-9565-5

Hristova,E.,& Grinberg,M.(2016).Should moral decisions be different for human and artificial cognitive agents.Paper Presented at the 38th Conf.of the Cognitive Science society.

Kahn Jr,P.H.,Kanda,T.,Ishiguro,H.,Gill,B.T.,Ruckert,J.H.,Shen,S.,...Severson,R.L.(2012).Do people hold a humanoid robot morally accountable for the harm it causes? Paper presented at the Proceedings of the seventh annual ACM /IEEE international conference on Human -Robot Interaction. doi:10.1145/2157689.2157696

Kohlberg,L.,& Kramer,R.(1969).Continuities and discontinuities in childhood and adult moral development.Human Development ,12 ,93-120.doi:10.1159/000270857

Komatsu,T.(2016).Japanese students apply same moral norms to humans and robot agents:Considering a moral HRI in terms of different cultural and academic backgrounds.Paper presented at the Human -Robot Interaction (HRI ),2016 11th ACM /IEEE International Conference on. doi:10.1109/hri.2016.7451804

Komatsu,T.(2017).Owners of Artificial intelligence systems are more easily blamed compared with system designers in moral dilemma tasks.Paper presented at the Proceedings of the Companion of the 2017 ACM /IEEE International Conference on Human -Robot Interaction. doi:10.1145/3029798.3038416

Li,J.,Zhao,X.,Cho,M.-J.,Ju,W.,& Malle,B.F.(2016).From trolley to autonomous vehicle:Perceptions of responsibility and moral norms in traffic accidents with self-driving cars.SAE Technical Paper ,1 ,1-8. doi:10.4271/2016-01-0164

Malle,B.F.,& Scheutz,M.(2014).Moral competence in social robots.Paper presented at the Proceedings of the IEEE 2014International Symposium on Ethics in Engineering ,Science ,and Technology .doi:10.1109/ethics.2014.6893446

Malle,B.F.,& Scheutz,M.(2015).When will people regard robots as morally competent social partners? Paper presented at the RO -MAN. doi:10.1109/roman.2015.7333667

Malle,B.F.,Scheutz,M.,Arnold,T.,Voiklis,J.,& Cusimano,C.(2015).Sacrifice one for the good of many?:People apply different moral norms to human and robot agents.Paper presented at the Tenth ACM /IEEE International Conference on Human -Robot Interaction. doi:10.1145/2696454.2696458

Malle,B.F.,Scheutz,M.,Forlizzi,J.,& Voiklis,J.(2016).Which robot am I thinking about?:The impact of action and appearance on people’s evaluations of a moral robot.Paper presented at the The Eleventh ACM /IEEE International Conference on Human Robot Interaction. doi:10.1109/hri.2016.7451743

Meder,B.,Fleischhut,N.,Krumnau,N.C.,& Waldmann,M.R.(2019).How should autonomous cars drive? A preference for defaults in moral judgments under risk and uncertainty.Risk analysis ,39 (2),295-314.

Monroe,A.E.,Dillon,K.D.,& Malle,B.F.(2014).Bringing free will down to earth:People’s psychological concept of free will and its role in moral judgment.Consciousness and Cognition ,27 ,100-108.doi:10.1016/j.concog.2014.04.011

Payr,S.,Werner,F.,& Werner,K.(2015).Potential of robotics for ambient assisted living.Vienna:FFG benefit.

Piaget,J.(1965).The stages of the intellectual development of the child.Educational psychology in context :Readings for future teachers ,98-106.doi:

Purves,D.,Jenkins,R.& Strawser,B.J.(2015).Autonomous machines,moral judgment,and acting for the right reasons.Ethical Theory and Moral Practice ,18 ,851-872.doi:10.1007/s10677-015-9563-y

Scheutz,M.,& Malle,B.F.(2014).Think and do the right thing:a plea for morally competent autonomous robots.Paper presented at the Proceedings of the IEEE 2014International Symposium on Ethics in Engineering ,Science ,and Technology .doi:10.1109/ethics.2014.6893457

Turing,A.(1950).Computing Machinery and Intelligence.Mind,59:433-460.

Voiklis,J.,Kim,B.,Cusimano,C.,& Malle,B.F..(2016).Moral judgments of human vs.robot agents.IEEE International Symposium on Robot & Human Interactive Communication.IEEE.

Wallach,W.,& Allen,C.(2008).Moral machines:Teaching robots right from wrong.Oxford University Press.

Wallach,W.,& Allen,C.(2012).Hard problems:Framing the chinese room in which a robot takes a moral turing test.

Wintersberger,P.,Prison,A.K.,Riener,A.,& Hasirlioglu,S.(2017,June).The experience of ethics:Evaluation of self harm risks in automated vehicles.In:2017 IEEE Intelligent Vehicles Symposium (IV )(pp.385-391).IEEE.

Woerdt,S.,& Haselager,WFG.(2016)Lack of effort or lack of ability? Robot failures and human perception of agency and responsibility.BNAIC 2016 :Artificial Intelligence ,155-168.doi:10.1007/978-3-319-67468-1_11

Moral Judgment of Intelligent Machines ’Behavior :Current Situation and Prospects

ZHAO Lei ¹LI Yuan -yuan ¹YE Jun -hui ²HU Feng -pei ¹

(1.School of Management,Zhejiang University of Technology,Hangzhou 310023,China; 2.Zhejiang Police College,Hangzhou 310053,China)

Abstract

With the advent of artificial intelligence,intelligent machines (robots) are stepping into the human society.The interaction between intelligent machines and human society,especially the ethical issues involved in human-intelligent machine interaction,has gained increasing attention from researchers.The present study focuses on the frame construction of artificial morality and individual’s moral judgment of intelligent machines’ behavior.Based on a comprehensive review of previous research on moral judgment of intelligent machines’ behavior,the present paper mainly discusses intelligent machines’ moral competence,moral judgment of human-intelligent machines asymmetry,and the main factors affecting people’s moral judgment of intelligent machines.Suggestions for future research are also offered.

Key words ：artificial intelligence,intelligent machines,moral judgment

** 通信作者： 胡凤培，男，浙江工业大学管理学院教授，fengpei@zjut.edu.cn。

^*基金项目： 国家自然科学基金(31900781)；教育部人文社会科学研究青年基金项目(19YJC190033)；浙江省社科规划课题成果(20XXJC05ZD)。

中图分类号： B849

文献标识码： A

文章编号： 1006-6020( 2019) -04-0306-13

标签：人工智能论文;  智能机器论文;  道德判断论文;  浙江工业大学管理学院论文;  浙江警察学院论文;