人工智能法律问题
论智能武器法律挑战的伦理应对——“道德准则嵌入”方案的合法性探讨
陈 聪
[摘 要] 自美军提出第三次抵消战略以来，一直将智能技术作为其军事上的优先发展方向。智能武器的飞速发展在推动军事变革的同时，也对传统的军事行动合法性的判断带来了根本性的挑战。对智能武器来说，其所面临的主要国际法障碍就是攻击行为的人道主义考量问题。“道德准则嵌入”成为一种可能的伦理解决方案。通过代码编写的算法，将国际通行的武装冲突规则数字化为逻辑指令，使人类所倡导的人道主义规范得以内嵌于智能武器中，帮助智能武器具有自主伦理抉择能力。但这只是一种符合规范伦理学的安排，离不开置于军事活动的开放性情境中进行实践伦理考量，也离不开国际法角度的合法性审视。智能武器的“道德准则嵌入”不能局限于伦理算法的设定，而须引入人类战士的伦理判断，坚持人的主导作用。
[关键词] 智能武器； 道德准则嵌入； 伦理应对； 法律审查
一、智能武器带来的法律挑战
2016年6月，美国辛辛那提大学研发的人工智能系统阿尔法驾驶三代机F-15，在模拟战斗中击败了具有20多年飞行经验的美空军上校基恩·李驾驶的四代机F-22。2017年11月，在日内瓦举办的联合国特定常规武器公约会议上，美国伯克利大学教授罗塞尔通过一段视频展示了未来的概念武器“杀人蜂”。视频中，一群外形类似蜜蜂的微型智能机器人，通过人脸定位锁定目标，继而引爆携带的炸药进行定点攻击，瞬间杀死了教室里一群正在上课的学生。智能的军事应用已经不只是停留在实验室里，美国海军开发的X-47B能够实现自主在航空母舰上起飞和降落，引起人们高度关注。[注] ① 杜严勇：《现代军用机器人的伦理困境》，《伦理学研究》2014年第5期。 在人工智能快速发展大潮中，军事智能正成为一个专门领域，强势推动武器装备的发展演变。
未来战场，既是能量和力量的比拼，更是科技与智能的较量。自美军提出第三次“抵消战略”以来，一直将智能技术作为其军事上的优先发展方向。当前，随着人工智能不断取得技术突破，各类功能的机器人士兵已经逐渐走上战争舞台，成为现代军事博弈中的重要力量。在遥控武器和自动武器的基础上，能够自主决策的智能武器近年来在叙利亚等战场上已得到应用。与普通武器相比，智能武器配置了传感器和控制器，通过人工智能决策的介入，在运行过程中无须外界人为信息输入和控制，就可以独立自主地完成特定军事任务。[注] 杨丹丹、李伯军：《论自主机器人上战场的法律问题》，《西安政治学院学报》2012年第4期。 智能武器具有指挥高效化、打击精确化、操作自动化、行为智能化等特点，有着传统武器所无法比拟的军事优势。它不但可以自主寻找、辨别需要打击的目标，还具有识别和判断战场环境变化的能力，大大缩短了“侦察—判断—决策—行动”的作战回路，可以说是一种“会思考”的武器系统。这不但有利于节约军事活动中的人力成本，减少生命损失，而且能够降低作战中战斗员对高速信号的依赖，缩小传输过程中可能产生的误传风险，能够更及时地应对变幻莫测的战场局势。[注] 何蓓：《性质与路径：论自主性武器系统的国际法规制》，《西安政治学院学报》2016年第4期。 智能武器在军事领域的广泛应用，不但改变了传统的战争模式和作战样式，也对现代战争中的伦理法律原则直接带来了深层次的冲击。
7) 实时报警管理操作站的黑屏显示功能。在实时报警管理操作站上，当显示“综合报警一览”或“实时异常分析与监控处理”画面时，配置以下的“黑屏”功能:
大脑、肝脏、心脏等三种器官是动物体内中枢器官和最重要的物质代谢器官，同时肝脏又是合成GSH的重要器官，在机体衰老过程中，大脑、肝脏、心脏中的GSH含量均出现显著的下降趋势，因此通过检测这三种器官中GCL和GSH含量可以反映机体抗氧化反应和清除自由基能力。白藜芦醇属于非黄酮类多酚化合物，是葡萄、桑葚、虎杖等许多种植物在遇到不利环境时自然产生的一种植物抗毒素，研究发现，白藜芦醇能够延长机体的平均存活时间，延长正常的生命周期[9]。
为了协调武装冲突中“军事需要”和“人道要求”的矛盾，现代国际法形成了一系列规范武力使用的规则，如区分平民与战斗员、禁止攻击失去作战能力的人、禁止造成不必要伤害、军事必要和相称性原则等。[注] 盛红生、肖凤城、杨泽伟：《21世纪前期武装冲突中的国际法问题研究》，北京：法律出版社2014年版，第22页。 这些规则对作战中的战斗员及其使用的武器装备皆有明确规制，尽可能减少武装冲突的残酷性，防止武力使用的失范行为。但是，当前武装冲突法律规范的框架和具体规则基本是以人类战斗员操作武器为标准来设计的，并未充分考虑武器也有可能具有自主决策能力。智能武器具有高度自主的特点，这一点是其与传统武器的最大差别。在引入军事智能技术之前，武器具有鲜明的工具性特征，它依赖于人的操作和控制，不会完全自主地寻找、锁定、瞄准并处理目标。[注] 朱路：《无人机攻击问题国际人道法研究》，《南京理工大学学报》(社会科学版)2013年第6期。 即便是较为先进的自动武器，也主要是基于预先设定特定范式的计算机程序而作出模式化行为，不会自主决策，本质上还是遵循人类的预设。但是，依赖于成熟的人工智能技术，智能武器具有了自主决策能力，进入战场能够根据具体情势独立运作，在挑选目标和使用杀伤力时具有了自主性。特别是随着军事科技的大幅跃进，智能武器的智能化程度会越来越高，通过模仿人类神经元之间的信息传递功能，建立人工神经元网络结构，利用计算机模拟人类的认知过程和决策过程，可以像人类一样观察、学习、组织语言、处理数据、得出结论。当前部分领域里，人工智能的思维能力甚至可以达到或者超过人脑。[注] 《中国军事科学》编辑部：《 围棋人机大战与军事指挥决策智能化研讨会观点综述》，《中国军事科学》2016年第2期。 智能武器的这种高度类人化的趋势，使其与包括自动武器在内的传统武器产生了显著差异。当然我们也需要看到，智能武器又仅仅是“类人”，不是真正的人类战士，在国际法上尚不具备战斗员的法律身份，仍然属于武器的范畴。
智能武器的行为选择具有“致命决策去人类化”[注] 黎辉辉：《自主武器系统是合法的武器吗？——以国际人道法为视角》，《研究生法学》2014年第6期。 的特点，这对传统的军事行动合法性的判断带来了根本性的挑战。智能化的关键在于机器模仿人的智力活动的技术的发展与运用，[注] 於兴中：《当法律遇上人工智能》，《法制日报》，2016年3月28日，第7版。 通过智能的模拟生成，使原本需要人的智能完成的一些工作由机器替代从事。智能武器虽然能模仿人类进行思考和决策，但行为选择在本质上还是智能化系统通过复杂精密的运算进行行动选择，其决策的核心是智能运算。这使得其行为受到算法和数据的双重制约，一旦数据出错或者算法遭到敌方攻击，智能武器甚至可能作出十分荒谬的决策。特别是在军事领域中，智能的应用具有智能环境的复杂性、博弈的强对抗性、响应的高实时性、信息的不完整性、规则的不确定性等特点，这使得其所面临的问题和挑战比民用领域要多得多。在实战中，美军的“利剑”地面机器人就曾经出现下列极端情况：三台“利剑”机器人在进攻一个据点时，由于软件缺陷，其中一台机器人竟把枪口瞄准了该机器人的操作者，操作者对其发出“行动取消”的指令，失控的机器人仍然停不下来，后来美军只能用火箭筒将其摧毁。[注] 张凤坡、易磊：《军事智能化是一把双刃剑》，《解放军报》，2016年5月19日，第7版。 此外，在智能武器作出行为选择的过程中，其运作过程以软件和代码为主，本质上看还是数据处理，这一过程本身无法真正产生内在的尊重生命的人道观念。虽然智能化可以大大提高军事打击的精度，避免战争中对平民和非军事目标的附带损害。但是，将这类武器投入战场，一定程度上是把人类的人道主义关切交由系统和软件来判断。在战场复杂多变的环境下，不但军事目标与民用目标难以区分，而且军事需要与附带损害的程度也是很难权衡的，加之智能武器具有犯错和被控制的可能性，很可能会带来人道主义危机。因此，把判断权和开火权交给机器人，必然对当前武装冲突规则和国际人道法带来了新的挑战。
二、“道德准则嵌入”的伦理解决方案
“道德准则嵌入”的伦理化改造，核心在于将一些伦理规则作为绝对律令，用代码的方式写入人工智能体的源程序中。但这只是一种符合规范伦理学的安排，离不开置于军事活动的开放性情境中进行实践伦理考量，也离不开国际法角度的合法性审视。从法律角度对伦理化智能武器进行评价，包括武器审查法和作战行为法两个方面。武器审查法主要是从武器本身是否合法的角度进行考量，而作战行为法主要是从作战手段与方法是否合法的角度进行考量。在经过了“道德准则嵌入”的伦理化改造之后，智能武器是否具有国际法上的正当性，首先需要从武器的合法性的角度进行判断。《日内瓦第一附加议定书》第36条规定：“在研究、发展、取得或采用新的武器，作战手段或方法时，缔约一方有义务断定，在某些或所有情况下，该新武器、作战手段或方法，是否在某些或所有情况下，为国际法所禁止”。审查武器是否合法，是每个缔约国的义务。这就需要缔约国从设计、技术性能、打击效果等角度对一种新武器进行合法性判断。
方位意义是“东西”的初始意义，随着时间的推移，整个语言系统的变化，“东西”也衍生出了其他的意义。“东西”可泛指各种具体的或者抽象的事物，也可指代人。我们常说“买东西”、“卖东西”，对于“东西”的“货物”这一意义的起源，或源于东汉时期，初时只表示货卖的物品。彼时洛阳为“东京”，长安为“西京”，到洛阳购货为“买东”，到长安购货为“买西”，在《木兰诗》中亦有“东市买骏马，西市买鞍鞯”，于是“东西”逐渐用来指代货物。再后来，其指代的范围扩大，不再局限于货卖的物品，而是用来指代各种具体的和抽闲的事物。不过，“东西”用来指代各种具体或抽象的事物的现象，宋时始见，直到明清时期才尤为广泛。
这种伦理化改造的关键在于，通过电脑的程序编码系统性地建立智能体与人道规则间的对应关系在技术层面上是否能够实现。也就是说，伦理化改造难以回避这样一个基本的前提：人类的伦理原则是否是可计算的？从传统意义上看，计算指的是运用事先规定的规则，将一组数值变换为另一组数值的过程。对某一类问题，如果能够找到一组确定的规则，按照这组规则，当给出这类问题中的任一具体问题后，就可以完全机械地在有限步内求出结果，则可以说这类问题是可计算的。早在18世纪，边沁在《道德与立法原理导论》中就讨论了如何估算快乐和痛苦的值的问题，他选择采用了对强度、持续时间、确定性、邻近或偏远、丰度、纯度、广度等关键要素进行赋值的方法。[注] [英]边沁著，时殷弘译：《道德与立法原理导论》，北京：商务印书馆2011年版，第87—88页。 如将这种赋值的方法引入智能武器的伦理设定，在技术上将表现为通过语义网络扩增道义逻辑，形成义务与许可概念。[注] 田海平：《让“算法”遵循“善法”》，《光明日报》，2017年9月4日，第15版。 这在本质上就是对伦理进行数的表达，通过代码转换使人类的伦理变成程序化和逻辑化的机器伦理。这种逻辑设定的方式存在一个致命的缺陷，只是简单地利用逻辑关系、因果关系来进行形式判断，难以在量化和计算中准确和不走样地表达与定义伦理范畴，也无法灵活应对瞬息万变的战场带来的不确定性，是一种僵硬的逻辑。这实际上就是“波兰尼悖论”对人工智能发展所带来的挑战，即“人类知道的永远比人类可言说的多”。[注] 蓝江：《人工智能与伦理挑战》，《社会科学战线》2018年第1期。 我们无法用海量数据来准确表达我们的善和德性。
对智能武器来说，其所面临的主要国际法障碍就是攻击行为的人道主义考量问题。国际法禁止不以特定的军事目标为对象的攻击，禁止无区别地打击军事目标和民用物体，也禁止在军事行动中造成超过必要限度的攻击和损害。一旦智能武器的决策与行为选择有可能与相应武装冲突规则不一致，则必然面临行动合法性的拷问。那么，在智能武器内部嵌入符合人道主义的相关道德准则，便成为一种可能的伦理尝试。通过代码编写的算法，将武装冲突规则数字化为逻辑指令，使人类所倡导的人道主义规范得以内嵌于智能武器中，使其像人类战斗员一样恪守武装冲突规范，从而具备自主伦理抉择能力。在美国军方的资助下，美国佐治亚理工学院的机器人专家阿金设计了一套名为“伦理管理”的算法，以确保智能武器能够按照国际武装冲突法执行任务。该算法采取了伦理控制的形式化方法，用以表述结构中基本的控制流程，然后将伦理内容有效地与控制流程相互作用。[注] 杜严勇：《现代军用机器人的伦理困境》，《伦理学研究》2014年第5期。 在无人机模拟打击的虚拟测试中，该算法能够决定何时将允许无人机完成它的使命。[注] 张章：《机器人身陷伦理困局——道德建设成人工智能最艰巨挑战》，《中国科学报》，2015年7月7日，第3版。 这就是一种“道德准则嵌入”的伦理化改造尝试，通过程序给出清晰的非战斗人员的定义，设定区别战斗人员和无辜人员的运算系统。阿金甚至认为，经过伦理化改造后，由机器人与人类战士所组成的混合型团队，在行动上要比单由人类士兵组成的团队更加有道德。[注] 苏令银：《当前国外机器人伦理研究综述》，《新疆师范大学学报》(哲学社会科学版)2019年第1期。
在这个问题上，不同的智能武器还不能一概而论。按照控制能力和意志能力的强弱，人工智能可以分为弱人工智能与强人工智能。[注] 刘宪权：《人工智能时代的“内忧”“外患”与刑事责任》，《东方法学》2018年第1期。 弱人工智能虽然可以在设计和编制的程序范围内进行独立判断并自主作出决策，但其不具有全面的控制能力和意志能力，本质上实现的是设计者或使用者的意志。比如，阿尔法狗依靠自主决策战胜李世石，其自主判断和决策是在设计和编制的程序范围内进行的，实现的是设计者和使用者的意志，即战胜对手。但是，强人工智能则不同，其具备了比较全面的控制能力和意志能力，不但可能在设计和编制的程序内自主决策，甚至可能在人类的设定之外实现其自我意志。[注] 陈聪：《军事智能化条件下的命令执行问题》，《中国军事科学》2018年第1期。 随着智能技术的不断发展完善和技术瓶颈突破，强人工智能产品并不遥远。[注] 刘宪权：《人工智能时代的“内忧”“外患”与刑事责任》，《东方法学》2018年第1期。 人类对于“杀人机器人”的警惕，更多是对强人工智能自我意志和自我觉醒的警惕。对于这类强人工智能的智能武器，即便在其内部嵌入道德准则，其规制和约束作用仍然是不可靠的，存在变成杀人机器的风险，很难通过武器合法性的审查。但是，经过伦理化改造，弱人工智能的智能武器如果具备了充分的价值判断能力，是可以合乎武器审查法的相关规则的。当然，这还有待于建立更具体的技术指标和判断标准。可以说，“道德准则嵌入”为智能武器成为合法的武器提供了有限可能。
三、武器审查法视域下的合法性评价
从根本上讲，智能武器是为武器安装上了“类脑”器官，改变了人与装备的传统结合方式，最终激发了作战能力和体系效能的质变。因此，智能武器区别于传统武器的最大变数就在于人工智能带来的自主能力，这既是智能武器在各方面能够表现良好的优势所在，同时也是带来不确定性的致命隐患所在。为了克服人工智能缺乏道德约束的伦理缺陷，向人工智能程序灌输一些道德规则成为一种选择。早在上个世纪中叶的一部科幻小说《转圈圈》中，作者阿西莫夫就产生了在机器人内部嵌入“机器伦理调节器”的假想，以这种方式让机器人服从人类赋予的道德律令。他提出了按优先顺序排列的机器人三定律：定律一，机器人不得伤害人类或坐视人类受到伤害；定律二，在与定律一不相冲突的情况下，机器人必须服从人类的命令；定律三，在不违背定律一与定律二的前提下，机器人有自我保护的义务。后来，为了克服第一定律的局限性，他还提出了优先级更高的定律：机器人不得危害人类整体或坐视人类整体受到危害。[注] 段伟文：《人工智能的道德代码与伦理嵌入》，《光明日报》，2017年9月4日，第15版。 阿西莫夫提出的构想，其实就是一种“道德准则嵌入”的伦理尝试，视图通过这种方式将人工智能体构造为人工伦理智能体。阿西莫夫的定律简单而凝练，但实际可操作性却很有限。在阿西莫夫的启发下，学界对“道德准则嵌入”进行了一些探索。比如，费大吉对阿西莫夫的机器人定律作了一些分解，提出了一种区分伦理类别的分类方案；莱布尼茨提出了建立一种普遍的道德微积分的设想；霍纳瓦主张用类似案例推理的机制来训练人工神经网络，建立道德上可接受的理论框架。[注] 苏令银：《当前国外机器人伦理研究综述》，《新疆师范大学学报》(哲学社会科学版)2019年第1期。 这些设想比阿西莫夫的定律复杂得多，但解决“人—机”关系的基本策略是一致的，即试图通过嵌入道德准则的方式控制机器的智能。
所设计的低压变频器集成监控系统安装于测试现场使用。经一段时间的测试，系统稳定可靠，计算节能节电水平较好。系统通过对变频器运行过程与参数状态的监控，实现了对低压变频器的集成监控，该系统具备监控不同品牌、不同型号、只需具备MODBUS或USS两种通讯协议中任意一种低压变频器的功能。在变频器集成监控系统使用过程中，减少了人工巡检的工作量，提高了系统性的自动化水平，对工业系统的自动化水平提高具有一定的促进意义。
但随着智能技术的进一步发展，特别是深度学习模型的应用，智能可以通过捕捉经验甚至更高明的方法来学习知识，在复杂系统中实现非常接近于人类的认知方式。这实际上超越了前述形式化的伦理设定方式，一定程度上有助于解决伦理表达的简单化问题。比如，早在1997年“深蓝”计算机战胜俄罗斯棋王卡斯帕罗夫的时候，“深蓝”的核心优势在于其内部植入了百年来国际象棋特级大师的开局和残局下法，它只要根据历史棋谱进行逻辑选择就行了，本质上是国际象棋特级大师的集体经验战胜了卡斯帕罗夫。[注] 蓝江：《人工智能与伦理挑战》，《社会科学战线》2018年第1期。 但是，在“阿尔法狗”战胜李世石的棋局中，其算法并不是事先由人编写植入系统的，而是智能通过不断自主学习和研究而形成的。“阿尔法狗”利用蒙特卡洛搜索树分析法[注] 《中国军事科学》编辑部：《 围棋人机大战与军事指挥决策智能化研讨会观点综述》，《中国军事科学》2016年第2期。 来验证决策的正确程度，能够通过捕捉“棋感直觉”的方法来下棋，还发现了人类没有的围棋着法。[注] 对于人脑来说，学习是一个在神经元之间形成并加强关联的过程。深度学习模型在软件中建立起数十亿节点和关联，模仿人的神经网络，使用案例“训练集”来强化刺激(正在下的棋)和反应(下一步棋)间的关联，而后再对系统进行新刺激，并观察其反应。 而战胜了“阿尔法狗”的“阿尔法元”更进一步，完全不从人类的经验中学习，而是仅仅依靠最初的几条围棋基本规则，通过自我对弈的方式自我训练，三天自我对弈500万盘，实现了围棋着法的创造创新。技术的力量呈指数级的速度迅速增长，人工智能道德抉择的可能性也随之增多。美国学者瓦拉赫与艾伦为道德准则的嵌入设计了三种模式：“自上而下的进路”，以算法形式的道德准则作为智能行为的指导；“自下而上的进路”，通过试错法让智能自我进化；“混合进路”，将伦理的预设与智能的学习进化结合起来。[注] 杜严勇：《人工智能安全问题及其解决进路》，《哲学动态》2016年第9期。 将深度学习模型与智能武器的伦理化改造结合起来，完全有可能在“道德准则嵌入”的精准度和灵活性上实现突破，使智能武器树立与人类战斗员相似的人道观念并付诸行动。
首先需要阐明的前提是，由于责任能力的欠缺，即便是经过了伦理化改造的智能武器，其在现行国际法框架下仍然不具备战斗员的法律身份。也就是说，智能武器仍然属于武器的范畴，属于武器审查法的规制范围。从武器审查法的角度看，国际社会禁止不分皂白的武器，也禁止引起过分伤害或不必要痛苦性质的武器。智能武器的要害在于自主决策，所以主要涉及禁止不分皂白的武器的问题。事实上，任何武器都有可能用来进行不分皂白的攻击，这是由武器的工具属性所决定的，但并不能说任何武器都属于不分皂白的武器。国际法禁止的是那些在性能上无法以特定军事目标为对象的武器，比如集束弹药等。[注] 朱路：《无人机攻击问题国际人道法研究》，《南京理工大学学报》(社会科学版)2013年第6期。 智能武器具有一定的自我控制与决策能力，依赖内置程序判断战场形势，选择打击目标。这种智能化特点一方面有助于提高打击的精度，同时客观上也确实存在不分皂白的风险。按照国际习惯法，不可控制和造成不可预测后果的武器是禁止的。如果一件武器的打击效果是无法控制的，显然是不可能符合武器审查法的。但是，当智能武器嵌入道德准则之后，蕴含着武器设计者限制其滥用武力的指令要求。这种指令要求对该武器的性能和操作产生根本性的影响，以使其在军事应用中能够区分目标和控制后果。因此，判断智能武器是否能够成为合法的武器，关键在于其是否能够在进攻时按照人类的要求区分目标和控制后果。
四、作战行为法视域下的合法性评价
因此，尽管智能武器可能具有学习能力，但在这些问题上的处理方式与人类战斗员还是有着巨大差异的。自然人不仅具有以合理性、可计算性、规则性、功利性、经验性为存在表现的“智性”，还具有表现为感情、情绪、感觉的“心性”，以及牵涉恐惧感、崇拜、生命倾向、神秘性、神圣性的“灵性”。[注] 於兴中：《算法社会与人的秉性》，《中国法律评论》2018年第2期。 这些特征使人类在新奇、混乱和不可预知的环境中能够表现良好。也正因为此，任何复杂的战场情况对于人类战斗员而言，在逻辑判断之外，是存在着开放性解决的可能的，这也是人类战斗员承担战争责任的伦理基础。但对于智能武器而言，它还是不具备人类的临机决断、急中生智和顿悟的涌现能力。在其算法之外，却难以找到这种开放性解决的可能。在进行了“道德准则嵌入”之后，能不能从康德式道德律令中推演出与人类高度类同的伦理规范和实践理性，用以应对军事活动中的各类具体情境，是智能武器能否在军事实践中经受作战行为法审查的关键所在。同时，现阶段智能武器尚不具备法律人格，也不存在承担责任的伦理基础，相关法律责任只能追溯至设计者或使用者。在复杂多变的军事对抗环境中，“道德准则嵌入”并不能从根本上保证智能武器的行为必然合法。
使用武器的行为是否合法与武器的使用方式及战场环境密切有关，具体要从区分原则和比例原则两个方面进行判断。[注] 何蓓：《性质与路径：论自主性武器系统的国际法规制》，《西安政治学院学报》2016年第4期。 这里的区分原则与比例原则，并不是对武器本身技术性能进行的静态的判断，而是从现实的军事实践中考察具体行为和后果，是一种综合判断。与传统战争中是否身着制服和公开携带武器这种外表判断不同，现代战争中的平民和战斗员的区别越来越模糊，且身份随时有可能发生转化。根据《国际人道法中直接参加敌对行动定义的解释性指南》，战斗员不仅要“直接参加敌对行动”，还要满足损害下限、直接因果关系和交战联系三个构成要素。[注] 何蓓：《性质与路径：论自主性武器系统的国际法规制》，《西安政治学院学报》2016年第4期。 特别是在高科技背景下，作战人员的机动能力大幅度提升，且作战人员常混杂于平民之中行动，高度机动与混杂的战场环境，进一步增加了作战目标的识别难度。[注] 刘轶丹、曾华锋、张煌：《信息化战争视阈下武器“慈化”愿景的实践困境》，《伦理学研究》2014年第3期。 对于这类信息不完全带来的复杂情况，智能武器按照嵌入的道德准则作出的伦理选择，仍然是不可靠的。按照目前人工智能的发展，其机器学习过程有时往往是不可解释和不可理解的，它的判断就像在一个黑箱中完成，缺乏透明性。这是因为深度学习并不遵循数据输入、特征提取、特征选择、逻辑推理、预测的过程，而是直接从事物原始特征出发，自动学习和生成高级的认知结果。在智能体输入的数据和其输出的答案之间，存在着我们无法洞悉的“隐层”。所以，区分平民和战斗员、民用物体和军事目标，实践中核心的制约瓶颈并不是智能武器的伦理观，而是它的决策判断能力。比例原则的遵守也是如此，战场形势瞬息万变，直接军事利益与附带损失的平衡关系将会随着战线形势的瞬间变化而有着各种可能。在判断直接军事利益与附带损失的平衡性问题时，不同的指挥官可能会得出不同的结论。智能武器可以按照一定的机理作出判断和选择，但能否取得预期效果却是不可知的。一旦行为失当，必然会引发国际法责任。
通过“道德准则嵌入”的伦理化改造，智能武器具备了成为合法武器的可能性。但是，一件武器是合法的，并不代表使用该武器的行为一定是合法的。在军事实践中，智能武器的具体行为还必须受到作战行为法的规制。
五、智能武器伦理化改造的几点思考
战争是一个充满偶然性的领域，是一个充满不确定性的领域。[注] [德]克劳塞维茨著，盛峰峻译：《战争论》，武汉：武汉大学出版社2013年版，第60页。 国际社会通过战争规则的塑造，试图为战争的后果及其残酷性的控制建立起一种确定性。但是，智能武器的进入使得传统战争规则建立确定性的努力面临新的挑战。对智能武器进行伦理化改造，关键在于通过“道德准则嵌入”来塑造武器在规范内的确定性。因此，针对智能武器伦理化改造存在的问题和不足，也需要在确定性的寻找上进行努力。
第一，将智能武器伦理化改造与国际武装冲突规则的进化结合起来。前已论述，“道德准则嵌入”的伦理化改造有助于帮助部分智能武器通过武器控制法的审查，但这并不是一个一劳永逸解决智能武器武力使用失范的终极方案。仅仅单向的“道德准则嵌入”其实并不能从根本上解决智能武器面临的法律困境，还需同时结合国际武装冲突规则的适应与融合。传统武装冲突规则是以人类主体对武器的操作为规制对象的，着眼的是行为与后果的因果关系，建立的是操作者主体的责任承担机制。这些传统规范很难与智能条件下的军事行为完全对接，因而必然会产生新的问题。对智能武器的伦理化改造，就是试图使新生的装备和战法尽量能够适应已有的法律规范。从确定性的寻找来看，智能时代呼唤与之相适应的法律和与之相匹配的法律认识论和法律方法论。[注] 於兴中：《算法社会与人的秉性》，《中国法律评论》2018年第2期。 只有通过算法、伦理、规范相互之间的适应融合，才能塑造相对稳定的法律关系与责任承担机制，在智能条件下继续维持秩序与变革、守护与创新、价值与事实之间的动态平衡。[注] 郑戈：《人工智能与法律的未来》，《探索与争鸣》2017年第10期。 因此，解决智能武器的法律困境，不仅应该包括在智能体中嵌入武装冲突规范，也应当在武装冲突规范中充分反映智能的运作机理和要素。只有将智能武器伦理化改造与国际武装冲突规则的进化两相结合起来，才有可能真正解决智能武器面临的法律困境。
第二，建立智能武器设备分级制度，根据差异化的破坏烈度与智能化程度设计其算法的伦理性。智能武器是否具有确定性的关键在于其算法。目前，智能领域主要的算法包括符号学派、联结学派、进化学派、贝叶斯学派与类推学派等五种主要类型。[注] [美]佩德罗·多明戈斯著，黄芳萍译：《终极算法机器学习和人工智能如何重塑世界》，北京：中信出版集团2017年版，第66页。 不同算法的运作原理是不一样的，其智能化的强弱程度也相应有所不同。人工智能的发展是一个过程，很多强人工智能目前尚处于概念阶段。而弱人工智能与强人工智能在自主性上的差别是非常大的，这必须进行区分。同时，从另外一个方面看，不同智能武器的破坏力和杀伤力也是有很大差异的。从施用武器的烈度看，包括非致命性武器、短程战术性武器、长程战术性武器、战略性兵器等不同类别。[注] 徐英瑾：《人工智能将使未来战争更具伦理关怀——对马斯克先生的回应》，《探索与争鸣》2017年第10期。 所以在理论上，按照排列组合原理，可以出现不同武器类型与不同类型人工智能相互组合的方式。这些不同的组合在面临法律审查时是完全不同的情况。比如，“弱人工智能+非致命性武器”的组合面临的伦理和法律挑战并不严峻，但“强人工智能+战略性兵器”的组合则严重到几乎不可能通过伦理化改造使之合法，是必须禁止的。[注] 杜严勇：《关于机器人应用的伦理问题》，《科学与社会》2015年第2期。 因此，应当根据不同智能武器的破坏力与智能化程度，对其进行武器设备分级，在此基础上进行个性化的“道德准则嵌入”，这才是更具针对性的技术方案。
“找我们陈主任呀？他才出去一会，有什么事情你可以跟我说呀！”年轻女孩说话声音不大，听起来软软的感觉很糯。
第三，智能武器的“道德准则嵌入”不能仅局限于伦理算法的设定，而须引入人类战士的伦理判断，坚持人的主导作用。目前，实践中的智能武器还没有实现完全自主，在开火之前往往需要控制人员的操作。但是，随着其自主程度的不断提高，人类逐渐弱化对智能控制的趋势是不变的。[注] 杜严勇：《现代军用机器人的伦理困境》，《伦理学研究》2014年第5期。 我们还是需要以人类战士的伦理判断弥补智能算法的不足，克服“致命决策去人类化”，以帮助智能武器取得人道主义上的正当性。人类主体性的生物学基础是“神经”，而人工智能的主体性是通过“算法”对人类主体性的一种模仿。[注] 田海平：《让“算法”遵循“善法”》，《光明日报》，2017年9月4日，第15版。 智能再发达再先进，终究是人类的创造物，其工具属性对其法律地位有决定性的影响。当我们把智能武器定位为一种工具时，就必然呼唤人类主体的道德责任的回归。嵌入了道德准则的智能武器，仍然还只是机器人。即便是在战争中，剥夺人的生命的选择权，也不能完全交给机器。人道观念归根到底还是人的观念，人才会面临人道观念的拷问，而再高级的机器智能不可能真正地具有人道观念。因此，人依然应当是整条作战链的“开关”，既应当拥有最终决定权，也应当拥有全程监督权。人和智能的交互可能存在三种模式：人在环内、人在环外、以上两者相结合。[注] 刘伟、赵路：《对人工智能若干伦理问题的思考》，《科学与社会》，2018年第1期。 在侦察、监视等低烈度领域，人的介入程度较低是可以的。但在可能造成较严重后果的领域，应当尽力避免人在环外的交互模式。对于智能武器使用致命武力的决策的最终执行，人类战士应当能够充分介入。这种介入既可以通过人类战士确认的方式，也可以通过系统的互联、互通、互操作能力实施共同决策。在人工智能和人机融合技术不断进步的过程中，人类战士还需要扮演监督者角色，密切观察智能作战系统自主开展行动，必要时进入作战链进行干预，[注] 陈航辉：《算法战：牵引美军人工智能军事化应用》，《解放军报》，2017年11月23日，第011版。 这也是一项法律义务。军事智能可靠性和可解释性的不足，应当依赖人类的理解力与控制力来加以弥补，才能避免军事技术的异化。
English Abstract
On the Ethical Response to the Legal Challenge of Intelligent Weapons :A Discussion on the Legality of the “Ethical Standards Embedding ”Program
CHEN Cong
Abstract: Since the US military proposed the Third Offset Strategy, smart technology has always been the military’s priority development direction. The rapid development of smart weapons has brought about a fundamental challenge to the judgment of the legitimacy of traditional military operations while promoting military changes. Embedding humanitarian-related ethical codes within smart weapons has become a possible ethical attempt. Through the algorithm written by codes, the internationally accepted rules of armed conflicts are digitized into logical instructions, so that the humanitarian norms advocated by human beings can be embedded in smart weapons, helping intelligent weapons be equipped with the ability of independent ethical choice and can be guarded like human soldiers to observe the norms of armed conflicts. From the perspective of the international law, the embedding of moral code provides a limited possibility for smart weapons to become legal weapons, but it cannot fundamentally ensure that the specific actions of smart weapons are necessarily legal. The “moral code embedding” of smart weapons cannot be limited to the setting of ethical algorithms, but must introduce the ethical judgments of human soldiers and adhere to the leading role of human beings.
Key Words: smart weapons; ethical standards embedding; ethical response; legal review
[中图分类号] D9
[文献标识码] A
[文章编号] 1000-5072(2019)05-0063-09
作者简介: 陈聪，陆军工程大学副教授，法学博士。
基金项目: 国家社会科学基金项目“临近空间性质地位的法律立场研究”(批准号：16CGJ021)。
责任编辑 李晶晶
责任校对 王治国