浅谈人工智能军事应用的国际法风险及对策
周璞芬 王一泓
内容提要： 人工智能在引发军事领域革命性变革的同时，也对现行国际法体系产生很大影响。其内在原因是人工智能武器的四大特性，即自主性、非理智性、不可靠性及不可预测性。人工智能军事应用的国际法风险主要来自以下五个方面，即人工智能武器作为作战手段、人工智能取代人类实施军事决策、人工智能本身的安全缺陷、人工智能遭受损害、人工智能或引发军备竞赛。防范由此而来的国际法风险，应当设立管理人工智能军事应用的国际组织，制定有关人工智能军事应用的国际规则，加强人工智能军事应用的国际学术交流。
关键词： 人工智能 军事应用 国际法
目前，世界各军事强国都致力于占据人工智能军事应用的制高点。人工智能在引发军事领域革命性变革的同时，也对现行国际法体系产生很大影响。充分认识人工智能军事应用的国际法风险，将人工智能军事应用纳入现有国际法体系加以防范，是国际社会面临的一个重大课题。
一、人工智能军事应用引发国际法风险的内在原因
目前，人工智能的军事应用已基本覆盖所有的军事领域，包括武器装备、后勤保障、作战指挥、军事训练等等。但是，人工智能的军事应用会引发人类社会普遍担忧，以致需要警惕其违反国际法的风险。究其根本原因，是因为人工智能本身所固有的几个特性。
（一）人工智能武器的自主性
自主性，即自己做主的特性。人工智能武器属于部分自主或完全自主的武器系统，具有“排除人类干预或控制而自行观察、判断、决策、行动”的特征。而人工智能武器特别是自主武器虽然由人研发和生产，但在进入使用阶段后，将摆脱人的操控而自主行事。也就是说，自主武器能够在无人直接干涉的条件下进行军事决策，决定什么时候发起攻击、攻击哪个目标。现行国际法的适用规则中，没有考虑武器装备的自主性问题。人工智能武器由于自主性的特点，而不能适用于现行国际法。比如，在不受人控制的情况下，人工智能武器可能会因自主作出决定，而造成滥杀无辜的后果。再比如，当人工智能武器的自主决定出现错误而违反国际法规则时，其责任如何判定？其违法责任由谁承担？是机器还是制造商？是技术开发者还是武器的使用者？
（二）人工智能武器的非理智性
理智，是人类特有的辨别是非、利害关系及控制自己行为的能力，是人类的本质属性之一。人工智能虽然可以对人的意识、思维的信息处理过程进行模拟，像人一样思考，甚至超过人的智能，但人工智能不是人的智能，更不能代替人的智能，因为其永远不可能拥有人的理智性。而国际法是对有关国际社会的行为规范，其对象是具有理智的人类。人类正是基于自身的理智性，制定国际法，以对被认为有违人类共同利益的行为加以限制，并通过自身辨别是非、利害关系及控制自己行为的能力，来遵守国际法。由于人工智能不具备人类独有的理智，不会自主辨别是非、利害关系及控制自己行为的能力，因此在军事领域，部分甚至完全用人工智能代替人类，必将带来巨大的违法风险。
（三）人工智能武器的不可靠性
可靠性，是指元件、产品、系统在一定条件下无故障执行指定功能的能力或可能性。人工智能应用于军事领域，主要是作为一种赋能系统而发挥功用的，其本质也是作为一种元件、一套系统而存在的。因此，人工智能也存在可靠性问题。在军事领域，人工智能武器的不可靠性，表现在可能会出现功能异化，即由人类赋予的原有智能发生变化。在战场上，这种智能异化可能导致目标识别错误、不恰当的攻击、军事决策失误等严重事故，并由此引发违反国际法的风险。
（四）人工智能武器的不可预测性
人工智能武器的不可预测性，来自于其自我学习功能。先进的人工智能可以利用神经网络，让系统基于大量数据实现自我学习和自我推理。由于这种深度学习系统的复杂性，程序人员和工程师往往无法准确预测人工智能武器系统通过学习能够获得何种能力，或者说，无法预见有学习能力的人工智能武器如何应对未来情况，甚至无法解释系统为什么作出该决定。因此，把这种具有自我学习能力的人工智能与致命性武器结合起来，势必带来巨大的系统失灵风险。届时，军事指挥官不再能够控制武器乃至整个军事行动。一旦出现这种情况，其后果可能包括大规模自相残杀、平民伤亡，或者出现冲突升级等。
二、人工智能军事应用可能引发的主要国际法风险
根据人工智能的特性，其在军事上的应用，包括以自主武器为作战手段、人工智能取代人类进行军事决策等。但人工智能的安全性缺陷、遭受攻击或破坏，以及有可能造成的军备竞赛，都将引发主要国际法风险。
属性特征代表了航空制造业领域知识的性质，是对航空制造业领域知识最基本的反应，具有类型和数据两种性质，类型是将构成航空制造业领域知识各数据系统统一地分配各个知识单元的规则，对于航空制造业领域知识的特征内容如表1。
（一）自主武器作为作战手段可能引发的国际法风险
自主武器是基于人工智能的作战平台、目标识别、危险监控与态势感知、数据处理和自主决策的综合运用，是人工智能武器的最高形式。现行战争法对武器系统、作战手段和作战方法有着严格规范，包括使用的原则、规则、规章制度等。自主武器系统作为一种作战手段，毫无疑问应该适用于战争法的有关规则。而其使用是否会造成违反国际法的后果，目前国际社会尚未形成权威性结论，更没有在其禁止或限制使用方面形成共识。但是，不少国家及国际组织已经开始从国际法角度对自主武器进行严格审视，并对其可能的违法情境提出许多质疑。当前，国际社会主流意见认为，鉴于自主武器能够在无人干预情况下实施搜索、识别并选定攻击目标，一旦出现对战斗员和平民的误判，将有违国际人道法原则。更为严重的是，如果赋予人工智能武器系统“自主开火权”，那么，人与武器的关系将发生质变，“机器代理人战争”将成为人类社会不可承受之重。
（二）人工智能取代人类进行军事决策可能引发的国际法风险
原因在于，对人工智能系统的攻击与破坏，除削弱对方的作战能力外，还有可能造成不同于传统人道灾难的严重后果。比如，当人工智能的算法遭到攻击时，数据库可能被篡改，网络联系可能被操纵。当数据库或算法被攻击时，运算和更新就会偏离预计的轨道，形成恶性算法，在应用时无法辨识敌我；当远程操控环节或人工智能决策程序被攻击时，己方的武器就可能变成敌人的武器。网络、人工智能和移动设施的融合，会让网络攻击从虚拟攻击升级为物理攻击。因此，人工智能系统遭遇攻击所造成的人道灾难，将严重冲击现有国际人道主义法规体系。
“战争是政治的继续。”人类历史上，任何战争，包括小规模武装冲突，敌对双方的决策者都必须从政治需要出发，综合考虑多种因素与规则，才能作出符合政治常理的军事决断。随着大数据和人工智能技术在军事领域的深度应用，其对军事决策过程将产生重大影响。如果军事决策完全或部分交由人工智能，很可能由于决策失误而引发重大的政治风险。
由于人工智能在军事领域的巨大潜在价值，促使世界各军事强国纷纷开发各种智能武器平台，人工智能领域的军备竞赛已初露端倪。
但是，面对世界军事强国在人工智能武器研发方面咄咄逼人的形势，目前的国际干预机制未免有些无能为力。2019年2月11日，美国总统特朗普签署行政命令启动“美国人工智能计划”后仅仅一天，美国国防部网站便公布了《2018年国防部人工智能战略摘要——利用人工智能促进安全与繁荣》的文件，对人工智能在军事领域应用进行战略规划与行动部署。文件分析了美国国防部在人工智能领域面临的战略形势，确定了应用人工智能的目标，阐明了增强人工智能能力的途径和措施。
（三）人工智能的安全性缺陷可能引发的国际法风险
人工智能武器的全面应用，还可能对武装冲突法的区分原则、比例原则等，构成重大挑战和威胁。这是因为，在智能武器的使用过程中，作为人工智能核心的算法和数据都有潜在的安全风险。从编程的角度看，任何代码都是由人编写的，任何人都无法确保程序绝对安全、可靠、可控、可信；从数据的角度看，人工智能武器的应用依赖于大数据，而军事数据的获取、加工、存储和使用等环节，都存在质量和安全风险，也就是说，任何一个环节的纰漏都可能影响算法的判断，进而影响武器的使用。
登录注册功能，当用户若已存在，那就直接输入用户名、密码和验证码后即可登录，登录成功，再次进入界面，会对用户名密码利用Android系统自带的SharedPreferences进行保存处理，只需输入验证码即可登录，若账户不存在，点击注册按钮进行注册，注册界面可以添加头像，头像添加有两种方式，一是：“选择本地照片”，二是：“拍照”。用户输入用户电子邮件，用户名，密码确认密码后进行注册，保存到数据库。
内部控制的目标有多种，包括保证企业经营管理合法合规，资产安全，财务报告及相关信息真实完整，提高经营效率和效果，促进企业实现发展战略，[3]但是其根本目标都是促进经济发展。例如，对于规模较小的中小型企业来说，设立审计委员会及要求所有不相容职务相分离会带来巨大的成本，而带来的收益也是有限的。所以应当结合企业的需求和实际情况，不能盲目规范。
由此可见，人工智能武器因算法和数据风险而不可避免地产生一定程度的不可预测性和不确定性。当数据和算法因各种原因发生错误时，人工智能武器极有可能不分青红皂白攻击平民和民用目标，以及造成其他不必要的附带毁伤，从而违背国际人道法体系的基本精神。
此外，即使算法和数据都是正确的，人工智能武器也存在天然缺陷：即无法理解人类社会的感情、情绪、习惯等，因而无法像人一样思考和行动。例如，如何判断负伤的战斗员是否丧失战斗力、如何解读不同环境下人的肢体语言等问题，都难以通过单一的运算法则来解决，这使得人工智能武器无法像人一样对特定情境作出合理判断。
（四）人工智能系统遭攻击和破坏时可能引发的国际法风险
在未来战争中，既然人工智能作为一种战术技术手段，其本身无疑会成为敌对双方相互攻击和破坏的重要目标，且置身于战场环境的人工智能系统在自我防护及抗打击方面，不仅不具备任何超过其他武器的能力，反而更加脆弱，极易发生故障。一旦人工智能系统遭到攻击，其所造成的损害及带来的法律风险，可能远远大于非人工智能目标。
目前，人工智能已经能够针对极为复杂的任务进行高效率的信息搜集和优化处理。人工智能系统应用于军事指挥的模拟及辅助决策等复杂任务领域，其强大的计算能力能够帮助人类在军事决策中选择最优方案。随着人工智能技术的不断发展，人类在军事指挥系统中将越来越依赖人工智能，甚至完全依赖其进行指挥和执行作战任务。
（五）人工智能领域的军备竞赛冲击现行国际军控规则
企业要想更好的控制和防范风险的发生，必须加大内部控制活动的执行力度。例如：企业应该明确岗位职责、建立不相容岗位分离制度和授权审批制度，对会计系统实施控制、对财产进行保护控制，结合企业实际情况构建完善的全面预算管理制度。
林泰安出人头地后，回村做的第一件事就是建宅子。那时有个规矩，不论谁家建宅子，屋檐都不能高过祠堂。林泰安偏不守这规矩，把宅子建在祠堂边，屋檐也比祠堂高出一大截。
目前，美国国防部已经利用人工智能增强网络防御能力。美国MAVEN项目组整合了大量人工智能系统，用于搜集和处理情报；同时，美国还在战斗层面，大量融合机器学习、人机战斗编组等人工智能要素。俄罗斯军事工业委员会计划，到2030年将战斗部队中远程操控和自动机器人平台的比例提高至百分之三十。① 转引自蓝山：《人工智能在中俄两国军事领域的应用发展概述》，知远战略与防务研究所，www.knowfar.org.cn。 其他面临人力短缺和安全挑战的国家，如日本、以色列等，也很可能步其后尘。
联合国曾经于2014年和2015年就人工智能武器召开两次非正式会议，并于2016年12月16日在关于《特定常规武器公约》的联合国会议上，成立致命性自主武器系统（LAWS）政府专家组（GGE），专门负责研究致命性自主武器领域的新兴技术，并评估其对国际和平与安全的影响，从而为国际治理提出建议。③ 参见鲁传颖：《人工智能安全：挑战与机遇》，载《重庆与世界》，2018（20），60页。
人工智能在军事领域应用或引发的军备竞赛，给本已十分脆弱的国际军控体系增加了新的不确定因素。对此，国际社会必须未雨绸缪，早作准备，通过制定新的军控规则，及时对人工智能武器的研制、生产和使用作出必要的禁止或限制性规范。
三、人工智能军事应用国际法风险的防范
对人工智能国际法风险的防范可谓任重道远。为了人类社会的共同利益，国际社会理应给以足够重视，尽早采取防范措施。
（一）建立一个国际组织，统一处理人工智能军事应用的国际法风险
虽然人工智能武器在安全性问题、伦理问题、责任追溯问题等都未得到解决，但美国智库普遍主张，为确保军事领先优势，美国在人工智能武器上不应自我设限，而应全力以赴、率先研发、率先应用。2016年12月，中国在联合国第五届特定常规武器大会上提交立场文件，呼吁将全自动武器纳入国际法的管制之下。② 参见白联磊：《人工智能治理须未雨绸缪》，载《瞭望新闻周刊》，2018（9），60～61 页。 但是，世界各国尚未就此达成共识。
2017年，北约科学和技术组织把“使用大数据和人工智能工具进行军事决策”作为其主要研究课题之一。如果人类把军事决策权完全交由人工智能系统，后果将不堪设想，其给国际法体系所造成的冲击，甚至超过直接实施攻击的自主武器带来的冲击。
因此，当务之急，应尽早建立一个关于人工智能的专业性国际组织，或作为联合国的一个下属机构，或作为一个多边机构，启动对人工智能军事应用的管理。其职能是为人工智能军事应用问题提供一个国际协商平台，以便就此展开充分讨论，并逐步积累共识，为人工智能军事应用的管控创造条件。
一个月零三天后，也就是6月10日，《沮水巫音》被列入国家级非遗保护名录，这对保康来说，是一件大好事，极大地提升了保康的文化内涵，打响了文化品牌。我第一时间打电话把这个好消息告诉给王述金，电话的那头传来的是老王悲喜交加的哭泣声。
从式(58)可以看出，在频率为Ω的简谐轮轨力作用下，旋转车轮的环向指数为m的振动是激励频率为ω=Ω+mΩy的强迫振动。如果该频率等于旋转车轮的特征频率ωm，即当轮轨力频率Ω等于ωm-mΩy时，轮轨接触点的动柔度可能有一个峰值，即旋转车轮发生共振。
香菇出菇季节不但需考虑市场，更需结合适宜的季节出产优质菇。王院村一级与二级菇出菇率达90%，一级菇占71%，且在5—6月鲜菇的市场价有所提高，认为5～6月非常适合作为辽抚4号的出菇季节。王院村采用袋内出菇的方式，存在袋内出菇、憋菇的现象，管理存在缺失，在一定程度上影响了鲜菇出产的总产量。在山区环境5～6月的日夜温差较大，空气湿度高容易促成菌丝成熟的香菇菌棒出菇。因此，在该地区采用脱袋出菇的方式可能更适合当地香菇生产，如果采用袋内转色的方式，养菌时间不能太长，避免温差刺激、光线、震动等催菇方式[4]，若不经过转色在袋内形成大量菇堆积，袋内菇易畸形、长势弱。
（二）着手制定国际规则，为人工智能军事应用提供国际法依据
当前，对于人工智能军事应用的前景及其影响，国际社会意见纷纭，莫衷一是。2015年，曾经有三千多名机器人和人工智能专家共同签发了一封信，呼吁禁止自主武器。① 参见远航：《人工智能革命将走向何方？》，航空工业网，http://www.cannews.com.cn/2016/1205/161323.shtml。 很多非政府组织，如国际人权观察组织、红十字会国际委员会等也认为，各国政府应当预先禁止全自主武器，以免使用时危及平民；并呼吁各国遵守《日内瓦公约》第一附加议定书第36条：在使用或发展该类武器（人工智能武器）时，预先对其后果和对国际人道法的影响作出判断。
但是，由于人工智能技术在军事应用中的潜在巨大价值，以及出于争夺军事技术制高点和保持绝对军事优势的需要，世界军事强国反而加快自主武器的研发力度，极力争夺和维护在该领域的优势地位。因此，针对人工智能武器，必须制定出权威性的国际规则。早日把人工智能武器的军备控制提上国际议事日程，是国际社会面临的一个紧迫课题。
（三）加强国际学术交流，为人工智能军事应用的国际法风险防范提供理论指导
人工智能在军事领域的应用尚处于初始阶段。对于其所发挥的功用以及能给现有国际法体系造成的冲击，都难以预料。
为了破解人工智能应用于军事领域的大量未知，规避可能造成的国际法风险，必须加强人工智能军事应用的国际学术交流。通过各种国际组织以及多边及双边的学术平台，对人工智能军事应用的相关问题，如应用领域、应用前景、应用规则、风险挑战、负面影响、法律风险、管控措施等，展开充分讨论，达成共识，为国际社会制定有关人工智能军事应用的国际条约提供理论指导。
我国作为一个负责任的大国和联合国常任理事国，应无条件地支持和参与上述学术交流活动，在争取人工智能军事应用话语权的同时，为最终解决人工智能军事应用的有关问题及防范其国际法风险，提供中国智慧与中国方案。
中图分类号： D99
文献标识码： A
文章编号： 1002-4484（2019）10-0022-05
作者： 周璞芬，军事科学院军事法制研究院，副研究员，专业技术大校；王一泓，军事科学院军事法制研究院，助理研究员，专业技术中校
（责任编辑：徐永汉）
标签：人工智能论文; 军事应用论文; 国际法论文; 军事科学院军事法制研究院论文;