反恐预测算法“双黑箱”之对策研究
——以美军反恐战争为例
党俊琦1，2
(1.西北政法大学 西安 710082；2.西安市公安局 西安 710002)
摘 要： [目的/意义] 智能反恐时代，反恐预测算法作为机器学习的应用算法，在预测恐怖活动组织和恐怖分子方面，效果显著。然而,应用中出现了“保密黑箱”叠加“技术黑箱”的“双黑箱”问题，对之研究具有重要的现实价值。[方法/过程] 以美军反恐战争为研究样本，实证分析了造成“双黑箱”的原因，如数据偏差、算法歧视、过度依赖、透明不足和问责不力等；规范分析了美国政府破解“双黑箱”的政策和法律探索。[结果/结论] 研究认为，确保可参与性、可诠释性和可问责性的透明化路径是解决反恐预测算法“双黑箱”的积极面向。
关键词： 反恐预测算法；机器学习 国际法；反恐战争；“双黑箱”
0引 言
世界各主要国家都在应用反恐预测算法，以提高预测恐怖活动组织和恐怖分子的决策能力。机器学习技术是人工智能的核心。实践中，反恐预测算法作为机器学习技术的应用算法,目的在于预测恐怖活动组织和恐怖分子何时、何地将制造恐怖事件，进而给予反恐机关决策建议，尽量规避恐怖事件的发生。事实证明，反恐预测算法往往能够比传统的人工分析研判，更加准确地预测基地组织、伊斯兰国等恐怖活动组织的下一步行动。事实上，为了解决具体的反恐战术问题，2015年美国陆军就已经着手研发了基于机器学习的“虚拟指挥预警算法”[1]。批评人士认为，基于机器学习的反恐预测算法会造成“保密黑箱”叠加“技术黑箱”的“双黑箱”问题，反恐机构应该公开算法的法律基础、用途、目标、好处以及缺点。本文的“黑箱”是指不能为人所知，既不能打开，又不能从外部直接观察内部状态的系统；“保密黑箱”是指因为事关国家安全，所以系统内部不被人民所了解的状态；“技术黑箱”也叫“算法黑箱”，是指因为机器学习技术的复杂性，所以普通人无法理解系统内部如何处理数据并输出结果的过程。“双黑箱”问题不但给人民留下了反恐行动缺乏透明度、难以捉摸的刻板印象，而且也有违现代社会法治精神。
万：2007年，我在广西南宁操办了第11届中国科学史国际会议.会前，您曾来我校考察筹办情况，并在品茗聊天的场景中为我们的老师和研究生讲了许多医学史研究方面的心得.我觉得很有个性，也很有意思，下面我们就谈谈您的医学史研究吧.
然而直到2017年，国内外学术界才开始关注人工智能的“黑箱”问题，并且几乎全都集中在研究“技术黑箱”造成的风险以及如何规避“技术黑箱”。在这一方向，国外学术界做出了大量研究。从计算机社会学的角度，汉娜·瓦拉赫(Hanna Wallach)认为人工智能采集的是人的数据，只要人类社会存在偏见，算法歧视就不会消失[2]；泽奈普·图费克奇(Zeynep Tufekci)提出规避“技术黑箱”的前提是设计者要意识到设计者本身是带有偏见的个体[3]；托马斯·汉森(Thomas Hansen)提出，规避“算法黑箱”是全社会的责任，在这一过程中，公众必须参与其中[4]。国内学术界也对我国的“技术黑箱”研究做出了自己的贡献。从传媒学角度，仇筠茜、陈昌凤提出技术本身将人工智能的技术壁垒推向了技术黑箱,并认为黑箱问题的研究应该上升到技术哲学的层面来把握，采取“算法集”的思路来追求普遍意义上可操作性、可理解性和可监督性[5]；赵双阁分析了算法本身存在的“技术黑箱”问题，提出将人类价值观嵌入人工智能是化解“技术黑箱”的选择标的[6]。从法学角度，张富利提出只有确保人工智能遵循法律规制并向社会公开才能规避“算法黑箱”[7]；马忠法、彭亚媛讨论了“技术黑箱”带来的不可预测风险，提出用“无过错责任”来应对上述问题带来的问责风险[8]。从国际关系学角度，封帅、周亦奇认为各国正走向人工智能竞争的新时代，在这一过程中，“技术黑箱”将成为新模式的“阿喀琉斯之踵”[9]。虽然从2014年以后国内学术刊物就零星散见人工智能应用于反恐领域的文章，但学术界真正关注到人工智能反恐是2018年以后的事情。从情报学角度，都伊林、吴骁提出应用人工智能，构建“情报、预警、预案”三位一体的城市反恐预警机制[10]。李超、周瑛、魏星认为人工智能技术能够分析恐怖活动组织的运动规律进而预判恐怖事件的发生[11]。从国际关系学角度，傅瑜、陈定定描述了人工智能在反恐情报、预警等方面的主要应用，认为人工智能技术已经成为国家反恐战略的重要组成部分[12]。
学术界近年来的研究成果颇为丰硕，人工智能在反恐领域的应用研究和人工智能的“黑箱”问题分别都已成为新的学术热点。但是目前学术界并没有涉及人工智能应用于反恐领域后，出现的“黑箱”问题；并且忽视了反恐及国家安全领域“保密黑箱”的问题研究。然而人工智能在反恐领域“保密黑箱”叠加“技术黑箱”的“双黑箱”问题恰好是一个十分具有学术价值和实证价值的课题。基于国内外的理论成果，本文以美军反恐战争为研究样本，实证分析造成反恐预测算法“双黑箱”问题的背后原因，规范分析美国政府为破解“双黑箱”而进行的政治、伦理和法律探索，并就该问题提出自己的学术见解。
辽宁抚顺：表面存在黑色碳质物，带黄色色调的白色、不同深浅的橙黄色、黄色及深黄色到深褐色。还有白、黄、褐色条纹相间花琥珀及黑琥珀[5]。抚顺琥珀产自煤层中，颗粒大小不均，颗粒从10cm-3mm都有，常为l -2cm，呈不规则状、滴状、扁平状、球粒状等[6]。
1“一体两翼”算法分析
反恐预测算法，包括了战术预测算法和目标锁定算法两个应用子算法，是将一组数值输入算法模型并输出另一组数值的计算过程。机器学习技术虽然涉及了概率学、统计学、社会学等跨学科领域，但依然是一种计算机算法。因为反恐预测算法的本质是一种机器学习算法，所以该算法依赖机器学习的工作理念，即通过模拟人类的学习行为，不断获取新的知识和技能，重新组织自身知识结构并完善自身性能，进而不断提高自身预测水平。目前全球机器学习技术和军事领域共同关注无人控制情况下，火控系统识别、追踪和打击等程序的研发和完善。然而，机器学习技术对军事行动和非军事行动的影响远不止如此。事实上，9·11事件后不久，美军就发现了反恐预测算法在情报反恐分析研判方面具有重要价值。然而，设计出一款预测恐怖活动组织下一步行动的预测算法，仍面临严峻挑战。问题的难点在于专门的应用算法，既要满足法律审查，又要满足实践需要。因为反恐目标的确认以及打击方式要同时受到国内法和国际法的规制，所以必须将这些国内法和国际法都转化为计算机编码，以便反恐预测算法能够在较短时间内对允许运用的武力阀值给出合理化建议。
1.1算法的法律要求 国际法在军事行动中作用显著，例如根据区分原则，交战国必须对平民、平民财物以及军事目标进行区分，并且只能对军事目标进行攻击。根据比例原则，交战国不得发动意图直接导致平民死亡、受伤和财物损失，或与直接的军事意图相比导致平民过度死亡、受伤和财物损失的军事行动。根据预防原则，军事指挥官必须注重保护平民的生命和财产，采取切实可行的预防措施来避免任何情况下平民的意外死亡、受伤以及财产损失。因为这三项基本原则是国际武装冲突法的核心，所以各国军队运用反恐预测算法时都必须遵守[13]。
在反恐战争中，我们必须要解决由以上三个原则引发的两个法律问题。第一个是如何评价军事指挥官的作战命令。一般情况下，我们将会考察“一名理性的军事指挥官”会如何下达作战命令。第二个是战争罪的法律责任问题。通常，如果明知战争罪的犯罪构成要件而故意犯罪的，就必须承担战争罪的法律责任[14]。基于上述规定，军方不但要能够准确预判敌军方位，还要能够准确预判平民和平民目标的位置。也只有这样，才能确保军事行动不违犯国际武装冲突法。因此，各国军队都始终对能够体现并符合国际法要求的反恐预测算法抱有极大热情，事实上反恐预测算法还能促进各国军队遵守国际法。
2.5过度依赖 研究数据表明，“过度依赖”现象客观存在，人们容易成为机器算法的仆从。一方面当反恐预测算法没有给出辅助决策时，反恐机构无法主动采取行动；另一方当反恐预测算法给出辅助策略时，反恐机构不加区别的过分地信赖。例如，美国法官就非常容易认为定量式的机器学习技术优于传统的文字推理分析，并将量刑的权力交给预测再次犯罪概率的COMPAS风险预测算法。同时，人们还担心随着人工智能的发展，司法系统的“过度依赖”现象将会使法官的判决丧失灵活性。超负荷的工作、复杂的任务以及有限的时间，这些因素共同导致了反恐机构工作人员认知功能的降低，进而造成了人们过度依赖反恐预测算法。因为反恐战争通常比刑事司法更为复杂而艰巨，所以美军反恐战争中，基层军官更容易陷入对机器学习技术过度依赖陷阱。本文认为，反恐机构容易过度依赖反恐预测算法做出的预测结果和决策建议。
1.3锁定目标算法 锁定目标算法的目的是帮助反恐机构从正常人群中寻找到异常行为的恐怖分子，以及从恐怖活动组织中寻找到异常行为的关键人物。实践中，锁定目标算法往往和战术预测算法协同作战。一方面，基于“负面社交网络”会鼓励罪恶的社会学理论，帕兰提尔公司(Palantir)为美国警方开发了此类应用算法。借助美国海量的历史犯罪记录，分析这些记录的时间、地点、人员以及其他相关的因素，通过机器学习进行相关性建模，分析关联网中个人犯罪的可能性，并赋予危险性分数，同时分配红色、黄色以及绿色的危险性级别。前纽约大学计算机科学家克里斯·布雷格勒教授(Chris Bregler)，目前服务于Google和美国国防部的联合项目。该项目运用监控摄像设备从个人行为、动作还有社交网络来监测可疑活动。不但如此，布雷格勒教授研发的应用算法还可以用于判断个人是否携带并藏匿武器[17]。另一方面，十多年前约翰·阿奎拉教授(John Arquilla)就提出了锁定目标算法的雏形，这是一种机器学习技术，通过分析恐怖活动组织的通讯数据，模拟恐怖活动组织内部的组织构架，研判出恐怖活动组织的正常活动规律，寻找到异常行为的波动轨迹，从而寻找到恐怖活动组织的关键人物。有证据表明，在美军的反恐战争中，美国中央情报局和国土安全部的情报部门为了抓捕和杀死恐怖分子，基于能够收集到的情报信息，运用锁定目标算法分析嫌疑人员过去活动以及与其关系密切人员活动信息，进而确认对包括美军在内的其他人具有特殊袭击风险的人员。公开信息显示，美国高级情报研究项目(IARPA)正在为应对紧急事件不断推进锁定目标算法的技术研发工作[18]。美国甚至要求例如Facebook这样的私营公司给互联网用户进行“极端主义赋分”[19]。这些互联网公司一方面可以直接分析用户浏览的图片和文字，另一方面可以借助此类Facebook识别用户自杀和强奸的预警算法来完成政府布置的检测工作。
总之，本研究提示慢阻肺错失早期诊断仍然相当严重，慢阻肺错失早期诊断时间与疾病严重度相关，但是否会对慢阻肺长期预后产生影响尚不清楚。加强慢阻肺早期识别，特别是对无症状患者及高危人群进行慢阻肺筛查显得非常重要和必要。
2算法应用现存表层问题分析
2.4问责不力 监督反恐预测算法是否被合理的应用，以及确定该算法相关错误的责任主体是一件长期且艰巨的任务。据人权观察组织(Human Rights Watch)，目前尚不清楚谁应该为机器学习技术做出的反恐决策负责。一些学者认为，应该让某个自然人或法人对该算法的开发、运用等环节分别负责或整体负责。虽然在反恐实践中几乎不会实行问责制度，但是某个算法一旦发生错误，我们至少需要弄清楚错误的来源，以便提高该算法的可靠性。同时，人们还担忧受到反恐预测算法影响的个人是否有能力在特定情况下质疑某个具体算法的合法性和合理性。尤其是在个人有理由认为某个具体算法存在缺陷，但是反恐机构却依然按照该算法建议行事的情况下。例如，在美国反恐战争中，因为缺乏国际法规定，所以受到美军反恐预测算法影响的个人无法质疑美军所做出决定的正当性。如果某人被帕兰提尔公司的反恐预测算法错误认定为红色、黄色、绿色等危险级别，那么他们和他们的近亲属，将无法寻求到任何法律保护。目前美国法院没有对反恐机构实行监督的机会。因此，反恐预测算法出现问题后造成的现实成本非常低。本文认为，反恐预测算法的反恐以及国家安全性质是造成一般监管部门无法对其监督的实质原因；反恐预测算法的技术复杂性质是造成一般监管部门无法对其监督的程序原因。
疗效评定：患者治疗后，临床症状完全消失，且经胃镜检查可见溃疡面完全愈合，被认定为治愈；患者经治疗后，临床症状发生明显改善，经胃镜检查可见溃疡面积相比治疗前缩小≥50%，被认定为好转；患者治疗后，临床症状未发生明显改善或病情加重，经胃镜检查可见溃疡面未缩小或增大。
2.1数据偏差 反恐预测算法对情报数据十分依赖，高质量的数据是确保反恐预测算法结论准确的基础。然而，收集情报数据的基础工作往往不够认真，而程序员却要基于这些数据开发反恐预测算法。例如在打击伊斯兰国的战争中，美军拆除简易爆炸装置小组(IEDs)试图运用机器学习技术来预测简易爆炸造成的恐怖袭击，但是搜集相关数据的美军官兵对此并没有给予充分重视。这就造成IEDs掌握简易爆炸装置已经爆炸的信息反而多过潜在简易爆炸装置的信息。客观上，我们永远无法收集到全部的情报数据，也无法了解全部的真实情况，只能掌握经过选择的信息片段。在智能反恐时代，这就带来了一个问题，即如果情报数据存在错误或缺失，那么就会导致反恐预测结论的不准确[20]。值得一提的是，即使原始情报数据十分可靠，但如果把为解决一个专门问题而开发的预测算法生硬地移植用于解决其他问题时，也容易产生令人遗憾的结果。例如，美军开发的反弹道导弹系统(Anti-ballistic Missile，简称ABM)。因为美军认为高空大气层的所有目标都是具有敌意的，所以ABM被设计用来击落高空大气层的所有目标。后来美军将ABM移植用于在对付低空大气的目标。尽管低空大气层的目标并不都是具有敌意的，但是ABM还是击落了两架友军飞机[21]。总之，反恐预测算法目前仍然缺乏可靠性。本文认为，反恐机构应该尽量收集恐怖活动组织、恐怖分子的情报信息，然后创建一个样本库较小但经常更新的数据库，这样就尽可能保证了反恐预测算法结果的可靠性。
2.2算法歧视 批评人士认为，反恐预测算法很容易在不经意间落入人为歧视的陷阱。因为开发该程序的程序员或者向程序员提供原始数据的采集人员会在无意中选择了包含性别、种族以及收入等歧视性信息的数据，所以该算法在输出结果时便不可避免地将歧视性数据进行了复制。例如，战术预测算法、目标锁定算法都是将恐怖分子过去的犯罪历史作为了预测的决定因素。如果在一个特定的社区，美国警察逮捕非洲裔美国人的比例显著高于其他种族群体，那么该算法就将预测非洲裔美国人更有可能犯罪，也更有可能成为犯罪集团的关键人物。这种情况就是美国警察的歧视造成了数据建模的偏差。虽然算法歧视存在于社会生活的各个方面，但是人民依然难易接受由于算法歧视造成的错误预测结果。同样，算法歧视在反恐预测算法中也是难以避免的。对种族、宗教、文化的歧视必然导致歧视性数据进入数据库[22]。例如程序员在开发评估阿富汗和也门男性实施恐怖活动的预测算法时逐步意识到，因为阿富汗、也门成年男子携带武器非常普遍，所以拥有私人武器并不是提高该人恐怖威胁的主要因素。只有开发反恐预测算法的程序员敏感地意识到同一个行为在美国和目标对象的原籍国以及战斗地区的含义完全不同，他们才可能在数据建模过程中排除算法歧视。本文认为，任何的算法歧视都将不利于反恐机构遵守国际法以及制定科学、理性的反恐政策。
反恐预测算法应用中出现了“保密黑箱”叠加“技术黑箱”的“双黑箱”问题。例如，美国的刑事司法程序通常是公开的，并且受到高度发达的国内法和判例法管辖，但美军在反恐战争却越来越多地应用了反恐预测算法和机器学习技术，这就造成了反恐工作远离了法律和人民的监督。因为美军将国家安全的“保密黑箱”置于机器学习的“技术黑箱”当中的作法，破坏了理性价值判断和法律问责机制，所以美国政治、商业各界都在抵制美军应用反恐预测算法的方式。后9·11时代反恐工作的一个关键教训就是，虽然美军在反恐战争中运用了比如秘密拘禁、强化审讯、智能预测等复杂的机器学习技术和高度保密的手段，但结果却造成近年来全球人民对美军反恐战争的质疑。
本文以美军为例概括了反恐预测算法在反恐实践中的应用。实际上，该算法在提高反恐机构决策的效率、效果方面卓有成效。但如同人工智能饱受争议一样，反恐预测算法也面临质疑。虽然目前反恐预测算法还处在弱人工智能(Artificial Narrow Intelligence)阶段，只能解决特定的具体任务，并不具备抽象思维和自由意志，反恐机构也仅运用预测算法辅助决策，最终决策对恐怖活动组织和恐怖分子展开行动的控制权仍然牢牢掌握在人类手中，但是人民依然认为反恐预测算法应该受到更大范围的监督。本文要实现的目标是，反恐机构运用反恐预测算法提高整体决策准确度的同时，能够得到人民的理解和支持。
1.2战术预测算法 战术预测算法移植于刑事司法部门，反恐机构应用战术预测算法是为了解决何时、何地恐怖袭击事件最有可能发生，进而有针对性地进行决策。世界各主要国家的刑事司法部门都已经应用了此类算法帮助警察预测特定时间、位置的特种犯罪发生概率。例如，美国艾在维(Azavea)公司开发的HunchLab算法，主要调查的是罪犯过去犯罪历史，同时也会挖掘罪犯长期逗留地的人口密度、社会经济情况，以及酒吧、学校、交通枢纽和罪犯常住地的位置关系，还有犯罪时间、天气、季节等其他几十个因素来共同预测各种侵财类案件的高发时间和地点，最终给出警力部署的建议；同时，HunchLab算法还会根据警察轮班和重大活动，而不断更新数据并且自我完善。以上正是反恐战争中美军所做的事情，即研究预测指标，预测恐怖活动组织的下一步行动。历史上，美军往往会研究包括苏联在内的假想敌军事理论，进而预测出敌方的运动轨迹、运动时间和运动方式[15]。无论何时，想办法了解敌方都是各国情报人员的主要任务。但当基地组织、伊斯兰国等恐怖活动组织缺乏正式的军事理论时，美军以往预测敌人的传统方法就会失效。因此，战术预测算法是一种替代传统军事情报研判的、富有吸引力的方式。基于海量的数据统计，战术预测算法将预测恐怖活动组织下一步的行动方向成为可能。该算法还可以基于模式识别和异常识别技术，预测恐怖袭击事件发生的概率。也就是说，该算法可以通过海量的数据分析学习到什么是正常的行为模式，然后区分出异常行为。该算法可以帮助美军分析某特定恐怖活动组织Twitter账号的使用频率情况，并根据该Twitter账号使用频率的激增情况来预测即将发生恐怖袭击的可能性[16]。总的来说，战术预测算法能够比人类更好、更快地处理和分析海量的涉恐情报数据。反恐机构不但要预测恐怖活动组织下一步的行动，还要能够套出恐怖活动组织的战术理论，进而采取相应的行动。在智能反恐时代，机器学习技术让反恐机构能够弄清楚，恐怖活动组织会如何回应和改变自身战术理论。
去甲斑蝥素（Noncantharidin,NCTD）是由我国首先合成的具有多重抗肿瘤活性的新型抗肿瘤药物。Chen等［9］研究显示NCTD可降低肿瘤细胞VEGF表达、具有抗肿瘤血管生成的作用；同时，NCTD也可显著降低肿瘤细胞MMP-2和MMP-9的表达水平［9，10］，而 MMP-2 和 MMP-9 是参与 GCTB 局部骨吸收和骨溶解的重要因子。NCTD对MMP-9的抑制作用是通过对NF-kappa B信号通路的调控所完成的［11］，提示NCTD干预GCTB肿瘤细胞的可能性。
3.2政策透明 奥巴马政府曾就美军反恐战争阐明了美国政策。这些政策中最引人注目的是，美国公开了美军如何在也门、巴基斯坦等当时非恐怖主义活跃地区，打击基地组织成员的政策，即“定点清除”计划[39]。这些政策文件说明了美国在反恐战争中遵守着比国际法要求更高的标准。例如，美国“定点清除”计划要求“板上钉钉地确认”锁定恐怖主义目标，“板上钉钉地确认”非战斗人员不会受伤或死亡。奥巴马政府制定严格的反恐标准，一方面是因为无论何时，有针对性的杀人政策都是极具争议的；另一方面是因为希望让国际社会认为美军剥夺他人生命是非常慎重的。奥巴马政府还发布了一项行政命令，要求国家情报总监公开2009年1月20日至2015年12月31日期间，“定点清除”计划造成的平民伤亡数据。2012年，美国国防部公开了反恐战争中自动和半自动火控系统的设计政策。这些设计政策的目的是“降低反恐战争中自动和半自动火控系统意外开火的概率。”[40]同时，还要求自主和半自主火控系统的设计“应确保最终的决定权在人类而不是计算机手中。”美国的反恐政策暗示，美军的反恐预测算法遵循了人机互助的机器学习和人工智能成长模式[41]。美国反恐人机互动的机器学习模式实质就是给人工智能发展主动套上枷锁。本文认为，破解反恐预测算法“双黑箱”问题的方法不应该是采取回避“双黑箱”的鸵鸟政策，而是应该坚持发展可解释的人工智能(XAI)政策并且改进机器学习技术，让人类能够理解、信任并且有效管理人工智能。各国反恐机构都应该以美国反恐战争为鉴，在对具体、详细的反恐数据和反恐战术进行保密时，主动公开反恐工作的政策、法律以及反恐预测算法的原则和机理。
3算法应用现存深层问题分析
2.3透明不足 应用预测算法的官员往往声称难以准确理解机器学习技术内部复杂的运行过程。例如，管理美国“禁飞名单”算法的操作人员就自称无法理解该算法的运算过程和内部逻辑[23]。本文认为，机器学习以下方面的不透明造成了这样的情况：一是无法从外部直接观察应用算法的内部情况；二是无法获取应用算法的原始建模模型；三是无法理解应用算法编程的技术原理；四是由于机器学习技术的高度复杂性，无法理解如何进行数据加权处理并输出结果的过程。此外，研发此类算法时面临的最大挑战是如何将所有需要遵守的法律都转换为计算机编码。虽然最终程序员研发出了符合法律要求的计算机编码，但是除了研发创始人之外，一般人难以理解研发人员在转换过程中对法律做出的解释说明和价值判断[24]。反恐预测算法透明不足在实践中造成了一些问题。例如，应用预测算法的反恐机构通常都希望能够理解该算法工作的过程和原理。据美国国防科学委员会(Defense Science Board)，如果无法理解某具体算法的决策过程，也不能提供可解释的人工智能(XAI)，那么美军就不会真正信任该算法。因此，该算法也就会在和其他此类算法的竞争中遭到淘汰[25]。同时，这还会导致该算法实际应用和理论研究的限制。当美军官员无法理解某个算法做出预测的决策过程和背后逻辑时，他们将感到不安。为了解决这个问题，美军强调了一个原则，即如果美军无法理解某个算法本身，那么他们将会忽视该算法给出的预测建议。
3.1法律透明 因为早前美国缺乏非国家组织武装冲突的法律理论，所以美国对基地组织以及其他恐怖活动组织的反恐行为存在不确定性。2006年，时任美国国务院法律顾问的约翰·贝林格(John Bellinger)在向欧洲听众发表演讲时，阐述了“美国与欧洲政府官员就反恐法律和政策而进行的谈话内容，重点介绍了针对基地组织和塔利班成员进行拘禁和审讯的法律。”[36]数年后，曾在美国情报委员任职并支持“定点清除”计划的议员们认为，奥巴马政府应该提高反恐政策及法律框架的透明度。时任参议院情报特别委员会主席的戴安·范士丹(Dianne Feinstein)要求奥巴马政府“公开对反恐部门的法律分析。”范士丹认为，“解释反恐行动的总体法律框架，对提高透明度并以此获得人民的支持非常重要。”[37]第二届布什政府和奥巴马政府最终都对提高打击基地组织法律框架透明度的要求做出了回应。一方面, 奥巴马政府的高级反恐官员以及美国国家安全高级官员,包括国土安全部、国防部和中央情报局的高级法律官员通过发表一致的公开演讲，明确了美国对基地组织使用武力的法律边界。另一方面，奥巴马政府在任期结束时发表了一份66页的报告，内容是美国运用军事力量和其他国家安全力量展开反恐的法律和政策框架[38]。该报告阐述了相关国际和国内法律，并说明了该法律如何在巴勒斯坦、叙利亚、利比亚、伊拉克、阿富汗、也门等6个恐怖主义活跃地区适用的问题。同时，美国还明确了反恐领域的法律边界。这主要包括解密奥巴马在其第一个任期内撤销的部分备忘录内容。这些备忘录允许强化特殊审讯技术，允许总统享有将基地组织成员移交给外国政府的权力。当时奥巴马发布了一项行政命令，撤销了向中央情报局发出“对涉恐分子进行特殊审讯”的行政指令。本文认为，虽然美国政府努力公开了该国反恐的法律框架、明确了反恐的法律边界，但是没有详细阐述人工智能以及机器学习反恐的权利和责任问题，而这恰好是破解反恐预测算法“双黑箱”问题的法律基础。
反恐预测算法“双黑箱”问题是客观存在的。以美军反恐战争为例，2001-2006年，美军对基地组织和塔利班展开了一系列高度机密的情报活动[28]。当时美国认为自身面对前所未有的威胁，只有大范围应用包括反恐预测算法在内的新颖技术才能避免美国再次遭受恐怖袭击。因为这些新颖技术不仅事关美国国家安全，而且本身事关美国科技安全，所以美国对这些新颖技术进行了高度保密处理。后9·11时代，美国在抓捕、审问和锁定基地组织成员上大量运用包括反恐预测算法在内的新颖技术。第一，美国利用特殊引渡条约秘密将涉恐分子从一个国家转移到另一个国家。第二，美国中央情报局在海外设立若干“秘密基地”，在这里拘禁和审问恐怖活动组织的关键人物，并拒绝接受红十字会的访问[29]。第三，运用军方和情报机构的机器学习技术锁定恐怖活动组织的关键人物。第四，美军运用“定点清除”的手段，对也门和巴基斯坦等当时非恐怖主义活跃地区的基地组织成员进行打击[30]。第五，美国把数百人转移到关塔纳摩湾海军基地的一个拘禁中心，进而导致这些被拘禁者无法提出人身保护权的申诉。这就造成了反恐预测算法的“技术黑箱”。上述做法最终还是以各种途径曝光于众。这一部分是通过美国官员泄露出来的[31]，另一些是记者和外国民众曝光出来的。比如“飞机观察人员”记录下了小型飞机的飞行模式，并从中发现了美国中情局疑似的秘密引渡路线[32]。虽然美国拥有健全的刑事司法体系，立法、执法、司法三权分立、相互监督，但是一旦进入到包括反恐在内的国家安全领域，反恐机构就会拥有绝对的话语权。例如，美军在反恐战争中的反恐行动和情报活动都是高度保密的。虽然美国国会拥有明确的监督权，并且制订了要求反恐机构提供具体情况的法案，但是反恐机构依然能够以反恐信息涉及国家安全为由拒绝接受国会和人民的监督。这就造成了反恐预测算法的“保密黑箱”。同样，美国法院对反恐机构的监督也非常有限。即使获释后的前涉恐分子以及家属向法院提起上诉，法院会因为一方面缺乏理解和审查反恐预测算法的技术能力，另一方面碍于反恐机构拥有的国家安全特权、不受审查特权而阻止实际诉讼行为的发生。事实上，美国反恐机构面临的主要压力来自于内部泄密和国际舆论。学者们认为反恐情报活动很难受到国会和法院的监督[33]。总体而言，目前反恐预测算法仍处在“保密黑箱”叠加“技术黑箱”的“双黑箱”当中。因为内部泄密和国际舆论给美国反恐机构带来的强大压力，美国布什政府和奥巴马政府逐步公开了美国反恐战略的政策、法律以及反恐预测算法的基本原则[34]。美国政府说明了反恐预测算法的目的是提高反恐机构决策的可靠性、减少决策偏差。本文认为，反恐预测算法必须遵守法律，可参与性、可诠释性和可问责性的透明化路径是解决反恐预测算法“双黑箱”的积极面向。美国政府在打开反恐预测算法“双黑箱”方面确实作出了努力，但还远远不够。以下，本文将对美国政府打开“双黑箱”所做的探索进行归纳和评述[35]。
总而言之，人们普遍地对反恐预测算法以及此类应用算法持有怀疑态度[26]。这一方面源于人民的直觉，即拒绝接受运用非人性的算法来决定人类的现实生活。例如，在美国刑事司法活动中，机器学习技术就无法对罪犯的情感因素定量分析，而被告却经常会在法庭判决时对法官流露悔意。另一方面则来源于媒体对某具体算法的负面报道，比如亚马逊平台就曾被媒体曝出向用户推荐易燃易爆物品的新闻[27]。在反恐工作中，人民普遍认为只有人类，才有能力，也才应该对限制他人自由或剥夺他人生命的行为负责。因此，本文认为，反恐机构应该确认对恐怖活动组织和恐怖分子展开行动的控制权仍然牢牢掌握在人类手中而并不是某个机器学习算法。
4算法“双黑箱”对策—透明化路径
以上我们以美军反恐战争为例，不但实证分析了造成反恐预测算法“双黑箱”问题的数据偏差、算法歧视、过度依赖、透明不足和问责不力等原因，而且还规范分析了美国政府为破解“双黑箱”问题在政策和法律上的探索。本文认为，虽然后9·11时代，美国政府迫于内部泄密以及国际舆论的强大压力，开始了反恐政策和法律两个层面上透明化的进程，但是这样的透明化探索只是框架式地对反恐战略基本理论进行了解释说明。这样虽然也能够解决一部分的问题，比如获取一部分人民的支持、抢占反恐理论的制高点等，但是并没有解决“双黑箱”问题的核心问题。破解反恐预测算法“双黑箱”问题应该坚持反恐战略全方面透明的思路[42]。即，寻求反恐预测算法透明化的可参与性，破解“双黑箱”的数据偏差以及算法歧视问题；寻求反恐预测算法透明化的可诠释性，破解“双黑箱”的透明不足问题；寻求反恐预测算法透明化的可问责性，破解“双黑箱”的过度依赖以及问责不力问题。
1．3 检测方法与判断标准 采用酶联免疫吸附法（ELISA）检测乙肝病毒表面抗原（HBsAg）、乙肝病毒表面抗体（抗－HBs），使用上海实业科华生物技术有限公司生产的ELISA试剂，批号20120303。HB－sAg阳性判定标准P／N值≥2．1，HBsAg阳性判定标准P／N值≥2．1。
4.1参与 一方面，因为反恐预测算法的数据偏差以及算法歧视事关该算法预测结论的准确度，所以有针对性地扩大数据采集端的人员参与度是非常必要的。数值输入口工作人员的工作热情和专业技术不但是情报信息准确的保证，而且是反恐预测算法加权计算、自我完善，进而输出准确结论的保证。另一方面，因为反恐预测算法的决策结果和个人的生命权、自由权紧密相关，所以导向性地扩大终端用户的参与度是非常必要的。绝不能让反恐预测算法的反恐以及国家安全属性成为“双黑箱”的理由。同时，扩大算法设计端的参与度也是非常必要的，学术界和科技界的研究人员能给机器学习算法提供有价值的理论和技术。因此，应该全流程扩大反恐预测算法数据采集端、算法设计端以及终端用户参与度。例如，建立反恐机构、法律机构以及科学研究机构联合组织的特别调查委员会，负责反恐领域人工智能、机器学习算法相关技术的研发、管理以及法律法规的制定。这样不但可以从技术层面提高反恐预测算法的可诠释性，从法律层面提高反恐预测算法的可问责性，而且还可以开展反恐机器学习算法的政策和伦理理论等方面的研究。此外，应该让反恐预测算法接纳例如国家安全机关的内设监督机构以及国家监察机构等政府权威监管部门的全程参与。加强政府机器学习算法的监管力量一方面是为了确保对算法权力的制约和监督，杜绝“双黑箱”向“权力黑箱”发展；另一方面让受到机器学习算法不公正对待的个人及亲属有获得申诉和救济的机会。积极吸纳热爱反恐事业、人工智能事业的技术人才和法律人才以及实务专家，共同研究反恐预测算法的法律法规制度、技术标准制度、监督监管制度以及技术理论框架，进而实现对反恐预测算法本身、算法应用以及决策结果的合理性、合法性还有安全性的全流程风险规避和审查监督。
4.2诠释 一般意义上的可诠释性是指算法应用的终端用户能够理解算法应用是如何运行的，或者要求程序员向终端用户阐述算法应用的决策过程。但是反恐预测算法有着自身的特殊性，一方面因为反恐预测算法是基于机器学习技术的应用算法，本质依然是一种模拟行为，不会比自然现象更加难以理解和分析，也就是说反恐预测算法天生具有可诠释性；另一方面因为反恐预测算法具有反恐以及国家安全属性，并不适用一般机器学习算法向社会开源以及公开相关数据的情况，所以反恐预测算法的可诠释性必须也只需面向反恐机构的特定用户。在具体的操作层面，一方面要发展可解释的XAI技术；另一方面要发展辅助解释算法技术。可解释的XAI是人工智能的一个新兴分支，目的是让程序员改进机器学习技术，生成可解释的模型，结合有效的解释技术，让反恐机构的特定用户能够信任并且一定程度理解反恐预测算法每个决策背后的逻辑。XAI有着3个关键的维度，分别是合理的AI,就是能够理解每个预测背后的运行理论；可追踪的AI，追踪预测过程的能力，从理解数学的算法逻辑上升到理解数据的本质；可理解的AI，完全理解做出决策的AI数据模型。XAI主要由两部分构成：一个是已知模型技术，通过解释现有的随机森林算法以及新的白盒模型，以获得能够完全解释的能力；另一个是未知模型技术，通过侵入操作模型而在操作模型外进行工作，以及用局部可理解的与模型无关的解释技术(Local Interpretable Model-Agnostic Explanations)估计决策的局部边界。辅助解释算法是用一种算法来监测分析另一种算法。辅助解释算法的目的就是将反恐预警算法作为一个客观的事物来进行观察、施加影响和结果分析。反恐机构的特定用户能够运用程序员研发的自动监测分析算法，进而监测反恐预警算法。辅助解释算法包括使用生存分析、相关分析、相似分析和基于趋势等综合工具来组织数据、设计状态指标、监测反恐预测算法的运行状况和发生偏差的概率以及后果。同时，辅助解释算法还能根据反恐预警算法模拟生成仿真偏差数据以及仿真故障，并利用在频谱分析和时序分析等技术所构成的信号进行处理和动态建模。因此，反恐机构的特定用户能够理解反恐预警算法产生偏差结论的原理和过程。
4.3问责 问责不但是现代法治国家的要求，也是政府机构负责任的体现。政府机构过度依赖机器学习算法的根本原因在于应用算法后，造成责任主体的模糊化，进而实际上降低了政府机构承担责任的可能性。确保反恐预测算法的可问责性既是破解“双黑箱”过度依赖以及问责不力问题的具体路径，又是在智能反恐时代，确保机器学习算法处于法治之治当中的必要保证。也只要这样，监管机构才能理解以及监督反恐预测算法的决策过程，并且对错误作出必要校正，进而保证事前设计、事中监督以及事后追责的合法化。然而现实中，包括反恐预测算法在内的机器学习算法确实存在难以明确错误责任主体的问题。一方面，机器学习算法错误的责任主体难以追溯，我们很难清楚，决策错误到底是来源于研发应用算法的程序员、升级应用算法的管理员、应用算法的终端用户、情报信息的采集人员还是数据信息的录入人员；更难清楚从错误源头到错误终局的过程中，各个环节的人员究竟应该如何分别承担责任。本文认为，尽管反恐预测算法作为一种机器学习算法，本身是否具有法律主体资格、是否能够独立承担责任，学术界尚存在争议，但是机器学习算法的研发人员、所有权人、管理人员、终端用户等应该始终对机器学习算法有监督和管理的职责，特别是反恐预测算法的特定用户应当承担机器学习算法错误的主要责任。同时，这种问责性质应该属于“无过错责任”的范畴。基于反恐预测算法的研发人员、所有权人、管理人员、终端用户等是为了打击恐怖主义、维护国家安全的善意，开发、设计、完善、应用反恐预测算法的前提，受到反恐预测算法不公正对待的个人无法证明、也无需证明上述人员的主观故意，即应以“无过错责任”对该机器学习算法进行归责。对机器学习算法进行归责，就是对研发人员、所有权人、管理人员、终端用户问责，尤其是要对反恐预测算法终端的特定用户问责。
企业应建立多渠道降低物流费用措施，积极争取运价下浮政策，主动与关联运输方及分包方进行协商，尽量取得运费优惠政策的支持。同时采取多种措施确保完成协议保量任务，避免发生因未完成保量任务而补缴运费的情况。充分利用“取配通”等信息系统，优化运输方案，最大限度的提高干支线运输的载重利用率和容积利用率，以提高干支线盈利水平。优选车辆运行路线，减少逆向转场件数，提高取配件效率，降低配送成本。充分利用现有库房，合理确定直接配送和转场配送中心配送，减少货物装卸次数，提高交付及时率。合理选择配送工具，提高配送作业效率。统筹安排各种运用车辆，建立适应城市内部交通状况的配送体系。
5结 语
本文描述了反恐预测算法是具有反恐及国家安全属性的一种机器学习算法，“一体两翼”，包括了战术预测算法和锁定目标预测算法两个应用子算法，并分别详述了算法的法律规定和规则程序。提出了反恐预测算法在应用中出现了“保密黑箱”叠加“技术黑箱”的“双黑箱”问题，进而以美军反恐战争为研究样本，实证分析了造成“双黑箱”的数据偏差、算法歧视、过度依赖、透明不足和问责不力等原因；规范分析并评述了美国政府破解“双黑箱”的政策和法律探索。本文认为，智能反恐时代，也是法治之治时代，绝不能只看到“双黑箱”的反恐效率，还应看到“双黑箱”带来的舆论压力和法治倒退。我们应该在精神上对机器学习技术和国家安全属性给予充分的尊重，在追求可参与性、可诠释性和可问责性的透明化路径道路上，首先把机器学习、人工智能应用于反恐领域后，自然形成的一般技术标准和规律规范化；其次，把指导反恐行动的反恐战略框架以及相关理论学术化；最后，把从域外借鉴的反恐预测算法法律制度法治化。
本文是在王永宝教授指导和胡晓晖博士帮助下完成，特此表示感谢；同时，对于匿名评审专家和主编提出的宝贵意见和修改建议亦致以诚挚谢意!
参考文献
[1] Vincent Boulanin, Maaike Verbruggen. Mapping the development of autonomy in weapons systems[R].Stockholm International Peace Research Institute，2017:40.
[2] Princeton University,Engineering School.Biased bots:Human prejudices sneak into artificial intelligence systems[EB/OL].[2017-04-01].www.sciencedaily.com/releases/2017/04/170413141055.htm.
[3] Jenn Wortman Vaughan, Hanna wallach. Understanding the effect of accuracy on trust in machine learning models[EB/OL].[2019-05].https://www.microsoft.com/en-us/research/people/wallach/#!publications.
[4] Sample.AI watchdog needed to regulate automated decision-making,say experts[EB/OL].[2017-01-01].https://www.theguardian.com/technology/2017/jan/27/ai-artificial-intelligence-watchdog-needed-to-prevent-discriminatory-automated-decisions.
[5] 仇筠茜,陈昌凤.基于人工智能与算法新闻透明度的"黑箱"打开方式选择[J].郑州大学学报(哲学社会科学版),2018(9),51(5):84-87.
[6] 赵双阁.新闻算法推荐机制的技术价值与权力边界[J].西南政法大学学报，2019，21(1):124-131.
[7] 张富利.大数据时代人工智能辅助量刑的定位、前景及风险防控[J].广西社会科学，2019(1)：92-101.
[8] 马忠法,彭亚媛.与人工智能相关的主要知识产权法律问题[J].武陵学刊，2019，44(1):52-56.
[9] 封 帅,周亦奇.人工智能时代国家战略行为的模式变迁[J].国际展望，2018(4):51-55.
[10] 都伊林,吴骁提.智慧城市视角下完善反恐预警机制研究[J].情报杂志，2015，34(7):14-18.
[11] 李 超,周 瑛,魏 星.基于暗网的反恐情报分析研究[J].情报杂志，2018(6):11-14.
[12] 傅 瑜,陈定定.人工智能在反恐活动中的应用、影响及风险[J].国际展望，2018(4):119-123.
[13] Jean-Marie Henckaerts, Louise Doswald-Beck.Customary international humanitarian law: Rules [M]. Cambridge:cambridge university press,2009:423.
[14] Rome Statute of the international criminal court, art. 30[Z].1998-07-17.
[15] Dep't of the Army.Field Manual100-5[Z]. 1976.
[16] Naveen Joshi.Machine learning for anomaly detection,allerin[EB/OL]. [2017-05-01]. https://www.allerin.com/blog/machine-learning-for-anomaly-detection.
[17] Dana Liebelson.Why facebook,google,and the NSA want computers that learn like humans,mother jones[EB/OL].[2014-10-09].http://www.motherjones.com/media/2014/09/deep-learning-artificial-intelligence-facebook-nsa/.
[18] James Bamford. Washington's Ministry of Preemption, Foreign Pol'y[EB/OL].[2017-05-31].https://foreignpolicy.com/2017/05/31/washington-ministry-of-preemption-united-states-intelligence/.
[19] Kashmir Hill. The Government Wants Silicon Valley to Build Terrorist-Spotting Algorithms. But Is It Possible? [EB/OL].[2016-01-14]. https://splinternetws.com/the-government-wants-silicon-valley-to-build-terrorist-1793854067.
[20] Kelsey Atherton. When Big Data Went to War—And Lost, Politico[EB/OL].[2017-10-11].http://www.politico.com/agenda/story/2017/10/11/counter-ied-warfare-data-project-000541.
[21] Joshua Kroll, et al.Accountable algorithms[J]. U. Pa. L. Rev, 2017(165):633,681-682.
[22] Julia Angwin et al.Machine bias[EB/OL].[2016-05-13].https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.
[23] Danielle Keats Citron.Technological due process[J]. Wash. U. L. Rev,2008(85):1249, 1277.
[24] Larry Hardesty.Explained:Neural networks[EB/OL].[2017-03-14].http://news.mit.edu/2017/explained-neural-networks-deep-learning-0414.
[25] David Gunning.Explainable artificial intelligence (XAI)[EB/OL].[2016-08-11].https://www.darpa.mil/program/explainable-artificial-intelligence.
[26] Vyacheslav Polonski. People don't trust AI--here's how we can change that[EB/OL].[2018-01-10].https://www.scientificamerican.com/article/people-dont-trust-ai-heres-how-we-can-change-that/.
[27] Paul Sandle. Amazon reviewing website after algorithm suggests bomb-making ingredients[EB/OL]. [2017-09-20].https://www.reuters.com/article/us-britain-security-amazon-com/amazon-reviewing-website-after-algorithm-suggests-bomb-making-ingredients-idUSKCN1BV1WK.
[28] President George W. Bush.President discusses creation of military commissions to try suspected terrorists [EB/OL].[2006-09-06]. https://georgewbush-whitehouse.archives.gov/news/releases/2006/09/20060906-3.
[29] Paul Reynolds.Report claims CIA used "Torture"[EB/OL].[2009-05-16].http://news.bbc.co.uk/2/hi/americas/7945783.stm.
[30] Eben Kaplan.Q&A: Targeted killings [EB/OL].[2006-01-25].http://www.nytimes.com/cfr/international/slot3_012506.html?pagewanted=print.
[31] Dana Priest.CIA holds terror suspects in secret prisons[EB/OL].[2005-11-02].http://www.washingtonpost.com/wp-dyn/content/article/2005/11/01/AR2005110101644.html.
[32] Scott Shane. Expanding terror battle under guise of charter flights[EB/OL]. [2005-05-31]. https://www.nytimes.com/2005/05/31/us/cia-expanding-terror-battle-under-guise-of-charter-flights.html.
[33] Amy B. Zegart.The domestic politics of irrational intelligence oversight[J]. Pol. Sci. Q., 2011(1):216.
[34] Yoni Eshpar. Legal transparency as a national security strategy[J].Military and Strategic Affairs,2013(5):12.
[35] Exec. Order No. 13,491[Z]. 2010.
[36] John B. Bellinger III.Legal issues in the war on terrorism[EB/OL].[2006-10-31]. https://2001-2009.state.gov/s/l/rls/76039.htm.
[37] Sari Horwitz , Peter Finn.Holder expected to explain rationale for targeting U.S. citizens abroad[EB/OL].[2012-05-04].https://www.washingtonpost.com/world/national-security/holder-expected-to-explain-rationale-for-targeting-us-citizens-abroad/2012/03/04/gIQACz41qR_story.html.
[38] The White House.Report on the legal and policy frameworks guiding the united states' use of military force and related national security operations [R].Washionton: 2016-12.
[39] The White House.Fact Sheet: U.S. Policy standards and procedures for the use of force in counterterrorism operations outside the united states and areas of active hostilities [EB/OL].[2013-05-23].https://obamawhitehouse.archives.gov/the-press-office/2013/05/23/fact-sheet-us-policy-standards-and-procedures-use-force-counterterrorism.
[40] Dep't of Def.Directive No. 3000.09, Autonomy in Weapon Systems[Z].2012-11-21.
[41] Michael W. Schmitt ,Jeffrey S. Thurnher.'"Out of the Loop": Autonomous weapon systems and the law of armed conflict[J]. Harv. Nat'l Sec, 2013(4):231, 241.
[42] David Pozen.The mosaic theory,national security, and the freedom of information act[J].115 Yale L.J., 2005:628, 635.https://perma.cc/2WR4-3YDY.
Research on Countermeasures of the "Double Black Boxes "for Anti -Terrorism Prediction Algorithm —Taking America's Anti-Terrorism as an Example
Dang Junqi1,2
(1 Northwest University of Political Science and Law, Xi'an 710082；2.Xi'an Public Security Bureau, Xi'an 710002)
Abstract ：[Purpose /Significance ]As anti-terrorism steps into the intelligent era, anti-terrorism prediction algorithm, as an application algorithm of machine learning, has a remarkable effect on predicting terrorist organizations and terrorists. However, the “confidentiality black box” and the “technology black box” problems, known as the“double black boxes” problems, which appear in intelligent anti-terrorism are the key of this research.[Method /Process ]Taking the US military war on terror as a case, this research empirically analyzes the causes of “double black boxes”, such as data deviation, algorithm discrimination, over-reliance, insufficient transparency and ineffective supervision and accountability and normatively analyzes the policy and legal exploration of the US government.[Result /Conclusion ]In conclusion, ways to solve the “double black boxes” problems of anti-terrorism prediction algorithm involve ensuring the transparency of interpretability, accountability and participation.
Key words :counter terrorism prediction algorithm;machine learning;international law;counter terrorism war;double black boxes
收稿日期： 2019-03-07
修回日期： 2019-04-28
作者简介： 党俊琦 (ORCID:0000-0003-2709-1814), 男, 1986年生,博士研究生, 警长,研究方向：反恐怖主义法律。
中图分类号： G353； E919
文献标识码： A
文章编号： 1002-1965( 2019) 09-0069-09
引用格式： 党俊琦.反恐预测算法“双黑箱”之对策研究[J].情报杂志，2019，38(9)：69-77.
DOI ：10.3969/j.issn.1002-1965.2019.09.012
(责编/校对：刘影梅)
标签：反恐预测算法论文; 机器学习论文; 国际法论文; 反恐战争论文; "论文; 双黑箱"论文; 西北政法大学论文; 西安市公安局论文;