从算法危机到算法信任：算法治理的多元方案和本土化路径
张 欣*
摘 要 算法与平台应用紧密结合，深入且广泛地嵌入社会生活的公私领域。伴随着算法适用中个人主体性的不断丧失、个体不公的结构性锁定以及传统决策治理框架的频繁失效，算法危机引发各国立法者关注。欧盟在数据治理框架下选择通过赋予数据主体新型算法权利的方式对算法决策施加影响和控制。美国则率先在公共领域通过组建专门机构和人员构成问责主体的方式建立算法问责制。嵌套于平台治理框架之中，我国通过为平台设定义务、界定平台责任，同时赋予个体权利的复合型思路寻求对电子商务算法场景的初始化治理。三种治理路径的形成机理、制度构造和治理效能虽有交叉，更具差异。未来我国算法治理方案的完善应当秉持技术信任和治理信任同步推进，打造场景化和精细化的算法监管机制设计，有效联结算法治理、数据治理和平台治理，并稳步理性推进算法治理短期、中期和长期方案，逐步迈向基于算法信任的智慧型治理。
关键词 算法治理 算法问责 算法信任 平台责任
数据、算法和算力的强强联合使人类以一种极具颠覆性和变革性的方式迈进算法社会。商业场景下，从新闻分发到购物推荐，从投资理财到职场评估，算法正逐步成为“政府—市场”之外的第三只“无名之手”，强力助推数字经济蓬勃发展。在公共事业领域，从司法审判到智慧警务，从福利分配到信用评估，算法也正在政府、专家之外成为影响决策的第三股力量，或独立或辅助地发挥着智慧决策的作用。当算法与纷繁复杂的平台应用相结合，深入且广泛地嵌入到我们的生活中并不断拓展之时，看似理性的算法却引发了一系列算法危机：“算法歧视”“算法合谋”“算法霸权”“算法黑箱”“算法短视”等问题层出不穷。〔1〕 参见张欣：《连接与失控：面对算法社会的来临，如何构建算法信任？》，载《法治周末》2019 年5 月30 日第12 版。 一时间算法信任逐步瓦解，算法焦虑甚嚣尘上。〔2〕 当下聚焦于算法适用危机主题的研究和报道层出不穷：例如［英］阿里尔·扎拉奇、莫里斯·E. 斯图克：《算法的陷阱：超级平台、算法垄断与场景欺骗》，余潇译，中信出版社2018 年版；［美］凯西·奥尼尔：《算法霸权：数学杀伤性武器的威胁》，马青玲译，中信出版社2018 年版；［美］弗兰克·帕斯奎尔：《黑箱社会：掌握信息和金钱的数据法则》，赵亚男译，中信出版社2015 年版等。 面对算法危机带来的多重挑战，欧盟在数据治理框架下赋予数据主体反对权和解释权〔3〕 对于GDPR 到底是否以明确的方式确立了自动化决策解释权曾经存在着激烈的争论。虽然GDPR 立法层面对于该项权利的设定存在诸多限制且过于原则，但主流观点仍然认为数据主体享有自动化决策解释权。 等新型算法权利形成了算法治理的核心思路。美国则遵循技术正当程序的思路，赋予公众对公用事业领域算法应用的知情、参与、异议和救济等程序性权利，着力构筑以算法问责为核心的外部治理框架。不同的算法治理路径反映了迥异的治理传统、制度基础和治理效能，能够为我国立法者探索算法治理的中国方案提供积极而有益的参考样本。因此，本文首先结合算法决策过程的特征深入剖析算法危机的核心表现，以此作为后文探讨算法治理的认知基础。其次，结合欧盟、美国和我国在算法治理中的鲜活经验梳理算法治理的多元路径，探析各国算法治理框架的设定边界。最后，结合我国算法应用现状和已有制度规范，提出完善算法治理的中国方案。
一、算法危机的三重特征
长久以来，当学者或者媒体指出算法应用引发的系列问题时，“算法黑箱”总是被不断提起并被视为危机产生的核心根源，引发了一系列公众焦虑和恐惧。〔4〕 参见［美］弗兰克·帕斯奎尔：《黑箱社会：掌握信息和金钱的数据法则》，赵亚男译，中信出版社2015 年版。 将算法黑箱视为引发算法危机核心根源的观点符合人类感知的客观规律。因为决策的黑箱性意味着决策相对人控制力和影响力的流失，与之伴随的不确定性和风险性感知极易引发公众的算法焦虑和算法恐慌。〔5〕 See Aaron Smith, “Public Attitudes Toward Computer Algorithms”, https://www.pewinternet.org/2018/11/16/public-attitudestoward-computer-algorithms/, accessed June 18, 2019. 该报告中指出公众对于算法的态度并不乐观，对于算法在公私领域日益增加的影响展现出普遍担忧。 但细究算法决策和人类决策的特性即可发现，算法危机的产生并非全由算法黑箱导致。因为与算法决策相比，人类决策同样具有“黑箱性”。体能、环境、情绪、认知等诸多复杂因素均可对人类决策产生影响。故人类决策的稳定性和绩效性在诸多场景中并不令人满意。但在机器决策和人类决策的绩效表现之外，人类决策的黑箱性却已经由探寻出的一系列信息补强制度〔6〕 例如声誉机制、公众参与机制、问责机制以及多元化的救济机制。 协助创建了可以提供稳定预期和公众信任的治理环境。因此，算法决策的黑箱性虽被广泛关注，但其却无法全面解释算法危机产生的核心根源。实际上，从算法的运行机理可知，在“算法黑箱”之外，由于算法可以高效解析个人数据并生成相关决策，因此具有将虚拟世界和现实世界的个体相互联结，将个体的过去、现在和未来建立联结的技术能力。这种技术上的“联结”极易引发治理层面的“失控”，使得公众对算法的技术信任难以建立，面对复杂、开放、多元的算法并与其产生互动之时心生恐惧。因此，在算法黑箱之外，由“联结—失控”作为表现形式的算法危机集中体现为下列三重特征。
经过上述抛渣含铅量的影响因素分析，再根据这几年一步炼铅顶吹炉的生产实践，本文将围绕炉渣渣型、氧势、温度、物料含杂质和熔池高度五个方面来提出应对措施。
（一）个人主体性的不断丧失
算法决策具有专业性、复杂性和动态性特征。结合具体应用，算法主要发挥着优先级配置、分类、关联及过滤四项功能。〔7〕 Nicholas Diakopoulos, “Algorithmic Accountability Reporting: On the Investigation of Black Boxes” Tow Center for Digital Journalism 1-37（2013）.根据复杂场景和具体需要，自动化决策的达成还可能是四种功能的有机结合。这意味着数据和算法驱动的自动化决策可以将个体的线上、线下数据进行整合，形成对特定主体行为偏好的精准预测和评估，并可依据解析出的数据将其归入到特定的类别和群组中。〔8〕 See Guidelines on Automated Individual Decision-making and Profiling for the Purpose of Regulation 2016/679, https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053, accessed on June 16, 2019. 在这一过程中，决策相对人的主体性处于不断丧失的状态之中。一方面，算法运行依赖的数据已经超越了数据主体的可控范围。即使不依靠数据主体直接提供的数据，针对个体检测产生的数据（例如通过应用软件收集的位置数据），抑或是根据用户行为衍生推导出的数据都可以作为算法决策有效运行的依据和基础。〔9〕 See Guidelines on Automated Individual Decision-making and Profiling for the Purpose of Regulation 2016/679, https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053, accessed on June 16, 2019. 另一方面，当算法应用的边界在公私领域不断扩展之时，公众可能无从知晓某一对其产生影响的决策是由算法做出，对于决策形成过程亦无法有效参与。即使知晓相关决策的存在，个体亦难以理解算法决策的运行逻辑和具体依据，因此持有异议并挑战算法决策的行动空间十分有限。由此可见，算法决策的专业性和复杂性伴随着其在公私领域应用的通贯性，使得个体的行动空间、控制能力、影响范围和救济渠道不断消解，与之伴随的知情权、参与权、异议权和救济权纷纷失效，甚至个人的自由和尊严在不同程度都会受到挑战和侵犯。〔10〕 See Committee of Experts on Internet Intermediaries, “Study on the Human Rights Dimensions of Automated Data Processing Techniques and Possible Regulatory Implications”, https://edoc.coe.int/en/internet/7589-algorithms-and-human-rights-study-on-the-humanrights-dimensions-of-autoautom-data-processing-techniques-and-possible-regulatory-implications.html, accessed on March 12, 2019. 故算法技术的不断发展和应用的不断扩张首先意味着对个人主体性存在和发展的消解和异化。
（二）个体不公的结构性锁定
在算法引发的诸多危机之中，算法歧视现象尤为引发公众和决策者的担忧。有机构发布的指南明确指出，在刑事司法、医疗保健、社会福利和公共教育相关的公共事业领域应当对自动化决策限制使用。〔11〕 AI Now Institute, “AI Now Report”, https://ainowinstitute.org/AI_Now_2017_Report.pdf, accessed on February 18, 2019. 究其原因在于，与物理世界中存在的种族歧视、性别偏见有所不同，算法歧视的发生具有系统性和反复性，一旦包含人类歧视的算法被广泛应用，随之而来的是个体或者群体系统性歧视的反复发生。例如，基于性别、种族或者其他核心要素，一旦某一个体或者某一群体在算法模型设计过程中被锁定于某一分类，则该算法将有极高概率延续现有的分类情况和阶层架构，强化潜在的社会不公，产生系统性的歧视决策，〔12〕 See Nicholas Diakopoulos, “Algorithmic Accountability Reporting: On the Investigation of Black Boxes” Tow Center for Digital Journalism 1-37（2013）.从而发生个体不公的结构性锁定效应。例如，有研究表明美国执法部门使用的面部识别工具对于非洲裔美国人产生了歧视性影响，预测警务软件也因为不完整的犯罪数据库而对少数族裔社区产生不公决策，而这些算法又同时被保险公司应用，因此在保险费率核定时连锁性地出现算法歧视现象。〔13〕 See Alex Pasternack, “Cop Cameras Can Track You in Real Time and There’s No Stopping Them”, The Future of Policing, https://www.fastcompany.com/40564084/cop-cameras-can-track-you-in-real-time-and-theres-no-stopping-them, 2018-07-31, accessed on June 15, 2019. 因此在公共事业领域，对于弱势群体和边缘群体，算法决策看似简化了繁琐的行政流程，但却具有让弱势群体更加边缘化的风险，从而发生“数字贫民窟”效应。〔14〕 See Virginia Eubanks, Automating Inequality: How High -Tech Tools Profile, Eliminating Racial Inequity in the Criminal Justice System , St. Martin’s Press, 2018. 虽然在人类的各项决策中也可能充满多元的价值观和竞争性观点，〔15〕 Reuben Binns, “Algorithmic Accountability and Public Reason” 31（1） Philosophy & Technology 543-556 （2018）. 但在算法建模和系统训练的过程中，人类的固有偏见或者不正当歧视会被结构化，从而引发系统性社会风险，产生新的算法危机。
算法的运行具有高度专业性和客观程序性，具有极强的工具理性特征。〔16〕 参见周剑铭：《算法理论与中国理性——现代儒学的科学发展观》， 来源：https://cloud.tencent.com/developer/news/96622，2019 年7 月16 日访问。 但工具化和技术化的算法决策却难以保证决策结果公正无偏，从而完全符合实质层面的价值理性。换句话说，算法自身的有用性、有效性常无法保证社会层面所认同的自由、平等、公平、公正等价值理性的达成。〔17〕 参见周剑铭：《算法理论与中国理性——现代儒学的科学发展观》， 来源：https://cloud.tencent.com/developer/news/96622，2019 年7 月16 日访问。 面对高效运转架构复杂的算法决策，长久以来为确保人类决策的理性、避免人类决策的武断、恣意和不当，以正当程序为内核而设置的制衡机制频繁失效。例如以“通知—公告”为代表的一系列公众参与机制已无法妥当适用于算法决策领域。面对算法适用危机，诸多政策制定者诉诸于改良传统决策的规制路径，希冀以算法透明度促进算法可问责性。例如，法国总统马克龙在2018 年接受连线杂志采访时称，由政府资助开发或者自主开发的算法如果在公共事业领域应用，会逐步公布其代码和模型，以获得较好的算法透明度。〔18〕 Nicholas Thompson Business, “Emmanuel Macron Talks to Wired About France’s AI Strategy”, https://www.wired.com/story/emmanuel-macron-talks-to-wired-about-frances-ai-strategy/, accessed on January 18. 但在规制效能上，却发现于传统行政决策有效的规制路径对于算法决策显得力不从心。公众无法理解算法决策的逻辑、机理和依据，专业认知鸿沟使得公众在算法决策面前即使知晓了全部代码和模型亦无法理解一个复杂的算法决策树到底是由哪些输入和接合点对于特定决策发挥了决定性作用。与此同时，算法决策过程具有动态性。算法运行规则可能为了适应新的数据而加以改变。因此，以算法透明为途径，要求在特定时间披露代码和数据集的规制手段也许在某一时点具有规制效果，但却无法保障对其他时间节点的动态性决策提供解释和审查依据。〔19〕 Robert Brauneis & Ellen Goodman, “Algorithmic Transparency for the Smart City” 103（20） Yale Journal of Law and Technology 103-176 （2018）.因此，鉴于算法架构的复杂性和决策过程的动态性，适用于传统行政决策的规制手段在效果上不尽如人意。算法治理是一项复杂的社会工程，仅通过简单复制或者对现有治理框架进行稍许改良的路径难以达到良好的治理效能。
（三）传统决策治理框架的频繁失效
首先，2002—2011年，农村化学品规模企业产值呈现持续上升趋势，其中4类农村化学品规模企业产值年平均增长率超过全国相应企业产值平均增长率；农村纺织业和化学品纤维制造业在全国比重均已超过一半以上，其中纺织业比重最高达72.99%；在地区分布上，东部农村化学品规模企业产值占全国农村相应企业比重占绝对优势，西部农村化学品企业产值年平均增长率为24%，超过东、中部地区。
综上可知，“算法黑箱”并非算法危机的全部根源。当算法高效、系统性地辅助或者独立决策时，可能伴随着个人主体性的不断丧失。当算法将虚拟世界和现实世界的个体相联结，将某一个体的过去、现在和未来相联结时，一次性的不公可能暗藏着对个体结构性的歧视锁定。当传统决策治理框架频繁失效之时，立法滞后、专业鸿沟等问题使得立法者面临着算法治理的巨大挑战。
二、算法治理的三种范式：个体赋权、外部问责和平台义务
为化解算法危机，各国政策制定者纷纷探索适应性、智慧化的治理手段，试图为公众建立算法信任的治理环境。以欧盟为代表的立法者在数据治理框架下通过赋予数据主体新型算法权利的方式对算法决策施加影响和控制。以美国为代表的立法者则率先在公共领域通过组建专门机构和人员构成问责主体的方式建立算法问责制。〔20〕 需要说明的是本文此处的划分标准是各国算法治理的核心思路。实际上各国的算法治理路径中亦存在诸多重合和共性之处。例如在GDPR 的治理路径下就存在着要求算法的可归责性以及数据保护影响评估制度，这与美国的算法问责制有着相似的制度设计。但因本文的宗旨之一在于客观呈现算法治理的多种主导性思路，因此本节着重关注各国算法治理框架建构的核心差异。 与该两种算法治理范式有所不同，我国互联网技术的进步和产业的发展推动了以平台企业为核心的新型社会关系架构。平台企业成为我国网络治理的关键节点。〔21〕 参见周辉：《平台在网络治理中的义务和责任》，载《中国社会科学报》2017 年9 月15 日第6 版。 因此嵌套于平台治理框架，我国立法者通过为平台设定义务、界定平台责任，同时赋予个体权利的复合型思路寻求对算法场景的治理。三种治理范式并非截然不同，实际上互有交叉并在诸多方面展现了算法治理的一般规律。但基于治理场景、文化传统和规制资源结构等差异，三种治理范式仍然彰显了各国立法者对算法危机的差异化理解和算法治理的多元价值定位。下文拟围绕形成机理、制度构造和治理效能对三种治理范式予以分析，以剖析治理经验，总结治理规律，为我国算法治理方案的完善奠定样本参照基础。
（一）个体赋权治理范式
2018 年5 月25 日 《通用数据保护条例》（以下简称GDPR）正式生效。作为欧盟在数据治理领域颁布的核心制度，该部法律对识别分析和自动化决策做出了规定。就立法根本目的而言，立法者认为通过识别分析进行用户行为画像或者通过自动化决策影响个体利益的算法应用可能会产生法律或者类似重大影响，因此应当赋予数据主体以一定的新型权利获得对自动化决策的影响和控制。〔22〕 See Guidelines on Automated Individual Decision-making and Profiling for the Purpose of Regulation 2016/679, https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053, accessed on June 16, 2019. 遵循这一立法目的，GDPR 第22 条直接赋予数据主体有权不受仅基于自动化处理得出决定制约的权利，此处的自动化处理还包括识别分析。本条成为了GDPR 算法治理的关键条款。在第22 条之外，GDPR 在背景引言（recital）71 中还规定数据主体具有对自动化决策获得解释和对相关决定提出质疑的权利，从而补充细化了第22 条建立的权利机制。〔23〕 Andrew Selbst, Julia Powles,“ Meaningful Information and the Right to Explanation” 7（4） International Data Privacy Law 233-242（ 2017）.除直接对自动化决策加以规定外，立法者在第13-20 条还赋予数据主体以知情权、访问权、更正权、删除权、限制处理权以及数据可携权等新型数据权利，希冀个体通过获得对数据的控制权进而获得对识别分析和自动化决策施加干预的行动空间。〔24〕 See Guidelines on Automated Individual Decision-making and Profiling for the Purpose of Regulation 2016/679, https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053, accessed on June 16, 2019.
从设计机理来看，GDPR 的算法治理机制是镶嵌于数据治理框架之下的。其制度运行逻辑是通过赋予数据主体事前的知情同意以获得选择空间，事中和事后围绕数据和算法构建多种新型主体权利从而助其获得影响和控制。例如，当运行识别分析时，如果个体数据在分类、标签等方面存在错误，导致算法对其偏好或者行为产生了预测或者评估错误，则数据主体可以通过更正权予以质疑以保障其数据权利。〔25〕 See Guidelines on Automated Individual Decision-making and Profiling for the Purpose of Regulation 2016/679, https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053, accessed on June 16, 2019. 从制度形成依赖的文化背景看，GDPR 创设的个体权利范式符合欧洲大陆对隐私的一贯认知和治理传统。欧洲大陆围绕隐私保护建立的各项权利体现了一条共性规律：即建立在对个人尊严保护的基础上，赋予主体控制个人形象在社会中予以呈现的权利。〔26〕 See James Whitman, “The Two Western Cultures of Privacy: Dignity Versus Liberty” 113 （6） Yale Law Journal 1151-1221（2004）.基于这一认知和隐私直觉，媒体以及收集、分析和传播个人信息的机构被认为是威胁和侵犯个人隐私和个人尊严的主要来源。〔27〕 See James Whitman, “The Two Western Cultures of Privacy: Dignity Versus Liberty” 113 （6） Yale Law Journal 1151-1221（2004）.缘于这一认知，则不难理解算法对个体进行预测和评估时，实际上消解了该个体在社会中自主呈现形象的权利和控制能力。因此，当个体在某些情况下受到不准确、不公正和不正当的算法预测和评估时，通过立法赋予数据主体以拒绝的权利则成为题中之意。
从治理效能来看，依靠外部问责机制建立的算法治理路径虽然一定程度上弥补了个体赋权路径内生的种种不足，但却在技术可行性、与知识产权和商业秘密等制度的衔接以及实际治理效果等层面面临挑战。首先，依靠外部专家、行政机构和公众建立的算法问责制仍然面临着技术鸿沟的挑战。专业的外部专家可能具备算法稽核的知识和能力，但就一同构成问责主体的传统行政机构和普通公众而言，技术鸿沟的挑战仍然未能得到根本解决。例如，华盛顿州正在进行的算法问责立法设计了事前公布决策规则的算法透明度措施，以期为公众理解并参与算法问责提供知识基础。但如前文所述，面对复杂的算法架构，于特定时点公布算法规则的透明度措施无法为其后所作出的动态决策提供充分依据。〔43〕 已经有大量的科技公司公开反对公布专业软件的代码，同时认为纽约算法问责制中创造的特别工作组制度没有实质执法权，这使得该机构更像一个橡皮图章。同时该机构也没有足够的资源、知识和动力完成算法问责所需的各项工作。从纽约算法问责法案几个版本的变迁中就可以窥见到商业秘密和专利制度对于政府建立算法问责制度的有力抵抗。See Elizabeth Zima, “Could New York City’s AI Transparency Bill Be a Model for the Country?”, Policy, https://www.govtech.com/policy/Could-New-York-Citys-AITransparency-Bill-Be-a-Model-for-the-Country.html, accessed on June 29, 2019. 因此外部问责到底在何种程度上能够起到应然治理效果仍然值得观察。其次，算法问责制涉及与知识产权和商业秘密有机衔接的挑战。即使在公共事业场景下，政府采购或资助开发的算法仍然可能因为承包商主张商业秘密或者其他类似制度设计难以保证透明度。加之公开不当可能引发的“算法算计”风险，政府对于算法信息披露的激励也常凸显不足。〔44〕 See Robert Brauneis & Ellen Goodman, “Algorithmic Transparency for the Smart City” 103（20） Yale Journal of Law and Technology 103-176 （2018）.因此目前美国的三部算法问责法（及法案）中，还尚未对这一制度挑战予以充分回应。〔45〕 See Robert Brauneis & Ellen Goodman, “Algorithmic Transparency for the Smart City” 103（20） Yale Journal of Law and Technology 103-176 （2018）.最后，为公共事业场景设计的算法问责制有其适用的边界。在公共场景下，各方主体参与审查的激励尚难相容。因此其能够在多大程度上应用于商业场景仍不确定。当下美国实践已经表明，由于算法问责主体的执法权尚不明晰，该制度目前已有失效风险，外部力量的监督效果大打折扣。例如纽约的自动化决策工作组就在制定拟纳入审查的自动化决策系统清单时遭遇了阻碍。由于不具有明确的执法权，有批评称其实际角色已经变为提供广泛政策建议而非有效审查的机构。同时当工作组向市民呼吁提供其受到自动化决策影响的例证时，所得到的公众反馈并不积极。〔46〕 Colin Lecher, “New York City’s Algorithm Task Force is Fracturing”, The Verge, https://www.theverge.com/2019/4/15/18309437/new-york-city-accountability-task-force-law-algorithm-transparentr-automation, accessed on July 16, 2019. 因此，算法问责制虽致力于确保公共事业机构负责任地使用算法，但其是否是算法治理中的最佳方案尚需观察。
按0.01 mm/min的位移速度施加轴向应力，直至相似试件充分破坏，如图1所示，记录应力-应变曲线和试验力-变形曲线，对相似试件单轴压缩曲线进行分析。
（二）外部问责治理范式
2017 年12 月18 日，纽约市市长比尔·白思豪签署通过了美国立法史上第一个对公用事业领域算法进行问责的法案，即算法问责法（Algorithmic Accountability Bill）。〔32〕 The New York City Council, “Algorithmic Accountability Bill”, https://legistar.council.nyc.gov/LegislationDetail.aspx?ID=313 7815&GUID=437A6A6D-62E1-47E2-9C42-461253F9C6D0, accessed on June 26, 2019. 该法的制定和通过受到了ProPublica 在2016 年发布的美国司法风险评估项目算法歧视问题报告的影响，〔33〕 See Julia Angwin, Jeff Larson, Surya Mattu, and Lauren Kirchner, ProPublica, “Machine Bias: There’s Software Used Across the Country to Predict Future Criminals. And It’s Biased Against Blacks”, https://www.propublica.org/article/machine-bias-riskassessments-in-criminal-sentencing, accessed on June 26, 2019. 经过多方推动，最终得以通过表决，顺利出台。〔34〕 在该部法案的制定过程中，对于算法透明度的程度曾经引发了广泛争议。在法案一度制定的版本中，曾经规定纽约的行政机构对于特定服务或者对个人施加惩罚的算法必须被公众所监督，包括公布所有算法的源代码的形式。但在随后开展的听证会中，来自市场办公室的代表对于这项措施表达了顾虑和关切，担心此举可能威胁纽约市民的隐私和政府的网络安全，所以在最终版本中并未包括此项要求。See Lauren Kirchner, “New York City Moves to Create Accountability for Algorithms”, Machine Bias, https://www.propublica.org/article/new-york-city-moves-to-create-accountability-for-algorithms, accessed on June 28, 2019. 作为美国首部系统规制算法决策的法律，其篇幅虽然不长，但却建立了算法问责的核心治理架构。第一，该法明确规定了规制对象不仅包括基于自动化决策的情形还包括算法辅助或者支持决策的情形。第二，明确规定了算法问责制的适用主体是使用自动化决策系统的行政机构以及慈善组织。第三，该部法律规定了自动化决策工作组为算法问责制的实施主体。〔35〕 2018 年5 月16 日，该工作组已经宣布形成，由市长办公室代理主任Emily Newman 和人权委员会战略倡议的执行专员Brittny Saunders 共同主持。由市政机构委员及其指定的来自各个领域的代表组成（包括学术界和法律界的专家、数据和技术方面的专家以及非营利组织和智库的领导者）。除此以外，社会服务部、警察局、交通部、市长刑事司法办公室、儿童服务管理局和教育部的代表也参与其中。工作组将制定审查自动化决策系统的流程。See “Mayor de Blasio Announces First-In-Nation Task Force To Examine Automated Decision Systems Used By The City”, The Official Website of the City of New York, https://www1.nyc.gov/office-of-the-mayor/news/251-18/mayor-de-blasio-first-in-nation-task-force-examine-automauto-decision-systems-used-by, accessed on July 16, 2019. 工作组由具有专业知识的技术人士构成，同时还需要包含受到行政机构或者慈善组织自动化决策影响的代表性人士加入。第四，自动化决策工作组的专属职责包括成立后的18 个月内向市长提交算法评估标准、救济程序、确保公众算法知情权、参与权的相关程序和技术要求。〔36〕 See The New York City Council, “Algorithmic Accountability Bill”, https://legistar.council.nyc.gov/LegislationDetail.aspx?ID=3137815&GUID=437A6A6D-62E1-47E2-9C42-461253F9C6D0, accessed on June 26, 2019.
在纽约市之外，华盛顿于2019 年2 月也举办了有关算法问责法案的听证会，拟在全州对算法展开监管。该部法案虽然并不要求算法代码的全部公开，但要求公共事业部门在采用自动化决策系统之前创建系统和数据报告，提交给州首席隐私官并向公众在不少于30 天的时间内广泛征求意见。〔37〕 DJ Pangburn, “Washington Could be the First State to Rein in Automated Decision-making”, https://www.fastcompany.com/90302465/washington-introduces-landmark-algorithmic-accountability-laws, accessed on June 27, 2019. 2019 年4 月，美国国会议员也提出了一项算法问责法案，拟对每年收入超过5000 万美元、持有100 万人或者设备信息的公司或者主要作为买卖消费者数据的数据经纪人公司实行审查。该法案希望通过联邦贸易委员会制定评估“高度敏感性”自动化决策的规则，以评估该系统是否存在偏见或者歧视，以及是否对消费者隐私或者安全存在风险。〔38〕 Adi Robertson, “A New Bill Would Force Companies to Check Their Algorithms for Bias”, https://www.theverge.com/2019/4/10/18304960/congress-algorithmic-accountability-act-wyden-clarke-booker-bill-introduced-house-senate, accessed on June 27, 2019. 上述三个算法问责法案虽然在微观制度设计上有所不同，但均强调建立算法问责制。通过诉诸于专业性的行政机构或者组建外部监督主体，〔39〕 Andrew Tutt, “An FDA for Algorithms” 69（83） Administrative Law Review 83-123 （2013）.对算法决策可能潜藏的歧视、偏见和恣意进行审查。
纵观技术发展的历史可知，每一次技术的发展都伴随着各种风险和不确定性。而恰是因为技术发展过程中所伴随的风险，才促进了技术自身的不断完善以及相关配套制度的产生。例如，恰是因为汽车的发明导致了车祸现象，才会有汽车安全性能的不断完善，才会有安全气囊、安全带、安全警示系统等周边技术的出现。〔61〕 参见［美］迈克斯·泰格马克：《生命3.0：人工智能时代人类的进化与重生》，汪婕舒译，浙江教育出版社2018 年版。 因此，算法技术发展中伴随而来的各种风险首先可以通过增强技术可靠性以及开拓技术周边措施的方式来增加公众信任。目前就已有一系列技术努力致力于促进算法决策的公平、问责和透明。例如，日渐兴起的“歧视感知数据挖掘”（Discrimination-aware Data Mining, DADM）技术就可高效识别特定算法应用中对公平或者伦理约束带来的潜在伤害。〔62〕 See Reuben Binns, “Algorithmic Accountability and Public Reason” 31（1） Philosophy & Technology 543-556（2018）.从算法技术本身发展的趋势来看，在可预见的未来，“制造算法的算法”以及“监督算法运行的算法”〔63〕 See Reuben Binns, “Algorithmic Accountability and Public Reason” 31（1） Philosophy & Technology 543-556（2018）.以监测算法技术可靠性已指日可待。
但就治理效能而言，诉诸数据主体控制权和选择权的算法治理路径可能在治理效率、行业发展、集体行动和公共利益保护等层面存在局限，无助于解决上文提出的算法危机。首先，在复杂多元的算法应用场景下，依靠赋予数据主体以新型算法权利的制度设计可能与数据主体的行动能力并不匹配。例如在商业场景中，平台企业已经十分善于以“交叉补贴”的方式通过提供免费服务而获取个体同意来收集信息或者应用算法决策。在这一场景下，拒绝权被实际架空。与此同时，即使数据主体充分获得了有关自动化决策的相关信息，但囿于时间成本和专业知识，数据主体可能几乎没有能力提出异议并获得实质性改善。〔28〕 Lilian Edwards & Michael Veale, “Slave to the Algorithm? Why a ‘Right to an Explanation’ is Probably Not the Remedy You are Looking For” 16（1） Duke Law and Technology Review 18-84 （2017）.因此去中心化的个体赋权路径在算法治理领域效能不佳。其次，个体赋权路径可能在一定程度上牺牲了市场效率。如詹姆士·惠特曼所指出的，欧盟的隐私法框架围绕个体尊严而设立，与这一价值相较，市场效率虽然重要但并不能对前者有所突破。〔29〕 See James Whitman, “The Two Western Cultures of Privacy: Dignity Versus Liberty” 113 （6） Yale Law Journal 1151-1221 （2004）.例如，由于向公众披露财务状况被视为对个人隐私的侵犯，征信制度在欧洲发展较为缓慢，对于消费者信贷信息的管制也一直十分严格。〔30〕 例如直到2003 年法国并不存在正式的信用局和征信机构，创建和共享包含消费者可识别性的账户信息是被禁止的。如果要获取和处理类似资料，必须获得国家专门委员会的批准。而在德国，虽然禁止并不如法国严格，但监管仍然十分严格。在欧洲，征信制度曾一度被视为允许商家窥探消费者购买习惯和行为的制度设计，因此发展较为缓慢。See James Whitman, “The Two Western Cultures of Privacy: Dignity Versus Liberty” 113（6） Yale Law Journal 1151-1221（2004）.信贷体系的缓慢发展也使得信用卡业务在欧洲的发展比美国滞后很多。因此在赋予个体上述新型算法和数据权利时，可能在客观上给算法技术的开发、优化和创新带来成本导致行业发展受阻。〔31〕 例如，如果多名用户主张删除机器学习系统中训练使用的数据，就可能给系统的可靠性带来风险。甚至在一些特定情况下需要对系统进行重新训练。 最后，去中心化、个体权益化的治理范式还可能由于碎片化特性而不利于集体行动的达成。例如，在识别分析的应用场景中，当通过间接用户画像方式对某一群体进行预测分析时，不公或者歧视行为难以为个人用户所及时感知。因此在促进算法可问责性的行动中，专业组织或者特定群体的集体行动扮演了重要的监督力量。但个体赋权治理范式内生的碎片化趋势可能消解集体行动达成的制度基础，从而在算法应用场景中，不利于以公共利益为目的的集体行动的形成。
肾脏组织 ApoE-/-小鼠肾脏组织分为3种结构即肾皮质、肾髓质和肾集合系统，选取CD34、CD117和PDGFR-α 3种免疫组织化学指标分别单染肾脏的以上3个结构，发现肾脏内特洛细胞对CD117和PDGFR-α阴性表达，肾小管上皮细胞却对以上两种免疫标记物出现阳性表达；在肾脏的3种不同结构中的特洛细胞对CD34阳性表达，特洛细胞在肾髓质内存在最为密集广泛，形成的细胞间网状结构最为明显，其次是肾皮质和肾集合系统，且特洛细胞形成的三维结构皆围绕肾小管分布，在肾小球周围少见(图7～11)。
（三）平台算法义务为主、个体权利为辅的复合型治理路径
与欧盟和美国的算法治理路径不同，我国算法治理需求聚焦于平台经济领域，通过为平台设定算法义务、赋予个体权利初步形成了复合型的算法治理路径。这一模式的生成机理与我国长久以来的技术治理文化、管制传统以及网络时代“国家—社会”的新型互动关系密切相关。从技术治理文化看，信息技术在我国的发展大计中承载着多元化功能，〔47〕 参见郑永年：《技术赋权：中国的互联网、国家与社会》，邱道隆译，东方出版社2014 年版，第5 页。 成为中国现代民族国家建设的重要依托和载体。信息技术的迅猛发展不仅有益于国家和政府治理水平的提升，而且也为社会精英利用信息技术拓展商业领地提供了可能。〔48〕 参见郑永年：《技术赋权：中国的互联网、国家与社会》，邱道隆译，东方出版社2014 年版，第5 页。 因此，我国的技术治理并非仅局限于专业领域，而是在与国家和社会治理相互嵌套的过程中呈现多元面向。加之我国管制传统源远流长，“弱市场与强政府格局”使得市场经济建设始终在政府管制框架下展开。这也使得网络治理体制的形成过程凸显出了深刻的管制烙印。〔49〕 参见宋亚辉：《网络市场规制的三种模式及其适用原理》，载《法学》2018 年第10 期。 与此同时，互联网技术的进步和产业的发展高度分散和超越了政府权力的限度，推动了以平台企业为中心的新型社会关系架构的形成。〔50〕 参见周辉：《平台在网络治理中的义务和责任》，载《中国社会科学报》2017 年9 月15 日第6 版。 平台企业在数字经济领域的主导作用日益突显，〔51〕 参见丁道勤：《〈电子商务法〉平台责任“管道化”问题及其反思》，载《北京航空航天大学学报（社会科学版）》2018 年第6 期。 这也同时为政府和社会的互动创造了新的基础结构。〔52〕 参见郑永年：《技术赋权：中国的互联网、国家与社会》，东方出版社2014 年版，第5 页。 因此，平台作为关键主体不仅创造了政府和社会的新型回归关系，而且平台私权力的地位及其作为生态治理者的角色也使其在算法治理中成为关键枢纽。
目前，我国尚未针对算法出台系统性立法，已有相关条款多散落于现有的网络立法体系之中。在背景上，这些条款的制定体现了立法者对媒体和“算法焦点事件”的回应特性（参见表1）。在制度构造上，通过界定平台企业对于平台生态内算法使用和运行的管理义务，同时赋予用户相应权利构筑多元主体的权利义务机制。在代表性的算法条款中，立法者要求平台企业在特定场景下履行算法应用的明示告知义务，以确保用户的知情权。〔53〕 参见张凌寒：《〈电子商务法〉中的算法责任及其完善》，载《北京航空航天大学学报（社会科学版）》2018 年第6 期。 同时还要求平台企业在算法推荐场景下通过改变和调整技术架构为用户提供选择权和退出权。因此，我国的算法治理实际上镶嵌于平台治理框架之下，通过以平台为抓手，赋权用户在具体场景下享有知情权、选择权和退出权以实现治理目的。在这一治理模式下，通过限定场景、确定平台义务和责任等方式在一定程度上保障用户对算法应用的影响和控制基础，而避免涉及并介入算法决策的具体过程。
表1 我国代表性的算法立法条款和关联的焦点事件〔54〕 参见羽生：《人民网三评算法推荐：警惕算法走向创新的反面》 ，来源：http://opinion.people.com.cn/n1/2017/0920/c1003-29545718.html，2019 年7 月18 日访问。
就治理效果而言，将算法治理与平台治理相结合对监管机构的执法具有效率便捷的优势。客观上，出于企业发展和竞争的需要，平台企业在法律实施过程中也体现了守法激励，〔55〕 例如当有研究指出优步的峰时溢价算法存在问题时，优步算法设计师迅速回馈对算法进行了优化。See Le Chen, Alan Mislove, Christo Wilson, “Peeking Beneath the Hood of Uber”, https://www.ftc.gov/system/files/documents/public_comments/2015/09/00011-97592.pdf, accessed on July 15, 2019. 因而在一定程度上规避了个体赋权模式中个体行动能力有限和激励不足的问题。但一味以平台义务和平台责任为杠杆的治理机制可能会导致较高的总体社会成本。〔56〕 参见宋亚辉：《网络市场规制的三种模式及其适用原理》，载《法学》2018 年第10 期。 “监管机构—平台—用户”的线性监管路径具有平台责任边界不清的风险，〔57〕 参见丁道勤：《〈电子商务法〉平台责任“管道化”问题及其反思》，载《北京航空航天大学学报（社会科学版）》，2018 年第6 期。 可能为平台施加过多的义务和责任从而影响产业的发展。与此同时，平台合规成本的提高在客观上也不利于行业中小平台的生存、发展和竞争。因此，我国的算法治理尚不成体系，不仅应用场景受限，也未能充分关照算法应用生态中各方主体的责任和权利边界。我国未来的算法治理方案应当在超越既定格局的基础上进行系统化的制度重建。〔58〕 参见李洪雷：《论互联网的规制体制——在政府规制与自我规制之间》，载《环球法律评论》2014 年第1 期。
建立和完善河长制工作的监督、评价和问责制度，拓宽公众参与渠道，营造良好的社会氛围，实现对区域范围内河湖的有效保护。
三、迈向算法信任：完善我国算法治理方案的四项建议
在机制设计原则上，对于算法应用场景关涉重大公共利益，个人的行动空间和选择能力有限，可能引发的社会风险以至于试错成本极高的情形，应当采取审慎适用和严格监管的问责模式。而对于个体行动空间和选择能力较大，不易引发重大社会风险从而危害公共利益的情形，则宜选择较为柔性的个体赋权方式，赋予算法开发者、使用者以及用户更多的自主沟通和协商空间。在机制设计上，精细化、场景化监管框架的达成还需要成立专业的算法监管机构，以确保监管者的专业能力而避免将管控责任过多转嫁平台，同时还可由其结合复杂的算法应用场景制定精细化的分类监管标准。例如有学者在系统研究后提出，首先可以通过对算法的可预测性、可解释性和通用性进行分类，识别出透明度低、架构复杂和具有公共利益危险性的算法类型制定较为严格的监管标准。〔67〕 例如该作者提出了算法复杂程度的可能性量化范围。通过算法的可预测性、可解释性将算法分为白盒子、灰盒子、黑盒子、有感知能力（sentient）以及奇点（singularity）五种类型。其中黑盒子意味着算法显示了较为新兴的特质，对其预测变得困难或者无法预测或解释其特征；有感知能力意味着算法可以通过图灵测试（即具备达到或者超过人类智力的能力）；奇点意味着算法能够递归性地进行自我改进（即算法达到了发展过程中的奇点）。See Andrew Tutt,“ An FDA for Algorithms” 69（83） Administrative Law Review 83-123（ 2013）.其次可以基于算法的预期用途、关键类型和可接受的错误类型等指标提出设计、测试以及指导算法开发应当符合安全边际的绩效标准。〔68〕 See Andrew Tutt,“ An FDA for Algorithms” 69（83） Administrative Law Review 83-123（ 2013）.
（一）技术信任和治理信任的同步推进
从制度设计机理来看，与算法治理的个体赋权路径不同，美国在算法治理领域采用的是依靠外部专家、行政机构和公众进行算法稽核和算法评估的问责机制。算法问责机制的核心在于算法使用者或者控制者有义务报告并证明算法系统设计和决策应用的合理性，并有义务减轻算法可能带来的任何负面影响或者潜在危害。〔40〕 Nicholas Diakopoulos and Sorelle Friedler, “How to Hold Algorithms Accountable”, MIT Technology Review, https://www.technologyreview.com/s/602933/how-to-hold-algorithms-accountable/, accessed on June 28, 2019. 换言之，算法问责制更加关注算法运行结果的公正性而非深究每一个内部运行环节，由此为算法使用者提供了探索降低算法风险和负面影响措施的制度激励。在算法问责制的建立过程中，立法者采取公共利益的视角，强调专家和专业组织等外部专业力量对确保算法决策理性的重要作用。同时从正当程序的视角出发，确保公众在事前、事中和事后享有充分的参与机会。从美国的隐私法发展脉络来理解，算法问责制符合美国长久以来的隐私文化和治理传统。如詹姆士·惠特曼所指出的，与欧洲对隐私的观念认知和文化传统有所不同，美国的隐私权传统中相对缺乏以荣誉和尊严感为导向的制度关照，更多是建立在对个人自由价值观被破坏的焦虑感之上。其倾向于将家庭想象为个人自由行动的防御和堡垒，将国家视为可能对个人隐私造成侵犯的主要来源。〔41〕 See James Whitman, “The Two Western Cultures of Privacy: Dignity Versus Liberty” 113 （6） Yale Law Journal 1151-1221（2004）.受这一隐私直觉的影响，立法者试图通过限制国家权力、确保市场效率的方式来构建隐私治理体系。因此不仅在算法治理领域，在其他隐私领域中，行业自律和外部监督都不约而同地成为了重要的治理工具。〔42〕 See James Whitman, “The Two Western Cultures of Privacy: Dignity Versus Liberty” 113 （6） Yale Law Journal 1151-1221（2004）.因此，率先在公共事业场景建立外部算法问责机制是符合美国的隐私文化和规制传统的。
伴随着对网络治理规律的认知增长，我国立法者也意识到技术信任和治理信任同步推进的重要性。在刚刚审议通过的《关于加快建立网络综合治理体系的意见》中就明确指出要坚持“网络法治、技术治网等各方面的网络综合治理体系，全方位提升网络综合治理能力。”〔64〕 新华社：《习近平主持召开中央全面深化改革委员会第九次会议》，来源： http://www.gov.cn/xinwen/2019-07/24/content_5414669.htm，2019 年7 月24 日访问。 聚焦于算法治理领域，一方面应当逐步制定算法可靠性行业标准，为开发者、使用者提升算法性能奠定规则激励。另一方面，在促进产业发展、保护用户利益以及提升治理效能的目标指引下，还可以通过立法促进平台企业在算法应用架构设计领域赋予用户更多的选择和退出功能，同时鼓励开发适合我国算法应用场景的算法规制技术予以综合统筹推进。
（二）场景化和精细化的算法监管机制设计
鉴于算法决策被广泛应用于商业领域和公共事业领域，不同算法类型的技术差异性和场景多元性决定了不应简单采取单一的规制标准。在探讨网络规制时，劳伦斯·莱斯格就曾明确地提出“网络需要各种选择”的主张。〔65〕 参见［美］劳伦斯·莱斯格：《代码2.0：网络空间中的法律》，李旭、沈伟伟译，清华大学出版社2009 年版，第9 页。 他认为有些选择应当由个人决定，例如作者是否要主张他的版权或者公众通过何种方式保护自己的隐私，但当所规制的事项关涉价值理念的选择时就应当由集体决定。〔66〕 参见［美］劳伦斯·莱斯格：《代码2.0：网络空间中的法律》，李旭、沈伟伟译，清华大学出版社2009 年版，第9 页。 在算法治理中，由于应用的广泛性以及嵌入场景的复杂性，所涉公共利益和可能引发的风险也呈现多元面向。如前文所述，诉诸于个体赋权路径和外部问责路径的治理思路都各自展现了局限和不足。因此我国在建立算法治理体系时，应当以场景化和精细化治理为核心思路，借鉴、吸纳和融合个体赋权路径和外部问责路径的场景治理优势，探索精细化的治理机制。
伴随着算法技术的指数级跃升和发展，算法将在我国的公私场域中带来更多维度的复杂性影响。个人主体性的丧失、个体不公的结构性锁定以及传统决策治理框架的失效等算法危机将会逐步显现。基于算法应用迅速发展和算法治理相对滞后的客观实际，我国立法者已经敏锐地认识到算法治理的重要性和紧迫性。一系列近期出台的政府规章中也基于特定条款对以定向广告推送为代表的个性化推荐、人工智能合成广告和新闻、算法驱动的差别定价等应用场景做出了治理尝试。〔59〕 参见《数据安全管理办法（征求意见稿）》，公开征求意见系统，来源：https://zqyj.chinalaw.gov.cn/readmore?listType=2&id=3109， 2019 年7 月17 日访问。 但如本文前述，这些条款对于算法治理体系的建构而言只是涓滴尝试，尚不足在治理层面为公众建立算法信任。依据技术信任的形成机理，算法信任主要来源于两个方面。一是增强算法技术本身的可靠性、稳定性等绩效表现使得公众对其运行形成稳定预期和信赖；二是通过法律、行业规范、技术伦理等制度创建可信的治理环境使得公众增加对算法技术的掌控感和影响力。〔60〕 Berkeley Dietvorst, Joseph Simmons, Cade Massey, “Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err” 144（1） Journal of Experimental Psychology: General 1-13 （2014）.算法信任的建立不仅有助于公众增加持续使用和扩展交互程度，还有助于增强开发者优化算法的各项激励。因此，算法信任的建立将有助于算法技术最大价值的发挥，应当成为算法治理的核心目标。通过上文对算法危机根源和核心表现的剖析以及对三种算法治理路径的梳理，本文提出完善我国算法治理方案的四项建议，以期助力算法信任的生成，为立法者探寻算法治理的中国方案提供有益支持。
我国算法行业在此前的标准制定时已经初步尝试了以场景和架构为基准的思路。2018 年7 月，中国科学院软件研究所作为技术牵头单位，中国电子技术标准化研究院出台了首个国内人工智能深度学习算法评估标准，即《人工智能深度学习算法评估规范》。〔69〕 中国电子技术标准化研究院：《人工智能深度学习算法评估规范》，来源：http://www.cesi.ac.cn/201807/4058.html，2019 年6月6 日访问。 这一规范基于深度学习算法可靠性的内部和外部影响，结合实际应用场景，确定了由7 个一级指标和20 个二级指标组成的算法可靠性评估指标体系，成为了场景化和精细化算法治理实践的有益尝试。在算法监管机制的未来探索中，建议以架构边界和具体场景为依托，充分考虑算法决策的主体类型和作用类别，结合算法决策的设计和运行目的、应用场景的风险相关性和公共利益相关性以及用户在具体场景中的行为选择和控制能力等多种指标，建立相应的分类标准、绩效标准和设计标准指引，探索场景化和精细化的算法治理机制。
CBL组学员主要以病例讲解为主，以小组形式开展讨论式教学，由带教教师课前将EUS下胆道胰腺正常解剖结构、典型图例和经典EUS下病例图像、患者病史及信息进行整理，在授课中采用先播放患者信息、病史、体格检查等一般资料，然后将典型EUS下图像逐一展示，鼓励学员分组讨论，拟定初步诊断结果以及列举诊断依据，讨论之后向学员讲解诊断结果，并指出误诊原因以及诊断流程和诊断图像特征。
（三）算法治理与数据治理和平台治理的有效联结
除了在纵向视角以架构和场景为基石探索建立动态、精细的算法监管机制外，在横向视角中，算法的稳定性和可靠性还离不开内容层与应用层的影响。个体赋权的治理思路表明，数据和算法的联结治理不仅符合算法的设计规律，还可在运行过程中弹性化地赋予用户以选择和行动基础。同时结合我国的现有治理经验，建议在完善算法治理方案时采取算法治理、数据治理和平台治理相互联结的思路。根据算法运行原理可知，数据对于算法决策的达成发挥着至关重要的作用。在机器学习中，除建模中包含系统设计人员的偏见之外，用于训练的数据本身如果存在基于性别、种族或者其他方面的结构性歧视，则经过训练的机器就会“学习”使用以该种属性或者代理变量来自动区分相关主体，从而可能导致系统性的歧视决策。〔70〕 Reuben Binns, “Algorithmic Accountability and Public Reason” 31（1） Philosophy & Technology 543-556（2018）.在实践中，由于大多数情形下训练算法所用的数据都是基于其他目的收集后所获得，〔71〕 Robert Brauneis & Ellen Goodman, “Algorithmic Transparency for the Smart City” 103（20） Yale Journal of Law and Technology 103-176（2018）.因此在这一过程中，就可能基于多种原因在数据环节产生质量风险从而影响算法决策。〔72〕 Robert Brauneis & Ellen Goodman, “Algorithmic Transparency for the Smart City” 103（20） Yale Journal of Law and Technology 103-176（2018）.而在商业场景中，除考虑数据和算法的联结治理，还需要继续推进完善我国算法治理和平台治理的深度融合。如本文前述，平台企业在商业场景下对算法开发和应用起主导作用，在算法优化层面具有较强的动机和激励，从而既可以在一定程度上避免个体赋权路径凸显的碎片化弱点，又可以避免外部问责路径中算法使用者缺乏算法优化激励以及与知识产权和商业秘密制度衔接不畅的阻碍。数据是算法运行的宝贵资产和持续优化的源泉；算法是海量数据挖掘和分析的有力工具；平台是提供数据和开发算法的关键基地。因此在建立算法治理的框架时，不应孤立、静态、割裂地就算法而论算法，而应秉持数据、算法和平台相互联结的聚合性视角统筹推进。
（四）算法治理短期、中期和长期方案的稳步理性推进
未来科学家雷·库兹韦尔曾提出加速回报定律，即信息科技的发展会按照指数规模而非线性规模呈爆炸增长的态势。〔73〕 See Ray Kurzweil, The Age of Intelligent Machines , The MIT Press, 1992. 按照这一技术发展规律，算法技术的发展也会以指数级的速度不断迭代更新。在技术飞速发展并不断借助平台应用嵌入到商业和公共事业领域时，希冀通过立法的方式对其进行追赶常常是徒劳无功的。技术立法领域中的“步伐困境”和法律规制挑战已被充分警示。〔74〕 参见马长山：《智能互联网时代的法律变革》，载《法学研究》2018 年第4 期。 例如，当下算法治理领域多以算法解释权作为核心突破点，但当算法架构变得极度复杂和自主时，对算法进行预测和解释都将变得十分困难。因此应当从根本上明确算法治理的长期性和复杂性从短期、中期、长期结合技术发展实际设定匹配的阶段性治理手段组合稳步推进。〔75〕 Urs Gasser and Almeida Virgilio, “A Layered Model for AI governance” 21（6） IEEE Internet Computing 58-62 （2017）.劳伦斯·莱斯格就原则上如何科学设定不同时期的治理策略曾提出两点重要的看法。首先，他认为立法者在应对技术带来的挑战时应理性应对，尽量避免“头脑发热地冲动决策”；〔76〕 例如，魏则西事件和竞价排名广告问题就促使该事件仅爆发两个月后《互联网广告管理暂行办法》和《互联网信息搜索服务管理规定》被颁布出台。参见宋亚辉：《网络市场规制的三种模式及其适用原理》，载《法学》2018 年第10 期。 其次，应当培育出理解和应对立法者所做政策选择的制度基础。〔77〕 参见［美］劳伦斯·莱斯格：《代码2.0：网络空间中的法律》，李旭、沈伟伟译，清华大学出版社2009 年版，第9 页。 在莱斯格的语境下，制度基础的达成需要立法机关、法院、行政机关的通力协作，需要硬核的制度设计和软性适宜的文化有机融合。换句话说，它需要一个国家培养出一种适合技术变革和创新的社会生态系统。〔78〕 参见［美］劳伦斯·莱斯格：《代码2.0：网络空间中的法律》，李旭、沈伟伟译，清华大学出版社2009 年版，第9 页。 因此，面对算法适用中媒体不断放大的算法危机和由此伴生的算法信任焦虑，立法者应当审慎理性决策，科学设定算法治理在短期、中期和长期应当达成的核心目标。〔79〕 Urs Gasser and Almeida Virgilio, “A Layered Model for AI governance” 21（6）IEEE Internet Computing 58-62 （2017）.其次，应当意识到法律在算法治理过程中的有效性边界，在增加正式制度供给以应对复杂、多变的算法危机时，还应当充分关注“社会规范”的力量，尤其是由平台、网络社群、行业协会等主体形成的有利于新型网络秩序形成和维系的各种网络规范。〔80〕 参见戴昕：《重新发现社会规范：中国网络法的经济社会学视角》，载《学术月刊》2019 年第2 期。
选择阶段性的治理策略时，短期内可以通过法律赋予用户适用算法决策的自主选择权和退出权以增强个体的选择空间和控制能力。同时通过行业协会和专门团体对算法开发、设计和应用建立伦理准则和行业指引。为了更为审慎理性地对算法应用进行引导，在事前和事中阶段尚无法确定法律应当在何种程度上介入算法决策过程时，可借鉴产品责任的相关规则，借助司法裁判以个案视角逐步探索确立算法责任的合理边界。例如，可以从算法应用引致损害结果的案件中要求算法主体承担赔偿责任，从而避免法律对算法架构的过度干预导致算法开发和创新受到不当影响，同时有利于激励算法开发和应用主体完善其产品设计，避免将风险转嫁到社会公众，导致企业的风险外溢。〔81〕 本部分观点受到明理计算法学沙龙第1 期与谈嘉宾北京市海淀区人民法院知识产权庭杨德嘉庭长的启发。 但从中长期来看，个体赋权路径可能过于分散且效能不佳。同时从结果视角以产品责任为裁判规则力求改善算法设计激励机制的方法无法解决实践中算法事故发生后由于内部架构复杂、开发设计者众多而不能清晰界定责任承担主体的问题。〔82〕 在2018 年5 月美国佛罗里达的特斯拉Model S 发生系统故障导致车辆与迎面驶来的卡车全速相撞的事故调查中，由于机器学习系统的运行逻辑和决策依据存在技术层面的解释挑战，特斯拉公司无法明确提供机器视觉系统在事故发生时未能准确检测道路障碍的原因。特斯拉公司与传感器Mobileye 公司也对事故责任各执一词。美国国家运输安全委员会在责任判定时就面临着较大挑战。Jordan Golson, “Tesla and Mobileye Disagree on Lack of Emergency Braking in Deadly Autopilot Crash”, The Verge, https://www.theverge.com/2016/7/1/12085218/tesla-autopilot-crash-investigation-radar-automatic-emergency-brakbra, accessed on January 26, 2019. 当制度基础成熟时，探索建立专门的规制机构负责对算法的开发和部署进行精细化监管可能成为优化算法治理的重要备选方案之一。此外，建立真正有效的平等沟通机制促进立法者、算法设计和使用者、用户、专业协会等多元主体之间真正地开展对话，创造更为合理和可信的算法运行生态，以期培育成熟的算法治理基础也应成为长期治理的重要方案之一。
四、 结论
面对智能技术的飞跃式发展，尤瓦尔·赫拉利曾指出未来经济链的顶端将是各种类型的算法。〔83〕 参见［以］尤瓦尔·赫拉利：《人类简史：从动物到上帝》，林俊宏译，中信出版社2014 年版。 聚焦当下，从教育评估到福利管理，从公共安全到社会服务，由大量数据驱动的算法已经成为新型权力中介，或对人们的行为和表现进行预测，或对各种资源和福利分配进行排序。这些决策与各种平台应用有机结合，不断颠覆并快速带领人们迈向算法媒介性社会。〔84〕 Mark Graham and William Dutton, Society and the Internet: How Networks of Information and Communication are Changing Our Lives , Oxford University Press, 2019, p. 2.面对新的社会样态，我们应当抱有客观、包容的心态给予算法技术足够的创新空间，但与此同时还应审慎和理性地分析算法危机的根源和特征，并有针对性地总结算法治理经验，探索最佳治理方案。从缓解算法焦虑到迈向算法信任，依靠的不仅是算法技术本身的优化和完善，更需要在凝聚共识的基础上建立有效应对的治理机制。创新先行、治理助力，如此才可从容应对、稳步前进。
有关室内空气质量和挥发性有机化合物(VOCs)的问题日益受到严格审查。 作为关系到空气质量、健康和福利、生产效率和绩效的证据基础，标准和法规可能会收紧。
目 次
一、算法危机的三重特征
二、算法治理的三种范式：个体赋权、外部问责和平台义务
三、迈向算法信任：完善我国算法治理方案的四项建议
四、结论
* 张欣，对外经济贸易大学法学院副教授、对外经济贸易大学数字经济与法律创新研究中心执行主任。作者感谢明理计算法学沙龙第一期“算法透明度的边界”、第七期腾讯C-Law 午餐会“算法可解释性治理路径探究”及第七届“社会建设与法治中国论坛”各位与会学者对本文提出的建议。本文系国家社科基金重大项目“互联网经济的法治保障研究”（项目号18ZDA149）和中国博士后科学基金面上资助项目“数字经济时代架构理论和场景视角下的算法治理研究”（项目号2019M650142）的阶段性研究成果。
（责任编辑：陆宇峰）
标签：算法治理论文; 算法问责论文; 算法信任论文; 平台责任论文; 对外经济贸易大学法学院论文; 对外经济贸易大学数字经济与法律创新研究中心论文;