科学治理与科技政策
如何看待研究成果社会影响力评价？—英国高等教育机构科研水平评估框架概览
范英杰1,2,3 徐 芳1,3
（1中国科学院大学；2国家自然科学基金委国际合作局；3中国科学院科技战略咨询研究院）
摘要： 在全球化和知识经济社会的背景下，科学社会影响力及其评价逐渐成为热门词汇。本文基于英国的全国高等教育机构科研水平评估框架—研究卓越框架（Research Excellence Framework, REF）实践，围绕四个问题反思REF研究成果影响力评估实践：为何要做？如何做？做得怎么样？对中国有什么启示？同时为中国未来开展研究成果影响力评价实践，以及相关政策和办法的出台提供启示与建议。
关键词： 社会影响力，评价，研究卓越框架
一、引 言
全球化和知识经济社会背景下，在科学由公共财政资助的前提下，政府和社会公众对科学能够增强国家竞争力的期望值不断提高[1]，明确要求研究成果对经济社会作贡献，这既是政府和社会对科学的期望，也是科学承担社会责任的表现之一。科学的社会影响（social impact of science）逐渐成为科技政策和评估领域以及科技界本身的热门词汇。在理论研究与实践探索上，欧美众多国家在国家、机构及项目等层面，越来越多尝试将研究成果的社会影响作为科学投入与产出衡量指标，如澳大利亚的研究质量框架（Research Quality Framework，RQF）[2]，荷兰的标准评估协议（Standard Evaluation Protocol，SEP）[3]和欧洲研究理事会（European Research Council, ERC）的概念验证基金[4]。
2014年英国完成了最新的全国高等教育机构卓越科研水平评估（Research Excellence Framework, REF）[5]，首次探索在全国高教系统科技评价中引入研究成果社会影响力评价（research impact）。REF的实践在全球范围内取得了积极的反响，但其对研究成果的社会影响力，尤其是基础研究领域研究成果社会影响力的强调和评估，也在推崇并习惯于科学自治的国家中引起了一定的对立情绪，英国的科学界甚至发出“科学已死”的呼声，以此表达对政府、社会干预过多的愤慨。
在我国基建高速发展的过程中，边坡稳定性越来越成为影响工程安全运营的作用因素[1-2]。自新奥法提出以来，在世界范围内地下工程建设中得到了广泛应用，成为现代隧道技术发展的重要标志[3]。随着我国公路、铁路建设规模不断加大，越来越多的长大深埋隧道出现，层状岩质边坡围岩隧道支护体系的设计和施工逐渐成为隧道建设中的难题，特别是隧道的进出口的边坡稳定性是决定隧道工程建设成败的关键问题[4]。
从科技发展和满足国家需求角度看，研究成果的影响力评价未来在全球范围内势在必行。但是，由于影响力评价的理论问题和技术难度，又使其在实践操作中不可避免地遭遇挑战，甚至带来负面效应。事实上，围绕其对科学发展可能产生的危害与影响，全球科学界关于REF也有不少争议和讨论。
在冬棚虾养殖生产过程中不稳定因素有很多，如气候、天气、水质、底质变化，苗种、管理等。如何保持稳定，提高成活率？
一是平等、多元化以及成本问题。REF将影响力案例研究与HEI的人数相联系，给HEI带来了额外的负担，也因此加剧了HEI在人员选择上的不平衡。目前评估采集的相关科研人员数量占比是29.2%，比2008年RAE的12.2%大为提高，但仍集中在最优秀的科研人员中，在平等和多元化方面仍有完善空间。同时，REF将评估结果与未来的资源分配联系在一起，也在某种程度上造成一些短期内无法看到影响产出的研究无人问津，不利于研究本身的多元化。另外从成本方面考虑，由于实施 REF 评估的经费最终来源于英国纳税人，因此公众对其是否合理使用一直较为关注。REF 团队在2014工作指南中主动提出会将REF评估的执行成本最小化，并不断评估各机构的相关经济成本，以确保公共财政经费支出的合理性。事实上，2014年的REF评估总成本为2.46亿英镑，超出2008年RAE评估的133%，且其中绝大部分为大学和研究机构自己承担。REF是否秉持“重收入也重支出”的英国公共财政管理理念，有没有提高公共财政经费的使用效率，也是值得深思的问题。
二、REF影响力评价的前因后果
英国对影响力的强调由来已久，1620年培根就说过：“科学的真实和合法目标就是让人类生活充满新的发明和财富。”[6]而最早提出科学要服务社会，即科学的社会功能，也是英国的贝尔纳，他的《科学的社会功能》一书认为科学承载着社会功能，英国科学也应像苏联科学那样组织起来，通过规划和利用科学增进人类福祉，改善人类命运。1993年英国政府发布的白皮书《实现我们的潜力》[7]提出了包括关于创造财富和提高生活质量在内的目标。在随后的开支审查中，白皮书和各种政策都在强化研究、创新、企业和社会效益之间（实际、假设或期望）的关系。正如Matthew Keanes与Matthias Wienroth所述，今天的英国像其他国家一样，“公共研究经费日益成为战略投资，而国家、经济和监管战略的目标都是回报的最大化。”[8]这一论述可以从英国高校拨款制度的改革历史中得到验证。
2016年7月28日，英国商业、能源与工业战略部（Department for Business，Energy and Industrial Strategy，BEIS）在此基础上就 REF 的效果发布了独立调查委员会报告[14]。报告指出，REF带来的积极影响包括：参加机构反馈认为评估成为提高研究质量的推动力，同时也在机构内部提升了研究活动的显示度。专门研究也表明REF新推出的影响力评估让HEI对更为广泛的社会、经济活动和成果有了更为深刻的认识，在证明英国研究对社会、工业界、第三产业、政策制定者和文化健康方面的重要性，鼓励学者考虑其工作的不同对象方面都起到重要的推动作用，更好地实现了影响力案例中所阐述的科学所带来的经济社会效益[12]。虽然仍需微调和完善，但REF评估能够帮助高等教育机构建立自己的战略，鼓励研究人员更积极的与社会建立联系，充当市场化和内部学习的平台。但不可忽视的是，报告也指出REF影响力评估后可能存在的一些问题，具体表现在以下几方面：
根据《科学与技术法》法案，英国高校实行“双重拨款制度”（dual support system），即政府通过经常性拨款中的科研拨款和科研项目经费两个渠道对大学的科研活动进行资助，大学自行决定拨款在教学和科研的分配。上世纪80年代，受经济危机影响，新上台的保守党采用新公共管理理论进行改革，措施之一是国家通过评估的形式实现对公共机构的管理。随着英国高校规模的不断扩大和政府财政压力的不断增加，传统的大学自主和学术自由逐渐受到加强科研拨款的选择性、透明度以及提高政府科研拨款使用效率的冲击。80年代后期，英国在大学拨款中引入择优分配机制（the policy of selective funding），并采用公式化拨款模式（formula based funding model），其中对科研经费的拨款通过英国高等教育拨款委员会（Higher Education Funding Council for England，HEFCE）组织的高等学校科研水平评估实施完成。自1986年开始，HEFCE每4至5年组织一次评估，前两次被称为 RSE 评估（Research Selectivity Exercise），后四次被称为 RAE 评估（Research Assessment Exercise）。
30余年来，HEFCE不断改进与完善高等教育机构科研水平评估。但由于RAE评估完全依赖同行评议，导致评估成本逐年攀升，加上政府财政支出面临紧缩压力，科研经费分配需再次重新定位与改革。2006年3月，英国政府宣布改革质量评估和经费拨款模式，经过两轮咨询与试点试验后，2008年HEFCE终止高等学校科研水平评估，出台新的科学研究卓越框架（Research Excellence Framework，REF），旨在打破“学术金本位”传统观念，引导科研为经济社会做贡献。与RAE相比，REF强调了科学研究成果在学术价值以外的经济社会贡献，即在评价指标上新增了社会影响力评估（20%），目标是“推动全球经济发展，尤其是提升英国经济竞争力，提高公共服务与政策实施效果，提升生活、健康和创造性产出的质量”。Morgan Jones 和Grant认为，“根据非学术影响来决定研究经费分配是一个相对较为新颖的观念，REF是第一个在整个研究系统内进行应用的例子，所取得的结果值得深入研究。”[9]
三、REF影响力评价方法剖析
如何开展影响力评估，对没有先例可循的HEFCE来说是巨大的挑战。2009年，HEFCE曾在29家高等教育机构中开展了一次影响力试评估活动。领域涉及英语、社会工作、物理、医学和地学，探索以类似于评估研究成果的方式评估研究影响力的科学性和可行性，目标是为REF影响力评估方法、程序和操作等体系设计做铺垫。此次试评估形成的调查报告显示，总体来说，试评估确认了影响力评估方法和方式的可行性，高等教育机构完全可以记录非学术影响，大多数高校也都会从这一过程中获益，按领域划分的评估组意味着可以找到一种适用于所有学科的通用模式[10]。报告同时指出，对HEFCE而言，影响力评估最大的挑战是如何将HEFCE定义的研究成果影响力准确传递给学术界，尤其是让学术界理解社会影响力的涵义远比经济影响力广泛得多。对学术界而言，最大的挑战在于如何找到证明影响力范围和重要性的证据。随后，结合试评估实践和调查报告，HEFCE重点在研究成果社会影响力的界定、评估材料准备及评估方法权衡三方面做了精心的设计与安排，并在2011-2014年通过REF在全国范围内实施了大规模的研究影响力评估。统观这一过程，以下几个方面值得关注。
1.3.1 红薯叶总黄酮提取工艺流程 红薯叶经拣选、清水漂洗后，用吸水纸吸干表面水分，80℃烘至恒重，粉碎后过40目筛得红薯叶粉末备用。称取红薯叶粉末5 g，用70%乙醇于70℃水浴中提取5 h，得到红薯叶黄酮提取液。
1. 关于研究成果社会影响力的界定与评估
师生第一次见面，班主任以最真诚的态度与学生交朋友，毫无保留地向学生介绍自己，在学生面前展现一个善良而又值得信赖的班主任良好的形象。同时学生得知老师对他们掌握那么多的信息，使学生感受到虽与班主任未曾谋面，但对他们非常用心，从而从内心接受并喜欢新来的班主任。作为新班主任集开学前期几天的辛勤付出与智慧，换取这一群孩子们齐刷刷的信任，拉近了彼此间的距离，师生交往成为一件快乐的事情，为班主任工作开了一个好兆头。
作为初次大规模的对研究成果社会影响力的一次探索性评估，HEFCE首先就研究成果的社会影响力的定义、内涵、案例和指标等方面做了大量研究和准备工作。《REF评估框架与提交指南》（2012）中将研究成果的社会影响力（impact）定义为：“成果在学术以外，为经济、社会、文化、公共政策或服务、健康、生活环境或质量带来的影响、变化或收益”[11]。其中还列举了可以视为影响力的案例，包括但不限于：任何地理位置（无论是本地、某个地区、国家或国际上）的受众、受益人、群体、选区、机构或个人在活动、态度、认知、行动能力、机遇、表现、政策、实践、过程或理解方面产生的效果、改变或收益；也包括减少或防止伤害、风险、成本或其他负面影响。
REF将所有研究学科划分为36个不同的学科领域，分布在ABCD四个大学科评估组当中。四个大学科评估组的设计考虑了学科差异性和特点，A组相对集中在生命与医学类，B组主要是理工工程类，C组集中在社科管理类，而D组则主要是人文艺术类学科，从而在最大程度上保证评价标准在不同学科之间的适用性。具体到每个评估组，影响力的参考指标因领域而略有不同。如在生命与医学、理工工程和社科管理的ABC三组里，一般细化为对以下方面的影响：健康和社会福利，社会、文化和创造力，经济和商业，公共政策和服务，生产，从业者和服务，环境，国际发展。在人文艺术类的D组，影响力范围更为广泛，与前三类的差异也更明显，还涉及公民社会、教育事业、公共话语权等方面。针对每一类影响力，HEFCE提出了可能的指标，供被评单位和评估专家在进行材料准备和评审时参考使用。如在健康和社会福利方面的建议参考指标是：临床结果、公共行为或健康服务得到改善的指标（如挽救生命，感染率降低）；生活得到改善的指标；消费者对健康风险和利益意识增强的证据；对动物福利法规或指导方针变更的书面证据；临床实践中的相关证据；临床操作手册变更的书面证据；治疗或护理的成本降低等。无论地理位置如何，影响力评估主要从“范围（breadth）及意义（significance）”两个维度进行。评估组对影响力案例的“范围及意义”做整体打分，并据此给出1至4星的评估。
尽管做了大量工作，但有专门研究报告指出，指南中有些类型的影响力定义过窄，或未被科学界正确理解[12]。如果仅是机械地将特定产出成果与最终的（往往也是非常特定的）影响力联系在一起，认为两者之间是简单的线性关系，就会限制被评估机构提交那些无法合理追溯至某个特定研究的影响力案例。为此，报告进一步就研究成果的社会影响力定义及范围提出建议，影响力不应只集中在经济社会方面，还应包括对政府政策、公众参与和理解、文化生活、领域以外的学术影响，以及教学影响。为鼓励长期的跨学科研究，一些打破已有框架的学术影响，如促成新学科建立的研究也应纳入考虑范围。同时应探索将案例与研究活动和工作（a body of work），以及广泛的研究成果相联系的多种方式，从而营造一种更为丰富的文化，能够涵盖个人、群体或机构的专业知识、设施和网络所支持或带来的最终研究影响力。
2. 关于影响力评价材料的设计
2011年7月19日，HEFCE发布REF参与指南。指南指出，影响力评估主要基于高校提供的两类材料：影响力案例研究（REF3b）和影响力模板（REF3a），案例研究提供了研究产出影响力的案例，模板则是围绕便于将研究转化为影响力这一目标设置的更为广泛的战略。每份案例和模板都有不止一位评审人进行评估和打分，各组之间分配方案各不相同。案例打分之后，有一个不同分数的核准过程，不同大学科组之间也有一定的核准。除了核准以外，还有一个步骤就是审计，评估组成员可以要求对个案和模板进行审查，以核实是否符合打分的各项标准，也可以对案例中提到的证据源进行核查。审计并非在所有案例中系统开展，只是基于分评估组的要求。此次评估中，74%的高等教育机构（Higher Education Institutions, HEI）有至少5%的案例接受过审计[12]。
应高等教育资助委员会要求，Jonathan Grant 等借助文本挖掘分析（主题模型、关键词搜索和信息提取）工具对“个案+模板”的影响力评价方法效果一探究竟[13]。研究结论显示，英国高等教育机构研究成果的社会影响力广泛、深远，给人留下深刻印象，不同类型的高等教育机构往往在不同类型的影响力方面有专攻。影响力个案研究中使用标准化的信息清单和影响力定义，为未来分析提供了丰富的资料来源，表明个案研究是评估研究成果社会影响力的合适方式。但该研究同时也指出，各方对高等教育资助机构提供的影响力指南看法不一，有全力支持，也有高度怀疑。比如，支撑影响力的定量证据多种多样也无一致性，这说明不可能设置权威的影响力测度指标。又如，充分的影响力指标还未被建立起来，不能用来指导资助决定。而各利益相关者，如机构、评估专家、HEFCE等，对如何进行证据采集以证明研究成果的影响力，影响力“广度”和“重要性”标准的定义，以及机构层面影响力的概念等仍有不同理解。
3. 关于影响力评价方法的考量
作为西安咸阳国际机场“一带一路”航空物流枢纽建设的主体单位，西部机场集团航空物流公司加大与大型物流企业的联系力度，建成国内首个圆通航空转运中心；完成顺丰西北航空枢纽扩容改造；与中通、京东等物流企业强强联手开展生鲜配送业务，其自有电商品牌“翼生鲜”线上线下同步运营。目前，航空物流公司为70余家国内外航空公司和60余家物流企业提供货物收运、运输、交付等一站式服务，以及中转、报关报检、VIP制单、机下快提、配送、仓储、冷链等航空物流全链条服务。
本发明公开了一种高耐药性和耐热性合金铜箔的镀液和制备方法，镀液包括氯化锌、氯化镍、氯化钾、缓冲剂、配位剂、表面活性剂和辅助添加剂。配位剂为柠檬酸、酒石酸、磺基水杨酸和/或氨基磺酸及其盐；表面活性剂为十二烷基磺酸钠和/或十二烷基硫酸钠；辅助添加剂为胡椒醛、氯苯甲醛、肉桂醛、抗坏血酸、苯甲酸和烟酸、木质素磺酸钠、芳香烯酮和/或苯乙基酮；镀液至少包括7种以上的化合物。用本发明制造的铜箔镀层细密、平整、光亮的镀层；铜箔具有较高的热力学稳定性，锌镍合金镀层还具有良好的耐高温腐蚀性，可用于高密度、多层化、细线路印制线路板的制造。
至材料提交截止日2014年11月9日，英国164家高等教育机构（HEI）中的154家提交了52077份全职员工材料，191232份研究成果，6975份影响力个案研究材料和1911份影响力模板。这些个案研究材料包含了英国HEI过去20年间科学和知识应用活动产出的成果，也成为REF中社会影响力评估的基本素材和资料。在REF发布的科学社会影响力评估结果中，44%的科学社会影响力被评为“杰出”（4星级），40%为“非常可观”（3星），13%为“认可但适度”（2星），2%被评为“很小”（1星），1%为“无影响”（无星级）。2015年，HEFCE委托兰德欧洲（RAND Europe）① 兰德欧洲是一家非营利性的政策研究机构，通过研究和分析来提升政策和决策水平。 对REF影响力评估的准备过程进行了调研，目的是了解这些机构和研究用户在准备影响力评估材料过程中的获益与负担，找出影响力评估对不同机构和学科带来的预期和非预期的影响，形成以事实为依据的改进结论和建议，同时为机构、研究用户、HEFCE和其他利益相关方倡导创新的好做法。调研共选取了21家高等教育机构，并咨询了三大利益相关人群体：HEI研究领导小组，HEI影响力个案研究和模板撰写人，和非学术研究用户。调研采用了多种形式，包括对21个HEI进行实地访问，126次一对一和团组访谈，对2153位影响力案例及模板材料撰写人开展网上调查（共收到1248份反馈，占58%），对29位研究用户进行电话访谈，以及收集了20家HEI的成本估算。分析报告显示，大多数评估专家认为评估过程让他们可以公正、可靠和权威的方式对影响力进行评估，但对各个评估大组之间是否保持了评估标准的一致性似乎不太确定。
四、REF影响力评估效果分析
在同行专家评估为主、定量评估（文献计量）为辅的评估方法中，同行专家评议起着决定性的作用。同行专家员由实际研究人员和研究成果用户组成，共涉及以下几类评估人（表1）。
REF对影响力评估方法的最初设想是文献计量学方法。在2007年11月关于REF的第一次研讨会中，参会代表们讨论了关于文献计量法在各学科之间的使用，并于2008年2月14日发布了对文献计量法评估的分析报告。报告指出，REF的评估尽可能以定量评估为基础，在不同学科之间为适应其学科特点形成一个评估框架。针对科学性和理工学科的评估以文献计量指标（Bibliometric Indicators）为主要评估方法，而针对诸如艺术、人类学和社会学这类的人文学科的评估在计量（metrics）基础上增加了同行评议。然而，以定量评估为基础的文献计量评估方法在试点操作中暴露出了较多的问题，在面向全国的咨询中，大多数受访者对文献计量法也提出了质疑。他们认为文献计量不能直接对科研质量进行评估，只是对科研质量的评估提供了一个相关的指标。大多数受访者认为文献计量指标只注重学术界的知识的影响，而并不能提供一个全方位的参考，尤其是忽视了科研实际应用的影响以及对科研成果使用者的影响，认为文献计量指标法应与其他相应的评估方法结合使用。经过考量和商议，REF影响力评估最后采用了以同行专家评估为主，定量评估（文献计量）为辅的评估方法，以此来确保专家评议对评估活动整体方向的把握，以更好地提高科研评估的准确性和透明性。
表 1 REF 评估人分类及人员组成
在我的家乡那里，春天是快的。五天不出屋，树发芽了，再过五天不看树，树长叶了，再过五天，这树就像绿得使人不认识它了。使人想，这棵树，就是前天的那棵树吗？自己回答自己，当然是的。春天就像跑的那么快。好像人能够看见似的。春天从老远的地方跑来了，跑到这个地方只向人的耳朵吹一句小小的声音：“我来了呵，”而后很快地就跑过去了。
在中国，研究成果的影响力评价尚未有系统化的理论研究和规模化的探索实践，但是在我国建设创新型国家的过程中，研究成果的社会影响力已经被摆在毋庸置疑的重要位置。2016年在“科技创新大会”上，习近平总书记强调“要改革科技评价制度，建立以科技创新质量、贡献、绩效为导向的分类评价体系，正确评价科技创新成果的科学价值、技术价值、经济价值、社会价值、文化价值。”这表明了对研究成果多维度影响力（包括社会影响力）的认可与重视，这也意味着科技评价的未来方向之一是研究成果的社会影响力评价。在这种形势下，如何认识和理解研究成果的社会影响力评价值得所有科研人员和管理人员深思。基于此，本文将基于REF实践，围绕“为何要做？如何做？做得怎么样？对中国有什么启示？”四个问题，反思REF研究成果影响力评估实践，为中国未来开展研究成果影响力评价实践，以及相关政策和办法的出台提供启示与建议。
二是教学与科研的失衡。REF目前指南中提及的影响力评估指标并不包含对教学活动的评估，但很多高校认为他们的研究和教学活动紧密融合，这一点在影响力评估中应有所体现。更重要的是，若过于强调科研，忽视大学科研与教学的相互影响，会给HEI在经费使用、教师择业以及英国学术界的实力和效率方面带来不良影响。因此，有批评者提出，如何授课，如何选择授课内容，以及对教学活动的影响也应成为评估影响力的重要指标，而通过从研究中选取影响力案例将对大学教学产生重要影响。另外，将影响力个案与研究产出成果相联系意味着一些植根于产业界、公众参与和政策建议方面的、非常重要的影响力渠道被忽视，这也可能造成大学没有从商业或其他领域雇佣人员的动力。
三是不利于交叉学科研究。文献计量学分析结果显示，目前英国有8.4%的论文属于跨学科研究产出，但只有6.4%在REF评估中得到认可，这表明REF评估存在系统性偏差。尽管很多影响力案例显示了一定程度的跨学科性，但在与研究成果相联系的过程中限制了那些由合作产出的跨评审单元的影响力，无论是同一机构内部跨部门合作还是不同机构间的合作都存在这一问题。有研究报告指出，为鼓励长期的跨学科研究，一些打破已有框架的学术影响，如促成新学科建立的研究也应纳入考虑范围[14]。如果在影响力评估中解除每个评估单元提交材料的人员数量和所需案例数量之间的连接关系，给予机构更多自由度，将会有利于他们更有效地展示实力，提交有力的跨学科影响力案例，尤其是来自多学科/跨学科和合作产出的机构层面的影响力案例。
四是阻碍“蓝天”研究的发展。最初英国学界对REF产生巨大争议的原因在于，REF重视研究成果的影响力，可能会阻碍“蓝天”研究的发展，让应用研究比基础研究更占优势，也让那些更容易展示影响力的研究占得先机，而来自各行各业的同行评估专家团的参与也可能会影响到学术自治。英国大学联合会（University and College Union）甚至曾发起过“站出来力挺科研”的请愿活动，反对REF的影响力评估，认为科学与其社会或经济应用之间存在清晰界限，应“抵制粗糙的应用概念”，这一点还有待日后观察[15]。
五、REF影响力评估对中国的启示与思考
REF对研究成果社会影响力的评价实现了从理论、方法到实践的探索，在全球尚属首次。中国早就提出要开展影响力评估，但由于对影响力评估的意义尚未达成广泛共识，同时也受限于评估方法和工具手段的短板，影响力评估在中国一直处于探索与试点，并未在全国范围内大规模的开展与实施。本文通过对REF影响力评估实践进行回顾与反思，相信会给中国未来开展研究的社会影响力评价提供有价值的信息与帮助。综上，笔者得出三点启示与思考：
首先，研究成果的社会影响力是可评的且意义深远，条件成熟时中国应该探索开展影响力评估。作为科技管理的重要工具之一，当前科技评价更加注重科技对经济的贡献，以及对社会的影响，这也是各国政府关注的热点和重点问题。REF全面探索了科学的社会影响力评价，证实了科学社会影响力是可评的，且通过此次实践，将人们的注意力从“科学”转移至“科学与社会的互动”，并且促进了英国高等教育机构科学文化上的改变，以及聚焦于对社会的广泛贡献或与之相关的机构发展战略上的转变。在中国，绩效评价已经成为新时代政府管理科学的重点抓手，强调和引导科技成果产生社会影响力，为经济社会作贡献，是建设创新型国家的必然要求。
其次，影响力评价方法有待完善和提升，中国需探索适应自身特色的评估方法体系。研究成果社会影响评价之所以难以开展，究其主因，挑战一在于影响力难以清晰界定，二在于如何设计最合适的影响力分类方式和指标体系。REF通过广泛调研与专家意见征询，最终从四大类九大方面对各类研究成果可能产生的社会影响力做了分类和内涵解释，并提出具体的参考标准和案例，以方便被评机构和评估专家据此准备材料或开展评估工作。作为初次探索科学影响力的评估实践而言，自然还存在很多不足。但REF确实探索了模板+案例的影响力评价方法，为后来者结合自身实际，开展社会影响力评估发挥了示范作用。对于中国而言，如何探索中国特色的研究成果影响力评价制度和方法，与中国科学体系和科学发展阶段，以及国家社会发展需求相适应，从而建立独具特色的研究成果影响力评价体系，尚需要长期的理论研究和实践探索。
再者，中国开展影响力评估应该吸收已有实践的经验和教训，并注重分类思想和阶段性原则。中国未来开展影响力评价，除了要吸收已有实践的经验之外，还需避免因重视影响力评价而不利于基础研究或交叉学科研究的负面效应。为规避该类教训，需要评价体系上的统筹考虑和指标权重设计上的平衡。此外，笔者认为中国开展影响力评估至少还要注意两点：一是要体现分类的思想。REF实践中将所有学科单元分成了ABCD四个大组，在A和B组的指南中明确提出在影响力评估中鼓励使用量化指标，而且给出了一个标准的清单，C组则是提供了一个可提交的长长的潜在案例清单。这表明不同大学科领域组产生的影响力指标或证据不能拘泥于固定形式，要考虑学科和不同方面影响力分类的特性。二是要注意阶段性原则。考虑到各种因素下导致各学科发展阶段不一，对不同学科的影响力评估也要注意阶段性原则，包括产生的影响力也会面临阶段性的问题，这都需要在中小范围内试点、逐步探索，发现并解决问题，进而有条件地逐步推广与扩大。
参考文献
[1]Böhme, Gernot, and N. Stehr. The Knowledge Society: The Growing Impact of Scientific Knowledge on Social Relations. Vol.10. Holland: D. Reidel Publishing Company, 1986: 7-29.
[2]Drucker, P. Post-Capitalist Society. Oxford: Butterworth Heinemann, 1993.
[3]Australian Research Council. Australian Research Council Corporate Plan 2015-16 to 2018-19. Canberra: Commonwealth of Australia, 2015.
[4]VSNU, KNAW, NWO. Standard Evaluation Protocol 2015-2021: Protocol for Research Assessment in The Netherlands. Utrecht/den Haag/Amsterdam: VSNU,NWO and KNAW, 2014.
[5]HEFCE, SFC, and DELNI HEFCW. Decisions on Assessing Research Impact, REF 01.2011. HEFCE, Bristol Google Scholar, 2011.
[6]Bacon, F., 1620. In: Urbach, P., Gibson, J. (Translators, Eds.), Novum Organum.Chicago, Open Court Publishing Co, 1994.
[7]The Chacellor of the Duchy of Lancaster. Releasing Our Potential—A Strategy for Science, Engineering and Technology. http://www.official-documents.gov.uk/document/cm22/2250/2250.pdf. [2018-10-10].
[8]Kearnes, M. and Wienroth, M . Tools of the Trade: UK Research Intermediaries and the Politics of Impacts. Minerva，2011, 49（2）：153-174.
[9]Morgan Jones M, Grant J. Making the Grade: Methodologies for Assessing and Evidencing Research Impact. https://www.exeter.ac.uk/media/universityofexeter/research/ourresearchexcellence/describeproject/pdfs/2013_06_04_7_Essays_on_Im pact_FINAL.pdf. [2018-10-10].
[10]Technopolis. REF Research Impact Pilot Exercise Lessons-learned Project:Feedback on Pilot Submissions (Final Report). https://www.ref.ac.uk/2014/media/ref/content/pub/refresearchimpactpilotexerciselessons-learnedprojectfeedbackonpilotsubmissions/re02_10.pdf. [2018-10-11].
[11]Research Excellence Framework (REF 2014). Assessment Framework and Guidance on Submission, 2012. https://www.ref.ac.uk/2014/media/ref/content/pub/assessment framework and guidance on submissions/GOS%20including%20addendum.pdf.[2018-10-11].
[12]Manville C, Jones M M, Frearson M, et al. Preparing Impact Submissions for REF 2014: An Evaluation: Findings and Observations. http://www.ucml.soton.ac.uk/sites/default/files/pages/131/UCML%20Plenary%20July%202015%20-%20REF_impact_prep_process-findings.pdf. [2018-10-11].
[13]King’s College London and Digital Science. The Nature, Scale and Beneficiaries of Research Impact-An initial Analysis of Research Excellence Framework 2014 impact case studies, Research report. https://www.kcl.ac.uk/sspp/policy-institute/publications/analysis-of-ref-impact.pdf. [2018-10-11].
[14]Stern N. Building on Success and Learning from Experience: an Independent Review of the Research Excellence Framework. https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/541338/ind-16-9-ref-sternreview.pdf. [2018-10-11].
[15]Stand Up for Research of University and College Union. http://www.ucu.org.uk/events. [2018-10-12].
How to Understand the Evaluation of Social Impact of Science?——An overview of UK Research Evaluation Framework of HEIs
FAN Ying-jie1,2,3 XU Fang1,3
(1University of CAS； 2Bureau of International Cooperation, NSFC；3Institutes of Science and Development, CAS)
Abstract: Against the background of globalization and knowledge-based economy society, social impact of science and its evaluation have gradually become a hot topic. How to identify and understand social impact of science and how to properly evaluate it are well worth being studied by all researchers and science policy makers. This paper aims to review and re-assess the practice of the first nationwide evaluation of social impact of science - the Research Excellence Framework (REF) in the United Kingdom along the following four questions: “Why should we do it? How to do it? How is it carried out? What are the implications for China?” It is our hope to provide inspirations and suggestions for China to carry out evaluation of social impact of science in the future, as well as to contribute to relevant policy-makings.
Keywords: social impact of science，evaluation，REF
中图分类号： G311
文献标识码： A
DOI: 10.19524/j.cnki.10-1009/g3.2019.01.129
作者简介： 范英杰，中国科学院科技战略咨询研究院、中国科学院大学博士研究生，国家自然科学基金委研究员级高工。研究方向为科技政策、科技管理与评价。徐芳，中国科学院科技战略咨询研究院副研究员。研究方向为科技政策、科技管理与评价。
通讯作者： 徐芳，邮箱地址：xufang@casipm.ac.cn。
项目资助： 国家自然科学基金面上项目（71771205）；中国科学院青年创新促进会项目（Y8X0101501）；中国科学院科技战略咨询研究院院长青年项目（Y8X1171Q01）。
（责任编辑 黄小茹）
标签：社会影响力论文; 评价论文; 研究卓越框架论文; 中国科学院大学论文; 国家自然科学基金委国际合作局论文; 中国科学院科技战略咨询研究院论文;