英国大学科研评价改革：从RAE到REF，本文主要内容关键词为：英国论文,科研论文,评价论文,大学论文,REF论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
英国科研评价(research assessment exercise，RAE)开始于1986年，是“撒切尔计划中公共开支问责制的一部分”[1]。在过去的二十多年中，RAE分别于1986年、1989年、1992年、1996年、2001年、2008年开展了六次科研评价活动。每次科研评价都会在上一次的基础上对评价方法、程序和标准等进行一定的调整。2008年科研评价之后的改革幅度较大。
RAE是建立在同行评议基础上的。由于同行评议的主观性，越有名的机构越容易在科研评价中获得较高的等级，获得的资助也越多，由此产生马太效应，使强者更强，弱者更弱，不利于新兴交叉学科的发展，也使一些新成立的大学感到困难重重。“一些新成立的大学指出，科研评价导致科研经费过于集中于某些学校，致使他们得不到必要的科研经费的支持，科研活动受到制约”[2]。鉴于此，“英国政府让高等教育基金会发展一个新的研究评价与资助框架，以更多地使用定量信息”[3]。为了减少同行评议的副作用，降低评价过程中产生的成本，英国高等教育基金委员会在2008年科研评价后决定采取新的科研评价体系——研究卓越框架(research excellence framework，REF)。因此，从某种意义上说，从RAE到REF的变革是政府推动的结果。
1 卓越研究框架
REF是评价英国大学科研质量的新体系，将代替RAE，并于2014年完成。根据卓越研究框架，科研评价要定期开展，英国每所大学的院系都要依据国际标准评比，以评价研究质量[4]。通过卓越研究框架，英国高等教育基金委员会旨在发展和维持一个充满活力和国际竞争力的研究部门，并使他们对经济繁荣、人民幸福、知识的扩张和传播做出重要贡献[4]。REF的科研评价“是其他国家(澳大利亚、美国和欧洲其他国家)的范例”[5]。事实上，REF已经引发了全球效应：澳大利亚、芬兰以及斯堪的纳维亚等国家纷纷效仿；法国和德国也通过大规模的改革正在走上与英国相同的轨道；著名的欧洲研究委员会也在积极追求定量评估[6]。
2014年，英国将开始第七轮大学科研评价，并将使用REF来评价2008—2013年英国大学的科研。目前，REF的评价标准、方法等已经形成，并已公布在其官网上。在REF卓越框架中，研究被定义为形成新见解和有效分享的调查过程。研究包括与商业、工业需要直接相关的工作，与公共和自愿部门需要直接相关的工作；学术；思想、图像、行为、人工制品的产生与发明，包括导致新的或明显改善的见解的设计；试验发展中现有知识的使用产生的新的或实质性改进的材料、仪器、产品或过程，包括设计和建设。研究包括已出版、传播，或以可评价的形式公之于众的研究成果和机密报告。研究不包括常规的实验和对材料、成分过程的常规分析，比如维护国家标准，与新的分析技巧的发展不同；也不包括那些不能体现原创性研究的教学材料的发展[7]。
1.1 评价组织
REF是一个专家评价过程，以学科为基础的专家组评价高等教育机构在36个评价单元(UOAs)中提交的资料。REF设置4个主专家组。每个主专家组下设若干子专家组(详见表1)。4个主专家组将负责制定专家标准和工作方法，以确保遵守已发布的程序，整体评价标准的一致应用，并签署评价结果。专家组成员被4个英国资助机构通过公开提名的方式任命[7]。子专家组将在4个主专家组的领导和指导下工作。每一个评价单元的子专家组将对提交的材料展开详细的评价。REF努力保证主专家组和子专家组的成员由具有从事管理和评价高质量研究经验的个人及来自公立、私立、第三方机构的参与研究影响评价的高水平专家组成[7]。
1.2 资料提交
高等教育机构提交的材料主要包括5个部分[7]：
(1)人员信息。人员分为A类和C类。A类人员是指高等教育机构中的研究人员，他们只从事科研或者教学与科研并重。C类人员是指高等教育机构以外从其他组织聘用的从事研究的人员。
(2)研究产出。评价时段内(2008.1.1—2013.12.31)发表的出版物及其他可以评价研究的产出详情。每位研究人员最多提交4个成果。
(3)影响模板和个案研究。描述评价时段内(2008.1.1—2013.12.31)被评单位使研究产生影响的方法的完整模板以及1993年1月1日至2013年12月31日这段时间的卓越研究产生影响的具体例子的个案研究。影响模板包括以下部分：背景；在评价时段内机构产生影响的方法；支持影响的战略和计划；机构的影响方法以及提交个案之间的关系。
(4)环境资料。研究型博士学位授予的资料及2008年8月1日至2013年7月31日这段时间内获得的相关研究经费。
(5)环境模板。描述2008年1月1日至2013年7月31日研究环境的完整模板。每份提交的材料必须包括一份单一的完整表格，该表格由以下部分组成：概况；研究战略；研究人员(包括人事战略和员工发展，研究学生)；收入、基础设施和设备；合作与对学科的贡献。
1.3 评价标准和等级
从RAE到REF的转变突出表现在评价框架的变化上。从仅仅注重科研产出质量转变为以科研产出质量(65％)为主，同时重视影响(20％)和环境(15％)。这三大方面以质量为核心，从低到高分别给予5个等级：无分类、一星、二星、三星、四星[8]。
所有子专家组使用通用的评价标准，并在共同的评价框架下运行。每个主专家组将要为子专家组研究一套通用的标准和工作方法。REF的通用评价标准包括产出、影响和环境[7]。
产出：子专家组将从原创性、重要性、严谨性的角度，参照国际研究质量标准来评价研究产出。这个指标在总的评价体系中占65％的权重[7]。在RAE中，产出质量建立在同行评议的基础上，而在REF中，是专家评价[9]。
影响：子专家组将评价被评机构从事的卓越科学研究对经济、社会、文化影响的程度和重要性使研究产生影响到办法。这个指标在总的评价体系中占20％的权重[7]。评价每个个案内描述的影响时，专家组要对作为一个整体的程度和重要性形成总体看法，而不是分别评价程度和重要性。评价影响模板时，专家组将考虑模板中描述机构的方法在多大程度上有利于实现程度和重要性的影响。
环境：子专家组将从活力和可持续性角度评价研究环境。包括对广泛的学科和研究基础的活力和可持续性的贡献。这个指标在总的评价体系中占15％的权重[7]。专家组将考虑提交单位的活力和可持续性，以及对更广泛的研究基础的活力和可持续发展方面的贡献。
子专家组将为每个元素(产出、影响和环境)制定一个子概况，表明满足每一个等级质量标准的提交材料的比例。总的质量概况及各子概况中每个等级的定义详见表2。
1.4 评价结果
子专家组在所有提交的证明材料基础上，运用专业的判断对每份提交的材料形成一个质量概况。三个子概况将被整合成一个总的质量概况。评价的基本结果是给每份提交的材料一个总的质量概况[7]。这个总的质量概况结果将发给每个提交单位，它是REF的基本结果。以概况的形式提交结果，确保在评价结果范围被鉴别[7]。
REF的主要结果是给每一份提交材料一个总体质量概况，将于2014年12月公布。质量概况将展示被评价的活动满足四个星级质量水平的比例。除了质量概况，基金委员会将公布每个提交机构的全日制教师数，进一步的报告和反馈将在2015年初得到，评价结果还期望包括以下内容[7]：
(1)每个主要专家组发布一份报告，在其职权范围内确认工作方法和提供观察研究状况的概况(长处、短处、活动的活力、已经产生影响的范围)。这些报告包括每个子专家组提交的部分。
(2)对每份提交材料给予简要反馈，总结质量概况的原因。这个反馈将被送到有关机构的领导那里。关于联合提交，反馈将悄悄地提供给所有相关机构的领导。
(3)每份提交材料的产出、影响和环境子概况将结合起来产生总的质量概况。总的质量概况将提交给机构领导，然后发布。
(4)子专家组和主专家组在REF评价阶段的会议记录将被发布，以提供给公众一份专家组如何开展工作的记录。
(5)REF管理人员的报告，将详细解释过程是以怎样的运行方式管理的。
(6)REF平等和多样化专家组的报告，详细解释了工作方法及在REF中实施平等措施的观察。
2 REF对RAE的继承
从RAE到REF，尽管评价框架发生了很大的变化，但是REF和RAE在很多方面还是一脉相承的，主要表现在以下五个方面。
2.1 中介评价
英国政府不直接进行大学科研评价，而是委托中介机构——高等教育基金委员会对大学科研进行评价。这是从RAE到REF都没有改变的。REF是评价英国大学科研质量的新体系，是由英国四个高等教育资助机构：英格兰高等教育基金会(HEFCE)、苏格兰基金会(SFC)、威尔士高等教育基金会(HEFCW)以及北爱尔兰就业与学习部(DEL)共同开展的[7]。
2.2 评价目的相同
从RAE产生的背景、几次结果的使用来看，RAE的结果是其政府分配研究经费的重要依据。这一点，REF与其是相同的。REF指出：2014年REF的基本目标是为每一个提交材料的机构提供评价结果；使用评价结果选择性地分配研究经费(2015—2016)；评价为投入研究中的公共资金提供问责，为公共投资产生的益处提供证据；评价结果提供基准信息，建立声誉尺度[7]。
2.3 重视产出质量
英国RAE不要求科研成果的数量，只要求科研人员最多提供4份有代表性的科研成果。在REF中，要求每位研究人员最多提交4个最有代表性的成果，并将从原创性、重要性和严谨性三个方面评价。
2.4 以国际标准为标杆
RAE一直把国际标准作为重要的科研评价标准，这在2001年和2008年的科研等级标准中表现得非常明显，“研究活动质量一半以上达到国际领先水平”(2001)为最高等级。REF则规定“在原创性、重要性、严谨性方面的质量都是世界领先”为最高等级。
2.5 遵循公正、平等、透明的原则
RAE评价一直努力遵循公正、平等、透明的原则。现在仍能从其网站上看到1992年、1996年、2001年、2008年最近四次当年使用的评价标准、程序、方法以及评估结果等文件。REF的指南中列出以下原则管理REF的行为[7]：公正，所有学科所有类型的研究和各种形式的研究成果应在公平和平等的基础上进行评价；平等，强烈鼓励高等教育机构提交他们所有优秀研究人员的工作；透明，评价过程和结果公布都较好地体现了透明性。
3 REF在科研评价上的新探索
英国大学科研评价在传承传统的基础上，进行了新的探索。主要表现在以下三个方面。
3.1 引入对影响的评价
影响指标首次作为一个独特的元素被引进研究评价，符合政府所谓的“经济—影响力”议程[9]。评价影响“将要求额外的工作，又要考虑这将会造成一定程度的负担，但同时会提供额外的收益”[10]。“影响”将被子专家组仅用于评价高质量研究。影响必须在REF评价周期内非常明显，虽然研究可能是在10～15年前开展的。使用系的个案研究(departmantal case studies)以及系提供的影响报告书进行评价[9]。REF“影响”的通用定义是：提交影响个案的研究和一个完整的影响模板、相关的资格准则、通用评价标准和等级定义。子专家组将依据这个框架来评价影响。
REF把影响定义为学术界以外对经济、社会、文化、公共政策或服务、健康、环境或生活质量产生的效果、变化或收益[7]。影响包括效果、变化或收益：活动、态度、意识、行为、能力、机会、业绩、政策、实践、过程或理解；观众、受益人、社区、选区、组织或个人；在任何地理位置，无论在本地、区域、国家或国际。影响包括减少或预防伤害、风险、成本或其他的负面影响。对其他高等教育内部的影响，包括对学生和教学的影响。影响不包括对研究的影响及高等教育系统内学术知识的进步，也不包括对提交材料的高等教育机构内学生、教学以及其他活动产生的影响。
为了将影响作为REF的实质性元素，高等教育基金委员在地球系统与环境科学、物理、临床医学、英语语言文学、社会工作与社会政策等5个领域内开展试评价，以验证和改善评价影响的机制。试评价涉及29个大学，试评价的结论使用与试评价中相似的机制去评价研究有广泛的益处，评价方法已经被纳入框架[11]。2010年，REF小组开展了一个试评价以检验和发展REF评价影响的方法。2011年3月，高等教育基金宣布在REF开展影响评价及赋予其权重的决定[12]。
评价影响需要提交的申请包括一个个案研究和一个深入的个案研究，因此，需要至少提交两个案例。个案研究将使用有字数限制的通用模板提交。这样的设计使机构能通过叙述清晰地解释影响。叙述包括适合案例的指标和证据。模板包括以下信息：基础研究及其质量的证据、提交机构的研究对影响或收益做出贡献的方式、影响或收益的性质和程度、引用能被核查的独立来源[13]。
3.2 文献计量指标的使用
英国这次科研评价改革中，“最大的变化就是采用了文献计量指标，并弱化同行评议对评价结果的影响”[14]。REF更多地建立在计量指标上[15]，同行评议只占很小的比重[15]。英国大学科研评价体系从基于同行评议的RAE变革为基于文献计量的REF[6]，《高等教育纪事报》(Times Higher Education)评论说这是“进化，而不是革命”[9]。它类似于一个同行评议为基础的RAE的演变，而不是以计量为基础的革命[9]。英国高等教育委员会(HEFCE)建议通过使用研究的引用来明显减轻同行评价的负担，同时保留强大的对质量的判断是几乎不兼容的目标[9]。
探索使用计量指标，如在2008—2009年的试评价中使用过以一篇文章的被引次数作为质量评价的方法。试评价的结果表明：在REF中仅用计量指标不足以代替专家同行评议。但在一定范围内，至少在一些学科，引用信息可以用来作为专家评价的补充[11]。
3.3 重视对跨学科研究或合作研究的评价
RAE时期已经注意到了对跨学科研究的评价问题。2008年RAE对程序进行了大量的完善以评价跨学科研究。REF在此基础上进行了发展：(1)REF鼓励一个评价单元内的两个或两个以上机构联合提交材料，这是描述已经开展的合作研究最合适的方式。(2)如果研究人员共同撰写或联合研制的成果被列在一个以上提交材料里的话，将与其他成果一样在平等的基础上被评价。(3)在环境模板内，机构应该提供给他们如何支持跨学科和合作研究的信息。专家将给出合适的分数，以表明这些安排已经提高了研究环境的有效性与可持续性，或者提交单位提供了更广泛的研究基础。(4)凡提交的影响是以合作研究为基础的，每个提交单位都可以提交影响，因为他们的研究对影响做出了独特而重大的贡献[7]。
4 REF存在的问题
REF虽然在RAE的基础上进行了很多新的探索和尝试，也努力避免RAE出现的一些问题，但仍然不可能是完美无缺的。尽管REF尚未实施，但是已经引发了一些讨论和质疑。
4.1 大学面临的风险
伦敦大学教育研究所教授Peter Scott指出，对于评价研究表现的新制度如何运行知之甚少，这意味着大学将面临很高的风险。新制度能够改变大学思考研究的方式[16]。REF可能重新激发关于大学的研究。结果很难预测，这增加了一个惊喜(和运动)。规则已经改变，就意味着玩游戏有危险。结果可能产生一个更开放的、有更多卓越维度的研究系统[9]。因此，在未来10年，REF将有更多的风险。这些风险要远大于世界一流大学的命运，或者顶尖教授的自我，甚至成百上千大学院系的命运。此外，在危急关头，可能产生一种全新思考和做研究的方式[16]。Peter Scott指出，REF将会让一些系消失[16]。顶尖或一流大学将首先从研究角度进行定义，然后才是吸引最优秀学生的能力。最优秀的学生被吸引到顶尖的研究型大学里[16]。对于系来说，不仅学术自尊，还有学术可持续性，甚至生存都会有危险[16]。科研评价制度(RAE/REF)被认为对小型的院系、新兴学科、应用学科和跨学科研究不利，即使在学科内部，也有特定的学科领域和研究方法更容易得到支持[16]。
4.2 忽视教学
英国曼彻思特大学社会人类学教授Peter Wade指出，REF对影响的狭隘定义忽略了与大学的社会影响有关的教学的历史作用[17]。REF影响的定义对日常教学事务的忽视是很明显的，然而教学是几百年来很多郡都非常关心的，也被理解为与大学广泛的社会影响相关。这种担忧现在好像被抛给了市场，像是一个被管制的、被REF狭隘影响定义驱动的介于教学和研究之间的楔子[17]。
4.3 耗时耗力
RAE实施过程中另一个非常突出的缺陷是将耗费大量的时间。RAE使用专家组评价，使整个英国的研究界浪费了大量的时间和精力[5]。RAE每3～5年开展一次，高校在一次评价后就得开始准备下一轮的评价，耗费了大量的时间和精力。“2008年的科研评价中，学校提交申请材料的截止日期是2007年11月30日，而评价结果整整拖了一年多，直到2008年12月18日才最终揭晓。学校和教师花费了大量的时间和精力整理材料、填写申请”[2]。REF努力克服RAE的不足，REF与2008年RAE的不同也包括一些细节性的资料要求和界定，如评价单元子专家组从67个减少到36个，主要专家组从15个减少到4个[7]。但是科研卓越框架仍然耗时耗力。有人甚至批评说，学校在提交科研成果时，还得专门请人写“影响”[2]。
4.4 学科差异的问题仍需探索
目前的REF由一个单一的框架组成，主要在同行评议的基础上评价所有学科的研究。在REF建立过程中，曾计划建立分类评价的机制，将所有学科分为科学和其他科学两大类。在科学类学科中，将比RAE更大程度地使用计量指标。在咨询已经建立的部分发展工作后，建立一个评价所有学科的系统，将比双层系统更适合，当然在不同的专家组内部会有一些适当的变化[11]。但在现行REF的分类评价中仍然没有实现。
4.5 鼓励短期的、容易量化的科研产出
REF采用计量指标后，由于计量指标的局限，也引起了一些担忧。兰卡斯特大学教育研究系教授马尔科姆·泰特指出，REF鼓励短期的和容易产生可量化成果的研究，而不鼓励长期的尤其是成果和影响难以提前度量的研究[1]。科研评价对科研工作的导向作用不可忽视，这种担忧不无道理。
综上所述，英国大学科研评价的卓越框架尽管没有完全解决RAE的问题，但还是做了一些新的探索和尝试，尽管也有一些不尽如人意的地方，但是却在科研评价方面有了一些新的突破，是在探索中前进的。科研评价本来就是一个比较复杂的事情，无论英国大学科研评价将何去何从，从RAE到REF毕竟是前进了一大步。