OMS评价方法及其对“2011计划”评价的启示，本文主要内容关键词为：评价论文,其对论文,启示论文,计划论文,方法论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
2012年5月7日“高等学校创新能力提升计划”(简称“2011计划”)正式出台。该计划是继“211工程”和“985工程”两项国家重大工程之后，在我国高等教育领域实施的第三个重大战略工程。实现“2011计划”的总体目标不仅需要构建“2011协同创新中心”的合作模式与运行机制，而且需要建立科学有效的评价机制，以引导和保证协同创新成果的质量和水平。为此，《教育部财政部关于实施高等学校创新能力提升计划的意见》(教技［2012］6号)的“重点任务”明确指出，要“改变单纯以论文、获奖为主的考核评价方式，注重原始创新和解决国家重大需求的实效”，“形成以创新质量和贡献为导向的评价机制”。但从我国已有科研评价活动的现实情况来看，建立以创新质量和贡献为导向的评价机制，从评价机制着手突破自主创新的机制体制障碍，促进社会各类创新力量的协同创新，促进教育与科技、经济、文化事业的融合发展，最终提高国家整体创新能力和竞争实力，尚需要一个探索过程。因而分析和研究发达国家科研评价的制度和机制，对建立适合“2011计划”的评价机制具有重要的借鉴意义。
一、发达国家的科研评价与加拿大的OMS
创新能力是一个国家核心竞争力和综合国力的集中表现，各国政府一方面不断加大在科研领域的投入，以刺激创新、增强本国的创造力和竞争力；另一方面在努力寻找和开发科学合理的科研评价机制，以最大限度地提高科研投入的效益。
英国对大学科研评估十分重视，不论是自1986年沿用至今的RAE(Research Assessment Exercise)，还是2014年将付诸实施、取代RAE的REF(Research Excellence Framework)，其科研评估的主要目的是根据评估结果确定政府对大学的经常性科研拨款，促进大学科研水平不断提高。但英国大学科研评估主要关注的是大学这样一个独立的研究实体，不涉及与其他机构的合作。
美国国家科学基金会NSF(National Science Foundation)是美国联邦政府对基础研究进行资助的主要机构之一。应1993年美国《政府绩效与成果法案》的要求，NSF需要定期向美国国会提交年度绩效评估报告。NSF对科研绩效成果方面的评价，主要采用定性的方法；在科研结果和影响的评价方面，不太重视定量方法和定量数据。
日本的科研评价制度是在《国家研究开发评价指南》的指导下建立的一个相对开放的评价制度。其评价目的在于提高科研活动的效率，创造有利于创新的科研环境等。由于其开放性，每个评价的评价标准、评价方法和评价过程都会根据研究课题性质和领域的不同而有所不同。然而，日本科研评价最鲜明的特点在于，科研评价必须适应以企业为主、大学和其他研究机构为辅的国家科技体制。
加拿大也在不断探索新的、更能与本国具体情况和创新需求相适应的评价机制。如何全方位地评价科学研究的影响，尤其是被通常忽视的中长期影响，切实增强本国的创新能力和竞争力，成为加拿大科研评价的一项重要任务。同时加拿大的科研评价也面临着过度依赖定量指标等问题。他们为了解决这些问题进行的一些尝试很值得我们借鉴。其中加拿大创新基金会(Canada Foundation for Innovation,CFI)设计的结果度量研究评价方法就是一项成功的尝试。CFI是由加拿大政府于1997年创立的非营利性的中立机构，旨在通过对研究基础设施(以下简称设施)进行资助，提升加拿大的科技创新能力。资助方式主要是接受加拿大各大学、学院、医学研究机构和非营利性组织的申请，在申请通过后，向所申请的研究项目的基础设施进行投资。CFI可自由地探索满足国家和社会创新需求、促进科学研究水平提高的评价机制。经过长时间的调研讨论，在深入分析了解OECD以及美国等先进组织和国家的评价制度后，结合加拿大的科研实际情况，CFI设计了结果度量研究评价方法(OMS)[1]。虽然OMS的直接目的是为了评价CFI的投资在何种程度上对研究机构研究目的的实现做出了贡献，但其影响远不限于此。它对加拿大科学研究水平的认识、对加拿大创新能力的提升、多学科合作研究、研究机构和产业界协同合作效应的发挥都有极大促进作用。CFI已将其纳入《绩效、评估、风险和审计框架》(Performance,Evaluation,Risk,and Audit Framework(CFI,2008)[2])，它的很多特点和做法对我国实施的“2011计划”评价都具有借鉴意义。
二、OMS的设计理念、评价指标和评价过程
(一)设计理念
1.符合可操作性原则。任何一个评价都受到实际资源的制约以及参与群体的限制，因此所设计的评价方法必须具体可行，既要考虑在现有资源条件下是否可行，又不能给资助机构增加过重的负担。OMS就是在CFI明确地认识到研究机构的本质任务是从事科学研究的基础上制定的。
2.注重评价方法的融合。在评价具体方法的选择上，OMS采取的是定量方法与定性方法相结合的综合评价法，在二者之间进行整合平衡。过度依赖定性评价方法，则评价人员的主观性过强，很难有足够的说服力；而单纯地使用定量方法，同样会造成很多的问题，如定量指标存在的多维测量的困难以及用简单的定量指标衡量复杂的研究结果和影响的困难。
3.强调其他资助主体的参与和对国际评价专家网络的利用。因为CFI的资助仅仅是被评价机构所受资助的一部分，因此，在设计OMS时，其他资助主体也被经常邀请参与到OMS评价过程中。另外，在设计OMS时，CFI邀请了国际评价专家和它在加拿大的重要股东共同参加，包括专家咨询公司以及一个股东咨询会的机构研究主管，加拿大和国际研究评价专家，还有加拿大联邦和各省的政府官员。这些群体的参与，使得OMS的评价更为客观。
(二)评价指标
CFI在设计OMS指标时，除关注研究成果等短期指标外，还很关注投资对研究状况的影响以及研究状况和研究机构之间的相互作用关系、研究机构和外界社会的互动。为了更好地体现研究的中长期影响，CFI还把研究在社会创新和效益方面的贡献放到了与经济和商业影响同等的地位。此外，CFI认为指标体系应该对所有研究机构的评价都适应，这样就能把评价结果整合在一起，比较分析出整个加拿大研究机构和学术界在研究方面的发展趋势。为使评价过程和结果都更为清晰，一方面便于被评价机构认识到评价的重点，另一方面便于评价的具体操作，OMS把被评价机构的研究结果分成战略性研究规划、科研能力、高质量的人才、研究产出、创新和外部效益5部分。
根据加拿大已有的科研评价情况和促进创新能力提升等方面的需求，OMS评价指标包含四部分内容：研究和知识转移的直接产出(如研究的出版数量和被引次数，专利和授权数，受过研究训练的毕业生人数)；研究的直接结果(如政府项目或公共服务、新产品和服务，生产和交付流程的改变)；研究的间接结果(如机构某些方面的战略性思考或行动，新网络和联系，尤其是国际的和更有效的研究环境的建立)；研究在健康、经济、社会和环境等方面的社会经济影响。具体的指标如表1所示。
1.战略性研究规划(Strategic research planning,SRP)。CFI鼓励每个机构制定出能建立在他们明显优势上的，并且能够整合不同学科和部门的观点和知识的未来规划。SRP的制定，一方面促使研究机构认清长远的研究方向，为保持持续创新能力奠定基础；另一方面，也更加关注研究机构的研究在中长期方面的影响，而不仅仅是功利化的短期产出。
SRP的过程是指CFI资助对SRP是否存在影响，机构对SRP目标的理解是否发生过变化等。外部因素对SRP的影响指研究机构所在的地区和省以及加拿大联邦的需求和科技政策对机构指定SRP是否有影响，而机构又是如何根据国家发展需求去调整自己的SRP的。同理，SRP的外部效应是指机构的SRP对省市和国家层面的政策的影响。而机构的补充性投资分为人力资本投资和财政投资，前者包括机构里拥有的首席研究员(CRC[3])和产业研究讲座，以及CFI资助后新聘任的情况；后者则包括其他机构提供的研究经费等。
战略性研究规划既是加拿大各院校和科研机构能否争取到CFI支持的条件，也是各院校和科研机构保持长期研究方向的重要保证。
2.科研能力(Research capacity)。科研能力指CFI资助的可使用的基础设施的数量和质量，以及这些基础设施能否帮助机构吸引到更多的研究经费，对形成关键性的集聚的总体影响。
基础设施的价值指该设施从CFI和其他资助方面共获得了多少资金。能力是考虑到研究机构自身的规模和类型，该机构的设施在技术水平和运行能力所处的层级，以及在CFI资助前后的变化。受资助的科研经费指机构每年获得的研究经费的数额。关键性的集聚是指形成和谐有序的、考虑到学科多样性且拥有在特定领域做出重要改进的能力的研究团体，即有凝聚力、有创新能力的学者群体。人才的招募和保留指CFI的投资是否有助于机构吸引和挽留优秀人才。访问学者的数量是指在CFI资助前后，研究机构吸引的在该机构内至少待一周以上的访问学者的数量。多学科性既包括不同学科的研究人员使用设施和彼此间的合作情况，也包括机构在促进多学科间交流所做的努力，以及多学科交流程度的深入和广度的拓展。
科研能力是科研活动顺利进行和产出科研成果的必备条件，也是如何衡量创新能力和水平、满足创新要求和国家重大发展需求的一个关键因素。
3.高质量的人才(Highly qualified personnel,HQP)。CFI认为HQP是机构未来研究能力的一个重要预测指标，所以把HQP从研究能力分离出来。HQP的次级指标包括被培训HQP的数量和质量，培训的质量和相关性，以及走上工作岗位的HQP的影响。在OMS里，受培训研究人员的数量是指项目负责人和设施的主要使用者培训的学生和研究人员的数量。培训和受培训人员的质量指CFI对受培训人员和培训的质量以及对培训项目的声望和竞争力的提升是否有影响。通过HQP的知识转移则是指对毕业生人数和他们初次的工作地点进行计算，得到的通过被培训人员产生的知识和能力转移的情况，以及其他相关机构从中受益的情况。
研究机构与其他机构的合作是创新的平台和形式，研究的产出和成果是创新的具体表现，而最重要的却是高质量的创新人才。高质量的创新人才是一切创新的基石，也是国家持续创新能力的保证，社会持续进步的推动力。所以，高质量的人才培养情况，是OMS评价里非常重要的一部分。
4.研究产出(Research productivity)。研究产出关注研究的直接结果，以及CFI对机构在主题领域的综合竞争力提升的影响，研究性质的改变，产生的创造性发现和发表论文的能力，重要研究方案和网络的参与，以及对CFI资助设施的分享。
竞争力指该机构的竞争对手是哪些，处在何种水平，以及CFI对机构综合竞争力的影响如何。研究生产能力指依赖设施的关键性成果，与之相关的重要著作和论文，参与的国内外重要会议，机构和机构研究人员获得的重要奖项等。外部联系强调机构与外部产业界、其他研究机构或政府之间合作关系的建立和发展，以及联系合作对增加研究价值的作用。而基础设施的共享意在促进受资助机构采取措施确保设施能够在机构内部的研究人员以及机构与产业界和其他组织之间得到有效且充分的分享利用。
5.创新和外部效益(Innovation and extrinsic benefits)。OMS认为创新即包含专利、许可和副产品等成果，也包括有社会经济效益的其他类别的创新和知识转移活动，以及研究在主题之外的其他领域的影响，如激发了其他领域的创新和进步。外部效益主要是对当地、地区和国家创新的影响。
合作伙伴指研究机构与最终用户的合作情况，以及该机构从合作中获取经济利益的多少，CFI资助对这些合作伙伴关系以及贡献的影响情况。技术转移则是传统的专利、许可等的转移情况，以及转移后该技术专利对最终用户的重要程度和影响。其他类型的知识转移包括通过合同研究、设施和数据库使用、建立产出模型、研究人员受邀讲课、成立新的研究组织等方式进行的知识转移。社会经济效益指该研究机构的研究对提升公民健康、倡导建筑领域新的结构标准和规范与更好的公共政策和环境效益等方面的影响。外部效益以及合作伙伴是OMS对产学研合作和协同创新进行评价的反映。OMS不仅关注产学研合作对研究机构创新能力的提高的作用，也关注产业界从这种协同合作中获得的经济效益。力图使这种合作能够长期化、稳定化，形成产学研合作的多赢局面。
(三)评价过程
OMS的评价流程是一个系统化的过程。整个过程就是对OMS设计理念的全方位阐释(见图1)。
图1 OMS的评价流程
1.选择作为评价单位的主题。主题是指由申请机构和CFI共同决定的一系列研究项目和相关的项目负责人以及使用资助研究设施的研究人员。OMS主题的选择是CFI在与该资助机构就某一领域研究的协调过程中完成的。CFI要求讨论的这个领域必须在申请机构的战略性研究规划中。虽然主题的选择是协商的结果，但主题一定要能覆盖适当数量的CFI资助项目，通常在10到20之间。为了使主题能代表申请机构最近10年的研究产出、研究成果和研究影响，这些项目在成熟阶段方面必须要有区别，有一些是运行良好的(项目已运行时间通常为8年～10年)，而另一些则是最近受资助的项目。
通常，主题应该包括CFI资助的一定范围的研究设施、实验室和其他设备、数据以及研究机构内(也可以跨机构)的计算机平台。一般来说，主题都会涉及很多学科、部门和院系，并且由不同的CFI资助项目所组成。截止到2009年，CFI已经有的主题包括人类基因工程和脑成像、环境和海洋、食品科学、信息和通讯技术。
2.机构的自评。选定OMS的主题后，研究机构就需要完成一份深度调查问卷，称为机构的数据文件(Institutional Data Document,IDD)，该问卷包含对每一个指标的考察，共有超过50道问题。其中一些是询问定量数据的(例如，院系招聘的人数)，而其他的则是需要机构自己做定性评价的(例如，评价该主题研究的最重要的社会经济效益)。OMS会给被评价机构提供一些指导性文件，包括IDD的指导方针和模板。机构的自评既是机构长期研究与运行数据的积累过程，也为CFI和研究机构对研究状况进行纵向比较提供了极大的便利。
3.专家组审查和实地访问。对每一个OMS，CFI都会在实地访问前6个月左右邀请一个专家组。专家组由4名成员构成，包括加拿大和国际上在学术、公共和私人部门的知名专家。被选择的专家与调研机构必须没有利益冲突，而且需要签署一项有关道德和保密的文件，并且CFI会要求他们对评审过程和OMS文件进行保密。CFI会确保其中至少一名成员拥有在主题领域相关的知识。CFI承担专家组所有的旅行费用，但专家组的服务是免费的。之后，专家组会实地访问研究机构，并与研究成员和大学的高级管理人员座谈，要求他们提供关于研究结果的评价。实地访问由一名加拿大的资深顾问主持。资深顾问通常是一名退休的公务员或研究人员，并且在该研究领域拥有深厚的知识。由于这些限制，“主持人”这个角色被限定在了一小部分顾问中，所以每个人都会主持很多研究小组。也因为这样，这些资深顾问的参与会对OMS的整个调研提供指标判断、文件解读等方面的一致性。
专家组会对访问之前申请机构提交的IDD进行全面的审查，包括项目负责人的简历、机构的战略研究规划、最近的项目进展报告、最近一年的关于总体完成情况和挑战的机构年度报告等背景文件，所有这些文件在实地访问前都是可以被专家组查阅的。然后专家组对机构进行为期一天半的访问和会谈。这些会谈主要是机构的展示，内容涉及OMS结果分类中的一个方面。报告之后，会有问答环节，专家组通过问答获得对该主题活动和研究影响的一个更好的理解。问答也是将来对研究质量和影响进行判断的进一步的证据。
专家组调查和实地访问是OMS运用定性方法的最重要体现，也是具体可行、科学有效的判断被调查机构研究能力和创新水平的保障。由于科学研究活动的特殊性，论文发表数等单纯定量数据不足以体现研究机构或人员的真实水平。因而以同行评议为主体的定性评价和以文献计量为方法的定量评价是相辅相成、互补不足的，在科研评价中二者缺一不可。OMS评价方法试图在二者中找到一个动态的平衡。
4.专家组报告。CFI会给专家组提供一份OMS指标的模板，他们在上面进行打分评级。为了使专家组对各个主题的评级值得信赖和日后查询的方便，以及评审程序的公正透明，在座谈会议期间，会有摄像机记录下专家组成员对每个分类结果评价指标的一致评分。评级结束后由专家组组长撰写专家组报告，并附上问卷结果和其他由机构提供的文件、专家组的讨论和访问期间的评价以及对结果指标的一致评分。经过专家组的校验和机构关于精确性的检查后，一份关于OMS的完整的专家组报告就完成了。
5.周期性简报。专家组将完成的报告提交给CFI董事会，并在CFI内部分享。也就是说，每个研究机构的专家组报告都不会单独公开。CFI会在取得机构同意的基础上，制定对外公开、周期性的OMS简报。
三、OMS对“2011计划”评价的启示
OMS方法的很多特点早已被加拿大国内的其他机构和其他国家的评价机构所采用。NSF对外部专家委员会(Committee of Visitors,COV[4])意见非常重视，凸显了专家组或专家委员会这种外部评价形式的重要性。作为一个集传统性与创新性、评价与问责于一身的评价方法，OMS的评价目的与“2011计划”评价机制并不完全相同，评价结果与资源分配的关系也存在差异，但二者都是对国家层面的创新计划进行评估，主要目的均在于提升国家的创新能力，实现资源的有效利用。所以，OMS仍然有较多地方值得“2011计划”的评价机制所借鉴。
1.除了研究的短期成效外，应该更关注研究的中长期影响。目前我国在很多领域的研究水平都不高。而科技创新，尤其是重大创新和原始创新的出现，既需要国家和社会的大力支持，也需要时间的积累，无法做到一蹴而就。“2011计划”作为一个全新的、旨在促进我国高校协同创新和原始创新能力的国家级科技规划，它的评价更应该将各个“2011中心”研究的短期成效与中长期影响结合起来，不能急功近利，只关注眼前的研究成果而完全忽视未来的创新潜力。
2.要注重数据的积累和纵向的比较。OMS的主题中既有很成熟的(8年～10年)研究项目，也有新成立的研究项目，目的之一就是通过评价看到近10年内加拿大在某个主题领域研究的成果和变化趋势。申请机构提交的文件和填写的深度调查问卷中都有很多对纵向数据的要求，这使得专家组能够评价近十年内CFI资助的影响增量。
教育部相关文件中明确指出，“2011计划”从2012年开始实施，以4年为一个周期。要求各中心加强平时对研究和管理数据的收集，一方面有利于各“2011中心”了解自己研究的进展以及取得的成就和存在的不足；另一方面也会对教育部、财政部建立的绩效评价机制在具体实施过程中增加很多便利，有利于评价工作的具体开展。有可靠数据支持的评价结果也更有说服力。因此，各“2011中心”平时的数据积累至关重要。
3.重视对协同的评价。OMS既重视被评价机构在研究过程中与外部机构的联系合作，也重视研究成果对形成产业集群的带动作用，目的在于增强研究机构与行业之间的紧密合作，促进协同创新能力的提升和协同创新成果的产生。而在评价专家组的构建过程中，CFI把对评价有积极作用的行业专家、评估专家、国际著名专家、政府官员等不同主体和身份的人联系起来，这是评价主体层面重视协同效应发挥的具体表现，使得评价结果尽可能客观公正且有意义。
“2011计划”是一个希望通过促进协同创新体之间的合作，有效整合创新资源、达到提升创新能力目的的计划。它与其他创新能力提升计划的主要区别也在于它对协同效应的关注，对校校、校所、校企等合作形式的协同是否发挥作用、发挥了多大作用的重视。协同作用的高效发挥，既是“2011计划”成功的关键所在，也是评价“2011计划”的客观标准。而OMS提供了在研究的全过程评价协同作用的样板，对“2011计划”有一定的借鉴意义。
4.注重定性评价方法和定量评价方法的平衡。目前国内外科研评价过度依赖定量数据的事实和弊端已经被广为认识和讨论，OMS就是对定量方法与定性方法结合的一次成功的尝试。因此，“2011计划”也可以考虑学习OMS而设计出一套在二者之间进行平衡的评价方法，既不过度依赖定量指标，也不缺少定量指标。这样的设计尤其重要。
5.重视创新人才的培养。在教育部财政部联合下发的“教技［2012］6号”文件总体目标部分明确指出，要建立一批“2011协同创新中心”，集聚和培养一批拔尖创新人才，促进人才、学科、科研三位一体的创新能力的提升。OMS在评价过程中，一方面非常关心创新人才的数量，即被评价机构在硕士、博士和博士后层面的培养总数；另一方面也关心研究所获得的新知识通过这些高质量人才的流动发生迁移的情况，这种人才的流动代表着知识的传播和技术的扩散，对提升国家的创新能力有着极为重要的意义，也是长期稳定提升国家创新能力的基础。“2011计划”的目标之一是集聚和培养创新人才，评价机制的设计也应注重对“2011中心”培养的创新人才的数量和质量以及由于创新人才流动带来的创新效应进行合理的评价。
6.要注重战略性研究规划的制定。OMS在评价时，不仅把战略性研究规划作为评价结果的一个方面，而且在专家组实地调研和座谈时，对战略性研究规划的制定、实施与修订完善都给予了高度的重视。所以，“2011计划”在评价时，要关注研究项目与“2011中心”战略研究规划之间的关系。各个“2011中心”都是由不同主体(高校、科研机构、企业)组成的，其内部存在合作研究的障碍并不奇怪，在评价时以“2011中心”的成立目的为指导，以战略研究规划去判断研究项目是否可行，最大限度地突破合作的瓶颈，形成协同效应，实现协同创新和原始创新，解决国家的重大发展需求。所以，战略研究规划不仅有理论上的意义，更具有实践层面的重要作用。
“2011中心”虽然是一个各创新主体的集合体，但并不意味着它一定是封闭的。在进行OMS评价时，专家组非常强调被评价机构与外部研究伙伴之间的互利共赢关系，强调在多学科交叉融合的基础上，通过加强与国内其他研究机构甚至国外高水平研究机构的合作，提升研究的水平和质量，实现提高加拿大的科技创新能力和吸引、留住高水平的创新人才等目的。这些对“2011中心”的评价均有一定的启示作用。