美国研究领域国际标杆评估的方法与启示，本文主要内容关键词为：标杆论文,美国论文,研究领域论文,启示论文,方法论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
0 引言
20世纪中期以来，科技逐渐成为影响国家竞争力的重要因素，世界各国普遍重视开展科技评价，提高研究的质量、效益与效率，为科技决策提供服务支撑，科技评价也成为调控资源配置和回应公众与政府质疑的一种方式。各国政府和科研资助机构针对不同的目的开展了不同层面的评价活动，从目前开展的各种科技评价的实践来看，主要有两大类：一类是在微观层面上开展的，如针对具体的科研机构、科研项目和科研人员开展的评价活动，这类科技评价一般与资源、利益挂钩较为密切，如德国马普对其下属研究所的评价直接关系到研究所的存亡，科研资助机构开展的项目评价是资助与否的依据，而针对科研人员开展的科技评价则往往与其个人的职称晋升、职业生涯发展密切相关；另一类是在宏观层面上开展的评价活动，如针对学科研究领域、国家重大科技计划与政策以及国家整体科技创新能力与竞争力的评价，这类科技评价往往是对国家某一方面的整体科技实力以及竞争力进行评估，并不直接针对资源配置，只是回应政府对科技投入的质疑，并对未来的国家科技发展战略提出建议。
1997年，为回应公众以及政府对科技投入的质疑，美国国家科学院的科学、工程与公共政策委员会(以下简称COSEPUP)决定开展一系列基于国际标杆的美国科学研究领域国际地位的评估，判断美国科学研究领域目前的状态和国际地位，检验美国科技领域的投入效益等问题[1]。在评估过程中，其关于评估专家的选择、对学科领域特征的分析以及评估方法和指标的选择都有独到的特点。本文将系统介绍美国研究领域评估的背景、程序以及专家组的来源和构成，重点分析评估中使用的方法、评估结果的使用等问题，总结评估的特点，并结合我国目前科技评价中存在的问题提出相关政策建议。
1 美国研究领域评估的背景
1993年，美国国家科学院发表了《科学、技术和联邦政府：新时代的国家目标》报告，国家科学委员会(简称NRC)在报告中提出建议：为保持美国经济的增长和社会的进步，美国应该保持科学的主要学科研究领域在世界上的领先地位。其中，主要学科研究领域是指科学上划分的一级学科领域(如生物学、物理学、化学、地球科学等)以及这些一级学科研究领域的主体分支学科领域(如生物学中的神经科学、物理学中的半导体科学等)[2]。
为回应报告中的建议，1997年，COSEPUP选择了三个研究领域：数学、免疫学和材料科学与工程，先期开展试点评估工作，选择的理由是这三个研究领域从规模、资助情况、研究特点、分支学科领域以及其他很多方面都有所不同，具有一定的代表性，可以先期探索评估的方法以及基于国际标杆判断研究领域地位的可行性。在选择的研究领域中，数学尽管被认为是与传统学科最接近的一个领域，但是数学与外部科学的联系紧密，是许多自然科学的语言和工具，并且数学的研究结果多为其他自然科学所用；材料科学是面向市场的应用开发研究领域，与工业界有着广泛的联系，几乎所有的科学与工程研究都会在某种程度上卷入到材料的研究中，此外，材料科学与工程研究的很多问题都是来自其他学科，如固体物理、化学、电子学、生物学和机械学等；免疫学并不是一个传统意义上的学科，很少有大学开设免疫学的专门课程，它是一个典型的新兴交叉学科，与生命科学所有的分支学科领域都有着密切的联系，事实上免疫学是生命科学的一个分支，包含了很多学科——生物化学、基因学、微观生物学等，其研究结果也会转移到临床方面，诸如风湿病学、外科、内分泌学、神经病学以及过敏性反应等。
COSEPUP提出应该使用基于国际标杆的方法来评价美国研究领域的目前状态，并指出这一技术可以用来比较一个国家或地区在某个学科研究领域方面的国际地位和状态。COSEPUP认为，专家判断是最有效的评价研究质量的方法，应当建立由本领域的学术专家、联系紧密的相关领域的用户专家等组成的专家评审组，专家组的来源应适当考虑区域、分支领域的多样化以及国际上知名的专家等，通过专家组基于国际水平的比较，来判断美国研究领域的目前状态如何。COSEPUP为每个研究领域都任命了一个评估专家组，给予适当的评估经费，并为每个评估专家组配备专门的工作人员提供评估所用的丰富信息。COSEPUP要求专家组主要回答三个关键问题：(1)与其他国家和地区相比，美国在该领域以及相关领域的研究处在什么位置？(2)影响美国这个研究领域绩效的关键因素是什么？(3)基于美国和国际上该领域的当前发展趋势，美国在该研究领域上近期和长期的相对地位如何？
1999年，在三个研究领域的评估工作结束后，COSEPUP召集科研资助部门的代表、国会议员代表以及评估专家组组长讨论基于国际标杆对美国研究领域进行评估的可行性和必要性，为正在执行的GPRA寻找合适的评估工具。2005年10月，美国国家科学院向国会提交了《迎击风暴——为了更辉煌的经济未来而激活并调动美国》咨询报告[3]。报告中关注的问题是：为了美国能够在21世纪的全球经济中成功地进行竞争，保持繁荣和确保安全，联邦决策者能够采取的改善科学和技术事业的十大行动是什么？能够采用什么样的伴有具体步骤的策略来实施这些行动[4]？2007年，NRC基于同样的方法开展了化学、化学工程以及机械工程学等研究领域的评估。评估专家组将美国的研究领域置于国际舞台，以国际一流水平为标杆，分析其在国际上的地位，目前的优势，未来的发展潜力以及存在的问题，并向相关管理部门以及政策制定者提出建议。
2 美国研究领域评估的程序
美国研究领域评估的程序一般包括以下几个步骤：
一是成立评估专家组。COSEPUP针对每个要评估的研究领域成立评估专家组，遴选一个本领域的权威专家作为组长，再由专家组组长来遴选和推荐其他的专家组成员。专家组名单确定后，COSEPUP对专家组成员任命，给予一定的评估经费，配备工作人员提供评估中所需要的定量数据与信息，同时对专家组提出评估需求和完成评估的时间。
二是确定研究领域的具体分支领域。专家组成立以后，首先，讨论确定评估研究领域的范围，即确定所评估的研究领域有哪些分支领域，一般会划分到三级分支学科领域。如数学领域的评估专家组就采用了1992年NRC发表的《数学科学家教育：美国的博士研究和博士后经历》报告中的领域分类，把数学学科分为纯数学、应用数学、统计和概率、运筹学以及科学计算等5个主要分支领域，然后在此基础上再具体划分为19个小的分支领域；机械工程学的专家组也是首先把机械工程学分为12个主体分支领域，在此基础上又具体划分为46个更细的三级学科分支领域[5]；免疫学专家组则在划分分支领域中遇到困难，因为该领域有很多学科分支领域的混合与交叉，并没有子领域的分类系统存在，所以专家组经过讨论后确定了自己认可的分支领域。
三是分析研究领域的特征。确定了分支领域以后，专家组要分析需评估的研究领域的特征，从而根据其研究特点选取合适的评估方法。如在数学领域，专家组经过讨论认为数学具有如下特征：(1)数学研究通常有较长的“保质期”，大部分研究不会过时，偶尔，一项很久以前的研究成果突然就解决了现代科学的一个关键问题；(2)数学的一些分支领域看似不同，其实经常会形成预想不到的关联；(3)在科学与工程领域，数学为分析、理解和解决问题提供了一个通用的语言与工具。因此，数学与其他领域的研究是紧密联系、互相影响的。数学上的发现会影响其他领域的研究，反之，其他领域的发展又为数学研究提供新的研究方向，但数学对科学的贡献往往被忽略[6]。基于这些特点，评估专家组决定通过虚拟国际大会、重要国际奖励和国际大会邀请发言三个指标来评价数学领域的地位。在材料科学与工程领域，专家组认为，该领域的一个特点就是科研组织模式从项目主持人为主的小规模团队研究转到包含多个项目主持人的多学科团队的研究模式。此外，工业、大学和政府实验室开展联合研究是这个领域取得重大突破的一个常见模式，专家组评估时也充分考虑到了该领域的特点[7]。
四是开展评估工作。为节约经费和时间以控制评估成本，专家组主要是通过电话、邮件以及会议等方式开展评估工作，集中式的会议研讨一般在开始评估时召开一次，主要明确各自成员的评估任务，讨论评估中面对的主要问题，在评估结束时再召开一次会议，讨论评估结果和形成评估报告。COSEPUP为每个专家组开展评估工作提出了一般的评估原则，包括：(1)专家组应该提供关于美国在该研究领域的国际地位，但是专家组要避免提出为该研究领域增加资助经费的建议；(2)每个专家组在完成报告时，应该是综合了专家组成员中每个专家形成的判断信息；(3)专家组应该聚焦在被评估研究领域的研究人员的成就方面，该领域的人力资源状况也是判断是否处于领先地位的一个关键指标。
3 美国研究领域评估的专家遴选与结构
专家的水平是保障评估质量的关键，美国研究领域评估在专家的遴选方式和专家构成方面都有一些独有的特点。
3.1 专家组的遴选方式与标准
美国研究领域评估采用分层遴选专家的方式，COSEPUP是第一层的评估委员会，负责选择需要评估的研究领域以及遴选每个评估领域的专家组组长；然后，针对每个研究领域，专家组组长负责推荐和遴选专家组成评估专家组，COSEPUP的一些成员也根据自己的学科领域参与到相应的评估专家组中去；最后，在具体的评估过程中，每个专家组成员对应自己熟悉的分支领域，并广泛联系国际专家成立临时评估小组对被评估的分支研究领域地位进行判断。
从专家组组长的遴选来说，其标准一般都是本领域内知名的学术专家，通常担任了一定的管理职务，如大学的校长、院系主任、国家实验室主任，有过管理经验和评估的经历，同时这些专家都有着广泛的国际交往。专家组组长在推荐专家组成员时，要求小组成员对各自的领域有广阔的了解以及与国际学术界有广泛的联系，应该能判断研究的质量、相关性以及研究领域的地位等。专家的来源包括学术界的专家、行业专家以及政府部门的管理专家等。例如，材料科学与工程评估专家组一共13名成员，包括2名COSEPUP成员和来自物理科学、数学及应用委员会、工程师和技术系统委员会、国家材料咨询委员会和物理学与天文学协会的成员，其中有3名非美国的国际知名专家，2名材料科学与工程行业的美国管理专家，1名与材料科学与工程领域相关的科学家等。
3.2专家组的成员结构
为了平衡多样性，COSEPUP要求专家组成员应包括：本领域的美国专家，相关领域的美国专家，研究结果的用户专家以及本领域和相关领域的非美国专家。其中，用户的概念是指能够判断研究的质量，与未来研究、工业应用以及其他促进知识理解的相关专家。用户专家可能来自学术界、政府部门、工业部门或者其他部门，如相关领域可能会用到本领域的数据、方法等的学术专家，政府部门的管理专家以及公共政策的分析专家等。例如，数学领域的用户专家可能是用到数学工具的化学领域的化学家、工业领域的工程师以及经济学家或者是社会上的其他代表。
在组建专家组的时候，COSEPUP也尽量考虑地域和职业的多样性，从多个视角来审视评估目标，尽量减少种族偏见。例如，数学专家小组的12名成员中，有3名非美国的国际数学家，2名是美国工业界的研究专家，1名在研究中使用了数学方法的美国诺贝尔化学奖获得者，其余6名成员都是美国数学领域的专家。同样，免疫学专家小组的14名成员，除了美国的学术专家之外，还包括了3名国际上的免疫学科学家，2个行业的美国管理专家以及1名美国政策分析专家[8]。化学领域的评估专家组成员共13名，其中有1名是来自瑞士的化学家。
在三个研究领域试点评估结束后的研讨会上，COSEPUP发现，当专家组成员都是本领域最著名的顶尖人才时，使用专家组进行研究质量的评估是有效的。作为本领域的领军人物，他们对于本领域的当前状态和未来发展趋势有深刻的理解。委员会也发现，为确保评价的公正性与全面性，专家组成员的区域和职业的多样化也很有必要。在评估的试点过程中，专家组认为，专家组中只要不到一半的专家组成员为美国的学术界研究人员即可，委员会总结出应该至少有三分之一的专家组成员是非美国的国际专家，另外三分之一应该是与该领域联系密切的使用该领域研究成果的用户专家。
4 美国研究领域评估的方法
在评估过程中，每个研究领域的评估专家组根据本领域的特征使用了一些具体的方法来评估该领域的状态，通常包括以下几种：虚拟国际大会、引文与专利分析、顶尖杂志论文发表分析、人力资源数据分析、重要奖励分析、国际大会邀请发言分析等。
4.1虚拟国际大会
虚拟国际大会是指专家组针对每个研究领域的分支领域，邀请该分支领域的一位权威专家，通过创造一个“虚拟国际大会”，假设请他当大会主席，要求他在全球范围内提供一份本领域大会发言的专家名单，然后根据被邀请发言专家的国别分布和数量来评估研究领域的地位。虚拟大会的前提是对于同行专家来说，本领域的杰出科学家是大家众所周知的。例如，免疫学的评估专家小组将免疫学分为4大分支领域：细胞免疫学、分子免疫学、免疫遗传学和临床免疫学，每个分支领域又被分为4～10个子分支领域，评估专家组成员对应每个分支领域，通过电话或邮件调查每个分支领域的权威专家，请被调查者想象自己作为一个在其特定分支领域的国际大会的会议组织者，在全球范围内邀请5～20位当前研究状态最好的科学家参会发言。数学领域的评估小组也采用了类似的方法，他们将数学分为19个分支领域，每个分支领域推选一位知名专家请他来举办一场虚拟国际大会，要求他在世界范围内推荐本领域最好的专家参会。结果发现，在19个分支领域中有17个分支领域被推荐参会的专家超过50%是来自美国，其他两个分支领域美国科学家被推荐的比例也超过了40%，表明在数学各个分支领域的杰出人才方面，美国占有绝对的优势。该方法由于成本较低、容易操作且代表了本领域同行专家的集中意见，基本上在所有的研究领域评估中都被用到。
4.2引文与专利分析
引文分析是在科技评价中经常用来评估一个国家或地区的研究质量和实力的文献计量技术。引文分析包括引文的数量分析和“相对引用影响”分析，引文数量分析是指一个国家某领域论文引文的总数量占全球的比例。例如，化学领域的评估专家组分析了过去10年美国化学领域的论文情况，发现美国占有世界18%的论文发表数量，而其论文引用的全球占有率为28%，在对化学领域100篇引用率最高的论文分析中，专家组发现超过50%的论文来自美国。相对引用分析是指某领域一个国家的引用率占全球的比例除论文数量占全球的比例，相对引文影响大于1表明其论文的质量更高[9]。例如，免疫学小组发现本领域美国的相对引文影响是1.04，为全球最高，除了比利时(1.03)和澳大利亚(1.00)，世界其他国家的相对引文影响都在1以下。
与产业联系密切的学科研究领域专家组通常会分析其专利的情况，如化学工程研究领域专家组发现，从1994-2003年，美国化学工程研究领域的专利增加了近1倍。与国际上其他国家相比，在2000年之前，美国化学工程研究领域的专利数量远超其他国家，2000年后，日本、西欧一些国家的专利数量也开始快速增长，但美国仍然占有领先地位。此外，专家组还分析了化学工程领域产业界专利与学术界的联系，在对7家化学工程领域公司(5家来自美国、1家来自日本、l家来自欧洲)的专利分析中发现，7家公司的专利至少引用一篇学术论文的比例为12%～60%，7家公司的专利参考文献中约12%～20%是科学杂志上的学术论文，而在引用的学术论文当中，来自美国本土原创的学术论文约占45%～70%[10]。
4.3顶尖杂志出版物分析
免疫学的评估专家组开发出一种称之为“顶尖杂志出版物分析”的方法。该小组确定了四大主导综合杂志(《Nature》、《Science》、《Ce11》和《Blood》)和两本集中发表免疫学方面论文的顶级杂志——《免疫力》(《Immunity》)和《实验医学》(《Journal of Experimental Medicine》)。小组成员梳理了从1995-1997年每份杂志发表的文章情况，将其中属于免疫学领域的论文找出来，分别归类到免疫学的4个主体分支领域(细胞免疫学、分子免疫学、免疫遗传学和临床免疫学)中去，然后分析其发表论文作者的国籍情况。结果发现，在《Blood》杂志，美国学者发表的免疫学领域的论文占总的免疫学论文数量的46%，在《Ce11》杂志的比例为71%，在《Immunity》杂志的比例为76%，在《Nature》杂志的比例为64.5%，在《Science》杂志的比例为72.6%，在《实验医学》杂志的比例为68%。可见在顶尖类杂志的出版方面，美国在免疫学领域占有绝对的优势。
4.4人力资源数据分析
所有领域的评估专家组都分析了本领域的人力资源情况，但是，专家组在获取数据方面也遇到了一些困难，即美国本土的数据通常较容易得到，而其他国家的数据却很难获得，因此这方面的分析很难做国际比较。如数学领域的评估专家组对美国数学人力资源的数据分析发现，美国数学学会(AMS)是一个数学科学领域的研究者团体，非美国公民可以通过互惠协议加入AMS，该学会总共有3万名成员，其中美国成员为2.2万名，占73%。工业与应用数学学会(SIAM)是一个应用数学和计算科学领域的研究团队组织，总共有9000名会员，其中美国公民有6400名，占71%。在AMS和美国数学协会(MAA)举行的联合研究会议上，每年出席的美国公民约为3500名，这些数据都表明了美国目前的数学领域的人力资源状况。
4.5获奖分析
获得国际重要奖励的情况可以表征该研究领域在国际上的地位如何，评估专家组分析了被评估研究领域的重要国际科学奖励情况。例如，在数学领域中，专家组认为重要的国际奖项是菲尔兹奖和沃尔夫奖。分析结果表明，超过40%的菲尔兹奖获得者目前在美国，超过一半(15/28)的沃尔夫奖获得者目前在美国。但是，专家组也发现，很多获奖科学家都是从国外特别是从前苏联和欧洲移民到美国的。在材料科学与工程和免疫学领域中，有各种各样的国际奖项，专家组首先提出了认可的国际奖项名单，然后分析每种奖项获奖人员中美国所占的比例，以此判断美国研究领域在国际上的地位如何。例如，免疫学专家组分析了1951-1996年获得诺贝尔奖的免疫学家的国籍情况，发现在16位获诺贝尔奖的免疫学家中，有7位目前在美国工作，占44%。
4.6国际大会邀请发言分析
一些学科研究领域有自己本领域的国际大会，通常在大会上被邀请发言表明其在研究工作方面取得了杰出的成就，这并不是虚拟的国际大会。例如，在数学领域，有两个大会被同行广泛认可，全球的数学家都以被邀请在这两个大会上做主题发言为荣。一个是国际数学大会，每4年举办一次，每次约有全球4000名数学家参会；另一个是国际工业与数学应用大会，也是每4年举办一次，每次约有2500名数学家参会。专家组发现，在1994年的国际数学大会上，50%的1小时大会发言者来自美国；在1990年的国际数学大会上，60%的1小时大会发言者来自美国，在1995年的国际工业与数学应用大会上，有35%的大会主题邀请发言来自美国。
5 特点与启示
科技是推动社会和经济进步的有力工具，但是，要证明政府对科技投入经费的分配是公平且有效的却很困难。公众希望看到科技投入的回报情况，国家政策制定者希望看到有更好的资源配置机制，资助者希望其资助的科技项目有更好的产出和效果。面对公众的质疑，国际上不少科研资助机构都开展了类似的针对学科研究领域的评估活动，主要分为两种类型：一种是诊断性的学科评估，主要通过学科评估来了解学科目前的现状和科研管理中存在的问题，并提出解决这些问题的建议。如20世纪末，澳大利亚研究理事会对其24个学科的5年资助工作开展了绩效评估，评价其“分配资源的管理工作”是否有效。另一类是战略性的学科评估，即评估重点是了解学科目前的国际发展趋势和本国所处的地位，为学科在未来若干年内的发展确定战略计划。例如，在21世纪初，英国研究理事会下属的英国生物技术和生物科学研究理事会也对其资助的一些学科(生物化学工程、结构生物学、可持续农业科学等)开展评估工作，评估侧重在如何保持英国未来的国际竞争力，确定该学科未来十年的发展战略，并且为研究理事会在学科的发展作用中定位，确定政府将来的重点投资方向[11]。
从美国研究领域的评估来看，更加偏向在宏观层面基于战略性的学科评估，重点是判断学科研究领域目前国际地位如何，但也会关注一些科研管理中出现的问题，从其实践来看具有以下一些特点，对于我国目前的科技评价应该有所借鉴。
一是，分层遴选专家，充分发挥专家的作用。从COSEPUP到每个研究领域的评估专家组，再到每个分支领域被调查的专家，可以看到，在整个研究领域的评估中，专家在判断研究的质量和水平上起到了决定性的作用。此外，专家的来源广泛，既有本领域的学术专家，也有相关领域的用户专家，还有政府部门的管理专家以及政策分析专家，既有从本国的角度分析问题的国内专家，也包括从外部视野进行透视的国际专家，专家全方位多层次的分析为评估结果的可靠性提供了保障。在我国的各类科技评价中，专家组也是评价的关键环节，但是专家组的产生往往会受到行政的干扰，也很难从真正公正的意义上开展评估工作。因此，通过委托高水平的战略专家推荐和遴选同行专家、用户专家组建专家组，充分放权，让专家组成员可以独立发表意见，这种方式值得借鉴。最近，中国科学院提出的基于重大产出导向的评价体系中，针对研究所的国际专家诊断评估已经在这方面开展了一些有益的探索。
二是，基于国际标杆进行比较，重在杰出人才。从专家组使用的评估方法来看，重点都是聚焦在杰出人才方面，无论是虚拟国际大会、高引用率论文分析、顶尖杂志出版物分析、国际获奖分析，还是国际大会发言分析，都是以国际上的一流水平作为标杆，来看本领域顶尖人才的数量与分布如何，以此来判断研究领域的地位。反观在我国的科技评价中，过多地关注重大创新成果而忽略了做出重大成果的杰出人才，在一些科技奖励的评价中更是如此。科学创造的主体是人才，只有拥有一流的人才，才能做出一流的成果，建议在各类评价中要重视杰出人才的突出作用。
三是，在操作中注意控制评估成本。从美国几个研究领域的评价实践来看，其评价经费有限，只有4万～5万美元，评估时间一般在8个月左右。专家组在开展评估工作的时候都注意尽量控制评估成本。一方面，专家组成员都是自愿参加评估活动，没有报酬；另一方面，专家组尽量使用现代化的通讯工具，如电话、网络、视频会议等，降低会议召开的成本。还有就是使用虚拟国际大会的方法等，减少评估成本。我国一些科技评估倾向于开展会议评估、现场评估等，一方面给被评对象带来干扰，使得科研人员把评估当成一种负担；另一方面也增加了评估成本。建议可多使用类似虚拟国际大会的方法，既节约成本，又可以较为快速地反映被评对象的质量和水平。
四是，结果重在判断国际地位与发现存在的问题。前面提到，COSEPUP在给评估专家组的工作原则中要求，专家组不要为被评估的研究领域提出类似增加经费的建议，而是要注重判断每个领域的当前状态、存在问题和未来发展潜力。如数学领域的专家组发现，美国在该领域虽然处于世界领先地位，但有“地平线上的暴风云”，因为其严重依赖于最近移民到美国的外国数学家。材料科学与工程的专家组发现，虽然美国在所有材料科学与工程的分支领域都处于世界领先的状态，但是一些研究的基础设施老化，会影响到美国在该领域的领先地位。而免疫学的专家组发现，美国在免疫学研究上处于世界领先地位，但是在寻找足够数量的临床试验患者方面遇到了渐增的难度。针对这些在评估中发现的问题，专家组提出了有针对性的政策建议。在我国科技评价中，专家由于受到各方利益的影响，或者是简单做出被评估对象国际领先、国内一流之类的评语，或者是为被评估对象说话，要求增加经费、人员等支持，而不正视其中存在的问题，使得评估的效果大打折扣，没有起到应有的作用。