美国标准与技术研究院绩效评估的实践、方法及启示，本文主要内容关键词为：美国论文,研究院论文,启示论文,绩效评估论文,标准论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
美国国家标准与技术研究院(NIST)隶属于美国商务部，下有8个实验室和1个研究中心，主要从事物理、生物和工程方面的基础和应用研究，以及测量技术和测试方法方面的研究，并提供标准、标准参考数据及有关服务，在国际上享有很高的声誉。NIST的使命是通过推进计量科学、标准和技术的发展来促进美国的创新和工业竞争力，并以此来提高经济安全性和人们的生活质量，促进美国的经济和公共福利[1]。1990-2007年间，NIST实施了先进技术计划(Advanced Technology Program，ATP)，该计划旨在与私有企业进行合作并为它们提供各种支持，推动有益于国家的技术研究发展[2]。NIST 2009财年的预算为6.38亿美元，预算被分为三部分：科学技术研究与服务(STRS)、研究设施建设(CRF)以及工业技术服务(ITS)，其中科学技术研究与服务和研究设施建设构成了NIST的核心研究与设备项目，两项的总预算为6.34亿美元，较上一财年增加了22％[3]。
1 NIST机构的整体评价框架与逻辑模型
NIST作为一个实体机构，其整体评价框架按照指向不同可以分为三个层次：一是作为商务部的一个部门，接受联邦政府的GPRA(Government Performance and Results Act)与PART(Performance Assessment Rating Tool)评估，NIST的正式绩效评估报告包含在DOC的年度绩效报告中[4]；二是NIST主任委托国家研究理事会(NRC)对其下属的实验室研究中心同行评议；三是对其内部项目或者是技术开展的经济影响评估活动。这三个层次相辅相成，其中，第一个层次主要是使用PART工具对NIST的项目展开评价，在此基础上对NIST的整体战略绩效目标进行评估，这是国家层面对NIST机构的绩效评估，具有法律效力。后两个层次则是NIST为了满足国家的评估需求而开展的内部评估活动，其中内部经济项目的经济影响评估又是作为同行评议和国家层面评估的基础材料支撑。评价逻辑模型见图1。
2 NIST实验室同行评议的实践与方法
在NRC的领导下，NIST每两年开展一次下属实验室的同行评议活动，评估主要关注实验室项目与当前有关的技术价值、项目实施的有效性以及项目满足客户需求程度等。此外，NIST主任特别要求评估委员会考虑实验室设施、装备和人力资源是否充足，以及它们对实验室满足客户需求技术项目的质量和有效性的影响。在两年一次的同行评议过程中，每次大约由150多个专家自愿参与这项活动，专家们花费了大量的时间和精力走访NIST的实验室，细致地审阅NIST提交的材料，并与NIST的员工进行互动，仔细研讨正式报告的结果、结论和建议[5]。2007年，NIST对化学科学和技术实验室、电子与电机工程实验室、信息技术实验室、NIST中子研究中心开展了同行评议工作，剩下的实验室于2008年开展评价。
2.1 同行评议的专家组成与来源
评估委员会由22个涵盖NIST所有研究领域的顶尖科学家和工程师组成。此外，NIST每个实验室都有一个评估专家组，对理事会负责。委员会有15个成员也在专家组之中，7个是专家组主席，8个是副主席。每个专家组的人员从17到24不等，都是NIST实验室技术领域方面的专家。2005-2006年期间总共有153个专家(这些专家参与评估活动并没有额外的报酬)参与了实验室的同行评议活动。
评估委员会和专家组都由国家科学理事会(NRC)任命，专家包括工业研究和发展实验室的管理和研究人员，顶尖的学术研究者，以及来自国家政府实验室的人员。他们中的15个是国家工程院院士，2个是国家科学院院士，还有一些是权威的社会学专家。评估委员会和专家组成员的任期有限，通常是2～6年。以化学科学和技术实验室的评估为例，专家组总共有19位成员，其中，来自大学的有13人，来自公司的有3人，军方和科研机构分别有1位专家，还有1位专家来自国家重点实验室。
图1 NIST机构评价逻辑模型图
2.2 同行评议的内容
在开展实验室的同行评议活动中，NIST工作人员向评估委员会和专家组提供了大量的信息，还有许多信息是专家组通过实验室的实地考察活动获得的，这些信息支撑了评估理事会的判断，并在评估报告中进行概括。此外，NIST的管理层提供的简报使得专家组能获得最新的技术计划、进展情况、亮点工作以及资源配置等信息，技术简报主要关注科学和技术的目标、战略、方法学和每个实验室选择的项目结果，简报也关注每个实验室的代表性工作，这些都成为专家组评估的基础。
在专家组的同行评议过程中，评估委员会要求专家组参照下面四种评估标准：
(1)技术质量和价值。该标准包括阐述高技术质量和价值工作的程度；当前与理想状态之间的比较；政府实验室、大学和工业部门之间的工作比较；NIST研究人员和外部共同体之间联系的阐述；以及好奇心驱使的研究和反映当前客户需求的长期的研究活动的平衡。
(2)相关性。该标准包括实验室为满足高度优先的国家需求而从事的独特的测量与标准活动的工作程度；开展的工作是否与NIST的目标直接联系；测量项目是否满足提到的技术问题；移动项目(Moving Programs)是否能很好的直接满足当前和紧急出现的客户需求。
(3)有效性。该标准包括实验室为提交产品和服务所正常进行的可靠的和有效的技术和实践程度；实验室工作项目结果对于客户的可获得性；产品有可能产生的后续的长期影响如何。
(4)设施、装备和人力资源的充足性。该标准包括可获得的科技能力的程度对于成功的开展科学研究是否足够；装备和设施的状态是否足以满足项目目标和客户的需求；实验室能否有充分的技术能力应对突发的问题。
2.3 同行评议的程序与方法
以化学科学和技术实验室(CSTL)的同行评议为例，专家组在评价该实验室时主要考虑以下几个方面：国家优先领域的符合程度、创新性和影响、技术价值、基础设施，由此相应的评价的标准包括：(1)实验室项目在测量科学、标准和技术方面符合国家优先领域的程度。(2)实验室项目在测量科学、标准和技术方面符合有关下列问题的程度：项目试图达到什么目标？与其他机构相比，创新点和区别是什么？项目的研究方法能否走向成功？成功是否有很好的定义？成功的影响是什么？成功如何传播到最终用户？成功的成本有多少？需要多长时间？实验室项目相对于目前国际状态的技术价值如何？(3)在技术项目质量的影响范围内，实验室的设施、装备和人力资源是否充足[6]。
为了完成此次评估，NRC任命了由19个专家组成的评估组，同时CSTL配备了相应的工作人员。评估组的成员分为5个小组，分别对应着CSTL的5个研究领域：分析化学，生物化学科学，物理和化学属性，加工过程测量和表面微量分析科学。这5个小组各自独立访问CSTL的时间为1～2天，在此期间，他们参加了学术报告会、现场考察、与CSTL的职员进行交流。随后，整个评估组集中1天半时间，听取CSTL管理者的整体汇报。最后，评估专家组召开封闭会议，讨论评估报告的内容和结论。
专家组评估时主要是依靠他们的经验、技术知识(专家组成员的研究背景都是经过仔细地与CSTL的研究领域相匹配)。同时，评估专家组不可能对CSTL所有的项目和研究进行评价，只是对CSTL选择出来的标准和测量的技术研究若干案例进行评价。评估组的目标是确定和报告已完成的显著的重大成果和CSTL未来可以获得提升的机遇，与NIST的使命和国家的优先领域是否相符等。CSTL每个部门必须提供亮点工作。评估专家组目前还主要是应用定性的而不是定量的方法进行评估，未来的评估有可能应用多种不同的评估分析方法。评估报告主要从以下四个部分进行阐述：CSTL项目在测量、科学以及标准方面迎合国家和部门的优先领域的程度，项目的影响和创新性，项目与当今世界相关的技术的价值，设施、装备和人力资源是否充足，是否会影响到技术项目的质量。
评估专家组完成评估报告后，评估委员会一般要召开为期两天的会议讨论专家组的评价结果，对报告中的评价结果和建议进行讨论，在所有的实验室同行结束后，评估委员会要提出NIST主要的发展趋势、面临的机遇与挑战，并将整体的评估报告提供给NIST主任，帮助NIST保持不断发展创新的动力。
3 NIST机构内部项目的经济影响评估方法
NIST的经济影响评估始于1992年，经济影响评估的对象是NIST内部的研究项目或技术。NIST通过经济影响评估主要想达到三个目的：一是为管理层提供NIST研究项目的特性和重要性等相关信息；二是向政策和预算相关部门通报NIST项目给社会带来的经济收益；三是贯彻GPRA对绩效评估数据的要求[7]。
NIST对项目或者技术的经济影响评估主要利用经济学中的一些指标，如效益成本比率(BCR)，社会回报率(SRR)等，在1996-2002年7年期间，NIST对19个研究项目开展了经济影响评估，发现其平均的效益成本比率为44∶1。NIST的经济影响评估分析主要包括以下这样一些内容[8]：
(1)项目的选择和研究目标的确立。对于已经完成的项目，主要是应用回溯性的研究方法，其研究目标是评价项目对社会的经济贡献；对于战略性的计划研究，主要是应用展望性的研究方法，其研究目标是利用定性定量的方法阐述该研究将来对于市场可能的潜在贡献。(2)研究时机的选择。理想的经济影响研究分析影响是在一项研究后的至少3年，至多10年的期间。(3)背景分析和常用分析方法。经济影响评估过程的初期阶段，相关技术的属性、范围和作用以及支持技术的基础设施必须与相关的工业和竞争性的动态市场相匹配，这个步骤对于随后有效地假设经济影响发展是必须的。这种经济背景分析需要应用微观经济学和工业组织方法，技术的发展趋势、合作战略以及任何外部的影响因素都需要结合经济背景来理解研究项目的技术作用。(4)回溯性的影响评估分析方法。主要是时间序列介入方法和反事实判断方法。(5)研究范围的确定。对于一个通常的分析方法而言，经济影响的研究首先需要确定变化的深度和覆盖的范围。(6)价值的定义和选择。通常，一个经济影响研究的具体价值选择主要受以下因素的影响：研究的目标，效益成本比的属性，可获得的评估专家，为研究提供的资源，基础数据资源的质量。价值的分类非常重要，根据GPRA的分类，主要有三大类：输入(成本)价值；产出价值；结果价值。(7)价值的判断(测量的计算)。主要有以下三种测量方法：当前净余价值、效益成本比、内部回报率。(8)价值整合的分析框架。如前所述，为了选择一个合适的价值并且将之放在一个可以充分理解其作用和影响的背景下，技术、工业结构以及动态的竞争等微观经济学的分析是必须的，其价值整合的分析框架如图2所示。
4 NIST评估实践对高技术类研究所评价的启示
我国高技术类的科研机构在评估中，在定量与定性的评估方法运用过程中都遇到了一些问题，首先，用定量的方法进行评价，一些高技术类的研究所主要是承担国家的重大任务，并没有发表论文的要求，所谓的专利也是转化率很低，难以用定量数据来测度这类研究机构对国家和社会的贡献，目前主要用承担的国家重大任务来表征研究所满足国家需求的程度，但是国家设立的重大任务是否就是代表了国家真正的需求，这还需要进一步讨论；其次，用定性的方法进行评价，由于政治、文化等国情方面的差异，如果专家都是国内的，不同研究所的评价结果往往很难拉开差距，如果专家来自国外，又存在他们难以评价研究工作是否满足国家需求的问题，此外，高技术类的研究还存在保密与相互竞争的问题，专家的选择往往有很大的困难。由于NIST下属实验室开展的研究工作性质与我国高技术类研究所极为相似，从NIST的评估内容与方法中我们可以获得一些启示。
图2 NIST先进技术项目技术价值整合框架
(1)从评价内容看，研究机构要确立明确的使命，并以此为基准开展评估。纵观NIST的整体评价框架，无论是作为商务部的一个部门接受GPRA的评价，还是评估专家到实验室的现场同行评议，都始终把NIST的实验室的使命作为评估的基准，所有的评估内容和方法均围绕其使命是否完成而展开。反观我国的一些高技术类科研机构，要么就是科研机构没有具体的使命，要么就是有了使命也是描述不清晰，因而在评价时难以找到基准，这也给随后的评价方案设计带来了困难。作为国立科研机构，只有确立了明确的使命才会有明确的努力方向，随之的战略规划等也就有了明确的目标，评价也就有据可依。
(2)从评价方法看，同行评议结合定量数据分析是一个较好的方式。对于高技术类的科研机构而言，简单的定性或者定量方法难以全面的对其进行评价，从NIST的评价实践来看，采取专家同行评议同时结合定量数据分析是一种较好的方式，但是，前提要求专家必须是该领域的学术大家，并且由于高技术类研究性质，专家的来源必须是多元化，不仅有学术界的，更要有企业界的专家，甚至可以有来自用户方的专家代表。对于高技术类的研究机构，由不同来源的专家构成一个专家组，长期对其进行跟踪，能够较好的把握研究机构的定位与发展方向，其评价也比较客观公正。但是，这也有一个前提，即专家同行评议是以翔实的定量数据分析和信息资料为基础的，如NIST对一些项目的经济影响评估研究，定期的向专家组提供最新的进展以及亮点工作等，这些都是专家评价研究机构时进行判断的重要基础。对于我国高技术类研究所而言，最大的难点在于专家的选择，如果仅是国内的专家，其学术水平难以保证是国际一流，如果邀请国际专家，又存在难以评价是否满足国家需求和部分涉秘的研究项目等问题，两者之间如何权衡还需要开展进一步的研究。
同时，采用同行评议方式来评估一个科研机构，除了专家的选取外，一个更为关键的问题是要确定专家评议的内容与评议标准，以此规范同行专家的行为，使其结果更为客观和公正。NIST在专家评议时既给出了评议的主要方面，针对每个实验室又给出了评议的具体内容，使得专家在评议时有统一的指向。与此同时，专家评议时的参照标准更为重要，我国在开展同行评议活动时，往往容易碰到专家评议时的标准不一，使得评价结果不具有可比性的问题。在这方面，美国能源部在其实验室的评价中做出了较好的示范。DOE在专家评议时针对每项评议内容都给出了具体的评议标准，区分出不同的档次，如针对“科学技术成果对所在的研究领域发生重大影响”内容，分别给出了“A——A+：改变了研究界对特定领域的思考方式；解决了关键问题，从而推动了研究领域向前发展；研究成果在领域内引发了极大的兴趣和热情；B+：对学界的影响达到了预期。在所有的相关研究方向的同行评审中都获得了强有力的肯定；B：至少在一个重大的研究方向上没有得到同行评审的强有力的肯定；C：有一个研究方向上不成功。同行评议的结果显示，在一个主题计划上还远无所获；D：多个主题计划项目失败；F：总体科研能力低下，并且／或者存在科学上的弄虚作假情况”等不同的标准[9]，这样专家评议时依据统一的标准，使得评价结果的客观性和公正性大为加强。确定好专家的评议具体内容，同时给出详细的参照标准，这是我国今后开展同行评议时需要大力借鉴的方法。