分散式评估的规范与质量控制——国家新产品评估实践及有关思考，本文主要内容关键词为：质量控制论文,分散论文,新产品论文,国家论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
近年来，我国科技评估活动日益受到人们的关注，在政府科技管理中，引入专业评估机构进行独立、客观、公正的评估，以适应社会主义市场经济和政府职能转变，推进管理与决策的科学化和规范化，其重要意义已逐渐被人们所认识。
国家重点新产品计划（以下简称新产品计划）是一项政策性扶持的国家科技计划，旨在引导、推动企业和科研机构的科技进步和提高技术创新能力，实现产品结构的调整和产业结构的优化。新产品计划于1998年开始在立项中引入评估机构，并首先在北京、上海、天津、广东、湖南、武汉、沈阳七个省市进行了评估试点。受科技部发展计划司委托，国家科技评估中心负责研究设计了本次新产品评估试点的总体技术方案，并在技术上对评估进行了全程质量控制。
1 分散式评估制及其在国家新产品评估中的应用
新产品评估实行全程质量控制下的分散式两级评估制。所谓全程质量控制下的分散式两级评估制是指评估对象经过两级评估，其中第一级评估为分散式的，并分别在评估的前期、中期和后期，采取一系列措施来保障评估质量。
新产品评估中，首先由各省市科委对本省市内的申报项目（产品）进行形式审查，并委托当地专业评估机构对通过形式审查的项目进行初评（第一级评估），各省市承担初评任务的评估机构（以下简称初评机构）对项目逐一进行评估，完成项目初评报告，并提交省市科委。省市科委对初评结果审定和综合平衡后上报科技部，科技部委托国家科技评估中心规范与指导试点地区的初评工作，并对各地汇总上报科技部的项目进行统一的核评（第二级评估），并分析评估的质量，向科技部提交项目最终的评估分类结果以及有关评估效果及改进建议的报告。
上述评估工作框架的选择主要考虑到以下四方面因素：
(1)从技术角度看，分散式两级评估方法可以分解工作量，充分发挥第一级和第二级评估的各自长处，优势互补。这也是大多数两级评估方法的主要目的。新产品评估中，由于待评项目数很多（试点地区为几百项，将来全面推广后，全国项目总数为两千余项），单一的评估机构很难在规定时间内独立完成此项任务。而各地科委和评估机构对本省市项目及其申报单位情况比较了解，在对项目的事实判断方面具有地理优势；不受地方利益影响的国家层次评估机构则相对超脱，更能准确地理解和贯彻国家科技计划的精神，公正公平地检验和纠正各地的评价差异，在对项目的价值判断方面和对评估质量整体保障方面具有优势。
(2)从管理角度看，分散式两级评估方法使得权利下放，可调动地方参与国家科技计划的积极性，从而大力推动新产品计划，促进企业等基层单位的新产品开发。另外，由于新产品计划已实施10年，量大面广，影响广泛，延续已有的计划管理组织体系（申报单位——地方科委／部门——科技部），在此基础上引入评估机制，有利于评估试点与原有计划管理的平稳衔接。
(3)由于科技评估在我国尚处于起步阶段，有关科技评估的机构、人员及活动的规范和管理体系尚未建立起来，这种状况下，借助现行的科技管理行政体系，在不影响评估的独立性和客观公正性的前提下，对评估活动进行监督，有助于提高评估的规范性和严肃性。
(4)通过任务带动各地科技评估机构的发展，推动全国范围内科技评估活动的开展，促进各级各地计划管理者的观念转变，适应社会主义市场经济体制下政府机构改革和职能转变，从这个角度看，新产品计划所采用的分散式评估，其意义已不局限于该计划本身。
与一般的分散式两级评估相比，新产品评估具有以下两个显著特点：
a.第一级和第二级评估分别有不同的委托者和承担者，且即使同是第一级评估，也分散在各地，委托者（省市科委）和承担者（初评机构）也不同。因此，各地评估标准是否一致、评估质量能否达到要求是整个评估活动的关键问题。
b.整个评估活动的重点在第一级，而第二级评估主要是作为评估质量控制的一个环节。
第一级评估需对每个项目进行具体和深入的分析，提供每个项目的全面评估报告。而第二级评估的主要目的是核查第一级评估是否按照规范进行，各地评估标准的掌握是否一致，纠正各地的评价差异，在大范围内克服申报产品的重复或雷同现象。第二级评估不是简单地重复对每个项目的评估，而要求在第一级评估的基础上，对项目总体进行分析、比较、抽查和校正等，对第一级评估结果进行确认或调整。因此，第二级评估基本属于项目群体评估和工作质量评估。
2 分散式评估的规范与质量控制
为保证各省市评估标准与国家标准一致，评估质量达到要求，尽可能减小地区之间、地区与国家之间的评价差异，新产品评估中强调质量控制，且贯穿全程。质量控制的主要措施见下表1。
1998年新产品评估实践中，质量控制的重点分别是前期的规范制定与技术培训，以及后期的核评。下面作具体介绍。
2.1 制定评估规范与技术培训——前期质量控制
为了规范评估，统一评估标准，尽可能减小地区评价差异，从一开始就对初评各方的工作质量进行控制，由国家科技评估中心研究设计、科技部发展计划司制定发布了《1998年国家重点新产品评估试点工作规范》（以下简称《规范》）。《规范》实际上又可分为两大部分，一部分是关于科技评估的共性规范，如评估的原则、评估中各种角色（如委托者、评估者和咨询专家等）的关系及各自应遵守的纪律等。在目前科技评估刚刚起步，有关规范尚未建立，各方面对其认识差异较大的情况下，这是非常必要的。另一部分是关于新产品评估的具体规范，如新产品评估的主要依据、工作程序、各步骤操作方法及具体要求、评估指标、评估报告格式等，并提供了统一的项目咨询专家意见表、项目初评报告等工作文件。
在项目评估活动正式实施前，由承担（技术上）质量控制任务的国家科技评估中心对试点地区评估机构及省市科委的相关人员进行了有关评估规范、指标、方法等方面的技术培训。《规范》与技术培训为保证整个评估活动的质量奠定了重要基础。
2.2 分析初评质量，对初评上报项目进行核评——后期质量控制
实践中，由于各试点地区对评估工作规范的理解与具体执行存在差异；对新产品计划立项要求和评估标准掌握不同；各评估机构在对科技评估的理解、业务能力与经验等方面参差不齐；地方利益影响等因素，使得地方与国家之间、地方与地方之间存在评价差异。因此，有必要在国家层次上对各地初评上报的所有项目进行统一核评，它作为质量控制的后期环节，对于客观评价第一级评估的实际效果、纠正各地评价差异、消除地方局限性、剔除来自不同渠道的重复项目，总结评估试点中的经验与问题，逐步完善评估规范，进而提高整个评估活动的质量具有重要意义，这在新产品评估的最初几年尤为重要。
核评方法可概括为“综合评价模型+分类规则+抽样个体评估”和“定量+定性”，包括以下几个主要步骤，见表2。
根据分析结果，新产品初评基本上是按照《规范》进行的，总体上，类别高、排序前的项目优于类别低、排序后的项目。初评上报的A、B类项目大部分符合计划立项要求。初评结果基本合理。但是，初评中也存在一些问题。受地方利益及局限性影响，很多地方超额上报，初评评价普遍偏高且各地松紧程度不同。初评报告对项目的问题和风险分析不够，存在“报喜不报忧”现象。个别地区对评估的认识和理解不够，在评估过程中，评估者、评估任务的委托者与评估者所聘请的咨询专家这三方的职责与分工不够清晰。少数项目专家咨询质量不高，极少数项目初评不够规范和严谨，个别项目存在重复或多渠道申报现象。
1998年新产品评估中，7个试点省市共受理了602个项目的评估，经过初评机构评估和省市科委审定平衡，共有455个项目上报科技部。在核评中对部分项目的类别作了调整，即项目核评类别与地方初评上报类别不一致。核评调整的直接原因是地方初评上报的项目总数和A类项目数远远超过计划额定数，使得大多数A类项目下调，相应地大量B类项目也下调。大多数被调整项目属于在各项目相对比较中较为落后，少数则主要由于核评的政策性把关或专家复评评价不高，其中包括12个下调幅度较大（指初评上报为A，核评为C类“备选”或D类“落选”）的项目。部分被调整项目兼有上述两方面原因。经过两级评估，共有307个项目入选作为1998年度新产品计划的A类项目和B类项目。
3.几点体会与思考
(1)相对于一些比较复杂和整体性较强的系统，象新产品这种比较“单纯”且数目巨大很分散的评价对象，比较适合于分散式评估，但前提是必须执行统一的评估规范并进行质量控制。1998年新产品评估试点总体效果较好，实践表明试点所采用的具有全程质量控制的分散式两级评估方法是可行的。同时，随着新产品评估的推广，还应进一步研究完善评估方法，调整质量控制的重点。如随着各省市评估水平日益提高、对评估标准掌握更加准确，评估活动逐步规范化，可以考虑逐步降低项目抽检比较甚至对部分地区免检，质量控制重点转移至对评估机构和评估人员的培训与交流、规范与标准的设计上。
(2)采用分散式两级评估制使得参与各方互相监督、互相制衡，决策过程更加透明，有利于国家科技计划立项管理更加科学化和规范化。
(3)在国家资源分配型的评估中，在放权于各地方的同时，应加强国家层次的质量检验，并根据检验结果，进行调整。以消除目前现实中地方利益对评估的影响。
(4)承担技术指导与质量控制任务的评估机构，不仅要对项目进行评价，还要对其他同行的工作进行技术指导与评价，责任更重，对该机构应要求更高，它应满足以下条件：
a.具有较高的业务水平与丰富的实践经验，行为规范，在同行中具有较高威信。
b.具有高度的责任心：在最高法律与道德标准下，对委托者、对承担评估任务的同行、对项目申报单位多方负责。
c.公正公平。应尊重同行，在满足委托者需求、对同行工作质量进行评价时，必须依据事实，在任务范围内作基于事实的分析与评价。同时，在技术方法的设计上应体现公平。如测度各地评价松紧程度，并对初评结果作相应的下拉或上提调整，即让“老实人不吃亏，浮夸者不沾光”。另外，在我国目前状况下，该机构所处位置最好相对超脱，不受具体的地方利益影响，以保证在评价各地工作质量时的公正性。
d.注重总结和完善评估方法，乐于与同行交流研讨，共同发展。科技评估是以人为本，方法性与实践性很强的领域，评估者在长期实践中所积累的方法与技巧、经验与教训以及日益加深的对评估的理解是非常宝贵的。作为评估活动的技术指导者和质量控制者，它应在有关的技术培训与交流研讨方面发挥积极作用，不断完善评估的方法与理论，与同行互相学习、共同提高。
评估机构是实施评估的主体，是评估结论的责任者，因此，评估机构的信誉、责任心、能力与经验，无疑是决定评估质量的最关键因素。目前我国科技评估整体上尚处于起步阶段，为数不多的科技评估机构中除个别外，基本处于组建初期的摸索阶段，在对科技评估的理解、业务能力、实践经验等方面参差不齐。当前的迫切任务是加强科技评估活动的软环境建设，建立和完善社会信用体系、科技评估行业管理规范和组织管理体系（如建立科技评估机构和评估从业人员的资格认证制度，成立科技评估行业协会，制定有关科技评估机构和从业人员应遵守的职业行为准则等等），促进评估机构快速健康地发展。同时加强科技评估理论、方法与实践方面的学习、总结、交流与研讨，尽快形成各类科技评估活动的工作与技术规范。
在社会化市场化的约束机制尚未建立与完善起来的状况下，如何借助现有的科技管理行政体系来监督科技评估活动，同时避免行政干预，保持评估的独立、客观与公正，最大限度地趋利避害，是今后一段时期内政府部门与评估机构需要谨慎对待的实践性很强的问题。目前政府部门是科技评估尤其是科技计划评估的主要委托者和用户，当政府部门自身作为评估活动的客户时，上述问题便尤为突出。