财政Ramp;D项目绩效后评估体系研究，本文主要内容关键词为：绩效论文,财政论文,评估体系论文,项目论文,Ramp论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
任何科技活动都会带来一定的科技直接产出、经济效益和社会效益，这也意味着财政科技项目绩效呈多样性的表现特点，如何恰当地评价其经济效益，尤其是其无法用货币衡量的社会效益的评价，是个值得斟酌的问题。长期以来，财政部门一直无法采取一种比较准确的办法，来对财政科技项目的绩效进行衡量。而这一“盲点”，恰恰是减少资源损失浪费、提高效率的关键点。本文对财政科技项目绩效评估从后评价视角进行探索[1]。
一、后评估和财政R&D项目绩效评价
财政R&D项目绩效，就是指财政R&D项目投入产出活动所取得的实际效果。它反映了财政为满足社会公共需要而进行的资源配置活动与所取得的社会实际效果之间的比较关系，重点研究财政配置资源的合理性和资源使用的有效性。本文认为财政R&D项目投入产出绩效评价一种恰当的形式可以从R&D项目后评价入手，进行不同性质项目的评价，在汇总全部R&D项目绩效的基础上进行。理由主要有：
1.根据联合国教科文组织对科技活动所作的统计界定，科技活动中科学研究与试验发展(R&D)包括基础研究、应用研究、试验发展三类活动[2]。科技活动的分类为我们统计财政R&D项目投入产出绩效提供了统计范围和口径。
2.基于科技项目后评价角度构建财政R&D项目绩效后评价体系，既能够评价个体项目，也能够按项目性质汇总来评价某一类项目，从而有利于管理部门和决策者加强对科技项目的监督与审核，最大限度地促使项目发挥其经济效益和社会效益。
3.任何科技活动都会有一定的科技产出、经济效益和社会效益，尤其是R&D项目处于孕育科技成果的阶段，在项目完成时进行其经济效益、社会效益的评价，不利于较精确测量项目的间接或潜在的产出，从而不利于全面客观反映项目的绩效。
4.根据单位典型调研①和调查问卷统计的结果②，对R&D项目的经济效益和社会效益的评价期限问题，财政相关部门、科技服务部门和科技项目承担单位选择2年进行评价的人数比重为27.61％，选择3年进行评价的人数比重为41.72％，择5年进行评价的人数比重为22.70％，即在2～5进行项目经济效益和社会效益评价的人数比重为92.02％。
二、财政R&D项目绩效后评估体系的构建
(一)基本目标
财政R&D项目投入的基本目标是追求财政资金使用的经济性(Economy)、效率性(Efficiency)、效益性(Effectiveness)，简称“三E”。通过实现的“三E”目标，全面综合地反映财政R&D项目投入产出的绩效状况。
财政R&D项目投入的经济性是指R&D项目投入规模总量一定的条件下，财政R&D项目投入在结构上应该合理，即财政R&D项目投入内部各构成要素符合社会共同需求的目的，且各构成要素占公共支出总量的比例协调、合理，能够促进建立财政R&D项目投入的有效支出决策机制和支出优先排序机制。
财政R&D项目投入的效率性是以支出使用环节为重点，考察财政R&D项目支出活动的产出同所消耗的财力等要素的比较关系。财政R&D项目支出的高效率，意味着用最小的财政R&D项目投入达到既定的目标，或者R&D项目投入既定而产出最大化。
财政R&D项目投入的效益性是指财政支出与所产生效果之间的关系。财政R&D项目投入的效益可以从不同领域的多个方面体现出来，如可以表现为财政R&D项目投入的经济效益和社会效益，也可以表现为直接效益和间接效益；还可以表现为近期效益和远期效益等。
(二)构建原则
参考国外经验，在财政R&D项目绩效指标设计上，按照“投入——产出——成果”这一逻辑程度进行指标设计。指标体系具体设计应根据评价项目的性质不同而不同，本指标体系的设计中体现了一般指标体系设计过程中所遵循的科学性原则、相关性原则、简明性原则、层次性原则、可比性原则、重要性原则、定量指标与定性指标性结合的原则等通用原则，并重点突出了以下原则：
1.系统性原则。评价指标应能从系统的角度，全面综合地反映财政R&D项目绩效的整体情况，既能反映直接效果，又能够反映间接效果，以保证综合评价的全面性和可信度。这些指标必须互相联系、互相制约。同时，每个指标应尽可能边界分明，避免互相包容，减少对同一内容的重复评价。评价指标构成互有内在联系的若干组、若干层次的指标体系，具有很强的系统性。
2.可操作性原则。科技项目管理是一项大量的、经常的、长期的活动，科技项目绩效评价又是科技管理的一项主要内容。为了保证绩效评价的有效实施，本评价指标体系做到了指标体系简繁适中，计算方法简便易行；评价指标所需的数据易于采集、适应目前的科技管理水平，数据的获得应符合成本效益原则，指标统计口径尽可能与计划口径、统计口径、会计核算口径相一致；各项评价指标及其相应的计算方法、各项数据能够标准化、规范化。
3.导向性原则。对财政R&D项目的绩效后评价，其目的不是单纯地评出名次和优劣，更重要的是引导和鼓励项目承担单位重视R&D项目的投入产出绩效。另一方面，财政各部门通过评估指标体系以可操作、可量化的形式注重财政投入成本与效益，确定优先资助领域或项目。指标体系有利于发挥财政宏观调控的导向性和贯彻相关政策的激励性。
4.差异性原则。科技活动具有不同的形式、内容和不同目的，呈多样性，科技项目是以科技活动作基础的，所以也具有多样性。项目评价如果不分类，则纷杂无章，很难进行可比性评价。财政R&D项目绩效后评估体系实现了基础研究、应用研究、试验发展三类不同性质项目的评价，同时指出三类不同性质项目指标选择上的差异性和指标权重上的差异性，使指标体系保证合理均衡。
5.利于间接绩效评价的原则。从未来发展趋势看，随着财政投入总比重的下降，以及资源投入集中度的提高，反映财政直接投入绩效的分析将越来越不具有指导意义。因此，间接评价体系的建立与不断完善将成为未来创新体系构建的重点。
财政科技投入的间接绩效评价，主要包括三个方面(1)财政科技投入的带动效应。利用有限的财政科技投入带动民间资金投入，从而扩大科技投入资金的供给规模，改善科技投入资金的供给结构。将财政科技投入作为杠杆，形成全社会科技投入的多元集聚。(2)财政科技投入的引导效应。通过财政对产业或地区的科技资源投入与相关政策，形成对资源流向的示范效应，逐步将社会依赖财政的直接投入绩效转为间接政策作用绩效。(3)财政科技投入的增续效应。财政一次性投入或有限度地追加投入形成的持续性增长效应，特别是社会持续性投入及所形成的循环经济效应，其中有关财政投入与社会资金到位量和到位阶段的关联度与大项目的财政合作方的资源贮备和到位情况的考察是绩效测度的重点。
通过对评价体系的研究与创新设计，逐步将以财政投入经费规模为效率评价标准转为以财政决策有效性和政策执行有效性为标准的评价。
(三)构建步骤
评估指标体系构建步骤如图1：
(四)评估指标的选取
1.指标选择基本理论。
绩效评价指标体系的构造过程可分为二个阶段，即指标体系评价指标的初选和指标体系的完善。评价指标的初选阶段主要使用定性分析方法，是从评价的目的和原则出发，考虑评价指标的充分性、可行性、稳定性、必要性以及指标评价方法的协调性等因素，由系统分析人员和决策者主观确定指标和指标结构的过程[3]。指标体系的完善阶段主要使用定量方法，因为初选后的指标体系未必是科学的，必须对初选的指标体系进行筛选。这一过程包括：
(1)指标相关性的分析，通过指标相关性分析去除相关程度高的指标，保持指标之间的相对独立性；(2)调查问卷的信度、效度分析，通过调查问卷的信度、效度分析来保障问卷的有效性和正确性。(3)初选指标体系的单体测验和整体测验[4]。其中：单体测验是指测验每个指标的可行性和正确性。可行性是指该指标的数值能否获得，那些无法和很难取得准确资料的指标，或者即使能取得但是费用很高(高于指标体系本身所带来的社会与经济效益)的指标，都是不可行的。正确性是指指标的计算方法、计算范围及计算内容应该正确。整体测验主要是测验整个指标体系的指标的重要性、完整性。重要性是指保留那些重要指标，剔除对评价结果无关紧要的指标。一般用德尔菲法对初步拟出的指标体系进行匿名评议。假设指标体系中某层次(或某子指标集合)有M个指标，请P位专家评议。组织者收到专家评议意见后，从专家对指标重要性评价的集中程度E[,i]、分散程度Q[,i]和协调程度(用变异系数V[,i]和协调系数W表征)进行统计分析，由E[,i]、Q[,i]、V[,i]和W综合分析可以决定是否进行第二轮咨询，以及选定指标体系。完整性是指统计指标体系是否已全面地、毫无遗漏地反映了最初描述的评价目的与任务，一般通过定性分析进行判断。
2.评价指标的初选。
(1)确定指标体系结构。常见的评估指标体系的结构形式有以下三种：层次型评估指标体系、网络型评估指标体系和多目标型评估指标体系[5]。根据财政R&D项目绩效后评估指标体系的目的，课题组选用层次型评估指标体系，并将评估体系指标分为三层：目标层、要素层和指标层，其中指标层由定性指标和定量指标组成。
(2)选择评估指标。财政R&D绩效后评估体系按照评估绩效的构成要素进行分解，形成科技直接产出、经济效益产出、社会效益产出三个要素，并针对每一要素进行指标选择。评价指标的初选采用分析法：在收集大量文献资料、收集科技部、上海市科委、其他省市科委一些课题和重大研究项目评审资料，并借鉴各种统计年鉴基础上，初拟出财政R&D绩效后评估体系的各个要素指标。
3.指标体系的完善。
首先，设计《上海市财政R&D项目绩效后评估体系指标调查问卷》，为了避免问卷条目的释义不清，语言表达模糊，课题组对问卷进行了十多人次的试填，进行修正。针对指标重要程度进行大范围问卷调查，并收集可能遗漏而实际中又很重要的指标。本次问卷发放360份，收回207份(回收率57.5％)，其中165份为有效问卷(有效率79.71％)。问卷发放的对象包括：受到财政科技资助的科研单位、财政科技部门工作人员和企业科技人员。
其次，根据调查问卷分析指标的相关性，对初选指标体系进行信度、效度分析，对初选指标体系进行单体测验和整体测验，并根据分析结果来筛选指标，在多次讨论的基础上，最终确定财政R&D项目绩效后评估体系。
(五)指标体系
对于指标的标度设计，在Delphi法进行专家调查的基础上，本文仅给出定性指标的标度(见表2)。
三、评价方法
在评价方法上，课题组采用层次分析法设计权重，选择应用模糊数学评价方法，通过计算全部项目的投入产出比指标对其绩效进行评估[6]。
1.指标权重的确定
基于本指标体系的结构形式是层次型评价指标体系，并且考虑到指标的信息基础，我们选定层次分析法(AHP)作为指标体系的权重确定方法。
2.指标的处理
(1)定量指标的处理
定量指标的计算采用模糊数学中隶属函数的处理方式计算得到指标分值，所选择的隶属度函数为：
(2)定性指标的处理
定性指标采用专家打分的方法，打分区间为[0，1]，打分参照“定性指标评分标准”。取所有专家打分的平均值作为指标分值，即：
(3)投入产出比的计算
全部项目的绩效由投入产出比来表示，投入产出比为全部项目的产出总分值与投入分值的比值，即：
。
四、小 结
基于科技项目后评价的财政R&D项目绩效后评估体系具备如下突出内容是：(1)在构建原则上，除一般原则外，重点突出遵循系统性、可操作性、导向性、差异性和利于间接绩效评价的原则；(2)评价指标上由定性指标和定量指标组成，在评价体系内容设计上具有兼容性。该指标体系可直接用于评价全部R&D项目总体绩效，也可进行局部调整分别形成基础研究项目评估子体系、应用研究项目评估子体系、试验发展项目评估子体系，针对不同性质R&D项目分别设置指标和确定指标权重进行合理的评估。
注释：
①课题组调研走访了政府相关部门(上海市科技成果转化中心)、科技服务部门(浦东新区科协)、2家基础研究实验室和8家不同行业的企业。
②课题组设计了《上海市财政R&D项目绩效后评估体系指标调查问卷》，本次问卷发放360份，收回207份(回收率57.5％)，其中165份为有效问卷(有效率79.71％)。问卷发放的对象包括：受到财政科技资助的科研单位、政府科技部门工作人员和企业科技人员。在收回的有效问卷中，对问题“您认为，通常应在科研项目结束后多长时间对其经济效益和社会效益进行评估?”的统计结果是：选择3年进行评估的人数比重为41.72％，选择2年进行评估的人数比重为27.61％，择5年进行评估的人数比重为22.70％，即在2～5进行经济效益评估的人数比重为92.02％。结合我们的典型调查，建议分行业划分进行经济效益、社会效益评估的年限，例如软件业为2年较合适，而生物与医药行业应为5年为宜，一般可以采用3年。
③“被四种检索系统收录的论文数”指标和“论文被引用次数”指标都是反映科技论文质量的重要指标，考虑到两者具有一定的相关性，这里仅使用前者。
④“项目科技水平含量”指标，在R&D不同项目(基础研究、应用研究、试验发展)评价中，即在科技活动的不同阶段，该指标又具体包含不同的定性指标来对其评价，可参见表2定性指标标度划分。
⑤区分基础研究与应用研究的主要标志：具有特定的实际应用目的的研究属于后者。由于基础研究不一定具有实际应用目的，进行基础研究项目评价时，经济效益产出指标中不包括“对GDP贡献(增加值)”指标。依照科技活动的递进性，而在应用研究项目、试验发展项目评价时应包括该指标。“对GDP贡献(增加值)”指标是个成有指标。