浅析层次分析法在水务科技项目 实施效果评估中的应用
汪 燕
(深圳市水务科技信息中心，深圳 518036)
摘要： 借鉴相关行业或领域项目评估工作经验，结合2008—2017年的深圳市水务科技项目类型，采用层次分析法，构建符合水务科技项目特点的评估体系。从项目立项、项目管理过程、项目产出和项目效果等各个方面对2008—2017年的深圳市水务科技项目进行分析，采用了全面评估和重点分析相结合的方式，实现了科技项目实施效果定性评价转换成定量分析的目的。
关键词： 科技项目；层次分析法；效益指标；评估
在科技项目实施的全周期内，如何保障科技创新项目研究活动及其成果的水平与质量，如何采用定性与定量分析方法结合起来，对科技管理进行科学、公平、合理的评估一直是科技行政管理部门、科技工作者及社会各界关注的焦点。深圳市水务科技创新项目自设立以来，支持了一大批水环境治理、水安全保障、水资源利用、水生态健康、水管理服务和水利工程运行等水务重点领域项目，取得了非常明显的成效。但是在实施和管理中仍然存在布局整体性和系统性不足、项目来源单一、部分成果的应用和推广性不高等很多问题。如何选择合适的方法、对过去深圳市水务科技创新项目效益成果作出合理的评估，是水务科技创新项目管理中急需解决的问题。本文以深圳市近年来实施的水务科技项目为分析对象，通过调查整理项目实施过程的问题和成效，结合项目管理资料，通过划分项目类型，梳理评价指标种类，建立评估体系，探讨采用层次分析法对项目的效益指标进行赋分评价，进而评判项目实施的质量层次。
我国集中供热迅速发展，在保障和提高人民生活质量、改善城市基础设施状况、建设现代化城市等方面作出了重大贡献。然而，与国外相比，目前大部分运营热网较为落后且处于粗放型管理，缺乏有效的调控设施和先进的控制策略，供热能耗居高不下，不仅造成了能源浪费，还加重了供热企业的经济负担[1]。近年来，供热企业也意识到供热节能的重要性并全面开展各方面的节能优化改造工程，大力发掘节能空间[2]。
1 项目评估体系构建
1 .1 评估体系的建立
合理构建项目评估体系是至关重要的，按照深圳市水务科技创新项目实施特征，本文将评估指标体系分为三层：目标层、准则层、指标层。目标层为单一目标——深圳市水务科技创新项目评估指数，深圳市水务科技创新项目评估的目的在于综合评估深圳市水务科技创新项目资金以项目的形式用于深圳市水安全、水资源、水环境、水生态、水管理和水利工程等项目的整体实施过程，分析项目实施过程中存在的问题，对项目实施过程中积累的经验进行总结，为强化项目管理单位和项目实施单位在深圳市水务科技创新项目管理提供决策依据。准则层包括项目立项、项目管理、项目产出和项目效果4个层面，是影响和制约深圳市水务科技创新项目实施的因素，项目立项是决定项目能否为深圳水务科技工作提供有力支撑的重要因素，是项目能否按照既定计划顺利实施的必要条件，也是深圳市水务科技创新项目实施过程中的重要基础工作，包括立项程序、项目目标、项目内容三项基本指标；二是项目管理，项目管理是深圳市水务科技创新项目具体实施过程的核心环节，是决定项目成败的关键，是深圳市水务科技创新项目评估的重要落脚点，包括组织管理、财务管理、验收管理、档案管理四项基本指标；三是项目产出，项目产出是深圳市水务科技创新项目实施规范性的重要考核层面，包括产出进度和产出质量两项基本指标；四是项目效果，项目效果是深圳市水务科技创新项目实施总体成效的集中体现，包括成果应用和实施成效两项基本指标。每一个准则层包含的基本指标构成指标层，共11个单项指标，以全面反映和考核深圳市水务科技创新项目实施情况，每一个指标的含义和评判标准如下：
(1)立项程序：反映和考核项目是否满足申报条件；项目的申请、论证、入库、批复等程序是否符合项目立项相关要求；实施方案的编制内容是否完整，是否按照项目管理部门(单位)的要求进行修改完善。
(2)项目目标：反映和考核项目目标是否符合国家法律法规、方针政策和自己支持方向；是否符合深圳水利事业改革发展方向，是否与项目承担单位的工作职责和任务一致；项目目标是否合理。
(3)项目内容：反映和考核项目内容与项目目标是否匹配；内容设置是否清晰、细化、量化、可衡量。
(5)财务管理：反映和考核承担单位项目预算编制是否规范；是否建立独立项目资金账户；预算经费是否及时、全额到位；经费管理、费用支出等制度是否完善，是否严格执行；经费使用是否合规；项目经费是否按时执行完成。
(4)组织管理：反映和考核承担单位在项目实施过程中权责分工是否明确；项目相关管理制度是否健全，是否严格贯彻执行相关管理制度。
⑤推进生态家园富民工程，鼓励农户开发沼气池，利用人畜粪便、生活污水、农业废弃物等入池发酵，产生沼气、沼液、沼渣用于日常生活和农业生产，形成农户生活、沼气发酵、生态农业的良性发展链条。
(6)验收管理：反映和考核承担单位项目验收程序是否符合相关规定；验收报告文本是否规范。
(7)资料管理：反映和考核项目承担单位是否严格按照项目管理部门(单位)要求的内容及期限整理并上报项目相关材料，项目上报材料主要包括项目实施方案、总结、验收报告、成果报告、成果信息摘要等。
(8)产出进展：反映和考核项目按照实施方案、项目内容等要求的任务进展情况。
制作馆藏资源宣传手册，针对使用中出现的问题及读者关注的重点内容作进一步的修正，印制更加简洁易懂、图文并茂、内容全面的宣传手册；制作详尽的各“数据库注册方法与使用”电子版，通过微信订阅号、OA系统、微信群、电子邮件等系统主动推送给读者，有效指导医务人员快速完成数据库机构用户注册，并能在最短时间内掌握文献检索方法与技巧。同时扩大了电子阅览的规模，保证医学图书馆的文献质量，提高了图书馆馆藏电子资源的利用率。
(9)产出质量：反映和考核项目已完成任务是否应用；是否达到项目目标要求；是否满足相应技术标准。
前院是陈廷敬的会客处，大厅上方正中悬有康熙皇帝御赐的匾额。除此之外，点翰堂内还陈列有正一品官员的全套仪仗。中院是陈廷敬的起居处，虽说是起居处，实际上更多是象征性的。陈廷敬一生宦游五十三载，回家的次数极为有限。后院实际上是皇帝的行宫，当年康熙皇帝出巡来到皇城相府，就下榻在此处。正厅内挂着康熙帝御赐的画像，右侧为皇帝龙床，其上接天花板，下接地板，寓意顶天立地、九五至尊。自康熙皇帝住过此房后，再也没人敢住在这里。
在体育教学的过程中，体育教师不能面对每一个学生进行教学。此外，有些体育技巧，学生之间的沟通会更有效果。因为学生之间会更加了解彼此的学习情况和心理。因而我们在体育教学中可以运用小组合作，让学生进行互帮互助，提升整体的体育教学质量。
(10)成果应用：反映和考核项目成果是否实际应用及应用过程是否正常。
(11)实施成效：反映和考核项目的实施是否能够推进深圳水务科技创新及应用、水务领域新技术推广与示范、水务业务重大技术攻关、水务工作专题研究等方面。
综合各准则层权重值以及准则层各层面评估指标的相对权重值，可得指标层所有指标对目标层的合成权重，见表5。
表1 深圳市水务科技创新项目评估指标体系
1 .2 确定指标权重
采用构造两两比较判断矩阵，由各指标之间的两两比较关系判断矩阵计算指标权重。对同一层次指标，进行两两比较，以标度值表示比较结果，标度值由项目组先行暂定，通过专家咨询环节确定。通过对近期水务科技创新项目的分析，采用上述方法确定深圳市水务科技项目评估指标准则层项目立项、项目管理、项目产出、项目效果四个层面的权重分别为：0.0972、0.1639、0.4018、0.3370。同理，分别得出准则层各层面指标两两比较判断矩阵的最大特征值及一致性比例，准则层各层面指标两两比较判断矩阵的一致性比例均小于0.1，满足要求，结果见表3。
(1)
bij是判断矩阵P的元素，表示对因素而言，与相对重要性的数值，以(1～5)标度值表示比较结果，各级标度的含义详见表2。
表2 判断矩阵标度及其含义
根据判断矩阵求出这n 个元素B1，B2，，Bn 对A k 的相对权重向量W =(W 1，W 2，，W n )T，即计算判断矩阵的最大特征值及对应的特征向量。
得出这n 个元素B1，B2，，Bn 对Ak 的相对权重向量
即各个层次或指标的权重。计算判断矩阵一致性指标，并检验其一致性。
(2)
对该特征向量进行规范化(归一化处理)，
指标权重的确定是层次分析法的重要步骤，其目的是确定系统中各因素之间的关系，建立系统层次结构模型。将包含的因素分组，每组作为一个层次，从上至下依次分为目标层(最高层)、准则层(中间层)和指标层(底层)，上一层次对相邻的狭义层次的逐层支配关系，即递阶层次关系。由层次结构模型中每层中的各因素的相对重要性的判断数值列表构成判断矩阵，判断矩阵表示同一层与上一层某因素有关各因素之间相对重要的比较。例如，若A层次中因素Ak 与下层次n B1，B2，，Bn 有联系，则判断矩阵：
表3 准则层各层面指标判断矩阵 最大特征值及一致性比例
准则层各层面评估指标的相对权重规范化处理结果见表4。
3)现场设备层，通过增设温度传感器、压力传感器、电流互感器、接近开关等元件，可对空压机、水泵等设备的运行参数进行实时采集。
表4 规范化处理后准则层各层面评估指标的相对权重
指标详细划分情况见表1。
（3）建立健全符合高校自身发展特点的数据素养教育培养体系与评价体系。数据素养的提升不仅需要高校教师从自身角度进行提升还需要高校建立完备科学的培养与评价体系。这就需要通过政府与各级教育主管机构的支持与干预，充分发挥相关部门的作用。先行建立全国性的权威数据素养试点院校，待发展成熟后进行推广。同时根据我国高等教育的特色与培养目标，参考国外先进经验，在实践中不断总结经验，来制定一套规范化、体系化的国家标准。
表5 指标层所有指标对目标层的合成权重
1 .3 指标赋分标准
指标层各项基本指标按照100分制进行逐项打分，评分标准以项目立项(C1)和项目内容(C3)为例，打分如下：
项目立项(C1)：一是申报条件(20分)。项目满足申报条件的，20分；不满足的，0分。二是立项程序(50分)。项目立项程序完整且符合相关规定的，50分；立项程序不完整或不符合相关规定的，每少1项程序或每有1项程序不符合规定扣10分，分值扣完为止。三是实施方案编制(30分)。实施方案完整且符合要求或按要求修改完善的，30分；实施方案不完整的，每少1项内容扣3分；未按项目管理部门(单位)的要求修改完善的，0分。上述3项得分相加求和即为该评估指标最终得分。
项目内容(C3)：反映和考核内容设置是否细化、量化可衡量。一是内容匹配性(20分)。项目内容与项目目标匹配的，30分；基本匹配的，15分；不匹配的，0分。内容细化(40分)。内容细化的，40分；比较细化的，20分；未细化的，0分。内容量化(40分)。内容量化的，40分；比较量化的，20分；未量化的，0分。上述3项得分相加求和即为该评估指标最终得分。如此类推，将其他指标的赋分标准一一确定。
2 项目评估分析
2 .1 项目样本选定
对于某一特定项目进行评估时，搜集资料越全面，评估结果就越客观。然而，如果为了通过评估掌握某一类项目的实施情况，需要尽量提高评估项目样本所占比例，以反映某类项目的总体情况。2008—2017年，深圳市水务发展专项资金科技项目合计138个，总投资25297万元。其中以2013年为分界，2008—2012年中的科技项目合计37个，总投资3605万元，主要来源为水务发展专项资金中的能力建设投入；2013—2017年，整体的水务科技项目有了较大层次的提高，项目数达到101个，其中水务科技创新项目57个，总投资6955万元。考虑到资料的可获取性和参考价值，本次研究选取2013—2017年的全部水务科技创新项目57个，以及2008—2012年的部分水务科技项目10个，共计67个作为评估项目样本。
通过对已经掌握的项目相关资料的梳理分析，对项目任务进行了分类。评估项目包含水安全项目12个、水环境项目19个、水资源项目5个、水生态项目10个、水管理项目10个、水利工程项目11个，涵盖了水务科技项目的各类任务，各类任务评估项目数占评估项目总数的比例与各类任务项目占项目总数的比例基本一致，评估结果在一定程度上反映了各类任务项目的总体状况，如图1所示。
图1 各类任务评估项目比例与项目总体比例对比
2 .2 项目评估总体分析
利用以建立好的评估体系，分别对待选取样本共43个项目逐一打分评估，同时按照每个项目的实际打分情况结合项目拨款进度、项目内容完成质量、项目验收效果、项目审计情况等，将评估样本分为A、B、C、D、E、F六个等级，具体定义见表6。
表6 水务科技评估项目等级划分标准
根据总体打分情况和项目的等级划分情况，43个深圳市水务科技项目评估平均分数为64分，项目实施总体情况达到D级，不同评估等级的项目数为：A级12个，B级10个，C级4个，D级2个，E级13个，F级2个。项目评估不同等级所占比例如图2所示。
图2 项目评估不同等级所占比例
图2表明，分析样本中评估等级A级和B级分别仅占28%和23%，E级所占比例最高，达到30%，甚至出现了个别F级项目，即立项后被搁置或终止的项目，占项目评估总数的5%。由此可见，由于管理制度不健全、项目主管部门人员流动、项目承担单位责任不到位、成果达标率偏低、推广应用率低等原因，2008—2017年深圳市水务科技项目总体实施情况不佳，产出效果不高。
我立刻转回屋里。淘米，舂粉，挎着菜篮，奔到了西头槐树林。这里又是一片雪白世界，空中流淌着甜蜜的清香。阳光从树缝挤进来，把绿叶白花映得亮晶晶的。远处一群细伢儿在嬉戏打闹，槐生也在里边。看到我，他就跑了过来。
3 结语
采用层次分析法对科技项目实施效益的评价，利用得分分值体现了不同科技项目在同一评估指标体系下的质量好坏相对程度，具有直观性和公平性，通过对二级指标的逐一探讨，可以针对项目实施过程中出现的问题和积累的经验进行总结，有利于项目管理单位和项目承担单位分别提出强化项目管理的对策措施和建议。这一方法对难以定量评价和考核的项目实施成效分析有较强的借鉴意义，但在采用该方法的过程中，应详细分析划分评价指标，并以实施情况加以对比验证。
参考文献
[1] 彭月平, 傅琼华, 刘业伟. 江西水利科技创新探析[J]. 水利技术监督, 2018(06): 124- 126.
[2] 徐添明. GZ科技计划项目管理评估及对策研究[D]. 华南理工大学, 2015.
[3] 林映华. 广东省科研机构科技计划项目管理现状及对策研究[J]. 科技与创新, 2016(05): 3- 5.
[4] 侯祚勇. 加强新形势下科研项目的全过程管理[J]. 科技与创新, 2018(18): 98- 100.
[5] 王超群. 江苏省科技计划管理工作的思考与建议[J]. 江苏科技信息, 2017(31): 3- 5.
[6] 孙娟. 多目标层次分析方法在沈阳市初始水权优化分配中的应用研究[J]. 水利技术监督, 2018(06): 94- 97.
[7] 周斌, 曲轶龙, 霍竹. 我国科研项目管理机构建设历史及专业机构布局建议[J]. 创新创业理论研究与实践, 2018, 1(04): 21- 25.
[8] 杨晓春. 新形势下水利科技项目管理方式探索[J]. 湖南水利水电, 2015(05): 103- 105.
[9] 胡红亮, 周萍, 龚春红. 中国科技计划项目管理现状与对策[J]. 科技管理研究, 2006(08): 1- 5.
中图分类号： G322.7
文献标识码： B
文章编号： 1008- 1305(2019)05- 0184- 04
收稿日期： 2019- 01- 26
作者简介： 汪 燕(1982年—)，女，高级工程师。
DOI： 10.3969/j.issn.1008- 1305.2019.05.052
标签：科技项目论文; 层次分析法论文; 效益指标论文; 评估论文; 深圳市水务科技信息中心论文;