基于德尔菲法的地方政府绩效评价信息源未来使用趋势研究_变异系数论文

地方政府绩效评估信息来源的未来使用趋势——基于德尔菲法的研究,本文主要内容关键词为:地方政府论文,德尔论文,绩效评估论文,趋势论文,来源论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

中图分类号:D630.1 文献标志码:A 文章编号:1005-460X(2011)03-0039-05

绩效评估在本质上是一个绩效信息的搜索、收集、处理、沟通、使用和反馈的过程。绩效信息是评估主体进行价值判断的依据,绩效信息充分与否、准确与否、客观与否等,是决定绩效评估活动有效性的关键因素。按照绩效信息的来源与政府系统的关系进行分类,可以分为外部的绩效信息和内部的绩效信息。而根据绩效信息是基于经验的主观判断还是客观信息,也可以分为感知信息和非感知信息。其中,感知信息是指个人或者组织对政府绩效的感知或态度等信息,往往可以通过对这些个人或组织的“问卷调查或访谈进行收集”[1]。那么,未来绩效评估活动中各种绩效信息来源的使用可能会出现什么样的发展趋势呢?

目前有学者开始关注政府绩效评估信息,如对政府绩效信息的获取、使用和公开制度进行了讨论[2],或是基于网络信息技术探讨政府绩效信息资源开发与共享的机制和对策[3],也有学者围绕政府绩效评估信息失真问题进行了一系列研究[4][5][6]。尽管已有学者通过德尔菲法研究了中国地方政府绩效评估信息来源的现状[7],但尚未发现关于政府绩效评估中绩效信息来源未来使用趋势的研究。

因此,本文选取地方政府绩效评估活动进行研究,通过对部分政府绩效评估实践者和研究者的德尔菲调查,由专家根据其在该领域的知识和经验对与政府绩效评估信息来源的情况进行判断,从而提炼和获得政府绩效评估中绩效信息来源的未来使用趋势的预测数据。通过这一研究,可以让政府绩效评估的实践者和研究者了解绩效信息来源的未来使用趋势,进而对政府绩效评估中绩效信息的收集提供建议。

一、研究设计

德尔菲法是20世纪60年代由兰德公司提出一种最初用于预测的、向专家进行函询的调查法。由组织者就拟定的问题设计调查表,通过函件分别向选定的专家组成员征询调查,按照规定程序,专家组成员通过组织者的反馈材料匿名地交流意见,通过几轮咨询和反馈,专家们的意见逐渐集中,最后获得具有统计意义的专家集体判断结果[8]。由于德尔菲法依据系统的程序,采用匿名发表意见的方式,即专家之间不得互相讨论,不发生横向联系,只能与调查人员发生关系,其在解决带有感情色彩、有争论的问题时具有能集思广益、降低心理因素和外界压力影响等独特优点。因此,本研究较为适合采用德尔菲法,通过绩效评估专家的观点和立场来预测中国地方政府绩效评估中绩效信息来源的未来使用趋势。

调查专家的选择是否准确、恰当,是决定德尔菲研究信度与效度的关键所在。为了获取对我国地方政府绩效评估体系最为熟悉的专家,我们对1990-2007年发表关于政府绩效评估有关论文在3篇以上的人员进行全面搜索和分析,发现目前政府绩效评估专家集中于中国行政管理学会绩效管理研究会理事、常务理事、学会领导之中,共计151名。因此,根据德尔菲研究中对专家的要求以及中国行政管理学会绩效管理研究会理事及其以上人员在政府绩效评估专业背景和知识等方面的情况,可以将中国行政管理学会绩效管理研究会理事及其以上人员作为本研究的专家库。

为了从专家库中选择出合适的专家,在能力水平的基础上,本研究也考虑了参与意愿和时间保证等标准。2008年2月20日开始第一轮调查,通过邮寄(快递、挂号信、平信)的方式向专家库的所有专家发放问卷,截止到2008年5月1日共有34位专家回复。因此,通过第一轮调查,本研究从专家库151名专家中选择了34名专家,同时获得了第一轮专家意见。2008年6月12日开始第二轮调查,并反馈了第一轮调查中所有未来发展题项的专家打分平均值。截止到2008年9月1日有26位专家回复,专家的第二轮参与率为76.5%。两轮德尔菲专家的构成情况具体见表l。其中,高校等研究机构学者专业职称均为副教授以上,官员至少为所在单位中层以上级别。

关于政府绩效评估信息来源的调查问卷共包括16个题项,其中8类利益相关者的主观感知绩效来源,包括公民、服务对象、官员、国有企业、私营企业、专家学者、工会、人大代表等;8种非感知信息是指来自于审计局、财政局、监察局、上级政府的报告、市目标办公室、统计局、下级政府的报告、人代会上的政府工作报告等部门或文件中的政府绩效信息的客观数据。

调查问卷采用5级量表的形式。为了了解政府绩效评估中绩效信息的来源,我们让德尔菲专家对上述各种可能的绩效信息来源进行了评估,即从未来希求度、未来可行性两个维度进行打分。通过在德尔菲专家看来各种绩效信息来源在未来3年广泛使用的期望程度和可行性,以反映政府绩效信息来源的未来使用趋势。另外,为了反映专家在预测时的确定程度,在第二轮调查时,调查问卷中加设了专家对于未来可行性判断的确定程度这一维度。

通过第一轮调查,本研究获得专家关于所在城市政府绩效评估活动中绩效信息来源未来前景的初步评估。第二轮时将第一轮中所有专家对于绩效信息相关问题在未来3年的期望和可行性判断的均值和该专家在第一轮时的个人判断反馈给各德尔菲专家,由其重新评估后给出未来发展趋势的判断。采取这种策略的目的是,让专家在基于其所在城市的政府绩效评估实践并了解其他城市状况的基础上,给出对于绩效信息来源在未来3年广泛使用的希求度和可行性的判断。这样,我们就可以获得来自不同城市的德尔菲专家对于政府绩效评估中信息来源未来使用状况的共性认识。由于第二轮专家打分是在重新思考第一轮专家综合判断的基础上给出的打分,因此对于政府绩效信息来源未来发展趋势的预测采用了参加第二轮调查的26位德尔菲专家对16个题项的未来期望、未来可行性以及确定性的打分。

本文主要使用了均值、标准差和变异系数3个统计量进行数据处理。其中,均值用以反映专家意见的集中程度;变异系数用以反映专家意见的收敛程度。为了便于提取德尔菲专家对地方政府绩效评估中绩效信息来源未来发展预测中的普遍规律,我们采用了变异系数法对调查结果进行分析。变异系数可以反映专家对绩效信息来源在未来广泛使用的认识的差异程度,亦即协调程度。变异系数越小,说明专家意见的协调程度越高;变异系数越高,说明专家看法之间的差异越大。一般来说,当变异系数小于0.25时,可以认为专家的意见有一定的一致性。因此,我们可以对变异系数小于0.25的绩效信息来源进行分析,从而识别出各种绩效信息来源在未来希求度和可行性方面的共性规律。

二、各种信息来源的未来希求度

专家在第二轮调查中对各种绩效信息来源未来希求度打分的平均值、标准差和变异系数如表2所示,该表对各绩效信息来源按照其未来希求度的变异系数从低到高进行了排序。所有绩效信息来源的未来希求度分值都在3分以上,而且只有工会的平均值得分在3.5分以下。这说明,根据德尔菲专家的总体看法,调查中所提供的各种绩效信息来源在未来3年广泛使用都有较高的需求。

通过第二轮问卷调查,德尔菲专家对于未来地方政府绩效评估中信息来源的需求达成了部分共识。在16种绩效信息来源中,共有11种信息来源的变异系数值小于或等于0.25。这说明,德尔菲专家对于财政局、统计局、市目标办公室、监察局、人代会上的政府工作报告、审计局、人大代表、公共服务的个人用户、国有企业、学术专家和上级政府的报告等11种绩效信息来源在未来3年得到广泛使用状况的预测具有较为一致的意见。而对于另外5种绩效信息来源,即私有企业、下级政府的报告、政治家、市民和工会在未来广泛使用状况的预测,德尔菲专家的意见有较大的差异。基于第二轮调查的策略,这些变异系数小于或等于0.25的题项展示出了各个城市政府绩效评估中信息来源未来发展的共同愿景。

由表2可知,财政局、统计局和市目标办公室这3种信息来源,不但是专家打分平均值最高的3项,而且还是变异系数最小的3项。这说明德尔菲专家一致认为,它们是未来政府绩效评估中最需要广泛使用的3种信息来源。其中,在所有绩效信息来源中,财政部门的未来希求度得分最高,且变异系数最小。这说明德尔菲专家一致认为,未来地方政府绩效评估中来自于财政部门的绩效信息得到广泛使用的需求最高。

财政部门在未来地方政府绩效评估中的地位被认为需要进一步凸显,这恰好与财政部门负责财政收支管理的职能紧密相连。一方面,由于资金是政府管理和服务的最重要的资源之一,各地政府都将财政收入增长、预算收入、专项资金争取以及综合经济实力等内容列为绩效评估内容。因此,很多地方的财政部门在政府绩效评估中参与评定工作。而另一方面,尽管目前的政府绩效评估体系尚未把降低包括行政成本在内的各种开支列入主要的考核制度,但中共“十六大”报告中已明确提出要降低行政成本,打造“花钱少工作好”的廉价政府已开始受到重视[9]。尽管降低成本与绩效评估的结合还存在相当多的困难,但财政支出绩效评估的实践已逐步开展。除了增加财政收入,如何让资金的价值发挥更大的作用是财政部门预算管理面临的重要课题。而无疑财政部门在此方面既有技术上的优势,同时在绩效信息的掌握上又有职权加以保障。

另外,学术专家是专家打分平均值最高的感知信息来源,且变异系数小于0.25。这说明,德尔菲专家一致认为学术专家与其他主观信息来源相比广泛使用的需求相对更高。有研究指出,评估主体的认知因素是影响绩效评估客观性的关键变量[10]。而在认知能力方面,学术专家无疑拥有较高的知识和理性,这一预测结果正好与各绩效信息来源的认知能力相一致。而作为政府系统的外部公众,无论是学术专家还是公共服务的个人用户,或是一般市民,其在未来政府绩效评估中作为绩效信息来源的如此高的需求都反映出,人们对服务型政府的构建和政府绩效的公众导向或公民驱动的巨大期望。

而从专家打分的平均值来看,在所有的绩效信息来源中,上级政府的报告、国有企业和工会是德尔菲调查专家心目中未来希求度最低的3种绩效信息来源。但其中,工会的变异系数超过了0.25甚至高达0.36。这说明,德尔菲专家总体上认为上级政府的报告、国有企业和工会作为地方政府绩效评估信息来源与其他信息源相比广泛使用的需求相对较低,但专家们对工会未来希求度的认识存在较大差异。

对上述分析进行总结,可以将德尔菲专家比较一致的意见提炼如下:

(1)未来地方政府应把财政局作为绩效评估的重点信息源之一,强化从财政局收集非感知信息并广泛用于绩效评估;同时,未来地方政府应继续关注从统计局收集非感知的绩效信息,并将其作为另一个重要的绩效信息来源;另外,未来地方政府还应把市目标办公室作为绩效评估信息的关键来源,将从市目标办公室所收集的非感知绩效信息广泛用于绩效评估。

(2)来自于财政局、统计局、市目标办公室、监察局、人代会上的政府工作报告、审计局等部门和文件的客观信息在未来地方政府绩效评估中广泛使用的需求高于各种主观信息。因此未来政府应继续关注从上述绩效信息来源所收集的客观数据。

(3)未来地方政府也应注意通过学术专家和人大代表收集绩效信息并广泛用于政府绩效评估,这些主观绩效数据将成为来自于财政局、统计局、市目标办公室、监察局、人代会上的政府工作报告、审计局等部门和文件的客观数据的重要补充。

三、未来的可行性及其确定性

第二轮调查获得的未来可行性评估得分如表3所示。除工会以外,所有绩效信息来源的未来可行性得分平均值都大于3分。其中,市目标办公室、监察局、审计局、财政局、统计局、人代会上的政府工作报告、政治家和人大代表的评价得分均高于4分。未来可行性最高的3种绩效信息来源从高到低依次是市目标办公室、监察局和审计局。

同样,为了明确第二轮绩效信息来源未来可行性调查专家意见的集中程度,我们将各种绩效信息来源得分的变异系数进行了升序排列。可以发现,在16种绩效信息来源中,共有11种绩效信息来源的变异系数小于或等于0.25,包括市目标办公室、监察局、财政局、统计局、人代会上的政府工作报告、上级政府的报告、审计局、国有企业、公共服务的个人用户、政治家和人大代表。而变异系数大于0.25的绩效信息来源包括学术专家、下级政府的报告、私有企业、市民和工会。

表4提供了专家对未来可行性判断的确定程度得分的变异系数、平均值和标准差,并按照变异系数由低到高进行了排序。其中,共有12种绩效信息来源未来可行性的确定程度得分的变异系数小于0.25,包括财政局、统计局、市目标办公室、审计局、人代会上的政府工作报告、上级政府的报告、下级政府的报告、公共服务的个人用户、学术专家、政治家、监察局和国有企业。这说明德尔菲专家对这些绩效信息来源未来可行性的判断有比较一致的确定性。

根据绩效信息来源未来可行性的确定性平均值可知,除私有企业和工会外有14种绩效信息来源未来可行性的确定性平均值都超过了3分。这说明,德尔菲专家对财政局、统计局、监察局、审计局、学术专家、市目标办公室、政治家、人代会上的政府工作报告、人大代表、市民、上级政府的报告、下级政府的报告、国有企业和公共服务的个人用户等14种绩效信息来源未来可行性的判断比较确定。

将各种绩效信息来源未来可行性得分平均值、确定性福分平均值以及两者得分的变异系数结合起来,可以发现德尔菲专家既给予财政局、统计局、市目标办公室、审计局等绩效信息来源在未来可行性方面以相对比较高的打分,同时也给予其未来可行性打分以相对比较高的确定性打分。特别需要指出的是,这些绩效信息来源无论在未来可行性还是在确定性方面的得分的变异系数都比较小。这说明德尔菲专家有比较一致和比较确定的意见认为,未来地方政府绩效评估中来自于财政局、统计局、市目标办公室、审计局的非感知绩效信息得到广泛使用的可行性相对较高。

另外,在所有的感知绩效信息来源中,德尔菲专家给予了政治家、国有企业和公共服务的个人用户在未来可行性方面以相对比较高的打分,同时也给予其未来可行性打分以相对比较高的确定性打分。同时,这些绩效信息来源无论在未来可行性还是在确定性方面的得分的变异系数都比较小。这说明德尔菲专家有比较一致和比较确定的意见认为,未来地方政府绩效评估中来自于政治家、国有企业和公共服务的个人用户的感知绩效信息得到广泛使用的可行性也比较高。其中,政治家是未来可行性得分最高的感知绩效信息来源,同时其得分与其他所有的绩效信息来源相比也仅次于得分最高的统计局和监察局。尽管对于将“官考官”为“民考官”、强调以公众满意为导向的服务型政府的期望很高,但由于现实实践中公众参与地方政府绩效评估还存在诸多困境[11],广泛使用公共服务的个人用户以及工会等外部公众提供的绩效信息进行政府绩效评估的可行性尽管比较高,但与非感知绩效信息来源尤其是政治家相比还相差较远。

当然,如果将感知绩效信息来源与非感知绩效信息来源的未来可行性得分平均值、确定性得分平均值以及两者得分的变异系数进行比较,可以发现无论是在未来可行性方面还是在未来可行性的判断方面,大部分非感知信息来源获得了比感知信息来源更高的分值,而且无论是在未来可行性得分还是在确定性得分方面,大部分非感知信息来源具有比感知信息来源更低的变异系数。这既说明德尔菲专家更倾向于认为非感知绩效信息来源比感知绩效信息来源在未来地方政府绩效评估中得到广泛使用的可行性更高,而且专家对非感知绩效信息来源未来可行性的判断比之于感知绩效信息来源有更一致和更确定的意见。

对上述分析进行总结,可以将德尔菲专家比较确定而且意见比较一致的认识提炼如下:

(1)市目标办公室、监察局、财政局、统计局、人代会上的政府工作报告和审计局是未来较有可能广泛使用的非感知绩效信息来源。未来地方政府绩效评估应继续保持对来自于这些部门和工作报告的客观绩效数据的关注度,在评估内容方面注意设计可以通过这些部门或工作报告收集的绩效评估指标体系。

(2)政治家、国有企业和公共服务的个人用户是未来较有可能广泛使用的感知绩效信息来源。在目前来自于政治家主观感知的绩效信息得到更广泛使用并受到最高重视的情况下,未来地方政府绩效评估应加强对来自于国有企业和公共服务的个人用户主观感知的绩效信息的广泛使用。

(3)相比较而言,未来地方政府绩效评估应继续关注非感知绩效信息并将其作为绩效信息的主体,但感知绩效信息的广泛使用也应进行强化,并成为绩效评估信息的重要补充。

本文采用德尔菲专家调查法对中国地方政府绩效评估中绩效信息来源的未来使用趋势进行了预测研究。研究发现,感知绩效信息有望成为重要的补充,加大使用外部公众感知信息的期望明显。这说明,在未来政府绩效评估中,非感知绩效信息独大的格局会有所改变,主观感知信息也被期望纳入评估体系中。同时,尽管来自于市民、公共服务的个人用户、私有企业和工会等外部公众的感知绩效信息在目前较少受到地方政府绩效评估的关注和使用,但德尔菲专家较为一致的意见认为,诸如学术专家、国有企业和公共服务的个人用户作为绩效信息来源在未来得到广泛使用的需求非常明显。另外,同样提供感知信息但表现为政府系统内部信息的政治家在未来广泛使用的需求明显降低。虽然外部公众感知信息的广泛使用尚存在诸多障碍,但在以公众满意为导向的价值观日益深入人心的背景下,关注外部公众需求、将群众是否满意的信息纳入政府绩效评估的呼声渐显。

另外,根据德尔菲专家的预测,未来政府绩效评估将维持以非感知信息为主的状态,而统计局和财政局在政府绩效评估的信息来源中始终处于强势地位。与感知绩效信息来源相比,大部分非感知绩效信息来源在未来期望和可行性方面均居于相对靠前的位次。这说明,尽管在未来外部感知信息有可能得到更多关注和使用,但政府绩效评估还是倾向于对政府内部非感知信息的依赖,非感知信息仍将保持其主体地位。另外,在所有的非感知绩效信息来源中,统计局和财政局无论是未来的希求度还是未来可行性,均在排序中保持了相对靠前的位置。尽管其在两个维度的序次有所变化,并非始终保持在第一二位,但在总体趋势上与其他信息来源相比没有非常大的高低变化。这表明,在地方政府绩效评估中,统计局和财政局始终是最重要的绩效信息来源。

德尔菲法通过多轮问卷调查的方式来获得专家的系统性和情境依赖性的信息,可以将大量信息加以组织和提炼,为本研究提供了一种易于操作和有效的研究方法。但由于本研究所选取的德尔菲专家均为全国政府绩效管理研究会的理事、常务理事、学会领导,尽管26位专家参与调查已符合德尔菲法对专家数量要求,专家在地域上覆盖了我国东、中、西部,在职业上政府官员和学术研究者的数量结构比较合理,但专家在地域结构和职业结构分布上尚不是很均衡等问题使本研究存在一定的局限性。

收稿日期:2011-03-02

标签:;  ;  ;  ;  ;  ;  ;  

基于德尔菲法的地方政府绩效评价信息源未来使用趋势研究_变异系数论文
下载Doc文档

猜你喜欢