绩效审计方法六则，本文主要内容关键词为：绩效论文,方法论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
评价结合方法
为了向国会适时提供特定项目进展情况的综合性和完整性信息，美国审计署开发了一种评价综合方法。该方法通过使用现有的研究成果来解决审计时效性方面的难题，是一种无需收集原始数据就能够满意地回答问题的方法。
评价综合方法的涵义
评价综合方法，是指从一些彼此分离的研究出发，把它们的研究发现组织起来的系统性步骤。简而言之，就是对某个项目的各种评价性研究成果的综合。
利用评价综合方法可以回答几种不同的问题——关于整个项目的效果问题；关于项目的一些具体做法，哪些特别好，哪些特别差的问题；关于如何组织评价研究以提供有关项目更加有用的信息方面的问题。
评价综合方法与其他许多含有评价内容的文献评论和文献分析不同，它是从最终用途回溯过来而被设计的。也就是说，推动评价综合的动力，不是对增加知识的要求，而是对一定信息的特定要求或者需要。
评价综合方法不是针对某个特定评价者或者某些特定研究的特定方法，而是一种具有普遍性的方法。它能够使两个使用相同综合程序步骤的评价者得出相同的统计结果，尽管两者对统计结果的解释可能不同。
评价综合方法的适用条件
当面对关于某个主题的数十甚至数百项研究时，一个不使用系统性程序步骤的评价者将被迫使用主观标准决定如何来综合，该评价者可能会选取一些他所喜欢的研究，选择从经典实验设计的观点看可能做得比较好的研究。或者评价者可能喜欢他所尊重的人开展的研究。在这种情况下，使用评价综合方法十分必要，可以避免凭印象选择研究而得出不恰当的结论。
评价综合方法适用于解决那些无需收集原始数据就能够满意回答的问题。这意味着，运用评价综合方法必须满足两个基本条件：一是回答的问题不需要收集原始数据；二是已经存在大量的相关研究。
如何运用评价综合方法
（一）准备阶段
详细说明问题。选择和识别真正需要回答的问题，是评价综合方法的第一步。评价综合只能回答已经存在研究信息的那些问题。只有在对现有评价研究文献比较了解的基础上，才能提出健全的问题。在对问题的详细说明过程中，开展对可获得数据种类的初步审查是重要的。
收集研究资料。一旦明确了问题，就应收集汇编相关的评价信息资料。资料来源包括被评价项目主管部门的文献资料，以及其他行政机构的研究文献、立法机构的研究文献和地方政府机构的研究文献，全国性学会、学术界的成员，以及国外对该主题的研究文献等。
开发选择研究资料的标准。在完成了对相关资料的识别和收集后，接下来的问题是：什么类型的研究资料应包括在评价综合之内？当决定哪些研究资料应包括在评价综合之内时，审计人员必须运用相关的审计证据准则。
在技术上识别和控制潜在的偏误来源是评价综合的目标之一。无论什么时候，评价人员应尽可能找到运用不同方法的研究资料，使用不同的研究类型可以控制偏误。
对选取的研究资料进行审查。依据研究设计、实施、分析和报告的基本规范，对选取的研究资料进行评价。不管是实验研究、案例研究、统计调查还是内容分析，对于每个研究都要问一问它的可靠性和有效性。
重新确定综合方法的适当性。在准备评价综合的过程中，对将要包括在评价综合中的每一项研究，根据研究问题或者研究设计进行分类是有用的。有时，尽管原始证据看起来是充足的，但事实上却不能运用评价综合来回答国会的问题，要回答该问题，必须开展新的研究，而不是进行评价综合就能做到。
（二）实施阶段
在拥有了被认为对综合有用的一组研究的条件下，下一步就是实施评价综合，查找问题。启动该评价综合的问题在很大程度上决定了该评价综合的具体步骤。如，检查一个项目是如何运作的问题，可能是在理想的环境下该项目为谁服务？或者平均而言该项目为谁服务？在第一种情况下，评价人员可能需要调查许多案例研究，并且提供一个叙述性的关于发现的描述。在第二种情况下，评价人员可能对可获得的各个研究给出的答案进行平均，或者给出从最高到最低估计的范围。
实施评价综合和查找问题，可以利用数量和质量方面的证据来综合考虑。由于评价综合是在现有给定信息的条件下来回答问题，审计人员通常很难找到理想的定量分析方法。有四种常见的情况，非定量分析是特别有效的：一是项目措施是针对个体的或者更加关注过程而不是结果；二是对项目效应的评价包含多个层次的效应水平；三是把没有控制的小组与控制下的小组进行对比；四是对“错误”做法的研究。
（三）报告阶段
把评价综合过程产生的信息认真地编写成报告，对该评价综合的要求者提出的问题作出回应。在报告的介绍部分，应简单描述该评价综合及其所讨论的特定项目两者的历史，并且应当给出该评价综合的目标、范围和方法。
接下来应回答下列类型的问题：信息资料是如何获得的？从什么来源？该努力受到什么限制？调查者对全部相关信息的信任度如何，或者是否对这些信息进行了代表性的抽样？
如果可能，报告的其他部分应该与国会的问题对应起来。报告的内容要包括对回应特定问题可获得数据充分性的讨论。可以用一个附录系统地描述每一项研究，包括标题、报告参考资料、研究目的、数据收集期间、抽样、数据收集和数据分析等方面。
评价综合不能代替精心设计并收集原始数据的针对相关问题的研究，应当慎重地从综合数据得出结论和形成建议。
评价综合方法的优缺点
评价综合方法的主要优点：首先，它能够提供相对低成本、综合和适时的信息。其次，评价综合能够增强研究发现的说服力。与单个健全的研究相比，人们更有信心相信多个健全的研究所得出的同样结论。再次，通过把来自于多个分离研究的关于某个具体问题的信息汇集起来，它清楚地展示了对于该话题，知道什么（及其可信程度）和不知道什么，从而辨别出有待进一步研究的问题。最后，评价综合方法在一定程度上可作为对某些现有特定项目评价的质量检查。
评价综合方法的主要缺点：首先，评价综合方法的主要缺点产生于它对现有研究资料的依赖性。其次，即使有大量信息资料库可用时，评价综合也会因为它只能回答现有研究已解决过的问题而受到限制。再次，质量低劣的研究报告也限制了使用评价综合方法。最后，评价综合方法只能使用当前的研究，如果是几年以前旧的研究，其研究发现可能已经不再是该项目的特征，项目管理者可能已经针对这些发现采取了应对措施。
总之，从评价综合中得出的发现有助于我们利用现有研究成果，更加有力地回答具体的项目评价问题或者解决政策的两难问题。尽管任何一项研究都具有它的重要性，但是评价综合方法的最大优点是，它能够系统地运用现有的数据帮助回答单个研究所不能回答的问题。
（编译：审计署审计科研所 崔孟修）
内容分析方法
内容分析方法是第二次世界大战后从新闻传播领域逐渐兴起的一种分析方法。随着绩效审计的发展，审计人员遇到的各种文件资料和音像资料等越来越多，在这种背景下，美国审计署把内容分析方法引入审计领域，使之成为一种绩效审计的方法。
内容分析方法的涵义
内容分析方法是一种分析文本信息的系统性研究方法，它使审计人员能够按照标准化的方式对文本信息进行推理分析。内容分析方法的核心思想是，通过分类把文本中大量的单词变成为数不多的内容种类。分类过程，也被称为“编码”，即在文本段落上标记出字母数字代码，这将形成代表原始文字信息并且能够运用标准统计方法进行分析的“分类变量”。
内容分析方法的文本资料，可以来自结构性访谈、焦点小组讨论、案例研究、问卷调查中的开放性问题、工作论文、机构文件，以及以往的评价报告等。
内容分析不仅有助于总结书面材料的内容，而且还能描述材料作者的态度或者感觉。审计人员能够运用内容分析清楚地说明一个项目的目标，描述项目活动，并确定项目成果。
内容分析方法的适用性
内容分析方法并非在什么情况下都适用，能否使用内容分析方法需要考虑下列五个方面：一是从任务目标看，内容分析方法特别适用于评价描述性和规范性问题，而较少用于评价因果关系问题；二是能否获得或收集到所需的信息资料；三是在获取的资料中是否包含审计人员感兴趣的变量信息；四是当信息资料是文本并且评价问题涉及定量描述或者比较分析时，内容分析通常是一个不错的选择；五是是否具备所需的资源。在内容分析中，必须考虑三类主要的资源：一个具有技术知识和经验来制订计划和指导内容分析的分析师，编码人员，以及拥有计算机分析能力的人员。
如何运用内容分析方法
内容分析方法的运用，包括制订规划、文本资料编码和分析数据三个阶段。
（一）制订规划
1.界定变量。需要评价的问题直接决定了内容分析的变量，变量的分类可以是规范性的或者顺序性的，并且必须是排他性和无遗漏的。规范性变量没有内在的顺序。如性别是一个规范性变量，可以分为男女两类，把两者谁放谁的前面都没有意义。顺序变量的确有内在的顺序，如很不喜欢、基本不喜欢、冷淡、基本喜欢和非常喜欢。这些分类能够从高到低或者从低到高排列。
2.选取分析材料。选取文本资料使之包括在内容分析之内，在选取资料时，审计人员应该根据评价目的和需要界定文本资料的概念。一份文件应该在物理上可以与其他事物分开、尺寸最小而且具有独立性。一封信是一份文件。当文件的总体数量太大以至于不能对其进行全部分析时，抽样是必要的。
3.界定记录单位。一个记录单位是审计人员运用分类标签的那部分文本。一般而言，经常使用的记录单位有六种：单词、词义、句子、段落、主题和整个文本。
4.开发分析计划。开发分析计划是规划的最后步骤，它把数据与前面的评价问题联系起来。大多数内容分析把焦点集中在变量在文件中的存在情况或者它们的频率、强度和时空特性方面，并根据变量是规范性、顺序性或是比率，来选择相应的分析方法。
（二）文本资料的编码
1.创建编码。编码是指用变量种类的缩写和载有其他信息的短字母代码对记录单位——文本段落进行标记。在对一份文件进行编码之前，必须首先对每一个变量的种类创建一个编码。
2.选择编码方式。文本资料可以直接在计算机上被编码，或者被手工编码后转化成电子媒介。最佳方式的选择依赖于被编码的材料、可获得的硬件和软件，以及编码人员的经验和偏好。
3.编码人员的选择和培训。对被分析的材料来说，编码人员的技术越高，编码在总体上就会更准确可靠。
4.潜在的编码错误。书写较差的文件可能会导致编码人员作出模糊的决策，或者在判断过程中的不确定性，从而导致编码人员的偏误。
5.文件管理。对文件进行编码时会遇到各种难题，例如找不到文件、不合适的文件，以及不能够编码的文件。当假定的文件总体与现实的文件总体之间差距太大时应当放弃使用内容分析方法。
6.运用编码。在对纸质文件进行手工编码时，编码人员简单地在记录单位的边界处做出标记，并在文件的空白处写上编码。对每个变量使用不同颜色的笔，通常是有帮助的。使用电脑的程序步骤类似，但具体细节依具体软件而定。
（三）分析数据
内容分析的本质是编码，即在词语和数字之间建立桥梁。一旦完成编码，接下来的数据分析将按照通常的分析方法进行。
1.准备数据分析。在内容分析中，基本的分析任务是计算编码出现的次数，要么是一个给定变量的全部出现次数，要么是一定次级分类出现的次数，应提前制订计算工作计划，避免重复和不必要的努力。
2.对可靠性的估计。当几个编码人员对文件进行编码时，他们的一致性很重要。如果编码人员差别很大，那么内容分析的结果将成问题，应当估计编码的可靠性。
3.计算一个编码的频率。由编码频率来推断，通常是最有用的数据分析形式。当变量出现的次数特别大时，可以使用百分比。
4.发现联系。除了简单的计算，评价人员可以寻找两个或者多个变量之间的联系。
5.报告方法和结果。应当以被其他审计人员能够利用的方式报告内容分析的方法和结果。方法的描述应当充分详细，以便读者能够清楚地理解该项工作如何开展，以及其优点和缺点。报告应包含下列内容：要解决的评价问题，所分析资料的性质，被编码的变量和编码种类，文件是否进行了抽样，如何抽样，记录单位，编码步骤和编码工具的副本，统计分析技术，妨碍其他人正确使用该信息的局限性。
由内容分析得出的文字结论应当有列表和统计结论的支持。在适当的时候，评价人员应当说明该结论的统计精度。
内容分析方法的优缺点
内容分析方法的主要优点是：首先，在收集数据的过程中，在访谈方法和调查方法中，审计人员与被他们访谈的人之间通常发生不“自然的”相互作用，被访谈人员出于自我保护，可能隐瞒一些观点，内容分析方法可以不受这种干扰，从而避免某些偏误。其次，内容分析方法有明确的程序和质量控制审查，使得多个评价人员才能完成对大量文本数据的分析。再次，内容分析能够揭露随意观察文本时很难发现的信息，帮助审计人员更多地了解他们所检查的问题和项目。最后，当来自内容分析的发现不是评价的主要证据时，它们仍然能够被用来帮助确证与评价相关的其他发现。
内容分析方法具有下列缺点：首先，内容分析必须配备充足的人力资源，对某些内容分析而言，获得的好处可能会超过付出的资源成本。其次，尽管内容分析保障了证据不被扭曲，但是评价人员必须在数据编码过程中使用判断，如果潜在的使用者对于判断过程有所疑虑，那么内容分析可能是不可取的。最后，这种量化的方法可能会在资料量化的过程中出现割裂研究对象本身意义的错误，也就是将研究对象简单化。
（编译：审计署审计科研所 崔孟修）
调查方法
调查方法是一种极具创造性和说服力的取证方法，可用于收集题材广泛的数据资料。所收集的信息既可从统计的角度反映某个审计领域的情况，也可从总体上揭示不符合规范的情况。
调查方法的含义
调查方法是一种用于在某个审计领域收集标准化信息的方法，通过实施标准化程序以获得有关25个以上个人实例的资料，目的是为了对所调查事项做出总结性综合陈述。
调查方法的适用条件
调查方法适用于需要从大量人员中获取某一具体问题的量化信息，特别是通过其他方式不容易获得并且对于证实观点具有重要参考价值的信息。
调查方法除了可以从个人获得信息外，还可以根据文件审查、直接观察以及数据库查询得出一般性的陈述。对个人调查所得的信息与审计面谈或者征求意见类似，反映了受访者针对事实的观点。因此，可能需要进一步确认是否存在这种实际情况。作为调查问卷和标准化访谈的一部分，在查证这类问题时会存在困难。这时，使用其他的审计方法，如案例研究或者文件综述等会更加合适。在一些情况下，可以将某种调查方法与其他审计方法进行合并，如调查问卷可以要求受访者提供确证文件以供审计人员审核。
当重要性取决于利害人群可以清楚地被识别且被确定为抽样个体时；不需要对个人的回复进行独立确证时；有几个月的时间规划、开展和分析调查时，开展调查最有用且最有效。
当通过识别几个重要案例不足以对调查事项的重要性进行阐述时；问题领域不能很好理解时；确认潜在重要事情时；需要对单个回复进行独立确证时；审计时间特别短时，其他审计方法，如审计面谈、案例研究和文件审核，通常也比较适合。
调查方法的具体步骤
（一）制订规划
调查通常会给受访者带来很大负担，同时产生的费用比较大，时间要求明确。因此在审查规划阶段，确认调查是否能够提供出与必要证据有关的充分、一致、客观的信息，以及调查方式是否在各种情况下可行十分重要。
（二）抽样
调查的目的是搜集所需信息以对所审查的项目做出综合或一般性陈述。因此，在做调查时需要从具有合适特征的足够人群中获得信息，以便有合理理由相信一般性陈述能够得到保证。使用正确的方法在人群中选择出合适人选的方法称为抽样。有关抽样人数以及怎样进行抽样的决定对调查程序至关重要。当需要根据文件、直接观察或者电脑案例记录样本做出综合或者一般性陈述时，对调查程序也是至关重要。
（三）确定调查信息的可靠性与有效性
可靠性与有效性是确定调查信息质量的核心问题。确定调查数据的可靠性和有效性是一项技术要求很高的工作，是评估支持审计发现信息充分性的关键。
（四）确证
确证是最大限度降低产生错误观察或者结论风险的重要方式之一。在调查中，确证对估计因调查信息准确性和相关性有关的问题产生的有效位误差风险具有重要意义。当个体被要求提供信息时，他们未经确证的答案可能不是反映实际情况的观点，但是调查问卷的答案也受审计访谈中有关恰当性问题的约束。在规划审计时，审计人员需要确定调查信息确证的需求以及调查信息的性质。
（五）确定数据采集方式
审计人员通常对文件、直接观察、电脑数据库和个人信息采集中的问题比较熟悉。但是，当从个体中采集信息时，需要考虑特殊技术问题。
对个体的调查有各种方法，最常见的方法包括：结构化或者半结构化调查问卷；结构化面谈；结构化电话访谈。
（六）开发与验证数据采集工具
充分及合适的数据采集工具设计对有效性具有重要意义。在运用调查问卷的情况下，所提的问题、问题措辞、问题结构以及问题顺序可能对回答的相关性、准确性以及可能性都会产生重大影响。为此，调查中使用的数据采集工具，应该认真进行规划，并按标准方式向所有受访者提出一套标准问题。
（七）匿名与保密
在调查个体时，通常要用到保密承诺，以增加整个调查或者单个调查问题的反应率，或者通过鼓励准确和公开回复降低偏差的可能性。一般来说，开展调查的专业实践包括对受访者进行保密且使用匿名，无论是否作出保密承诺。
（八）调查数据管理、加工与分析
在数据采集和分析各个时间点都会发生误差。文件调查受访者以及访谈人员在记录信息时都会产生误差。在将数据采集工具中的数据转移到电脑数据库中时，为统计程序编写程序路径以阅读和分析电脑数据库中的数据时，以及将打印资料或者读数器中的数据转移到项目或者审计报告中时，也会产生误差。数据采集中很多误差和缺陷都可在数据分析期间识别出来。对单个问题答案的分布频率进行审查，以及对不同问题答案的审查，可以发现因原始数据集中的误差，或者数据转化成可分析格式时的缺点所造成的矛盾或者不正常形式。负责进行分析的人员应对这些可能性保持警醒。
（九）事前测试数据采集工具
事前测试是指使用数据采集工具对全规模调查人群中的一小部分受访者进行的测试。如果在事前测试中发生问题，那么相类似的问题有可能在大规模调查时发生。事前测试的目的是确定数据采集工具中存在的问题，并找到可能的解决方案。
如果事前测试表明不大可能获得足够充分、一致以及相关达到审计目标的数据，那么应该找出问题项目或者使用其他数据采集技术。
事前测试应在与实际数据采集尽可能相似的情况下以及针对与抽样人群相似的群体进行。应注意所遇到的问题以及应确定可能的解决方案。
（十）无回应管理
无回应是指被抽样单位的不可用性。在调查中，可能出现不能接触到所有抽样成员的情况。在概率抽样中，无回应会减小样本规模，影响抽样误差以及置信度区间的计算。
因无回应造成的偏差比较难以确定。如，被抽样机构的员工可能因各种原因而不能参与调查。这些人士的排除所带来的影响可能难以进行评估。因此，必须尽可能努力找到所有标本的成员，这一点很重要。在回应率偏低的领域，审计人员必须平衡信息的重要性、其他方法的可用性以及审计目标信息的集中性，以确定调查是否合适。
无回应是证据中存在的重要缺点，因此调查回应率必须在“关于审计”或者在报告文本中进行报告。
调查方法的优缺点
调查方法主要有下列优点：首先，调查方法节省时间、经费和人力，易于操作。其次，调查结果容易被量化，所收集的数据比较可靠，因为问题都是封闭式的（有固定的选择答案），这就可以大大地减少可能由调查员的差异引起的变差。再次，调查结果便于统计处理与分析，数据的编码、分析和解释都比较简单，因为样本是有代表性的，可以对总体的情况作较为合理的判断。最后，问卷调查法可以进行大规模的调查。
调查方法具有如下缺点：首先，问卷调查经常采用由用户自己填答问卷的方式，被调查者可能不愿意或者不能够提供所需的信息，所以其调查结果的质量常常得不到保证。其次，调查问卷的问题设计难。由于个人背景及经历的不同，对同一问题的理解会存在差异，因此，调查问题设计的好坏，将直接影响调查结果的质量。再次，调查结果经常是广而不深。问卷调查是一种用文字取代对话的方法，如果题目太多，被访者会产生腻烦心理，因此，问卷的问题通常不会设计的特别复杂，也就不能深入讨论某一问题。最后，问卷的回收率难以保证。问卷调查必须保证一定的回收率，否则其代表性就会受到影响。回收率与问卷长度、题目难易水平、能否触及隐私，及参与调查的回报等几项要素紧密相关。另外，网络问卷调查的回收率普遍都不高，质量也难以保证。
（编译：审计署审计科研所 叶君鳌）
结构化访谈方法
当需要向很多人获取相同的信息时，结构化访谈是很有效的方法，结构化访谈也可用于必须向计划参与者或者活动组成员获取信息的现场实验。
结构化访谈的涵义与适用条件
结构化访谈是指利用数据采集工具通过电话或者面对面访谈的方式收集数据的访谈方法。在进行结构化访谈时，评估员以准确的方式向很多个体或者代表很多组织的个体提出相同的问题，向受访者提供相同的答复选项。相比之下，非结构化访谈则包括很多开放式问题，这些问题并不以准确的结构化方式提出。
结构化访谈常常与使用统计采样的设计结合使用。这种组合提供的数据可用于预测整个抽样群体的情况。但需要指出的是，评估设计程序中的各步骤是相互关联和可重复的。如通过结构化访谈收集用于回答某评估问题的信息，访谈问题将决定访谈内容或者主题。
在为一项评估或者数据采集期间的一类访谈设计任务的阶段，以及一项评估的分析阶段，结构化程度较低、导向性相对较弱的访谈可能更有效。
对于阅读能力较弱的群体，面对面的交谈和电话访谈比复杂的问卷调查更有效。电话访谈和面对面的交谈使访谈员与受访者之间能建立友好和谐的关系。相对于电话访谈而言，面对面访谈使访谈员有机会在听取受访者意见时观察受访者。此外，与电话访谈相比，比较复杂的问题也更适合在面对面访谈中提出。访谈员可以向受访者出示包含各答复选项的卡片，方便受访者考虑和记住这些选项。此外，面对面访谈可提的问题也更多。
如何运用结构化访谈方法
（一）设计结构化访谈
美国审计署建立了进行结构化访谈和问卷调查时必须遵循的程序。
1.确定变量和开发问题
第一步是确定评估或者审计从总体上需回答的主要问题。第二步，在确定总体问题后，这些总体问题必须以假设或者问题的形式分解成可衡量的要素。然后，应开发一个旨在衡量所考虑变量的问题库。问题库中的问题可包括衡量同一变量的多种途径。
2.编写适当的问题
在编写访谈问题时需确保问题具有关系性（即与进行的研究之间有关联性）、针对性且易于回答。
3.选择问题格式
在决定所用问题格式或者类型时需考虑的问题包括：如何提出或者表述问题？向受访者问些什么？以及有哪些备选答复？所使用的问题类型包括开放式问题、填空、二元选择及程度答复。
（二）规范语言
审计人员在编写访谈问题时，需考虑访谈所用语言的适宜性及深度，使用合格语言的影响及明确表述的重要性。应该避免访谈问题措词中可能隐藏的各种偏向及它们对评估结果有效性的影响。使用语言时应当注意以下方面：
1.语言的适宜性。访谈语言是否适当与“说什么”、“怎么说”、“什么时候说”密切相关。
2.语言水平。在编写访谈问题时，应考虑所用语言水平。应使用受访者能理解的语言进行交流，形成既有利于数据采集，又使受访者感到舒服的口语环境。
3.使用限定语。在拟定一个访谈问题后，需要添加一个形容词、限定语或者时间限定，以使问题完整，或者给受访者提供充足、完整的信息。
4.语言的明晰性。问题的措词风格可能影响其含义的明晰性。
（三）预测试和专家评审
1.预测试的目的。在预测试中，从访谈所针对的群体中抽取部分受访者对数据采集工具进行测试，以预测数据采集工具在实际数据采集过程中的表现。预测试的目的是确定所问的问题是否适用于获取所需的信息；各问题的内容或者主题是否与受访者相关，受访者是否掌握了回答问题所需的知识；访谈所用的措词及程序是否能确保获得有效、可靠的结果。
2.专家评审的目的。征求外部专家意见，以帮助确定所提的问题及提问的方式是否适合回答评估所提出的总体问题；预定受访群体是否有回答这些问题所需的知识；所开发的数据采集工具是否与当前的技术发展水平相当。
3.数据采集工具的重新设计。根据预测试和专家评审结果，应当对数据采集工具进行适当的修改。如果改动较小，数据采集工具可以不必再进行预测试而直接投入使用；如果改动较大，则需要再进行一系列的预测试。
（四）培训访谈员
美国审计署利用各种途径培训其访谈员，帮助他们在整个数据采集过程中保持良好的技能，这些培训途径包括：召开动员会议，发放访谈手册，进行角色模拟、实地练习、现场视察及电话联系。除此之外，访谈员培训还应重视访谈技巧，尤其应注意结构化访谈技巧、探讨技巧及巩固方法。
（五）选择和联系受访者
选择和联系受访者的一个主要目的是避免出现偏向性。通过严格执行规定程序，可以将误选（联系过程中因错误或者过于放松造成的误选）减小到最低限度。同时，应尽可能从方便受访者的角度出发安排访谈，包括进行访谈的时间和场所。在进行访谈时，为了取得受访者的配合，提高数据质量和回复率，还应该向受访者保证，所收集的数据不会以任何可能对他们产生不利影响的方式进行使用。
（六）进行访谈
访谈活动的各参与者（访谈员和受访者）扮演着自己的角色，表现出一系列行为。由于各参与者的角色和行为会影响整个访谈的进行，所以也会对其他参与者产生影响。访谈员的角色和行为可通过培训进行规范，而对于受访者的角色和行为，访谈员必须进行观察，并在必要时予以纠正，以便顺利完成访谈。
进行访谈时，访谈员至少需要完成8项主要任务：拉近与受访者之间距离，表现出关心；给出让受访者参加访谈的理由；让受访者做出积极回应；按规定的顺序和方式提问；确保受访者能理解所提的问题；确保没有偏向性；获得足够的答复信息；对给受访者带来的麻烦表现出敏感性。
（七）分析数据
结构化访谈的所有工作（包括设计、预测试、修订、专家评审及最终运用）都是为了获取有关数据，并通过适当的数据分析回答评估或者审计问题。获取数据进行分析之前，还必须确定是否存在未答复问题。美国审计署的数据分析包含丰富的含义，它既可以指简单的任务，也可指非常复杂的任务。将进行的分析在很大程度上取决于为结构化访谈确定的项目目标。可考虑进行三个层面的分析：
第一级分析的重点是数据描述，如选择各选项的人各有多少。第二级分析从完成数据描述后开始。这一层面的分析对大部分审计工作而言可能是最有用的。在这一层面上，先分析数据，一次分析一个问题。在完成单个问题分析后，可以利用设计阶段确定的假设测试各问题之间的联系。第三级分析比前两个层面的分析复杂得多。它们通常需要同时考虑很多变量，并解释更加复杂的问题。第三级分析通常会考虑调查案例中各小群体之间的差异，或者调查一系列因素对某个变量的影响。
结构化访谈方法的优缺点
首先，结构化访谈方法最大的优点是访问结果方便量化，可做统计分析，它是统计调查的一种。与自填问卷相比，结构访谈方法的最大特点是能够控制调查结果的可靠性。其次，结构化访谈方法的另一大优点是回收率高，而且回收的问卷回答率也高。再次，结构化访谈方法的应用范围更广，可以自由选择调查实物，也能问一些比较复杂的问题，并可选择性的对某些特定问题作深入调查，因而大大拓展了应用范围。最后，结构化访谈能够在回答问题之外对被访者的态度行为进行观察，因此可以获得自填问卷无法获得的，关于访问实物的许多非语言信息。
结构化访谈方法的主要缺点是：首先，结构化访谈需要具有高度熟练技巧和受过专门培训的调查员，需要较多的人力、物力和时间，在应用上受到一定限制。其次，对于敏感性、尖锐性或者有关个人隐私的问题，被访者受心理因素和环境因素的影响，可能不会作出正面回答，导致访谈结果失真。
（编译：审计署审计科研所 叶君鳌）
案例研究方法
审计人员在开展绩效审计项目，尤其是问题导向型绩效审计项目时，可以将整个审计项目作为一个案例研究项目，或者针对其中的某一审计事项开展案例研究。通过多案例研究可以发现一些体制、机制方面的问题，从宏观方面提出审计建议。实际上，我国审计人员已经在或多或少地使用这一方法。
案例研究方法的涵义
案例研究方法是一种运用档案、访谈、观察等方法收集资料数据，利用可靠技术对研究对象进行分析，从而得出普遍性结论的一种社会科学研究方法。案例研究法与其他社会学研究方法相比有以下特点：以现实问题为研究对象，目的在于对所研究的现实问题有较深入的认识；一般以一个具体的事件为依托，探索事件发生、发展的原因、结果和影响；以实地深入调查为重点，并注重二手资料的收集、整理和分析。
首先，案例研究对象是复杂性问题；其次，案例研究应尽可能全面地认识研究对象的进展并解释其原因；再次，案例研究应对多种渠道、多种方法获得的不同资料进行广泛深入地描述和分析；最后，案例研究对象比较广泛，可以是人、活动、事件、地区、组织或者部门。
案例研究方法的适用条件
案例研究方法主要适用于解决“怎么样”和“为什么”的问题，探索型案例还可以解决“是什么”的问题。这些问题发生在当今社会，并且影响这些问题的因素是不可控的。不同类型的案例研究具体适用条件也不同，如示范型案例研究通过描述“发生了什么”和“为什么发生”可以获得项目或事项的补充信息，以加深对项目和事项的理解；当项目运行和结果存在很大不确定性时，通过探索型案例研究可以为后续研究识别问题、制订评价标准、提供案例研究设计和分析策略；关键案例研究可以帮助了解问题的前因后果，提出针对性建议，以防范此类问题的发生；项目实施案例研究可以帮助理解项目实施中出现的问题，为项目实施结果的变化提供解释，以便针对项目实施的内控和程序提出改进建议；项目效果案例研究可以用于分析项目成功或失败的原因。
如何运用案例研究方法
开展研究之前应该界定问题的性质，只有解决的问题是“怎么样”、“为什么”和“是什么”时，才可以运用案例研究法。开展案例研究具体包括以下步骤：
（一）设计案例研究方案
首先，要提出假设以引导审计人员有针对性地收集资料，确保研究方向不发生偏离，减少收集资料的盲目性；对于探索性问题的案例研究可以没有假设，但应明确其研究目的和高质量研究成果的判定标准。其次，要界定分析单位并确保分析单位与研究问题的性质相关。最后，要明确搜集的资料信息和假设的逻辑关系。这一阶段还应该确定解释研究成果的标准以明确研究的深度和广度，节约研究成本，提高研究质量。
（二）实施案例研究
1.做好充分的准备工作。
首先，要通过专题研讨的方式对研究团队进行培训，明确研究目的、收集资料和可能的变数，制订案例研究草案。其次，按照目的性、便捷性标准或者抽样原则从众多的备选案例中筛选案例。最后，根据便利性和可接近性等标准从筛选的案例中选取案例进行试点研究，以便在资料收集程序和内容方面提供经验并据之对原有研究草案进行修订。
2.收集资料。
资料的收集和分析是案例研究的核心工作。一般可以通过文献、档案记录、访谈、直接观察、参与性观察和实物等途径收集资料。值得注意的是，在收集资料时应尽量使用多种资料来源，不同人员多种渠道、多种方法收集的资料应相互印证；应建立包括案例研究记录、文献、图表资料、问答记录等的案例研究数据库，并形成由问题到结论的证据链条。
3.分析资料。
对于单案例研究，可以运用模式匹配、建构性解释、时间序列分析、逻辑模型和跨案例分析等技术对收集的资料进行分析。对于多案例研究资料的分析还包括类别矩阵、图形显示和事件频率表等方法。
4.撰写报告。
审计人员应以需求为导向编写案例研究报告，当然也可以针对不同类型的需求者编写多个版本的研究报告；案例研究报告的格式不拘一格，可以采用经典的单案例研究报告、单案例研究的多案例版本、问答格式的单案例报告、多案例研究报告、整合案例研究和调查的研究报告等格式。
上述不同格式的案例研究报告一般有五种结构：（1）线性分析结构，遵循项目或者问题的顺序，按综述-方法-成果-结论的思路撰写研究报告；（2）比较式结构，整个案例研究以比较的方法重复两次以上，如联系不同的理论多次重复描述同一案例；（3）时间顺序结构，依照时间顺序陈述案例；（4）理论建构式结构，按照理论构建的逻辑来安排章节结构；（5）悬念式结构，与线性分析结构相反，将结果或者问题答案前置，在后面的章节解释结果或者答案的形成。审计人员根据案例研究报告编制的审计报告应遵循国家审计准则的相关规定。
（三）案例研究复核
实施案例研究后，审计组组长或业务机构应对研究质量进行审核或复核，具体包括：案例研究是否实现了资料收集的多元化并形成证据链？能否从纷乱的假象中找出因果关系？研究结论是否更具有可推广性？案例研究结果是否具有可重复性？同时，按照案例研究的流程，对以下问题进行检讨：（1）案例研究设计方面，要研究的问题是否得到清晰的界定？应用的方法是否得到明确描述？是否合理？研究的时间跨度是否足以解决核心问题？案例选择的标准是否得以说明？这些标准是否符合案例研究的目的？（2）资料收集方面，是否说明了资料收集的方法？这些方法是否符合案例研究的目的？如果有多个调研员负责收集资料，这些调研员如何选拔、培训和监管？是否清晰、完整地描述了数据来源？这些来源是否适当？（3）资料分析方面，是否描述了形成数据库的过程？是否描述了资料收集和数据处理的技术？它们是否适当？使用了哪些渠道的数据来源？按照什么样的顺序使用？如何处理有偏离的结果？有没有不同的解释？如果有，是如何处理的？如果针对事件的其他研究、调查或者实验是存在的，它们的结果是否被呈现并同案例研究的结果进行协调？（4）报告方面，对问题的不同的解决方法是否得以呈现？各种反对研究结论的观点是否得以呈现？案例研究是否识别了影响所观察现象的因素？这些因素的识别是否是基于深入调查和认知，或者基于定量技术基础之上的？（5）公正性和可推广性方面，是否有合适的措施保障调研员的胜任能力和公正性？对于研究报告草稿的评价是否可以获得？是否有用于评价结论可推广性的足够信息？限制结论可推广性的因素是否得到关注？
案例研究方法的优缺点
案例研究方法的优点主要有：首先，案例研究法的适用范围较广，它可以解决现实中大量的关于“怎么样”和“为什么”的问题，探索型案例还可以解决“是什么”的问题，而审计人员开展绩效审计关注的焦点恰恰是这些问题的前因后果。其次，案例研究法有利于研究新问题，构建新理论。案例研究尤其是对极端个案的研究往往不能用假设或者理论来解释，通过对这些案例开展研究可以发现新问题、新的影响因素等，进而在构建新理论的基础上提出新的建议。
案例研究方法具有下列缺点：首先，由于案例研究方法是分析性的而不是统计性的，使得案例研究中的归纳带有一定的随意性和主观性，使得其结论的可推广性受限。其次，案例研究没有一种标准化的数据分析方法，证据的提出和数据的解释带有可选择性，审计人员意见上的分歧以及审计人员的其他偏见都会影响数据分析的结果。另外，案例研究方法还可能消耗大量的时间和人力。
（编译：南京审计学院 陈希晖）
前瞻性评价结合方法
美国政府审计准则中绩效审计的范围包括了对前瞻性问题的评价。在实践中，有些提案的提出往往较为仓促，没有经过科学的尤其是第三方的综合评价就匆匆上马，实施后产生一系列问题阻碍了提案的实施，有些提案涉及的政策多、项目的影响范围广、支出金额大，一旦失败，损失不可估量。前瞻性评价综合法就是针对这些提案进行评价的综合性方法。
前瞻性评价综合方法的涵义
前瞻性评价综合方法是前瞻性问题研究方法的一种，指对某一提案、政策或项目（以下简称“提案”）进行详细的技术分析，结合对已有类似提案的研究结果对该提案未来成功的可能性进行综合评价。前瞻性评价综合法一般是检验现有的证据，而不用收集新的证据。
前瞻性评价综合法是一种系统方法，要求对前瞻性问题进行逻辑的、经验的和操作的分析，从逻辑的角度关注提案是否应该起作用，从历史经验的角度关注提案是否起作用，从现实角度关注提案能否起作用。因此，其要求运用逻辑的、判断的、经验的、现实的等几种评价方法。
与评价综合方法等其他评价方法相比，前瞻性评价综合法的特点是对提案未来成功的可能性进行评价，在评价已有研究成果时具有选择性，为新提案运作的基本逻辑和成功可能性提供专家意见。
前瞻性评价综合方法的适用条件
前瞻性评价综合法既可以用于考查单个提案，也可以比较两个或更多的可选提案。在审查单个提案时，前瞻性评价综合需要明确评价标准。相比较而言，评价两个或以上的提案可能会稍微容易些。
在许多情况下，当审计人员准备提建议时，完整的前瞻性评价综合方法显得不必要，例如，发现缺少可接受的内部控制，或发现无法真实地报告国防系统造成巨额财政花费这个不利信息时，将自然而然地直接提出受到人们广泛支持的建议。在一些情况下，特别是存在一些具有争议的、敏感的、有深远影响的结果时，审计人员的建议（可能源于其他方法）本身将成为前瞻性评价综合法的评价对象。
当委托人或客户（如美国的国会）的兴趣在于提案的某一个方面时，同样适用前瞻性评价综合法。
如何运用前瞻性评价综合方法
前瞻性评价综合方法一般包括六个步骤，具体步骤如下：
定义问题。清楚地定义问题可以使审计人员恰当地确定前瞻性评价综合的范围。不同的人可能会对看似清晰的问题作出或宽或窄的定义，因此，审计人员与委托人应该就问题的规模和属性进行充分的讨论，在对证据进行独立分析的基础上清晰地界定问题，只有这样才能判断提案是否会偏离目标。
选择评价对象。本步骤的目的是确定拟用前瞻性评价综合法进行评估的提案。并非所有的提案都可以成为前瞻性评价综合的备选提案，选择评价对象有两个原则：一是评价的提案要与第一步骤定义的问题相关；二是以决策者（委托人）拟考虑的提案作为开始。对于频繁变化的提案或者已经评价过的相似提案应予剔除。
理论分析。本步骤的主要目的是确定提案在理论上或逻辑上是否行得通。确定各提案隐含的假设、理念、价值和理论基础。理论分析要回答：提案要解决什么问题？如何解决？这些行动预期会带来怎样的结果。
操作分析。操作分析要解决如何实现提案的目标，确定提案相关的受益对象、服务提供者、财务和经营环境及限制条件。分析的重点是该提案如何实施和运作，同时要分析影响提案可能成功和失败的操作性因素。
测试关键性假设。收集与提案相关的早期研究，提炼相关证据进行综合，将关键概念假设、操作假设与早期的研究发现相比较，从而确定提案成功的可能性。本步骤实现了理论分析、操作分析和经验分析的结合，对提案成功与否得出了较为可靠的结论。
列示结果。以图表格式清晰地列示概念模型和操作模型（通常以图表的方式）以及重要假设和证据的比较结果。前瞻性评价综合的结论可能看上去更像简式报告而非详式报告。
前瞻性评价综合方法的优缺点
前瞻性评价综合方法的主要优点。首先，前瞻性评价综合法是一种系统方法，它实现了“理论分析、操作分析和经验分析”的三合一分析，评价结果可以独立的重复，这种系统的方法提高了评价的效度、提高了解决前瞻性问题的能力。其次，前瞻性评价综合法可以及时提供政策制定的信息，前瞻性评价综合法借助现有的知识和研究成果来评价提案的可行性，在政策制定过程中可以及时地提供可以使用的信息。最后，前瞻性评价综合法成本相对较低。与其他前瞻性评价方法如试点试验等相比，前瞻性评价方法所需的人财物等资源较少，所需时间较短，相关性较强，成本较低。
前瞻性评价综合方法的缺点。首先，前瞻性评价综合法的适用对象主要是针对未来的提案，它不能解决所有的前瞻性问题，如对政府未来的需求、成本和结果的分析与评价，可能更多的要运用模拟仿真、预测等前瞻性方法。其次，在结果的可靠性方面，前瞻性评价综合法要比试点试验等前瞻性方法稍有逊色，同时，这种方法的有效性还要受到先期研究成果质量的限制。最后，前瞻性评价综合法对审计人员的素质要求较高，在实践中的应用还不够广泛。
总而言之，前瞻性评价综合法是对前瞻性方法的综合运用，对审计人员的素质提出了较高要求。用前瞻性评价综合法评价提案为政策、法规和项目的制定与实施提供了有用信息，有利于发挥国家审计的前瞻性功能，降低政府运营风险。
（编译：南京审计学院 陈希晖）
标签：审计方法论文; 数据与信息论文; 审计软件论文; 文本分类论文; 相关性分析论文; 审计计划论文; 审计抽样论文; 审计目标论文; 文本分析论文; 项目评估论文;