论统计调查质量评价的信度与效度，本文主要内容关键词为：评价论文,质量论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
问题研究
统计调查所取得的资料（包括各种数据、情况及其相关关系，以及调查人员的看法等）是否符合客观实际以及符合实际的程度，直接说明了统计调查的质量。因此有必要对调查结果进行统计评价。
一、统计调查质量及其影响因素
统计调查的结果是搜集到反映客体数量特征及其规律性的数据和情况，即通常所说的统计调查资料。因此，统计调查质量主要是指统计调查资料的准确性、符合客观实际的程度，换言之，统计调查资料的准确性是衡量统计调查质量的根本标志。
调查客体是由许多个体单位构成的，它具有多种属性、特征。统计调查资料必须真实地反映客体的所有个体并按照一定的标志、指标反映它的各种主要特性。客体现象在不断变化，统计调查资料必须连续不断地反映它的变化。统计调查资料的准确性，狭义地讲就是指单个标志、指标反映客体的属性的符合程度，广义地讲是指一个标志群或指标体系的一系列连续性数据符合不断变化的客体实际的程度，包括它的全面性、系统性和真实性。综合起来，就是指统计调查的信度和效度。
统计调查资料准确性的高低，表现为统计调查值与客观事物准确值之间差异的大小。这个差异通常称为误差，误差越小，准确性越高，统计调查质量就越高。反之则相反。
度量误差要以客观事物的准确值为标准。但现实中除了某些范围很小、总体的个体极少容易计量的简单事物之外，绝大多数情况下是很难取得绝对准确值的，对于无限总体的统计调查通常是用样本统计量来推断的，故也无法取得总体的准确值。因此。统计调查资料准确性的要求不是绝对的，通常规定一个所能允许的最高误差率。
在统计调查中，影响统计调查资料准确性的因素是多方面的。在调查方案设计方面，理论方法的不完善（如统计理论、数理定理有不严谨之处）会造成设计误差，而设计方案脱离实际，如标志选择不当、分组含混不清、调查方法不合理等又会造成偏差。在调查实施阶段，遗漏单位和项目会造成覆盖面误差，计量器具不准会造成计量误差，记录、登记错误会引起技术误差，还有故意虚报、瞒报造成的误差。在调查资料的整理阶段也会因过录、计算、制表、打印等环节的失误产生各种误差。总之，统计调查资料误差产生的因素和机会很多，主客观原因都有。通过对产生误差的因素分析，可为有效控制误差、提高统计调查质量提供依据。
根据上述产生误差的各种因素，可将误差按不同的标志进行各种分类，如图所示。
登记性误差与代表性误差是按误差的来源划分的。在调查统计过程中各环节工作失误造成的误差称登记性误差，它主要是由两方面的原因造成的，一是调查方案中有关规定或解释不明确以及责任心不强而导致的填报错误、计量误差、抄录错误、汇总错误等；另一是人为干扰造成的瞒报或虚报，即有意误差，这种为了某种企图而歪曲事实的行为会引起系统性误差。无论是全面调查还是非全面调查，都会产生登记性误差。
代表性误差是在用样本指标推断全及总体时样本选取的代表性发生偏斜而使推断结果出现的误差。显然，代表性误差是抽样调查所固有的。引起代表性误差的原因也有两个方面，一是偶然性因素引起的随机性误差，也称偶然性误差。样本选取中抽样的可能结果有多种，而且事先不能肯定抽到哪一种，这种随机性会引起抽样误差。不过这种误差不具有倾向性，如果仅受偶然性因素的影响，那么调查资料必然在正态分布所允许的误差范围之内。虽然这在统计技术上难以消除，但可以认定为可信的、有效的。另一是由于某种不经常发生的原因而引起的具有明显倾向性的误差，称之为系统误差，表现在数量上偏向某一方，故又称之为偏差。偏差往往是人为主观干扰的结果，危害性极大，比较容易识别，是可以避免的。比如我们要在某城市进行中式快餐的市场调查，按随机原则抽取500户家庭进行访问。当调查员在白天去访问时，有150户家中无人。这时，如果仅用白天家中有人的350户资料来对该城市进行推断，就会发生严重的偏差。因为白天不在家的150户恰恰可能是吃快餐较多的家庭，漏掉他们，对快餐市场的估计就会发生明显的偏差。
二、统计调查资料的信度与效度
信度和效度是评价统计调查结果的两个既互相联系又相互区别的概念。一个高质量的调查，不仅要有较高的信度，而且还要有较高的效度，应该是信度与效度的统一。这正是调查统计质量的内在要求。
信度即可靠性，指调查统计结果的稳定性或一致性。通俗地讲，它是指对同一没有变化的调查对象重复进行调查或度量，其所得结果一致的程度，可表示在N次调查中有多少次是正确的，或每次调查属于正确的概率是多少。
信度的度量通常是以相关系数表示的，故称信度系数。由于度量的误差来源不同，信度系数的意义和作用也不同。其中，再测信度系数是指用同一度量方式对同一调查对象前后测量两次，再根据测量所得数值求得的相关系数。显然，它能够提供有关调查结果是否随时间而变化的资料。这种度量方式要求前后两次所使用的测量方法、工具完全一致，时间间隔也要适度。
复本信度系数是指一套度量有两个以上的复本，根据一个被调查对象接受两种复本度量所得值而求得的相关系数。显然，调查者必须设计两种度量工具（方法技术）以测量同一对象。例如调查人员可设计两份问卷，每份采用不同的项目，但用来测量同一概念，两份都同时在场由同一个或同一群被调查者来回答。这种度量方法要求复本在项目数量、内容及其难度等方面力求一致。
折半信度系数是指将调查结果按项目的单双数序号分成两半测量，再根据这两部分所得值求得的相关系数。例如一个问卷有30个项目，就可分成两部分（各15个项目）进行度量。通常只适用于只能施行一次且没有复本的调查。
效度是指用度量方法测出变量的准确程度，即准确性或正确性。调查统计资料的效度就是指调查结果反映客体的准确程度。在统计学上，如果某一度量方法能测出调查者所要调查的变量，则此度量方法可以说是有效的。如果度量某一变量x，调查结果确实测出了x，则采用的度量方法的效果是高的，也称此项调查（度量）是有效的。又如，测试学生统计学课程的学习成绩，如果考卷上仅列出一些无关紧要的名词解释，就不可能反映出学生的学习情况，测试结果远远低于或高于学生的真实水平，那么这种测试就是无效的。
同信度一样，效度也是一个有多种意义的概念。从不同的角度看，可分为三种效度：一是内容效度，它是指度量内容的适合性和相符性，即度量所得到的东西是否能够代表要度量的特征中的东西。如果度量时抓住或体现了对象的所有或主要特征，这样的度量效度就是高的。
二是准则效度，它指的是用几种不同的度量方式或不同指标对同一变量进行度量时，将其中的一种方式或指标作为准则，其它方式或指标都与这个准则作比较，如果其它方式或指标与准则方式或指标具有相同的度量效果，则其它方式或指标也具有准则效度。因此，人们又称之为实证效度或统计效度。令x是一个变量，用x[,1]、x[,2]两种方法度量，其中x[,1]为准则，x[,1]与x[,2]有关系，有同等的结果，则称x[,2]也有同等的效度。
三是构念效度。“构念”本意是心理学所涉及的抽象而属假设性的概念或变量，如智力、焦虑、成就、动机等。在这里泛指调查者根据研究需要而构建的一种概念或变量。因而，构念效度是指这样的情况：变量x、y在理论上有关系，如果度量x的指标x[,1]与度量y的指标y[,1]也有关系，且以x[,2]取代x[,1]并复测整个理论时得出了使用x[,1]时同样的结果，则称新的度量x[,2]具有构念效度。
以上三种效度是一累进或积累的过程，正如统计学原理所论述的定比尺度要比定距尺度、定距尺度要比定序尺度、定序尺度要比定类尺度需要度量多的变量信息一样，构念效度需要比准则效度、准则效度又需要比内容效度多的信息。由于此，构念效度常被认为是最强有力的效度度量程序。其中，内容效度只需要一个单一的概念和对它的一个单一的度量方法。准则效度虽只需一个概念，但需要对该概念的两个以上的度量方法。而构念效度不仅需要使用至少两个度量方法，而且还需要其它概念和通过命题同正在研究的概念相关的度量方法。
以上分析可见，信度是对调查对象而言的，它主要回答前后度量是否一致，即调查统计结果的可靠性问题；效度则是对调查统计所要研究的问题而言的，它主要回答度量工具是否合适，即调查结果的正确性问题。二者之间的关系用一句话来概括：效度是信度的目的，信度是效度的必要而非充分条件。
从右图可见，二者的关系又可分为以下四种具体情况：
一是可信且有效。可信可能有效，也可能无效。可信且有效当然是最优良的度量，它不仅能够使调查结果可靠地反映调查对象的实际情况，而且准确有效。例如调查某乡粮食生产水平，如果设计的调查统计指标是各种农作物的播种面积，投入粮食生产的劳力、资金、物资等项目，那么即使调查到的数据是可靠的，但对于粮食生产水平来说仍然是无效的，因为反映粮食生产水平的有效指标不是进行了哪些生产活动、作了哪些生产投入，而是得到了什么样的产出。如果设计的调查统计指标是各种粮食作物的产量，而且调查到的数据是可靠的，那么它就能有效地反映该乡粮食生产的实际水平，做到了可信且有效。
二是不可信必无效。就是说，不可信就不可能正确有效。因为信度是效度的必要条件，一个调查要有效度就必须有信度。在我国60年代中期的“社教”运动时，经常忆苦思甜，为反映忆苦思甜的效果，某部门设计了一张调查统计表，其项目有：痛器流涕的人数、暗自抽泣的人数、没有哭的人数，……据说这张表发下去竟把填表人难哭了。80年代初某高校为了说明爱国卫生活动的成效，设计了一张《灭鼠情况调查表》，要求各系部室乃至班级、宿舍上报：有耗子洞多少、发耗子药多少、药死耗子多少……。这类项目是根本不可能作出可靠答案的，因此是不可信的，当然也不能正确说明这类调查所要说明的问题。
三是有效必可信。就是说，调查结果能有效说明调查所要说明的问题，那么它必然真实地反映了调查对象的实际情况。例如你是一个诚实守信用的人，你的许多朋友总是称赞你诚实守信，某个朋友每次见到你也总是这样称赞你，这时我们可以认为你的朋友的话是可信的，他们都说了实话。一般地，一个有效的调查统计能显示出威力来鉴别某些真实的情况，或者鉴别其调查者、被调查者能够确定并描述出调查对象的主要特征。如果被度量的特征本身是稳定的，并且假如调查者、被调查者对问题的回答不受别的不可预测因素的影响，那么一个度量方法每次实施都应该产生基本一样的结果。
四是无效可能不可信，也可能可信。调查结果不能有效地说明调查所要说明的问题，此时对于反映调查对象的实际情况来说，它可能是不可信的，也有可能是可信的。例如，关于某校学生思想政治工作成果的调查统计，若设计项目是“老师与学生进行了多少次个别谈话”、“学生之间批评自我批评多少人次”、“全校学生干了多少件好事”等，这个调查统计不仅是无效的，也是不可信的，因为这些项目既不是思想政治工作成果的表现，也不可能得到可靠的回答。如果设计的项目是“校系领导作了多少次报告”、“开了多少次大会”、“订了多少份党报”等，那么尽管调查仍然是无效的，但对于反映上述实际情况来说却可能是可信的，因为这些项目是有记录可查的。这说明，无效的设计和调查，其调查所反映的实际情况却不一定都是不可信的。