方法影响结果？方法变异的本质、影响及控制，本文主要内容关键词为：方法论文,本质论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：B8409 文献标识码：A 文章编号：1003－5184(2013)03－0195－05
在社会与心理研究领域，随着研究的深入，人们越来越发现，所用的研究方法会影响到研究结果。特别是用自陈报告法进行研究时，研究结果受多种方法因素的影响。这些方法因素如问题的表述(积极或消极)、选项的形式(封闭或开放)、被试的社会赞许性(social desirability)、被试的情绪等。即使是回答一些非常普通的问题，也可能受方法因素影响。比如一项研究发现，被试对一部电影时长这个看起来不抽象的事实性信息进行回答时，结果也会随着问题表述而变化。当问题是“这部电影有多长时间”，平均答案为130分钟；当问题是“这部电影有多短时间”，平均答案为100分钟(Plous,2010)。在回答一些相对更抽象的社会与心理问题时，结果更容易受到方法的影响(Doty & Glick,1998)。比如，利用焦虑自陈量表测量被试的焦虑状态，比用同样方法报告被试的性别更易受到社会赞许性的影响。社会赞许性高的被试在问答焦虑相关问题时，可能偏向低报，而在回答性别问题时，报错的可能性很小。这种因方法而导致的系统误差，就是方法变异(method variance)。
1 方法变异与方法
1.1 方法变异
对于方法变异的关注最早可以追溯到Campbell和Fiske(1969)用验证性因素分析方法对多特质－多方法(multitrait－multimethod,MTMM)矩阵数据进行的聚合效度和区分效度分析。在分析中，他们分离出了方法因子。这让人们认识到方法因素也应当是研究过程中关注的问题。
Campbell和Fiske(1969)认为方法变异是可归因于测量方法而非所研究的结构(construct)的变异。与方法变异相关的名词有：共同方法变异(common method variance,CMV)和共同方法偏差(common method bias,CMB)。CMV指因采用了相同的方法测量不同的结构而导致的变异，这种变异不能归于所研究的结构(Podsakoff,MacKenzie,Lee,& Podsakoff,2003)。用相同的方法(通常为自陈调查法)测量不同的变量时，两个变量的相关会因共同方法变异的影响。这种因共同方法变异引起的偏差性结果，就是共同方法偏差，也有研究者(Reio,2010)称之为共同方法变异偏差。如果研究数据收自单一来源(评分者或被试)，自陈又是唯一的作答方式，那么这种收集资料的方法更容易受到CMV的影响(Lindell & Whitney,2001)。
1.2 方法
前面初步介绍了方法变异及相关概念，那什么是“方法”呢？是“方法”的哪些特征影响了研究结果？Bagozzi和Yi(1991)根据方法的不同抽象水平，把方法分为两类。“这里的‘方法’一词可以指不同抽象水平的测量形式。如特定题目的内容、量表类型、反应形式和一般背景(the general context)；如果更抽象一些，方法效应可能由一些反应偏差来解释，如晕轮效应(halo effects)、社会赞许性、默认偏差(acquiescence)、宽松偏差(leniency effects)和答是与答否(yea－and nay－saying)。”Doty和Glick(1998)从测量技术、数据来源和时间三个方面来区分方法因素。测量技术涉及题目的表述形式、不同的反应锚点、不同的数据收集过程(如问卷还是面谈)等；数据来源，涉及数据是来自单一评定者(自己)还是多个评定者(如自己、同事、上级)；时间涉及是一次性评估还是间隔多久时间评估。Podsakoff,MacKenzie,Lee和Podsakoff(2003)则把方法各种特征分别归为与评分者、题目特点、题目背景和测验背景有关的特征。与评定者有关的特征如被试的认知一致性(cognitive consistency)、社会赞许性、宽松偏差、默认偏差、积极或消极情绪等；题目特点涉及量尺、锚点、表述等；题目背景涉及题目的启动、量表的长度等；测验背景涉及测验的时间、地点和媒介等(各种方法因素的具体解释详见：Podsakoff et al.,2003)。这些描述和分类让人们深入地认识到了可能引起方法变异的各种方法因素。但是要把方法的特征与方法变异的来源联系起来还需要做更多的工作(Spector,2006)。
2 方法变异的影响层面
Spector(2006)认为方法以两种方式影响观测数据：改变所研究的潜在结构和歪曲(distort)测量的过程。
2.1 结构层面的影响(effects at the construct level)
方法因素直接对结构产生实质性的影响，改变结构，使之偏离了原本想测的结构的性质。方法变异的这种影响通常叫做结构层面的影响。Spector(2006)用物理学的测不准原理做类比，物理测量能真的改变物体的属性，如核粒子。同样的事情也可能发生在对人的测评上。例如，用问卷法测量个人态度，提问的方式可能影响态度，取决于问题的性质和问题是怎么问的。某种偏差(如社会赞许性、负性情绪)也可能在理论意义上把方法效应建模于结构层面(Brief,Burke,George,Robinson,& Webster,1988)。当然，询问并不会改变研究的所有的特性。例如，一般来讲，很难通过询问的方式改变一个人的人口学资料(如性别和年龄等)。
在测量形成性指标结构(formative－indicator construct)时，方法会产生结构层面的影响。社会心理相关研究中有一类结构，叫形成性指标结构。外显指标是引起这种结构的原因。例如，以失业、离婚和生孩子等作为压力的指标，这里每个事件都是造成压力的原因而非压力的结果(Bollen & Ting,2000)。此时，压力就是一个形成性结构，失业等生活事件就是形成性指标(formative indicator)，也叫原因指标(causal indicator)。又如，以花在朋友和同事身上的时间作为社会交往的指标，这些指标也都是原因指标，而非效应指标(effect indicator)(王晓丽，李西营，邵景进，2011)。方法变异对形成性结构的影响应当建模型在结构层面，而不是题目层面(Podsakoff et al.,2003)。
与形成性结构相对的是反映性指标结构(reflective－indicator construct)，这种结构广为人们所知。外显指标是对这种结构的反映，结构是外显指标的原因，如在测量神经质这个结构时，常常会问被试是否会紧张、孤独、发愁等。神经质原因，而紧张等指标是对神经质这个结构的反映。这类外显指标叫反映性指标(reflective indicator)或效应指标。
2.2 题目层面的影响(effects at the measurement/item level)
方法歪曲测量过程是指方法使测量过程产生潜在偏差(Spector,2006)。方法因素只会影响测验过程而不对所测量的结构产生实质性影响。这种影响叫做题目层面的影响。如方法因素中的工具的特点、人、情境以及结构的性质都有可能使测量过程产生偏差。此时方法变异是一种测量污染(contamination)，是在测量中多测量到的原本不想测量的部分。
方法变异污染观测值的水平随所测量的结构的具体性系统的变化，结构越具体，其抽象性越低，这样越不易受共同方法偏差的影响(Doty & Glick,1998; Spector,2006)。这可能与被试在评估结构时必须作出的判断的复杂性有关(Doty & Click,1998)。具体的和特殊的结构，一些事实性信息如员工缺席的人数、被试的年龄等，需要相对小的判断。它们受方法因素的影响的可能性更小。而更抽象的和一般的结构，一些涉及到社会性的结构如生活满意度、自主性、角色模糊性及主观幸福感等，需要更复杂的判断。它们受方法因素影响的可能性更大。
3 方法变异影响的范围
从影响的范围上来看，方法变异可以影响单个结构测量的结果，也可能影响多个结构之间的关系，还可能影响同一领域不同研究之间的关系。
3.1 测验内的影响(effects within measure)
一个量表通常会用很多题目来评估相同的特质。在整个测验中采用相同的题目背景、题目形式和指导语，会提高方法变异(Fiske,1982)。
方法变异对调查研究中的问卷测量的心理测量学特性会产生有害影响。在测验内，方法变异最直接的后果就是造成误差相关和增加题目之间的相关，于是膨胀传统的信度估计值，如α系数和分半信度(Tepper & Tepper,1993)。根据经典心理测量理论，观测分数包含两个成分：真分数和误差。测量的总变异包括测量的结构导致的变异和误差导致的变异。信度界定为真实或结构变异的比例。因为在计算信度系数时，方法变异被当做真实变异了，所以信度被高估。高的信度是高的效度的前提。信度决定了效度的上限(the validity ceiling)。例如，一个量表的信度为0.72，那么它的效度的最高上限为0.85。方法变异通过膨胀信度而提高了效度估计的上限(Tepper & Tepper,1993)。方法变异还会影响测量的标准误(the standard error of measurement)。当信度增加，测量的标准误减少，于是在预测真分数时，会低估误差量。
3.2 测验间的影响(effects between measures)
方法变异对多个结构之间的关系的影响，主要表现为产生共同方法偏差。
共同方法变异可能使结构间的相关膨胀或相关紧缩。相关膨胀或相关紧缩为方法变异会引起所研究变量之间的相关增加或降低。Siemsen,Roth和Oliveira(2010)研究发现共同方法变异是膨胀还是紧缩观测相关，取决于它对观测变量影响的对称度。如果不同测验的方法变异之间的正相关比结构间的真实潜在的正相关更大，共同方法变异会膨胀观测相关(Doty & Glick,1998)。例如，在研究社会吸引和交往频率之间的关系时，这两个结构可能都与方法因素(如社会赞许性和认知一致性)正相关。这样，社会吸引与交往频率之间相关会高于二者的真实相关。如果不同测验的方法变异之间的正相关比结构间的真实潜在的正相关更小，共同方法变异会紧缩观测相关(Doty & Glick,1998)。例如，如果一个结构是用正向表述的题目测量的，另一个结构是用负向表述的题目测的，那么，两个结构间的观测到的正相关会低于两个结构间的真实相关。从统计学的两类错误的思想观点来看，相关的膨胀会引起第一类错误，而相关的紧缩会引起第二类错误。
共同方法变异与结构间相关有可能存在依赖关系。当方法效应依赖于结构之间的相关大小时，如结构间相关越高，方法效应越大，结构与方法的乘法形式的交互作用存在(Campbell & O'Connell,1967)。这时方法效应表现为乘法效应(multiplicative effect)。当方法效应不依赖于结构之间的相关大小时，即方法效应的大小与特质间相关没有关系(Becker & Cote,1994)，那么此时方法效应表现为加法效应(additive effect)。
3.3 研究间的影响(effects between studies)
方法变异还会对同一研究领域或同一理论背景的不同研究结果之间的关系造成影响(Sharma,Yetton,& Crawford,2009)。如果同一领域的多个研究采用了相同方法，那么共同方法变异也会对不同研究结果之间的关系推论、解释和理论建构造成影响，从而最终造成此领域理论建构的偏差。有研究(Cote & Buckley,1987)发现，共同方法变异在不同领域的影响程度不同。态度相关研究领域最高，有关工作表现的研究领域比较低。
4 方法变异的控制
目前各种控制方法变异的方法可分为两大类：过程控制法(procedural techniques)和统计控制法(statistical techniques)。过程控制法，首先辨别可能的方法变异来源，然后通过设计研究来减少其影响或排除之。统计控制法是通过统计手段，分离方法变异，然后使之影响最小化或排除之。选择方法变异控制方法时，即要考虑方法变异的影响方式，又要考虑方法变异的影响范围。
4.1 从方法变异的影响层面考虑
在控制方法变异时，首先应当考虑的问题是，方法是以何种方法影响数据的。
如果方法变异产生结构层面的影响，如测量形成性指标结构时，就不能用常规的统计方法来控制其方法变异问题，须用形成性模型来分析(王晓丽等，2011)。如果错当反映性指标结构来做的统计分析时，方法因子不能进入方程，因而可能造成偏差。Jarvis,MacKenzie和Podsakoff(2003)使用EQS软件分析了将形成性模型错误地界定为反映性模型时造成的偏差。结果发现，从错误界定的潜变量指向其他变量的路径系数会被显著的高估，使最终得出的路径系数增加达555％之多，而指向错误界定的潜变量的路径系数会被低估，减少93％之多。无论哪种类型的错误最终都会影响研究结论的准确性和科学性。
如果方法变异的影响是在题目层面，例如所测量的结构为反映性指标结构，那么以下将提到的各种方法都可以考虑。
4.2 从方法变异的影响范围考虑
按方法变异的影响范围，控制方法变异的方法也不同。由于针对不同研究之间共同方法变异的控制方法研究得比较少，如方法-方法配对技术(the method－method pair technique)(Sharma et al.,2009)，在此不详述。
4.2.1 测验内影响的控制
针对方法变异对单个结构测量的影响的过程控制，Tepper和Tepper(1993)提出了五种不同的量表编制策略：题目形式异质、不同形式和内容的题目相邻、随机放置虚设题、跳跃答题模式和在不同时间点测量。
也可用基于概化理论的方法来控制方法变异的测验内影响。其基本思想是把方法变异因素(诸如测量对象、题目、评价者、场合和量表等)作为测量侧面，利用方差分析系统地分析各种方法因素及随机误差因素可能造成的测验误差的变异来源，从而可揭示方法变异的诸因素和影响大小(Spector,2006)。这种方法很好地结合了事前设计和事后统计控制。
最新发展的认知取向的心理测量理论为方法变异的过程控制提供了很好的思路。这种测量理论关注的心理结构的实质，可以从结构界定、题目设计等重要环节把方法因素从结构中分离。
4.2.2 测验间影响的控制
利用过程控制法控制共同方法变异对结构间关系的影响，也是可先识别变异来源，然后对测量过程进行设计以控制共同方法变异。不过这里还涉及到对不同结构进行测量的问题。如为了控制同一测量对测量不同结构而产生的方法效应(即同源效应)，可以采用从不同来源收集不同结构的数据或提升资源的分析单位(彭台光，高月慈，林钲棽，2006)；为了控制因测量时间相同而产生的方法效应，采用异时测量；为了控制同场合效应，采用不同场合和环境测量；为控制同媒介效应，采用异媒介测量，等等。
一般来讲，用于控制共同方法变异的技术应当反映这样的事实，方法变异只在题目层面产生影响，而不是结构层面(Podsakoff et al.,2003)。控制方法变异，可以采用偏相关途径、单一方法潜因子途径和多方法潜因子途经(熊红星，张璟，叶宝娟，郑雪，孙配贞，2012)。
5 小结
方法变异其实是一个综合了方法(或工具)、与由方法诱发的人的行为偏差和与方法相关的背景的笼统的名词。因此，Spector(2006)建议，在关注结构与方法之间相互作用的有关的测量偏差时，无论数据用自陈方法还是用其他方法取得，共同方法变异这个词及其衍生词应当“退休”，取而代之的是对具体偏差的思考和对观测到的现象的更为合理的解释。
方法变异是社会与心理研究中必须加以考虑的问题，但也不能把其影响妖魔化。方法变异的存在并不意味着一定会对研究结果造成根本性偏差。只要采取合适的控制方法，各种量表法、问卷调查和访谈法还是可用的。Conway和Lance(2010)对读者如何审读一篇使用类似问卷自陈报告法的文献提出了四点好的建议：(1)对于为什么用自陈报告法有充分的论据；(2)有结构效度的证据；(3)不同结构测量的题目没有重叠；(4)作者采取了积极的设计步骤去减少方法效应的威胁。