社会科学研究中实验方法的应用与反思，本文主要内容关键词为：社会科学研究论文,方法论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
作为社会科学重要分支的政治学，其研究者履行四类任务：“解惑(识别政治生活中的异常现象和重要问题)，提供概念(如对相关政治行为进行界定)，叙述事实和因果推断”[1]。前三者是政治学长久以来的传统研究重点，而社会现实发展则表明：对因果关系的探索更有助于深入理解政治行为发生原委或预测政治生活中的重大现象，如领导层更迭、冲突爆发、社会发展方向选择等。目前，因果推断分析也成为社会科学中常用词汇，但无论是描述性推断还是因果性推断，都强调在一系列前提和可见事实中，引申出非直接可见的结论，这就需要严谨的研究设计和科学方法作为支撑，而且探究出因果性推断比呈现描述性推断更具挑战性。 然而，因果推断的建立囿于研究方法、研究资料和研究数据等诸多条件限制，学者在尚没有科学地解释各种政治现象时，更难以奢求获得理想的因果推断。一方面，对政治现象进行客观、全面解释是进一步挖掘其不同现象间因果链条的前提，但由于政治生活的复杂性、研究资料的多样性和数据质量的参差不齐，同时还常伴随着“多因多果”，这些均对政治现象的因果关系识别带来挑战，进而影响到单一因果推断产生的现实土壤；另一方面，传统研究中定性或定量方法无法满足探究因果推断的方法论需求，如案例比较分析中“很难产生强因果推断，故只能通过提高描述性总结为因果推论做铺垫”[2](P227-228)，而定量研究中的回归分析仅停留在对变量之间相互关系的识别，无法为实现解释“因果推断的学术黑箱”提供技术工具。 尽管面临以上研究的困境，近年来，伴随实验心理学、实验经济学、实验社会学和不同学科交叉研究的兴起，实验法成为社会科学研究中全新引入的方法论工具，如生物政治学和政治心理学中通过实验方法分析遗传、基因因素对后天政治行为和态度影响成效显著。在政治学研究中，也逐渐出现部分通过采取实验法来尝试对政治现象进行因果推断的研究成果。但实验方法作为一种新兴的、源自其他学科的研究方法，在引入政治学科领域后，往往由于学者对该方法认知肤浅或错误而存在各种问题，比如学者常常忽略不同实验方法背后的传统及不同研究领域引入实验设计的初衷，忽略不同实验类型与研究对象的匹配，难以形成对实验法优缺点的客观认知。同时，进入21世纪以来，就中国学界而言，由于知识传统和知识训练差异，实验方法一直存在着高关注度、低发表度的情形。虽然马克思主义社会科学理论研究及我国社会主义建设实践中均体现出鲜明的实验方法应用特征，但学界依然匮乏将“实验”作为社会科学研究方法予以客观分析。 由此，基于对社会科学方法尤其是政治学研究方法创新和应用的学术关怀，本文通过系统性解析实验方法，探讨实验法在政治学研究中的应用过程，并反思研究议题选择和方法适用性、局限性问题，为未来中国政治学研究者的方法论自觉和自省，提供知识基础和理论储备，亦为社会科学的其他学科提供政治学的借鉴视角。 一、从实践中的“实验”到方法论中的“实验” (一)实践中的“实验” 作为研究方法的“实验”并非与生俱来，尤其是在中文的语境中，其更多面向实践领域。如在古汉语中，“实”与“验”是两个独立字词，《说文解字》解释“实”为货币、财富之意，“验”则为马匹之名，后演化为征兆、证据等意，直到东汉唯物论学者王充在《论衡·遭虎》中将二字首次综合使用：“等类众多，行事比肩，略举较著，以定实验也。”此时，“实验”在辞源意义上演化为验证某种说法或做法的尝试性活动，但依然与今日方法论中的实验意义相去甚远。现代实验多意指在设定条件下，对相关假设和理论进行验证的方法。 近代以来，伴随西学东渐，现代科学理论中的“实验”概念得以逐渐传播，如梁启超的《泰西学术思想变迁之大势》、胡适的《实验主义》均开始使用现代意义上的“实验”概念。彼时，在社会实践中，我国也广泛兴起各类实验，如20世纪30年代晏阳初推广平民教育“定县实验”，以及同时期乡村建设中梁漱溟主持的“邹平实验”。从这一点来看，中国社会发展领域中的“实验”应用并不比西方起步晚，西方国家也直到19世纪后期才在社会发展实践中产生实验方法应用的萌芽，如当时学者对“伦敦饮用水带来霍乱病菌问题的实验设计分析”[3]，等等。 新中国成立后，在社会主义建设实践中，广泛开展了各类实验试点探索，如公私合营、商业贷款试点等。改革开放以来，在社会主义探索中产生广泛影响的村民自治实验、市场经济实验、经济特区实验等，均显示了“实验”理念在我国现实中被广泛运用，特别是我国公共管理实践中“政策试点—完善—推广”等操作过程深刻反映出这一点。毛泽东亦指出：“科学实验”是“人的正确思想”来源的三项实践之一。[4](P233) 从以上分析可见，实践中的“实验”在中国有着根深蒂固的传统，并在社会主义建设中得到较好的应用。但现代社会科学研究中，学科的细化和分化也带来对单一学科更高的方法论拓展和理论深化诉求，如何将实践中的“实验理念”提炼成为更具规范性、可推广的操作性方法，则是当前亟须解决的问题，而实现此目标首先需要明确实验方法的内涵、外延及分类。 (二)作为研究方法的社会科学“实验” 在生物、化学等自然科学中，实验方法已经被人们在观念上普遍接受，并被视为知识再生产的重要来源，似乎还形成一种“实验即意味着科学”的共识，但社会科学实验不同于传统自然科学的理想实验。自然科学研究中的理想实验，是指研究者通过随机分配研究对象，基于不同的研究条件设置控制组(Control Group)与研究组(Treatment Group)等，在数据生成过程中对研究对象实行积极干预。有无对比和干预也成为实验法与传统观察研究法之间清晰的界线。而当社会科学研究引入实验法后，社会科学研究问题与研究对象的特点使得自然科学实验的理想情形在社会科学研究领域难以存在，所以，社会科学实验方法既与自然科学有共通性，又有社会科学的特殊性。 首先，就“实验对象”而言，社会科学特别是政治学研究实验对象多以人或一定的组织单位为主体，同时，由于来自大学研究机构的学者是开展社会科学实验的主力，在实验中招募大学生作为被试对象成为一种常见情形，这与自然科学研究以器物为被试或将研究对象置于独立培养器皿中观察不同。其次，虽然随机获取数据是有效开展实验的重要条件，但社会科学实验中所谓的“随机”多是基于实验目的和任务的随机分配，以实现样本间变异在各个处理水平上随机分布，消除已知和未知的统计层面外部因素对实验结果的影响。社会科学实验只能将受试对象相近特征(如性别、年龄、职业、主观配合程度等)或有限的外部环境特征(如实验时间、季节等)进行分配，这在一定程度上降低了实验对象个体差异的影响，但依然难以像自然科学研究那样实现组内个体的完全同质化。近年来生物政治学兴起的胞胎实验力图对此进行改进[5]，只是实施起来具有较大难度。再次，社会科学实验中的“控制”并不一定是研究者进行不同实验对照组的比较，也可能是研究者为了进行有意义的比较来控制单一研究对象的属性。如在分析政治参与行为时，通过对参与者偏好、身份等变量控制，进而实现实验所获得数据可以依据统计学方法(如倾向值匹配)来控制可观测的变量。同时，社会科学中的“人为干预”还意味着“社会科学家则置身于研究对象之中”[6](P32)，而自然科学家一般并不介入正在研究的对象。此外，社会科学家在干预过程中还需要基于研究目标和干预手段确定干预的具体单位，政治学实验的干预单位极为多样化，如个体干预、家庭干预或更大规模的社区等集体干预。最后，社会科学实验效度并不单指数据可信度，而是表现为推论或知识言论的“近似真实”(Approximate truth)。效度进一步可分为四类：“统计结论效度”、“内部效度”、“构思效度”和“外部效度”。实验研究一般仅区分内部效度和外部效度，前者指实验结果在数据范围内所具有的可靠性，后者指实验结果在实验之外推广的可靠性，这也用来指实验的可复制性。确定一个结果是否有外部效度，要将结果复制到所有不同的数据组，特别是在实验室实验快速发展的背景下，使得实验重复对比具有可能性，为外部效度的验证提供了条件，但自然科学实验的外部效度要远远高于社会科学实验的外部效度。 通过比较社会科学与自然科学实验方法，可以发现“社会科学研究不但更为复杂和不确定，影响和制约的因素也更多，而且人类社会活动的演变过程在整体上具有唯一性和不可重复性”[7]。但社会科学实验通过“强化”被研究对象的影响条件，为实现探索研究对象(或变量)的因果联系及其发生发展规律提供了条件，为形成理论和制定政策的可靠性提供了依据。 本文将社会科学实验方法界定为：基于相关理论研究假设，运用必要的、合情合理合法的人为手段，主动干预自变量及控制无关因素(干扰变量)，实现探究特定研究对象和揭示社会生活因果关系的研究方法。 (三)实验方法分类及差异 社会科学的复杂性，也使得实验方法存在不同的应用分类。就实验开展地点而言，可分为田野实验(Field Experiment)、实验室实验(Lab Experiment)、问卷实验(Survey Experiment)。[8]就实验过程和限制性条件区分而言，可分为标准实验和准实验(Quasi-Experiment)。实验方法的类型学分析，有助于未来不同的研究目标、研究对象、研究资源条件下匹配不同的实验类型。 1.准实验与标准实验 经典的标准实验设计，在随机分配被试对象的基础上，通过对干扰变量的控制和对目标自变量的干预，获得不同条件下自变量对因变量的影响机制或程度，即得到实验预期的干预效果。但标准实验对被试者的组内差异和同质化要求较高，对变量控制和测量的精度同样要求严格。社会科学研究往往难以按照标准实验设计进行，如研究对象总数过于庞大，难以对研究对象进行随机分配，无法设置对照组，或者是缺乏对干扰变量的充分有效控制。这就为准实验(又称为类实验)发展带来机会，准实验意味着并不严格遵循实验控制和干预原则，主要体现在对若干实验准则的妥协，如在没有对照组的情况下，仅以实验组的自身为对照，或通过不同时间序列，进行实验前数据和实验后数据的对比分析。 由于社会发展的不可逆性，不存在完美或准确无误的实验，恰当的实验设计取决于所要解决的问题，目前社会科学研究中大多数实验设计均属于准实验，在政治学实验中也以准实验为主导。 2.问卷实验和列举实验 在严格意义上说，社会科学研究中问卷实验和列举实验(List Experiment)均属于调查式实验的具体操作化手段。问卷实验基于书面问题设计，对主观性问题和检验性问题对比设置，测试不同问卷被访者的态度或行为趋向，其常与实验室实验或调查软件相互结合使用，但往往需要使用大规模样本，伴随计算机技术的发展，目前计算机辅助访问技术简化了以往的实验程序。 政治学、社会学等研究过程常涉及研究对象内部敏感性信息。比如，针对调研问题的敏感性，研究者不得不采取非直接的询问方式，以减少不诚实的回答或拒绝回答的现象。[9]问卷调查中通过使用间接问题来缩小不诚实回答或拒绝回答等带来的样本偏差问题，即称为列举实验。由于对此类新引入研究方法的使用存在各类知识性问题，这偶尔使得“对来自列举实验数据的回归模型和多元变量模型分析也常存在不适应性等挑战”[10]。 3.田野实验与实验室实验 对于社会科学研究中最为常见的实验室和田野实验的区分有时很模糊，但顾名思义，二者的主要区别体现在研究对象开展实验的背景、实验过程和结果测量方法等方面。实验室实验由于发生在可被控背景中，通过标准化的程序和操作过程实现实验组和对照组的比较，对外界干扰变量较好地实现了控制；而田野实验相比较于实验室实验虽然也具有相关控制变量的背景，但来自外界的干扰更多，且常常是以社区为单位的大范围观察。 就二者具体差异而言，主要体现在以下几点：(1)实验室和田野实验存在不同干预措施，以观察受试者的潜在反应。如实验室实验的常见做法是通过增加或极化不同的干预措施[11]，为测试者创造外界不存在的极端环境的条件。这也导致实验室中受试者知道他们处于被研究状态，此种意识会影响和混淆最后的实验结果。(2)存在不同的测量尺度和实验周期，如实验室测量刺激和反应结果大多以“分钟或小时”来计算，而田野中则以“天、周或月”来计算。也就是说，“实验室中大多得到的是短期效应，而田野中得到的是长期效应”[12]。(3)就实验效果而言，人们常认为田野实验更能反映真实世界的问题，能够使得研究者更好地获取社会发展的无偏差和有效的因果机制，因为其提供与现实一致的环境变量；而“实验室则能够较为可靠地标示出研究方向”，但难以比拟在自然背景下所观察到的影响层次变化，甚至可能屏蔽因果机制。 当前研究中多以实验室实验为主，这既有田野实验开展难度过高的限制，也存在由于学者“低估田野实验价值，高估实验室实验价值等问题”[13]。越来越多的文献开始注重检验实验室的实验结果和田野实验结果之间的关系。“当两种类型实验具有共同研究目的时，其得到的结果是趋同或相似。”[14]有学者指出实验室实验和田野实验的效果是不一样的，即使针对同一研究。[15]也有研究显示：通过将中小城市选民随机抽选到实验室和田野实验之中，比较二者的信息媒介效应差异时，其中实验室中的效果更明显。[16]它们为社会科学研究中的因果关系界定提供了互补的探索路径。 当然，还存在基于其他分类标准的实验类型，如单因素实验、多因素实验，单组实验、组别比较实验等。 二、社会科学研究中实验研究方法应用 方法的创新是为了研究实践的应用。弗朗西斯·培根是最早将实验方法作为认识客观世界方法并使之理论化的学者。培根指出：只有在实验的基础上进行归纳，才能得出贴近客观真理的结论。但长久以来实验方法似乎都是物理学、化学或生物学等自然学科的专利。到20世纪初期，英国统计学家费希尔(Fisher)的《实验设计》一书为学者提供了通俗易懂的实验操作方案。[17]当前，社会科学研究已经对该书中的若干实验概念运用自如。1962年弗农(Vernon Smith)发表实验经济学的奠基之作[18]，标志着实验方法在主流经济学领域确立了自己的独立地位。20世纪90年代中期《实验经济学手册》出版，进一步扩大了实验方法的影响。弗农由于其实验经济学研究成就获得2002年诺贝尔经济学奖，使得实验方法彻底在经济学中流行起来。在管理学领域，从20世纪30年代的霍桑实验，使得管理走向科学，到21世纪诺贝尔经济学奖授予奥斯特罗姆以表彰她对实验方法扩展在公共政策分析中的贡献，同样表明实验方法在公共管理学科取得了成功。 借助计算机软件，研究者得以对类似投票选举这类的复杂政治活动进行模拟，设计具有较强针对性的实验，尤其是模拟仿真技术，促进了实验室实验的多样化发展。还有学者通过互联网提供的在线技术支持，开发出可用于多种政治学实验研究议题的在线软件平台，对传统实验进行补充和纠正。李普哈特早期曾断言，实验研究“很难被用于政治学研究，因为其会面临极大的实践与伦理障碍”[19]。不过，计算机技术的引入从一定程度上降低了李普哈特所说的实践障碍。 当然，由于政治学关注的核心是政治人、国家及亚国家单位，研究对象的特殊性使得研究设计既需考虑案例层面的问题，也需要考虑变量及观测值层面的问题。学界所倚重的传统研究方法难以深入研究对象探索政治学因果关系的“黑箱”(black box)。[20]实验方法的应用则为政治学研究者提供了介入数据采集和生成过程的机会，避免一味依赖被试者自报自填数据带来的研究偏差，如传统问卷调查中多依赖问卷对象的自我填写答案，这往往构成获得研究对象真实想法等目标的障碍。同时，还将改善“理论、假设与研究结论”三者之间的匹配程度，将科学严谨的态度引入研究过程，通过对研究对象的细节测度和控制，不但使得研究因果推断更具系统性，还能增加研究过程的透明性和可复制性，同时，建构政治现象的因果关系，“可以有效地加快政治学扩充其知识体系的速度，并使其扩充知识体系的过程更为系统化”[21]。 政治学实验研究方法的应用，早期主要集中在投票实验中，其他研究应用议题还包括政治精英分析、政治态度和心理分析等。[22]这类研究主题一直持续至今，如20世纪90年代耶鲁社会与政策研究院(ISPS)开展随机田野实验的“出去投票”(GOTV)项目。2011年12月美国政治学会(APSA)专门成立了实验方法分会(APSA's Experimental Methods Section)，并出版《实验政治学家》(The Experimental Political Scientist)；2014年《实验政治学期刊》(Journal of Experimental Political Science)正式出版，促进了实验方法在政治学领域的发展，为学者提供了专业的学术分享和探讨平台。实践中，政策制定者也开始展现出对政治学实验研究的兴趣，如美国联邦政府通过政治实验来评估教育、医疗等福利项目；美国科学基金(NSF)从2002年开始资助实验研究并为学界提供实验数据共享的机会。[23]英国政府则将实验设计称为政策实践的黄金标准，为此，英国2000年成立的学术智囊(Cabinet Office's Behavioural Insights Team)确立政治实验对政策实施的建设性作用，即通过实验可获取新观念，检验政策、理论和各种干预性变量的作用，为政策制定者提供建议。英国已经在有关税收支付、法庭罚金、能源节约、健康和慈善捐款等领域开展一系列政治实验，并形成若干重要的政策指南。 三、社会科学研究中实验方法挑战与反思 虽然当前实验研究方法已经被社会科学其他学科予以采纳并取得丰硕成果，甚至成为部分社会科学的核心方法之一[24]，但在部分社会科学研究中依然是新鲜事物，如在浩若烟海的政治学文本文献中，政治学实验方法成果尚有限。政治学者依然更倾向于档案文献、案例研究、田野工作、调查、定量分析和形式化建模等传统方法。由此需要分析实验研究方法所面临的挑战和自身效能带来的危机。 第一，在方法论认知和学者认可层面，当前诸如回归分析技术在政治学研究领域正被广大学者得心应手地使用，伴随大规模调查数据的公开，也使得回归分析使用领域越来越广泛。如多元回归研究法倾向于对大样本群集的研究，而实验研究法往往关注对较小数量个体的研究。除此以外，如政治学研究中的文化分析、历史建构主义、制度分析等传统分析方法依然有着广阔的市场，部分学者也因对这类分析方法长期使用而形成路径依赖。 第二，在研究方法训练层面，社会科学训练和培养体系中，对实验方法并未予以充分的重视。虽然实验方法作用很大，国际期刊也发表了大量这样的文章，但这一研究共同体依然较为小众，如在政治学科领域这一较小的学术共同体内还面临实验方法的训练不足，政治学专业课程中对实验法很少涉及[25]，可见当前部分社会科学学科对实验方法应用的知识储备存在明显不足。 第三，实验方法自身亦有不足。一直以来，社会科学实验研究成果在受试者的代表性、外部有效性、实验中的偏见、实验室实验的人工制造的环境等方面均为一些学者所诟病。比如在政治学实验中，作为实验对象的政治人往往由于其主观能动性及个体差异使得社会科学实验中的随机分配、控制和干预变得更难。对随机分配的不足可能进一步削弱实验方法的效果，还会带来对其他解释因素的排斥。此外，探究因果推断的前提必须先理解决定因果机制产生的逻辑，但诸如政治学研究对象“复杂而多样化的因果关系确定性关联很难界定”[26](P255)，单纯依靠实验记录平均效应来建构因果效应，依然有过于笼统之嫌。 第四，存在理论与现实的差距。社会科学实验法在探究因果推断过程中，逐渐形成两类，即“由果及因”(causes of effects)和“由因及果”(effects of causes)，当前学者研究中更希望将研究重点放在后者，即探索原因造成何种结果上，如分析政治讯息、经济刺激、对他人的信任或教育体系等如何影响政治参与，但现实中，政策制定者更关心的是解释结果产生的原因：国家为何贫困？腐败为何发生？对于这些问题的探索，仅仅依赖实验室实验是远远不够的，这种理论与实践的鸿沟也影响了实验方法的进一步推广。 第五，实验伦理层面的质疑。在自然科学实验中，实验参与者的知会同意权，对实验过程、结果、收益、风险等说明一般都是实验伦理审查的重点，但在社会科学实验中，由于具有主观能动性的人是实验参与者的核心，对参与者的价值诱导常常成为社会科学实验的一个重要问题。在《美国政治科学评论》上发布的研究室实验中，一半的实验采用了价值诱导，诸如参与者基于在实验中的表现得到金钱奖励，此外，“31％的研究室实验使用欺骗的方式”[27]。 第六，实验的可重复性和一致性挑战。这包括同一类型实验的可重复性和不同类型实验的可重复性。比如为了便于研究结果发表，可能会夸大实验室实验与田野实验的一致性程度，或夸大不同实验室的可重复性程度，削弱了人们对实验合理性有效性的期待。 四、结论与启迪 作为社会科学中的新兴方法，实验经历诸多演变，如过去一百年《美国政治科学评论》对该术语的使用在不同时期存在三种截然不同的方式：早期认为实验是一种体制创新，如一部新章程、一个新选举系统或者一个新的政策过程；中期认为实验是一个模拟性或实证性的测试，既不涉及一个体制，也不涉及随机性实验；后期才将其视为是一种随机性实验，在实验中研究者随机地将观察单位分配给控制组与实验组。“实验”作为社会科学研究方法，一方面，由于其在建构因果推断中的作用，有人视之为圭臬；另一方面，由于其内在的不足而被视为“毫无必要的装饰品”也面临指责，但这种非此即彼的偏颇也表明研究者可能并未理解实验方法的真谛。 来自自然科学研究中的实验方法在社会科学领域的兴起，表明当前社会科学正在经历从人文学科特征转向自然学科的过程[28]，但无论何种方法，社会科学永远无法实现像自然科学那般精确，此时更需要反思，不同方法视域下，社会科学的边界在哪里，中心在哪里？共同体在哪里？事实上，实验法作为方法论发展中重大进步的闪光点在于，它与其他研究方法存在或隐或现的交叉和互补，如从互惠的角度看，形式化建模为实验研究法提供了用以验证、完善与探索的各种假说，而“恰当的定性研究方法运用也为实验的理论拓展和因果建构完善指明方向”[29]。社会研究方法是出于不同目的被开发出来的，一种新研究方法的出现并不是为了击败另外一种研究方法，它们“很少相互对抗，而常常互补”[30]。 对于中国社会科学特别是政治学发展而言，实验方法尚未受到广泛的关注和得以应用，以中国期刊网(CNKI)数据检索为例，存在明显的反差：一方面，实验方法应用成果有限；另一方面，则是显著的关注度和下载阅读量。[31](P90-110)这种情形在美国也同样出现，学者发现在《美国政治评论》发表的实验类文章(n=57)在过去平均被引用次数为40.1，同时期非实验性文章(n=193)被平均引用30.5次，定量文章(n=90)被引用29.7次[32]，这表明目前实验性文章受到学界更多的关注。当然，作为方法论意义上使用的实验概念，正在产生越来越大的影响力，但实验方法能否切实地在“探寻事实、检验各种理论假设、建构实验者和政策制定者之间的对话”[33]三个方面发挥作用，还有很长的路要走。中国政治学在实验方法的采纳中，不仅要更为全面客观地认知方法论的不足和优势，还应在具体的研究实践中不断发展。