国外教育研究综述法的源起、方法论基础和基本步骤论文

国外教育研究综述法的源起、方法论基础和基本步骤

刘超洋 陈 冲

摘 要: 国外教育文献研究方法经历了由传统的叙述研究法向当前的研究综述法的转向。与叙述研究法相比,研究综述法的过程和结论更为客观可信,它融合了基于文本阐释理论的思辨主义取向和标准化原理的实证主义取向的方法论基础,是混合研究方法的典范;研究综述法有元分析、概述、批判性概述、整合性概述、快速概述等不同的术语表达。根据SALSA模型对其具体的差异进行对比分析,明确了研究者需根据研究问题和文献特征选取合适的技术手段开展研究;教育文献研究中研究综述法主要分为文献检索、编码、数据分析和形成结论四个步骤。

关键词: 研究综述法;源起;方法论基础;基本步骤

研究方法是研究者由已知的此岸达到未知的彼岸必须经过的一座桥梁,是研究者的一种表达的可能性,多数人将定量方法和定性方法作为自然科学和社会科学在研究方法上的分野,但是两类方法在自然和社会领域中都是适用的。[1]目前,国外教育研究中偏向于采用量化与质性相结合的混合式研究方法。[2]研究综述法(Research Synthesis)作为一种混合研究方法在国外教育文献研究中比较受重视,它有一套严格规范的操作程序,既有量化研究的数据统计分析特性又有质性研究的文本阐释归纳特性。然而国内研究者对教育文献研究中的方法运用还存在一定的误区,甚至将文献综述视为一种特定的研究方法,并将其直接称为“文献法”“文献综述法”或“文献研究法”。[3]从教育研究方法的基本范式进行分析来看,撰写传统意义上的文献综述而采用的所谓的“文献法”缺少系统规范的、可操作性的研究方法和工具,并不是真正意义上的研究方法。[4]国内关于研究综述法的运用及介绍比较少,对其译名也未统一,在中国知网中以 “‘研究综述法’O‘研究整合法’O‘系统性文献综述法’”为检索式检索,筛选后发现只有五篇相关文献,其中一篇对该方法的涵义、依据与原理进行了分析,一篇介绍了该方法的步骤与价值,一篇介绍了该方法在文献综述中的作用,另外两篇分别运用该方法对数据利用和安全认证领域内的文献进行研究。整体而言,国内对研究综述法的研究与使用还有待提高,对这一方法的源起、方法论基础及基本步骤的探讨具有重要的价值。

一、研究综述法的源起

(一)叙述研究法与研究综述法

国外文献综述研究方法经历了由传统的叙述研究法(Narrative Research)向当前的研究综述法(Research Synthesis)转向,前者主要根据研究者本人的主观建构对前人的研究进行整合,缺乏明确的标准,可信度低;后者有一套系统规范的操作程序指导研究,研究结论客观,可信度高。在叙述研究法中,研究者并不清楚他们所选用文献的标准及对其选用的文献是否能够有效支撑其研究结论没有明确的分析论证。[5]除此之外,因其呈现出来的是通过研究者本人主观建构出来的分析结论而经常遭到他人的诟病,甚至将其称为“传统综述法”或“非系统综述法。”[6]研究综述法则不然,它与叙述研究法相比更严谨客观,马罗(Mulrow)指出以这种方法进行的综述是对整个事实的探索,是一种“基本的科学活动”。[7]

研究综述法最早兴起于医学领域,1753年海军外科医生詹姆斯·林德(James Lind)首次在其发表的论文中使用研究综述法,强调要消除偏见并不是一件容易的事情,因此必须对研究进行全面而公正的概述。起初这种研究方法并没有受到重视,直到20世纪才开始逐渐受到研究者的关注:1904年卡尔·皮尔森(Karl Pearson)提出有必要将多项小型研究结合起来,以获得关于治疗发烧的证据的明确意见;1907年约瑟夫·戈德伯格(Joseph Goldberger)回顾了44项伤寒研究,然后从44项研究中的26项中抽取和汇总了数据;20世纪30年代罗纳德·费舍尔(Ronald Fisher)及其同事在农业领域开展了类似的研究;1976年吉恩·格拉斯(Gene Glass)正式提出了元分析的概念,并将其作为研究综述法中的正式程序,此后研究综述法突破了医学、农学等自然科学领域的范畴,人文社科领域的研究者开始运用此方法进行研究[8]。在教育领域,最早运用研究综述法的是格拉斯和史密斯(Glass & Smith)在1979年进行的关于课堂规模和学生的学业成绩之间的关系的综述。[9]1984年,莱特(Light)认为新的研究综述法适用于包括健康,教育和心理学等许多领域。20世纪80年代中期以后,国际上出现了大量介绍该研究方法及如何设计该研究方法的研究。[10]其中最权威的研究为库珀(Cooper)于1994年出版的《研究综述手册》(The Handbook of Research Synthesis),目前已更新到第五版。

2.4.3 共有峰的指认及相关分析 5批样品有22个共有峰,其峰面积合计占色谱峰总面积的90%以上。通过与对照品HPLC图谱比对,指认了8个共有峰分别为淫羊藿属苷A、朝藿定A1、朝藿定A、朝藿定B、朝藿定C、淫羊藿苷、鼠李糖基淫羊藿次苷Ⅱ、宝藿苷Ⅰ。其中,20号峰为淫羊藿苷峰,由于其分离度较好、响应值较高,故以其为参照峰,计算其他峰相对于淫羊藿苷峰的相对保留时间和相对峰面积,详见表2、表3。

研究综述法强调采用一系列技术最大限度地减少偏差和错误,要求在综述之前明确的指导标准、检索策略、准入和排除标准、对干预的确切定义,对总体效应的无偏估计等。[11]简言之,研究综述法应该主要包括:要解决的明确的研究问题、用于搜索研究文献的方法的透明度、寻找未发表和已发表研究的详尽搜索、评估研究质量的明确标准(定性和定量)、准入和排除研究的明确标准、联合综述以减少偏见、明确陈述综述的结果[12]。此外,研究综述法重视对研究的综述过程中采用正式的方法,如当研究数据为量化数据的时候可以采用元分析技术(Meta-analysis),当研究数据为质性文本时可以采用适应性扎根理论技术(Adapted grounded-theory techniques)和批判性解释综合(Critical interpretive synthesis)。[13]研究综述法与叙述研究法最大的区别就是强调文献搜集的系统性及科学性,在对大量文献进行综合分析的基础上形成研究结论,使之更加客观可信,两种方法在使用过程中有明显的差异,具体如表一所示: 叙述研究法在文献检索阶段通常不报告其检索方法,往往只关注一些重要的文献,对检索到的文献没有准入和排除标准,没有明确的数据提取方法,对分析文献所运用的方法的质量和严谨性的评估取决于研究者本人的主观判断,形成的结论也通常是建构在研究者本人的专业知识和经验之上;研究综述法在文献检索方面具有相关的检索策略,强调全面搜集研究领域的所有文献,通常在论文中报告检索策略,有明确的文献准入和排除标准,需要两名或以上的专家对其检索到的文献进行独立筛选并编码,使用专门的质量评估工具进行评估,研究结论往往建立在一些正式的方法如统计分析、元分析等技术分析的基础上。[14]

表 1叙述研究法与研究综述法的对比

(二)研究综述法的不同术语表达

元分析(Meta-analysis)在变量编码方面具有独特的优势,主要是通过详尽的文献检索策略检索已发表和未发表的文献,制定准入和排除标准筛选文献,对选定的文献进行编码,以图形、表格或叙述式的表达呈现,主要对其数据的各种数值进行分析,以定量地方式整合相关的研究成果。[17]概述(Overview)的检索、评估和综合过程主要取决于研究者所采用的具体的研究方法,主要对文献的在年度上的分布、文献的概念和主题进行分析;批判性概述(Critical review)旨在识别某一领域中最重要的文献,并按照文献的重要程度进行评估,对文献在年度上的分布和概念进行概述,进而确定现有或推导出新理论的概念;整合性概述(Integrative review)通过两种或以上的检索策略如目的检索或穷尽检索策略来检索大量的文献,然后对文献进行编码,从而通过对数据的分析和比较识别出某一研究领域的主题;快速概述(Rapid review)主要强调在有限的时间内对某一研究领域的文献数量、质量和影响做出概述,如果时间允许的话可以采用系统的检索、评价和综合方法。

研究综述作为一种整理文献的方法,已经成为管理、整合和总结新兴研究领域的重要技术手段。但是研究者在运用研究综述法的时候使用的术语却不尽相同,如元分析(Meta-analysis)、概述(Overview)、批判性概述(Critical review)、整合性概述(Integrative review)、快速概述(Rapid review)等。[15]这些不同的术语体现了研究综述法在文献综合方面使用的技术分析手段的差异,不同的术语指向不同的技术分析手段,不同的技术分析手段在操作过程中又有各自独特的优势,研究者需要根据自己的研究问题及搜集到的文献数据特性来选取合适的技术手段,无论采取何种技术手段都是为了达到全面客观综述该研究领域文献的目的。格兰特和布斯(Grant & Booth)基于研究综述法中的四个关键步骤提出了SALSA模型,即检索(Search)、评估(AppraisaL)、综合(Synthesis)和分析(Analysis),并根据SALSA模型对研究综述法的不同术语所指向的技术手段进行了对比分析,[16]以对在研究中精确使用不同的术语提供参考,具体如表2所示。

综上,研究综述法符合复杂性范式中强调的多元整合,它融合了思辨主义与实证主义的范式。其方法论基础一方面以文本阐释理论为基础,强调研究者需要与搜集到的文献文本建构联系,通过文本阐释将当下情境的研究问题与先验的文本知识产生意义关联;另一方面以标准化原理为基础,强调研究者需要借助一系列技术分析手段和标准化的操作程序去获得并检验数据,从数据分析中验证推导出研究结论。

(三)树立榜样,多鼓励。结合教学给坐姿及握笔姿势非常正确的同学拍照,展示给大家看,每节课都特别表扬书写姿势正确的“小明星”,让身边榜样的力量来影响学生改掉不良的书写姿势。

表 2研究综述法的不同术语表达对比

研究综述法并不强调仅仅采用某一种特定的分析技术,如上述不同的术语所指向的不同技术分析手段,它们在文献研究中具有各自的优势,研究者应该根据研究问题和搜集到的文献特性来选取合适的技术手段进行综述。文献研究最主要目的是整合或比较别人已做的研究、批判前人的研究、在相关研究中建立联系、确立某一研究领域的核心主题。[18]在这一过程中会涉及到多种技术手段的综合,并不是使用单一的手段就能够得出客观的结论。研究综述法也正因其在具体分析技术手段上的多样性成为文献综述研究中一种常用的研究方法。本研究所提倡的研究综述法便是这种广义意义上的研究方法,它包含上述不同术语所指向的各种具体技术分析手段。

研究综述法主要通过对涉及相同主题的多个单一的研究的整合分析从而总结以往的研究。[32]在研究综述法的具体实施步骤方面并没有统一,大多数研究者是根据研究问题对其他学者提出的步骤框架进行修改从而形成自己的研究步骤框架。其中,引用步骤框架最多的是库珀于1982年提出的五步框架,后来他又经过不断的完善扩充为七步框架模型:形成问题、检索文献、整合研究信息、评价研究质量、分析整合研究结果、解释证据和呈现结论。[33]其次,使用较多的是穆赫(Moher)等人提出的系统评价和元分析的指导方针(PRISMA)。除此之外,还使用阿德塞佩斯和奈斯比特(Adesope & Nesbit)于2012年、利普西和威尔逊(Lipsey & Wilson)于2001年提出的步骤框架。本研究将研究综述法的基本步骤主要归纳为四步:文献搜集、编码、数据分析、形成结论,具体如图1所示。

二、研究综述法的方法论基础

方法论是与方法密切相关的理论,为方法提供思维框架和行为指导,是构成方法体系和机构的前提性理论。[19]正确认识方法论,能够更好的理解并运用方法。长期以来,科学研究中存在着量化研究和质性研究两大对立的研究范式,两者在方法论和方法上面存在着明显的差异:量化研究以实证主义理论取向为基础,以自然科学为典范,断言所有社会现象都能还原为代表真实的经验指标,外在的事实不依赖于人的客观存在,研究者完全可以以超脱对象以及具体情境的方式,利用精确的统计技术和工具获得唯一的“真值”;质性研究以思辨主义和建构主义理论取向为基础,认为现实是人为建构的并永远处于变动不居之中,研究者和研究对象之间存在情境关联,对研究者而言现实并不是先验性,相反没有人的关注现实就不会存在。[20]自古希腊时期,一些哲学家和教育学家就开始探讨方法论的问题。受思辨主义范式的影响,理性主义和推理分析是其重要的思想工具,思维途径将世界还原成一个个知识模块,然后理清它们的因果关系,从而建构出一系列的解释和理论,经验总结法便是这一时期主要采用的研究方法。[21]19世纪末20世纪初,教育研究方法论作为正式的研究议题开始受到广泛的关注。受当时实证主义的影响,研究者认为认识世界最有效的方式是建立在培根经验论基础上的观察—实验方法体系,即实证主义的方法,所有学科都必须向自然学科看齐,教育领域亦试图通过研究方法的实证化来保证教育研究的科学化。[22]然而,由于教育研究的复杂性,很难通过实证主义精确的控制对教育中各因素之间的关系做到准确的归因,教育中的人文因素使得其在研究过程中难以实现实证主义所强调的主客分离、价值排斥和重复验证。[23]20世纪50年代,随着建构主义理论的发展,教育研究的范式不断得到修正,建构主义深受康德哲学的影响,强调人的主体能动作用,通过个人特质、个人经验和个人理解去重构知识,克服了唯理论和经验论的局限性。[24]但是教育研究中并没有完全抛弃实证主义范式,而是开始将传统的哲学思辨主义与实证主义相结合,不断寻求新的研究范式。21世纪之后,国外教育研究由关注理论、范式争辩到关注实践问题,开始包容不同的范式及方法论。复杂性范式作为一种新的研究范式开始受到重视,它超越了长期以来质性研究和量化研究的对立,被称为第三种范式。[25]复杂性范式强调对事物进行多元整合,把主观与客观、科学与人文、事实与价值、理论与实践等看作是多元平等的、联系的、统一整体事物的不同方面。[26]混合方法便是一种基于复杂性范式的研究方法,它强调在研究过程的不同阶段综合使用质性和量化的方法,以克服使用单一方法的不足,从而更好的解释研究问题。

研究综述法的方法论基础一方面受思辨主义中文本阐释理论的影响;另一方面受实证主义中标准化原理的影响。

有一次扯闲篇时,吴小哥问,古家庄那两个水湾是不是还在?我说在啊,那个种着芦苇的水湾已经种了苘麻,到了夏天便开出黄色的小花,香味浓浓的,说不出的清香。吴小哥不愉快地问,咋会成了苘麻,我记得整个水湾都长着芦苇,夏天还有苇喳。

阐释(Hermeneutic)理论由19世纪的理论家弗里德里希·施莱尔马赫(Friedrich Daniel Ernst Schleiermacher)建立,他将诠释的对象从之前的圣经、罗马法等特殊文本扩展到了所有的文本。[27]狄尔泰将其作为人文科学的普遍方法论,并建立了古典阐释学。20世纪60年代,赫希(E.D.Hirsch)在埃德蒙德·胡塞尔(Edmund Husserl)的意向性理论(Intentionalist theory)的基础上提出了文本阐释理论,胡塞尔将意义指定为是由作者意图决定的无言的行为,它永久固定于一系列的代码中,也可以经由同样的代码系统解释。[28]赫希提出的文本阐释理论注重正确地表达文本的意义,他试图寻求一个准则,他认为对文本的阐释不能够完全依赖于读者的主观阐释,因此他试图寻求阐释的准则以消除读者的主观偏见。[29]研究综述法以赫希的文本阐释理论为基础,强调对文献文本的意义进行客观的概述,在使用过程中要求研究者将研究问题与先验的文献文本产生意义关联,最大程度的建构还原文献文本的意义,不能过多对其进行主观解读,具有明显的思辨主义范式取向。

编码是整个研究综述中比较重要的环节,编码过程是否准确可靠直接影响着研究结论的信度。一般而言在编码过程中要注意以下三个方面:

接着,有学生围出图4,这也占2格吗?怎么说明它也占2格?学生自然地采用了图5的方式说明:原来,4格的一半也是2格(倍拼的方法如期而至)!

三、研究综述法的基本步骤

通过对某快递公司在该项业务上所消耗的人员成本情况进行定量分析,发现快递公司是通过投入大量的运力资源,来达到保证即时配送准时送达率的目的。所以,在保证服务时效的同时降低人员成本,从而提高快递公司在该项业务上的收益,是快递公司当前所亟待解决的问题。因此,在满足配送时间窗的条件下,针对快递公司现存问题提出以配送员每次配送的收入最大为目标函数,借此来降低运力的数量,降低人员成本的支出,从而达到提高快递公司收益的目的。假定(1)配送员的配送速度v均为同一定值;(2)配送员每次的配送量不能大于最高要求;(3)配送员每次的配送量不能小于最低要求;(4)配送员在取货点取货所消耗的时间均忽略不计。

图 1研究综述法的主要步骤

(一)文献搜集

研究综述法中的文献搜集强调尽可能全面的搜集某一研究领域的所有研究成果,以便对该领域的研究成果进行概括分析。对于搜集文献的数量并没有做数量上的规定,对于一些新兴领域而言缺乏大量的文献。因此,研究综述法中对某一领域文献检索的数量是否足够的界定为:是否运用了相互补充的检索策略来获取该领域内的所有文献,[34]它更强调检索过程中充分运用检索策略和方法,而不是简单制定量化标准。通过检索过程的分析发现主要有以下三步组成:

不听话归不听话,周小羽对于麻糍来讲,却是受用的。麻糍每天回家时,都会见到周小羽在门口等,黑夜月夜一个样。这个就令麻糍蛮感动的。麻糍说,小羽,你要好好读书,爸爸以后给你买很好看的书。小羽说,我不要书,我只要你早点回来。麻糍说,你以后把等我回家的时间去做你喜欢做的事。

第三,准入和排除标准。设置准入和排除标准时需要将要研究领域的一些概念变量与可观测的研究操作和测量联系起来,研究的背景(如作者、来源等)、参与的样本(如年龄、性别、经济状况等)和结果(如测量手段和测量参数等)都可以是文献准入和排除的标准。[39]当准入和排除标准设定完成后,在具体的操作过程中,首先需要对检索到的文献的摘要和关键词进行筛选,快速删除与设定的标准不符的文献;其次对文献的全文进行阅读进一步筛选;最后整体检查删除重复的文献。如帕特里克(Patrick J.McEwan)在其研究《发展中国家小学学习的改进:随机性实验的元分析》中,将其文献的准入和排除标准设置为:a)世界银行2012年所定义的中低收入的国家;b)在小学范围内进行的,大概一到八年级(或6-14岁,如果没说明年级);c)在学校教育中随机选取的学生进行试验;d)至少包括一项在语言或阅读、数学或任一结果的综合评估中连续测量的学习结果;e)在完整的实验样本中报告了足够的数据来计算实验的效应大小和标准误差。[40]

第二,确定检索策略。在确定能够检索策略之前,需要利用布尔运算(Boolean Syntax Operator)编辑检索式,检索式确定后需要多源搜集数据,包括搜集已发表或未发表的研究成果的穷竭搜索策略(Exhaustive Search Strategy)。[36]穷竭搜索策略也叫暴力搜索,是指在检索前把所有可能性列出来,然后再在其中挑选符合要求的文献。如赞德拉(Zandra)等人在其文献检索过程中首先利用先前学者的文献回顾编制了关键字列表,列出了要搜集文献的所有可能性,然后根据研究内容确认要检索的时间段,在教育资源信息中心中检索同行评议的文章摘要,删除不符合要求的之后获得831篇文献。[37]此外,还有逆向检索策略(Backward Search Strategy),里德和巴克斯特(Reed & Baxter)在其研究中提出了一个深入的研究整合中逆向检索策略的步骤,这种方法主要是通过对研究文献最后列出的相关文献进行检索从而获得该领域的其它相关文献。[38]

第一,确定数据库。研究综述法试图对某一研究领域的所有文献进行分析,全面获取文献的第一步就是确定数据库。在教育研究领域,最常用的四个数据库为:教育资源信息中心(ERIC)、科学网(Web of Science)、教育全文(Education Full Text)、社会科学引文索引(Social Sciences Citation Index)。还有英国教育索引(British Education Index),教育摘要(Education Abstracts),谷歌学术(Google scholar)等。其次,还可以通过在线期刊网址、直接与作者邮件联系、一些学术社交网站等方式获取一些还在进展中或未发表的研究成果,特别是需要关注前瞻性研究记录(Prospective Research Registers),它不仅包括一些已经完成的研究,还包括一些在计划中或进行中的研究[35],能够充分补充数据库之外的文献。

(二)编码

标准化原理是20世纪70年代之后兴起的一种概括标准化活动基本规律和本质的理论,桑德斯(T.R.B.Sanders)的《标准化目的和原理》的出版引发了标准化原理研究的热潮,他总结了标准化活动过程,即制订了实施—修订—再实施标准过程的实践经验,从标准化的目的、作用和方法上提炼出七项原理,并阐明标准化的本质就是有意识的努力达到简化,以减少目前和预防以后的复杂性。[30]标准化原理满足量化研究范式强调的规范性、科学性和可重复性,是量化研究范式下重要的方法论基础。研究综述法以标准化原理为基础,形成了一套严谨规范的操作步骤,如海倍(Haber)等人对医学领域内的研究综述评估提出了24条标准用以指导研究综述法的使用[31],具有明显的实证主义范式取向。

首先,研究者在正式编码之前需要确认编码表,可以将想要研究领域的所有方面都列出来;然后找该领域具有大量研究成果的同行进行修改,进一步讨论从而形成正式的编码表。尽管每一份编码表由于研究领域和研究问题的不同而有所差异,但是一般来说,编码表应该包括以下八部分:研究的基本特征、预设和自变量、研究的背景、样本特征、结果变量及其测量、研究设计的类型、统计结果和效应大小、编码者与编码过程。如凯莉(Kelly Whalon)等人在对其研究中根据研究目的、参与者的数量和年龄、干预、因变量、实施设置和持续时间、研究方法、研究发现七个方面进行编码,并在论文中详细定义了这七方面的内容。[41]

其次,在编码方式上有低推论编码(Low-inference code)和高推论编码(High-inference code)两种方式,低推论编码是指在研究文献中定位编码表中的内容,并将其转移到编码表中;而高推论编码指编码者在编码过程中尝试着推断如何对研究呈现出来的个体进行干预或实验操作的。高推论编码中编码者对该领域的研究较为熟悉,能够通过对文献的阅读做出推论,从而完善编码表中的信息。米勒(Miller)等人表明,高推论编码可以形成有效的判断,并且能够为解释文献和解决争议提供有效的维度。[42]

可是,且慢,我这是要到哪里去?我发现我正潜入一片桂花树的馥郁芬芳之中,停留在桂花树冠上,向一扇罩着粉红色纱幕的窗户张望。窗台是白色大理石材质,上方有镂花的装饰,模仿欧洲洛可可式建筑风格……我意识到这是白丽筠的居所。我为什么要到她这儿来呢?

最后,需要强调的是编码过程并非一个人就能完成的工作,一项研究至少需要两个以上的人同时独立对其进行编码,也就是双重编码(Double coding)。在研究综述法的论文中需要对编码的信度进行报告,一般而言就是对两个及以上的编码者的一致性百分比进行汇报,也可以用一致性系数(Cohen’s kappa)来判断。如在其研究中选取两位编码者同时独立地对其数据资料进行编码,进行对比整合后最终两位编码者达到93.6%的一致性,并且一致性系数为0.67。[43]在统计学中,一致性系数在0.61-0.80之间可判断为高度一致性。除此之外,对编码者进行专业系统的编码训练或请专业的编码者进行编码也能够有效提高编码的信度,如果研究时间充裕也可以采用此方法。

(三)数据分析

上述提及研究综述法中有不同的技术分析手段,本研究仅以其中使用频率最高的元分析技术手段为例对研究综述法中的数据分析环节进行分析,元分析因其在变量编码及统计方面的独特优势受到越来越多人文社科研究领域中学者的重视。研究者运用元分析得出的结论比任何一项原来的研究或非定量的叙述性的综述更准确可信。[44]特别是在强调运用混合研究方法的当今,元分析既能保留叙述性综述研究的价值,也可以融入量化特征,其在文献综述中的重要性越来越凸显出来。国外学者对元分析的操作程序做了详细的论述,如赫奇斯和奥尔金(Hedges &Olkin)于1985年、亨特和施密特(Hunter & Schmidt)于1990年提出的较为复杂的元分析程序,而库珀(Cooper),莱特(Light)和罗森塔尔(Rosenthal)等人提出的程序则相对简单。[45]整体而言,运用元分析对教育研究中研究综述法的数据进行分析主要分为以下几步:

第一,用系统的方式搜集研究的效应大小(Effect size)。关于元分析的文献强调连续变量(例如,测试分数)的影响应以可比较的单位表示,最常见的是效应大小,[46]如果研究中没有报告效应大小,需要检索文章以计算其效应大小,并用图表的形式呈现所获得的效应大小和其分类分组情况,并利用卡方检验来检验其显著性。在元分析中如果差异显著也有可能是由样本大小造成的,因此还应该对效应大小的标准差和均值进行分析。

第二,结合使用表示集中趋势的几种衡量指标来对效应大小进行分析,如中位数、加权和未加权平均值。当几种集中趋势的方法产生不同的结果时,需要探索产生差异的原因。

第三,基于上述表示集中趋势的值建构置信区间,然后检测搜集到的效应大小是否位于置信区间之内。通过加权平均值和未加权平均值建构的置信区间的作用略有差异,前者的缺点在于它不允许对除样本中已有的研究以外的研究进行推广;后者的方法虽然不那么强大,但允许对样本中尚未进行的研究进行推广。[47]

(四)形成结论

结论是研究综述的最后部分,是对整个研究综述的总结,库珀在其研究中指出研究综述中的结论部分与一般论文中的结论部分的功能相同,整体而言主要包括五个部分:第一,结论部分应该综述某一研究领域的主要发现,且论述不应该过长;第二,结论中应该描述重要效应大小的量级及其实质意义,以对研究综述前的预设做出审查和结论;第三,结论中还应该包括对研究数据的缺失数据、调节变量之间的相关性等方面的解释;第四,结论中应该包括对研究发现的普遍性的审查;第五,结论中还应该包括对该领域未来的研究方向的讨论。[48]

参考文献:

[1]劳凯声.人文社会科学研究的问题意识、学理意识和方法意识[J].北京师范大学学报(社会科学版),2009(1):5-15.

[2]Cenci,M.Design-based Research in An Educational Research Context[J].Journal of Contemporary Educational Studies,2014,(1):62-75.

[3][4]姚计海.“文献法”是研究方法吗?——兼谈研究整合法[J].国家教育行政学院学报,2017(7):89-94.

[5]Johnson,B.T.&Eagly,A.H.Quantitative Synthesis of Social Psychological Research.In H.T.Reis,& C.M.Judd (Eds.),Handbook of Research Methods in Social and Personality Psychology[M].New York:Cambridge University Press,2000:496-528.

[6][8]Andrew Booth,Anthea Sutton,Diana Papaioannou.Systematic Approaches to a Successful Literature Review[M].London:Sage Publications Ltd:19,15.

[7]Mulrow,C.D.An Influential Article that Outlines Why Previous Narrative Approaches to Literature Review Might be Considered Unsatisfactory[J].Rationale for Systematic Reviews,1994:597.

[9][10][18][33][34][38][39][46][48]Cooper.Research Synthesis and Meta-analysis[M].Thousand Oaks,CA:Sage,2010:29,30,22,32,104,100,112,195,292.

[11]Mcintyre,D.The Profession of Educational Research[J].British Educational Research Journal,1997(23):127-140.

[12]Jennider Evans,Pauline Benefield.Systematic Reviews of Educational Research:Does the Medical Model fit?[J].British Educational Research Journal,2001(21):527-540.

[13]Elaine Barnett-Page,James Thomas.Methods for the Synthesis of Qualitative Research:A Critical Review[J].BMC Medical Research Methodology,2009(9):59.

[14]Margaret Bearma,M.Smith,CD.,Carbonr,A.,Etal.Systematic Review Methodology in Higher Education[J].Higher Education Research and Development,2012(31):625-640.

[15]Joshua R.Polanin,Brandy R.Maynard & Nathaniel A.Dell.Overviews in Education Research:A Systematic Review and Analysis[J].Review of Educational Research,2017(1):172-203.

[16]Grant,Booth.A Typology of Reviews:An Analysis of 14 Review Types and Associated Methodologies[J].Health Information and Libraries Journal,2009(6):91-108.

[17]Ustun U.,Eryilmaz A.A Research Methodology to Conduct Effective Research Syntheses:Meta-analysis[J].Education and Science,2014(39):1-32.

[19]刘燕楠.教育研究方法论变革:历史突破与理论创新[J].教育研究,2018(05):16-26.

[20]Joanna EM Sale,Lynne H.Lohfeld,Kevin Brazil.Revisiting the Quantitative-aualitative Debate:Implications for Mixed-Methods Research[J].Quality & Quantity,2002(36):43-53.

[21]程岭,王嘉毅.教育研究方法的内在逻辑[J].教育研究,2013(12):18-24.

[22][23]曾继耘,周卫勇.当代教育研究方法论的变革动力与基本取向[J].山东师范大学学报(人文社会科学版),2016(1):140-146.

[24]马长英,谢秀红.建构主义学习理论及其哲学基础[J].江苏高教,2002(5):76-77.

[25]Bryman,A.The Research Questions in Social Research:What is its Role?[J].International Journal of Social Research Methodology,2007(1):5-20.

[26]埃德加·莫兰.复杂性思想导论[M].陈一壮,译.上海:华东师范大学出版社,2008.

[27]洪汉鼎.理解与解释[M].北京:东方出版社,2001:4.

[28]Edmund Husserl.The Idea of Phenomenology[M].Springer Netherlands,1999:33-51.

[29]E.D.Hirsch.Validity in Interpretation[M].New Haven:Yale University Press,1967:31.

[30]桑德斯.标准化的目的和原理[M].北京:科学技术文献出版,1974:7-12.

[31]Haber,SL.,Fairman,KA.,Sclar,DA.Principles in the Evaluation of Systematic Reviews[J].The Journal of Human Pharmacology and Drug Therapy,2015(35):1077-1087.

[32]Bowman,N.A.Effect Sizes and Statistical Methods for Meta-analysis in Higher Education[J].Research in Higher Education,2012(53):375-382.

[35]Berlin,J.A.,Ghersi,D.Preventing Publication Bias:Registers and Prospective Meta-analysis.In H.R.Rothstein,A.J.Sutton,& M.Borenstein(Eds.),Publication Bias in Meta-analysis:Prevention,Assessment and Adjustments[M].West Sussex,UK:John Wiley & Sons,2005:34-48.

[36]Carlton J.Fong.Psychosocial Factors and Community College Student Success:A Meta-Analytic Investigation[J].Review of Educational Research,2017(2):388-424.

[37]Zandra de Araujo,Sarah A.Roberts,Craig Willey,William Zahner.English Learners in K-12 Mathematics Education:A Review of Literature[J].Review of Educational Research,2018(6):879-919.

[40]Patrick J.McEwan.Improving Learning in Primary Schools of Developing Countries:A Meta-Analysis of Randomized Experiments[J].Review of Educational Research,2015(3):353-394.

[41]FengfengKe,Kelly Whalon,Joonmo Yun.Social Skill Interventions for Youth and Adults With Autism Spectrum Disorder:A Systematic Review[J].Review of Educational Research,2018(1):3-42.

[42]Miller,N.,Lee,J.Y.,Garlson,M.The Validity of Inferential Judgement When Used in Theory-testing Meta-analysis[J].Personality and Social Psychology Bulletin,1991(17):335-343.

[43]Srec KoJoksimovic,Oleksandra Poquet,Vitomir Kovanovic,etc.How Do We Model Learning at Scale? A Systematic Review of Research on MOOCs[J].Review of Educational Research,2018(1):43-86.

[44][45][47]R.Rosenthal and M.R.DiMatteo.Meta-analysis:Recent Developments in Quantitative Methods for Literature Reviews[J].Annual Review of Psychology.2001(52):59-82.

收稿日期: 2019-02-11

作者简介: 刘超洋,首都师范大学教育学院博士研究生;陈冲,首都师范大学教育学院博士研究生。(北京/100037)

(责任编辑 赖佳)

标签:;  ;  ;  ;  ;  

国外教育研究综述法的源起、方法论基础和基本步骤论文
下载Doc文档

猜你喜欢