语言测试反拨效应研究亟需厘清的几个基本问题*
四川外国语大学 董曼霞
提 要: 在过去二十多年里语言测试的反拨效应引起了国内研究者的广泛关注,涌现出了大量成果。然而,通过对文献的分析发现,不少研究者对反拨效应的本质、反拨效应的影响因素、反拨效应研究的维度、反拨效应与效度的关系等问题缺乏清楚的认识甚至存在认识上的误区,从而在一定程度上影响了研究方法的科学性和研究结果的信服力。笔者认为有必要厘清有关反拨效应研究的一些基本问题,为欲从事反拨效应研究的相关人员提供参考。
关键词: 反拨效应;反拨效应的性质;反拨效应的影响因素;反拨效应的维度;反拨效应与效度
1.引言
大规模高风险考试对教和学产生影响在教育领域早已达成共识,这种影响在应用语言学领域被称为“washback”,国内学者称其为“反拨效应”、“反拨作用”和“后效作用”。反拨效应是考试后效(consequence)的重要组成部分,也是评判考试质量的标准之一(亓鲁霞,2012)。国际著名语言测试专家 Bachman & Palmer(2010)在其“测评使用论证”模式中把考试后效放在考试开发步骤最重要的位置,并认为考试后效是设计和使用一项考试时应考虑的第一要素。一项考试若产生负面影响,冲击教学,必遭质疑和抨击,这是反拨效应在国内和国际语言教学和测试界备受关注的主因(亓鲁霞,2012)。有关反拨效应的研究可以追溯至上个世纪五、六十年代,但直到八十年代才被教育界作为一种现象受到重视并开始进行研究。Alderson & Wall(1993)发表了题为“反拨效应存在吗?”的文章,文中分析了当时反拨效应研究的现状,并呼吁开展实证研究加以验证,该文被视为反拨效应研究的里程碑。此后,反拨效应得到持续关注,研究成果陆续出现。国内最早进行反拨效应研究始于上个世纪90年代初,此后二十多年里,国内反拨效应研究情况如何?笔者分别以“反拨效应”、“反拨作用”、“后效作用”(1) 后效作用检索出的结果涉及医学、生物、化学、畜牧、语言学等多个学科,笔者通过逐篇审读筛选出与语言测试相关的文献。 为“篇名”和“关键词”在CNKI上进行检索,结果如下:以上述词为“篇名”检索出文献738篇,以上述词为“关键词”检索出文献2 649篇。从文献数量上我们认为反拨效应引起了国内研究者的广泛关注,成果颇丰,形势喜人;再从研究的走势看,反拨效应研究呈逐年增长趋势,尤其在近十年,国内掀起了反拨效应研究的热潮。反拨效应的概念简单明了,似乎是一个人尽皆知的话题,但凡一线教师都能利用自身便利的资源开展此类研究,这也许是引起国内反拨效应研究“繁荣景象”的主要原因。然而,通过对反拨效应文献的分析,笔者发现很多研究者尤其是一些缺乏语言测试背景的一线教师对反拨效应及其相关问题缺乏较清楚的认识甚至存在认识上的误区,使得他们的研究在方法的科学性和结果解释的信服力上受到影响甚至遭到质疑。总体上,通过对文献的分析笔者发现当前反拨效应研究主要存在以下几个方面的问题:
2013年10月21日至22日,全球石膏行业最具影响力的年度盛会“2013年第十三届全球石膏大会”在加拿大多伦多召开。经全球范围票选,北新建材被授予“全球石膏行业杰出贡献奖”。
第一、对反拨效应的本质缺乏较清楚的认识。反拨效应需要实证证据去支持考试对教和学是否产生了影响以及产生了怎样的影响,换句话说,反拨效应研究的本质是实证研究(邹申、董曼霞,2014)。文献分析发现有的文章冠之以反拨效应实证研究之名,却无实证研究之实,基本上是纸上谈兵,坐而论道,谈了一些对考试的感性认识或对学生备考提出了些建议,没有提供任何实证证据,忽略了反拨效应研究的本质特征。
第二、把反拨效应研究简单化和泛化。由于一些研究者对反拨效应的定义缺乏较清楚的认识以及研究过程中忽视了反拨效应现象的复杂性。研究中没有区分哪些变化是由考试引起,哪些是由考试以外因素引起,把教学过程中发生的一切变化都与考试联系起来,从而导致了反拨效应研究的简单化和泛化。国内著名语言测试专家杨惠中教授在2014年第二届外语测试与教学研讨会上强调进行考试反拨作用研究必须明确哪些是由考试引起的,哪些不是由考试引起的,哪些是教学质量不高导致的问题,不能将教学中的所有变化都牵强地与考试联系起来。
第三、缺乏对反拨效应研究维度的清楚界定。反拨效应现象极为复杂,要全面深入地了解这一现象,需要从多个维度进行研究。然而,文献分析表明多数研究会涉及考试对教和学的内容、方式方法、态度等产生的反拨效应影响,鲜有研究对反拨效应研究的维度进行界定并从某一或某些维度去阐释考试的反拨效应影响。
他又捉起来,直到水又搅浑了。可是他等不及了,便解下身上的白铁罐子,把坑里的水舀出去;起初,他发狂一样地舀着,把水溅到自己身上,同时,因为泼出去的水距离太近,水又流到坑里。后来,他就更小心地舀着,尽量让自己冷静一点,虽然他的心跳得很厉害,手在发抖。这样过了半小时,坑里的水差不多舀光了。剩下来的连一杯也不到。
辛迪·谢尔曼(1954),美国摄影师,20世纪70年代后期她开始拍摄自己的影像,她化妆,穿上服装和假发,扮成各种各样的女性人物形象,或者是玛丽莲·梦露、露西尔·鲍尔等名人。她质疑当代媒体如何塑造女性的刻板形象,利用这种装扮游戏中的怪诞和童趣来分析性别和阶级的身份。
2)反拨效应的定义
反拨效应研究反映出的上述问题归根结底是由于研究者对反拨效应的本质、反拨效应现象的复杂性、反拨效应研究的维度、反拨效应与效度之间关系缺乏较清楚的认识所致。为使以后的研究避免类似问题,笔者认为很有必要对反拨效应研究的一些基本问题进行厘清。
2.反拨效应的本质
要理解反拨效应的本质,需弄清楚反拨效应的起源和定义。
2)令为各评价指标的最优值,其中若j为正指标,则越大越好;若j为负指标表示越小越好。xij相对于的接近度用矩阵Dij表示,并对其进行归一化处理,得d=(dij)n×m。
2)个人因素
有关反拨效应的起源目前主要有三种观点:
由于反拨效应的复杂性,要全面认识反拨效应现象,需从多个维度进行研究。对反拨效应研究维度描述较全面且具影响力的是Watanabe(2004)提出的五个维度:特定性、意图、长度、强度和性质。
第一种观点认为反拨效应源于考试被赋予了多重功能以及考试的社会权重。一般情况下,在学校考试被用来诊断教与学中的问题或评价教与学的效果,然而在一些教育体制和教育背景中,考试还有着其它功能,当考试有着多重功能时,考试的影响力就会增强(Qi,2004)。高风险考试通常具有以下功能,如在社会范围内选拔人才、分配高等教育中稀缺的资源、检测和改进学校教学的有效性、限制课程的差异等(Wall,2005)。考试的多重功能必然会增强考试的影响力,这种影响力会渗透到社会生活众多领域,在教育背景下这种影响力会深入到课堂从而导致反拨效应的产生。反拨效应还源于考试的重要性(Madaus,1988),即考试的社会权重。考试的社会权重指考试结果对考生或考试相关人员所产生的重大影响。
通过对反拨效应的起源和定义的回顾,我们对反拨效应的本质有了更清楚的认识,反拨效应的产生基于考试的多重目的、测评驱动下的改革以及对语言能力性质认识的改变。反拨效应被定义为考试对相应的教和学产生的影响。考试对教学是否产生影响以及产生了什么样的影响,不能依据研究者的主张或主观臆断,而是基于实证证据支持,换句话说,反拨效应研究的实质是实证研究。此外,需要注意的是只有那些由考试带来的教和学中的影响或变化才能称其为考试的反拨效应,不可把教和学中的一切变化都归结为由考试引起。对反拨效应的定义缺乏较清楚的认识是导致反拨效应研究陷入简单化和泛化的原因之一。
第三种观点认为反拨效应的概念和研究源于语言测试的近期发展。语言测试的近期发展源于人们对语言能力性质认识的改变。语言能力性质已由Oller提出的“能力单一性假设”转变为人们普遍接受的“语言能力多成分”的观点。Bachman(1990)提出的交际语言能力模式包括语言能力、策略能力和心理生理机制,全面描述了语言能力的性质和组成部分。语言能力性质认识上的变化必然会引起考试方法和考试分数解释的变化。语言考试分数不再简单地解释为某种语言能力的表征,因为除考生语言能力水平外,还有很多因素如考试任务特征、考生特征、考试方法等都会影响对分数的解释和推测,而且这些因素的交互影响使得对考试分数的解释变得更加困难。因此,对考试的研究从关注考试分数转向到对考试影响的研究。
第四、对反拨效应与效度之间的关系混淆不清。对反拨效应与效度之间关系持何观点将影响反拨效应的研究设计以及研究结果的解释。文献分析表明国内许多从事反拨效应实证研究的人员对二者之间的关系不甚了解或混淆不清,导致反拨效应研究结果解释偏颇,研究结论的信服力受到一定影响。
事实证明,日常多行善,出门总会遇到贵人。在当天晚上以火锅补充了体力之后,我遇到的贵人就是旅店的老板。这位生在广东梅州的客家人在河北和内蒙接壤的草原上已经享受了多年由越野车带来的乐趣,他车库里两辆伤痕累累的丰田兰德酷路泽似乎也在暗示着他在这里的丰富阅历。出于对全新AMG G 63的好奇,他主动提出成为我们的向导,我们所要付出的代价不过是摄影师在必要时指导他如何拍下一组美丽的雪景而已。
1)特定性
第二种观点认为在教育领域里进行的测评驱动下的改革是促成人们关注考试反拨效应的另一重要原因。Cheng & Curtis(2004)认为考试对教和学的影响植根于测评驱动教和学(measurement-driven instruction,简称MDI)的理念。MDI是上个世纪80年代由Popham,Cruse Rankin等人提出的新理念,其基本假设是高风险考试只要设计和实施得当便能促进有效的教和学。该理念进一步推动了人们去关注考试对教和学的影响,有关反拨效应的概念以及相关研究也就由此展开。
3.影响反拨效应形成的因素
20世纪90年代反拨效应研究主要关注反拨效应是否存在,如存在,其反拨效应呈正面还是负面。随着反拨效应研究不断推进,研究者们发现反拨效应作为一种现象不但存在,还极为复杂,其复杂性表现在牵涉的考试相关人员众多,如学生、教师、行政管理人员、家长、教材出版商等,而且影响反拨效应形成的因素纷繁,涉及考试因素、个人因素、环境因素等。
一些研究者对影响反拨效应形成的因素进行了总结。Watanabe(2004)把影响考试反拨效应的因素分为考试因素、声望因素、个人因素、微观环境因素、宏观环境因素。该分类方法虽较全面但不够系统,如声望因素与考试因素之间有重合,微观环境因素和宏观环境因素可以统一归属为环境因素。Shi(2007)把影响学生英语学习的因素归为外部因素、内部因素和考试因素,其划分简练,不过在一些因素的划分上显得有些模糊甚至零乱,如外部因素下的个人因素与内部因素下的个体相关因素之间比较模糊且容易混淆。刘晓华和辜向东(2013)将影响反拨效应形成的因素总结为考试因素、个体因素和环境因素,与Watanabe(2004)和Shi(2007)的划分方法相比显得更为清楚简练。因此,笔者参考了刘晓华和辜向东(2013)的划分方法对影响反拨效应的因素进行了以下总结:
1)考试因素
考试因素是影响考试反拨效应最直接的因素。与考试有关的因素包括:考试的风险程度、考试的重要性、考试目的、所测语言的地位、所测技能、考试性质、考试难度、考试内容、考试设计、考试形式、考试方法等等(Watanabe,2004;Cheng,2005;Green,2007;Shi,2007;邹申、徐倩,2014)。
1)反拨效应的起源
研究表明个人因素也是促成反拨效应产生的重要因素。个人因素中涉及教师、学生和其他相关人员。Xie(2010)曾指出课堂环境下解释反拨效应影响最重要的个人因素是教师因素和学生因素。几乎所有反拨效应研究发现,教师是个人因素的关键(Spratt,2005)。与教师有关的因素包括教师对考试的态度、教师的教育背景、教师信念、教学经历、教学方法、教学风格、教龄长短等(Qi,2004;Watanabe,2004;Cheng,2005; Gu,2007;邹申、徐倩,2014)。学生因素包括学生语言能力水平、考试经历、对考试的认识、对考试的焦虑程度等(Ferman,2004;辜向东等,2014)。其它个人因素包括父母、教材编写人员、出版商、政策制定者或决策者他们对考试的信念、态度和认识等(Cheng,et.al. ,2011等)。
注浆泵选用最大注浆压力20 MPa以上,排浆量为 50~300 L/min,性能稳定、操作方便的高压注浆泵。注浆作业于成桩3天后开始。
3)环境因素
研究还表明反拨效应对环境因素很敏感,容易受环境因素的影响(Shi,2007)。环境因素包括课堂环境、学校文化、学校氛围、学校管理、学习传统、教育传统、对语言学习环境的态度、对考试公平性的评判、考试使用的社会环境和社会价值等(Watanabe,2004;Davison,2007)。
以上因素不是彼此孤立,而是互相交织共同作用使得反拨效应现象纷繁复杂。研究过程中忽视反拨效应现象的复杂性必然会导致研究的简单化和泛化。此外,一项考试所产生的反拨效应影响有的显而易见,表现为明显的应试行为,被称为“显性反拨效应”(overt washback),有的融入日常教学活动中难以甄别,被称为“隐性反拨效应”(Prodromou,1995)。一些研究者在研究过程中或忽略了隐性反拨效应影响,或把教学中所有变化归结为反拨效应,这是导致反拨效应研究泛化的另一原因。因此,研究人员应充分意识到反拨效应现象的复杂性,仔细甄别显性和隐性尤其是隐性反拨效应,切不可将反拨效应现象简单化和泛化。判别一项考试是否产生了反拨效应影响以及产生了怎样的影响,研究时除采用问卷、课堂观察等方式收集数据外,最好对涉考者(stakeholders)进行访谈,了解他们在教和学中的一些行为是由考试引起还是其它因素引起,不能以研究者对数据的主观判断代替涉考者的看法。
4.反拨效应研究的维度
5.6.3 屈肘功能锻炼 术后4~6周嘱患者自然下垂患肩,健侧手掌托着患肢前段,将肘关节上举屈曲至110°,必须在深吸气的同时上抬患肢前臂至屈肘位,开始时每天早晚训练20次,每天锻炼2次,以后逐渐增多,直到每天能达数千次。主要作用是加强膈神经对肌皮神经的支配,锻炼肱二头肌随呼吸作屈肘动作,由练习摸嘴、摸颈到后来的摸腰部,逐步过渡到自主屈肘锻炼。对尚未开始训练的关节严格制动。
对反拨效应起源的回顾增强了我们对反拨效应现象的认识,那么究竟什么是反拨效应?Pearson(1988:98)认为“公共考试影响教师、学习者和父母的态度、行为和动机,并且考试经常会在课程结束后进行,其方向朝后,因此叫反拨效应”。Hughes(1989:1)简要地概括为“考试对教和学的影响就被称为反拨效应”。尽管很多学者对反拨效应现象进行了各种描述,但第一个对反拨效应进行正式定义的是Alderson & Wall,他们将反拨效应定义为“考试影响教师和学生去做因为有考试才会去做的事”(1993:117)。这意味着如果没有考试,教师和学生就不会去做那些或促进或阻碍他们语言学习的事。
反拨效应分为普遍反拨效应和特定反拨效应。普遍反拨效应指的是“任何考试都会产生的反拨效应”(Watanabe,2004:20),如考试会激发学生学习更加努力,同时也会引起相应的备考活动等。特定反拨效应(即反拨效应的特定性)指“仅针对某具体考试或考试某一方面所带来的影响”(Watanabe,2004:20),如一项考试新增加题型会对教和学产生特定的反拨效应。
2)意图
[83] James Crawford and Donald R. Rothwell, The Law of the Sea in the Asian Pacific Region, Leiden: Martinus Nijhoff Publishers, 1995, pp. 237-242; 赵骏:《全球治理视野下的国际法治与国内法治》,《中国社会科学》2014年第10期,第84-86页。
Watanabe(2004)把反拨效应的意图分为期望反拨效应和期望外反拨效应。期望反拨效应通常指考试设计者或教育主管部门所期望的反拨效应,而期望外反拨效应指的是超出考试设计者或教育主管部门期望的反拨效应。Cheng & Curtis(2004:21)指出“命题人不会希望考试带来负面的反拨效应,期望反拨效应通常与正面反拨效应联系起来,期望外反拨效应既可能是正面反拨效应也可能是负面反拨效应”。在整个考试历史中期望反拨效应一直是考试设计者或决策者追求的目标。研究表明考试设计者或决策层的预期目的并不一定能够实现(Cheng,2005),这既可能与考试自身在功能上的矛盾有关,还与考试参与者对考试目的、考试设计者意图的解读有关(Qi,2004)。
3)长度
4.信息与沟通。及时掌握和传递执行内控、行使职责过程中所需的相关信息,有助于提高内控执行的效率和质量。我党和政府近年来致力于减少信息的不对称,以改革创新精神深化政务公开工作,推行行政决策公开、推进行政权力公开透明运行、加大行政审批公开力度、深入实施政府信息公开条例、着力深化基层政务公开、加强行政机关内部事务公开,逐渐形成了良好的信息沟通系统。
Watanabe(2004)提出了与时间相关的反拨效应维度,即长度,指考试影响所延续的时间。根据Watanabe(2004),反拨效应可以分为短期和长期的反拨效应。如果入学考试的影响只在备考时存在,入学后影响就消失,就称为短期反拨效应。长期的反拨效应是指考试结束后,其影响仍然存在。笔者认为反拨效应的长度还可以界定为考试对教和学影响持续时间的长短。考试风险程度不同,其反拨效应持续时间也会不同,有的考试反拨效应仅持续一两周,有的持续数月甚至几年。
4)强度
要推动全面清理不利于民营企业发展的法律法规和规范性文件。统筹协调正在开展的相关法律法规清理工作,推动在2018年年底前集中清理现行法律法规和规范性文件中有悖于平等保护原则、不利于民营经济发展的相关内容,打破各种“卷帘门”“玻璃门”“旋转门”。进一步加强法规规章备案审查,及时纠正有悖于保护民营经济的法规规章规定,积极为民营企业发展提供平等法治保障。
Cheng & Curtis(2004:13)提出“反拨效应的强度是指考试所带来的反拨效应在教学某一或某些领域强弱的程度”。Watanabe(2004:20)认为“如果一项考试有很强的影响,它会决定课堂上发生的一切,并使所有的老师以同样的方式针对考试进行教学;如果一项考试有弱的影响,它只影响课堂部分活动或部分老师”。为什么有的考试反拨效应强而有的考试反拨效应弱?Alderson(2004)指出对个人和机构产生重要后果的高风险考试比低风险考试有更强的反拨效应影响。说明反拨效应的强度与考试风险程度有关。根据Green(2007)融合强度和方向反拨效应模型,亓鲁霞(2011:25)指出“反拨效应的强度与涉考者对考试的重要性和难度的认识有关,考试越重要(或风险度越高)反拨效应就越强,但考试的难度与反拨效应的强度不成正比,过难或过易的考试都不会导致高强度反拨效应,唯有那些考生认为具有挑战性且能够通过训练提高成绩的考试,才会引发高强度的反拨效应”。
5)性质
反拨效应的性质也称方向,指反拨效应是正面的还是负面的(Watanabe,2004)。Hughes(1989)把反拨效应定义为考试对教和学的影响,并认为考试对教学会产生有益的或有害的影响,即正面或负面的影响。考试尤其是高风险考试反拨效应的性质一直争议不断。有的认为此类考试能带来正面的反拨效应,有的认为带来了负面的反拨效应,但越来越多的研究者承认反拨效应的双重性,认为反拨效应既有害的一面也有利的一面。判断一项考试产生了正面还是负面的影响,主要取决于具体环境下进行该项研究的研究人员、研究地点、研究时间、研究原因以及研究方式(Cheng & Curtis,2004)。这意味着反拨效应的性质属于价值判断,即使针对同一现象也可能得出不同的结论。
Watanabe提出的反拨效应研究维度有助于我们更全面深入理解反拨效应现象并为我们开展反拨效应实证研究提供了操作指南。在五个维度中,最受关注也最重要的是反拨效应的性质。亓鲁霞(2011:24)指出“研究一个考试的反拨效应,划分正面效应和负面效应是一种价值判断,判断的标准至关重要,但多数学者在讨论此问题时没有明确阐述所用标准”。除了反拨效应的性质,讨论较多的还有反拨效应的强度。反拨效应的强度指考试影响的强弱程度。影响反拨效应强度的因素很多,如考试风险程度、涉考者对考试的认识、距离考试时间的长短等。一般而言,考试风险程度越高,涉考者认为考试越重要,越临近考试,影响程度越强,体现为备考活动更加频繁,备考时间增加等。反拨效应的特定性是相对普遍性而言,研究时需要与普遍性相比较方可获悉某考试和考试某方面所产生的特定反拨效应。对反拨效应的意图进行研究可以了解考试带来了期望反拨效应还是期望外反拨效应,还可作为评判考试反拨效应性质的依据。反拨效应的长度指一项考试影响持续时间的长短,对此维度进行研究需要进行长时间的观察和追踪。文献显示现有的反拨效应研究多是共时的、静态的、点状的研究,极少有研究追踪考试影响时间的长短。总之,在反拨效应研究的五个维度中,对性质和强度讨论较多,对特定性、意图和长度探讨较少。研究反拨效应的特定性需要与普遍性相比较,研究过程相对复杂;研究反拨效应的意图需要对考试命题人员进行调查,获取此类数据有一定难度;探究反拨效应的长度一般需要进行较长时间的观察和追踪,对研究者在时间、精力投入方面提出了较高要求。也许正是这些原因,导致国内甚至国际反拨效应研究对特定性、意图、长度关注很少。对反拨效应维度进行界定是深入开展研究的前提(亓鲁霞,2011)。因此,在进行反拨效应研究前应根据研究需要对研究的维度进行清楚的界定,并尽量从多个维度着手全面深入地探究考试反拨效应现象。
5.反拨效应与效度的关系
开展反拨效应研究离不开对反拨效应与考试效度关系的探讨。厘清二者之间的关系有助于更好理解和实施反拨效应研究。学界关于反拨效应与效度的关系主要有三种观点。
第一种观点认为考试的反拨效应与效度密切相关,把反拨效应作为评判考试效度的重要依据。自20世纪80年代起,一些研究者提出一项考试的效度应该由考试对教和学影响的程度来评判(Morrow,1986)。Morrow甚至还专门杜撰了一个术语“反拨效度”来指代考试与教学之间关系的质量。这个概念蕴含了此意:“有正面反拨效应的考试就有效;相反,有负面反拨效应的考试就无效”(Morrow,1986:6)。Morrow还指出:“(对这些考试)我提出的第一个效度标准是考试的期望反拨效应在实际情况下实现的程度”(p.6)。Frederiksen & Collins(1989)提出了“系统效度”的概念,把反拨效应与考试效度联系起来,其主要观点是如果一个考试不能促成期望反拨效应,也就没有系统效度。Messick(1989,1996)认为反拨效应是考试构念效度不可分割的一部分,强调命题设计者在设计考试时,必须考虑到考试可能产生的影响,尤其是负面的影响。
第二种观点认为考试反拨效应与效度没有必然的直接联系。Alderson & Wall(1993)指出反拨效应是一种复杂的现象,它不可能与考试的效度直接联系起来。后来就连Messick本人也承认反拨效应的复杂性,建议“不是把反拨效应看作考试效度的一个符号,而是把效度作为反拨效应可能的依据”(1996:252)。Davis(1997)也持同样的观点,他认为后果效度显然是一个开放式的问题,考试人员不可能考虑到所有可能的社会后果。Ferman(2004)质疑道,由于效度不是考试本身的属性,而是考试分数意义的解释,因此很难看出二者之间的直接关系。关于反拨效应与效度的关系,亓鲁霞(2011)表示她完全赞同将反拨效应作为衡量语言考试工作最重要的指标,但不赞成将反拨效应纳入考试效度。她认为用效度概括反拨效应易使问题简单化,误导考试使用者,以为考试对教学能起决定性作用,考试搞好了,教学也会跟着好转。实际情况是,考试对教学影响的大小和好坏,不全由考试决定,社会上和教学中的诸多因素与考试会发生交互作用,产生不同程度、不同性质的反拨效应,这点已被研究所证实(亓鲁霞,2011)。一项考试没有产生期望的反拨效应并不必归结于考试缺乏效度,因为除考试本身外,在社会、教育、学校等环境下的外力也会阻止反拨效应的发生,或者影响反拨效应的性质,即便考试具有交际性。好的考试不一定能产生积极的后效作用,产生消极后效作用的考试不一定质量就不好(Shohamy,2001)。
(2) WIFI指纹定位被称为位置指纹是因为各位置点的WIFI信号被认为是唯一的,通过比对“指纹”可更精准地定位目标位置。定位方式的优点是定位准确,准确率可在1 m范围内,只需连入商圈WIFI即可定位,不受室内环境的影响;缺点是需手机连入WIFI网络,对于部分需认证用户的WIFI网络,在连入过程中需进行密码验证。
第三种观点是在承认反拨效应与效度差别的同时也肯定二者之间的紧密联系。如陈晓扣(2016)认为反拨效应和效度的定义、研究对象和范畴不尽相同,故不赞成把反拨效应作为效度的一部分。但他认为这两者有着紧密的联系,因为促成反拨效应产生的主要因素之一的考试因素所涉及的考试方法、考试内容、试题编写和评分方法也是效度研究的重点。他提出反拨效应研究对提高效度起着积极的、不可忽视的反哺作用。
通过对文献的回顾我们发现,从上个世纪80年代到90年代初研究者们认为反拨效应与效度紧密相关,甚至将反拨效应作为评判考试效度的依据。随着研究的推进,人们对反拨效应现象有了更深的认识,意识到反拨效应现象的复杂性,认为反拨效应与效度之间没有必然的直接联系,故不赞成把反拨效应作为考试效度的一部分。最近有研究者对二者关系持综合的观点,既肯定二者之间的紧密联系,也否定片面的将反拨效应视为效度的一部分。通过对现有文献的分析,笔者发现有的研究者对二者关系避而不谈(也许有的研究者并不知道二者之间存在关系),有的对二者关系混淆不清。进行反拨效应研究前,研究者需要明确二者之间的关系并阐明自己的观点。研究者对二者关系持何观点直接影响研究设计和研究结果的解释。如果研究者认为反拨效应与效度之间没有必然联系,研究设计时就不必把考试效度作为考虑因素,研究结果解释时也不必谈及考试的效度;但如果研究者认为考试的反拨效应与效度密切相关,那么无论在研究设计还是研究结果的解释时都需要将效度纳入考虑和分析范围。
6.结语
反拨效应是语言测试研究二十多年来最为关注的话题。考试尤其是高风险考试对教和学产生影响,许多一线教师对此有深切感受。考试的反拨效应几乎被一些一线教师认为是常识性的话题,进行此类研究似乎不需要太深的理论知识,只需要参照其他研究的做法,换一批调查对象或者研究不同的考试即可,有的甚至没有进行实证研究。由于一些研究者对反拨效应缺乏较清楚的认识从而导致了本文前面所提到的当前国内反拨效应研究所存在的一些问题。鉴于此,本文对有关反拨效应的起源、定义、影响因素、研究维度、反拨效应与效度的关系等问题进行了厘清,试图增强人们对反拨效应的认识,从而希望在一定程度上可以减少或者避免反拨效应研究的上述问题。
此外,要全面深入理解反拨效应现象及其形成机制,使研究更具科学性和说服力,未来的反拨效应研究还应注意以下几点:
第一,对反拨效应形成的认识上。现有文献表明绝大多数研究者对反拨效应形成的认识体现了明显的行为主义心理学倾向,即把反拨效应的形成理解为考试对涉考者心理和行为刺激做出的反应。这种认识忽略了涉考者作为有思想有意识的行为个体,他们对考试的认识或观念在反拨效应形成过程中的调节作用。在未来的反拨效应研究中研究者应该从认知心理学视角去认识反拨效应现象,重视涉考者的意识和观念在反拨效应形成过程中的调节作用,从而对反拨效应现象及其形成机制做出更科学合理的解释。第二,研究视角上。反拨效应作为一种社会现象纷繁复杂,其产生不但与考试本身有关,还与个体特征、学校管理、教育背景、社会环境等因素有关,而且这些因素互相交织。要全面深入理解反拨效应现象,仅从应用语言学视角难以实现。未来的反拨效应研究可考虑运用其它学科理论知识或从其它学科视角对反拨效应现象及其形成机制进行探究。第三,研究方式上。反拨效应具有滞后性和动态性特点,要深入了解考试对教和学影响的变化规律及其形成机制需要进行追踪研究。而现有的反拨效应研究绝大多数属于横断的静态的研究,少数研究者对不同被试进行了历时研究,针对相同被试进行历时追踪研究极其罕见。虽然追踪研究在时间、人力、物力、财力上的投入很大,但是追踪研究有着横断研究不可比拟的优势,能了解事物变化发展的规律,能推论变量之间的因果关系,是反拨效应研究较为理想的研究方式。
对60例患者的门脉主干栓塞程度进行区分,并对其侧支循环开放情况进行观察。同时,对门脉栓塞患者的CT表现进行分析。
参考文献
Alderson, J.C.2004.“Foreword”.In L.Y.Cheng, Y.Watanabe & A.Curtis (Eds.).Washback in Language Testing :Research Contexts and Methods (pp.ix-xii).Mahwah, NJ:Lawrence Erlbaum Associates.
Alderson, J.& D.Wall.1993.“Does washback exist?”.Applied Linguistics 14.pp115-129.
Bachman, L.F.1990.Fundamental Considerations in Language Testing .Oxford:Oxford University Press.
Bachman, L.F.& A.S.Palmer.2010.Language Assessment in Practice :Developing Language Assessments and Justifying Their Use in the Real World .Oxford:Oxford University Press.
Cheng, L.2005.Changing Language Teaching through Language Testing :A Washback Study. Cambridge:Cambridge University Press.
Cheng, L.& A.Curtis.2004.“Washback or backwash:A review of the impact of testing on teaching and learning”.In L.Y.Cheng, Y.Watanabe & A.Curtis (Eds.).Washback in Language Testing :Research Contexts and Methods (pp3-17).New Jersey:Lawrence Erlbaum Associates.
Cheng, L., S.Andrews & Y.Yu.2011.“Impact and consequences of school-based assessment (SBA):Students’and parents’views of SBA in Hong Kong”.Language Testing 28.pp 221-249.
Davies, A.1997.“Demands of being professional in language testing”.Language Testing 14.pp 328-339.
Davison, C.2007.“Views from the chalk face:English language school-based assessment in Hong Kong”.Language Assessment Quarterly 4.pp37-68.
Ferman, I.2004.“The Washback of an EFL national oral matriculation test to teaching and Learning”.In L.Y.Cheng, Y.Watanabe & A.Curtis (Eds.).Washback in Language Testing :Research Contexts and Methods (pp191- 210).New Jersey:Lawrence Erlbaum Associates.
Fredericksen, J.& A.Collins.1989.“A systems approach to educational testing”.Educational Researcher 18.pp27-32.
Green, A.2007.IELTS Washback in Context :Preparation for Academic Writing in Higher Education .Cambridge:Cambridge University Press.
Gu, X.2007.Positive or Negative ?—An Empirical Study of CET Washback .Chongqing:Chongqing University Press.
Hughes, A.1989.Testing for Language Teachers .Cambridge:Cambridge University Press.
Madaus, G.F.1988.“The influence of testing on the curriculum”.In L.Tanner (ed.).Critical Issues in Curriculum :Eighty -seventh Yearbook of the National Society for the Study of Education (pp83-121).Chicago:University of Chicago Press.
Messick, S.1989.“Validity”.In Linn RL(ed.).Educational Measurement (pp13-103).New York:Macmillan.
Messick, S.1996.“Validity and washback in language testing”.Language Testing 13.pp241-265.
Morrow, K.1986.“The evaluation of tests of communicative performance”.In M.Portal (ed.).Innovations in Language Testing (pp1-13).London:NEFR/Nelson.
Prodromou, L.1995.“The backwash effect:from testing to teaching”.ELT Journal 49.pp13-25.
Pearson, I.1988.“Tests as levers for change”.In D.Chamberlain & R.Baumgardner (Eds.).ESP in the Classroom :Practice and Evaluation (pp98-107).Oxford:Modern English Publications.
Qi, L.2004.The Intended Washback Effect of the National Matriculation English Test in China :Intentions and Reality .Beijing:Foreign Language Teaching and Research Press.
Shih, C.2007.“A new washback model of students’learning”.The Canadian Modern Language Review 64.pp135-162.
Shohamy, E.2001.The Power of Tests :A Critical Perspective of the Uses of Language Tests .London:Pearson Education.
Spratt, M.2005.“Washback and the classroom:the implications for teaching and learning of studies of washback from exams”.Language Teaching Research 9.pp5-29.
Wall, D.2005.The Impact of High -stakes Examination on Classroom Teaching :A Case Study Using Insights from Testing and Innovation Theory .Cambridge:Cambridge University Press.
Watanabe, Y.2004.“Methodology in washback studies”.In L.Cheng, Y.Watanabe & A.Curtis (Eds.).Washback in Language Testing :Research Contexts and Methods (pp19-36).New Jersey:Lawrence Erlbaum Associates.
Xie, Q.2010.Test design and use ,preparation ,and performance :A structural equation modeling study of consequential validity .Unpublished PhD thesis. The University of Hong Kong.
陈晓扣,2016,论语言测试反拨效应研究对效度研究的反哺作用,《外语测试与教学》第1期。
刘晓华、辜向东,2013,国内外反拨效应实证研究二十年回顾,《外语测试与教学》第1期。
辜向东、张正川、刘晓华,2014,改革后的 CET 对学生课外英语学习过程的反拨效应实证研究——基于学生的学习日志,《解放军外国语学院学报》第 5 期。
亓鲁霞,2011,语言测试的反拨效应理论与实证研究,《外语教学理论与实践》第4期。
亓鲁霞,2012,语言测试反拨效应的近期研究与未来展望,《现代外语》第2期。
邹申、董曼霞,2014,国内反拨效应研究20年:现状与思考,《中国外语》第4期。
邹申、徐倩,2014,标准参照考试及其反拨效应——以 TEM 考试为例,《外语教学理论与实践》第1期。
Some basic issues needed to clarify in washback studies
by DONG Manxia
Abstract :Over the past two decades, washback has attracted wide attention from researchers in China and the number of studies on washback has increased considerably.However, it is found through literature review that some researchers have less clear understanding and even misunderstanding of the nature of washback, the factors contributing to washback, dimensions of washback, as well as the relationship between washback and validity.As a result, it reduces the scientificness of research and makes the research results less convincing to some extent.The author suggests that it is necessary to clarify the basic issues of washback studies with the purpose of providing advice for future washback studies.
Keywords :washback; nature of washback; factors contributing to washback; dimensions of washback; washback and validity
*本文为国家教育考试科研规划2017年度课题“高考英语考试对高中生英语学习反拨效应的追踪研究”(课题编号:GJK2017048)的成果之一。
(通讯地址: 400031 重庆市沙坪坝区壮志路33号四川外国语大学商务英语学院西区行政楼B栋6-2)
(文字编校: 徐 江)
标签:反拨效应论文; 反拨效应的性质论文; 反拨效应的影响因素论文; 反拨效应的维度论文; 反拨效应与效度论文; 四川外国语大学论文;