基于Coh-metrix 探测学习材料复杂度对测试效应的影响
刘丹丹 郑 童
【摘 要】 介绍测试效应的概念和典型研究范式、学习材料复杂度及其与测试效应的关系。在回顾、总结前人有关学习材料复杂度对测试效应的影响研究的基础上，采用Coh-metrix 计算机文本分析工具对测试效应中的文本进行分析，探究在复杂学习材料中是否存在测试效应。研究结果表明，测试效应在复杂学习材料中依然存在，但有时会受到提取方式的影响，因此还需要更多的研究来进一步验证。
【关键词】 Coh-metrix；学习材料复杂度；测试效应；参考内聚性
一、测试效应
记忆的过程包括对信息的编码、储存和提取。长期以来，学习的过程被看作是对信息材料的编码过程，而提取本身仅仅被当作是一种评估学习效果的手段，其对学习效果的保持功能却没有受到重视。近年来，大量的研究表明相对于同等时间的学习（这里指重复学习），提取可以产生更好的学习效果，这被称为测试效应或提取练习效应（Roediger&Karpicke 2006；Karpicke&Blunt 2011）。
测试效应的典型研究范式分为三个阶段：（1）学习阶段，受试者对学习材料进行学习；（2）练习阶段，受试者对学习材料进行提取练习或者学习；（3）最终测试阶段，对受试者的记忆效果进行评估。如果在最终测试阶段测试组的表现优于学习组，就被认为产生了测试效应（Roediger&Karpicke 2006）。研究者从不同的角度对测试效应进行了研究，结果发现测试效应存在于不同的年龄阶段、不同类型的学习材料、不同的记忆时间间隔、不同的测试类型中，由此可见测试效应存在的广泛性（张锦坤、白学军，等2008）。虽然大量研究证实了测试效应存在于不同类型的学习材料中，但是测试效应是否会受到学习材料复杂度的影响还存在争议。词汇这类简单学习材料中的测试效应已经被广泛证实，但是有研究发现测试效应在复杂学习材料如文本中会减弱甚至消失（Van Gog&Sweller 2015）。因此，本文在总结前人研究的基础上对有关学习材料复杂度的测试效应研究作了总结与分析，并运用Coh-metrix计算机文本分析工具测量学习材料复杂度，旨在分析测试效应是否受学习材料复杂度的影响，希望对未来研究有所启示。
2.放养准备。认真进行池塘整理，去除过多淤泥、平整池底，在池塘坡底四周挖沟，利于早期虾苗培育和成虾捕获。在养殖水体设置埋入土下0.2m、上露0.5m内壁光滑的石棉瓦做防逃措施，尤其在暴雨洪涝时期防止冲垮池埂、漫坝引发逃虾。建好进排水系统。保持池水深0.8～1.5m，中间水深，四周有浅滩，水草丰富。
二、学习材料复杂度与测试效应
学习材料复杂度这一概念源于斯威勒（Sweller，1988）的认知负荷理论（Cognitive Load Theory）。根据认知负荷理论，学习材料复杂度会对内在认知负荷（Intrinsic Cognitive Load）造成一定的影响。内在认知负荷是由学习材料信息成分之间的互动性强度所决定的（Sweller 1988）。如果学习材料信息成分的互动性较强，理解一个成分就需要和其他成分紧密相连，因此对学习者造成的认知负荷也相对较高。相反，如果学习材料信息成分的互动性较弱，一个成分可以不用和其他成分相互联系就能被学习到，因此会对学习者造成较低的内在认知负荷。例如，在学习词汇时，一个单词也许不需要和其他单词相互联系就可以被习得；而在文本学习时，由于文本中的信息成分元素较多，元素之间的互动性较强，所以学习者工作记忆所需同时处理的信息也较多，这就可能会对学习者造成较高的认知负荷，从而影响学习效果。
已有的测试效应的相关研究大都以简单的学习材料如单词列、单词对为学习材料，这类学习被认为是简单的学习材料。简单学习材料中的测试效应已被广泛证实（Karpicke&Blunt 2011）。而文本类学习材料需要将不同信息成分之间互相联系起来，才能理解彼此的关系，所以被认为是相对复杂的学习材料。然而，已有的研究对于复杂的学习材料中是否存在测试效应仍存在一定的争议。有研究表明，在复杂学习材料中，测试效应会减弱甚至消失（De Jonge&Tabbers，et al. 2015；Van Gog&Sweller 2015）。德扬和塔伯斯（De Jonge&Tabbers，et al.2015）以复杂的科学文本材料进行了研究，在实验1 中，在受试者对文本进行了初始学习后，一半受试者进行重复学习，另一半受试者进行填空题测试（呈现文章，但是每个句子中省略了部分单词）。在最终测试阶段，每个组中的一半受试者在5 分钟后参加最终测试（同样的填空题测试），每个组中的另一半受试者进行一周后的延迟测试，但是，无论是5 分钟后还是一周后的测试，都没有发现测试优于重复学习的学习效果。然而在实验2 中，实验过程和实验材料与实验1 相同，唯一不同的是打乱了文本的句子顺序，结果发现测试比重复学习产生了更好的记忆保持效果，这是因为句子被打乱之后，不同信息元素之间的互动性减少，从而降低了材料复杂度，所以一周后的测试结果反而出现了测试效应，因此他们认为测试效应也许并不存在于复杂学习材料中。德扬和塔伯斯等人的研究也被范戈和斯威勒（Van Gog&Sweller，2015）的综述研究所采用以支撑他们的结论——测试效应对复杂学习材料会减弱甚至消失。然而Chan（2009）等人的研究中采用了与德扬和塔伯斯等人相似的研究设计——让一部分学习者学习了正常语序的文本，另一部分学习者学习了打乱顺序的文本，但是在一周后的测试中发现，无论是复杂学习材料还是简单学习材料，受试都存在显著的测试效应。还有一些研究虽然未直接操控学习材料的复杂度，但是使用了相当复杂的文本作为学习材料，这些研究依然发现了显著的测试效应（McDaniel&Howard，et al.2009；Hinze&Wiley 2011；Karpicke&Blunt 2011）。范戈和斯威勒研究中“复杂学习材料中测试效应会减弱甚至消失”这一结论也被卡皮克和奥伊（Karpicke&Aue，2015）在随后的综述研究中极大地质疑。卡皮克和奥伊认为范戈和斯威勒的研究中并没有给学习材料复杂度一个客观的测量方式，且所列举的实证研究中大多是样例研究，即先给学习者一个样例，然后立即让学习者自主解决问题（problem-sloving），因为把解决问题作为提取方式，很难保证学习者对之前所学习的信息进行了提取。另外，范戈和斯威勒忽视了许多在复杂材料中依然发现测试效应的研究。因此，测试效应在复杂学习材料中也许只是不够显著，但并不能代表不存在测试效应。罗兰（Rowland，2014）和罗森（Rawson，2015）的综述研究也表明“复杂学习材料中测试效应依然存在”。因此，已有的研究并不足以表明测试效应对高复杂度的学习材料会消失或减弱。
三、基于Coh-Metrix 的复杂学习材料的测试效应
综上，本研究结果显示CIPN与糖尿病之间关系密切，糖尿病可以增加CIPN的发生风险，提示在临床上为患有糖尿病的肿瘤患者选择化疗方案时应仔细权衡利弊，调整最佳的治疗方案，并积极预防CIPN，以提高患者的生活质量。鉴于目前缺乏针对CIPN发生风险与糖尿病相关性的大规模的临床研究，今后仍需要进行更多的前瞻性、大样本临床研究，以进一步论证CIPN发生风险与糖尿病的相关性。
通过在文献数据库中输入关键词，本次研究选出了近年来部分以文本为学习材料的测试效应研究，并且用Coh-metrix 这一工具测量了这些研究中所使用文本的参考内聚性的值，得出学习材料的复杂程度，具体结果见下表。
从学习材料复杂度的测量方式来看，认知负荷理论并没有对学习材料复杂度的测量提出一种客观的测量方法。随着计算机技术的发展，已经有一些计算机工具可以对文本的复杂度提供客观的测量指标，如Coh-metrix。Coh-metrix 工具是格雷泽和麦克纳马拉（Graesser&McNamara，et al.2004）等人开发的一种计算机文本分析工具，其开发之初的目的是测量文本材料的复杂度，后来被越来越多的研究者用于分析文本的特征。Coh-metrix 工具中共包含11 个分析文本特征的指标，其中参考内聚性（referential cohesion）这一指标与认知负荷中内在认知负荷信息成分之间交互程度具有一定的相似性，且已经被证实可以测量文本复杂度（Karpicke&Aue 2015）。其中，参考内聚性的值越高，则证明文本中信息成分之间的交互程度越强，学习材料也就越复杂。根据卡皮克和奥伊（2015）的研究，当文本材料的参考内聚性值高于70 时，就被认为是高复杂度文本。因此，本文通过Coh-metrix 这一计算机工具对近年来相关研究中的文本复杂度进行了测量，以探究测试效应对复杂的文本学习材料（即参考内聚性的值高于70 的文本）是否依然存在。
用Coh-metrix 测量探究文本的测试效应研究统计表
从上表可以看出，探究文本测试效应研究大都证实了测试效应的存在。由于很多的相关研究并未给出文本材料，所以并未出现在表格中，但是有很多未给出文本材料的研究也发现了显著的测试效 应（Chan 2009；Dobson&Linderholm，et al.2018）。文本作为学习材料本身，相对于词汇而言更加复杂，但是从文本复杂度的角度来看，除了特兰和罗勒（Tran&Rohrer，et al. 2015）、德扬和塔伯斯（2015）等人的研究，即使对于相当复杂的文本（参考内聚性的值高于70），测试效应也依然存在。同时，从表中还可以看出，发现测试效应的研究所采用的提取方式多为自由回忆和简答题，这两种提取方式需要学习者在头脑中对之前所学信息进行进一步加工与整合。而德扬和塔伯斯（2015）的研究中之所以没有发现测试效应，也许与其提取的任务有关，因为他们使用了填空这一提取方式，而填空这一提取方式不利于在头脑中对学习信息重组和整合，所以可能是提取方式导致测试效应不存在。特兰和罗勒（2015）等人的研究也使用了高复杂度的学习材料（参考内聚性的值高达90）来探究测试是否有利于学习材料的迁移，其练习阶段的提取方式也是填空题；实验1、2和3 中没有测试效应，实验4 中虽然发现了测试效应，但只是针对记忆题，而对需要推理的题目并没有作用。欣茨和威利（Hinze&Wiley，2011）的实验1 和实验2 中也使用了填空（fill-in-the-blank）这一提取方式，虽然发现了测试效应，但是实验3 中使用了自由回忆（free-recall）的提取方式，发现了更加显著的测试效应。罗尔和伯特霍尔德（Roelle&Berthold，2017）的研究对比了以总结（summarize）和生成推理（generating inferences）作为提取任务对测试效应的影响，发现生成推理相对总结这一提取方式可以产生更大的测试效应，因为生成推理可以让学习者对之前所学信息进行进一步的整合与建构，从而加深学习者对相关信息的理解。因此，德扬和塔伯斯（2015）、特兰和罗勒（2015）等人的研究，以及范戈和斯威勒（2015）所举的样例研究未发现测试效应，可能是因为提取方式而不是学习材料的复杂度。由此可见，不同的提取方式会生成不同的知识建构活动；学习材料复杂度对测试效应的影响也许容易受提取任务的调节，但这还需要未来更多的研究加以证实。
糖尿病肾病和其他的慢性并发症一样,缺乏有效的治疗手段,见对患者及家庭和社会均构成严重的损害,同样以预防为主。从预防糖尿病的发生开始,早期发现血糖升高,早期控制,同样强调综合的糖尿病管理对于预防糖尿病肾病至关重要。
结语
本文在前人研究的基础上基于Coh-metrix 这一工具探究了学习材料复杂度对测试效应的影响。研究发现，测试效应不仅仅存在于词汇这类简单的学习材料中，许多以文本这一相对复杂的学习材料为主的研究依然发现了测试效应的存在；而且从文本本身的复杂度出发，无论是简单文本还是相对复杂的文本，测试效应也依然存在。因此，测试效应不存在于复杂学习材料中的观点可能并不正确，因为已有的研究并不能完全证实测试效应不存在于复杂学习材料中。此外，尽管已有研究表明学习材料复杂度会对测试效应产生一定的影响，但还少有研究直接操控学习材料复杂度来探究其对测试效应究竟会产生怎样的影响，所以未来研究需要通过直接操控学习材料复杂度来进一步验证其对测试效应的影响。从不同研究所使用的提取方式来看，测试效应可能更容易受提取方式的影响，因此未来研究在探究学习材料复杂度对测试效应的影响的同时，有必要考虑提取任务类型与学习材料复杂度是否会具有交互性。
引用文献
张锦坤，白学军，杨丽娴.2008.国外关于测试效应的研究概述[J].心理学科进展，（4）：661-670.
Agarwal，P.，Karpicke，J. & Kang，S.，et al.2008.Examining the testing effect with open and closed book tests [J].Applied Cognitive Psychology，22（7）：861-876.
Blunt，J.R.&Karpicke，J.D.2014.Learning with retrieval-based concept mapping [J].Journal of Educational Psychology，106（3）：849-858.
Chan，J.C.2009.When does retrieval induce forgetting and when does it induce facilitation?Implications for retrieval inhibition，testing effect，and text processing[J].Journal of Memory and Language，61（2）：153-170.
De Jonge，M.，Tabbers，H.&Rikers，R.2015.The effect of testing on the retention of coherent and Incoherent text material[J].Educational Psychology Review，27（2）：305-315.
Dobson，J.，Linderholm，T.&Perez，J.2018.Retrieval practice enhances the ability to evaluate complex physiology information [J].Medical Education，52（5）：1-13.
Graesser，A.，McNamara，D.&Louwerse，M.，et al.2004.Coh-metrix：Analysis of text on cohesion and language[J].Behavior Research Methods，Instruments&Computers，36（2）：193-202.
Hinze，S. & Wiley，J.2011.Testing the limits of testing effects using completion tests[J].Memory，19（3）：290-304.
Johnson，C.I.&Mayer，R.E.2009.A testing effect with multimedia learning[J].Journal of Educational Psychology，101（3）：621-629.
Karpicke，J.&Aue，W.2015.The testing effect is alive and well with complex materials[J].Educational Psychology Review，27（2）：317-326.
Karpicke，J.&Blunt，J.2011.Retrieval practice produces more learning than elaborative studying with concept mapping[J].Science，331（6018）：772-775.
McDaniel，M.，Howard，D. & Einstein，G.2009.The read-recite-review study strategy：Effective and portable：Research Article[J].Psychological Science，20（4）：516-522.
Rawson，K.2015.The status of the testing effect for complex materials：Still a winner[J].Educational Psychology Review，27（2）：327-331.
Roediger，H.&Karpicke，J.2006.Test-enhanced learning：taking memory tests improves long-term retention[J].Psychological Science，17（3）：249-255.
Roelle，J.&Berthold，K.2017.Effects of incorporating retrieval into learning tasks：The complexity of the tasks matters [J].Learning and Instruction，（49）：142-156.
Rowland，C.2014.The effect of testing versus restudy on retention：A meta-analysis review of the testing effect [J].Psychological Bulletin，140（6）：1432-1463.
Sweller，J.1988.Cognitive load during problem solving，effects on learning[J].Cognitive Science，12（2）：257-285.
Tran，R.，Rohrer，D. & Pashler，H.2015.Retrieval practice：the lack of transfer to deductive inferences[J].Psychonomic Bulletin&Review，22（1）：135-140.
Van Gog，T.&Sweller，J.2015.Not new，but nearly forgotten：The testing effect decreases or even disappears as the complexity of learning materials[J].Educational Psychology Review，27（2）：247-264.
Weinstein，Y.，McDermott，K.B.，& Roediger，H.L.2010.A comparison of study strategies for passages：rereading，answering questions，and generating questions[J].Journal of Experimental Psychology：Applied，16（3）：308-316.
作者信息：214000，江苏无锡，江南大学
注：本文系江苏省社科基金项目“基于学习功能的外语测试效应研究”（批准号18YYB010）的研究成果之一。
标签：Coh-metrix论文; 学习材料复杂度论文; 测试效应论文; 参考内聚性论文; 江南大学论文;