认知诊断评估在语言测试领域的应用
山东农业大学外国语学院 张海云
摘 要： 随着认知心理学和教育测量学的发展，认知诊断评估作为二者结合的产物得到了越来越多的关注。本文从认知诊断的概念出发，阐述认知诊断评估在语言测试中的应用现状，尤其是其在阅读理解、听力及写作领域的应用。
关键词： 认知诊断 评估 语言测试
评估能够为老师提供诸如学生学习效果如何及教什么等信息，教师也会利用评估的结果改进他们的教学并设计一个完美的教学计划来帮助学生进步。但是尽管评估在教育中的作用突出，一些教师却很少有机会接受有关评估设计或分析的系统培训，他们普遍依赖教材出版社提供的测试题或他们自行设计的课堂测验来进行评估。有研究显示教师的评估能力普遍较弱并且大部分教师不能恰当的对学生进行评估。要想真正实现“以评促教”“以评促学”，必须加大对教师的培训力度。毫无疑问，设计并实现提高教师评估水平的培训项目至关重要，而同样重要的还需要开发有效的评估工具来支持教师改进他们的教学实践。
当前大部分的语言测试都仅仅提供一小部分与内容相关的分项分数、总分或t分数，这些分数提供不了任何能够帮助教师了解学生优缺点的诊断信息。近年来，认知诊断反馈由于能够测定学生具体的知识结构和加工技能赢得了越来越多的关注。
2.激发语文学习的兴趣。兴趣是最好的老师，是内在的动力。学生如果对语文学习产生兴趣，才会积极主动地去学习。培养学生学习兴趣的途径很多，如在拼音和字词教学中多让学困生参与“找朋友、摘苹果、猜谜语”等游戏活动，在阅读和理解课文的教学中，可采用情境和扮演角色的形式让学困生找到乐趣，在作文教学中，注重指导学困生观察事物的顺序和着重点以及细节的方法，推荐阅读相近课外读物帮助他们由此事物联想到彼事物，积累写作素材的能力，讲评作文时有意将学困生的作文作为范例，寻找到进步的地方和亮点，让其体验到进步的愉悦。
一、认知诊断评估
认知诊断评估（Cognitive Diagnosis Analysis，简称CDA）是在认知心理学、项目反应理论和统计数学发展的推动下兴起的一项新的诊断技术，它通过获得被试在测试上的可观察反应模式而推知该被试不可观察的知识状态，用来测量或评估个体特定的知识结构和加工技能（统称为认知属性）。
传统假肢矫形器制作技术是一种典型的手工制作技术，制作过程包括取模、修模、成型加工等步骤，3D打印通过三维扫描仪获得肢体或残肢的数据，再通过相关软件进行设计修改，最后通过设备打印。两种制作方法比较见表1。
外部环境的变化对基质吸力影响较大，为了理解渗流对基质吸力分布的影响，非饱和土的基质吸力分布形式采用静水压力的分布形式，其随深度变化的分布规律如下图4所示。
不同于其他测量方法，认知诊断有很多自身的特点，通过测量学习者可观察的外在表现或反应模式来测量其在完成任务时内在的、不可观察的、粒化认知属性层面上的一些特定认知结构的构成和可能发生的加工技能的变化，要想更好地挖掘考生在测试时认知加工过程中的这些潜在特性和属性的掌握模式，就需要细分听、说、读、写等技能。当然，在这方面，也有学者质疑语言能力的可分性，但仍然有不少研究从不同的角度证实了听力、阅读的可分性，这也显示了该做法的可行性。
在教育测量领域，认知诊断理论正在成为研究热点之一，它能够通过诊断被试对学科知识的掌握程度来将其认知能力结构模式化，从而为考生和教师提供具体的认知诊断反馈信息，教师可以根据这些反馈信息进行针对性教学，学生的学习进阶和能力提升也有了补救措施及建议。认知诊断理论的应用主要体现三个方面：进行教育评估，当前规则空间模型被广泛应用于国际上许多大型的考试与评价项目的教育评估，如TIMSS、PSAT、GRE、NAEP、SAT-I等；诊断学习障碍 学生在学习过程中存在的障碍都可以通过认知诊断理论得到有效识别；进行学业动态评估。
笔者研究发现，微信小程序正在成为新的流量入口且用户粘性很高。2017年12月28日，小程序游戏“跳一跳”上线，不到1个月累计用户数量已经达到3.1亿，日均使用时长达到4小时以上，主要原因是微信庞大的用户群、良好的社交属性，加上人们习惯利用碎片化的时间进行游戏放松，减轻压力的行为。如能利用大学生爱用微信以及爱社交的心理，利用微信小程序学习平台创建MOOC课程，把微信作为学生的学习平台，一方面能迎合大学生的喜好，另一方面能优化学生的学习体验，提升学习乐趣，激发学生的学习动机，从而增强学习平台的用户粘性，最终提升MOOC的结课率。
二、认知诊断评估在语言测试中的应用现状
从研究内容来看，认知诊断在语言测试中的应用研究主要涵盖了综述类介绍、认知诊断模型比较、语言测试中各分项技能的认知属性诊断等。
1.综述类介绍
认知诊断模型的选择在一定程度砂锅决定了模型与试题的适应程度、分析的准确性以及操作效率。语言测试由于其自身的特点，比如具有综合和抽象的特征，对认知诊断模型的要求较高。语言教师和专家对认知诊断模型的选择进行了不同尝试，从最初的非补偿的简约模型到最近才应用的与语言技能特征相匹配的补偿型或饱和型模型，这也从侧面体现了语言测试领域的认知诊断研究正日趋成熟。比如，有学者为了找到以英语作为二语的语法测试数据比较了五种认知诊断模型。首先套用完整模型（LCDM），然后分别套用DINA\DINO\NIDO\C-RUM等模型，最终发现C-RUM是能够匹配数据的最佳模型。除语法外，学者还比较了阅读理解的适用模型，有学者比较了六种认知诊断模型（CDMs）在阅读理解测试中探索内部技能关系的表现，分析了大约21642名考生对高风险阅读理解测试的项目反应。结果显示G-DINA表现最佳，C-RUM，NC-RUM和ACDM显示出与G-DINA最接近的亲和力，并由此推断出阅读理解能力之间的关系可能是补偿性和非补偿性的结合。
2.认知诊断模型比较
有学者详细描述了如何将认知诊断评估框架应用于语言评估，并提出诊断评估的一个重要目标是确定学习者在目标学习领域的优势和劣势，并为解决这些弱点所需的补救措施提供有用的反馈。有学者认为在语言诊断评估得到语言教师、测试专家和应用语言学家广泛关注的当下，非常有必要厘清未来的研究方向，比如要建立多层次的诊断和反馈体系、运用学习者的错误来进一步改进诊断和反馈、改善语言诊断评估的有效性框架等等。
三、语言测试中各分项技能的认知属性诊断
认知诊断的应用流程分为两个阶段：第一阶段是确定认知属性并建立Q矩阵。认知属性（attribute）指的是考生正确回答问题时所运用到的知识、策略和答题技巧等。Q矩阵（Q-matrix）是一种元素为0或1的矩阵，反映了特定题目与所测认知属性的关系。若正确回答项目j必须掌握属性i，则qij=1，否则qij=0。这样就能将不可观察的认知属性转化为可观测的项目反应模式。因此，Q矩阵的质量是诊断成功与否的关键。第二阶段是运用认知诊断模型进行分析。认知诊断模型是用来评估学生对一系列粒化技能掌握状况的潜质变量模型。以Tatsuoka（1983）等提出的规则空间模型为基础，测试和计量学家发展了至少60多个认知诊断模型，其中较常用的认知诊断模型有DINA模型、融合模型、DINO模型、GDM模型，以及G-DINA模型框架。
对语言测试的认知诊断研究最早可追溯到20世纪90年代，阅读理解、写作、听力等领域均有涉及。最早应用规则空间模型的是Sheehen等学者，其团队曾在美国教育考试服务中心发布了对美国青少年的文本加工技能进行认知诊断的报告。随后，Buck et al.再次应用规则空间模型进行了两项认知诊断尝试，一种是对托业考试中阅读试题部分的认知属性进行了认知诊断，后来又对开放式答题部分的英语听力试题的认知属性进行了认知诊断，其中有关听力的认知属性一共分离出15种，发现属性之间存在14种交互。Buck及其团队的努力是认知诊断应用于语言测试界的初步尝试，虽然在操作上还有需要改进之处，但他们的研究为认知诊断在阅读理解研究和听力研究中的应用开辟了新的思路，也有力地证明了这一方法在语言测试领域的可适用性。
Davier随后对托福的阅读和听力试题的认知属性进行了认知诊断，得出了相似的结论。LanguEdge的题型主要模拟托福考试，Jang使用融合模型对LanguEdge的阅读试题的认知属性进行了认知诊断，结果表明，与传统的使用聚合测试的评分系统相比，CDA方法可以提供关于阅读技能水平的更加详细化的细粒度的诊断信息。Lee & Sawaki对托福考试的阅读和听力试题的认知属性进行了认知诊断，除使用了融合模型外，还应用了GDM模型和潜在分类模型。Kim也使用融合模型对成人二语的分班阅读考试进行了认知诊断研究，并总结了10种主要的二语阅读属性。Hongli Li比较了具有东亚语言背景和具有罗曼语言背景的学习者发现，罗曼语学习者将更多地掌握语言技能，如词汇和语法，而东亚ESL学习者将更多地掌握理解技能，例如提取明确的信息，以及连接和综合信息等。Kim运用简化参数统一模型对学生的学术英语写作表现进行了认知诊断，结果发现技能诊断方法能够准确区分学生对写作技能的掌握情况，有较高的判别力。Qin Xie利用细粒度的诊断检查表来评估香港的一年级本科生，并评估其在诊断英语学术写作方面的有效性和实用性。结果发现，基于认知诊断模型（CDM）的技能诊断可以识别三种熟练水平的学生的五个写作技能的优缺点，并且可以提供比传统的原始分数方法更丰富和更精细的信息。
相对于国外丰硕的研究成果，国内对于认知诊断的研究起步较晚，尚处于萌芽阶段，但是也取得了一些可喜的成绩，既有条理清晰的综述类介绍，又有数据翔实的实证研究。
四、结论
认知诊断研究被越来越多的应用于语言测试领域，但由于语言是一个非常复杂的过程，语言测验也具有很多自身的特点，无论是Q矩阵的建立还是认知诊断模型的选择都还有很大完善的空间。未来研究应该重点开发实用性强的认知诊断模型与计算机程序，也应该充分发挥认知诊断报告的作用，对学生做出反馈，从而帮助教师和学生采取补救性措施提高学习效果。
参考文献：
[1]陈慧麟.语言测试中的认知诊断及其应用流程[J].外语测试与教学，2015
[2]杜文博，马晓梅.基于认知诊断评估的英语阅读诊断模型构建[J].外语教学与研究，2018
[3]范婷婷，曾用强.认知诊断测试及其在阅读理解能力上的应用述评[J].中国外语，2016
[4]孟亚茹.大学英语听力能力认知诊断评估模型的构建与验证[D].上海外国语大学，2013
[5]张玉美，罗少茜.基于认知诊断模型的英语阅读测试诊断信息反馈[J].外语测试与教学，2018
文章编号： ISSN2095-6711/Z01-2019-15-0244
（本文系山东省社会科学规划研究项目阶段性研究成果，项目编号：18CWZJ36；山东省高等学校人文社会科学研究项目，项目编号：J18RA230）
作者简介： 张海云（1982—），女，汉族，山东滨州人，硕士研究生，山东农业大学外国语学院副教授，研究方向：二语习得与外语教学、教师反馈、创造力研究
标签：认知诊断论文; 评估论文; 语言测试论文; 山东农业大学外国语学院论文;