双向细节表在学术评价中的应用研究_双向细目表论文

双向细目表在学业测评中的应用研究,本文主要内容关键词为:细目论文,双向论文,学业论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

       一、问题的提出

       当前,对于学业测评的分析,常用的数据是平均分、优秀率、合格率、低分率和分数段分布等。上述几项指标,在一定程度上能够阶段性说明学生的学习状况和教师的教学情况。教学管理人员和学科教师通过班与班的横向比较、班级学科之间的平衡状况比较、班级现状与前几次考试的纵向比较,可以找出教师之间、学生之间存在的差距。但是,这样的数据分析,不能分析出真正的、关键的问题出在何处,也不能诊断出具体的或细节性的需要改进的知识点和技能缺陷,这对于教师的教学改进和学生的学业进步的帮助是极其有限的。

       近两年来,我们选择了南京十二中、宁海中学分校、南京一中求真中学、南京力学小学龙江校区等9所实验学校,指导部分学科的教师依照课程标准的阶段性目标,研发双向细目表,并结合双向细目表的细目分析开展学业测评。通过对知识细目和技能细目进行逐项对比,使“聚类数据”①模式下对学业状况的群体与个体的分析更为翔实,借助对所检测的知识点、能力维度和试题的信度与区分度等进行即时的全面反馈,进而对学生的学习状况、教师的教学情况、试卷的命题质量等进行多元分析,做好教学评价、教研评价和学业评价,旨在对学科组、备课组、教师和学生个体的现状诊断与后续改进产生积极效应。

       二、双向细目表的研发

       双向细目表是一个将知识细目维度和技能细目维度有机组合而成的列联表,是中小学进行学业监测与评价的重要测量工具。对它的研发,要基于课程标准,要参照本地区的学段教学要求,还要注意学科特点。

       双向细目表的研发有两种情况:针对大型考试,我们组织和指导实验学校的骨干教师根据课程标准和阶段性测试目标,从知识点维度与技能维度先制作双向细目表,然后进行试卷的命题工作;对于小型测试,我们协同学科备课组教师在测试之前,根据测试卷制作双向细目表,对试题结构、知识点名称(考查的知识细目)和技能项目(因学科、学段而异)所占的对应分值分别进行细化处理,根据学情预设每道测试题的预估难度系数。

       着眼于学业测评的实效性,我们主要采用第二种做法,教师根据测试题制作双向细目表(见表1),预设评估难度系数,在测试之后,对学业状况、教学效果和命题质量做出客观评价。这样做较具普适性,可以顾及大多数学科,教师的参与面要广一些。

      

       研制双向细目表时容易出现以下难点:(1)教师尤其是年轻教师对知识点的概述与界定把握得不够准确;(2)由于技能细目具有串通性,因此教师在对能力维度的表述与归类时有一定的难度;(3)因为校情、班情、教情和学情的差异,因此不同的教师对预估难度系数的确定难以达成一致。为此,我们组织教师认真研读本学科的课程标准和南京市课程学段的教学要求,对照课标与要求,确立所测试的知识点细目;在能力维度界定环节上,我们要求教师基于学科特点,依照课程标准的能力层次要求,参照布鲁姆的学习能力层次分类理论,兼顾校情和学情,互动式地研讨后,做出界定。

       三、双向细目表在学业测评中的应用

       (一)学生学业质量分析

       当代的教育测量早已跨越简单回答“达标与否”的阶段,走向“精诊断”和“促发展”的阶段。基于双向细目表的学业测评能够精确诊断学生个体在知识与技能方面的优势与不足,有助于学生进行学业分析,帮助学生对前期的学习状况进行总结与反思,为后续的学习找到努力的方向。

       1.横向比较

       以龙江小学四年级某学生为例,该生在数学学业测评中的学科知识点得分如表2。如果仅看该生的得分率,可以发现该生在“数与代数”和“数的运算”两个知识点上失分较多,在“空间与图形”“图形的认识”“数的认识”“测量”“统计与概率”“数据统计活动初步”“探索规律”这七个知识点上都得满分,那是否就意味着该生在这七个知识点方面具有明显优势呢?

       如果将该生的得分情况与班级、年级乃至全区的得分情况做一比较,并将其用雷达图表示(见图1),就可以清晰地发现:该生在“测量”“数的认识”“空间与图形”方面具有明显优势,“数与代数”和“数的运算”是其短板,尤其是“数的运算”非常薄弱。而在“图形的认识”“统计与概率”“数据统计活动初步”“探索规律”方面虽然得满分,但与其他学生的区分度不是很明显。

       2.纵向比较

       不同的考试在知识点上会有较大变化,所以在进行学生个体纵向比较时,我们一般选择在能力维度上进行比较。

       比如:某小学四年级学生在前后两次数学测评中的得分如表3。从中可以看出,该生在“识记”和“应用”上有较大的退步,但在“理解”和“分析”上进步不小,尤其是在“综合”能力层次上有了质的飞跃。

      

      

      

       通过横向和纵向的比较分析,既可以发现学生的优势和不足,也可以看到学生的进步与退步情况。在此基础上,教师指导学生撰写学习自评表,作为学习改进的依据。

       利用上述方法,也可以对班级之间、学校之间的学业质量进行横向和纵向比较。当这些数据积累成大数据后,采用大数据分析技术,可以形成区域学业质量分析报告,为区域教育决策和教师的教学指导提供翔实的有针对性的依据。

       (二)命题质量的反馈与评价

       在学业检测之后,对照双向细目表中各知识点和能力项目的得分情况进行聚类比较,可以对命题质量进行判断和评价。比如:如果各校学生在某个知识点上的得分普遍都很低,那就说明题目难度太大,没有区分度。在能力维度上,如果识记、理解、应用的分值过大,而分析、综合、评价的分值过小,就说明测试过于偏重低阶思维能力的考查,而忽视了高阶思维能力的考查。

       就命题质量而言,难度系数适中是一份高质量试卷必备的基本条件,也是测试信度与区分度达成的根本保障。对照知识点和能力测试两个维度,如果得分率过高或过低(阶段性测试的难度系数控制值一般为0.75左右),备课组和教研组都要基于命题中出现的问题进行反馈、思考和研讨:是命题过于难易,是年级或班级的教学存在偏差,还是学生在掌握程度上出现了问题?逐一进行分析,做出判断、评价和及时的调整。长此以往,这样的反馈与评价对于教师学会高质量地命题,提高学业测评的信度、效度和区分度是大有裨益的。

       (三)教师的教学评价

       评价教师的教学水平,方法之一是课堂观察。课堂观察作为一种过程性评价方式,在教师评价中的重要性不言而喻,但其缺点也同样明显:比较耗时耗力,而且作为一种质性评价,容易受主观因素的影响。在实施绩效工资的背景下,对教师的教学评价,还需要考虑学生的学业进步程度。这也是现在很多学校通行的做法。但是,传统的平均分、优秀率等指标无法确切反映教师教学中存在的具体问题,也无法对不同学科的教师进行比较,甚至因为每次测评难度的不一致,而无法反映出学生的学业进步情况,因此以这些指标作为教师的教学绩效指标往往缺乏说服力。

       基于双向细目表的学业测评能够准确反映教师教学中存在的具体问题,比如某个知识点的教学需要强化、某项能力维度是短板。基于双向细目表导入的数据分析平台不仅能导出平均分、优秀率、合格率、低分率和分数段分布等数据,而且能导出百分制等级分和正态化标准分③,这就为不同学科教师的教学绩效比较和学生学业进步程度判断提供了“证据”。

       以某实验校为例,从表4可以看出,从平均分来看,该校的英语成绩最好,语文最差,但是转化为正态化标准分后,反而是语文成绩最好,英语最差。这是由于不同学科的测评难度不一致导致的。

      

       再以两次测试的同一学科的正态化标准分做纵向比较,则能反映班级的阶段性变化(见表5)。如果只看入口成绩④与出口成绩⑤,各个班级似乎都有进步,只不过进步幅度不同。但是转化为正态化标准分后,可以发现,一班和三班的成绩实际上是下降了。

      

       通过正态化标准分的比较,能清晰地评估教学推进情况。教师个体借助数据的横向与纵向比较,获得适切的自我评价;学校教学管理部门基于数据分析,收集并保存可以表明教师个体发展状况的过程性资料,分析其存在的优势和不足(包含各班级学科之间的平衡发展状况),准确判断其不同特点及发展潜力,形成对其发展过程的适切的认识,提供具有针对性的改进建议,促进学校学科教学的提升与班级学科之间的均衡发展。

       四、有待解决的问题

       学业测评着眼于学生和教师的发展,因此,提高师生参与学业测评的热情和积极性是学业测评过程中始终需要关注的重要方面,因为评价标准的科学性、评价工具的可靠性以及师生双方的认同性,是师生真正参与教育评价,以实现提升和成长的充要条件,它有利于维护教师的工作热情,有利于保护学生的学习积极性,避免不当评价所带来的负面心理影响。基于双向细目表聚类数据分析的学业测评,注重价值引领、关注过程服务、倡导主体参与,其过程性与发展性功效是颇具实际意义的。

       在研发和应用双向细目表进行学业测评的过程中,我们认识到建立区域多元化的、具有层次性的、符合国家课程标准要求的学习能力目标,是亟须攻关的难题。美国基础教育界采用“学生学习目标评价系统”,要求教师或教师团队在每学期初根据学生已有的背景资料(如标准化测试数据、学生课堂表现等),以实现学生的成功为导向,为学生设立具体的、可测量的和符合州标准的长期学业发展目标。该系统通过对学生学习目标达成程度进行评价,实现了提高学生学业成就、促进学生健康发展、巩固优秀教学实践和提高教师专业水平的目的。我国在这方面的研究还比较薄弱。

       此外,在双向细目表的研发与应用过程中,我们注意到还有不少有待解决的细节问题,比如:表现性评价在中学英语口语、理化生实验操作和学生体质体能健康以及心理健康等测试中应当如何应用?教师根据试题做双向细目表时,对考点太细的知识点名称的表达怎样概括和归类?数学学科有“推算”与“证明”,英语学科有“猜测”与“表达”,语文学科有“鉴赏”与“病句改错”,历史和政治学科有“评价”与“评论”,小学语文有“朗读”与“书写”等,在对能力或技能维度进行表述时如何根据学科特点和学段特征进行合理界定?学业测评过程中如何提高师生的认可与接受程度?如对小学高年级和初一年级的孩子而言,他们已习惯了教师手批的有痕阅卷,对自身学业检测的结果能做到一目了然,尽管网络阅卷为双向细目表数据的导入带来了便利,但无痕阅卷却给孩子的自我检查、教师的试卷讲评和家长对孩子学业情况的了解与评价带来了许多不便等。

       注释:

       ①聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集,让在同一个子集中的成员对象都有相似的一些属性。聚类数据是对于静态数据分析的一门统计技术,在许多领域得到广泛应用,包括学习检测、数据挖掘、模式识别、图像分析等。

       ②得分率=某知识点或能力维度的得分/该知识点或能力维度的满分。

       ③正态化标准分是通过非线性转换的技术,把偏态分布强制扭转成正态以后,每个原始成绩对应的标准分。正态化标准分遵循的使用原则是不同的测验分数可以相互比较。

       ④入口成绩:对比两次考试成绩,前一次的成绩称为入口成绩。

       ⑤出口成绩:对比两次考试成绩,后一次的成绩称为出口成绩。

标签:;  ;  ;  ;  ;  

双向细节表在学术评价中的应用研究_双向细目表论文
下载Doc文档

猜你喜欢