学业质量标准的建立途径:基于认知诊断的学习进阶方法,本文主要内容关键词为:进阶论文,质量标准论文,认知论文,学业论文,途径论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
随着从“应试教育”质量观到“全民教育”质量观的转变,对教育输出结果的相关信息需求也不断增长,尤其需要一个权威的参照框架用以指导各学科开展教育输出结果信息的收集与报告,这有利于地区间教育结果的比较和经验的相互借鉴。课程标准就是一个很好的参照框架。然而,新课程标准中的相关描述比较笼统,缺乏系统的、可操作的维度及标准,对于实际教学缺乏有效的指导。因此,亟须制定系统的学业质量标准,清晰界定学生全面发展所需要的核心素养,有效地指导教育教学、提升教育教学水平,促进学生的全面发展。《国家中长期教育改革和发展规划纲要(2010—2020年)》(以下简称《教育规划纲要》)也明确指出,要“制定教育质量国家标准,建立健全教育质量保障体系”。 一、学业质量标准的内涵界定 建立学业质量标准,首先需要明确什么是学业质量标准,什么样的标准是高质量的标准。当前,世界各国并没有与学业质量标准直接相对应的词汇,也没有对学业质量标准的概念内涵做清晰的界定。 (一)学业质量标准的相关概念 围绕学业质量标准这一概念,存在众多与之相关的基本概念。这些概念包括教育标准(Educational Standard)、课程标准(Curriculum Standard)、课程指南(Curriculum Guide)、教学大纲(Syllabus)、学习计划(Program of study)、内容标准(Content Standard)、学习机会标准(Opportunity-to-Learn Standard)、成就标准(Achievement Standard)、表现标准(Performance standard)、表现水平(Performance Level)等等。[1] 正确理解学业质量标准的内涵以及建立学业质量标准,需要厘清他们之间的关系。 (二)学业质量标准与相关概念之间的关系 综合各国的学业质量标准可以发现,各国的标准大都涉及质量标准、课程标准、内容标准、表现标准和评价标准,但这几种标准之间的关系不尽相同。在建立学生学业质量标准之前,首先要搞清楚学业质量标准与现有教育标准之间的关系,否则不但影响学业质量标准建立的全过程,而且制定好的标准会与旧标准产生重复或冲突,无法发挥新标准应有的作用。世界上许多国家的质量标准是指导教育领域的核心标准,课程标准和评价标准是在质量标准指导下确立的。但在我国,质量标准几乎尚未建立,最主要的教育标准就是课程标准。[2]鉴于此,我们认为这几种标准的关系应该如下所述。 质量标准是国家与社会对学习者在经历一定教育阶段后所能达到的能力和水平的期望,这一期望反映在具体学科和教育实践当中即为相应的课程标准。课程标准的一系列规定体现了对教育的过程管理,用于保证通过一定阶段的教学实践,学生能够达到国家和社会对其期望的能力水平。课程标准用于规范教师教学过程,质量标准用来规范学习目标、评价教育结果,通过“教育过程管理”和“教育目标管理”来保证学业质量。为了检验经过一定阶段的教学之后学习者是否达到国家和社会期望其所达到的能力水平,可以制定相应的评价标准,而此评价标准是在学业质量标准的指导下形成的。对学生学业能力的评价标准应该由课程标准提供评价当中相应的内容标准,质量标准当中对基本能力和核心素养水平的规定提供了评价当中的表现标准。在两者指导下制定出的评价标准可以用于考查学生的学业能力是否达到规定的要求,教学是否得当,教育质量是否有保证,进而起到监控教育质量的目的。 (三)学业质量标准的内涵 当前,我国才开始建立义务教育阶段学生学业质量标准体系,是要在《教育规划纲要》的指导下,通过对学生教育结果的规定,将国家教育方针和目标贯彻、落实到教育实践当中,以此来整合教育质量标准、提高基础教育质量、改革评价方式、推进政府教育问责。 为了实现以上目的,我们认为,学业质量标准描述和规定了学生在完成各学段教育时所应该具备的与进一步升学或进入社会,乃至今后发展有关的关键素养以及在这些素养上的具体水平。[2]根据当前国际上的共同做法,学业质量标准不是指根据学生在学业水平测试中的实际表现水平而制定的成就标准或表现标准,而是以基础教育阶段总体教育目标为导向,以跨越不同学科领域的公民素养模型和具体学科的学科核心能力模型为基础的规范性成就标准或表现标准。[1] 二、学业质量标准建立的传统方法及问题 学业质量标准的建立是一个复杂的系统工程,涉及各种理论和现实问题的挑战与解决。它既涉及相关领域的研究发展水平和已有基础,也涉及一个国家实际的教育实践状况,还与所在国家的政治体制、文化传统、社会发展阶段以及现代社会基本原则如公平、公正及个人权利等方面有着千丝万缕的联系。[2] (一)学业质量标准建立的传统方法——标准设定法 以往学业质量标准的建立常用的是标准设定(Standard setting)法。什么是标准设定?标准有两层含义:一是指被试必须掌握的内容和技能;二是指反映被试所掌握内容和技能的分数,在教育测验背景下,前者又称内容标准,后者又称为表现标准或分界分数。[3]内容标准由政策制定者和教育专家基于课程框架建立,它规定学生应该掌握什么、会做什么;表现标准是指期望被试达到的与内容标准对应的测验表现水平。目前标准设定最常用的是Angoff和Bookmark两种方法。[4]Angoff法是指由一组学科专家,根据处于合格边缘考生的水平,逐题估计他们在试题上的表现,设定分数线的方法,分为概率法和对错法两种。Bookmark法以Angoff法为基础,邀请学科专家以测验材料的IRT难度参数值为基础,按照由易到难的顺序判断“基本掌握该领域知识的考生”能否做对所讨论的题目,在考生不能通过的题目上做出标识,以此作为设置划界分数的依据。 Hambleton描述了标准设定的九个基本步骤:选择标准设定方法;选择评委;由设定标准的评委或其他专家完成对表现类别的描述;培训评委;评委进行判断,收集评委对项目的评分;向评委提供反馈并推动讨论;合并评委评分并获得表现标准;获取评委对标准设定过程的评价;收集效度证据并准备技术报告,包括对标准设定过程的详细记录及其他来源的效度证据。[5] (二)学业质量标准建立的传统方法存在的问题 标准设定法以表现标准为基础建立学业质量标准,一方面与我国学业质量标准的定位不符,另一方面得到的表现水平反映的是对学生认知发展水平、理解教育环境和方法的综合理解,表达的是某个国家对自己教育系统所能达到的理想状态的具体思考,带有较浓的理想化色彩且过于抽象,对实际教学缺乏有效的指导。因此,需要重新选择学业质量标准的建立途径。 根据学业质量标准的定义,目前学业质量标准的建立通常有两种途径。一种是以学科知识为载体,通过学科大概念来组织知识内容,建立学业质量标准。随着科技的进步,人类积累的知识特别是自然科学知识越来越多且日益精深。有限的课程容量和“无限”的科学知识这一矛盾愈发凸显。在“少而精”等科学课程设计新理念统领下的概念体系整合即是解决这一矛盾的尝试:各教育阶段科学课程的学习应力图通过少数大概念来整合学科知识,建构统一的概念体系,以促进学生科学素养的连贯发展。大概念(Big Ideas)是一个应用于诸多领域有着丰富内涵的术语,美国科学促进会(AAAS)在2005年对大概念的定义是“能将众多的科学知识联为一致整体的科学学习的核心”。大概念包括共通概念和核心概念:共通概念侧重跨学科内容的组织,而核心概念多用来整合某一学科内的知识。[6]另一种是通过整合跨学科的知识来建立学业质量标准。不过目前这种途径还存在着较大的困难,建立跨学科的学业质量标准并没有明确的依托载体也没有具体研究的证明,这需要心理学,尤其是发展心理学系统研究的支撑,但我国在这些相关领域的研究基础非常薄弱,因此需要能够提供既与国际接轨,又符合本国国情的成果作为理论基础和实证积累,不然会导致标准只是“经验式”的应然标准。 考虑到我国目前的研究基础和研制水平,可以暂时不考虑研制跨学科的学业质量标准,也不研制整个基础教育阶段的学业质量标准,而是研制某个学科在某个学段的学业质量标准。不同学科在学段上的划分可以该学科课程标准的学段划分为基准。 三、学业质量标准建构的新途径——基于认知诊断的学习进阶法 学业质量标准具有阶段连续性和发展性,但我国不同学习阶段的学科课程是分别设计的,小学与初中之间、初中与高中之间都缺乏内在的逻辑联系,导致教学实践中出现大量的脱节现象,这也给我国学业质量标准体系的建立带来了一定的困难。以整合的概念体系为核心、围绕贯穿各教育阶段的少数大概念进行深入探究的进阶学习能够有效解决课程设计存在的问题。在概念体系的基础上,通过学习进阶(Learning Progressions,LPs)的研究与设计提出适合不同阶段学生认知发展的表现期望,从而使学生的科学素养随着学习阶段的延伸实现连贯一致的进阶发展。[6] (一)学习进阶的内涵与特征 学习进阶,又称学习进程,是近年来国际科学教育界的一个研究热点。学习进阶这一术语的正式提出是在美国国家研究理事会(NRC,National Research Council)2005年关于K-12年级科学成就测验的政府工作报告中。虽然到目前为止,学习进阶尚未有统一而明确的定义,但简单说来,学习进阶就是对学生在学习某个核心概念时由浅入深的描述,时间概念的要求较为模糊,有的学习进阶研究涉及从小学到高中的概念发展,[7]而有的学习进阶研究则只针对一门为期八周的课程。[8] 一个完整的学习进阶包括五个基本要素。[9]第一,学习目标(Learning Goals),即学生达到一个阶段进阶终点时的目标表现。学习目标的确定往往需要综合考虑社会对未来公民的期望以及学生接受下一阶段教育的起始要求。第二,发展变量(Progress Variable),它可以是学生对核心概念的理解、应用和练习。研究者通过追踪一个或多个发展变量以测量学习进阶。第三,发展层级(Levels of Achievements),指的是在学习进阶的发展路径中的多个中间层级,这些层级可以反映学生不同阶段的能力发展,是实现终极目标的跳板。第四,学生表现(Learning Performance),即处于不同发展层级的学生在完成任务时相应的表现。第五,测量工具(Assessment),即一套基于假设模型的测量学生发展的工具。学习进阶聚焦于基础而有发展性的学科知识或技能,载体往往是整个知识体系的骨架,能衍生和统领一个领域内的许多知识。学习进阶的定位及建立过程与学业质量标准相似,因此学业质量标准的建立可参照学习进阶的建立过程。 从学习进阶的角度建构学业质量标准是一个新的尝试,比以往推演性研究更加科学有效。不过从学习进阶的角度建立学业质量标准还存在着一些问题。目前学习进阶的建立主要是根据每道题所考查的内容,结合假设性学习进阶,将所有的题目归类于不同的发展层级,得到学习进阶。然而,以题目代替概念为单位进行排序得到的学习进阶不仅粗糙且主观性强,得到的进阶会因题目的改变而改变,结果并不稳定。因此,需要引入新模型来解决这些问题。 (二)基于认知诊断的学习进阶法——学习之路的刻画 测量理论中新兴的认知诊断(Cognitive Diagnostic,CD)理论为解决学习进阶的问题提供了新的思路。认知诊断模型建立在项目反应理论(Item Response Theory,IRT)的基础上,结合了认知心理学与现代测量学,不仅对学生的宏观能力进行评估,还能对其内部微观认知结构进行诊断,是一类以属性为基本分析单位的精细化测量模型。Tatsuoka认为每一道题目后面隐藏了一个或多个更为精细化的诊断信息,即属性(Attribute),学生通过组合不同的属性来解决相关问题。[10]属性是认知诊断研究中的核心概念,描述了学生正确作答特定题目所需的过程、技能、知识和策略。[11] 在认知诊断中,研究者只需界定某一核心概念下的若干属性,题目是属性的组合,以更小的单位——属性进行排序,刻画出学习之路,再结合学习之路以及界定的属性及其层级关系获得学习进阶,得到的进阶更为细致且稳定,再依据学习进阶可建立学业质量标准。 所谓学习之路(Learning Paths),也就是知识状态的层级结构,刻画了存在偏序关系的知识状态之间的关系。[12]刻画学习之路时,主要应用了包含关系的原则(Principles of Inclusion Relations)。包含关系指的是某一知识状态属性掌握模式(Attribute Master Pattern,AMP)的二元向量(Binary Mastery Vector)大于或等于另一知识状态属性掌握模式相应的二元变量。[13]例如,(10100)和(11100)相比,处于(11100)的学生掌握了处于(10100)的学生所掌握的所有属性,且还多掌握了其他属性,(11100)≥(10100),那么可以认为这两个向量存在着层级关系,即(10100)→(11100)。如果将(10100)、(11110)、(11100)按照相同的原则排列起来,则可以刻画出一条学习之路:(10100)→(11100)→(11110)。越靠近学习之路底部的AMP,表明相应的知识状态掌握属性越少,学习水平层次越低;相反,越靠近学习之路顶部的AMP,表明掌握的属性越多,学习水平层次越高。 学习之路反映了知识状态的偏序关系,可以清楚地看出整个学习过程,为晋级到更高层级的知识状态指明了方向。因此,学习之路不仅可以为教师补救性的教学提供依据,还能为学生个体提供可观的、详细的诊断性报告,有利于学生自我补救学习的开展。 四、基于认知诊断的学习进阶法的实证样例研究 化学反应中的热量变化,简称热化学(Thermo-chemistry),是高中阶段化学学习的一个重要大概念,它横跨整个高中阶段的化学学习,除了独立单元学习专门学习之外,还与物质变化、化学反应等相互渗透,对学生认识世界、形成正确的科学观念极具重要性。因此,本研究以热化学为大概念,结合学习进阶和认知诊断理论,设计研究、编制测验并收集数据,使用规则空间模型(Rule Space Model)进行测量[10],以探讨学生对这一概念的认识方式,建立学业质量标准,为教材编写、课堂教学等提供实证数据支持及例证。 (一)属性及属性层级关系的建立 为了建立学业质量标准,需要确定学生在高中阶段热化学领域应获得的知识和能力,即属性。因此,本研究通过对我国现行的高中化学课程标准和3套高中化学教材(人教版[14]、鲁科版[15]和苏教版[16])进行分析获取学生应该具备的知识和能力信息以及试卷编制所需信息。命题人员根据自己对材料的理解,并结合对样本学校老师和学生的采访结果,列出高中生所应该掌握的基本属性和相应的依据,经过多轮的讨论确定了五个属性,具体见表1。 其次,需要进行属性的组合。属性的组合是指把不同的属性进行搭配,在同一个题目中联合考查多个属性。本研究的具体属性组合方式见图1。 最后,命题成员将编制的试题送至样本学校化学学科教师进行审阅以保证试题的质量。最后确定完整的试卷包括24题,所有题目均采用0~1计分方式,答对计1分,答错计0分。 (二)学业质量标准的建立 我们以来自北京和山东两地的725名高二学生(其中有效试卷694份)为例,对如何使用规则空间模型来建立学业质量标准进行了实证研究。研究中主要使用SPSS20.0、ConQuest2.0[17]和RSMPM(Rule Space Model Program in Matlab)[18]进行数据分析。利用包含关系可以刻画出表示属性间复杂进阶关系的学习之路,图2呈现的就是本研究的学习之路图。 从图2中可以找出4条学习之路:第一,(11000)→(11100)→(11110)→(11111);第二,(10100)→(10110)→(10111)→(11111);第三,(10100)→(11100)→(11110)→(11111);第四,(10100)→(10110)→(11110)→(11111)。在这4条学习之路上,学生能力随着属性个数的增加而增加,与界定的属性层级关系相符。结合学习之路以及界定的属性及其层级关系,可获得如图3所示的学习进阶。如图所示,学习进阶大致可分为三个层级,本次测试中没有学生处于层级一,大部分高二学生都在层级二(691人),仅有少量学生(3人)达到了层级三。学生在学习进阶图中分布较为集中,知识状态大多处于中级层次,因此在进行补救性的教学时要注重学生能力的培养,而不是集中在知识、技能的教学上。 由于学业质量标准是依据学习进阶而建立的,因此由上述学习进阶的建立及测量结果可以推演出高中生在热化学上具体的学业质量标准,具体见表2。 也就是说,以热化学为主要大概念的学业质量标准,分为三个表现水平,每个表现水平都有各自的难度临界值,表示学生要达到该水平所需具备的能力水平。各个表现水平都有其各自的具体内容主题、要求和期望。由于本研究只是学业质量标准建立的初次探索,因此整个学业质量标准较短,并没有包含各教育阶段的内容,但本研究结果可作为学业质量标准建立的一个良好借鉴。 五、关于学业质量标准建立的政策建议 学业质量标准的建立是一个新的课题,需要研究者和教育政策决策者共同努力,不断积累理论研究与实践运行的经验,全面系统地建立学业质量标准体系,切实提高教育质量国家标准。基于这样的目的,我们可以尝试从以下几个方面做起: (一)注重学业质量标准的基础理论研究,鼓励和支持学业质量标准的本土化研究 我国在研制学业质量标准所涉及的相关领域的研究基础非常薄弱,学业质量标准与已有内容取向的课程标准不同,涉及教育学、社会学、心理学、教育测量学等一系列领域的研究积累;需要在这些领域的研究能够提供与国际接轨,同时又能符合本土情况的成果作为理论基础。与这个要求相比,我国相关领域的研究显然无法满足这个要求。本土化研究成果积累上的问题尤为突出,学业质量标准研制中众多的理论问题均缺乏本土化研究成果的积淀。这些问题给我国学业质量标准的研制带来了极大的困难。当前,学业质量标准虽然受到了教育领域研究人员和政策制定者的关注,但就需求来说,目前相关研究主要集中在学业质量标准理论方面的问题,对学业质量标准的建立研究相对较少,实证性研究更是匮乏。建立学业质量标准,完善学业质量标准监测体系,提高教育质量,是一个系统工程,需要强大的理论性、基础性、实证性研究来支持。 (二)重视学业质量标准专业学术研究实践团队的构建 与相关研究基础相对应,我国在学业质量标准研制的专家队伍建设以及相关专家的研制水平等方面存在严重不足。长期以来,我国教育领域的研究一直存在过分重视基础理论思辨,轻视或忽视实证取向应用研究的积累和学术队伍的建设。这使得我国在从理论构想到教育实践的转换过程中存在严重不足,尤其是相关学术梯队方面。许多相关领域的专业队伍和相应的专家水平都无法达到国际水准的学业质量标准研制所需要的程度,尤其是在教育心理学、教育测量与评价等领域。因此,可以适当考虑在学业质量标准的研制过程中采用吸纳外国专家参与、聘任和工作的研制机制,聘任相应外国专家作为学业质量标准专家委员会的成员,参与论证、指导或审议学业质量标准的研制方案、中介成果以及工作机制。在学业质量标准研制的工作委员会中也可以考虑聘任外国专家作为成员,实际承担某些部分的研制工作,以弥补我国在相关专业领域研究力量薄弱的问题,以及确保相应研究工作的质量。 (三)加强对学业质量标准研制、测量与评价技术上的支持 为了建立学业质量标准,不仅要在理念上、团队上给予支持,同时要在技术上提供支撑。学业质量标准建立的最大难点在于如何科学地收集、处理分析和评价学生的表现信息,尤其是我国幅员辽阔,地区差异较大,不同地区教育结构与布局各具特色,教育发展模式和发展思路各不相同,带着明显的区域特征,很难在全国范围内实行统一的学业质量标准,所以如何针对不同类型和不同地区的学校提出与之相符的学业质量标准评定指标需要后续更多的理论和实证研究。在获得信息之后,分析与处理数据的工作也需要更多的理论研究和技术支持。具体可借鉴本研究采用学习进阶的方法来建立学业质量标准,深入细致地从数据中得到更多信息,从而为学业质量标准的建立与提升提供更加丰富的政策建议。 不过,尽管从学习进阶的角度建立学业质量标准存在一定优势,但同时也必须看到,学习进阶也有自身的弱点。学习进阶不是自然发生的,而是受人为因素影响的,它依赖于学校和社会等提供的指导性实践,学校课程和社会环境等都会对学生的学习进阶产生影响。因此,本研究建议应在学习进阶的基础上,结合多种技术手段,共同完善学业质量标准的建立。标签:学业水平测试论文;