发挥考试测量的诊断功能，以科学命题反拨教学——高中历史纸笔测试中SOLO评价法的应用研究，本文主要内容关键词为：命题论文,测量论文,纸笔论文,评价论文,功能论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
[中图分类号]G63[文献标识码]B[文章编号]0457-6241(2008)07-0055-05
新课程实施以来，人们对纸笔测试中开放性试题的命制与评分日益关注，因为这种试题在考查学生思维的灵活性和创造性方面、问题情境下知识与技能的迁移与应用方面以及情感态度价值观等非智力因素方面，有着封闭性试题所无法比拟的优势。但另一方面由于开放性试题答案的不确定性，导致评卷结果易受评分者的主观性、随意性影响，从而影响卷面的信度和效度。因此，开放性试题的评分问题一直是学业评价改革的一个难题。
他山之石，可以攻玉。香港大学比格斯(Biggs)教授首创的SOLO评价法，为解决开放性试题的评分提供了良好的思路。比格斯认为，一个人回答某个问题时所表现出来的思维结构是可以检测的，即“可观察的学习成果结构(Structure of the Observed Learning Outcome)”，英文缩写为SOLO，这种思维结构一般可划分为前结构、单点结构、多点结构、关联结构和抽象拓展结构五个层次。这五个层次能反映出学生在回答某一具体问题时的思维水平：前结构层次是指未能形成对问题的理解，回答时逻辑混乱或同义反复；单点结构层次是指仅凭一个论据就得出结论；多点结构层次是指能提供多个思路，但各思路之间彼此孤立；关联结构层次是指能将多个解题思路联系起来，形成多点论据支撑下的结论；拓展抽象结构层次则能够对问题进行抽象的概括，从理论的高度来分析问题，而且能够深化问题，使问题本身的意义得到拓展[1]。这样，就可以对答案中体现出的不同思维层次赋予不同分值，这一理论使对开放性试题进行量化评价成为可能。本文结合广州市中学历史学科在纸笔测试中的SOLO评价法应用实践，论证SOLO评价法在历史学科学业评价活动中的科学性和可行性，并探讨其对高中历史教学的反拨与引导作用。
一、开展实证研究，在大规模水平性测试中运用SOLO评价法
自2005年以来，广州市教研室中学历史学科应用SOLO评价理念，改进命题技术，先后多次在全市的水平性测试(如高中质量抽测及学业水平测试、初中结业考试)和“选拔性”考试(如高考的模拟考试)中进行了开放性试题的命题尝试，为在大规模纸笔测试中应用SOLO评价法的可行性提供了例证[2]。下面以2006年市高二学业水平测试中的开放性试题为例，对SOLO评价法的应用进行分析。
阅读下列材料：
材料一：1919年5月9日清华大学的师生在焚烧日货(见下图)
材料二：“中日关系有很多话要说，但概括起来就是一句话：中日两国人民世世代代友好下去。我们党的十二大强调这一点，说明是中国长期的国策。”
——邓小平论中日关系
材料三：“现在社会上有人提出抵制日货，起因是想表达对日本一些人否认侵略历史等一系列错误言行的不满。实际上，在经济全球化背景下，各国生产要素相互交流、按价值规律进行配置，经济发展已逐步形成了你中有我、我中有你的局面。许多外国品牌是在他国以合资或合作的形式生产的，企业利益交织在一起，这已成为世界各国经济生活中的普遍现象。因此，抵制商品将损害双方生产者和消费者的利益，不利于我们的对外合作与发展。我们相信这部分群众会理智地表达爱国热情，自觉维护社会稳定，把爱国热情转化为做好本职工作、推动经济发展的动力。”
——2005年商务部部长薄熙来就中日经贸关系答记者问
请回答：
(1)材料一中清华大学的师生反日情绪高涨的主要原因是什么？请结合具体史实加以说明。(2分)
(2)为什么今天我们既要继承五四精神，又不赞同当今某些地方存在的抵制日货的行动？根据材料二、材料三以及所学知识加以说明。(8分，不得整段照抄原文)
参考答案：
(1)一战期间，日本加紧侵略中国，提出灭亡中国的“二十一条”；(1分)巴黎和会决定将德国在山东的特权转交给日本。(1分)
(2)中日两国人民世代友好下去是中国国策。抵制日货，不利于两国友好关系的发展；(1分)在经济全球化的背景下，中日之间经济利益交织在一起，抵制日货既损人又不利己；(1分)抵制日货，会造成一些人失业，有可能影响社会稳定。(1分)……
五四爱国精神是一种维护国家主权，促使国家繁荣昌盛的爱国精神，而并非盲目排外或反日；我们应反对“狭隘的民族主义”，从理性爱国的角度思考怎样才能更好地维护国家的主权，促进经济的发展；在经济全球化的背景下，在“和平与发展”主题中，我们应追赶世界大潮，积极主动参与谋求发展。
(本问评分说明：第一部分应从材料二、材料三中提取有效信息。如果只答到其中一点就得出结论，属于单点结构，可得1分。如果答到其中两点以上，但未能将各点加以联系，属多点结构。在上述基础上，能用第二部分任何一种观点进行论述的，属关联结构层次，另加2分……在此基础上，如果表述流畅，论述严谨而全面，并能从理论层面进行分析或用自己语言进行合理概括的，属抽象拓展层次，再加2分。)
这是一道材料问答题，选用了三则材料：一是历史图片，内容为“1919年5月9日清华大学师生焚烧日货的情景”；二是邓小平论中日关系，强调“中日两国人民世世代代友好下去是长期的国策”；三是2005年商务部部长薄熙来就中日经贸关系答记者问时的讲话。第一问，为考查学生基本史实掌握情况的常规设问，需要学生再认、再现“当年五四运动”的基本史实。后一问则是具有较明显开放性特征的问题，它要求学生根据材料论述：为什么我们既要继承五四精神，又不赞同当今某些地方存在的简单抵制日货的做法？
回答第二问时，需要通过阅读材料，获取“当前我国在处理中日关系上的基本国策”“在经济全球化趋势日益加强的背景下，各国经济的运作模式以及我国政府对于抵制日货的基本态度”等信息，然后运用比较、判断、归纳的方法，认识“历史上和当今抵制日货”的本质区别；并对题目给出的观点作出阐释；同时还需要对“新时期应如何继承五四精神”这一历史问题提出自己的看法。
我们认为，运用SOLO评价理念命制的试题，首先应具备这样几个特征：一是设问能体现较清晰的层次性；二是试题具有较大的思维含量；三是评分标准有一定的开放性，不拘泥于标准答案，但又要言之有据，论之有理。上述题目基本具有这样的特征。
作为一道材料问答题，这道题目还突破了传统材料解析题的局限性，不仅仅就材料而论材料、解释材料中所包含的历史现象或历史观点，而是从材料解释向材料应用过渡，即运用材料所提供的信息分析和理解历史现象，并用历史观点分析现实问题、提出自己的看法，从而体现了新课程强调的“论从史出”“联系现实”“注重发展”等特点。与此同时，命题者有意亮出带一定倾向性的观点，使得这一试题既有开放性，又避免了“一放就散、无限开放”的弊病，在一定程度上还“寓教于考”，有效地发挥了“情感态度价值观”方面的教化功能。
本次测试，我们对阅卷及数据分析工作作了全市性统一部署。按要求网上阅卷，并以区为单位对上述题目进行特别的统计分析①。结果表明，各区学生得分差异主要源于考生所提取信息及掌握史实的“量”上，而不是在观点及表述部分。借鉴语文学科作文评分的“两评法”(即两位评卷者同评一份试卷的方法)，我们发现，尽管每位评卷者在阅卷时有自己的看法，但对同一位考生开放性部分答案的评分大致是相同的。在随机抽样的100份“两评”试卷中，57％的评分结果一致；该题满分为8分，在“两评”出现误差的43份卷中，误差在1分的有36份，误差在2分以上的仅仅7份，评分者信度达0.812。考虑到评卷前老师并未接受专门培训，这样的误差值应在可接受范围内，它反映出在评卷者认同SOLO评价理念的前提下，通过“两评”并取平均分的做法，可以较好地解决开放性试题评分的主观性、随意性问题。
二、提高命题技术，在实践中进一步完善SOLO评价法
通过前期有益的探索及宣传学习，我市中学历史学科教师逐渐提高了对SOLO评价法的认同和研究力度。据2007年调查统计，80％的教师认为开放性试题阅卷适合使用SOLO评价法，75％的教师认为SOLO评价在训练学生发散性思维等方面有启发。
然而，在应用实践中，我们发现了这样两个问题：(1)教师认为SOLO评分比传统的“采点得分”方法繁琐，增加了评卷工作量；(2)初期由于答案在关联结构层次与抽象拓展层次的界限设置不够明确，造成评分仍存在一些难确定的因素，因而在惯性思维的作用下，个别教师仍以采点给分的方式评分。针对上述问题，2007年我们对广州市“一模”命题作了如下调整：缩减答案评分的层次，将答案大致分为“量”与“质”两个层次，同时对开放性部分的评分作明确具体的要求，增强SOLO评价法的操作性。以下题为例，再作分析。
阅读下列材料：
材料一：“皇帝常服……袍黄，盘领，窄袖，前后及两肩各织金盘龙一。……天顺二年，定官民衣服不得用蟒龙、飞鱼……并玄、黄、紫诸色。违例奏请蟒衣、飞鱼衣服者……治以重罪。”
——《明史·舆服志》
材料二：“洪武二十六年定，凡大祀、庆成、正旦、冬至、圣节及颁诏、开读、进表、传制，俱用梁冠，赤罗衣……凡亲祀郊庙、社稷，文武官分献陪祀，则服祭服。”
——《明史·舆服志》
——赵连赏《明清官员的补服》
依据上述材料，由表及里地概述明朝官服的信息。(11分)
第一层次信息：皇帝服饰的颜色、样式和饰物均为独享；不同等级官员的官服有不同的规定；文武官员的官服有别(文官饰物为飞禽，武官饰物为走兽)；不同场合的着装有规定。(评分说明：上述内容，每点1分，总分不超过4分，言之有理，根据试评情况统一给分)
第二层次信息：皇帝服饰的独享，反映了皇权独尊；官服的规定，反映明朝严格的等级制度；服饰图案有寓意，反映对官员品行的希望与要求，有教化的功能。(评分说明：上述内容，每点2分，共6分。言之有理，根据试评情况统一给分；表达准确、全面、有序，另加1分)
我们简化了本题的参考答案，将其分成两个基本层次，其中第一层次直接从材料中提取信息，主要考查学生获取和解读信息的能力，得分与否取决于学生对材料所关联的学科知识知道的多与少，其评分基本采用传统的采点得分方式，如学生答题仅限于此，说明其思维层次处于前结构、单点结构和多点结构这三种思维水平。这一层次是“量”的评价。
第二层次是“质”的评价。它要求学生在表层信息理解的基础上，对深层信息深入挖掘，并对事物的本质特征进行相应的概述。如联系“皇帝服饰的独享”，可得出“皇权独尊”的结论；联系“不同等级、不同场合下对服饰的严格规定”，得出“严格的等级制度”和“服饰的教化功能”等结论。这是“论从史出、史论结合”治史方法的要求。
由于对参考答案作了简化、明确的要求，并在一定程度上保留了传统的采点评分方法，使得SOLO评价法的“评卷成本大”的弊病得以弱化，而学生答题中思维层次仍得到有效区分。从全省各地对广州市“一模”试题的评价及市内调查反馈的信息来看，教师普遍认为，SOLO理念下编制的试题“能够体现新课程标准的要求，能够考察出学生的知识、能力与水平”。这种考试，“能够对我们的历史教学起很强的指导作用”，它使历史考试从过去的“机械性”“背诵性”转向“人文性”“思想性”“应用性”“现实性”。
在学生思维能力培养等相关问题的研究过程中，我们发现《2007年历史学科考试大纲》中的四项考核目标与SOLO评价理念有许多神似之处。《2007年历史学科考试大纲》有“获取和解读信息”“调动和运用知识”“描述和阐释事物”“论证和探讨问题”等几方面的要求。我们可以这样理解：“历史科考试大纲”的层次性和递进性与SOLO评价有许多共性的地方。在中学历史学科学业评价中研究与运用SOLO评价理论，不仅能够提高纸笔测试中开放性试题评分的科学性和可行性，同时还对中学历史教学改革起到了良好的导向作用。
三、发挥考试测量的诊断功能，以科学命题反拨高中历史教学
作为教育工作者，我们十分清楚，每一次测验都包含着丰富的信息，充分挖掘这些信息对学生学习的改进和教师针对性的指导至关重要。SOLO评价法对教学的反拨作用首先体现在它的诊断功能上。它不是用简单机械的方式把学习结果划分为对和错两类，而是分析学生各个层次的认知水平，并将其作为实施个性教育和调整教学策略的依据；同时，有利于学生自我诊断，明确学习方向，从而提高学习能力。
将论据与论点，通过合理的论证过程表述出来，正是新课程强调和倡导的“证据意识”的体现，它向一线教师提出了“做一个有思想的历史教师”的要求。试想，一个没有思想的教师，一个没有思维力度的课堂，如何能培养出有思想的学生？
另外，对基本史实的理解与掌握仍是教学的重要目标。新课程对高中学生历史学习能力的最基本要求就是“再认、再现史实”“获取和解读信息”，然而，几次统计数据都表明，学生对于基本史实的掌握水平不理想。这说明新课程下，师生有弱化掌握基本史实的倾向，试想在基本史实记忆不清、认识不够的情况下，如何能做到以史实为据进行合理分析论证？这提示我们，在日常教学中，不能以改革“繁难偏旧”为借口，泼脏水时连孩子也一起泼出去，连最基础的史实记忆也不做要求。正如马世力教授(课标组专家)在给我市高中历史教师培训时所言：实施新课程并不是说不要记忆，我们所要摒弃的是死记硬背，所要提倡的是“活记软背”。尽管SOLO评价法将关注点集中在学生回答问题的“质”而不是“量”上，但没有一定“量”的支撑，“质”亦无从体现。
新课程实施后，将历史材料运用于教学和考试的比例大增。因此，教学和备考中都应加强对史料的分析、运用。值得注意的是，新课程下的测试，注重对材料的应用而不仅仅是对材料的解释，不仅要回答“是什么、怎么样”的问题，还要更深层次地回答“为什么、应如何”的问题。如前一例题中如何看待历史上曾有过的合理现象(“五四”运动时焚烧日货)，为什么那时是理智的爱国行为而现在再这样做就是不理智的、狭隘的？这要求我们在教学中要视野开阔，用历史的观点与方法来审时度势，解决现实问题。此外，为适应新课程“一标多本”的特点，命题所选取的材料很可能对于学生来说是全新的、教材未有或少有涉及的问题情境，如后一例题。因此，在教学中如何教会学生历史的思维方法、培养历史的思维习惯，“授之以渔”以求触类旁通、举一反三，就显得尤为重要。
最后，SOLO评价法还要求在课堂教学中，不仅要消化、理解组成知识的基本概念和史实，而且要关注认知过程，学会形成自己的观点，然后用材料(史实)证明自己的观点。这一认知和感悟的过程，应该成为课程教学的重要环节。对历史的感悟，离不开具体的问题情境，一线教师有必要对课程标准中所涉及的问题一一进行分析，研究它到底包含哪些思维内容，体现了哪些思维层次，用哪些方法可以有效地帮助学生理解人类文明的演进过程，养成言之有据的思维习惯。只有这样，历史思维的培养、训练才有实现的可能。
教学改革是一个不断深化的过程，科学理念需要在教学中不断渗透和内化，对SOLO评价法的认识和运用也是如此。实践证明，纸笔测试中，对于部分考查学生高级思维能力、有着较为明显的思维层次的开放性试题，在“采点得分”的传统评价方式无法进行有效考查，或是用封闭性试题进行考查缺乏信度和效度时，SOLO评价法的运用是必要而又行之有效的。相信随着对SOLO评价法在大规模测试中的反复实验和命题技术的不断完善，人们对SOLO评价理念的认同度和使用率将不断提高，对于学生高级思维能力的考查和学习能力的培养也将更为有效。
注释：
①廖华红：《高中历史纸笔测试中SOLO评价法的运用分析》，2007年广州市中学历史年会论文。