从微视角探索提高命题质量之路
梁春绘
(国家开放大学,北京 100039)
摘 要: 影响命题质量的因子很多,无论是经典测量理论还是项目应用理论,都遵循了命题质量的基本原则和基本要求。本文以国家开放大学开展的考试命题质量专项调研为背景,从调研结果和反馈的意见、建议作为出发点,详细叙述了影响考试命题质量的各种因素,然后以考试命题的基本原则为准绳,在难度、区分度、效度和信度四个维度的基础上,融入题库量、题型、题量、考试内容及范围、试卷结构、考试形式、评阅标准等微因子,从微视角探索提高国家开放大学命题质量之路。
关键词: 命题质量;经典测量理论;微视角;国家开放大学
考试工作是检查学生学习质量的重要手段,也是验证教学目标是否完成和教学过程落实效果的重要方法。而命题工作又是考试工作的核心环节,命题质量直接影响学校的教学质量。提高试卷命制水平是每个学校考试工作始终追求的目标,坚持课程标准、体现培养目标、确保试题质量更是考试工作的指导思想。学校往往重视教学过程而忽视命题质量,但考试工作正是检验教学成果的重要手段,因此,命题质量的重要性不言而喻。笔者从提高命题质量的紧迫性和必要性、基本原则、命题要求和影响因子等方面综合考虑,提出适合国家开放大学期末统一考试的命题规范,从微视角提高命题质量。
1)设计运营架构,即从政府、企业以及行业三方着手,调查其涉及的相关业务,在构建运营架构之后协调三方的关系,在确保其具有良好的交互关系后,便可以按照相互协作、管理和投资等关系进行城市运营活动;
一、提高国家开放大学命题质量的紧迫性和必要性
1、背景
国家开放大学在系统内组织开展了为期一个月的考试命题、答卷评阅及形成性考核实施情况专项调研,通过调研,听取了分部对系统统一考试试卷命制工作的意见,了解了答卷评阅和形成性考核实施情况,为学校推进考试改革、加强考风考纪建设,以及教学改革等提供了重要的参考依据。
2、发现的问题
课程考核作为教学质量保证的重要组成部分,此次调研工作的目的,就是要广泛听取分部对系统统一考试命题工作的意见,为进一步提高命题质量,推进考试改革,特别是教学改革提供参考。调研过程中,各分部就试卷命题质量对总部提出了很多问题和建议,问题涉及多个方面,包括考试题型、题量、难度、内容和评阅标准等。具体情况如表1 所示:(附后)
二、命题须遵循的基本原则
无规矩不成方圆,命题也不例外。命题也要遵循一定的基本原则,否则就会影响教学效果评估,进而影响教学过程质量,最终影响学生的学习成果。下面,笔者将从考试标准、试卷结构、试题内容、和试卷编制等方面详细叙述命题环节需要遵循的基本原则。
1、考试标准把握的准确性
完善的考试制度要有一定的考试标准,如何把握考试标准的准确性,一个重要的指标就是看试题的认知层次与考核目标是否一致,换一种说法就是看试题的考核目标是否符合考试大纲规定的要求,是否在考试大纲范围之内。而把握考试标准的具体做法就是准确地控制考试合格分数线。考试合格分数线是根据试题的难易程度确定的。因此,要求试题的难易程度要适中,能够使试卷及格分数反映出“刚达标”考生的基本水平,而且及格分数最好是固定的。
2、试卷结构的合理性
效度是反映考试题目准确性和有效性的指标。通俗地说,效度是考试的有效程度。影响效度的微因子包括考察的内容和范围、评阅标准。提升效度的途径有:一是确保考试内容和范围无误,严格遵守考试教学大纲命题,不能出现超越大纲或不符合科学的题目;二是试卷评阅过程要严格执行评分标准,宽严适度,前后一致,不能出现相同作答内容不同分数以及分数与作答内容明显不符的情况,而且最后分数要核对无误;三是参考答案要有可参考性和可执行性,不能出现模棱两可的答案,影响评阅。
表1 试卷命题质量方面发现的问题
3、试题内容的科学性
试题编制的规范性应体现在以下几方面:一是要统一试题编写规范,尤其是题型设置和题干描述及格式等;二是试题命制过程规范,根据多维细目表命制合适的试题,内容、章节、题量、分数等都要进行合理分配;三是试卷试题答案及评分参考的格式规范,具有实质参考性,而且版面布局要合理,符合学生作答习惯和考试规则。四是试题监印过程要严格,避免在印刷过程中出现影响试题质量的问题发生。
4、试题编制过程的规范性
试题内容作为整个试卷的核心,其本身就不能出现科学性错误和学术性错误,没有偏题或超出大纲要求,而且试题题干表述要简明扼要、用词准确,不会让学生产生歧义。在试题内容命制完成后,反复进行校对,尽量避免一般性错误,坚决杜绝科学性错误。另外,参考答案也非常重要,答案要完整、准确无误,评分标准要明确、恰当、合理,除特殊题型外,尽量体现一定标准性和固定性。
三、从微视角提高国家开放大学命题质量
1、影响命题质量的微因子
从命题质量调研和经典测量理论中可以分析出,影响命题质量的微因子包括题库量、题型、题量、考试内容及范围、试卷结构、考试形式、评阅标准等。
考试内容及范围:它是试题的核心要素,非常重要。考试内容要科学合理,范围要符合考试大纲要求。
题型:试题一般分为客观题、主观题两大类。客观题包括:单项选择题、多项选择题、判断题、配伍题、复合单选题;主观题包括:填空题、简单题、论述题、案例分析题等。一套质量高的试题不能出现太多的题型,一般情况下,以四五种为最佳。
题量:题量是提高试题命题质量的一个重要因素。一般情况,题量要和考试时长相匹配,不能出现段时间内就能作答完毕或考试时间内都无法作答完的试题,否则,影响考核效果。
题库量:对于纸质考试而言,题库量指的是本次考试可以抽取的试题数量,为应对意外情况,一般情况下,都要有一定的备用卷可以使用。对于网络考试而言,题库量指的是每种题型可以随机组卷的数量,一般而言,题库量越大,试题内容的重复率也就越低,也越能降低考试过程中互相抄袭等舞弊行为的发生。
(3)把握难度
信度是反映考试题目稳定性和可靠性的指标。通俗地说,信度是考试结果的可信程度。影响信度的微因子包括题库量和考试监管程度。因此,要想提高国家开放大学命题质量的信度,必须坚持做到两点:一是保证每一门课程都有充足的试题库(一般每学期至少保证4 套试题,有充足的备用卷),考试时随机抽取,考试之前一旦发生有提前泄题行为及时启用备用卷,保证考试顺利进行;二是严格执行学校关于考试的规定,严格监考,并派出专门人员进行巡考,确保考试公平和考试安全。考试结束后试题统一交至各分部,由分部统一安排,集中阅卷。三是完善评分程序,避免出现小数分数等非整数的分数。四是统分和登分要反复确认,避免漏登、错登、谎登等行为。
评阅标准:包括正确答案、分值分配和参考答案等。
2、结合微因子提升和把握命题质量的四个度
根据经典测量理论,信度、效度、难度、区分度这四个度是教育测量学中对于考试中试题答卷评价的四个重点指标。因此,这四个度就成为了衡量一份试卷的质量的重要标准。为了使这这个标准更加完善,下面,笔者以提高国家开放大学纸质试题命题质量为例,就将以上的微因子融入四个度中,提升信度和效度,把握难度和区分度。
就这样,他一遍一遍地说,一遍一遍地纠正我写字的毛病。我18岁那年,村委会主任刘大爷说:“小狮的字已经名声在外了,今年就让她给村里大队写对子吧。”我心气很高,当时就答应了。于是那年我接过姥爷的“衣钵”给村子里写对联,一下子就成了明星,成了书法家,成了大人教育孩子的优秀例子。
(1)提升信度
Serum levels of FSH and LH were also detected.Compared with the control group,there was no difference in serum FSH levels in either the estradiol valerate or KTC groups(Figure 3C).The serum levels of LH were all below the detection limit(<0.1 mIU/mL).
通常情况下,祈使语气的都是具有较高社会地位的人对于其下级或下属使用。在政治类演讲语篇中,演说者的地位都较于听众较高,因此,他们在自己的演说中使用祈使语气代替陈述语气能更好地凸显他们所要表达的观点,体现自己的权威性。
考试形式:一般情况下,考试形式包括闭卷、开卷、半开卷等。
(2)提升效度
试卷结构是整个试卷的骨架,在试卷质量方面显得尤为重要,主要包括考试内容、认知层次、题型题量和难度分布等。笔者认为,一份合理的试卷结构包含以下特点:一是所有的考试内容都在考试大纲的范围之内,并突出重点,而且各章节内容分数比例得当,一般要涵盖该课程80%以上的章节;二是题型能够反映出该课程自身的考试特点,并且各种题型和分值搭配合理,三是题量适中,与考试时间安排吻合;四是试题难易程度适中,排列及分布合理;五是及格线控制准确。总之,在命题设计时,应通过课程命题多维细目表、试卷结构比例表和试卷内容比例表检验试卷结构的合理性,最终体现课程期末考试大纲的各项要求,确保试卷结构的合理性和稳定性。
试卷结构:是指试卷的组成要素之间分配和组合情况。
随着社会经济的发展,人们的生活水平得到了有效的提高,饮食结构的改变,也提高了肺癌的发病率,对人们的生命健康造成了极大的威胁。肺癌是一种原发于呼吸道支气管粘膜上皮的恶性肿瘤,有研究显示,中年男性为发病的高危群体,但是近些年来,女性的发病率和死亡率也出现了逐年升高的态势[1]。目前,临床上主要以临床治疗为主,旨在延长患者的生存时间,并改善患者的生活质量。本次研究中则对检测CA199、CA125、CA153及CEA等指标在肿瘤诊断中的意义进行了更加深入的研究,具体如下。
难度是反映试题对学生知识水平检查的适合程度。通俗地说,难度是一个试题或一份试卷,考生失分的程度。对考试难度的控制,实质上就是对考试平均分数的控制。课程考试的结果应能使大部分学生达到及格以上的成绩,少数人达到优秀,也应有一部分人不及格。理想的成绩分布应是倒钟形,即两头尖,中间大。影响试卷难度的微因子包括题型、题量、考试内容和考试形式等。有效把握试题难度的途径包括:一是取消学生和老师普遍认为太难或者太容易的题型;二是把握好试卷的题量;三是开卷考试形式减少纯记忆题型;四是增加实践性题型。
(4)把握区分度
当我们在岁月里牵手行走,当我们成为了自己人,在面对一个话题时,我们的大脑会判断对方说的是一件小事还是大事,若是小事便会自动去忽略,继而腾出注意力去关注更“重要”的事。
区分度是反映试题有一定的难易梯度,能够考出学生的不同水平。一份试卷对区分度的把握就是让学生之间拉开档次,分出优、良、差,筛选出及格和不及格的学生,而且控制好这个比例。最简便的计算方法是极端分组法,公示为D=PH-PL(-1≦D≦1)其中D 为区分度指数,一般D 在0.35 以上为好题,0.25-0.34 为良好题,小于0.15 为不宜采用题。试题区分度和难度是紧密相关的,但是试题区分能力的评价标准决不等于试题优劣的评价标准,因此,其区分度不是主要提高命题质量需要考虑的因素,而在命制试题过程中要与难度指标进行综合衡量。
对于空间中n维向量a,b,假设a(x1,x2,x3,…,xn),b(y1,y2,y3,…,yn),则多维向量a,b之间夹角的余弦如下:
3、严格规范试题编制工作流程
国家开放大学试卷编制工作流程包括审阅库存试卷、布置命制试卷、试做试卷、修改试卷、审定试卷、修改试卷、专人编排试卷、校对试卷、试卷入库等几个环节。如图1 所示。
图1 试卷命制工作流程图
总之,考试试卷的质量决定着检验教学效果的成败,一份质量高的试卷能够充分反映出教学过程中的问题和亮点,因此,试卷命制工作和教学过程工作一样重要。从微视角考虑提高命题质量可以有效提高对信度、效度、难度和区分度的把握,在试题命制过程中及时检验命题质量,通过考试结果和试题反应情况,发现与教学目标不匹配的各种情况以及教学过程存在的问题,进而预知和避免影响准确检测教学成果的因素,不断改进教学内容,促进国家开放大学教学改革,提高远程开放教育的教学质量。
参考文献:
[1]林文广.高等教育自学考试命题新模式的研究[B].中国考试(理论与实践),2010.01.
[2]俞晓琳.项目反映理论与经典测验理论之比较[J].南京师大学报,1998:35
中图分类号: G643
文献标识码: A
文章编号: 1008-7508(2019)07-0104-03
收稿日期: 2019-02-26
作者简介: 梁春绘(1986-),山东聊城人,国家开放大学教务部科员,研究实习员,教育学硕士,研究方向为现代远程教育。