网络中的化学自适应测验系统的研制,本文主要内容关键词为:测验论文,自适应论文,化学论文,系统论文,网络论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
基于网络的化学自适应测验是在项目反应理论、充分考虑计算机化自适应测验特点的基础上研制开发的测验系统。本文阐述了系统研制的三个主要方面,即后台数据库的建立、前台界面的创建和CGI应用程序的编写,介绍了该测验系统在网络中初步运行的情况,总结了系统的优点,并提示了该项研究的意义。
关于教育测量的理论研究与实践经验都证明,当测试项目的难度与被试能力水平相当时,测验项目所能提供的信息量最大,被试学生接受测试的积极性高,测验结果的效度最好。传统的纸、笔测验结构固化,“千人一卷”;其结果分数所能提供的信息量严重不足,但测量误差却不小。自适应测验根据现代测验理论——项目反应理论,依靠大中型优质试题库,自行去适应被试学生的能力水平,像“因材施教”那样“因人施测”,即灵活施测难度最恰当的项目试题,从而克服传统纸笔测验的上述局限,实现了对被试学生能力水平的准确、高效测量。
一、计算机化自适应测验的理论基础
在自适应测验中,要即时估计考生的能力水平,并针对这种能力水平迅速从试题库中选出最适合的项目,连续进行测试,以达到最精确测量考生水平的目的。估计的根据是利用计算机进行的实时复杂计算结果,其所依据的测量理论是20世纪50年代起才逐渐发展起来的项目反应理论。
项目反应理论(Item Response Theory,IRT)是计算机化自适应测验(Computerized Adaptive Test,CAT)的理论基础。IRT的基本思想是:被试的某种心理属性(能力水平)和他们对项目的反应(正确作答的概率)之间存在一定的关系,这种关系可以用数学形式表示。IRT通过数学模型建立起项目参数、答对概率与被试能力水平之间的关系。IRT的模型不下20余种,可根据实际情况选择适当的模型。目前常用的是三参数Logistic模型:
表示能力为θ的被试在项目i上正确作答的概率,表示项目的区分能力(即区分度),表示项目的难易程度(即难度),表示了猜测的因素。若不考虑猜测因素,,则有双参数模型。在测试过程中,被试在前面测试项目(试题)上的作答情况将决定其下面所面临的项目(试题)。对于被试来说,实际测试的题目的难度应该是适中的,猜测因素很小。
图1 一次CAT结果的标准图形
在计算机化自适应测验中,试题的难度在被试能力水平上下波动,试题提供的信息量大,因此只需少量试题,就可以在较短的时间内测出被试的能力水平,并且效率高,精确度好。图1显示的是测试10道题以后被试能力水平评估的情况。被试答错题后能力评估值减低(如第3、6、8、10题)。竖直线段表示与能力评估相关的误差大小(与此相应的是测验成绩的可信程度)。
二、基于网络的化学自适应测验系统的研制
随着数字技术的发展,网络时代已经到来。单机版的自适应测验在应用方面的局限日益凸显。为了使先进的IRT理论能为更多的教师、学生以及教学研究人员所广泛应用,我们研制了基于Web的化学学科自适应测验系统。该系统的规划见图2。
图2 基于Web的化学自适应测验系统结构规划图
用户在客户端通过Internet与Web服务器建立联系,发出请求;Web服务器接受请求后,调用CGI(Common Cateway Interface,公共网关接口)程序;CGI程序再与数据库建立联系,进行数据处理,然后将处理后的结果返回给Web服务器;最后Web服务器将数据以网页的形式返回给用户。
开发该自适应测验系统主要从3个方面着手:1)建立信息强大的数据库,存储各类试题及其相关信息,存储用户的所有信息;2)创建精美的网页,让用户在客户端通过浏览器,在舒适友好的界面环境下共享题库系统,进行在线自适应测验;3)开发良好的后台应用程序,让Web服务器与数据库服务建立起动态链接,用户可使用交互式方式方便地访问数据库。
1.后台数据库
目前的化学自适应测验系统在研制时使用了Access数据库来建设试题库(打算以后升级为SQL Server数据库),试题库中约有1000余道来自各种大规模正规考试的中学化学(或理科综合)试题。数据库中有item1、item2、item3等关于试题的表:item1用来存放各类试题及其相关信息,itera2用来记录试题被使用的情况,item3则记录有试题的详细解答;item1与item2、item3通过字段“itemID”建立一对一的关系(见图3)。
图3 表item1与item2、item3的关系
在表item1中,“itemID”是区别试题的关键字段(Primary Key),可用来检索试题。第2、3两个字段描述了该试题主要考察的是哪部分知识,具体分类时参考了刘知新先生等学者对中学化学知识的分类:基本概念与基础理论,元素及其化合物,有机化学,化学实验,化学计算,化学与社会生活、生产等6大类。“亚类”是在“类别”的基础上对试题的进一步分类。第4、5两个字段存放试题的难度和区分度指标数值。
根据项目反应理论计算被试考生的能力水平参数需要项目试题的难度和区分度指标数值。教育部考试中心已经公布的试题难度和区分度数值是根据大规模正规考试结果而得到的统计数值,较为可靠,可以采用。对于那些没有统计指标数值的好试题,可以请有经验的教师从3个纬度出发综合评估绝对指标数值,3个纬度分别是考生解题所需的能力层次、学生对试题的熟悉程度、试题本身所提供的信息和干扰。无论是考试中心公布的统计指标数值,还是教师综合评估而得的绝对指标数值,都还需要经过一定的转换,才能适合根据项目反应理论计算被试考生能力水平参数的需要。区分度的转换采用1968年洛德(Lord)和诺维克(Novick)在能力正态分布的假设下导出的关系式:。式中,α表示题目的区分度,γ表示题目得分与测验得分的双列相关系数,即经典测验理论中的区分度。难度的转换,是将试题的通过率(即经典测验理论中的难度)作为标准正态分布曲线下的面积,从而得到相应的Z值。实际工作中还常常再对Z值进行线性转换,转换而得的难度和通过率难度意义相反,数值越大试题越难,其取值范围为-3~+3。
除了关于试题的表以外,还有专门汜录用户信息的表和记录用户留言的表(见图4)。表user1用于存放用户注册信息,表user2则记录用户测试信息,表message记录用户的留言。表user1通过字段“用户名”与表user2、message建立一对多的联系。
此外,还有用来存放计算信息的calculation表等。
图4 表user1与urer2、message的关系
2.前台界面
网上的化学自适应测验系统主要包括注册、在线自适应测验、查看历次测验结果、试题输入、试题查看、讨论留言板、修改个人资料等7个部分。用户注册后,可进行在线自适应测验。点击主页面上的“在线自适应测验”,弹出登录窗口,界面设计如图5所示。用户(或称为被试)登录后,可进行化学自适应测验。
图5 自适应测验的登录界面
3.CGI应用程序
CGI(公共网关接口)是客户浏览器与Web服务器之间进行通讯的一种标准协议。它使程序能够在Web服务器上运行,能从浏览器接受数据,并能以Web页形式传回数据。CGI程序可以用服务器能理解的任何语言编写,如C、、Delphi、VB、Perl等,化学自适应测验系统选择的是VB语言。对CGI而言,指令来自于客户端的浏览器,从CGI接口传送到服务器,再由服务器解释后启动对应的CGI程序,CGI程序通过DAO(Database Access Obiect,数据库访问对象)与数据库建立联系,并进行数据处理,再将处理后的数据返回服务器,最后服务器将数据以HTML格式返回用户。CGI应用程序主要包括:App_Resister(注册时创建用户信息)、App_Enter(用户登录)、App_Item(调题)、App_Judge(判断)、App_Calculate(参数计算)、App_Demand(提供查询服务)、App_Discuss(讨论留言板)等模块。下面以试题调用模块(App_Item)为例,简单介绍具体的程序设计。
App_Item模块的功能是根据被试的作答情况调下一个试题。若被试答对上面一题,则调难度系数略大一点的试题。具体程序如下:
If judge=1 Then ′表示被试答对上一题,要
调难度系数略大的试题
ID=0 ′设置判断的初始值
Setrs=db.OpenRecordset("item")
′打开试题库
Do Until rs.EOF ′查找
If rs! did=0 Then′查找被试没做过的试题
If rs! nandu-nandu>=-0.01 And rs!
nandu-nandu<=0.15 Then ′找难度系数略大的试题
ID=1 ′找到难度适当的试题
daO=rs! da
′读取该试题的答案、难度、
′区分度、题号等
Send(“第”&m+1&“题”)
′向被试显示试题
End If
If ID=1 Then ′找到难度适当的试题
Exit Do
′跳出循环
End If
End If
rs.MoveNext
rs.Close
If ID=0 Then ′没找到难度适当的试题
Send(“题库中没有比这更难的试题了!”)
End If
End If
若被试答错上面一题,则调难度系数略小一点的试题(具体程序从略)。
考虑到具体操作过程中的其他因素,我们在实际研制该测试系统时采用了双参数kogistic模型。
4.实际测验流程
整个测验的流程如图6所示。
图6 测验的流程图
表1 用户kercai的注册信息
表2 用户kercai的测试情况
三、初期运行情况
化学自适应测验系统从2002年3月初在网络中运行,到目前为止,已拥有来自全国各地的数百名用户,测验系统的开放性不言而喻。用户的注册信息如表1所示,该用户2002年3月18日测试的情况见表2(该测验系统最初在网络中运行时,一次测验的长度曾定为20题)。结合表2与图1,不难发现,化学自适应测验系统的研制体现了计算机化自适应测验的思想。
该用户最终(能力水平)得分为69.9分。
四、系统的优点和以后的工作
与传统测验相比,基于Web的计算机化自适应测验具有以下优点:
1)资源共享,交互性好。存在于网络中的自适应测验的用户群是很大的,教师、学生、自学者等都可以方便地使用,同时还可以通过“测验论坛”就测验过程中遇到的问题展开讨论,从而体现了系统的交互性。
2)灵活高效,精确度高。测验灵活,不受时空限制;系统试题库管理灵活,试题便于修改、增删;体现了终身教育和远程教育的优势。在测验中考生遇到的都是与其能力水平“相适应”的题目,与传统测验相比,自适应测验可节约60%~80%的测验时间。CAT能避免出现无助于确定考生能力水平的许多浅显的和难度过大的试题,测验时间短,减少了考生的疲劳程度,从而也减小了测量误差产生的可能,提高了测验的信度。传统测验中“千人一卷”,就中等水平的考生而言,其成绩的测量精确度高;而对于水平较低或较高的考生而言,其成绩测量精确度则较低,且不能加以区分。自适应测验克服了这种缺点,只要终止测验所根据的估计标准误相同,无论考生能力水平高还是低,估计出的能力水平值都具有一样的精确度和可比性。
3)激发兴趣,维护自尊。自适应测验有利于激发考生的兴趣,充分调动考生的积极性。能力水平低的考生不会因为答不出难度大的题目而泄气,能力水平高的考生也不会因为面临一些简单题目而变得骄傲粗心。此外,基于Web的计算机化自适应测验的最终成绩只显示给考生本人,测验成绩的保密性强,能在一定程度上维护考生的自尊。
我们根据项目反应理论研制基于Web的化学自适应测验系统,是一种尝试。配以不同学科的试题库,管理系统也可以很方便地用于不同学科的网上考评。后期的工作主要是试题库的维护和进一步开发、系统功能的完善,Logistic模型所需参数如项目试题的难度、区分度指标数值的修正等。
在国内大多数学科的教育教学实践中,人们通常都还是根据经典测验理论进行测验设计、项目分析与研究的。迄今为止,尚未见到项目反应理论在化学学科教育研究领域内的应用的报道。我们研制基于Web的化学自适应测验系统,是一个面向大众的测验系统(其试题库也是半公开化的),它在测验理论和学科教育教学测量的实践之间架起了一座桥梁。我们希望能有更多的学科教育教学工作者和研究工作者了解、认识和应用先进的项目反应理论。
标签:自适应论文;