基于数据驱动的在线学习表示模型构建研究_绩效目标论文

数据驱动的在线学习表现模型构建研究，本文主要内容关键词为：在线论文,模型论文,数据论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。

      中图分类号：G434 文献标识码：A 文章编号：1008-3006(2015)03-0035-07

      学习表现指的是某个学习者可被观察的学习行为(包括学习投入和学习产出)的聚合。这里的聚合，不是简单相加，也不是全部罗列，而是在一定分类框架下的求和、计数、求平均等运算。获得每位学习者的学习表现，是教师评价学习者学习程度、调整自身教学计划的决策基础。学习表现与学习绩效关系非常密切，是评价学习绩效的基础。

      2011年以来，在美国顶尖大学中迅速发展起来并广泛影响世界的MOOC(大规模开放在线课程)逐渐发展成为在线学习的成功应用典范。MOOC模式表明只有当教学各要素包括课程资源、课堂教学、师生交流、学生练习等系统、完整呈现，并由辅导教师提供各种学生支持服务，在线学习才表现出一定的效果[1]。不同于以往的开放教育资源运动，MOOC既有优质资源的共享，更有学习支持服务的提供。这就带来一个矛盾，即全世界学习者选择学习名校课程的需要与名校有限师资的矛盾。以MOOC提供组织之一的edX为例，它曾经开设的“Circuits and Electronics”(6.002x)课程有155 000名学生注册，教学团队仅有12名教师[2]。此时势必要借助各种技术手段来自动完成一些教学任务，如答疑、学习提醒、评价学习成绩、调整教学计划等。要让计算机完成这些任务，首先要能让计算机自动获知每位学生的在线学习表现，这就要为计算机建立一个在线学习表现模型，并提供一套在线学习模型构建算法。

      教育的本源始终都以学生的发展为核心，教育质量需要从学生的知识、技能、态度等的提升作为衡量标准，也就是将学生的学习绩效作为衡量教育质量的核心[3]。在线学习情境下，辅导教师虽然不能像在面授教学上那样亲眼看到每位学生的学习表现，但是学习平台却能记下教室所不能记下的学生做出的各种行为包括登录平台、浏览资源、做作业、参与讨论等等。基于这些数据记录，辅导教师可以间接了解到每位学生的学习表现，并基于这些表现做出客观的学习评价。可以说，通过在线学习平台对学习过程的记录，描绘出学生的在线学习表现进而做出自动评价的做法不仅是可能的，而且在缓解“庞大的学习者群体与紧缺的教师资源”方面也是必要的。

      事实上，与“学习表现”这一术语近义的“学习绩效”在学术领域使用的更多，研究的更为广泛。我们可以从“学习绩效”的相关研究中获得一些启示。

      到目前为止，国内对于“学习绩效”仍然没有形成一致的定义，不同的学者有不同的理解角度。在已有评价学习绩效研究中，所提出的评价方案并不像概念那么复杂、模糊不清，而是做了简化处理，更具操作性。学习绩效评价体系以提高学习者学习绩效为目的，通过确定相应的学习绩效指标来衡量学习绩效的高低。范敏、岳延兵利用信息函数对试题进行选择，通过网络和数据库技术，构建了基于Web的学习绩效评测系统，并通过实践证明采用此系统能够有效的测量被试的知识和能力水平[4]。佘高波将学生学习绩效测评的方式和内容改为“期评成绩=出勤(10%)+平时成绩(20%)+读书笔记成绩(10%)+大作业(30%)+期末理论考试成绩(30%)+加分(10%)”，并且在湖南冶金职业技术学院的营销专业和财会专业共计7个班级试点学习绩效新测评体系，取得了积极效果[5]。吴慧将大学生学习绩效评价指标体系的一级指标确定为学习能力、学习态度、学习行为和学习产出。

      为了确保指标项的可操作性，进一步将一级指标项细化为二级、三级指标[6]。石娟研究了基于问题的Web-CKB学习绩效评价系统，评价内容包括学习行为和学习成就，运用电子量规和电子学档在华景小学开展学习绩效评价的教学试验并验证了此评价系统的有效性[7]。

      从上述研究中我们可以看出国内学者对于学习绩效的评估体系主要包含两部分：一部分是学习成绩；另一部分是学习成就。学习成绩主要是学习行为、学习任务和学习目标等，而学习成就包含学习态度、学习能力和学习满足等。一些有关学习绩效影响因素的研究中则直接将学生认知成绩如课程学习成绩均值作为“学习绩效”。可见，从现有的学习绩效评价现状来看，对学习成绩包括各种学习行为以及各种学习任务的成绩等可观测的对象进行收集、统计，完成学习表现模型，也可在一定程度替代学习绩效评价。在线学习条件下，各类学习行为以及各种学习成绩均有记录，为开展快速而有效的学习表现建模提供了数据基础。

      总的来说，学习表现是学习投入和产出之和，而学习绩效追求的是低投入高产出。可以看出，二者都包含投入和产出，不同的是，学习表现注重投入和产出的质和量，是一种“求和”的做法；学习绩效则注重效益，试图得到一种比值。学习表现相对简单，更易观察，在数字学习时代，这是一种可以计算的概念，而学习绩效则是一种难以计算的概念。我们可以通过研究学习表现，进而分析学习绩效。

      二、研究设计

      本文依托我国大型网络高等教育机构——国家开放大学的在线学习网(http://www.ouchn.cn)，以世界上普遍使用Moodle平台为例，选取在这个平台上开设的纯在线学习课程为样本，通过分析Moodle平台数据结构，采用数据查询语句分析课程在线学习行为日志数据，自动构建学习表现模型，并在一门课程范围内验证该模型应用于学习绩效评价的可行性。

      Moodle是目前世界范围内使用最为广泛的开源学习管理系统之一，得到了广大师生的普遍认可。这个平台的日志功能较为完善，较为完整地记录了用户在平台各模块上包括讨论(Forum)模块、资源(Resource)模块、作业(Assignment)模块、Wiki模块等发生的多种行为(浏览、写入、修改、删除等)，并存储在在线学习行为日志数据表(mdl_log)中。这些完善的日志为基于学习过程数据挖掘的在线学习自动评价带来可能。选择基于Moodle平台的在线学习作为研究对象，所需的分析数据易于采集且非常丰富，研究成果更具迁移与推广价值。课题基于当前世界上应用非常广泛的开源学习管理系统Moodle，研究成果及平台插件易于被使用同类平台者借鉴采用，并与国际上的同类研究展开对话。

      本文的研究样本是“国开学习网”学历教育媒体辅助英语教学课程。在该课程中，学生学习完全基于Moodle平台开展，并由辅导教师和教学管理人员提供各种学生支持服务。所有学与教的过程均记录在平台中，为构建完整的学习表现模型提供保障。

      三、研究过程与讨论

      整个研究过程分为两个阶段，第一步是以在线学习行为日志数据为驱动构建学习表现模型；第二步是将模型应用于学习绩效评价，检验模型的有效性。

      (一)学习表现模型

      学习表现的模型，肯定不能是所有学习行为在数量上求和，那样太过简单，但也不能是所有学习行为的罗列，无法判断学习表现处于何种状态。构建学习表现模型，需要对所有学习行为进行一定程度的聚合，聚合程度和方法取决于在线学习行为的结构。

      1.认识模型的基础元素——在线学习行为

      一般我们这样描述一次在线教学(学习)行为：小李在2012-2-1 12∶11∶00浏览了“学生支持服务”课程“资源模块”编号为1的资源。这样一次行为，记录在Moodle平台的mdl_log日志表中，它的基本结构如表1所示。

      

      通过上述行为日志，一个行为由中心谓词和各种体词构成。中心谓词“动作”，与之相关的体词，包括用户、时间、所属课程、所属模块、操作对象编号等。我们能够了解某个动作与其体词之间的种种语义关系，如动作主体、动作客体、发生场所、发生时间等。以上述日志为例，动作是“view”，动作主体是Li，动作客体是“资源1”，动作发生场所是“resource”模块，动作发生时间是2012年2月1日。

      2.形成一个初步模型

      学习表现是由行动和成果来体现的。我们首先可以简单认为学习表现Y即为所有行为数量X，即：Y(学习表现)=X(学习行为)

      那么，在媒体辅助英语教学这门课程中，对“在线学习行为日志数据表”的学生编号为分类字段，汇总方式为计数，进行分类汇总，得到初步的学生学习表现，如表2所示。

      

      由表2，我们可以说，学生401的学习表现是708次，这显然过于抽象，教师无法知道这里面的细节，学生到底参加了哪些学习活动，完成了哪些作业，得到了多少分数。学习表现的数据最终要用于学习评价，这里我们无法判断学生403的398次与学生404的423次孰优孰劣。这就需要我们对一股脑儿技术的学习行为进行分类，并分别计数，将呈现出学生在各个方面的表现。

      3.进一步深化模型

      对于学习表现(设为Y)而言，可以进一步看做是一个各类学习行为数量(设为

构成的向量，它包括多个维度，一个深化的模型如下所示：

      

      通过“在线学习行为日志数据表”的“所属模块”字段，我们先来了解Moodle平台中的在线学习行为的分类情况。选取媒体辅助英语教学课程一个学期的在线学习行为日志数据，以“所属模块”为分类字段，汇总方式为计数，进行分类汇总，得到有日志记录的16个模块(其实在Moodle中有25个模块，一些未被用到)，进一步提取体现有效学习行为的分类模块，得到如表3所示结果。

      

      基于表4所示的学习行为分类，我们可以进一步具体化学习表现模型，如下所示：

      

      从表4这里看出，这两位在一些行为模块上表现差不多，如resource、workshop。但是，教师仍然无法确认，到底是resource行为模块的31次好，还是resource模块的33次好，需要进一步了解每个模块数字背后的细节。当然，这不是要求将每个模块的所有日志列出，这样教师也看不过来，而需要对每个模块上的行为进行一定程度上的聚合。

      

      4.聚合各模块在线学习行为

      要对每类行为进行聚合，仍然离不开表1所示的“在线学习行为日志数据”。以某个学生在“resource”模块的学习行为日志为例，我们首先通过“动作”字段，来对“resource”模块的行为进行进一步细分，一般会有如表5所示“动作”。

      

      对于学生而言，主要是“view”这个动作。通过“学习行为日志表”中的“发生时间”、“操作对象编号”等字段，我们可以进一步了解“view”这个动作的细节，如看了多少种资源，即动作“广度”，每个资源看了多少次，即动作“深度”，用了多少天时间，即动作持续度。由此我们可以得到各模块在线学习行为的聚合模型。

      X=(广度，深度，持续度)

      具体到资源模块，可以表达为：

      

=[浏览资源的种数，浏览每种资源的平均次数，浏览资源所用时间(单位：周)]

      对于不同的行为模块，聚合模型又略有区别。再以使用最为频繁的forum模块为例，学生在forum行为分类模块的主要动作类型如表6所示。

      

      此时，在该模块，既有“view”(读)的动作，也有“add”(写)的动作，此时可以将论坛模块聚合时细分为“读论坛”和“写论坛”。具体的聚合模型是：

      

=[浏览讨论主题个数，浏览每个讨论主题的平均次数，浏览主题用时(单位：周)]

      

=[参与论坛数，在每个论坛的平均发帖数，论坛发帖用时(单位：周)]

      对于“写论坛”这类行为，除了广度、深度、持续度外，还将有“结果”这一维度，因为“发帖”行为不仅在log中有行为记录，在相应的论坛类数据表中还有对帖子的记录，帖子的内容就是行为的结果。对于有结果记录的行为，其聚合模型有所扩展，如下所示：

      X=(广度，深度，持续度，结果)

      具体到“写论坛”，就是：

      

=[参与论坛数，在每个论坛的平均发帖数，论坛发帖用时(单位：周)，(帖子字数，贴子所包含的术语数)]

      按照上述聚合模型构建方法，对前文中的11个模块行为进行细分为37个聚合项，将得到最终的基于学习行为聚合的学习表现模型，

      Y(学习表现)=

      

=(提交作业个数，平均每个作业的行为次数，作业用时(单位：周)，作业总分)，

      

=[浏览讨论主题个数，浏览每个讨论主题的平均次数，浏览主题用时(单位：周)]，

      

=[浏览资源的种数，浏览每种资源的平均次数，浏览资源所用时间(单位：周)]，

      

=[(提交互动评价作业数，评价他人作业数)，每个互动评价的行为频次均值，互动评价作业用时(单位：周)，互动评价作业总分]

      借助这个模型，我们再来比较一下前面两个学生403和404的差异，如表7所示。

      

      通过这一聚合模型，我们可以看到这两位学生在每类行为上的细节。以resource为例，403在资源浏览广度上优于404，在持续时间上则不如404；在论坛方面，403在广度、深度、持续度以及结果上都不如404。

      (二)应用学习表现模型

      前文构建的学习表现模型能够反映出每个学生的学习表现细节，可以作为开展学习绩效评价的基础。这里，我们以在线课程媒体辅助英语教学为样本，依据学习表现模型生成一份学习成绩单，并与该课程辅导教师所给分数进行一致性检验，以评估学习表现模型应用于学习评价的可行性和有效性。

      我们先不给各个模块以及每个模块的各个聚合维度赋予权值，而是简单求和，来实现所有模块的所有维度聚合。

      1.聚合项得分归一化处理

      要使每个模块的每个维度能够相加，我们需要将每个模块的每个维度取值进行归一化处理，作者将其全部转化为[0，1]之间的取值。以某个模块的某个维度为例，先取出全体学生在这个模块的这个模块的最大值，以这个最大值为分母，计算所有学生取值的相对值。经归一化处理后，学生403和404的学习表现模型如表8所示。

      虽然在workshop模块403的行为频次多于404，但是通过聚合项计算，403的表现不如404，并且这是可靠的。可见，细化模块、建立聚合模型的必要性。

      

      2.以学生为单位对所有聚合项求和

      经归一化后，就可以对学生表现得分简单求和，得到所有学生的学习表现得分。如表9所示。

      

      3.自动评分与教师打分的一致性检验

      能否应用于评价，我们可以检验一下此次得到的学习表现综合得分与辅导教师最终给出的学生得分的一致性。如表10所示，是机器自动打分和辅导教师评分对照表。

      应用SPSS19.0对上述两个得分进行双变量相关检测，两者在0.01水平上显著相关，相关系数高达0.926，表明二者具有很高的一致性。如果能对一些重要的活动赋予更高的权重，其相似程度会进一步提高。这将作为后续研究的内容，此次检测表明，学习表现模型能够作为学习评价的基础数据。

      四、研究结论

      本文选择Moodle平台为例，以一门纯在线课程为样本，基于此平台在线学习行为日志数据构建在线学习绩效模型。该模型基于日志数据动态生成，不同课程会有所不同。

      学习表现模型分为两个层次，第一层次为模块层，第二层次为每个模块所有行为的聚合层，聚合维度包括广度、深度、持续度、结果等四种。基于本文所选样例媒体辅助英语教学课程所生成的学习表现模型包括11个模块的一级层次和37个聚合项的二级层次，构建了一个“1-11-37”结构的学习表现模型。模型构建后，作者将该模型各聚合项得分归一化后初步应用于样本课程的学生学习绩效评价。基于模型第二层次37个聚合项求和得到的学生自动评分与学生实际课程得分的相关性检验结果是在0.01水平上显著相关，相关系数高达0.926。这充分表明，本文基于在线学习行为日志数据动态构建的在线学习表现模型可以较好的描绘学习者的在线学习表现，成为快速而准确自动评价学习者的基础。

      当然，要将该模型进一步转化为可信且有效的学习绩效评估模型或者是学习评价指标体系，还需要在文献研究和实践需求基础上进一步构建评价指标体系，末级指标取分与学习表现模型聚合项对应起来，通过AHP法人工获得初步权重，然后在实际课程中检验其效度，比较自动评价得分与实际得分的一致性，并利用回归方程来校正各指标权重，最终在更大课程范围内推广应用。

      

标签：绩效目标论文;  课程评价论文;  绩效管理系统论文;  聚合数据论文;  教师评价论文;  教学评价论文;  moodle论文;