关键词：教学评估、过程性评估、大数据、人工智能、评估体系重构
一.项目背景介绍
教学评估工作是高校教学教研的核心问题，传统教学评估存在以下几个问题：
1.采用纸质+手工统计方式，工作流程信息化水平不够， 采用网上评教加督导纸质听课表统计的半手工方式，人工成本高流程繁琐。纸制评价记录未全部实现数字化。
2.重视结果轻过程：考核成绩是教师评估结果的汇总，无法了解教师在教学教学研过程中的差异，缺少过程性评价。
3.主观性强，客观性弱：主观性评估受环境、情绪因素影响较大，需要同时借助客观数据来辅助进行评价分析。
4.评价反馈滞后：评教结果在年终考核时才能够反馈给教师，教师难以在整年的教学过程中获得实时反馈，及时调整教学教研计划。
基于以上几个高校普遍存在的痛点，与院校共同开展了本研究项目—基于大数据的教师教学评估系统。教师工作的复杂性决定了教学评估应该是一个定性与定量相结合的过程，通过构建过程性评估体系，将动态的过程性评估与静态的结果性评估相结合。
教学评估系统要解决的主要问题是：
1.过程性评估信息的记录与存储
2.通过过程性评估判断教师的教学教研情况
3.通过多元评价为教师提供及时有效的反馈
4.基于具有一定时间跨度的、连续的评估结果和数据变化展示教师的成长过程
以上4个问题为核心，本项目的建设思路是：
1.设计理念：遵循系统高可拓展性、全量数据采集与存储、应用大数据分析优化的系统设计理念
2.设计目标：从创新与发展角度进行规划，在提升目前业务效率的前提下考虑未来的系统兼容性。
3.服务对象：以教务人员、教师为中心，在尽量降低教师工作量的基础上，提供良好的用户体验。
4.数据安全：可靠的安防及备份容灾措施，保证数据隐私及安全。
二.数据来源
本项目的数据来源包括从高校教务系统提取、学校要求上报的工作量纸质文件统计，提取了近5年的历史数据，包括：
1.学生评教数据：学生对所有课程所有教师的评价结果，高校一般通过问卷方式下发纸质文档，学生填写完毕后回收统计，录入系统。
2.同行及领导听课数据：教师对教师以及上级领导抽查听课的结果评价数据。
3.学生成绩数据：每位学生所有课程的考试成绩
4.教师工作量数据：主要包括各为教学活动的工作量，如：理论教学、实践教学、实验教学、毕业指导、临床带教、考试工作量等等。
5.教师教学数据：主要包括课程资源、课堂考勤、提问、练习、讨论数据、课后辅导答疑情况、作业试卷批改情况等等。
6.教师教研数据：主要教师在本年度参与的科研项目，如项目类型、项目等级、项目级别、承担任务、获奖情况等等。
7.教师年终考核数据：教师年终考核、评级中最终认定的结果数据，做为机器学习训练的基础。
三.数据处理
1.数据处理方法：
拿到的7类数据，数量极不平衡，如教学工作量数据、教学数据因没有硬性管理要求，数据量极小。在其它类别数据中也存在大量缺失数据。在数据量小并且确实数据多的情况下，对缺失数据的填充极其重要。基于统计学原理，根据初始数据集中其余对象取值的分布情况来对缺失值进行补齐。
本项目中主要使用平均值填充。对数值型变量，根据其他对象取值的平均值来填充。对于非数值型变量，使用众数原理，使用其他所有对象取值次数最多的值来填充。总之填充的依据是使用现存数据的多数信息推测缺失值。
2.探索性数据分析的运用：获取的原始数据杂乱无章，看不出规律。通过查看各项变量的分布情况，变量之间的关系来发现数据中潜藏的规律。
3.特征缩放：首先进行归一化处理。归一化可以将不同维度不同量纲的数值表达转换为无量纲的数字表达，成为纯量，减少方差大的特征的影响，在后续的分析中可以简化计算，使模型更准确。主要使用 z-score 标准化方程。
四.分析方法
综合评估模板的运用：
因为每个学校的评估标准不同，并且最终的产品目标是商业化，就要考虑需要设计灵活的评估模板，来承载各个院校不同的考核需求。每个院校的数据采集维度不同，模板会根据实际数据情况自动按分类生成。比如按上面采集到的数据分为6类，每类分别设置权重与分值。权重与分值设置可以到极小的颗粒度，如教师在不同等级的报刊杂志发表论文考核得分不同。
期刊文章分类查询,尽在期刊图书馆
这一步面临一个很大的困难，如果学校没有形成标准成熟结构化的考核体系，对评估模板的设置会无从下手。考核分值与权重设置缺乏科学依据。标准的考核体系需要院校花费很大精力去研究。在这个项目中，院校同步对考核体系做标准化。
综合评估方法：
依据院校给出的评估标准，基于某学年某学期，对教师6类数据分别计算得分。对所有教师的评分进行排名。
主成份分析法：
围绕教师收集的数据维度越多，找出影响教师评估结果的关键因素的难度越大。我们试图通过主成份分析法进行降维处理，找出对评估结果影响最大的几个关键变量。
院校的要求是教师评估结果需要符合正态分布，因此分析的重点是考察所有教师的考核结果分布是否呈现正态分布。如非正态分布就需要对教师的教学形为进行干预与调节，以达到期望的效果。比如督促教师提升对学生的课堂辅导工作数量，提升科研项目的数量也水平，想办法提升学生与同行的评价。
机器学习方法的运用：
基于院校年终考核数据，运用机器学习算法对教师数据建模，对下一年评估结果进行预测。以优质教师教学教研行为为依据，可以对下一年每位教师的教学教研情况进行跟踪与预警。将不同教师的完成情况进行横向对比。
项目使用2018年春秋2个学期，共10000多条数据进行模型训练，将数据集随机分为训练集与测试集，来对比各个模型的优劣。使用MSE(Mean Square Error)来对比差异，与测试集预测变量的差异越小，模型越好。模型测试精确度高达80%。
在变量的选择上，使用优子集选择法(Best Subset Selection)，对所有预测变量的所有可能组合分别进行拟合，选择出最优模型。
如何知道解释变量存在共线性或多重共线性？可以通过计算VIF(Variance Inflation Factor 方差膨胀因子)，通常VIF为5或10时，意味着共线性成为一个问题，本项目中通过去掉冗余变量解决。
五.模型评估
模型的优劣取决于我们选择哪些变量做为解释变量，解释变量间是否存在(多重)共线性，是否使用对数转换等等，最终可以通过以下3个指标来检验：
1.通过计算预测偏差，MSE越小越好。
2.计算VIF，值越小越好。
3.计算置信区间，区间越紧越好。
六、项目中碰到的问题
在系统实际使用过程中，碰到的最大的问题就是数据搜集。除了一些易于记录与维护的数据外，如考试数据、教学评价数据，其它诸如教学工作量、教研数据等在院校的实际工作开展中，很难采集。在院校信息化平台建设中，存在使用多个甚至是十多个信息平台的情况，各系统间数据独立不互通。同时教师也增加了额外负担，需要在多个平台上进行数据维护。院校缺少统一的数字化平台来实现各个平台间的数据共享。
要想推进项目的实施，解决数据采集的方案之一是与各个平台做数据对接，前期成本高工作量大工期长，并且存在很高的不确定性。方案二是让教师录入相关数据。方案二无疑会增加教师的工作量，系统设计中秉承最大化降低教师工作量的前提下，尽量减少教师操作流程。
随着项目的推进，如果评估结果得到院校的认可，并能够得到大面积的使用，那么则可以考虑与各个平台的对接工作。在可以得到确定成果的基础上，持续投入，不断迭代平台与算法。
七、项目总结
本项目的初衷对传统结果导向性教学评估的一种改革尝试， 院校领导希望可以通过大数据与人工智能技术来实现结果性评估到过程性评估的探索，这需要有打破传统思维模式的勇气，需要各个院系教师的支持与配合。
项目的开展需要最大化的减少教师工作量，循序渐进的改变现有的工作方式。经过与各个院系的沟通，决定先选2个院系进行推广。让教师看到切实的益处。最终目的是通过教学评估方式的转变，提升教学质量，让教师和学生都受益。
参考文献：
高校教学评估效能的特性及因应策略——一项基于数据、调查和观察的新发现[J]. 刘振天. 现代大学教育.2014(06)
如何正确认识本科教学审核评估[J]. 李志义,朱泓,刘志军. 中国大学教学.2012(10)
跨领域的终身机器学习算法研究[D]. 黄卓彬.华南理工大学2017
大数据下的在线机器学习算法研究与应用[D]. 朱熙文.西南交通大学2017
论文作者:赵晶
论文发表刊物:《教育学文摘》2019年9月17期5批次
论文发表时间:2020/4/2
标签：数据论文; 教师论文; 教学评估论文; 变量论文; 工作量论文; 项目论文; 院校论文; 《教育学文摘》2019年9月17期5批次论文;