基于多模态身体行为信息融合的学生学习兴趣分析方法研究
任 婕
（北方工业大学 信息学院，北京 100144）
摘 要： 对学生学习兴趣分析方法的研究在教学活动中是非常有意义的，但是目前的学生课堂评价体系都不够客观。本文介绍了一种根据课堂中采集到学生身体行为特征，定义了6 种特征动作并叙述其对应的识别方法，并通过多模态信息融合以及层次分析法确定权重，从而计算出兴趣度。
关键词： 兴趣度；身体行为；分类方法；信息融合；层次分析法
0 引言
在当前的教学领域中，评价者不能简单地凭借学生的成绩或者调查问卷去分析学生对课堂的学习兴趣，需要综合考虑学生在学习过程中的多种行为表现，从而为课堂中学生的参与意识和投入程度提供有效的改进意见。
学生的学习兴趣可以通过身体行为体现。课堂中的身体动作，往往能直观反应学生上课的专注程度。而身体动作又可以分为很多种，譬如对举手特征动作的识别，趴桌子特征动作的识别，托腮特征动作的识别，低头特征动作的识别，写字和正坐特征动作的识别。
根据获得的身体行为数据，可以把一个课堂环境下的学生在某段时间的身体行为数据转化为一个一维向量。由于随机森林在解决小样本非线性分类问题中所表现出的分类效果极佳，同时随机森林可以解决分类、函数拟合等其他机器学习问题的特性，所以本文决定采用随机森林算法对所得到的向量进行训练并对参数进行调优，训练得到一个可以分类学习状态的分类器，最终通过多模态信息融合得到结果。
表1 身体躯干关节点的编号及命名
Table 1 Number and name of trunk nodes
图1 课堂环境数据采集示意图
Fig.1 Schematic diagram of classroom environment data acquisition
1 身体行为数据集构建
数据集收集是身体行为分析的基础，以往数据集的收集过程都是参与者自己表演、重现和互动的，只有比较少一部分的数据集是自发的，而且并没有一个数据集是用来专门针对课堂环境中的[1]。因为本研究是区分课堂上身体行为的动作状态，所使用的数据集也必须是来自正在上课时的学生的身体行为数据。在实验视频录制方面，该项目采用的是海康威视的DS-2CC597P 超宽动态针孔摄像机，输出设置为1080p、28fps 的实时图像。
整体有25 名学生参与了这次课堂行为数据的录像——6 名女生和19 名男生。首先保证他们都没有参与到本次论文的研究过程与方法中。这25 名参与者都是横跨中学到大学的学生，年龄在9 岁～23 岁之间。在大量的录制与分析后，研究成员收集了这25 名参与者中50 段举手、趴、托腮、低头玩、写字和正坐的身体行为视频（收集的每个参与者的片段数都是不固定的）。在数据集中，这6 种状态的身体行为剪辑的平均时间长度略多于6s 左右。
图2 归一化后的数据集
Fig.2 Normalized data set
对于收集到的每个片段，研究者将每一个视频数据的片段进行分割，然后对这些视频数据进行标注，这样就完成了对数据集的构建。
2 身体行为识别数据的预处理及特征提取
本研究采用Openpose 去实现特征点的提取，Openpose可以同时追踪捕获多个用户的身体躯干关键点坐标信息。本文将获取的关节点二维坐标信息作为原始数据，每个关节点的空间坐标彼此独立。利用这些关节点坐标数据来构造单帧图片的人体全局特征，再根据所采集的身体动作进行描述[2]。按照本文任务要求，课堂环境和实验设备的设定，胸部以下部位是采集不到肢体坐标信息的，如图1 所示。去除8 号～13 号坐标信息，另外根据1 号坐标x 坐标值不变，y 轴正方向增加200 像素距离作为一个新增点18坐标信息，用于后续行为特征的提取。对应关节点名称详情见表1。
提取关键点坐标之后，以鼻尖作为原点进行归一化，并将归一化后的数据打入标签放入csv 文件中。其中，标签0 为举手、1 为趴、2 为托腮、3 为玩手机、4 为写字、5为正坐，如图2 所示。
3 分类
花卉图案是广彩的主要元素之一，有吉祥寓意谐音的花卉使用非常之广泛，如“蝴”、“蝠”与“福”谐音，有富贵寿考等意。花卉图案一般分为折枝、缠枝两种，其轻松烂漫的风格让画面整体生机盎然，绚丽多彩。
“老师，您喜欢栀子花吗？！我们这里栀子花很常见，以为您这个城里来的老师看不上呢！所以大家都不敢送给您，怕您嫌弃。既然您喜欢，那我们天天给您送，送最大朵、最香的……”
4 多模态信息融合
4.1 融合方法
图3 基于身体行为的多模态信息融合
Fig.3 Multi-mode information fusion based on body behavior
就现在的科技水平和研究方法来说，多模态信息融合方式从数据上来讲，可以分为3 个方向：数据级融合、特征级融合、决策级融合。决策级融合是最高级别的融合，该级别的融合是指在已经拿到由相应分类器得到的初步识别结果后，综合各方结论数据，通过规则的方法再进行决策的过程，该级别对应的就好比是公司的决策者。在这3种融合方法中，只有决策层融合能对不同的特征选其相对应的分类器，有更好的准确性和灵活性。身体行为的数据来自于对教室视频监控数据的分析，根据视频数据在分类器中得出的分类结果，将最终的融合因素分为6 层，对于身体行为的6 个融合因素进行层次分析法的决策融合后，去估计学生的兴趣程度。
本文分别对Sigmoid 核函数支持向量机、多项式核函数支持向量机、线性和函数支持向量机、径向基核函数支持向量机、决策树、随机森林等6 种常用的机器学习分类算法对学生课堂行为进行分类。最终结果表明，使用随机森林算法具有最高的分类准确率89.36%，也说明了本文提出的学习状态识别分类方法的有效性。在后续实验中发现，虽然svm 方法中有两类核函数支持向量机对样本测试准确率很高，但对新数据分类结果并不理想，两类方法对样本数据产生过拟合，泛化能力较差，故采用随机森林分类方法。
由于市辖的县（区）数量并不多，因此对所有县（区）的数据均进行现场复核。由市级水利普查办成立数个复核小组，每个小组负责3～4个县（区）的复核。
在基于身体行为的综合评价模型中，各指标权重的确定是其核心问题。因此，要实现综合评价信息的融合，首先要了解每个属性的影响度可由权重值来表示，权重大的即影响程度大，权重小也就代表影响小。而权重的确定方法可分为主观赋权法和客观赋权法。
表2 重要性权重含义表
Table 2 Significance weight meaning table
图4 层次分析法流程图
Fig.4 Flow chart of analytic hierarchy process
虽然内地有OSCE在护理教育中的应用研究报告，但目前还没有广泛开展。护理专业毕业生临床实习评价、临床护理人员技能鉴定可以借鉴台湾的做法，采用OSCE，而不再只是临床带教教师的简单评语和机械的操作考试，使评价更具客观性、针对性和灵活性。但该项目的开展需要大量人力、物力和财力，只有得到多方面的支持，我国护理教育才能越办越好。
同时，基于以上身体行为的多模态信息融合思想做以下定义：
其中，WA,WB,WC,WD,WE,WF也就是将会在下文提到的权重。
1.1 一般资料 选择同济大学附属同济医院2015年4月至2018年6月收治的卵巢恶性肿瘤58例及卵巢良性肿瘤43例。所有患者术前均未进行手术、放化疗、激素及免疫治疗，按照国际妇产科联盟(FIGO)2014卵巢恶性肿瘤分期标准进行临床分期。58例卵巢恶性肿瘤包括23例浆液性癌、12例透明细胞癌、9例苗氏管癌、7例子宫内膜样癌及7例印戒细胞癌。43例卵巢良性肿瘤包括10例畸胎瘤、10例黏液性囊肿、10例子宫内膜异位囊肿、5例黄体囊肿、4例浆液性囊肿及4例纤维瘤。恶性组患者年龄28～86岁，平均53.62岁；良性组患者年龄25～76岁，平均51.14岁。两组间年龄差异无统计学意义。
4.2 权重分析
一般地，令D={x1,x1,…,xm}表示包含m 个示例的数据集，每个示例由6 个动作描述（例如举手、趴、写字、低头、正坐、托腮），则每个示例xi={Ai,Bi,Ci,Di,Ei,Fi}中，Ai是xi 在A 属性上的取值。即，基于身体行为的多模态信息融合形式化表示为：
土地综合承载力与区域经济协调发展的有效测度，能够反映系统的有序均衡发展程度。本文借鉴离差模型，给出土地综合承载力与区域经济发展的耦合协调评价模型：[19][20]
主观赋权法中的层次分析法（Analytic Hierarchy Process）[3]是使专家决策者对照相对重要性的参照表2 给出指标两两比较的重要性等级，因而可靠性高，误差小，并且经该方法取得的最终结果具有一定的可遗传性，所以决定在权重分析中采用层次分析法。首先由专家对评价指标根据表2 进行两两比较，得到判断。构造了判断矩阵后，再由和积法求该判断矩阵的最大特征值和对应的特征向量。具体步骤如图4 所示。
这里，N 表示身体行为信息融合的结果；m 表示融合对象的个数；A,B,C,D,E,F 分别表示融合对象i 的6 种融合因素。最终，基于身体行为特征的多模态信息融合得到的兴趣度，可定义为：
按照上述步骤可分别求出学生身体行为属性的权重向量为：
表3 身体行为时长检测结果
Table 3 Test results of physical behavior duration
图5 基于本文方法得到的学生学习兴趣度分布
Fig.5 Distribution of students' learning interest based on the method in this paper
5 结果分析
为了验证本文权重计算方法的合理性，以及学生学习兴趣度结果是否能真实反映学生的学习兴趣表现，本文以一段600s 的视频为例，跟踪整个视频中随机抽取的8 名学生的6 种身体行为动作时长（单位：s）见表3。
根据层次分析法得到的6 个身体行为动作的权重关系见表4。
基于文本分析法的身体行为特征融合结果如图5 所示。
最后根据兴趣度具体值的整体分布，取0.4 为阈值，将大于0.4 的归为有兴趣，小于0.4 的归为不感兴趣。再将基于以上算法得出的检测结果分别与自我评价是否感兴趣的客观真值和教师评价学生是否感兴趣的客观真值进行比较[4]，从而计算出本文方法与这两个值比较的比较结果见表5。
表4 权重关系
Table 4 Weight relationship
表5 兴趣分类识别率（%）
Table 5 Interest classification recognition rate (%)
这个表可以很直观地说明通过本文的数据提取以及分类器分类再经过一系列的计算所得到的反映学生在课堂环境中兴趣程度的结果是非常有效并且实用的。
6 结论
首先，本文对教学中学习状态识别的基本思想进行了介绍，详细论述了教学中学习状态识别的特点并论证了可行性。其次，本文介绍了教学中反映学习状态的特征动作，定义了6 种特征动作并叙述了6 种特征动作的识别方法，从而得出了分类器的识别准确率。并经由综合评价信息融合以及层次分析法确定权重。最后，结合实验结果分别与自评和教师评价的客观真值进行比较，同时验证了本文权重计算方法的合理性。
参考文献：
[1]张童.基于多维特征融合的学习者兴趣度评价[D].北京：北方工业大学,2019.
[2]麻皓东,王天昊.基于人脸68特征点中两组特征值进行微笑强度分析[J].2018,25(1).
[3]李桥兴.多属性决策中指标权重确定的理论研究及应用[D].南宁：广西大学,2004.
[4]罗珍珍.课堂教学环境下学生学习兴趣智能化分析[D].武汉：华中师范大学,2018.
Study on the Analysis Methods of Students' Learning Interest Based on Multi-Mode Body Behavior
Ren Jie
（Electronics and Information Engineering, North China University of Technology, Beijing, 100144, China）
Abstract： It is very meaningful to study the analytical method of students' learning interest in teaching activities, but the current evaluation system of students' learning is not objective enough. This paper introduces a recognition method based on the physical behavior characteristics of students collected in class, defines 6 characteristic actions and narrates their corresponding recognition methods, and determines the weight through multi-mode information fusion and analytic hierarchy process to calculate the degree of interest.
Key words： interest；physical behavior；classification method；information fusion；AHP
中图分类号： R445.2
文献标志码： A
DOI: 10.3969/j.issn.1671-1041.2019.12.028
文章编号： 1671-1041(2019)12-0109-04
收稿日期： 2019-10-18
作者简介： 任婕（1995-），女，太原人，硕士，研究方向：图像处理、机器视觉。