基于课堂视频的学生课堂参与度分析系统的制作方法

本发明具体涉及一种基于课堂视频的学生课堂参与度分析系统，特别涉及一种多维度多模态融合的学生课堂参与度评估方式，对学生课堂参与度设立的指标进行量化分析，综合分析学生课堂参与度情况。

背景技术：

随着计算机技术的发展，教育信息化在课堂教学领域上的应用越来越广泛，而教师和学生作为教学活动的一个完整的有机体，存在着相互联系，相互促进的关系。学生根据教师的讲解，做出的实时反馈，可以有效地反应教师讲解的质量和教学成果的优劣。对学生课堂参与度进行分析，可以反映教师的授课风格，教学方式以及学生对于课堂内容的接收和理解程度，对于衡量课堂的教学效果具有相当的参考价值。课堂行为动作作为一种综合性较强的评估方式，要求从学生层面进行探讨，研究教学活动的指向性，教学模式的可操作性，教学结构的完整性，教学规律的稳定性以及教学内容的灵活性。学生动作通常由授课教师发起，通过肢体动作的描绘，面部表情的变化，语言风格的转换，吸引课堂上的学生参与某个知识点或疑难问题的讨论，从而激发学生的学习兴趣，提高课堂的教学效果。然而，传统的评估方法面对大量的课堂教学案例时，缺少有利的评估指标，且存在速度慢，准确性低等问题，具有一定的主观性，会受到评价者本身的认知水平限制。利用信息化技术评估师生行为，对教学视频进行自动学习分析，是智慧课堂发展的大势所趋，可以更智能高效的评估学生的课堂行为。

注意力被归类为认知投入的因素之一，是指人的心理活动指向和集中于某种事物的能力。注意力就是在忽略干扰的情况下认知对信息的持续关注能力。在教育领域，注意力反应在课堂教学中就是指学生专注于课堂内容的集中程度，持续注意力或警觉性是用来描述长时间保持注意力集中的能力。比如在教师在课堂上讲课的时候，教学研究的重点通常是确保学生的注意力集中，因为持续的注意力是评估课堂学习效果的一个重要因素。学生课堂注意力集中程度是学生听课状态的直接反馈，也是衡量课堂教学质量的重要指标。传统的注意力评价方法主要有问卷调查，视觉观察进行手动编码，也有些利用利用脑电图(electroencephalography,eeg)、脑磁图(magnetoenphalography,meg)等提取分析生理信号的方法，还有一些基于面部情绪的情感检测来评估注意力水平，但这些方法都比较片面，技术成本相对较高。

课堂参与度可以通过学生对课堂问题的回答情况，学生对教学内容的响应情况来衡量。传统的课堂参与度情况一般只能通过随堂记录，这同样会耗费较多人力和时间，并且大多数情况下无法得到每个学生的具体参与度；此外，学生对课堂内容的理解情况也是课堂行为信息分析中的重要内容：学生对课堂内容理解的越充分，授课效果越好。然而，传统方法只能通过课后测验等机械性手段对课堂内容的理解程度分析，这既缺乏实时性，也缺乏对于不同学生实际情况的考虑。

自动化学习分析正在成为教育界的大势所趋，需要有效的系统来监控学习过程并向教师提供实时的反馈。深度学习算法和计算机视觉方法的不断进展使得通过对课堂视频的分析自动监测学生的课堂行为和情感状态成为可能。从教学视频中提取用于分析学生课堂行为的有效特征和数据非常关键，为避免人为干预以及减少复杂度，将深度学习等智能化的技术方法应用于其中。借助特征提取和特征分析方法，可以更科学地对师生的行为数据进行更全面的整合分析，再利用贴合的分类识别算法，提炼出一套融合了课堂行为的图像，动作，语音信息的综合评估方法。这种评估方法不同于传统的主观性打分方式，更加富有客观性，更加全面立体，同时也是智慧课堂评估走向深度化的一种初步尝试。

基于上述分析，本发明使用先进的传感器设备，结合相关数据分析的技术，提取有效的特征数据，对学生课堂参与度设立的指标进行量化分析，能够全面客观的反应课堂不同学生的课堂表现，并可作为教师教学的参考。

技术实现要素：

发明目的：本发明目的在于基于课堂视频，学生课堂参与度分析方法，研究一种多维度多模态融合的学生课堂参与度评估分析方式，对学生课堂参与度设立的指标进行量化分析，全面客观的反应课堂不同学生的课堂参与度状况，并可作为教师教学的参考因素。

技术方案：一种基于课堂视频的学生课堂参与度分析系统，包括学生课堂注意力评估模块和学生举手发言情况评估模块；

所述的学生课堂注意力评估模块：用于评估学生课堂的注意力集中情况，将注意力划分为三个不同的等级；

所述的学生举手发言情况评估模块：用于统计每个学生课堂举手的次数以及起立发言的次数；

所述的学生课堂注意力评估模块包括注意力等级与课堂行为特征相关性分析模块和注意力等级分类模块；注意力等级与课堂行为特征相关性分析模块获取学生肢体骨骼以及面部特征与可观察到的学生行为之间的相关性；注意力等级分类模块提取相关特征进行深度神经网络分类器的构建，对不同等级的注意力集中水平进行分类；

所述的学生举手发言情况评估模块包括课堂举手发言模块和学生语音定位模块；

所述的学生举手发言情况评估模块通过定义相关关节点之间的角度和坐标位置给出了两种常用的举手姿势，来识别学生举手动作；通过判断身体位移变化定义起立回答问题动作；学生语音定位模块根据麦克风组成的麦克风阵列对音频进行采集，根据麦克风接收音量的强弱分析出声音的来源。

进一步地，所述的注意力等级与课堂行为特征相关性分析模块通过观察视频文件中的学生在不同注意力等级下的行为动作，寻找与注意力等级相关的行为。

进一步地，所述的注意力等级与课堂行为特征相关性分析模块获取学生在上课时存在的典型动作，将这些特定的行为归纳为以下几个方面：做笔记，托头，前倾，后仰，注视黑板，东张西望。所述的特定行为与注意力水平之间的相关性ra(u)计算公式如下：

其中，m为学生人数；总时长为t；k(t)为当前时间的注意力水平,u∈{1,2,3}分为3个等级；a(t)表示是否发生特定行为a(t)∈{0,1}，0表示无行为，1表示有特定行为；ra(u)表示发生该特定行为与注意力水平为u之间的相关性。

进一步地，还包括一台kinect传感器，红外深度摄像头捕捉人体的深度图像信息，获取学生的骨骼，肢体姿态数据，麦克风阵列获取过滤处理过的语音信息，通过声源定位确定不同位置学生的课堂发言状态。

所述的典型动作关联到kinect数据，从kinect中提取得到6个标准化的特征：头部位移、身体倾斜、面部角度、视线方向、闭眼和张嘴。

进一步地，所述的注意力等级分类模块中的特征处理方法，为了减小学生个体之间的差异性，计算所有信号的方差和标准差，对信号进行归一化和标准化的处理。

所述的归一化和标准化公式如下：

m表示待处理的原始值，μ表示均值，maxvalue表示最大值，minvalue最小值，σ表示标准差，m’表示经过归一化和标准化之后的值。

进一步地，针对由于kinect追踪过程会出现追踪丢失而导致特征集中存在少数缺失值的情况，使用k最近距离邻法对缺失值进行填充。通过计算欧式距离的方法选取距离缺失值样本最近的k个样本，将k个值加权平均来估计该样本的缺失特征数据。

所述的注意力等级分类模块中将获取的数据特征构建深度神经网络(deepneuralnetworks,dnn)分类器进行注意力等级分类。所述的dnn分类器结构为3个隐藏层，神经元数目分别为10、20、10，将sigmod函数作为激活函数。

进一步地，提取kinect传感器获取骨骼肢体数据中的左肩部关节、左肘部关节和左腕部关节坐标数据，定义两种举手发言姿态。

所述的第一种举手发言姿态，左肩部关节、左肘部关节和左腕部关节分别为s，e，w三个点，所构成的三角形中三个边长分别为se，ew，ws，通过余弦定理计算出两条手臂之间的的夹角，如若在设置的阈值范围之内，则判断为举手姿势。

所述的第二种举手发言姿态，判断左腕部关节点和头顶的相对位置，如若左腕部关节点在y轴方向上的坐标值大于头顶，则判断为举手姿势。

所述的学生起立回答问题，学生起立回答问题时身体会有较大的位移波动，以人体骨骼的颈部为基准点，绘制该点随时间的位移变化，并设定阈值范围来识别起立回答问题动作。

所述的语音定位模块使用4个独立水平分布在kinect下方的麦克风组成的麦克风阵列对音频进行采集。根据麦克风接收音量的强弱分析出声音的来源，设置kinect的声音接收覆盖角度为100度。

有益效果：

1、传统课堂监测评估方法一般采用人工记录的方式，时间长速度慢，并且监测的工作量很大，缺少有利的评估指标，准确性低，具有一定的主观性，会受到评价者本身的认知水平限制。本发明采用kinect传感器，利用传感器对学生的骨骼点信息进行捕获，进行相关的数据特征提取。不仅优化了监测的途径，而且在技术层面有了改进。

2、本发明将课堂教学视频作为记录课堂教学过程的载体，将深度学习技术应用于课堂教学分析领域，构建分类器，并达到了较好的分类效果。同时从图像和语音两个层面多模态融合形成相关的指标，从多方面客观评估不同学生课堂指标，具有较高的可信度和可行性。

附图说明

图1为本系统的结构模块图；

图2为kinect特征数据与学生行为关联图；

图3为分类器结构图；

图4为举手姿态定义图；

图5为统计学生课堂举手次数流程图；

图6为声音定位示意图；

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

如图1所示，基于课堂视频的学生课堂参与度分析系统分为学生课堂注意力评估模块和学生举手发言情况评估模块两大模块，其中学生课堂注意力评估模块又包括注意力等级与课堂行为特征相关性分析模块、注意力等级分类模块，学生举手发言情况评估模块包括课堂举手发言模块和学生语音定位模块；

所述的注意力等级与课堂行为特征相关性分析模块获取学生肢体骨骼以及面部特征与可观察到的学生行为之间的相关性。通过观察视频文件中的学生在不同注意力等级下的行为动作，寻找与注意力等级相关的行为。学生在上课时会存在一些典型的动作，将这些特定的行为归纳为以下几个方面：做笔记，托头，前倾，后仰，注视黑板，东张西望。假设m为学生人数；总时长为t；k(t)为当前时间的注意力水平,u∈{1,2,3}分为3个等级；a(t)表示是否发生特定行为a(t)∈{0,1}，0表示无行为，1表示有特定行为；ra(u)表示发生该特定行为与注意力水平为u之间的相关性。

计算公式如公式所示：

根据上述典型动作从kinect中提取得到6个标准化的特征：头部位移、身体倾斜、面部角度、视线方向、闭眼和张嘴。如图2所示为kinect特征数据提取过程。其中头部位移表征头部位置的变化，变化在垂直方向y轴上具有代表性；身体倾斜主要包括前倾和后仰，用于对上身姿势的判断，分别计算从头部到脊椎y方向和z方向上的位移，计算倾斜角度，再进行标准化；面部角度用于面部朝向方向判断，分别计算从面部在xyz三个轴上的旋转角度，再进行标准化；视线方向表示眼睛注视的方向，计算眼睛参考点与瞳孔中心之间的距离以及它们之间的连线与坐标轴形成的角度，通过角度判别视线方向的估测；闭眼主要对应于学生低头做笔记的行为，表现在面部动作单元的左右眼闭合；张嘴对应于学生打哈欠欠的行为，表现在面部动作单元的颌骨打开。

对采集到的数据进行特征处理，在kinect追踪过程会出现追踪丢失的情况，导致特征集中存在少数缺失值。本文使用k最近距离邻法对缺失值进行填充。通过计算欧式距离的方法选取距离缺失值样本最近的k个样本，将这k个值加权平均来估计该样本的缺失特征数据。由于动作的持续性和注意力的延续性，将对整个时间段做分段平滑处理。为了减小学生个体之间的差异性，计算所有信号的方差和标准差，对信号进行归一化和标准化的处理。使用深度神经网络进行分类时，避免数值问题，使网络快速收敛。再使用高斯滤波器进行平滑处理。

所述的注意力等级分类模块提取相关特征进行深度神经网络分类器的构建，对不同等级的注意力集中水平进行分类。将所述的6个特征(头部位移、身体倾斜、面部角度、视线方向、闭眼和张嘴)作为输入端，注意力水平作为标签构建dnn分类器。如图3所示为分类器的结构图，设置dnn分类器3个隐藏层，神经元数目分别为10、20、10。其中将sigmod函数作为激活函数。

所述的学生举手发言情况评估模块包括识别举手和起立回答问题两个方面。通过定义相关关节点之间的角度和坐标位置主要给出了两种常用的举手姿势，如图4所示。第一种情况，左肩部关节、左肘部关节和左腕部关节分别为s，e，w三个点，所构成的三角形中三个边长分别为se，ew，ws，通过余弦定理计算出两条手臂之间的的夹角，如若在设置的阈值范围之内，则判断为举手姿势。第二种情况，判断左腕部关节点和头顶的相对位置，如若左腕部关节点在y轴方向上的坐标值大于头顶，则判断为举手姿势。如图5所示为统计学生课堂举手次数的流程图。

所述的学生起立回答问题主要体现在起立的姿势，起立回答问题时身体会有较大的位移波动，以人体骨骼的颈部为基准点，绘制该点随时间的位移变化，并设定阈值范围，统计学生上课回答问题的次数以及起立回答问题的时长。

所述的学生语音定位模块，从语音信息方面，为了获取学生回答问题的内容以及判断是哪位学生进行发言，使用4个独立水平分布在kinect下方的麦克风组成的麦克风阵列对音频进行采集。根据麦克风接收音量的强弱，可以分析出声音的来源，kinect的声音接收覆盖角度为100度。学生分别位于kinect的不同方向且在kinect的声音接收覆盖角度范围之内。通过创建可视化界面，如图6所示，直观获取当下时间是否有学生回答问题以及回答问题学生的具体方位，统计学生回答问题情况。

上述实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围，即在此范围内的等同替换改进，也在本发明的保护范围之内。