一种联合课堂场景的学生课堂行为检测和学情分析方法

本发明属于智能教学，更具体地，涉及一种联合课堂场景的学生课堂行为检测和学情分析方法。

背景技术：

1、随着人类教育教学活动的信息化、智能化，科技赋能教育，利用智能化信息监测评估课堂教学质量逐步已成趋势。课堂学生行为检测是衡量学生课堂学生学情的重要途径，从视频或图像的高维采样数据中挖掘出其内蕴的学生不同行为的表达，可分为基于分类的行为识别方法、基于检测的行为检测方法、和基于骨架的行为检测方法。

2、基于分类的行为识别方法主要通过在已检测的时空框中解析和判别视觉特征，识别出对应的目标。该类方法归一化学生大小，便于网络学习拟合，但严重依赖于人体检测的准确性，并忽略了空间上下文信息的支撑；基于检测的行为方法通常将课堂行为检测看作目标检测任务的应用，检测图像内多个小学生课堂行为，这类方法的优点在于可端对端实现，但缺点在于对于小目标(如后排同学)的检测率会因分辨率不足受到影响；基于骨架的方法考虑行为的主要载体为人体骨架，利用生成的骨架信息，检测识别人体行为，然而该类方法严重依赖于骨架的推断准确率，并无法区分与环境进行交互的交互行为，如“看书”和“写字”。综上，面对课堂学生行为的数据集少、高交互性、尺度变化大等难题，当前方法性能尚有欠缺，制约了实时课堂学生行为检测和课堂质量评估的发展，亟需一种综合考虑场景的学生课堂行为检测与学情分析方法。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种联合课堂场景的学生课堂行为检测和学情分析方法，其目的在于解决课堂学生行为的数据集少、高交互性、尺度变化大的问题，以提升检测性能。

2、为实现上述目的，按照本发明的一个方面，提供了一种联合课堂场景的学生课堂行为检测方法，包括：

3、s1.获取不同课堂场景下的课堂视频，并对视频图像中的学生课堂行为进行标注，构建与课堂场景相关的课堂行为数据集；

4、s2.将faster rcnn的主干网络替换为swin transformer，作为课堂行为检测网络；

5、s3.利用构建的与课堂场景相关的课堂行为数据集，对课堂行为检测网络进行迭代训练，得到训练好的课堂行为检测模型；

6、s4.利用训练好的课堂行为检测模型检测目标视频中的学生课堂行为，并根据不同的课堂场景类别对检测到的学生课堂行为进行分类，得到学生课堂行为类别。

7、进一步地，学生课堂行为包括：看黑板、看学生、看老师、讨论、回答问题，写字、阅读、拍照、玩手机、用电脑、吃东西、喝东西、睡觉、打哈欠、伸懒腰、开小差、小动作、未知和其他。

8、进一步地，课堂场景包括：“授课场景”、“回答问题场景”、“随堂测试场景”、“学生授课场景”四种场景。

9、进一步地，获取的课堂视频具有真实多样的课堂环境，包括晴天、雨天、阴天不同的光照条件；普通教室、多媒体教室、大教室、小教室的不同型号的课堂教室，以及各类课程不同班级的课堂学生。

10、进一步地，课堂行为检测网络包括swin transformer网络、区域候选网络模块、感兴趣区域池化层和全连接层；

11、其中，swin transformer网络作为主干网络用于特征提取，输出特征层；

12、区域候选网络模块，用于根据特征层输出候选区域；

13、感兴趣区域池化层，用于将候选区域映射到特征层对应的区域，生成固定维度的感兴趣区域特征层；

14、全连接层，用于对感兴趣区域特征层提取特征，进行目标的分类与回归的预测。

15、进一步地，学生课堂行为类别包括积极行为、中性行为和消极行为。

16、本发明还提供了一种联合课堂场景的学生课堂行为检测系统，包括：

17、数据集构建模块，用于获取不同课堂场景下的课堂视频，并对视频图像中的学生课堂行为进行标注，构建与课堂场景相关的课堂行为数据集；

18、课堂行为检测网络构建模块，用于将faster rcnn的主干网络替换为swintransformer，作为课堂行为检测网络；

19、课堂行为检测模型训练模块，利用构建的与课堂场景相关的课堂行为数据集，对课堂行为检测网络进行迭代训练，得到训练好的课堂行为检测模型；

20、学生课堂行为分类模块，用于利用训练好的课堂行为检测模型检测目标视频中的学生课堂行为，并根据不同的课堂场景类别对检测到的学生课堂行为进行分类，得到学生课堂行为类别。

21、本发明还提供了一种基于上述检测方法的学情分析方法，包括：统计学生在课堂内持续一段时间内的学生行为属性，得到学生学情分析的量化结果。

22、进一步地，采用如下公式对学生学情进行量化：

23、

24、其中，0<β<α<1，npositive、nneutral、nnegative分别为积极行为、中性行为和消极行为。

25、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。

26、(1)本发明采用改进的faster rcnn网络模型，利用swin transformer可建立空间上下文信息关系，并放大细节，便于识别交互行为与距离较远的学生行为，提升检测性能。

27、(2)本发明的课堂行为分类，在常规课堂行为分类的基础上，进一步进行划分，有助于在不同课堂场景下课堂行为性质的确定，特别是在不同课堂场景下学生表现的相同行为动作，具有不同的课堂行为性质，有利于加强对课堂行为类别性质的细粒度划分，从而更加精准地评估学生的听课情况。

28、(3)本发明提供提出一种学情分数的量化指标，实施跟踪学生学情情况，利于教师能够更加直观迅速地观测到学生的听课情况，从而对自己教学进程的安排、教学内容难易程度的把控及时调整

技术特征：

1.一种联合课堂场景的学生课堂行为检测方法，其特征在于，包括：

2.根据权利要求1所述的一种联合课堂场景的学生课堂行为检测方法，其特征在于，学生课堂行为包括：看黑板、看学生、看老师、讨论、回答问题，写字、阅读、拍照、玩手机、用电脑、吃东西、喝东西、睡觉、打哈欠、伸懒腰、开小差、小动作、未知和其他。

3.根据权利要求1所述的一种联合课堂场景的学生课堂行为检测方法，其特征在于，课堂场景包括：授课场景、回答问题场景、随堂测试场景和学生授课场景。

4.根据权利要求1所述的一种联合课堂场景的学生课堂行为检测方法，其特征在于，获取的课堂视频具有真实多样的课堂环境，包括晴天、雨天、阴天不同的光照条件；普通教室、多媒体教室、大教室、小教室的不同型号的课堂教室，以及各类课程不同班级的课堂学生。

5.根据权利要求1所述的一种联合课堂场景的学生课堂行为检测方法，其特征在于，课堂行为检测网络包括swin transformer网络、区域候选网络模块、感兴趣区域池化层和全连接层；

6.根据权利要求1所述的一种联合课堂场景的学生课堂行为检测方法，其特征在于，学生课堂行为类别包括积极行为、中性行为和消极行为。

7.一种联合课堂场景的学生课堂行为检测系统，其特征在于，包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一项所述的联合课堂场景的学生课堂行为检测方法。

9.一种基于权利要求1-6任一项所述检测方法的学情分析方法，其特征在于，包括：统计学生在课堂内持续一段时间内的学生行为属性，得到学生学情分析的量化结果。

10.根据权利要求9所述的学情分析方法，其特征在于，采用如下公式对学生学情进行量化：

技术总结
本发明公开了一种联合课堂场景的学生课堂行为检测和学情分析方法，属于智能教学技术领域。课堂行为检测方法包括：对不同课堂场景下的视频图像中的学生课堂行为进行标注，构建与课堂场景相关的课堂行为数据集；将Faster RCNN的主干网络替换为Swin Transformer，作为课堂行为检测网络；利用构建的课堂行为数据集，对课堂行为检测网络进行迭代训练，得到训练好的课堂行为检测模型；利用训练好的课堂行为检测模型检测目标视频中的学生课堂行为，并根据不同的课堂场景类别对检测到的学生课堂行为进行分类，得到学生课堂行为类别。本发明可识别出课堂内多种行为类别，降低行为检测误差，并判断学生一段时间内学情情况，加强课堂教学质量评估，支持智慧课堂的发展。

技术研发人员：张征,冯姿悦,张芷君,钟胜
受保护的技术使用者：华中科技大学
技术研发日：
技术公布日：2024/1/12