一种基于时空特征的课堂行为检测方法

本发明属于图像处理与计算机视觉，涉及一种基于时空特征的课堂行为检测方法。

背景技术：

1、近年来，随着计算机视觉和人工智能技术的不断发展，我国有序的推进智慧校园的建设，逐步构建以智慧教学、智慧管理、智慧生活为特色的校园。而学生课堂则是构建智慧校园中最关键的一环，学生课堂的质量由多方面决定，包括教学设计、课堂实践、教学评估等，其中教学评估是对教学设计与实践的反馈。

2、传统的教学评估中，一般会有评估老师在后排对老师上课情况和学生上课状态进行评估。但由于其视野上的限制，难以观察到学生上课的具体状态，因此这样的方式是不全面且不客观的。随着智慧校园的建设，大部分的校园都已安装了摄像头，我们可以使用先进的计算机视觉技术进行学生课堂行为的自动识别，辅助教学评估的完成。

3、课堂行为检测是指利用计算机视觉、机器学习等技术自动检测和识别学生在课堂上的行为。传统的视频行为检测算法往往通过利用建议区域或者关键帧来完成工作，这类方法在一定程度上降低了算法的复杂度，但对于存在尺度变化、遮挡等问题的教室视频中往往很难检测到。

4、现有的主流行为检测方法主要分为双流网络和基于三维卷积的网络，并在近几年取得了较大的提升。然而，双流网络中光流只包含了短时间的时序信息，对于目前视频的长时间建模效果并不理想，对于类间差距较小的学生行为类别不能够进行有效地区分；三维卷积虽然在时序信息提取上获得了较大提升，但是需要消耗大量的计算资源，模型体量较大，检测速度较慢，难以运用到教室场景中。如何减少网络体量使得可以实现教学场景中行为检测具有重要的研究意义。

技术实现思路

1、为解决上述技术问题，本发明提出一种基于时空特征的课堂行为检测方法，包括以下步骤：

2、s1、从待进行行为检测的教室视频中挑选出三帧关键帧，对关键帧进行灰度化处理后按照rgb三通道进行拼接，得到包含运动信息的三通道时空图像；

3、s2、将darknet-19网络作为特征提取器，通过darknet-19网络的多次卷积和池化操作提取三通道时空图像的不同尺度的特征，并消除不相关信息，最终将提取的特征压缩成一个一维向量，并传递给全连接层，通过softmax函数得到初步建议区域；

4、s3、将初步建议区域通过逐帧堆叠纵向扫描线以形成二维矩阵，得到时空映射图stmap；

5、s4、将时空映射图stmap进行初始化，并使用改进的dmd算法进行分解，将分解结果输入到输入时空特征提取器中获得运动信息波动特征图；

6、s5、以目标检测网络yolov5为基础网络，将运动信息波动特征图输入到网络中进行检测，并进行后处理，输出视频中目标的行为检测结果。

7、本发明的有益效果在于：本发明采用三通道时空图像，将教室视频的时序信息融合到二维图像中，并且通过小型特征提取器darknet-19和全连接层获取初步建议区域，有效减少计算量，通过生成stmap能够有效对三通道时空图像的建议区域信息进行有效划分，提高网络的特征提取效果，同时通过时空特征提取器能够获取stmap中的时序信息，从而获取学生目标的时序特征，对相似行为具有更好的鉴别效果。

技术特征：

1.一种基于时空特征的课堂行为检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于时空特征的课堂行为检测方法，其特征在于，所述关键帧，包括：将视频以k为间隔的视频帧设定为关键帧，所述k＝0，1，…，n。

3.根据权利要求1所述的一种基于时空特征的课堂行为检测方法，其特征在于，通过softmax函数得到初步建议区域，包括：

4.根据权利要求1所述的一种基于时空特征的课堂行为检测方法，其特征在于，将初步建议区域通过逐帧堆叠纵向扫描线以形成二维矩阵，得到stmap，包括：

5.根据权利要求1所述的一种基于时空特征的课堂行为检测方法，其特征在于，所述时空特征提取器，包括：

6.根据权利要求1所述的一种基于时空特征的课堂行为检测方法，其特征在于，所述s4具体包括：

7.根据权利要求1所述的一种基于时空特征的课堂行为检测方法，其特征在于，将运动信息波动特征图输入到网络中进行检测，并进行后处理，输出视频中目标的行为检测结果，包括：

8.根据权利要求7所述的一种基于时空特征的课堂行为检测方法，其特征在于，所述置信度，包括：

技术总结
本发明属于图像处理与计算机视觉技术领域，具体涉及一种基于时空特征的课堂行为检测方法，包括：将教室视频中以K为间隔挑选三帧关键帧并进行灰度化处理后按照RGB三通道进行拼接，形成包含运动信息的三通道时空图像；以DarkNet‑19为特征提取器获取三通道时空图像的特征，增加全连接层输出初步建议区域；将初步建议区域的三通道时空图像通过逐帧堆叠纵向扫描线获取STMap；将STMap进行初始化，通过时空特征提取器中获得运动信息波动特征图；以目标检测网络YOLOv5为基础网络，将运动信息波动特征图输入到网络中进行检测，并进行后处理，得到检测结果。本发明有效减小网络的计算量，提高细粒度学生行为检测的准确率。

技术研发人员：高陈强,朱常杰,陈欣悦
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/14