一种基于计算机视觉的课堂行为检测系统的制作方法

本发明涉及数字图像处理技术领域，具体为一种基于计算机视觉的课堂行为检测系统。

背景技术：

近些年来，随着机器学习，尤其是深度学习的突破性发展，结合大数据时代的优势，数字图像信号处理的技术也有了质的飞跃，在人脸检测，人脸识别，头部姿态估计，以及身体姿态检测等各种技术都慢慢的成熟了起来，甚至达到了超越人类本身的水平。

目前，学校对学生进行系统化管理，从而提高学生的学习效率，但是在教师授课的课堂上，学生的听课状态对学习效率起到至关重要的作用，而教师在授课的过程中不能够对每个学生的听课状态进行监督，也不能及时发现，导致学生听课的效率降低。为此，需要设计一种新的技术方案给予解决。

技术实现要素：

本发明的目的在于提供一种基于计算机视觉的课堂行为检测系统，通过对每个学生在课堂上的学习行为进行分析提高学生的学习积极性和学习效率，有助于提高学生的学习成绩。

为实现上述目的，本发明提供如下技术方案：一种基于计算机视觉的课堂行为检测系统，包括智能处理模块、数据采集模块和存储模块，所述智能处理模块分别与数据采集模块、存储模块相连接；所述智能处理模块包括数据处理模块、人体姿态估计模块、座位检测模块和人脸识别模块，所述数据预处理模块分别与人体姿态估计模块、座位检测模块和人脸识别模块相连接，所述人体姿态估计模块包括躯体姿态估计模块、头部姿态估计模块和手部姿态估计模块，所述躯体姿态估计模块、头部姿态估计模块和手部姿态估计模块彼此串联固定连接；所述数据采集模块包括视频采集模块和无线传输模块，所述视频采集模块与摄像头相连接，所述无线传输模块与物联网无线连接；所述存储模块包括视频存储模块、人脸信息存储模块、座位信息存储模块和学生信息存储模块，所述视频存储模块直接与视频采集模块相连接，所述人脸信息存储模块与人脸识别模块相连接，所述座位信息存储模块与座位检测模块相连接。

作为上述技术方案的改进，所述数据处理模块，用于将教室视频信息转化为图像序列，并对图像序列中的图像进行拼接和矫正得到教室的全景图片，然后对人体姿态估计模块、座位检测模块和人脸识别模块的检测数据进行处理和分析。

作为上述技术方案的改进，所述人体姿态估计模块，用于对学生听课时的身体姿态进行检测，检测的部位主要包括头部、左手、右手和颈部。

作为上述技术方案的改进，所述座位检测模块，用于根据人体姿态估计子模块得到的颈部位置信息和教室中所有座位的位置进行匹配，得到学生座位信息，并将学生座位信息储存到座位信息存储模块内。

作为上述技术方案的改进，所述人脸识别模块，用于对学生的面部信息进行检测和录入，并将学生的面部信息储存到人脸信息存储模块内，用于配合座位检测模块对座位和学生一一对应。

作为上述技术方案的改进，所述头部姿态估计模块，用于根据人脸识别模块得到的人脸框位置信息相对于摄像头的偏转角判定学生头部状态，包括左右偏头，低头，抬头和正常状态，根据学生的动作判断学生在课堂中的行为，并将学生的行为存入学生信息存储模块。

作为上述技术方案的改进，所述手部姿态估计模块，用于检测学生上课时手部的摆放姿态和动作，确定学生是否积极举手回答问题。

作为上述技术方案的改进，所述学生信息存储模块内主要包括学生姓名、年级、学生所在班级名称、学生家长的姓名、联系方式、家庭住址以及课堂行为打分。

与现有技术相比，本发明的有益效果如下：

1、本发明方法可以帮助教师在课外时间对课堂中的每个学生上课学习行为的关注，通过对每个学生在课堂上的学习行为进行分析，并在以后的课堂授课过程中对其进行更多关注，提高学生的学习积极性和学习效率，有助于提高学生的学习成绩。

2、本发明通过人脸识别算法自动识别学生身份，通过人体位置和座位匹配获得学生位置，可适应不同地点，学生座位动态变化等复杂多变的场景，提高检测系统的准确性。

附图说明

图1为本发明基于计算机视觉的课堂行为检测系统结构示意图。

图中：智能处理模块-1，数据采集模块-2，存储模块-3，数据处理模块-4，人体姿态估计模块-5，座位检测模块-6，人脸识别模块-7，躯体姿态估计模块-8，头部姿态估计模块-9，手部姿态估计模块-10，视频采集模块-11，无线传输模块-12，摄像头-13，视频存储模块-14，人脸信息存储模块-15，座位信息存储模块-16，学生信息存储模块-17。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

请参阅图1本发明提供一种技术方案：一种基于计算机视觉的课堂行为检测系统，包括智能处理模块1、数据采集模块2和存储模块3，所述智能处理模块1分别与数据采集模块2、存储模块3相连接；所述智能处理模块1包括数据处理模块4、人体姿态估计模块5、座位检测模块6和人脸识别模块7，所述数据处理模块4分别与人体姿态估计模块5、座位检测模块6和人脸识别模块7相连接，所述人体姿态估计模块5包括躯体姿态估计模块8、头部姿态估计模块9和手部姿态估计模块10，所述躯体姿态估计模块8、头部姿态估计模块9和手部姿态估计模块10彼此串联固定连接；所述数据采集模块2包括视频采集模块11和无线传输模块12，所述视频采集模块11与摄像头13相连接，所述无线传输模块12与物联网无线连接；所述存储模块3包括视频存储模块14、人脸信息存储模块15、座位信息存储模块16和学生信息存储模块17，所述视频存储模块14直接与视频采集模块11相连接，所述人脸信息存储模块15与人脸识别模块7相连接，所述座位信息存储模块16与座位检测模块6相连接。

进一步改进地，所述数据处理模块4，用于将教室视频信息转化为图像序列，并对图像序列中的图像进行拼接和矫正得到教室的全景图片，然后对人体姿态估计模块5、座位检测模块6和人脸识别模块7的检测数据进行处理和分析。

进一步改进地，所述人体姿态估计模块5，用于对学生听课时的身体姿态进行检测，检测的部位主要包括头部、左手、右手和颈部。

进一步改进地，所述座位检测模块6，用于根据人体姿态估计子模块得到的颈部位置信息和教室中所有座位的位置进行匹配，得到学生座位信息，并将学生座位信息储存到座位信息存储模块16内。

进一步改进地，所述人脸识别模块7，用于对学生的面部信息进行检测和录入，并将学生的面部信息储存到人脸信息存储模块15内，用于配合座位检测模块6对座位和学生一一对应。

进一步改进地，所述头部姿态估计模块9，用于根据人脸识别模块7得到的人脸框位置信息相对于摄像头13的偏转角判定学生头部状态，包括左右偏头，低头，抬头和正常状态，根据学生的动作判断学生在课堂中的行为，并将学生的行为存入学生信息存储模块17。

进一步改进地，所述手部姿态估计模块10，用于检测学生上课时手部的摆放姿态和动作，确定学生是否积极举手回答问题。

进一步改进地，所述学生信息存储模块17内主要包括学生姓名、年级、学生所在班级名称、学生家长的姓名、联系方式、家庭住址以及课堂行为打分。

本发明的智能处理模块-1、数据采集模块-2、存储模块-3、数据处理模块-4、人体姿态估计模块-5、座位检测模块-6、人脸识别模块-7、躯体姿态估计模块-8、头部姿态估计模块-9、手部姿态估计模块-10、视频采集模块-11、无线传输模块-12、摄像头-13、视频存储模块-14、人脸信息存储模块-15、座位信息存储模块-16、学生信息存储模块-17，部件均为通用标准件或本领域技术人员知晓的部件、其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知，本发明方法可以帮助教师在课外时间对课堂中的每个学生上课学习行为的关注，通过对每个学生在课堂上的学习行为进行分析，并在以后的课堂授课过程中对其进行更多关注，提高学生的学习积极性和学习效率，有助于提高学生的学习成绩。

本发明在使用时，通过摄像头13对教室内的环境进行捕捉，并通过座位检测模块6和人脸识别模块7对学生的位置信息进行记录，并对学生的听课状态进行记录，手部姿态估计模块10在工作时，无遮挡情况时：若左手腕高于左肘且高于左肩，或者右手腕高于右肘且高于右肩，则判断学生在举手；若左手腕低于左肘，左肘低于左肩，且左手腕、左肘和左肩之间的夹角大于设定角度，或者右手腕低于右肘，右肘低于右肩，且右手腕、右肘和右肩之间的夹角大于设定角度，则判断学生站立；有遮挡情况下：若左手腕高于鼻子，或者右手腕高于鼻子，则判断学生在举手，确定学生是否在回答问题，头部姿态估计模块9在工作时，若头部状态为左右偏头，则判定学生行为是与人交流或向外张望；若头部状态为低头，则判定学生行为是玩手机或写字；若头部状态为抬头，则判定学生行为是正常听课；若检测不到头部状态，则判定学生行为是趴着睡觉，最后将学生的行为信息储存在学生信息存储模块17内。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。