一种基于人脸特征的课堂质量监控系统的制作方法

本发明涉及图像通信领域，特别涉及一种基于人脸特征的课堂质量监控系统。

背景技术：

现有的课堂实时监测系统并未对学生的状态进行多维度分析，例如中国专利cn109684984a中，公开了一种适用于课堂教学的表情识别方法，包括下述步骤，利用摄像装备对教室情况进行实时录制，获取到教室实时视频信息；对实时视频信息进行处理，获取学生面部影像信息，并对面部影像信息消失时间进行判定；当学生面部影像信息消失时间大于预设时间值t1，则判定该学生处于走神状态，并统计该学生的走神率；本发明通过设置摄像装备，能够对教室内的实时情况进行监控，并利用摄像装备结合处理装置，检测人脸为出现的时间，当某一学生的人脸未出现时间超过预设值时，则会自动判定该学生处于走神状态；反之则认为是正常停顿，获取低头做笔记等活动；通过此方法可以有效的检测到学生在上课时是否走神。

但是使用上述方案，需要学生一直保持一个姿势进行听课，因此对学生状态的判断误差较大，这样得到的课堂实时监控的信息的可信度也不高。

技术实现要素：

本发明所要解决的技术问题是如何提高课堂质量监控系统的准确度。

本发明解决上述技术问题的技术方案如下：一种基于人脸特征的课堂质量监控系统，包括：数据采集模块、人脸识别模块、模型分析模块和输出模块；

数据采集模块用于获取视频文件和数据文件并发送到人脸识别模块；

所述人脸识别模块用于对所述视频文件进行图像分帧处理并得到图像文件，所述人脸识别模块还用于对所述图像文件进行特征提取得到人脸特征信息，所述人脸识别模块还用于根据所述人脸特征信息得到表情识别信息，所述人脸识别模块还用于将所述人脸特征信息和所述表情识别信息发送到所述模型分析模块；

所述模型分析模块用于根据所述数据文件得到学生基础信息表，所述学生基础信息表包括学生信息、与每个所述学生信息对应的学生课堂练习成绩信息和学生人脸特征信息，所述模型分析模块用于根据所述人脸特征信息和所述学生基础信息表得到与所述人脸特征信息对应的所述学生信息，所述模型分析模块还用于根据所述人脸特征信息和所述学生信息得到每个学生的抬头率，所述模型分析模块还用于根据所述人脸特征信息和所述表情识别信息得到每个学生的学习状态，所述模型分析模块用于创建回归模型和时间序列模型，所述模型分析模块还用于将每个学生的所述学生信息、所述抬头率、所述学习状态和所述学生课堂练习成绩信息作为预处理信息，并结合所述回归模型和所述时间序列模型得到表情时间与成绩的关系表；

所述输出模块用于获取所述表情时间与成绩的关系表并输出。

本发明的有益效果是：主要通过opencv+dlib人脸特征技术进行课堂质量的监控，具体包括对学生的抬头率进行分析，得到抬头率对成绩的影响从而得出结论，实现课堂质量的自动检测，用户在后期根据学生的抬头率，对每个学生进行针对性的指导，也得出教师的课堂教学质量，本方案通过对学生的表情进行检测，得出学生在课堂上的学习状态，相比统计学生面部影像出现的位置，本方案对学生状态的统计的准确度更高。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述图像分帧处理包括opencv+dlib自动分帧、高斯图像滤镜降噪和图像灰度处理。

采用上述进一步方案的有益效果是，相比仅进行opencv+dlib自动分帧得到的图像文件，本方案的图像文件在进行特征提取时准确度更高。

进一步，所述人脸识别模块用于根据所述人脸特征信息和计算参数指标将表情进行分类，得到表情识别信息。

采用上述进一步方案的有益效果是，通过增加计算参数指标，能够优化opencv+dlib的不足，增加准确度。

进一步，所述表情识别信息包括高兴、好奇、疑惑和自然4种表情。

采用上述进一步方案的有益效果是，这样设置后，通过学生的抬头次数和学生每次抬头出现的表情两个维度进行综合考虑，由于每个维度都从不同的方面体现了数据的特征，这样就能从多个方面检测课堂的质量；同时也能更好的去定位到哪一细节层面，从而发现问题，解决问题。

进一步，获取包含不同难度梯度的教学内容的视频文件，并通过所述人脸识别模块和所述模型分析模块获取对应不同难度梯度的表情时间与成绩的关系表。

采用上述进一步方案的有益效果是，这样设置后，能够排除单个课堂的偶然性，探索课堂的难易程度与学生表情及测试成绩的关系，此处的课堂难易程度可以为课堂上测试题的难易程度。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明基于人脸特征的课堂质量监控系统的实施例的系统结构示意图；

图2为本发明基于人脸特征的课堂质量监控系统的其它实施例的实施例的系统流程图；

图3为本发明基于人脸特征的课堂质量监控系统的其它实施例的实施例的人脸特征点图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例基本如附图1所示：

本实施例中基于人脸特征的课堂质量监控系统，包括：数据采集模块1、人脸识别模块2、模型分析模块3和输出模块4；

数据采集模块1用于获取视频文件和数据文件并发送到人脸识别模块2，本实施例中的数据采集模块1可以基于学校平台对数据进行采集与处理，具体包括多媒体教室、未来智慧教室中的教学影像和课堂练习数据，以及儿童大数据中心；

人脸识别模块2用于对视频文件进行图像分帧处理并得到图像文件，人脸识别模块2还用于对图像文件进行特征提取得到人脸特征信息，人脸识别模块2还用于根据人脸特征信息得到表情识别信息，人脸识别模块2还用于将人脸特征信息和表情识别信息发送到模型分析模块3；

模型分析模块3用于根据数据文件得到学生基础信息表，学生基础信息表包括学生信息、与每个学生信息对应的学生课堂练习成绩信息和学生人脸特征信息，本实施例中的学生信息包括学生的学号、姓名和性别，避免过多的信息导致学生的隐私泄露；模型分析模块3用于根据人脸特征信息和学生基础信息表得到与人脸特征信息对应的学生信息，模型分析模块3还用于根据人脸特征信息和学生信息得到每个学生的抬头率，模型分析模块3还用于根据人脸特征信息和表情识别信息得到每个学生的学习状态，模型分析模块3用于创建回归模型和时间序列模型，模型分析模块3还用于将每个学生的学生信息、抬头率、学习状态和学生课堂练习成绩信息作为预处理信息，并结合回归模型和时间序列模型得到表情时间与成绩的关系表；

输出模块4用于获取表情时间与成绩的关系表并输出，用户通过输出模块4查看表情时间与成绩的关系表。

本实施例中的一元回归模型为：

设一元回归模型为y＝f(x)+ε，其中ε～n(0,σ²)。一元回归方程记为若残差平方和越小，说明该一元回归模型拟合效果越好。

在研究课堂抬头次数与课堂测试成绩的相关分析时，考虑采用一元回归模型对其进行回归分析，从而得出两个变量之间的相应关系。建立的模型是将抬头次数作为唯一自变量x1，对应课堂测试成绩作为因变量y，误差项为ε，ε～n(0,σ²)，根据数据分析求出残差平方和最小的一元回归方程，从而得到二者相关性。

多元回归模型为：

进行多元回归分析时，首先要分析多个自变量之间的线性关系，排除共线性强的自变量。线性程度可用相关系数来刻画，公式如下：

设多元回归模型为y＝g(x1,x2...xn)+ε其中ε～n(0,σ²)。

求解出的多元回归方程记为残差平方和越小，说明该一元回归模型拟合效果越好。

在研究学生课堂情绪的变化与对应学生在线测试成绩的相关分析时，考虑采用多元回归模型对其进行回归分析，该多元回归模型中，设置四种面部情绪变化，分别是高兴、好奇、疑惑，自然。将每个学生的这四个变量在一定时间内统计到的次数依此设为x2，x3，x4，x5，个人在线测试成绩作为因变量y，误差项为ε，ε～n(0,σ²)。根据实际数据分析得出残差平方和最小的多元回归方程。

本发明的有益效果是：主要通过opencv+dlib人脸特征技术进行课堂质量的监控，具体包括对学生的抬头率进行分析，得到抬头率对成绩的影响从而得出结论，实现课堂质量的自动检测，用户在后期根据学生的抬头率，对每个学生进行针对性的指导，也得出教师的课堂教学质量，本方案通过对学生的表情进行检测，得出学生在课堂上的学习状态，相比统计学生面部影像出现的位置，本方案对学生状态的统计的准确度更高。

在上述技术方案的基础上，本发明还可以做如下改进。

可选的，在一些其它实施例中，图像分帧处理包括opencv+dlib自动分帧、高斯图像滤镜降噪和图像灰度处理。

相比仅进行opencv+dlib自动分帧得到的图像文件，本方案的图像文件在进行特征提取时准确度更高。

可选的，在一些其它实施例中，如图3所示，人脸识别模块2用于根据人脸特征信息和计算参数指标将表情进行分类，得到表情识别信息。

本实施例中的计算参数指标可以包括下列7种参数：

参数1人脸范围参数(x1,y1,x2,y2)，其中x1表示人脸区域左下角的横坐标，y1表示人脸区域左下角的纵坐标，x2表示人脸区域右上角的横坐标，y2表示人脸区域右上角的纵坐标。

参数2脸边界特征点坐标记为(ai,x,ai,y)i＝1,…,17，脸宽比下脸长比

参数3眉特征点坐标记为(bi,x,bi,y)i＝1,…,10，眉展开程度临界点记为k1，眉挑高程度临界点记为k2。

参数4眼特征点坐标记为(ci,x,ci,y)i＝1,…,12，眼间距程度临界点记为k3，眼睁开程度临界点记为k4。

参数5鼻特征点坐标记为(di,x,di,y)i＝1,…,9，鼻宽程度δdx＝(d9,x-d5,x)/(x2-x1)，临界点记为k5，鼻高程度δdy＝(d7,y-d1,y)/(y2-y1)，临界点记为k6。

参数6嘴特征点坐标记为(ei,x,ei,y)i＝1,…,20，嘴裂开程度δex＝(e20,x-e1,x)/(x2-x1)，临界点记为k7，嘴张开程度δey＝(e10,y-e11,y)/(y2-y1)，临界点记为k8。

参数7表情参数临界值(k1,k2,k3,k4,k5,k6)，四种表情的眉眼鼻嘴与临界值的关系如下表示：

高兴：(δbx＞k1,δby＞k2,δcx＞k3,δcy＜k4,δdx＞k5,δdy＜k6,δex＞k7,δey＞k8)

好奇：(δbx＜k1,δby＞k2,δcx＜k3,δcy＞k4,δdx＜k5,δdy＞k6,δex＜k7,δey＞k8)

疑惑：(δbx＜k1,δby＜k2,δcx＜k3,δcy＜k4,δdx＞k5,δdy＜k6,δex＜k7,δey＜k8)

自然：(δbx＞k1,δby＜k2,δcx＞k3,δcy＞k4,δdx＜k5,δdy＞k6,δex＞k7,δey＜k8)。

通过增加计算参数指标，能够优化opencv+dlib的不足，增加准确度。

可选的，在一些其它实施例中，表情识别信息包括好奇、自然、疑惑和高兴4种表情。

这样设置后，通过学生的抬头次数和学生每次抬头出现的表情两个维度进行综合考虑，由于每个维度都从不同的方面体现了数据的特征，这样就能从多个方面检测课堂的质量；同时也能更好的去定位到哪一细节层面，从而发现问题，解决问题。

如图2所示，本实施例中，开始时打开数据采集模块1中包含的摄像头获取视频文件，然后人脸识别模块2对视频文件进行图像分帧处理得到图像文件，并提取图像文件中的人脸特征信息，在没有检测人脸的情况下输出noface，在提取到人脸特征信息情况下，对人脸特征进行定位，得到表情识别信息，然后计算参数指标，得到表情的分类，从而得到听课学生的多种状态，多种状态可以包括noface、好奇、自然、疑惑和高兴。

可选的，在一些其它实施例中，获取包含不同难度梯度的教学内容的视频文件，并通过人脸识别模块2和模型分析模块3获取对应不同难度梯度的表情时间与成绩的关系表。

这样设置后，能够排除单个课堂的偶然性，探索课堂的难易程度与学生表情及测试成绩的关系，此处的课堂难易程度可以为课堂上测试题的难易程度。

需要说明的是，上述各实施例是与上述各方法实施例对应的产品实施例，对于本实施例中各结构装置及可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。