基于机器学习的学生注意力检测模型的制作方法

本发明涉及学生注意力检测装置技术领域，具体为基于机器学习的学生注意力检测模型。

背景技术：

对刚刚进进入小学，开始全日制学习的学生来说，一般都没有自制力，在老师授课的时候容易发散注意力，导致课堂效率的降低，而教师面对众多的学生，精力有限，无法针对每个学生去纠正其行为，而教育环节中重要的一环家长却因无法掌握其孩子的课堂学习状况而无法在日常对其孩子做出监督和纠正，则需要一个对学生上课注意力检测的装置。

现有对学生上课注意力检测的装置都是通过一个摄像头对学生的状态进行监控监视，而监控视频无法传递到学生家长手中，只能通过学校工作人员来进行观察，且监控视频只是对学生的上课情况进行拍摄，只能检测出学生大致的上课状态，无法精准的检测到学生是否分心，而视频中学生较多，工作人员很难将每个学生的状态进行分析。

技术实现要素：

本发明的目的在于提供基于机器学习的学生注意力检测模型，以解决上述背景技术中提出的现有对学生上课注意力检测的装置都是通过一个摄像头对学生的状态进行监控监视，而监控视频无法传递到学生家长手中，只能通过学校工作人员来进行观察，且监控视频只是对学生的上课情况进行拍摄，只能检测出学生大致的上课状态，无法精准的检测到学生是否分心，而视频中学生较多，工作人员很难将每个学生的状态进行分析的问题。

为实现上述目的，本发明提供如下技术方案：基于机器学习的学生注意力检测模型，包括教室主体、安装架和第一监控模块，所述教室主体的内部下端设置有学生座位，且教室主体的右侧内壁安置有黑板，所述安装架镶嵌于教室主体的两侧内壁上端，且教室主体的右侧内壁上端连接有第一摄像头，所述教室主体的左侧内壁上端安装有第二摄像头，所述第一监控模块的输出端电性连接有中央处理模块，且中央处理模块的输出端电性连接有第一传输模块，所述第一传输模块的输出端电性连接有终端，且终端的输出端电性连接有学生视频保存模块，所述学生视频保存模块的输出端电性连接有第二传输模块，且第二传输模块的输出端电性连接有第二传输模块，所述第二传输模块的输出端电性连接有学生家长终端模块。

优选的，所述第一摄像头的形状与第二摄像头的形状相同，且第一摄像头与第二摄像头之间关于教室主体的中心线相对称。

优选的，所述第一监控模块与中央处理模块之间为单向电性连接，其中央处理模块与第一传输模块之间为串联电性连接，且第一传输模块与终端之间为单向电性连接。

优选的，所述学生视频保存模块与第二传输模块之间为串联电性连接，且第二传输模块与学生家长终端模块之间为串联电性连接。

优选的，所述终端的输出端电性连接有人数采集模块，且人数采集模块的输出端电性连接有空缺座位识别模块，所述终端的输出端电性连接有人脸检测/定位模块，所述人数采集模块与终端之前为单向电性连接，且人数采集模块与空缺座位识别模块之间为串联电性连接。

优选的，所述人脸检测/定位模块的输出端电性连接有脸部/头部裁剪模块，且脸部/头部裁剪模块的输出端电性连接有脸部/视线三轴朝向检测模块，所述终端的输出端电性连接有教师状态采集模块，所述脸部/视线三轴朝向检测模块与脸部/头部裁剪模块之间为串联电性连接，其脸部/头部裁剪模块与人脸检测/定位模块之间为单向电性连接，且人脸检测/定位模块与终端之间为串联电性连接。

优选的，所述教师状态采集模块的输出端电性连接有教师视频保存模块，所述脸部/视线三轴朝向检测模块的输出端电性连接有朝向数据聚类模块，所述教师视频保存模块与教师状态采集模块之间为单向电性连接，且教师状态采集模块与终端之间为串联电性连接。

优选的，所述朝向数据聚类模块的输出端电性连接有视频片段裁剪模块，且视频片段裁剪模块的输出端电性连接有视频人脸识别模块，所述视频人脸识别模块与第二传输模块之间为单向电性连接，其视频人脸识别模块与视频片段裁剪模块之间为串联电性连接，且视频片段裁剪模块与朝向数据聚类模块之间为单向电性连接。

优选的，所述终端的输入端电性连接有第二监控模块，且终端的输出端电性连接有课程视频保存模块，所述课程视频保存模块与终端之间为串联电性连接，其终端与第二监控模块之间为单向电性连接，且课程视频保存模块与第二传输模块之间为串联电性连接。

与现有技术相比，本发明的有益效果是：

1、该基于机器学习的学生注意力检测模型通过第一摄像头可以在右侧拍摄学生的正面状态，而第二摄像头在左侧拍摄学生背面的状态，这样第一摄像头与第二摄像头形成互补，则能够全方位对学生进行监控，避免由于学生座位对第一摄像头产生阻碍，且在对学生监控的同时，也能够对前方的教师上课状态进行监控，则学校可以全面对学生和教师的状态进行全面的监控和检测。

2、该基于机器学习的学生注意力检测模型通过第一传输模块可以将第一监控模块所拍摄的视频传递给终端，这样工作人员可以在终端上对教室内的学生状态进行在线实时监测，从而对学生的上课状态进行初次的掌握，且能够及时发现教室内的问题，同时也能够及时反馈给教室内的教师，学生视频保存模块可以将第一监控模块拍摄下来的学生状态视频保存起来，且能够利用第二传输模块将拍摄下来的视频发送给学生家长，让学生家长能够了解到学生上课时的大致状态，使学生家长发现学生存在的问题，方便家长对学生进行正确的教育和纠正。

3、该基于机器学习的学生注意力检测模型通过人数采集模块可以对视频中的学生人数进行采集，可以检测出教室内应到学生数量，从而检测出是否有学生缺席，且利用空缺座位识别模块对空缺的学生座位进行检测识别，则可以观察到哪一个学生缺席，这样就可以将检测的信息及时反馈给教师和学生家长，避免由于教室内的教师未及时发现有学生缺席，而导致缺席的学生出现意外。

4、该基于机器学习的学生注意力检测模型通过人脸检测/定位模块可以对视频中每一个学生的脸部进行定位，并对定位的人脸部分进行裁剪，方便对每个人脸进行识别对比，以及对人脸的朝向角度进行精准的分析，同时利用脸部/视线三轴朝向检测模块来检测脸部和视线、注意力方向，这样使学生在课堂中可以自动将注意力集中起来，能够使学生养成一个良好的学习习惯。

5、该基于机器学习的学生注意力检测模型通过教师状态采集模块可以将视频中教师的状态进行检测和记录，并将教师的状态视频保存下来，这样不仅能够对学生的状态进行检测，也能够对教师的状态进行检测，使工作人员能够发现教师所存在的问题，避免由于教师出错而对学生造成影响，朝向数据聚类模块可以对学生脸部和视线朝向角度进行检测，当超过指定范围时，则可以判断出该学生处于分心状态，并将学生的分心状态的视频剪辑和保存下来，这样可以将学生分心状态发送给家长，家长能够掌握其孩子的课堂学习状况，而在日常对其孩子做出正确的监督和纠正。

6、该基于机器学习的学生注意力检测模型通过第二监控模块可以将教师上课的相关内容拍摄下来，并利用课程视频保存模块将拍摄下来的视频保存下来，并发送给学生家长，这样学生可以在家中通过观看视频来对课程进行复习，或者上课分心的学生可以利用视频来重新学习，则教师在后期不需要对相同的内容进行重复的讲解。

附图说明

图1为本发明基于机器学习的学生注意力检测模型的结构示意图；

图2为本发明基于机器学习的学生注意力检测模型的第一摄像头工作流程结构示意图；

图3为本发明基于机器学习的学生注意力检测模型的学生人数采集流程结构示意图；

图4为本发明基于机器学习的学生注意力检测模型的学生注意力朝向检测流程结构示意图；

图5为本发明基于机器学习的学生注意力检测模型的人脸识别流程结构示意图；

图6为本发明基于机器学习的学生注意力检测模型的教师上课内容记录陈留结构示意图。

图中：1、教室主体；2、学生座位；3、黑板；4、安装架；5、第一摄像头；6、第二摄像头；7、第一监控模块；8、中央处理模块；9、第一传输模块；10、终端；11、学生视频保存模块；12、第二传输模块；13、学生家长终端模块；14、人数采集模块；15、空缺座位识别模块；16、人脸检测/定位模块；17、脸部/头部裁剪模块；18、脸部/视线三轴朝向检测模块；19、朝向数据聚类模块；20、视频片段裁剪模块；21、教师状态采集模块；22、教师视频保存模块；23、视频人脸识别模块；24、第二监控模块；25、课程视频保存模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

请参阅图1-6，本发明提供一种技术方案：基于机器学习的学生注意力检测模型，包括教室主体1、学生座位2、黑板3、安装架4、第一摄像头5、第二摄像头6、第一监控模块7、中央处理模块8、第一传输模块9、终端10、学生视频保存模块11、第二传输模块12、学生家长终端模块13、人数采集模块14、空缺座位识别模块15、人脸检测/定位模块16、脸部/头部裁剪模块17、脸部/视线三轴朝向检测模块18、朝向数据聚类模块19、视频片段裁剪模块20、教师状态采集模块21、教师视频保存模块22、视频人脸识别模块23、第二监控模块24和课程视频保存模块25，教室主体1的内部下端设置有学生座位2，且教室主体1的右侧内壁安置有黑板3，安装架4镶嵌于教室主体1的两侧内壁上端，且教室主体1的右侧内壁上端连接有第一摄像头5，第一摄像头5的形状与第二摄像头6的形状相同，且第一摄像头5与第二摄像头6之间关于教室主体1的中心线相对称，第一摄像头5可以在右侧拍摄学生的正面状态，而第二摄像头6在左侧拍摄学生背面的状态，这样第一摄像头5与第二摄像头6形成互补，则能够全方位对学生进行监控，避免由于学生座位2对第一摄像头5产生阻碍，且在对学生监控的同时，也能够对前方的教师上课状态进行监控，则学校可以全面对学生和教师的状态进行全面的监控和检测；

教室主体1的左侧内壁上端安装有第二摄像头6，第一监控模块7的输出端电性连接有中央处理模块8，且中央处理模块8的输出端电性连接有第一传输模块9，第一监控模块7与中央处理模块8之间为单向电性连接，其中央处理模块8与第一传输模块9之间为串联电性连接，且第一传输模块9与终端10之间为单向电性连接，第一传输模块9可以将第一监控模块7所拍摄的视频传递给终端10，这样工作人员可以在终端10上对教室内的学生状态进行在线实时监测，从而对学生的上课状态进行初次的掌握，且能够及时发现教室内的问题，同时也能够及时反馈给教室内的教师，第一传输模块9的输出端电性连接有终端10，且终端10的输出端电性连接有学生视频保存模块11，学生视频保存模块11的输出端电性连接有第二传输模块12，且第二传输模块12的输出端电性连接有第二传输模块12，学生视频保存模块11与第二传输模块12之间为串联电性连接，且第二传输模块12与学生家长终端模块13之间为串联电性连接，学生视频保存模块11可以将第一监控模块7拍摄下来的学生状态视频保存起来，且能够利用第二传输模块12将拍摄下来的视频发送给学生家长，让学生家长能够了解到学生上课时的大致状态，使学生家长发现学生存在的问题，方便家长对学生进行正确的教育和纠正；

第二传输模块12的输出端电性连接有学生家长终端模块13，终端10的输出端电性连接有人数采集模块14，且人数采集模块14的输出端电性连接有空缺座位识别模块15，终端10的输出端电性连接有人脸检测/定位模块16，人数采集模块14与终端10之前为单向电性连接，且人数采集模块14与空缺座位识别模块15之间为串联电性连接，人数采集模块14可以对视频中的学生人数进行采集，可以检测出教室内应到学生数量，从而检测出是否有学生缺席，且利用空缺座位识别模块15对空缺的学生座位2进行检测识别，则可以观察到哪一个学生缺席，这样就可以将检测的信息及时反馈给教师和学生家长，避免由于教室内的教师未及时发现有学生缺席，而导致缺席的学生出现意外，人脸检测/定位模块16的输出端电性连接有脸部/头部裁剪模块17，且脸部/头部裁剪模块17的输出端电性连接有脸部/视线三轴朝向检测模块18，终端10的输出端电性连接有教师状态采集模块21，脸部/视线三轴朝向检测模块18与脸部/头部裁剪模块17之间为串联电性连接，其脸部/头部裁剪模块17与人脸检测/定位模块16之间为单向电性连接，且人脸检测/定位模块16与终端10之间为串联电性连接，人脸检测/定位模块16可以对视频中每一个学生的脸部进行定位，并对定位的人脸部分进行裁剪，方便对每个人脸进行识别对比，以及对人脸的朝向角度进行精准的分析，同时利用脸部/视线三轴朝向检测模块18来检测脸部和视线、注意力方向，这样使学生在课堂中可以自动将注意力集中起来，能够使学生养成一个良好的学习习惯；

教师状态采集模块21的输出端电性连接有教师视频保存模块22，脸部/视线三轴朝向检测模块18的输出端电性连接有朝向数据聚类模块19，教师视频保存模块22与教师状态采集模块21之间为单向电性连接，且教师状态采集模块21与终端10之间为串联电性连接，教师状态采集模块21可以将视频中教师的状态进行检测和记录，并将教师的状态视频保存下来，这样不仅能够对学生的状态进行检测，也能够对教师的状态进行检测，使工作人员能够发现教师所存在的问题，避免由于教师出错而对学生造成影响，朝向数据聚类模块19的输出端电性连接有视频片段裁剪模块20，且视频片段裁剪模块20的输出端电性连接有视频人脸识别模块23，视频人脸识别模块23与第二传输模块12之间为单向电性连接，其视频人脸识别模块23与视频片段裁剪模块20之间为串联电性连接，且视频片段裁剪模块20与朝向数据聚类模块19之间为单向电性连接，朝向数据聚类模块19可以对学生脸部和视线朝向角度进行检测，当超过指定范围时，则可以判断出该学生处于分心状态，并将学生的分心状态的视频剪辑和保存下来，这样可以将学生分心状态发送给家长，家长能够掌握其孩子的课堂学习状况，而在日常对其孩子做出正确的监督和纠正，终端10的输入端电性连接有第二监控模块24，且终端10的输出端电性连接有课程视频保存模块25，课程视频保存模块25与终端10之间为串联电性连接，其终端10与第二监控模块24之间为单向电性连接，且课程视频保存模块25与第二传输模块12之间为串联电性连接，第二监控模块24可以将教师上课的相关内容拍摄下来，并利用课程视频保存模块25将拍摄下来的视频保存下来，并发送给学生家长，这样学生可以在家中通过观看视频来对课程进行复习，或者上课分心的学生可以利用视频来重新学习，则教师在后期不需要对相同的内容进行重复的讲解。

本实施例的工作原理：该基于机器学习的学生注意力检测模型，首先将第一摄像头5安装在教室主体1内右上的安装架4上，将第二摄像头6安装在教室主体1内左上的安装架4上，第一摄像头5可以在右侧拍摄学生的正面状态，而第二摄像头6在左侧拍摄学生背面的状态，这样第一摄像头5与第二摄像头6形成互补，则能够全方位对学生进行监控，避免由于学生座位2对第一摄像头5产生阻碍，且在对学生监控的同时，也能够对前方的教师上课状态进行监控，则学校可以全面对学生和教师的状态进行全面的监控和检测，第一摄像头5内的第一监控模块7将学生上课时的状态拍摄下来，通过中央处理模块8和第一传输模块9将视频传递到终端10上，终端10内的人数采集模块14对视频中学生的数量进行采集检测，将教室内的实到人数反馈给工作人员，且利用空缺座位识别模块15来检测是哪些学生缺席，方便教师去缺席学生进行了解，而工作人员可以在终端10上对教室内的学生状态进行在线实时监测，从而对学生的上课状态进行初次的掌握，且能够及时发现教室内的问题，同时也能够及时反馈给教室内的教师，同时终端10内的学生视频保存模块11将拍摄下来的视频保存下来，并通过第二传输模块12将视频传递到学生家长终端模块13上，则让学生家长能够了解到学生上课时的大致状态，使学生家长发现学生存在的问题，方便家长对学生进行正确的教育和纠正，而人脸检测/定位模块16可以对视频中的每一个人脸进行定位，使用mtcnn人脸检测/定位技术来定位所有学生的脸部，而脸部/头部裁剪模块17根据坐标进行脸部/头部裁剪，脸部/视线三轴朝向检测模块18对裁剪出的脸部图像使用pupildetection技术识别出学生脸部/视线、注意力的三轴朝向，而朝向数据聚类模块19对朝向数据进行聚类，在主类比例高于一定阈值的聚类结果中，分离出其他类别与主类距离大于一定阈值的非大类样本，并对其标记为注意力分散程度，根据标记数据并在时间轴上加以一定的卡尔曼滤波技术平滑处理，抽取视频序列中时间轴上每个学生注意力分散程度高于一定阈值的片段，当超过指定范围时，则可以判断出该学生处于分心状态，传递到视频片段裁剪模块20，视频片段裁剪模块20将获取到的单个学生对应的视频片段裁剪，而视频人脸识别模块23进行人脸识别，对应到具体学生，从而将学生的分心状态的视频剪辑和保存下来，这样可以将学生分心状态发送给家长，家长能够掌握其孩子的课堂学习状况，而在日常对其孩子做出正确的监督和纠正。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。