专注度的检测方法、计算机存储介质和计算机设备与流程

本发明属于计算机视觉技术领域，具体地讲，涉及一种专注度的检测方法、存储介质和计算机设备。

背景技术：

目前在中小学里一节课的时间设置为45分钟左右，也是因为大部分的青少年能够持续的集中注意力的时间只有10～30分钟。根据帕累托原理，20％的原因能够造成80％的结果，学习过程也是如此，高度集中精神的短时间的学习，效果要优于花费更多的时间但是漫无目的而又懒散的学习。对于中小学学生，课堂上的听课状态将直接的影响学习效果。现有的技术方案中，课堂上的智能监控系统缺少针对学生专注度的有效检测方法，而侧重于心理学分析的专注度测验，只能在一定程度上满足教师和家长的需求。教师需要获取学生个体和班集整体在一堂课上的专注度的信息，以此来有针对性的督促相应的学生，或者根据班级的整体的专注度变化情况，改进自己的授课方式、讲述方式，比如在学生们整体的专注度下降的时间点插入一些活动环节以此来唤起学生的注意力；家长则需要获取自己的孩子在学校的学习状态。

技术实现要素：

(一)要解决的技术问题

本发明要解决的技术问题是：如何实施地获取学生上课的课堂专注度情况。

(二)技术方案

为了实现上述的目的，本发明采用了如下的技术方案：

一种专注度的检测方法，所述检测方法包括：

获取由第一拍摄装置和第二拍摄装置分别从不同角度拍摄的包含目标对象的第一图像和第二图像，并获取与目标对象相对的观测区域的位置；

根据所述第一图像获取第一人脸特征点像素坐标集，且根据所述第二图像获取第二人脸特征点像素坐标集；

根据所述第一人脸特征点像素坐标集和所述第二人脸特征点像素坐标集获取人脸朝向向量；

根据所述人脸朝向向量和所述观测区域的位置确定所述目标对象的专注度。

优选地，根据所述第一图像获取第一人脸特征点像素坐标集，且根据所述第二图像获取第二人脸特征点像素坐标集的方法包括：

从所述第一图像中获取仅包含所述目标对象的第一人脸图像块，且从所述第二图像中获取仅包含所述目标对象的第二人脸图像块；

利用已训练好的人脸检测模型从第一人脸图像块中获取多个第一人脸特征点的像素坐标，以构成第一人脸特征点像素坐标集，且利用已训练好的人脸检测模型从第二人脸图像块中获取多个第二人脸特征点的像素坐标，以构成第二人脸特征点像素坐标集。

优选地，根据所述第一人脸特征点像素坐标集和所述第二人脸特征点像素坐标集获取人脸朝向向量的方法包括：

根据所述第一人脸特征点像素坐标集以及所述第二人脸特征点像素坐标集并利用双目标定参数计算出在拍摄装置坐标系下的人脸特征点拍摄装置坐标集；

根据人脸特征点拍摄装置坐标集计算出在摄像装置坐标系下的人脸朝向向量。

优选地，根据所述人脸朝向向量和所述观测区域的位置确定所述目标对象的专注度的方法包括：

根据所述观测区域的位置获取在摄像装置坐标系下的观测区域的位置坐标；

根据所述人脸朝向向量和所述观测区域的位置坐标确定所述目标对象的人脸朝向方向是否穿过所述观测区域，从而确定目标对象的专注度。

优选地，所述双目标定参数包括摄像装置的内参矩阵、旋转矩阵和平移矩阵。

优选地，所述检测方法还包括：

获取所述第一人脸图像块的第一中心像素的像素坐标，且获取所述第二人脸图像块的第二中心像素的像素坐标；

根据所述第一中心像素的像素坐标、第二中心像素的像素坐标以及双目标定参数计算出目标对象在摄像装置坐标系下的位置坐标。

优选地，所述检测方法还包括：对所述目标对象的位置坐标、所述人脸朝向向量、所述专注度的检测结果以及相应的时间信息进行存储。

优选地，所述观测区域位于所述第一拍摄装置和所述第二拍摄装置之间。

本发明还公开了一种计算机存储介质，所述计算机存储介质存储有专注度的检测程序，所述专注度的检测程序被处理器执行时实现任一种上述的专注度的检测方法。

本发明还公开了一种计算机设备，包括存储器、处理器以及存储在所述存储器上的专注度的检测程序，所述专注度的检测程序被所述处理器执行时实现任一种上述的专注度的检测方法。

(三)有益效果

本发明的实施例公开的一种专注度的检测方法，实时地从不同角度拍摄目标对象的第一图像和第二图像，从而获得目标对象的人脸朝向向量，从而根据人脸朝向向量和观测区域的位置确定目标对象的专注度，方便教师和家长实时掌握学生的上课状态，以采取相应措施。

附图说明

图1为本发明的实施例的专注度的检测方法的流程图；

图2为本发明的实施例的拍摄装置、观测区域和目标对象的相对位置关系示意图；

图3为本发明的实施例的计算机设备示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，根据本发明的实施例公开的专注度的检测方法，包括如下步骤s10至步骤s40：

步骤s10：获取由第一拍摄装置和第二拍摄装置分别从不同角度拍摄的包含目标对象的第一图像和第二图像，并获取与目标对象相对的观测区域的位置。

具体来说，作为优选实施例，目标对象优选为学生，观测区域30优选为黑板区域，第一拍摄装置10和第二拍摄装置20安装在观测区域30两侧，即观测区域30位于第一拍摄装置10和第二拍摄装置20之间。利用第一拍摄装置10和第二拍摄装置20分别从不同角度实时拍摄包含目标对象40的第一视频和第二视频，对应于每一时刻，可从第一视频中获取第一图像i1，并从第二视频中获取第二图像i2。进一步地，获取在世界坐标系下，观测区域的位置的空间坐标信息。

进一步，在利用拍摄装置进行拍摄之前，需要对拍摄装置进行双目标定获得双目标定参数。其中，在安装第一拍摄装置10和第二拍摄装置20之前，进行内参标定，获得第一拍摄装置10的第一内参矩阵m1，第二拍摄装置20的第二内参矩阵m2；并对第一拍摄装置10和第二拍摄装置20进行外参标定，得到旋转矩阵r和平移矩阵t。第一内参矩阵m1、第二内参矩阵m2、旋转矩阵r和平移矩阵t构成双目标定参数。

进一步地，对于一个空间点x，在第一拍摄装置10的像平面内的像素坐标记为m1＝(u1v1)^t，在第一拍摄装置10坐标系内的坐标记为x1＝(x1y1z1)^t；在第二拍摄装置20对应的像平面内的像素坐标记为m2＝(u2v2)^t，在第二拍摄装置20坐标系内的坐标记为x2＝(x2y2z2)^t。

步骤s20：根据第一图像i1获取第一人脸特征点像素坐标集，且根据第二图像i2获取第二人脸特征点像素坐标集。

具体来说，该步骤包括如下步骤：

步骤s21：从第一图像i1中获取仅包含目标对象40的第一人脸图像块且从第二图像i2中获取仅包含目标对象40的第二人脸图像块具体采用人脸检测算法从第一图像i1中提取第一人脸图像块并采用人脸检测算法从第二图像i2中提取第二人脸图像块

步骤s22：利用已训练好的人脸检测模型从第一人脸图像块中获取多个第一人脸特征点的像素坐标以构成第一人脸特征点像素坐标集且利用已训练好的人脸检测模型从第二人脸图像块中获取多个第二人脸特征点的像素坐标以构成第二人脸特征点像素坐标集

步骤s30：根据第一人脸特征点像素坐标集和第二人脸特征点像素坐标集获取人脸朝向向量。

具体来说，该步骤包括如下步骤：

步骤s31：根据第一人脸特征点像素坐标集以及第二人脸特征点像素坐标集并利用双目标定参数计算出在拍摄装置坐标系下的人脸特征点拍摄装置坐标集。

具体来说，人脸特征点拍摄装置坐标集包括在第一拍摄装置坐标系下的第一人脸特征点拍摄装置坐标集和在第二拍摄装置坐标系下的第二人脸特征点拍摄装置坐标集其中，表示人脸特征点在第一拍摄装置坐标系下的空间坐标，表示人脸特征点在第二拍摄装置坐标系下的空间坐标。

具体地，在第一拍摄装置坐标系下和第二拍摄装置坐标系下，同一个空间点对应的坐标关系如下：

其中，和分别是x1和x2的齐次形式。展开式子(1)可得到

x2＝rx1+t(2)

根据针孔成像模型，同一空间点在在第一拍摄装置坐标系下和第二拍摄装置坐标系下的投影模型满足如下关系：

其中，和分别是m1和m2的齐次形式，且m1为从第一人脸特征点像素坐标集中选取，m2为从中选取。根据式子(3)可得到：

根据式子(4)和式子(2)可得到如下方程组：

通过最小二乘法，求解上述的超定方程组(5)，可得到z1和z2。根据得到的z1和z2以及式子(4)即可得到空间点在第一拍摄装置坐标系下的三维坐标x1，在第二拍摄装置坐标系下的三维坐标x2。

按照上述的方法，可得到在第一拍摄装置坐标系下的第一人脸特征点拍摄装置坐标集和在第二拍摄装置坐标系下的第二人脸特征点拍摄装置坐标集

步骤s32：根据人脸特征点拍摄装置坐标集计算出在摄像装置坐标系下的人脸朝向向量。

具体地，以第一人脸特征点拍摄装置坐标集为例，根据平面成像模型方程，记目标对象40的人脸朝向向量n^s，记矩阵两者满足如下关系：

其中，b＝(11...1)^t，n∈rⁿ，则根据式子(6)可得：

步骤s40：根据人脸朝向向量和观测区域的位置确定所述目标对象40的专注度。

具体来说，该步骤包括如下步骤：

步骤s41：根据所述观测区域的位置获取在摄像装置坐标系下的观测区域的位置坐标。

步骤s42：根据所述人脸朝向向量和所述观测区域的位置坐标确定所述目标对象40的人脸朝向方向是否穿过所述观测区域，从而确定目标对象40的专注度。其中，若目标对象40的人脸朝向方向穿过观测区域，则目标对象40的专注度高；若目标对象40的人脸朝向方向未穿过观测区域，则目标对象40的专注度低。

进一步地，所述检测方法还包括：

获取第一人脸图像块的第一中心像素的像素坐标，且获取所述第二人脸图像块的第二中心像素的像素坐标；

根据所述第一中心像素的像素坐标、第二中心像素的像素坐标以及双目标定参数计算出目标对象40在摄像装置坐标系下的位置坐标。具体地，采用式子(1)至式子(5)的计算步骤获取在第一拍摄装置坐标系内的目标对象40的位置坐标和在第二拍摄装置坐标系内的目标对象40的位置坐标

进一步地，所述检测方法还包括对目标对象40的位置坐标、人脸朝向向量、专注度的检测结果以及相应的时间信息进行存储。

本发明的实施例公开的一种专注度的检测方法，实时地从不同角度拍摄目标对象的第一图像和第二图像，从而获得目标对象的人脸朝向向量，从而根据人脸朝向向量和观测区域的位置确定目标对象的专注度，方便教师和家长实时掌握学生的上课状态，以采取相应措施。

进一步地，本发明还提供了一种计算机存储介质，所述计算机存储介质存储有专注度的检测程序，所述专注度的检测程序被处理器执行时实现如上述的专注度的检测方法。

进一步地，本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上的专注度的检测程序，所述专注度的检测程序被所述处理器执行时实现如上述的专注度的检测方法。

上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。