一种学生课堂注意力检测方法与流程

本发明属于教育信息化技术领域，具体涉及一种学生课堂注意力检测方法。

背景技术：

如今科技创新能力已成为国家实力的关键体现，科技的创新与发展离不开教育，教育作为知识、文化、技术传授的基石，对科技创新起到决定性的作用，没有教育，科技创新也无从谈起。如今传统课堂教育与微课教育、反转课题、网络教育等多种现代新型教育手段交织发展，但是无论采用何种教育形式，教育质量的关键还是在于课堂质量，而课堂质量的关键在于教师的授课质量与学生的学习质量。如果授课老师能够在课堂中实时了解学生注意力状况，便能及时调整教学方式，有效提高教学效果。而现有的教室监控系统很少涉及对学生注意力的实时检测与分析。

技术实现要素：

发明目的：本发明提供可实现课堂教学质量检测的一种学生课堂注意力检测方法。

技术方案：所述的学生课堂注意力检测方法，包括以下步骤：采集授课教师的教学图像和上课学生的面部图像；基于集合深度数据的光谱消光方法在帧图像中提取学生眼睛的状态；计算学生眼睛的视线朝向；记录学生课堂教学过程中注意力涣散的时刻，并与教学图像进行交叉对比，分析学生注意力涣散的原因。

进一步，对所述的面部图像中的学生面部与环境背景进行分离，并对面部特征进行提取。

进一步，所述的面部特征提取步骤为：设置消光算法中的当前光照；确定在彩色rgb光谱图中组合比例；在帧图像中寻找最小的组合比例；化简组合比例约当阵，求取特征值；设置消光算子；对比深度数据，重构像素结构。

进一步，所述的提取学生眼睛的状态的步骤为：提取所述的学生的面部活动图像的1帧图像，并对该帧图像进行检测，判断是否检测到人脸，如果没有检测到人脸，则跳出执行状态等待下一帧图像；如果检测到人脸，则检测学生眼部并判断眼睛状态。

进一步，当检测到学生眼部时，首先检测眼睛是否睁开，当检测到眼睛睁开时，眼睛睁开状态自加1，检测后续的20帧图像，并计算眼睛的朝向；当检测到眼睛没有睁开时，眼睛闭合状态自加1，检测后续的10帧图像，如果眼睛变化小于阙值，则注意力涣散状态自加1，否则继续检测下一帧图像。

进一步，当没有检测到学生眼部时，检测次数自加1；同时设有一个检测定时器，一定时间后如果始终没有检测到眼部，即检测次数大于阙值，注意力涣散标记自加1，清将定时器清零；如果检测次数小于阙值，则直接将定时器清零。

有益效果：本发明所述的检测方法，只需要提取学生的眼睛状态，利用课堂教学过程中学生位置、眼睛状态的延续性，可以计算学生注意力情况。该检测方法优化了视频识别算法，减小了运算量，经过数据统一可以得到每一位同学的课堂注意力情况，有助于对学生的实时提醒与事后督促。根据学生课堂注意力变化曲线，交叉对比学生大面积注意力涣散的时间点与教师授课内容，有助于教师查找自身教学缺失，提高授课水平，改善教学质量。

附图说明

图1是本发明课堂教室的环境示意图；

图2是本发明课堂注意力检测方法流程图；

图3是本发明眼睛状态检测的流程图；

图4是本发明学生注意力涣散的时刻与教师的授课视频进行对比的流程图；

图5本发明的眼睛朝向判定的流程图。

具体实施方式

下面结合说明书附图和具体实例对本发明技术方案做进一步说明。

如图1所示为课堂教室的环境示意图，该教室为阶梯教室，教师1在讲台上进行授课教学；图中五角形10代表正常听讲的学生，三角形11代表注意力涣散的学生，它们随机分布在教室区域，由于是阶梯教室，因此不存在学生上半身、尤其是面部被遮挡的情况。

在教室设置有学生注意力检测摄像2、教学摄像机3、电脑5以及路由器4，其中，学生注意力检测摄像2用于拍摄所有上课学生的面部细节；该检测摄像机2包括rgb变焦摄像头6、红外测距摄像头7和俯仰/旋转舵机8，其中rgb变焦摄像头6用于拍摄学生的实时彩色视频；红外测距摄像头7用于拍摄具有深度数据的实时红外视频，rgb变焦摄像头6和红外测距摄像头7被封装在一个整体中，俯仰/旋转舵机8可以根据需要调整学生注力检测摄像机2的俯仰角与朝向。实际应用时如果学生人数较多，可以根据需要安装多个学生注意力检测摄像机。教学摄像机3，用于录制教师的教学环节和授课教师的面部细节；通过通信网络将教学摄像机录制3的教师授课视频和学生注意力检测摄像机2的学生面部视频上传存储到电脑5。可以通过人工对比，寻找学生注意力分散的原因，或者由路由器4将视频上传至服务器，服务器交叉对比学生大面积注意力涣散的时间点与教师授课内容，借助api接口，与大数据计算寻找学生注意力分散的原因。

在授课过程中，学生的座位相对固定，并不对学生进行人脸识别，只对学生的眼部状态进行检测，并且学生的眼睛状态在以帧衡量的过程中具有延续性。如图2所示，给出课堂注意力检测方法，具体的检测步骤为：

(1)采集授课教师的教学图像与上课学生的面部图像；定时教学摄像机设备3，课堂时间启动，定时所有的课堂注意力检测设备，只在课堂时间段工作。判断是否收到教师的命令。教师命令是以特殊语句的形式存储在设备中，如果当前时间为课堂时间，教师开始正式授课，只需说出特殊语句，即启动学生注意力检测摄像机2，实时记录学生的听课状态，并将视频上传存储到电脑5。这种方式将设备启动权限交于教师，有助于设备只针对课堂教学进行注意力检测，滤除其他干扰，

(2)提取学生视频中的1帧进行分析

视频是由一幅一幅的连续画面组成的，其中一幅画面称为一帧，学生注意力检测摄像机2所拍摄的视频每秒30帧，即每秒有30幅连续的画面。

(3)分离学生面孔与环境背景

使用基于集合深度数据的光谱消光方法提取帧画面中的人物外廓：

(31)设置消光算法中的当前光照为：

其中ii为当前光照中显示的像素，fronti为前景色像素，backi为背景色像素；f为像素层，其为f1、f2···fn，αi为组合比例。

(32)在彩色rgb光谱图中组合比例αi可以表示为：

(33)在帧图像中寻找最小的组合比例αi

其中ε||aq||²是a的范数，用于对a进行归整化，a、b为线性化系数矩阵。

(34)化简组合比例约当阵，求取特征值

将公式3化简为只含有组合比例αi的约当阵

j(α)＝α^tlα(4)

其中lα是对α进行拉普拉斯计算

其中δij是克罗内克函数，μq是q的颜色矢量矩阵，∑wq为其协方差矩阵，|wq|为像素的模，i3为三阶单位阵。

计算公式4，其解为比例系数αi的特征值。

(35)设置消光算子

根据第(34)步计算出的特征值，可以将彩色像素组合变化为二进制表示。

其中e为特征向量矩阵，根据公式6求取线性拟合矢量y^k。

以上步骤可以将学生面孔与环境背景进行分离，提取学生的面部轮廓。

(36)对比深度数据，重构像素结构

红外测距摄像头7发一束不可见红外光束，这束红外线光束具有高度随机性，空间中任意两个不同位置反射的光斑都有所不同，通过测距可以得到被测目标的空间深度，学生注意力检测摄像机2检测到的实际上是由r、g、b与深度数据组成的复合数据矩阵。以学生面部轮廓为分界线，对比分界线内外的深度数据，可以进一步确认光谱消光方法提取出轮廓的准确性，如果深度数据与提取轮廓存在偏差，需要以该偏差点δl范围内进行修正，调整比例系数αi。

(4)提取学生面孔特征

本发明使用基于opencv的人脸识别器，分析人脸上眼睛、鼻子、颧骨和下巴的相对位置及大小，并只提取出眼睛的特征。

(5)判断输入的一帧图像是否检测到人脸？

如果有检测到人脸，则检测眼睛位置转入步骤(6)；如果没有检测到人脸，则跳出执行状态等待下一帧图像。

(6)判断是否检测到眼部？

如果没有检测到学生眼部，有可能是眨眼状态，先标记该帧，即检测次数自加1，设置一个检测定时器，一定时间后如果始终没有检测到眼部，即检测次数大于阙值，注意力涣散标记自加1，并将定时器清零；如果检测次数小于阙值，则直接将定时器清零；如图3所示的眼睛检测的流程。如果检测到眼部，转入步骤(7)，判断眼睛的状态。

(7)判断检测到的眼睛是否睁开状态？

如果检测到眼睛睁开，眼睛睁开状态自加1，集中检查接着的20帧图像，确定眼睛状态是否真的睁开，并对眼睛的朝向进行计算，判断学生是否在听讲；如果检测到眼睛没有睁开，有可能是眨眼状态，眼睛闭合状态自加1，集中检查接着的10帧图像，判断眼部闭合的状态是否小于阙值，如果眼睛变化小于阙值δ||ξ||，说明学生眼睛一直闭着，这有可能是在睡觉，或者打盹，则注意力涣散状态自加1，如果变化大于阙值，则有可能该帧检测的时候学生在眨眼，这帧图像不计入计算结果，忽略此帧检测下一帧图像。

(8)记录学生注意力涣散的时刻，与教师的授课视频进行交叉对比，具体流程如图4所示，标记学生注意力涣散的时刻，判断教师是否在上课？如果没有在授课，有可能教师在调节课堂气氛，或者板书等，需要进行人工核实，或者采用机器智能识别技术进行甄别，这些技术不在本专利范围之内，因此不扩展阐述；如果学生注意力涣散的时刻，教师在授课，则重点标记该时刻，寻找学生注意力涣散的原因，是教师授课内容安排不合理，一般体现在大多数学生注意力涣散；还是学生自身的原因，一般为个别学生感觉太难，或者没有认真听课，体现在个别学生注意力涣散，需要交叉对比针对该时刻寻找具体原因。

在步骤(7)中，眼睛的状态是睁开的状态时，要对眼睛的朝向进行计算，判断学生是否在听讲。在课堂教学过程中，如果学生认真听讲，一般脸部朝向与眼睛朝向一致，或者误差率小于阙值δ||μ||，如此可以不使用复杂的视线识别技术，如角膜-巩膜异色边缘反射法、角膜反射法、角膜反射法、基于视频结合瞳孔和角膜反射法等。将脸部视为刚体，脸部正面为标准，脸部朝向可以变为坐标变换的问题。如图5所示的眼睛朝向判定的流程图，其具体步骤为：

(71)提取脸部轮廓

使用基于集合深度数据的光谱消光方法，同样可以提取帧画面中人物脸部的轮廓。

(72)计算脸部特征点

使用基于opencv的人脸识别器，分析人脸上眼睛、鼻子、颧骨和下巴的相对位置及大小。

(73)将脸部朝向转换为脸部坐标

以教室为基准，设面向教室讲台的方向为x轴，水平面向右与x轴正交的为y轴，z轴与水平面正交向下，建立以教室为基准的oxyz坐标系。

以学生个体为基准，设学生脸部正面朝向为x’，与x’正交的右耳朝向为y’，与x’y’平面正交向下的为z’，建立以学生脸部朝向为基准的ox’y’z’坐标系。

可见，教室坐标系相对固定，学生脸部坐标系相对时变，假设学生脸部为刚体，可以得到学生脸部坐标系向教室坐标系的变换矩阵：

学生脸部坐标系为学生脸部实时朝向，教室坐标系实质上是学生脸部正姿的朝向，即不管坐在教室何处都正姿面朝黑板方向，实际应用时，学生脸部应该朝向教师，因此需要将随机时变坐标系转化为固定基准坐标系进行判断。将帧图像中学生脸部的朝向与脸部正姿朝向进行对比，可以得到3个偏向角φ、θ、ф。结合3个偏向角与固定基准坐标系中黑板与教师的位置，可以判断学生视线是否朝向黑板或教师，用于进一步判断学生眼睛睁开与注意力是否集中的关系。

最后可以通过人工对比，寻找学生注意力分散的原因，或者由路由器4将视频上传至服务器，服务器交叉对比学生大面积注意力涣散的时间点与教师授课内容，借助api接口，与大数据计算寻找学生注意力分散的原因。通过以上步骤有助于找出学生学习的难点与教师授课过程中的薄弱环节，给课堂教学改革提供实质性的建议。