一种课堂学生点头率识别与统计方法及装置与流程

本发明涉及教学辅助设备技术领域，具体涉及一种课堂学生点头率识别与统计方法及装置。

背景技术：

随着计算机技术的快速发展，多媒体教学辅助系统被越来越广泛地应用于现代教学中，使原本单调的教学更富多样性和趣味性，但如何跟踪教师授课质量及如何深入了解学生对不同知识点的兴趣度，很多研究机构和人员进行了大量的研究工作，点头率可以在很大程度上反映出学生们对教师讲授知识的感兴趣程度、理解程度和认同程度，能够在一定程度上客观、量化地反应出一堂课的整体水平。但是，对于课堂点头率的统计方式大多以人工（包括任课教师、教学督导等）观察和主观统计为主，统计过程繁琐、耗时，获取的数据不够客观，随机性大，准确率低且无法实现智能化。

技术实现要素：

为解决现有技术中存在的点头率统计准确率低、效率低且无法实现智能化的问题，本发明提供一种课堂学生点头率识别与统计方法及装置，用于教室或课堂上智能识别学生的点头率，为教学质量的评估提供决策辅助。

为实现上述目的，本发明采用的技术方案为：

一种课堂学生点头率识别与统计方法，包括以下步骤：

步骤一、运行状态的检测：首先通过单片机完成自检，随后进入侦测状态，光采集模块和第一摄像机启动，分别用于将实时检测到的周围环境光强度和实时采集的视频图像传送至单片机进行处理，控制红外补光模块的启闭并进行相似度比对处理，在比对失败的情况下进入工作状态，第二摄像机启动，随后第一摄像机和第二摄像机分别将实时采集的视频图像信号传送至单片机；

步骤二、单片机接收第一摄像机和第二摄像机传送的视频图像信号并分别进行图像识别和处理，得到两组相应的人脸活动特征符合点头特征的数据信息，随后单片机将前述两组数据信息进行合成比对处理，第一摄像机和第二摄像机同时识别出的符合点头特征的数据信息判定为有效点头，单片机保存有效点头的发生时间及其对应的位置坐标并上传至上位机进行远程显示和保存，实现远程监控，所述图像识别和处理的过程包括：

单片机识别并保存视频图像中的人脸、每张人脸在视频图像中对应的坐标位置及其对应的脸型数字化特征，随后单片机对每张人脸在视频图像中的脸型数字化特征进行人体动作分析和处理，识别视频图像中符合点头特征的人脸并将其点头发生时间和对应的位置坐标数据信息进行保存。

进一步的，步骤一中，所述自检的过程包括：单片机对系统硬件状态、网络状态和所有接口状态进行检测，若检测到异常，单片机驱动灯光报警模块做出警示，同时还将异常状态信息存储于单片机内置的存储器中，供第一摄像机的rj45标准网络接口im_r调用。

进一步的，步骤一中，所述相似度比对处理的过程包括：所述单片机接收第一摄像机实时采集的连续视频图像信号并与存储于单片机内的相似度阀值进行比对，若单片机接收的前后两侦图像的相似度超过相似度阀值，即比对成功，则继续进行侦测，若单片机接收的前后两侦图像的相似度低于相似度阀值，即比对失败，此时进入工作状态。

进一步的，步骤一中，所述第一摄像机以每秒x侦图像进行采集并传送至单片机进行数据比对，所述x是一个自然数，x的取值范围为0.1-10。

进一步的，包括单片机、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，所述图像采集模块包括第一摄像机和第二摄像机，所述单片机集成于第一摄像机的机体内，单片机输入端分别与光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连。

进一步的，还包括键盘模块和供电模块，所述键盘模块上设有0-9数字键、+1键、-1键、清除键和确认键，用于键入环境光强阀值和相似度阀值并保存于单片机内，所述供电模块与单片机、红外补光模块和灯光报警模块相连。

进一步的，所述接口模块包括设置于第一摄像机内的第一视频输入接口im_v、第一信号通讯接口im_d、rj45标准网络接口im_r和usb标准接口im_u，接口模块还包括设置于第二摄像机内的第二视频输出接口is_v和第二信号通讯接口is_d，第一视频输入接口im_v与第二视频输出接口is_v相连，用于将第二摄像机实时采集的视频图像信号传输至单片机，第一信号通讯接口im_d与第二信号通讯接口is_d相连，用于实现单片机与第二摄像机之间的通信，rj45标准网络接口im_r用于连接上位机进行数据通信，usb标准接口im_u用于连接外部存储设备。

进一步的，所述第一摄像机和第二摄像机分别对称安装于教室黑板的两侧，分别用于实时采集学生的人脸图像及其课堂动作行为的视频信号，所述单片机内设置用于保存信息的存储器。

进一步的，所述红外补光模块包括若干个红外监控补光灯，用于在教室内自然光线不够明亮的情况下为第一摄像机和第二摄像机提供拍摄所需的光照强度，所述灯光报警模块包括蜂鸣器和led指示灯。

与现有技术相比，本发明具有以下优点：

本发明公开了一种课堂学生点头率识别与统计装置，包括单片机、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，图像采集模块包括第一摄像机和第二摄像机，单片机集成于第一摄像机的机体内，单片机输入端分别与光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连。本发明提供的课堂学生点头率识别与统计方法及装置，通过两个摄像机实时采集人脸图像和课堂行为的视频信号并通过单片机进行图像识别和合成比对处理，获取有效点头的发生时间及其对应的位置坐标并上传至上位机进行远程监控，提高智能化监测水平和数据准确率，可作为教学质量评估依据，具有广阔的应用前景。

附图说明

图1是本发明的系统硬件方框图；

图2是本发明的工作流程图。

具体实施方式

下面结合具体实施例对本发明作更进一步的说明。

如图1-2所示，一种课堂学生点头率识别与统计方法，包括以下步骤：

步骤一、运行状态的检测：系统通电后，依次进入自检状态、侦测状态和工作状态，在自检状态，通过单片机对系统硬件状态、网络状态和所有接口状态进行检测，若检测到异常，单片机驱动灯光报警模块通过蜂鸣器发声报警并通过led指示灯发光警示，同时还将异常状态信息存储于单片机内置的存储器中，供设置于第一摄像机内的rj45标准网络接口im_r调用；待自检完毕且未发现状态异常时进入侦测状态，此时光采集模块和第一摄像机启动，光采集模块将实时检测到的周围环境光强度传送至单片机进行处理，进而控制红外补光模块的启闭，单片机接收并不断调用固化于其内的环境光强阀值，当实际光强度低于环境光强阀值时，单片机驱动红外补光模块发光，为第一摄像机和第二摄像机提供拍摄所需的光照强度，当实际光强度不低于环境光强阀值时，红外补光模块停止运行，第一摄像机以每秒x侦图像进行采集并传送至单片机进行相似度比对处理，单片机接收并不断调用固化于存储器内的相似度阀值y，若单片机接收的前后两侦图像的相似度超过相似度阀值y，即比对成功，则继续进行侦测，反之，若单片机接收的前后两侦图像的相似度低于相似度阀值y，即比对失败，此时进入工作状态，第二摄像机启动，x是一个自然数，x的取值范围为0.1-10，y是一个自然数，y的取值范围为0-1；在工作状态，第一摄像机和第二摄像机均启动并分别将实时采集的视频图像信号传送至单片机进行处理；

步骤二、单片机接收第一摄像机和第二摄像机实时传送的视频图像信号并分别进行图像识别和处理，图像识别和处理的过程包括：

单片机首先识别视频图像中的所有可见人脸、每张人脸在图像中对应的坐标位置和每张人脸对应的脸型数字化特征并保存于单片机内置的存储器中，存储器用于保存每张人脸对应的编号及其在视频图像中的横纵坐标和对应的脸型数字化特征，不同的学生具有不同的人脸并对应不同的脸型数字化特征，单片机根据连续视频图像识别每张人脸的脸型、人脸大小、五官特征、五官位置和拍摄角度等区别特征，用于区分当前课堂上的所有学生，单片机可选择采用模式识别、图像处理、神经网络和深度学习等常规技术手段进行脸型特征识别，识别坐标位置的目的是为了限定所识别出的人脸对应的学生在连续若干帧图像中合理的移动范围，若单片机识别到某人脸对应的坐标位置在连续视频图像中的变化范围较大，则不再对其进行后续处理；

随后，单片机不断调用存储器内的信息并进行人体动作分析和处理，人体动作分析和处理即是对每张人脸在视频图像有限的空间范围内的脸型数字化特征进行分析和处理，进而识别出在连续的视频图像中哪些人脸活动特征符合点头特征并将符合点头特征的数据信息包括点头发生的时间、人脸编号及其在视频图像中对应的位置坐标保存于存储器内。

单片机对第一摄像机和第二摄像机的处理过程相同，单片机分别对第一摄像机和第二摄像机传送的视频图像信号进行图像识别与处理并分别得到两组相应的人脸活动特征符合点头特征的数据信息，随后单片机对前述两组数据信息进行合成比对处理，第一摄像机和第二摄像机同时识别出的符合点头特征的数据信息判定为有效点头，单片机将有效点头的发生时间、人脸编号及其在视频图像中对应的位置坐标等数据信息记录下来并存储于单片机的存储器中，同时上传至上位机进行远程显示和保存。

由于所有学生均处于不停的活动中，包括抬头、低头、转身、起立、坐下等动作，这些动作行为影响单片机对图像中人脸识别的精确度，为此需采用安装于不同位置的第一摄像机和第二摄像机从不同角度进行对图像采集，提高点头特征识别的准确性。

一种课堂学生点头率识别与统计装置，包括供电模块、单片机、键盘模块、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，图像采集模块包括第一摄像机和第二摄像机，单片机集成于第一摄像机的机体内，单片机输入端分别与键盘模块、光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连，供电模块与单片机、红外补光模块和灯光报警模块相连。

第一摄像机和第二摄像机对称安装于教室黑板的两侧，分别用于实时采集学生的人脸图像及其课堂动作行为的视频信号，接口模块包括设置于第一摄像机内的第一视频输入接口im_v、第一信号通讯接口im_d、rj45标准网络接口im_r和usb标准接口im_u，接口模块还包括设置于第二摄像机内的第二视频输出接口is_v和第二信号通讯接口is_d，第一视频输入接口im_v与第二视频输出接口is_v相连，用于将第二摄像机实时采集的视频图像信号传输至单片机，第一信号通讯接口im_d与第二信号通讯接口is_d相连，用于实现单片机与第二摄像机之间的通信，通过rj45标准网络接口im_r连接上位机进行数据通信，通过上位机实现远程监控，usb标准接口im_u用于连接外部存储设备，读写存储于单片机内的数据信息，提供更大容量的视频存储空间。

单片机包括存储器，单片机用于运行状态的检测、对第一摄像机和第二摄像机实时采集的视频图像信号进行图像侦测、人脸识别、位置坐标记录、人体动作分析和点头行为判定等，由于第一摄像机和第二摄像机的安装位置不同，所拍摄的角度也不同，因此，单片机还用于对这两部摄像机所拍摄图像的空间位置进行校正，进而使由两部摄像机视频信息中识别出的人脸在图像空间位置上相一致，考虑到单片机的计算性能和运算量，单片机只对每一路视频图像信号中的逐z帧图像进行处理，而不是处理每一帧画面，z为一个整数，确保其在硬件层面的可操作性，单片机还用于接收键盘模块键入的键码信息并将其保存于存储器内，单片机不断调用和读写固化于存储器内的数据信息进而控制红外补光模块和灯光报警模块的启闭，单片机用于接收第一摄像机和第二摄像机分别实时连续采集的视频图像信号并对其进行处理，键盘模块上设有0-9数字键、+1键、-1键、清除键和确认键，用于键入环境光强阀值和相似度阀值，灯光报警模块包括蜂鸣器和led指示灯，红外补光模块包括若干组红外监控补光灯，用于在教室内自然光线不够明亮的情况下为第一摄像机和第二摄像机提供拍摄所需的光照强度，光采集模块将实时检测到的周围环境的实际光强度传送至单片机，单片机接收并不断调用固化于存储器内的环境光强阀值，当实际光强度低于环境光强阀值时，单片机驱动红外监控补光灯发光，为第一摄像机和第二摄像机提供拍摄所需的光照强度，本发明不限定红外监控补光灯的数目和安装位置，可安装于第一摄像机和第二摄像机的镜头外侧，也可根据实际教室的补光需求将其安装于教室内的任一位置，上位机采用pc机硬盘进行数据存储并通过pc机显示器进行实时显示。

实施例1

如图1所示，一种课堂学生点头率识别与统计装置，包括供电模块、单片机、键盘模块、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，图像采集模块包括第一摄像机和第二摄像机，单片机集成于第一摄像机的机体内，单片机输入端分别与键盘模块、光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连，供电模块与单片机、红外补光模块和灯光报警模块相连并接入市电进行供电，供电模块包括若干组可充电锂电池。

第一摄像机和第二摄像机分别对称安装于教室黑板的两侧，分别用于实时采集学生的人脸图像及其课堂动作行为的视频信号，接口模块包括设置于第一摄像机内的第一视频输入接口im_v、第一信号通讯接口im_d、rj45标准网络接口im_r和usb标准接口im_u，接口模块还包括设置于第二摄像机内的第二视频输出接口is_v和第二信号通讯接口is_d，第一视频输入接口im_v与第二视频输出接口is_v相连，用于将第二摄像机实时采集的视频图像信号传输至单片机，第一信号通讯接口im_d与第二信号通讯接口is_d相连，用于实现单片机与第二摄像机之间的通信，通过rj45标准网络接口im_r连接上位机进行数据通信，通过上位机实现远程监控，usb标准接口im_u用于连接外部存储设备，读写存储于单片机内的数据信息，提供更大容量的视频存储空间。

单片机包括存储器，单片机用于运行状态的检测、对第一摄像机和第二摄像机实时采集的视频图像信号进行图像侦测、人脸识别、位置坐标记录、人体动作分析和点头行为判定等，由于第一摄像机和第二摄像机的安装位置不同，所拍摄的角度也不同，因此，单片机还用于对这两部摄像机所拍摄图像的空间位置进行校正，进而使由两部摄像机视频信息中识别出的人脸在图像空间位置上相一致，单片机对每一路视频图像信号中的逐z帧图像进行处理，z的取值为5，单片机还用于接收键盘模块键入的键码信息并将其保存于存储器内，单片机不断调用和读写固化于存储器内的数据信息进而控制红外补光模块和灯光报警模块的启闭，单片机用于接收第一摄像机和第二摄像机分别实时连续采集的视频信号并对其进行处理，键盘模块上设有0-9数字键、+1键、-1键、清除键和确认键，用于键入环境光强阀值和相似度阀值y，y的取值为0.95，灯光报警模块包括蜂鸣器和led指示灯，红外补光模块包括两个分别安装于第一摄像机和第二摄像机镜头外侧的红外监控补光灯，用于在教室内自然光线不够明亮的情况下为第一摄像机和第二摄像机提供拍摄所需的光照强度，光采集模块将实时检测到的周围环境的实际光强度传送至单片机进行处理，上位机采用pc机硬盘进行数据存储并通过pc机显示器进行实时显示。

如图2所示，一种课堂学生点头率识别与统计方法，包括以下步骤：

步骤一、运行状态的检测：系统通电后，依次进入自检状态、侦测状态和工作状态，在自检状态，通过单片机对系统硬件状态、网络状态和所有接口状态进行检测，若检测到异常，单片机驱动灯光报警模块通过蜂鸣器发声报警并通过led指示灯发光警示，同时还将异常状态信息存储于单片机内置的存储器中，供rj45标准网络接口im_r调用；待自检完毕且无异常时进入侦测状态，此时，光采集模块将实时检测到的周围环境光强度传送至单片机，单片机接收并不断调用固化于存储器内的环境光强阀值，当实际光强度低于环境光强阀值时，单片机驱动两个红外监控补光灯发光，为第一摄像机和第二摄像机提供拍摄所需的光照强度，当实际光强度不低于环境光强阀值时，红外补光模块停止运行，第一摄像机以每秒x侦图像进行采集并传送至单片机进行相似度比对处理，x的取值为5，单片机接收并不断调用固化于存储器内的相似度阀值y，若单片机接收的前后两侦图像的相似度超过相似度阀值y，则继续进行侦测，反之，进入工作状态，此时第二摄像机开始工作，；在工作状态，第一摄像机和第二摄像机分别将实时采集的视频图像信号传送至单片机进行处理；

步骤二、单片机接收第一摄像机和第二摄像机实时传送的视频图像信号并分别进行图像识别和处理，图像识别和处理的过程包括：

单片机首先识别视频图像中的所有可见人脸、每张人脸在图像中对应的坐标位置和每张人脸对应的脸型数字化特征并保存于单片机内置的存储器中，存储器用于保存每张人脸对应的编号及其在视频图像中的横纵坐标和对应的脸型数字化特征，不同的学生具有不同的人脸并对应不同的脸型数字化特征，单片机根据连续视频图像识别每张人脸的脸型、人脸大小、五官特征、五官位置和拍摄角度等区别特征，用于区分当前课堂上的所有学生，识别坐标位置的目的是为了限定所识别出的人脸对应的学生在连续若干帧图像中合理的移动范围，若单片机识别到某人脸对应的坐标位置在连续视频图像中的变化范围较大，则不再对其进行后续处理；

随后，单片机不断调用存储器内的信息并进行人体动作分析和处理，人体动作分析和处理即是对每张人脸在视频图像有限的空间范围内的脸型数字化特征进行分析和处理，进而识别出在连续的视频图像中哪些人脸活动特征符合点头特征并将符合点头特征的数据信息包括点头发生的时间、人脸编号及其在视频图像中对应的位置坐标保存于存储器内。

单片机对第一摄像机和第二摄像机的处理过程相同，单片机分别对第一摄像机和第二摄像机传送的两路视频图像信号进行图像识别与处理并分别得到两组对应的人脸活动特征符合点头特征的数据信息，进而，单片机对前述两组数据信息进行合成比对处理，第一摄像机和第二摄像机同时识别出符合点头特征的数据信息判定为有效点头，单片机将点头发生时间、人脸编号及其在视频图像中对应的位置坐标等数据信息记录下来并存储于单片机的存储器中，同时上传至上位机进行远程显示和保存；

由于所有学生均处于不停的活动中，包括抬头、低头、转身、起立、坐下等动作，这些动作行为影响单片机对图像中人脸识别的精确度，为此需采用第一摄像机和第二摄像机从不同角度进行对图像采集，提高点头特征识别的准确性。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。