基于人脸监测的课堂学生状态分析方法及装置与流程

本发明涉及智能课堂技术领域，具体地涉及一种基于人脸监测的课堂学生状态分析方法及装置。

背景技术：

随着科学技术的不断发展，将信息技术应用在课堂学习中的智能课堂技术得到了飞速发展，并且还出现了利用计算机监测分析课堂学习状态的新型技术。

但是，如今的智慧教育或k12课堂仍然处于萌芽阶段，k12课堂教育一直都是大家关注的焦点，但是由于基础教育行业的自身规律、个体用户独立性缺乏等因素，一直缺乏能够规模化走入教师日常教学活动的的互联网应用。

因此，如何借助现代互联网技术监测课堂上学生的状态，以反馈完善教学方式从而实现智慧教学是目前业界的热门研究方向。

技术实现要素：

本发明实施例的目的是提供一种基于人脸监测的课堂学生状态分析方法及装置，应用人工智能技术监测学生上课的课堂状态，并能够完成反馈以实现闭环式智慧教育。

为了实现上述目的，本发明实施例一方面提供一种基于人脸监测的课堂学生状态分析方法，包括：采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；检测所述课堂图像中各个学生的人脸的面部动作；基于微表情识别神经网络模型，获取所检测的面部动作所对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。

本发明实施例另一方面提供一种基于人脸监测的课堂学生状态分析装置，包括：课堂模型构建单元，用于采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；面部动作检测单元，用于检测所述课堂图像中各个学生的人脸的面部动作；面部表情抽象单元，用于基于微表情识别神经网络模型，获取所检测的面部动作所对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；教育分析报告生成单元，用于将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。

本发明实施例另一方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现本申请上述的方法的步骤。

本发明实施例另一方面提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请上述的方法的步骤。

通过上述技术方案，提出了采集课堂图像，并识别课堂图像中学生的身份信息，从而建立课堂模型，然后检测课堂图像中各个学生的人脸的面部动作，并通过微表情识别神经网络模型获取所检测的面部动作所对应的面部表情，进而自动记录各个学生的课堂状态至对应于各个学生的身份信息的教育分析报告。由此，应用人工智能技术，从课堂图像中识别并监测学生的上课状态，并通过教育分析报告供后期老师和家长参考，能够反馈完善教学方式，从而实现了闭环式智慧教育。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例的基于人脸监测的课堂学生状态分析方法的流程图；

图2是本发明一实施例的基于人脸监测的课堂学生状态分析方法在一优选实施方式的具体流程执行图；

图3是本发明一实施例的基于人脸监测的课堂学生状态分析方法在另一优选实施方式的具体流程执行图；

图4是本发明一实施例的基于人脸监测的课堂学生状态分析方法的原理流程示意图；

图5是本发明一实施例的基于人脸监测的课堂学生状态分析装置的结构框图；

图6是本发明另一实施例的基于人脸监测的课堂学生状态分析装置的结构框图；

图7是本发明一实施例的基于人脸监测的课堂学生状态分析装置的实体装置的结构框图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，本发明一实施例的基于人脸监测的课堂学生状态分析方法，包括：

s11、采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息。

关于本发明实施例方法的实施主体，一方面可以是专用于课堂学生状态分析的专用集成组件、专用服务器或专用终端等；另一方面，还可以是通用型服务器，其中该通用型服务器安装有用于对课堂学生状态分析的模块或配置有用于对课堂学生状态进行分析的程序代码，且以上都属于本发明的保护范围内。

关于课堂图像的采集方式，一方面，可以是通过在课堂内布置摄像头或图像采集器来实现的，例如可以是课堂内的监控摄像头采集监控视频，并通过监控视频的分割操作，从而将所得到的单帧监控视频图像确定为对应的课堂图像。

关于课堂图像中多个学生的身份信息的识别方式，其可以是借助于相关联的人脸考勤机来完成的。作为示例，可以是人脸考勤机采集学生人脸图像，并对学生人脸图像进行识别以得出对应的学生的身份信息，进而将所识别的身份信息传递至课堂学生状态分析服务器，以使得将所获取的学生人脸图像和学生的身份信息在课堂图像中进行关联，从而建立了对应于课堂图像的课堂模型。

s12、检测课堂图像中各个学生的人脸的面部动作。

具体的，可以是基于openpose识别装置，识别课堂图像中各个学生的人脸关键点，及基于所识别的人脸关键点的位置，确定相对应的各个学生的人脸的面部动作。需说明的是，openpose是常用于实时多人关键点检测和多线程的c++库，由此将openpose人体关键点检测技术应用于课堂行为分析的应用场景中，能够实现对课堂中多个学生的人体关键点的实时追踪，并也保障了处理的高准确性。可以理解的是，为了保障所识别的人脸关键点及面部动作的可靠性，可以是要求高分辨率和高清晰度的课堂图像的。

s13、基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中该微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的。

关于微表情识别神经网络模型的训练，其可以是将单一的训练面部动作所对应的训练面部表情(该面部表情可以是经人工标注的)输入至微表情识别神经网络模型以进行训练；另外，当单个面部动作无法确定出面部表情时，还可以是将连续的面部动作组合与其所能够指示的面部表情输入至神经网络模型，以对神经网络模型进行训练，进而，在应用神经网络模型时，也可以是通过采集预定时间段的多个连续的人脸动作，进而实现对表情的推测及抽象等。以及，本发明实施例中由神经网络模型所推导出的面部表情的类型在此应不限定，其可以各种表情，例如感兴趣、疲惫、开心和/或困惑等等。微表情识别神经网络模型的训练方式在此应不限定，其可以是根据神经网络模型的类型来确定的，例如卷积神经网络或深度神经网络。

s14、将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。

在本发明实施例中，通过身份识别建立关于课堂图像所对应的课堂模型，之后追踪课堂模型中各个学生的人脸动作并应用神经网络技术推导对应的表情，然后可以将各个学生的课堂状态存储至对应的各个学生的身份信息的教育分析报告中。由此，课堂中各个学生的家长都能够通过其孩子的教育分析报告得知孩子的上课状态，从而便于家长采取有针对性的改进措施。

在一些实施方式中，课堂状态还可以包括学生的课堂专注度，并可以是在教育分析报告中指出对该课堂专注度的相应的教育建议。具体的，可以参照如图2所示的确定各个学生的课堂专注度的示例流程：

s21、提取课堂图像中各个学生的人脸关键点，并基于所提取的各个学生的人脸关键点的位置，识别课堂图像中对应低头动作的学生。

其中，关于学生的人脸关键点的提取方式，其可以是参照上文的相关描述，故在此不再赘述。但可以理解的是，图1所示实施例中的人脸关键点用于抽象出人脸的表情，而在本发明实施例中将人脸关键点用于确定对应的低头动作。关于该低头动作，其可以是基于低头动作神经网络模型模块识别出来的，其中该神经网络模型可以是依据标注有对应低头动作的训练人脸关键点的图像作为输入进行训练的。具体关于该低头动作神经网络模型的训练方式在此应不限定，其可以是根据神经网络模型的类型来确定的，例如卷积神经网络或深度神经网络等。

s22、统计课堂图像中对应低头动作的学生占课堂图像中所有学生的比例，并基于该所统计的比例来确定该课堂图像对应的课堂场景是否指示课堂作业场景。

其中，对课堂图像中所有处于低头动作的学生进行统计，以确定低头的学生占所有学生的比例，并由该比例来确定当前课堂场景是否处于课堂作业场景。作为示例，当超过一定比例阈值(例如3/4)的学生均低头时，可以判定当前课堂场景为学生正在做课堂练习的课堂作业场景。

s23、当课堂场景指示非课堂作业场景时，基于所检测的人脸的面部动作统计各个学生未面向教师的时间长度。

关于学生未面向教师的结果的获得，其可以是基于人脸的面部动作来确定学生人脸的偏转角度，进而识别各个学生是否面向课堂讲台，以确定学生是否面向教师。

s24、根据所统计的时间长度，确定各个学生的课堂专注度。

其中，可以是当学生未面向教师的时间越长时，则为该学生赋予越低的课堂专注度；以及，当学生未面向教师的时间越短时，则为该学生赋予越高的课堂专注度。

在一些实施方式中，还可以是在教育分析报告还包括对应于课堂状态的教育建议。

s25、将各个学生的课堂专注度与预设定的专注度阈值进行对比。

关于该专注度阈值的大小，在此应不限定，其可以是根据经验所确定的，用于区分专注度的不同的等级，例如高专注等级和低专注等级。

s26、当各个学生中目标学生的课堂专注度低于专注度阈值时，触发生成针对所述目标学生的教育建议。

s27、在目标学生的教育分析报告中存储所生成的教育建议。

由此，在教育分析报告上能够获知学生的上课专注度，并还能在学生专注度较低的时候，通过该教育分析报告得到对应于上课专注度的教育建议。

在一些优选实施方式中，课堂状态中的学生专注度可以被用于对教育建议生成的触发，而学生的课堂表情则可以是与教育建议中具体的内容相关联。具体的，可以是通过如图3的流程：

s31、统计目标学生在一天中出现各种面部表情的时长。

s32、基于所统计的对应各种面部表情分别对应的时长，确定主要面部表情。

作为示例，可以是将所统计的时长超过了预定的时长阈值的面部表情确定为主要面部表情，由此可以是将面部表情的统计时长最长的那一个或那几个面部表情确定为主要面部表情。

s33、从教育建议库中确定对应于所述主要面部表情的教育建议作为目标学生的教育建议，其中教育建议库中存储有多种面部表情和相对应的多个教育建议。

作为示例，在确定学生上课专注度不高，且出现开心表情的时长较长时，可以推导学生近期可能因耽于玩闹而无心学习，则应当提出关于管束学生玩闹的教育建议；而当确定学生上课专注度不高且出现困惑、疲惫的时长较长时，可以推导出可能是因为学生难以接受课堂内容的难度，则应当提出关于加强辅助该课堂内容学习的教育建议。

如图4所示，本发明一实施例的基于人脸监测的课堂学生状态分析方法的原理流程，主要包括课堂图像模型建立阶段、面部动作检测阶段、表情推导阶段、教育分析报告合成阶段：

1)课堂图像模型建立阶段

具体的，采集关于课堂的课堂图像，并识别该课堂图像中各个学生的身份信息，其可以是借助于人脸考勤设备来完成对各个身份的学生在课堂图像中的识别和追踪，由此在学生刚进入教室的时候就能够完成对身份的识别和关联，将人脸识别结果标注在课堂图像中，还可以实现对学生考勤的记录。

2)面部动作检测阶段

具体的，可以是应用openpose技术提取视频画面中教师和学生的人脸关键点，并基于所提取的人脸关键点合成对应的面部动作。

3)表情推导阶段

具体的，可以是提取连续的预定时间段的面部动作，使得微表情识别神经网络模型能够由此推导出对应的面部表情。

关于微表情识别神经网络模型的训练，其可以是将“连续的面部动作组合-标注的面部表情”作为训练数据来训练该微表情识别神经网络模型，其中该经标注的面部表情可以是兴趣、疲惫、开心、困惑等表情。

优选地，还可以是基于学生的预定时间段的面部动作来分析学生的专注度的高低，例如当确定学生在超过时间阈值的较长时间段内的面部动作指示该学生都没有面向或注视教师时，说明学生的关注度不够；因为发呆的学生注视方向通常不会随着教师的动作而改变，并以此帮助纠正学生在课堂上开小差的行为。更优选的，还可以是根据教师在动作的状态下学生并未注视教师的时长来为学生的关注度赋予相应的关注度评分。

优选地，还可以是结合预设定的教育场景信息来对所推导出的专注度进行校准，因为在某些场景下(例如在教师布置课堂小作业，需要学生埋头作出的时候)，并不需要学生注视教师的方向，此时若只依靠学生未注视教师的时长就来确定学生的关注度，势必会产生较大的误差。因此，可以是基于摄像头对教育场景信息进行判断，例如通过摄像头所拍摄的照片来确定当前课堂的教育场景是否为课堂小作业场景，其可以是通过判断是否超过设定数量比例阈值(如3/4)的学生都在埋头作业，如果是，则确定教育场景是课堂小作业场景；并统计课堂小作业场景的持续时间，进而将该持续时间从专注度推导过程中学生并未注视教师的时长中剔除，保障所推导的学生的关注度的高精确度。

4)教育分析报告合成阶段

具体的，可以是记录每一个学生的课堂状态，并且每天生成对应各个学生的课堂状态的教育分析报告，其中该课堂状态包括上述所确定的面部表情和/或学生关注度等。

由此，能够自动生成教育分析报告，并且该教育分析报告能够帮助教师和家长评估学生学习行为，并能够有针对性地对不同学生施以不同的教育方法。分析报告包括每一个学生一天内的平均专注程度，以及疲惫、困惑、开心等情绪的出现时长。

优选地，分析报告中还可以是包括对应于课堂状态的教育建议，该教育建议的确定方式可以是从预配置的具有教育建议和课堂状态的映射关系的教育建议库中经查询所确定的。例如，可以是在服务器的数据库中预先存储关于课堂状态与教育建议之间的映射关系，使得在服务器输出某学生的课堂状态时，能够推导出相应的教育建议；例如，在确定学生上课专注度不高，且出现开心表情的时长较长时，可以推导学生近期可能因耽于玩闹而无心学习，则应当提出关于管束学生玩闹的教育建议；而当确定学生上课专注度不高且出现困惑的时长较长时，可以推导出可能是因为学生难以接受课堂内容的难度，则应当提出关于加强辅助该课堂内容学习的教育建议；而当确定学生上课专注度不高且出现疲惫的时长较长时，可以推导出可能是因为学生近期在家中的休息时间不够充分，则应当提出关于在家中注意休息睡眠的教育建议。

在本发明实施例中，针对课堂这一教育场景，建立了用于识别对教师和学生来说更有意义的情绪的专属模型，其包括对兴趣、疲惫、开心、困惑等表情的识别；以及，根据学生面部变化监测实时的专注度，帮助纠正学生在课堂上开小差的行为；另外，记录每一个学生的课堂状态变化，每日自动生成分析报告，帮助教师和家长评估学生学习行为，并能够有针对性地对不同学生施以不同的教育建议。

如图5所示，本发明一实施例的基于人脸监测的课堂学生状态分析装置，包括：

课堂模型构建单元501，用于采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；

面部动作检测单元502，用于检测所述课堂图像中各个学生的人脸的面部动作；

面部表情获取单元503，用于基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；

教育分析报告生成单元504，用于将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中所述课堂状态包括面部表情。

在具体的应用场景中，如图6所示，该装置还包括课堂专注度确定单元505，教育建议触发单元506，教育建议确定单元507；

所述面部动作检测单元502，还用于基于openpose识别装置，识别所述课堂图像中各个学生的人脸关键点；以及基于所识别的人脸关键点的位置，确定相对应的所述各个学生的人脸的面部动作。

所述课堂专注度确定单元505，用于在所述将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告之前确定课堂状态中的课堂专注度，并用于提取所述课堂图像中各个学生的人脸关键点；基于低头动作神经网络模型模块和所提取的各个学生的人脸关键点，识别所述课堂图像中对应低头动作的学生，其中该神经网络模型可以是依据标注有对应低头动作的训练人脸关键点的图像作为输入进行训练的；统计所述课堂图像中对应低头动作的学生占所述课堂图像中所有学生的比例，并基于所统计的比例来确定该课堂图像对应的课堂场景是否指示课堂作业场景，以及，当所述课堂场景指示非课堂作业场景时，基于所检测的人脸的面部动作统计学生未面向教师的时间长度，根据所统计的时间长度，确定各个学生的课堂专注度。

所述教育建议触发单元506，用于将各个学生的所述课堂专注度与预设定的专注度阈值进行对比；当各个学生中目标学生的所述课堂专注度低于所述专注度阈值时，生成针对所述目标学生的教育建议；在所述目标学生的教育分析报告中存储所生成的教育建议。

所述教育建议确定单元507，用于统计所述目标学生在一天中出现各种面部表情的时长；基于所统计的各种面部表情分别对应的时长，确定主要面部表情，其中所述主要面部表情为所统计的时长超过了预定的时长阈值的面部表情；从教育建议库中确定对应于所述主要面部表情的教育建议作为所述目标学生的教育建议，其中所述教育建议库中存储有多种面部表情和相对应的多个教育建议。

所述教育建议确定单元507，还用于当所述主要面部表情指示长时间的面部开心表情时，则确定对应于所述面部开心表情的关于管束学生玩闹的教育建议，当所述主要面部表情指示长时间的面部困惑表情时，则确定对应于所述面部困惑表情的关于加强辅助该课堂内容学习的教育建议，以及当所述主要面部表情指示长时间的面部疲惫表情时，则确定对应于所述面部疲惫表情的关于在家中注意休息睡眠的教育建议。

所述课堂模型构建单元501，还用于从人脸考勤设备获取学生人脸图像相对应的学生的身份信息，其中所述学生人脸图像是由所述人脸考勤设备所采集的，将所获取的所述学生人脸图像和所述学生的身份信息关联至所述课堂图像中。

需要说明的是，本发明实施例提供的一种基于人脸监测的课堂学生状态分析装置所涉及各功能单元的其他相应描述，可以参考图1-4中的对应描述，在此不再赘述。

基于上述如图1-4所示方法，相应的，本发明实施例还提供了一种存储设备，其上存储有计算机程序，该程序被处理器执行时实现上述如图1-所示的基于人脸监测的课堂学生状态分析方法。

基于上述如图1-4所示方法和如图5和如图6所示虚拟装置的实施例，为了实现上述目的，如图7所示的是本发明一实施例的基于人脸监测的课堂学生状态分析装置的实体装置70，该实体装置包括存储设备701和处理器702；所述存储设备701，用于存储计算机程序；所述处理器702，用于执行所述计算机程序以实现上述如图1-4所示的课堂学生行为分析方法。

通过应用本发明的技术方案，提出了采集课堂图像，并识别课堂图像中学生的身份信息，从而建立课堂模型，然后检测课堂图像中各个学生的人脸的面部动作，并通过微表情识别神经网络模型获取所检测的面部动作对应的面部表情，进而自动记录各个学生的课堂状态至对应于各个学生的身份信息的教育分析报告。由此，应用人工智能技术，从课堂图像中识别并监测学生的上课状态，并通过教育分析报告供后期老师和家长参考，实现了闭环式智慧教育。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。