一种学生面部表情识别方法及系统

1.本发明属于计算机视觉技术领域，尤其涉及一种学生面部表情识别方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.目前，部分学生从线下学习转向了网上学习，在学生课堂学习的过程中，需要解决的问题是如何实时、准确地评估每一位学生的心理状态，以便教师能更好地掌握学生的学习状态，及时调整教学策略，提高教学效率。
4.对于学生而言，当学生感到不舒服时，他们可能出现眉头紧锁、双唇紧闭等面部表情，及时识别学生的这些信息，有助于及时了解学生的心理状态。
5.但是，学生面部表情识别存在以下问题：课堂中每一位学生的面部表情实时采集问题；学生是动态的，如果直接在每位学生面前安装单独的摄像头，不仅会让学生感受到压力感、紧张感，还会影响学生面部表情的采集，进而影响预测结果，干扰教师教学做出的判断；面部表情识别精度低。


技术实现要素：

6.为了解决上述背景技术中存在的技术问题，本发明提供一种学生面部表情识别方法及系统，直接在一个全连接层后直接分为若干面部表情类别，提高了面部表情识别的精度。
7.为了实现上述目的，本发明采用如下技术方案：
8.本发明的第一个方面提供一种学生面部表情识别方法，其包括：
9.获取包含所有待识别学生面部在内的图像；
10.采用人脸识别算法，识别出所述图像中所有待识别学生的人脸，并剪裁得到每个待识别学生的人脸图片；
11.将每个待识别学生的人脸图片输入训练好的卷积神经网络中，得到每个待识别学生对应的每种面部表情类别的概率，将最大概率对应的面部表情类别作为待识别学生的面部表情识别结果；
12.其中，卷积神经网络包括依次连接的若干层卷积层、一层全连接层和一层softmax层，每层卷积层由一个bn层、一个激活层和一个平均池化层构成。
13.进一步地，所述人脸图片的剪裁方法为：
14.获取每个待识别学生的人脸在所述图像中的位置信息，基于每个待识别学生的人脸的位置信息，剪裁出每个待识别学生的人脸图片。
15.进一步地，所述卷积神经网络的训练过程为：
16.生成训练集；
17.将训练集输入到卷积神经网络中，进行迭代训练，直至损失函数收敛为止，得到训
练好的卷积神经网络。
18.进一步地，所述损失函数采用交叉熵损失函数。
19.进一步地，所述生成训练集的具体方法为：获取原训练集，对所述原训练集中的每一张人脸图片进行数据增强，将数据增强后的人脸图片与原训练集合并，得到训练集。
20.进一步地，所述生成训练集的具体方法为：所述数据增强的方法为翻转、旋转或切割。
21.本发明的第二个方面提供一种学生面部表情识别系统，其包括：
22.图像获取模块，其被配置为：获取包含所有待识别学生面部在内的图像；
23.人脸识别模块，其被配置为：采用人脸识别算法，识别出所述图像中所有待识别学生的人脸，并剪裁得到每个待识别学生的人脸图片；
24.面部表情识别模块，其被配置为：将每个待识别学生的人脸图片输入训练好的卷积神经网络中，得到每个待识别学生对应的每种面部表情类别的概率，将最大概率对应的面部表情类别作为待识别学生的面部表情识别结果；
25.其中，卷积神经网络包括依次连接的若干层卷积层、一层全连接层和一层softmax层，每层卷积层由一个bn层、一个激活层和一个平均池化层构成。
26.进一步地，还包括网络训练模块，其被配置为：
27.生成训练集；
28.将训练集输入到卷积神经网络中，进行迭代训练，直至损失函数收敛为止，得到训练好的卷积神经网络。
29.本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种学生面部表情识别方法中的步骤。
30.本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种学生面部表情识别方法中的步骤。
31.与现有技术相比，本发明的有益效果是：
32.本发明提供了一种学生面部表情识别方法，其将人脸表情特征提取与表情分类融合到一个end-to-end的网络中，采用vgg19来完成表情的识别与分类，去掉了传统vgg19中的多个全连接层，直接在一个全连接层后直接分为7类去识别，提高了面部表情识别的精度。
附图说明
33.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
34.图1是本发明实施例一的一种学生面部表情识别方法流程图；
35.图2是本发明实施例一的卷积神经网络的训练流程图。
具体实施方式
36.下面结合附图与实施例对本发明作进一步说明。
37.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另
有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
38.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
39.实施例一
40.本实施例提供了一种学生面部表情识别方法，如图1所示，具体包括以下步骤：
41.步骤1、获取包含所有待识别学生面部在内的图像；
42.其中，包含所有待识别学生面部在内的图像可以是线上教学时所有学生面部在内的画面截图，也可以是在教室中通过摄像头进行采集的所有学生面部在内的图片。
43.步骤2、人脸检测：采用人脸识别算法，识别出步骤1所获取的图像中所有待识别学生的人脸，获取每个待识别学生的人脸在步骤1所获取的图像中的位置信息，基于每个待识别学生的人脸的位置信息，剪裁得到每个待识别学生的人脸图片。
44.步骤3、将每个待识别学生的人脸图片输入训练好的卷积神经网络中，得到每个待识别学生对应的每种面部表情类别的概率，将最大概率对应的面部表情类别作为待识别学生的面部表情识别结果。教师可依据识别出的学生面部表情分类，预测学生的心理状态，以便更好地掌握学生的学习状态。
45.其中，卷积神经网络在vgg19的基础上，去掉传统vgg19中的多个全连接层，直接在最后全连接层分为7类(即7种面部表情类别)去识别，得到每一类的输出概率。此时概率没有归一化，通过softmax层，进行概率归一化处理。因此，本发明的卷积神经网络包括依次连接的若干层卷积层(16个卷积层)、一层全连接层和一层softmax层。
46.每层卷积层由一个batchnorm层(bn层)、一个激活层(激活层采用relu层)和一个平均池化层来构成。卷积层用于对人脸图片进行面部表情特征的提取，所谓面部表情的特征，指的是面部肌肉以及纹理变化的相关特征数据化，通过数据化的呈现来进行准确的提取和分析。
47.如图2所示，卷积神经网络的训练过程为：
48.(1)生成训练集。获取原训练集(ck+数据集)，为了防止卷积神经网络过快地过拟合，对原训练集中的每一张人脸图片进行数据增强，即人为做一些图像变换，例如翻转、旋转和切割等，将数据增强后的人脸图片与原训练集合并，得到训练集。
49.(2)将训练集输入到卷积神经网络中，进行迭代训练，直至损失函数收敛为止，得到训练好的卷积神经网络。
50.其中，损失函数采用交叉熵损失函数。
51.本发明将人脸表情特征提取与面部表情分类融合到一个end-to-end的网络中，采用vgg19来完成表情的识别与分类。去掉了传统vgg19中的多个全连接层，直接在一个全连接层后直接分为7类去识别，提高了面部表情识别的精度。通过面部表情进而推断学生的学习状态，有利于教师掌握每一位学生上课的学习状态，实现了对每一位学生上课时的检测与评估，以便教师能更好地掌握学生的学习状态，有针对性地调整教学策略，提高教学效率。
52.实施例二
53.本实施例提供了一种学生面部表情识别系统，其具体包括如下模块：
54.图像获取模块，其被配置为：获取包含所有待识别学生面部在内的图像；
55.人脸识别模块，其被配置为：采用人脸识别算法，识别出所述图像中所有待识别学生的人脸，并剪裁得到每个待识别学生的人脸图片；
56.面部表情识别模块，其被配置为：将每个待识别学生的人脸图片输入训练好的卷积神经网络中，得到每个待识别学生对应的每种面部表情类别的概率，将最大概率对应的面部表情类别作为待识别学生的面部表情识别结果；
57.其中，卷积神经网络包括依次连接的若干层卷积层、一层全连接层和一层softmax层，每层卷积层由一个bn层、一个激活层和一个平均池化层构成。
58.网络训练模块，其被配置为：
59.生成训练集；
60.将训练集输入到卷积神经网络中，进行迭代训练，直至损失函数收敛为止，得到训练好的卷积神经网络。
61.此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
62.实施例三
63.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种学生面部表情识别方法中的步骤。
64.实施例四
65.本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种学生面部表情识别方法中的步骤。
66.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
67.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
68.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
69.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
70.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
71.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。