一种人脸表情识别方法、设备及计算机可读存储介质与流程

1.本技术涉及图像处理领域的人脸表情识别技术，尤其涉及一种人脸表情识别方法、设备及计算机可读存储介质。


背景技术：

2.表情是人表达情感的主要方式之一，人脸表情识别技术在近年来随着一些相关领域的飞速发展(如人脸识别和图像处理)，成为了一个热点发展的技术。人脸表情识别是指利用计算机对检测的人脸进行面部特征提取来确定人脸的表情信息。
3.目前，对人脸表情识别主要是通过颜色系统(rgb color mode，rgb)摄像机来针对人脸采集rgb图像，并根据rgb图像从中提取人脸的面部特征，之后对人脸的面部特征进行分析来确定人脸的表情信息。但是，通过rgb图像确定人脸的表情信息容易受到光照和肤色等因素的影响，导致确定人脸的表情信息的准确率低。


技术实现要素：

4.为解决上述技术问题，本技术实施例期望提供一种人脸表情识别方法、设备及计算机可读存储介质，解决了确定人脸的表情信息的准确率低的问题，提高了确定人脸的表情信息的准确率。
5.本技术的技术方案是这样实现的：
6.一种人脸表情识别方法，所述方法包括：
7.获取针对人脸的样本彩色图像和样本热红外图像；
8.分别对所述样本彩色图像和所述样本热红外图像进行转换处理，得到第一样本图像和第二样本图像；
9.基于所述样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像，确定人脸表情识别模型；
10.获取目标人脸的彩色图像和热红外图像，并基于所述彩色图像、所述热红外图像和所述人脸表情识别模型，确定所述目标人脸的表情信息。
11.上述方案中，所述获取针对人脸的样本彩色图像和样本热红外图像，包括：
12.获取针对具有人脸信息的对象的待处理彩色图像和待处理热红外图像；
13.分别对所述待处理彩色图像和所述待处理热红外图像进行关键点检测，得到所述待处理彩色图像的第一人脸关键点集合和所述待处理热红外图像的第二人脸关键点集合；
14.基于所述第一人脸关键点集合，从所述待处理彩色图像中确定所述样本彩色图像；
15.基于所述第二人脸关键点集合，从所述待处理热红外图像中确定所述样本热红外图像。
16.上述方案中，所述基于所述第一人脸关键点集合，从所述待处理彩色图像中确定所述样本彩色图像，包括：
17.从所述第一人脸关键点集合中，获取所述待处理彩色图像的除面部轮廓关键点之外的参考关键点；
18.基于所述参考关键点在所述待处理彩色图像中的位置和目标尺寸参数，从所述待处理彩色图像中确定所述样本彩色图像。
19.上述方案中，所述基于所述第二人脸关键点集合，从所述待处理热红外图像中确定所述样本热红外图像，包括：
20.从所述第二人脸关键点集合中，确定所述待处理热红外图像的人脸关键点中面部轮廓关键点；
21.基于所述面部轮廓关键点在所述待处理热红外图像中的位置，从所述待处理热红外图像中确定所述样本热红外图像。
22.上述方案中，所述分别对所述样本彩色图像和所述样本热红外图像进行转换处理，得到第一样本图像和第二样本图像，包括：
23.降低所述样本彩色图像的分辨率得到第一图像，并对所述第一图像的第一像素点的像素值进行处理，得到所述第一样本图像；
24.降低所述样本热红外图像的分辨率得到第二图像，并对所述第二图像的第二像素点的像素值进行处理，得到所述第二样本图像。
25.上述方案中，所述基于所述样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像，确定人脸表情识别模型，包括：
26.基于样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像，得到第一样本图像集合；
27.采用伪孪生卷积神经网络基于所述第一样本图像集合中的图像进行模型训练，得到所述人脸表情识别模型。
28.上述方案中，所述基于样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像，得到第一样本图像集合，包括：
29.采用不同角度分别对所述样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像进行旋转，确定第二样本图像集合；
30.对所述第二样本图像集合中的图像进行水平翻转，确定第一样本图像集合。
31.上述方案中，基于所述彩色图像、所述热红外图像和所述人脸表情识别模型，确定所述目标人脸的表情信息，包括：
32.降低所述彩色图像的分辨率得到第三图像，并对所述第三图像的第三像素点的像素值进行处理，得到第一目标图像；
33.降低所述热红外图像的分辨率得到第四图像，并对所述第四图像的第四像素点的像素值进行处理，得到第二目标图像；
34.采用所述人脸表情识别模型对所述彩色图像、所述热红外图像、所述第一目标图像和所述第二目标图像进行处理，确定所述目标人脸的表情信息。
35.一种人脸表情识别设备，所述设备包括：处理器、存储器和通信总线；
36.所述通信总线用于实现所述处理器和所述存储器之间的通信连接；
37.所述处理器用于执行所述存储器中存储的人脸表情识别程序，以实现以下步骤：
38.获取针对人脸的样本彩色图像和样本热红外图像；
39.分别对所述样本彩色图像和所述样本热红外图像进行转换处理，得到第一样本图像和第二样本图像；
40.基于所述样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像，确定人脸表情识别模型；
41.获取目标人脸的彩色图像和热红外图像，并基于所述彩色图像、所述热红外图像和所述人脸表情识别模型，确定所述目标人脸的表情信息。
42.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述人脸表情识别方法的步骤。
43.本技术实施例所提供的人脸表情识别方法、设备及计算机可读存储介质，获取针对人脸的样本彩色图像和样本热红外图像；分别对样本彩色图像和样本热红外图像进行转换处理，得到第一样本图像和第二样本图像；基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，确定人脸表情识别模型；获取目标人脸的彩色图像和热红外图像，并基于彩色图像、热红外图像和人脸表情识别模型，确定目标人脸的表情信息；如此，可以根据样本热红外图像对光照和肤色不敏感的特性，基于样本彩色图像、样本热红外图像和第一样本图像和第二样本图像来确定人脸表情识别模型，使得人脸表情识别模型对光照和肤色的敏感度降低，之后基于目标人脸的彩色图像、热红外图像和人脸表情识别模型确定目标人脸的表情信息，可以降低光照和肤色对确定目标人脸的表情信息的影响，提高了确定目标人脸的表情信息的准确率。
附图说明
44.图1为本技术实施例提供的一种人脸表情识别方法的流程示意图；
45.图2为本技术实施例提供的一种人脸表情识别方法的流程示意图；
46.图3为本技术实施例提供的一种人脸表情识别模型的结构示意图；
47.图4为本技术实施例提供的一种人脸表情识别装置的结构示意图；
48.图5为本技术实施例提供的一种人脸表情识别设备的结构示意图。
具体实施方式
49.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
50.本技术实施例提供一种人脸表情识别方法，如图1所示，该方法包括以下步骤：
51.步骤101、获取针对人脸的样本彩色图像和样本热红外图像。
52.其中，样本彩色图像和样本热红外图像可以是由人脸表情识别设备实时获取的图像，还可以是人脸表情识别设备从获取的待处理视频中提取的图像。
53.在本技术实施例中，人脸表情识别设备可以为具有图像采集和处理功能的设备，样本彩色图像和样本热红外图像可以是人脸表情识别设备自身针对人脸采集的图像；还可以是由不同图像采集设备针对人脸分别采集的样本彩色图像和样本热红外图像并发送至人脸表情识别设备的。其中，样本彩色图像指的是样本三通道彩色图像，也可以称之为样本rgb图像；样本热红外图像上不同颜色代表人脸的不同温度。其中，r、g和b表示三个通道的
颜色。
54.在一种可行的实现方式中，人脸表情识别设备可以为红外热像仪，红外热像仪可以针对人脸同时采集样本rgb图像和样本热红外图像，由同一设备来采集人脸的样本rgb图像和样本热红外图像可以保证采集的角度相同，降低通过样本rgb图像和样本热红外图像训练的人脸表情识别模型的误差。其中，红外热像仪可以将人脸发出的不可见红外能量转变为可见的热红外图像；红外热像仪是一种利用红外热成像技术，通过对物体的红外辐射探测，并加以信号处理、光电转换等手段，将物体的温度分布的图像转化换成可视图像的设备。
55.在另一种可行的实现方式中，可以由rgb摄像机来采集样本rgb图像，并由红外热像仪来采集样本热红外图像，之后rgb摄像机和红外热像仪分别将样本rgb图像和样本热红外图像发送至人脸表情识别设备。通过rgb摄像机和红外热像仪分别来采集样本rgb图像和样本热红外图像可以减少同一设备采集样本rgb图像和样本热红外图像的工作负荷，节省了采集样本rgb图像和样本热红外图像的时间，进一步减少确定人脸表情识别模型的时间。
56.步骤102、分别对样本彩色图像和样本热红外图像进行转换处理，得到第一样本图像和第二样本图像。
57.其中，转换处理可以包括但不限于颜色转换。
58.在本技术实施例中，人脸表情识别设备可以对样本彩色图像的颜色进行转换，得到第一样本图像，并对样本热红外图像的颜色进行转换，得到第二样本图像。
59.需要说明的是，通过对样本彩色图像和样本热红外图像的颜色进行转换，以降低图像的颜色对训练人脸表情识别模型的影响，提升了确定的人脸表情识别模型的准确率。
60.步骤103、基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，确定人脸表情识别模型。
61.在本技术实施例中，可以对样本彩色图像、样本热红外图像、第一样本图像分别进行图像变换，并采用深度学习算法对变换后的图像进行面部特征提取以及分类，确定人脸表情识别模型。
62.需要说明的是，在训练人脸表情识别模型时若仅仅采用样本彩色图像，则无法克服光照的变化和背景复杂度等因素对训练人脸表情识别模型造成的影响，但是本技术实施例不仅采用样本彩色图像还引入了样本热红外图像、第一样本图像、第二样本图像，由于样本热红外图像上的不同颜色表示的是不同温度分布，样本热红外图像对光照以及背景并不敏感，通过样本热红外图像和样本彩色图像同时来训练人脸表情识别模型，可以降低光照的变化和背景复杂度造成的影响，而且第一样本图像和第二样本图像均是对颜色进行转换后的图像，在训练人脸表情识别模型中引入第一样本图像和第二样本图像在扩大样本集的同时，也可以减少颜色对人脸表情识别模型的影响，提高了确定的人脸表情识别模型的精确度。
63.步骤104、获取目标人脸的彩色图像和热红外图像，并基于彩色图像、热红外图像和人脸表情识别模型，确定目标人脸的表情信息。
64.在本技术实施例中，可以对彩色图像和热红外图像的像素点的像素值进行处理，并将处理后得到的图像输入至人脸表情识别模型中，通过人脸表情识别模型对图像进行分析，确定目标人脸的表情信息。其中，表情信息可以表征人的情绪。
65.在一种可行的实现方式中，目标人脸的表情信息包括高兴、吃惊、悲伤、愤怒、厌恶和恐惧、惊喜(高兴+吃惊)、悲愤(悲伤+愤怒)中的一种。
66.需要说明的是，步骤104中获取目标人脸的彩色图像和获取热红外图像的过程与步骤101中获取针对人脸的样本彩色图像和样本热红外图像的过程类似，本技术实施例在此不再赘述。
67.本技术实施例所提供的人脸表情识别方法，获取针对人脸的样本彩色图像和样本热红外图像；分别对样本彩色图像和样本热红外图像进行转换处理，得到第一样本图像和第二样本图像；基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，确定人脸表情识别模型；获取目标人脸的彩色图像和热红外图像，并基于彩色图像、热红外图像和人脸表情识别模型，确定目标人脸的表情信息；如此，可以根据样本热红外图像对光照和肤色不敏感的特性，基于样本彩色图像、样本热红外图像和第一样本图像和第二样本图像来确定人脸表情识别模型，使得人脸表情识别模型对光照和肤色的敏感度降低，之后基于目标人脸的彩色图像、热红外图像和人脸表情识别模型确定目标人脸的表情信息，可以降低光照和肤色对确定目标人脸的表情信息的影响，提高了确定目标人脸的表情信息的准确率。
68.基于前述实施例，本技术实施例提供一种人脸表情识别方法，该方法可以应用于人脸表情识别设备中，参照图2，该方法包括以下步骤：
69.步骤201、人脸表情识别设备获取针对具有人脸信息的对象的待处理彩色图像和待处理热红外图像。
70.其中，具有人脸信息的对象指的是具有人脸的人像。
71.在本技术实施例中，可以通过人脸表情识别设备的图像采集部件采集具有人像的待处理彩色图像和待处理热红外图像。
72.需要说明的是，可以基于人与图像采集部件的之间距离和/或人脸的角度确定是否采集待处理彩色图像和待处理热红外图像；其中，在图像采集部件与人之间的距离小于预设距离时，可以使用图像采集部件采集待处理彩色图像和待处理热红外图像；在人脸角度满足预设角度时，可以使用图像采集部件采集待处理彩色图像和待处理热红外图像。
73.在一种可行的实现方式中，在人与图像采集部件的距离小于预设距离，且人脸角度满足预设角度时，图像采集部件采集待处理彩色图像和待处理热红外图像；若人与图像采集部件的距离不满足预设距离和/或目标人脸角度不满足预设角度时，则发出提醒信息以提醒人调整自身的位置，提高采集的待处理彩色图像和待处理热红外图像的清晰度。
74.步骤202、人脸表情识别设备分别对待处理彩色图像和待处理热红外图像进行关键点检测，得到待处理彩色图像的第一人脸关键点集合和待处理热红外图像的第二人脸关键点集合。
75.其中，关键点指的是待处理彩色图像和待处理热红外图像中的人脸关键点，其中，人脸关键点包括双目关键点、嘴巴关键点、鼻子关键点、眉毛关键点和面部轮廓关键点。其中，关键点可以用坐标和像素值来表示；关键点为确定的特定的像素点。
76.在本技术实施例中，人脸表情识别设备可以采用人脸对齐网络(face alignment network，fan)面部关键点检测方法，分别对待处理彩色图像和待处理热红外图像进行人脸关键点检测，得到待处理彩色图像中的人脸关键点组成的第一人脸关键点集合和待处理热
红外图像中人脸关键点组成的第二人脸关键点集合。
77.在一种可行的实现方式中，可以采用fan面部关键点检测方法基于大量样本人脸图像进行训练得到人脸的68点关键点模型，并通过人脸的68点关键点模型分别对待处理彩色图像和待处理热红外图像进行检测，可以得到待处理彩色图像中人脸的68个关键点的坐标和68个关键点的像素值，并得到待处理热红外图像中人脸的68个关键点的坐标和68个关键点的像素值。
78.需要说明的是，每个关键点都会有对应的标识；在一种可行的实现方式中，关键点对应的标识为关键点的编号，68个关键点中每个关键点都标记有对应的编号，其中，可以标记68个关键点中0～16关键点为面部轮廓关键点、17～26为眉毛关键点、27～35为鼻子关键点、35～47为眼睛关键点、48～67为嘴巴关键点。
79.步骤203、人脸表情识别设备基于第一人脸关键点集合，从待处理彩色图像中确定样本彩色图像。
80.在本技术实施例中，人脸表情识别设备可以对第一人脸关键点集合中的关键点进行筛选，从第一人脸关键点集合中确定第一目标关键点，并根据第一目标关键点在待处理彩色图像中的位置，确定样本彩色图像。其中，第一目标关键点的数量为多个。
81.在一种可行的实现方式中，可以根据第一目标关键点在待处理彩色图像中的位置，确定第一目标关键点在待处理彩色图像中所围成的第一目标区域，并从待处理彩色图像中提取第一目标区域的图像，将第一目标区域的图像作为样本彩色图像。其中，第一目标区域为人脸的区域。
82.其中，步骤203可以由以下步骤来实现：
83.a1、人脸表情识别设备从第一人脸关键点集合中，获取待处理彩色图像的除面部轮廓关键点之外的参考关键点。
84.其中，参考关键点包括双目关键点、嘴巴关键点、鼻子关键点、眉毛关键点。
85.在本技术实施例中，人脸表情识别设备可以基于面部轮廓关键点的标识从第一人脸关键点集合中确定面部轮廓关键点，并将第一人脸关键点集合中面部轮廓关键点之外的其它关键点作为参考关键点。
86.在一种可行的实现方式中，第一人脸关键点集合中具有人脸的68个关键点，其中，0～16关键点为面部轮廓关键点，人脸表情识别设备可以从第一人脸关键点集合中确定编号为17～67关键点为参考关键点。
87.a2、人脸表情识别设备基于参考关键点在待处理彩色图像中的位置和目标尺寸参数，从待处理彩色图像中确定样本彩色图像。
88.其中，目标尺寸参数用于确定从待处理彩色图像中确定的人脸的区域的大小。目标尺寸参数可以是人脸表情设备对待处理彩色图像进行分析后确定的，还可以是用户根据待处理彩色图像确定并通过终端发送至人脸表情识别设备的。其中，尺寸参数可以用δ来表示。在一种可行的实现方式中，δ＝8。
89.在本技术实施例中，人脸表情识别设备可以根据参考关键点在待处理彩色图像中的位置和目标尺寸参数确定样本彩色图像中人脸的区域，之后从待处理彩色图像中提取人脸的区域对应的图像作为样本彩色图像。
90.在一种可行的实现方式中，面部轮廓关键点之外的关键点的编号为17～67，可以
利用这51个关键点在待处理彩色图像中的位置和目标尺寸参数，采用公式(1)来确定多个像素点的坐标，并基于该多个像素点的坐标确定样本彩色图像中人脸所在的区域。
[0091][0092]
其中，f
mask
(i,j)表示计算得到的样本彩色图像中任一像素点的第一值，i,j分别代表样本彩色图像中每一像素点的横纵坐标；δ为尺寸参数，δ＝8，以样本彩色图像左上角的第一个像素点为圆心，建立二维直角坐标系，xn为51个关键点中每个关键点的横坐标，yn为51个关键点中每个关键点的纵坐标。当第一值大于1时，则确定第一值所对应的像素点为离关键点比较近的像素点，重新设置第一值为1；当第一值不大于1时，则确定第一值所对应的像素点为离关键点比较远的像素点，重新设置第一值为0。也就是说，通过上述公式可以得到样本彩色图像中每一像素点的第一值，其中，第一值取值为0或1，将第a像素点的第一值与样本彩色图像中第a像素点的像素值进行相乘得到样本彩色图像中人脸所在的区域的像素点的像素值。如此，便可以将离关键点比较远的像素点的像素值置为0，也就是说过滤掉样本彩色图像中离关键点比较远的像素点的像素值，来确定样本彩色图像中人脸所在的区域。
[0093]
需要说明的是，根据参考关键点在样本彩色图像中的位置和目标尺寸参数确定样本彩色图像中人脸的区域，可以扩大仅根据参考关键点在样本彩色图像中的位置确定的人脸的区域，并从扩大的区域中可以提取到参考关键点附近的人脸的肌肉信息，以便后续还可以进一步地根据人脸的肌肉信息来分析人脸的表情信息，提高了确定的人脸表情识别模型的准确率。
[0094]
步骤204、人脸表情识别设备基于第二人脸关键点集合，从待处理热红外图像中确定样本热红外图像。
[0095]
在本技术实施例中，人脸表情识别设备可以对第二人脸关键点集合中的关键点进行筛选，从第二人脸关键点集合中确定第二目标关键点，并根据第二目标关键点参数确定第二目标区域，之后从待处理彩色图像中提取第二目标区域的图像作为样本热红外图像。其中，第二目标区域为样本热红外图像中人脸的区域。
[0096]
其中，步骤204可以由以下步骤来实现：
[0097]
b1、人脸表情识别设备从第二人脸关键点集合中确定待处理热红外图像的人脸关键点中面部轮廓关键点。
[0098]
在本技术实施例中，人脸表情识别设备可以基于面部轮廓关键点的标识从第二人脸关键点集合中确定面部轮廓关键点。
[0099]
在一种可行的实现方式中，面部轮廓关键点的数量为17，面部轮廓关键点可以为68个关键点中编号为0～16的关键点，人脸表情识别设备可以从第二人脸关键点集合中确定编号为0～16的面部轮廓关键点。
[0100]
b2、人脸表情识别设备基于面部轮廓关键点在待处理热红外图像中的位置，从待处理热红外图像中确定样本热红外图像。
[0101]
在本技术实施例中人脸表情识别设备可以根据面部轮廓关键点在待处理热红外图像中的位置，确定面部轮廓关键点在待处理热红外图像中所包围的区域(即人脸的区域)，并从样本热红外图像中提取人脸的区域对应的图像，并将人脸的区域对应的图像作为
样本热红外图像。
[0102]
需要说明的是，彩色图像容易收到光照变化的影响，而热红外图像对成像的条件具有鲁棒性，热红外图像对光照不敏感，因此，在热红外图像中只根据面部轮廓关键点确定的人脸的区域是准确的，不需要采用其他关键点来从待处理热红外图像中确定人脸的区域，可以降低人脸表情识别设备确定人脸的区域的计算复杂度。
[0103]
步骤205、人脸表情识别设备降低样本彩色图像的分辨率得到第一图像，并对第一图像的第一像素点的像素值进行处理，得到第一样本图像。
[0104]
在本技术实施例中，在保证样本彩色图像的清晰度大于预设清晰度的情况下，可以一定程度的降低样本彩色图像的分辨率，之后通过对第一图像的第一像素点的像素值进行处理，得到第一像素点的灰度值，基于第一像素点的灰度值确定第一样本图像。其中，第一图像为彩色图像；第一样本图像为灰度图像。
[0105]
需要说明的是，灰度化处理的方法包括但不限于：最大值法、平均值法和加权平均值法。其中，最大值法具体指的是使彩色图像中r、g和b的值等于3个值中最大的一个，即r＝g＝b＝max(r,g,b)，最大值法会形成亮度很高的灰度图像；平均值法具体指的是将彩色图像中r、g和b的值求出平均值，即r＝g＝b＝(r+g+b)/3，平均值法会形成较柔和的灰度图像；加权平均值法具体可以是根据重要性或其他指标给r、g和b赋予不同的权值，并使用r,g,b的值加权平均，即r＝g＝b＝wr+vg+ub，其中，w,v,u分别表示权重。
[0106]
在一种可行的实现方式中，采用加权平均值法对第一图像进行灰度化处理，根据人对绿色的敏感度最高，对红色次之，对蓝色敏感度最低的特征，确定w》v》u,并将w设置为0.30、v设置为0.59，u设置为0.11，来得到第一样本图像。
[0107]
需要说明的是，还可以采用直方图均衡化的方法对第一样本图像进行归一化处理，以减少后续对第一样本图像进行处理时的计算复杂度。
[0108]
步骤206、人脸表情识别设备降低样本热红外图像的分辨率得到第二图像，并对第二图像的第二像素点的像素值进行处理，得到第二样本图像。
[0109]
在本技术实施例中步骤206的实现过程与步骤205的实现过程类似，本技术实施例再此不再赘述。
[0110]
步骤207、人脸表情识别设备基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，得到第一样本图像集合。
[0111]
在本技术实施例中，人脸表情识别设备可以对样本彩色图像、样本热红外图像、第一样本图像和第二样本图像分别进行变换，并将变换后的图像组成的集合作为第一样本图像集合。
[0112]
其中，步骤207可以通过以下步骤来实现：
[0113]
c1、人脸表情识别设备采用不同角度分别对样本彩色图像、样本热红外图像、第一样本图像和第二样本图像进行旋转，确定第二样本图像集合。
[0114]
在本技术实施例中，人脸表情识别设备采用不同角度分别对样本彩色图像、样本热红外图像、第一样本图像和第二样本图像进行旋转，并将旋转后得到的图像组成的集合作为第二样本图像集合。
[0115]
在一种可行的实现方式中，以采用10个角度对样本彩色图像进行旋转为例，具体可以采用-15
°
、-12
°
、-9
°
、-6、-3
°
、3
°
、6
°
、9
°
、12
°
、15
°
分别对样本彩色图像进行旋转，得到
10个不同角度旋转后对应的10个旋转样本彩色图像，之后可以采用10个角度分别对样本热红外图像、第一样本图像和第二样本图像进行旋转，可以得到10个不同角度旋转后对应的旋转样本热红外图像、10个不同角度旋转后对应的旋转第一样本图像和10个不同角度旋转后对应的旋转第二样本图像。
[0116]
需要说明的是，采用不同角度分别对样本彩色图像、样本热红外图像、第一样本图像和第二样本图像进行旋转，可以扩充训练人脸表情识别模型时的样本数据，还可以使得训练的人脸表情识别模型能够对不同角度的图像进行识别，提高识别的准确率。
[0117]
c2、人脸表情识别设备对第二样本图像集合中的图像进行水平翻转，确定第一样本图像集合。
[0118]
在本技术实施例中，人脸表情识别设备可以对第二样本图像集合中的每一图像进行水平翻转，并将翻转后的图像所组成的集合作为第一样本图像集合。其中，水平翻转也可以理解为对图像沿水平轴进行180
°
的旋转。
[0119]
步骤208、人脸表情识别设备采用伪孪生卷积神经网络对第一样本图像集合中的图像进行处理，确定人脸表情识别模型。
[0120]
其中，第一样本图像集合中的图像分为两大类，一类是旋转后的样本彩色图像和旋转后的第一样本图像；另一类是旋转后的样本热红外图像和旋转后的第二样本图像。
[0121]
在本技术实施例中，人脸表情识别设备采用伪孪生卷积神经网络可以从旋转后的样本彩色图像中提取像素点的像素值的三个子像素值；其中，三个子像素值分别为r、g、b，并从第一样本图像中提取像素点的灰度值，将所提取的三个子像素值和灰度值作为第一输入数据(第一输入数据为4个通道的数据)，并采用伪孪生卷积神经网络可以从旋转后的样本热红外图像中提取像素点的像素值的三个子像素值和第二样本图像中像素点的灰度值，得到第二输入数据(第二输入数据为4个通道的数据)，将第一输入数据和第二输入数据分别输入伪孪生卷积神经网络中的特征提取模块进行训练，来确定人脸表情识别模型。
[0122]
如图3所示为人脸表情识别模型的结构示意图，其中，rgb input data为彩色输入数据的第一特征提取模块，图中infrared input data为红外输入数据的第二特征提取模块，cov为伪孪生卷积神经网络中的卷积层，prelu为伪孪生卷积神经网络中的激活函数；max pooling是在卷积层(conv)之后的池化层，通过池化层可以缩减得到的人脸表情识别模型的大小提高计算速度，同时提高所提取特征的鲁棒性。concatenate是伪孪生卷积神经网络中的连接层，通过将第一特征提取模块输出的数据(第一特征提取模块输出的数据的通道数为64)和第二特征提取模块提取的数据(第二特征提取模块输出的数据的通道数为64)进行拼接(拼接后的数据的通道数为128)，然后将拼接后的数据再次经过第三特征提取模块、三个全连接层(fully connected,fc)以及softmax分类器进行处理，来确定人脸的表情信息。
[0123]
需要说明的是，在确定人脸表情识别模型的过程中还可以使用将角度间隔引入到损失函数中，采用角度间隔(angular margin，am)-softmax作为损失函数来训练模型，am-softmax可以用公式(2)来表示：
[0124][0125]
其中，n表示一个批次的用于训练模型的图像的样本数量；x表示最后一个全连接层的输入；xi表示第i个用于训练模型的图像中提出的特征的特征向量；wj表示第j个类别全连接层输入的权重向量；θj表示权重向量wj和特征向量xj之间的夹角；yi表示第i个用于训练模型的图像的样本的类别标签；表示第i个用于训练模型的图像的的目标评定；m为决策余量，能将网络权重wj和特征向量xi的余弦距离变为cosθ-m，通过m来调节特征之间的距离；s为缩放因子，一般取大于1的整数。
[0126]
步骤209、人脸表情识别设备降低彩色图像的分辨率得到第三图像，并对第三图像的第三像素点的像素值进行处理，得到第一目标图像。
[0127]
在本技术实施例中，步骤209中得到第三图像，并对第三图像的第三像素点的像素值进行处理得到第一目标图像的过程与步骤205类似，本技术实施例再此不再赘述。
[0128]
需要说明的是，还可以采用直方图均衡化的方法对第三图像的第三像素点的像素值进行处理后得到的图像进行归一化处理，得到第一目标图像，以降低人脸表情识别模型对第一目标图像进行处理的计算复杂度。
[0129]
步骤210、人脸表情识别设备降低热红外图像的分辨率得到第四图像，并对第四图像的第四像素点的像素值进行处理，得到第二目标图像。
[0130]
在本技术实施例中，步骤210中得到第四图像，并对第四图像的第三像素点的像素值进行处理得到第二目标图像的过程与步骤205类似，本技术实施例再此不再赘述。
[0131]
步骤211、人脸表情识别设备采用人脸表情识别模型对彩色图像、热红外图像、第一目标图像和第二目标图像进行处理，确定目标人脸的表情信息。
[0132]
在本技术实施例中，可以将彩色图像、热红外图像、第一目标图像和第二目标图像输入至人脸表情识别模型中，通过人脸表情识别模型对彩色图像和第一目标图像的像素点的像素值进行处理，得到第一待分析数据，并对热红外图像和第二目标图像像素点的像素值进行处理，得到第二待分析数据，通过人脸表情识别模型的多个特征提取模块对第一待分析数据和第二待分析数据进行特征提取并分类，最终人脸表情识别模型可以输出目标人脸的表情信息。
[0133]
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
[0134]
本技术实施例所提供的人脸表情识别方法，可以根据样本热红外图像对光照和肤色不敏感的特性，基于样本彩色图像、样本热红外图像和第一样本图像和第二样本图像来确定人脸表情识别模型，使得人脸表情识别模型对光照和肤色的敏感度降低，之后基于目标人脸的彩色图像、热红外图像和人脸表情识别模型确定目标人脸的表情信息，可以降低光照和肤色对确定目标人脸的表情信息的影响，提高了确定目标人脸的表情信息的准确
率；在训练模型时采用了样本热红外图像，在确定目标人脸的表情信息时采用了热红外图像，可以弥补rgb图像易受到光照和肤色等因素影响的缺陷，同时采用了伪孪生卷积神经网络来训练人脸表情识别模型，提升了确定的人脸表情识别模型的准确率和鲁棒性。
[0135]
基于前述实施例，本技术实施例提供一种人脸表情识别装置，该人脸表情识别装置可以应用于图1-2对应的实施例提供的人脸表情识别方法中，如图4所示，该人脸表情识别装置3包括：
[0136]
获取单元31，用于获取针对人脸的样本彩色图像和样本热红外图像；
[0137]
处理单元31，用于分别对样本彩色图像和样本热红外图像进行转换处理，得到第一样本图像和第二样本图像；
[0138]
处理单元31，还用于基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，确定人脸表情识别模型；
[0139]
处理单元31，还用于获取目标人脸的彩色图像和热红外图像，并基于彩色图像、热红外图像和人脸表情识别模型，确定目标人脸的表情信息。
[0140]
在本技术实施例中，获取单元31还用于执行以下步骤：
[0141]
获取针对具有人脸信息的对象的待处理彩色图像和待处理热红外图像；
[0142]
分别对待处理彩色图像和待处理热红外图像进行关键点检测，得到待处理彩色图像的第一人脸关键点集合和待处理热红外图像的第二人脸关键点集合；
[0143]
基于第一人脸关键点集合，从待处理彩色图像中确定样本彩色图像；
[0144]
基于第二人脸关键点集合，从待处理热红外图像中确定样本热红外图像。
[0145]
在本技术实施例中，获取单元31还用于执行以下步骤：
[0146]
从第一人脸关键点集合中，获取待处理彩色图像的除面部轮廓关键点之外的参考关键点；
[0147]
基于参考关键点的在待处理彩色图像中的位置和目标尺寸参数，从待处理彩色图像中确定样本彩色图像。
[0148]
在本技术实施例中，获取单元31还用于执行以下步骤：
[0149]
从第二人脸关键点集合中，确定待处理热红外图像的人脸关键点中面部轮廓关键点；
[0150]
基于面部轮廓关键点在待处理热红外图像中的位置，从待处理热红外图像中确定样本热红外图像。
[0151]
在本技术实施例中，处理单元32还用于执行以下步骤：
[0152]
降低样本彩色图像的分辨率得到第一图像，并对第一图像的第一像素点的像素值进行处理，得到第一样本图像；
[0153]
降低样本热红外图像的分辨率得到第二图像，并对第二图像的第二像素点的像素值进行处理，得到第二样本图像。
[0154]
在本技术实施例中，处理单元32还用于执行以下步骤：
[0155]
基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，得到第一样本图像集合；
[0156]
采用伪孪生卷积神经网络基于第一样本图像集合中的图像进行模型训练，得到人脸表情识别模型。
[0157]
在本技术实施例中，处理单元32还用于执行以下步骤：
[0158]
采用不同角度分别对样本彩色图像、样本热红外图像、第一样本图像和第二样本图像进行旋转，确定第二样本图像集合；
[0159]
对第二样本图像集合中的图像进行水平翻转，确定第一样本图像集合。
[0160]
在本技术实施例中，处理单元32还用于执行以下步骤：
[0161]
降低彩色图像的分辨率得到第三图像，并对第三图像的第三像素点的像素值进行处理，得到第一目标图像；
[0162]
降低热红外图像的分辨率得到第四图像，并对第四图像的第四像素点的像素值进行处理，得到第二目标图像；
[0163]
采用人脸表情识别模型对彩色图像、热红外图像、第一目标图像和第二目标图像进行处理，确定目标人脸的表情信息。
[0164]
需要说明的是，本技术实施例中各单元之间的交互过程，可以参照图1-2对应的实施例提供的人脸表情识别方法的实现过程，此处不再赘述。
[0165]
本技术实施例所提供的人脸表情识别装置，可以根据样本热红外图像对光照和肤色不敏感的特性，基于样本彩色图像、样本热红外图像和第一样本图像和第二样本图像来确定人脸表情识别模型，使得人脸表情识别模型对光照和肤色的敏感度降低，之后基于目标人脸的彩色图像、热红外图像和人脸表情识别模型确定目标人脸的表情信息，可以降低光照和肤色对确定目标人脸的表情信息的影响，提高了确定目标人脸的表情信息的准确率；在训练模型时采用了样本热红外图像，在确定目标人脸的表情信息时采用了热红外图像，可以弥补rgb图像易受到光照和肤色等因素影响的缺陷，同时采用了伪孪生卷积神经网络来训练人脸表情识别模型，提升了确定的人脸表情识别模型的准确率和鲁棒性。
[0166]
基于前述实施例，本技术的实施例提供一种人脸表情识别设备，该人脸表情识别设备可以应用于图1-2对应的实施例提供的人脸表情识别方法中，参照图5所示，该人脸表情识别设备包括：存储器41、处理器42和通信总线43；
[0167]
通信总线43用于实现处理器42和存储器41之间的通信连接；
[0168]
处理器42用于执行存储器41中存储的人脸表情识别程序，以实现以下步骤：
[0169]
获取针对人脸的样本彩色图像和样本热红外图像；
[0170]
分别对样本彩色图像和样本热红外图像进行转换处理，得到第一样本图像和第二样本图像；
[0171]
基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，确定人脸表情识别模型；
[0172]
获取目标人脸的彩色图像和热红外图像，并基于彩色图像、热红外图像和人脸表情识别模型，确定目标人脸的表情信息。
[0173]
在本技术的其他实施例中，处理器42，用于执行存储器41中存储的人脸表情识别程序的获取针对人脸的样本彩色图像和样本热红外图像，以实现以下步骤：
[0174]
获取针对具有人脸信息的对象的待处理彩色图像和待处理热红外图像；
[0175]
分别对待处理彩色图像和待处理热红外图像进行关键点检测，得到待处理彩色图像的第一人脸关键点集合和待处理热红外图像的第二人脸关键点集合；
[0176]
基于第一人脸关键点集合，从待处理彩色图像中确定样本彩色图像；
[0177]
基于第二人脸关键点集合，从待处理热红外图像中确定样本热红外图像。
[0178]
在本技术的其他实施例中，处理器42，用于执行存储器41中存储的人脸表情识别程序的基于第一人脸关键点集合，从待处理彩色图像中确定样本彩色图像，以实现以下步骤：
[0179]
从第一人脸关键点集合中，获取待处理彩色图像的除面部轮廓关键点之外的参考关键点；
[0180]
基于参考关键点在待处理彩色图像中的位置和目标尺寸参数，从待处理彩色图像中确定样本彩色图像。
[0181]
在本技术的其他实施例中，处理器42，用于执行存储器41中存储的人脸表情识别程序的基于第二人脸关键点集合，从待处理热红外图像中确定样本热红外图像，以实现以下步骤：
[0182]
从第二人脸关键点集合中，确定待处理热红外图像的人脸关键点中面部轮廓关键点；
[0183]
基于面部轮廓关键点在待处理热红外图像中的位置，从待处理热红外图像中确定样本热红外图像。
[0184]
在本技术的其他实施例中，处理器42，用于执行存储器41中存储的人脸表情识别程序的分别对样本彩色图像和样本热红外图像进行转换处理，得到第一样本图像和第二样本图像，以实现以下步骤：
[0185]
降低样本彩色图像的分辨率得到第一图像，并对第一图像的第一像素点的像素值进行处理，得到第一样本图像；
[0186]
降低样本热红外图像的分辨率得到第二图像，并对第二图像的第二像素点的像素值进行处理，得到第二样本图像。
[0187]
在本技术的其他实施例中，处理器42，用于执行存储器41中存储的人脸表情识别程序的基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，确定人脸表情识别模型，以实现以下步骤：
[0188]
基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，得到第一样本图像集合；
[0189]
采用伪孪生卷积神经网络基于第一样本图像集合中的图像进行模型训练，得到人脸表情识别模型。
[0190]
在本技术的其他实施例中，处理器42，用于执行存储器41中存储的人脸表情识别程序的基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像，得到第一样本图像集合，以实现以下步骤：
[0191]
采用不同角度分别对样本彩色图像、样本热红外图像、第一样本图像和第二样本图像进行旋转，确定第二样本图像集合；
[0192]
对第二样本图像集合中的图像进行水平翻转，确定第一样本图像集合。
[0193]
在本技术的其他基于彩色图像、热红外图像和人脸表情识别模型，确定目标人脸的表情信息实施例中，处理器42，用于执行存储器41中存储的人脸表情识别程序的，以实现以下步骤：
[0194]
降低彩色图像的分辨率得到第三图像，并对第三图像的第三像素点的像素值进行
处理，得到第一目标图像；
[0195]
降低热红外图像的分辨率得到第四图像，并对第四图像的第四像素点的像素值进行处理，得到第二目标图像；
[0196]
采用人脸表情识别模型对彩色图像、热红外图像、第一目标图像和第二目标图像进行处理，确定目标人脸的表情信息。
[0197]
需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图1-2对应的实施例提供的人脸表情识别方法中的实现过程，此处不再赘述。
[0198]
本技术实施例所提供的人脸表情识别设备，可以根据样本热红外图像对光照和肤色不敏感的特性，基于样本彩色图像、样本热红外图像和第一样本图像和第二样本图像来确定人脸表情识别模型，使得人脸表情识别模型对光照和肤色的敏感度降低，之后基于目标人脸的彩色图像、热红外图像和人脸表情识别模型确定目标人脸的表情信息，可以降低光照和肤色对确定目标人脸的表情信息的影响，提高了确定目标人脸的表情信息的准确率；在训练模型时采用了样本热红外图像，在确定目标人脸的表情信息时采用了热红外图像，可以弥补rgb图像易受到光照和肤色等因素影响的缺陷，同时采用了伪孪生卷积神经网络来训练人脸表情识别模型，提升了确定的人脸表情识别模型的准确率和鲁棒性。
[0199]
基于前述实施例，本技术的实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现图1-2对应的实施例提供的人脸表情识别方法的步骤。
[0200]
应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0201]
需要说明的是，上述计算机可读存储介质可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
[0202]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0203]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0204]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所描述的方法。
[0205]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0206]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0207]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0208]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。