一种基于局部图像数据融合的表情识别方法及装置

1.本技术涉及人脸识别技术领域，具体而言，涉及一种基于局部图像数据融合的表情识别方法及装置。


背景技术：

2.在人机交互领域中，人脸表情的精确识别可以帮助机器和计算机识别出人类可能的认知和思维方式，从而准确理解人类的情感，有利于提升人机交互的质量。人脸表情数据是高维复杂的数据，描述人脸表情的数据具有较大的空间维度。
3.目前，基于人脸灰度图像的表情识别方式，容易受到光照变化的影响；而基于人脸深度图像的表情识别方式，则容易受到数据采集精度、动态变化(例如五官的动态变化、位置的变化)等因素的影响，阻碍了人脸表情识别系统的稳定性及准确性。


技术实现要素：

4.本技术实施例的目的在于提供一种基于局部图像数据融合的表情识别方法及装置，以提升人脸表情识别的准确性和稳定性。
5.为了实现上述目的，本技术的实施例通过如下方式实现：
6.第一方面，本技术实施例提供一种基于局部图像数据融合的表情识别方法，包括：获取包含目标人脸的灰度图像和深度图像，其中，所述灰度图像和所述深度图像为基于同一时刻对目标人脸进行拍摄处理后所得；对所述灰度图像进行预处理，并对预处理后的灰度图像进行检测，确定出目标人脸的图像嘴部长度；将所述图像嘴部长度与所述目标人脸对应的参考嘴部长度进行比较，确定出比较结果，其中，比较结果为第一结果、第二结果和第三结果中的任一项，所述第一结果表示所述图像嘴部长度大于所述参考嘴部长度，所述第二结果表示所述图像嘴部长度与所述参考嘴部长度一致，所述第三结果表示所述图像嘴部长度小于所述参考嘴部长度；基于所述比较结果，确定出精准融合区域和粗糙融合区域，其中，所述精准融合区域和所述粗糙融合区域均属于目标人脸中的部分区域；基于所述精准融合区域和所述粗糙融合区域，对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合；对融合后的人脸图像进行表情识别，确定出所述目标人脸在该时刻的表情。
7.在本技术实施例中，通过获取同一时刻拍摄(处理后)的包含目标人脸的灰度图像和深度图像，对灰度图像进行预处理后确定出目标人脸的图像嘴部长度，以图像嘴部长度与参考嘴部长度的比较结果为基础，确定出相应的精准融合区域和粗糙融合区域。再利用精准融合区域和粗糙融合区域，对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合；对融合后的人脸图像进行表情识别，确定出目标人脸在该时刻的表情。此种方式通过在对灰度图像和深度图像进行融合前，利用灰度图像中识别出的图像嘴部长度，作为确定精准融合区域和粗糙融合区域的基础。由于不同表情中，嘴部长度不同，对应多种类型的表情，但嘴角拉长的表情中，与嘴角未拉长的表情，可以通过不同的重点判断区
域来作为表情识别的关键，例如，嘴角拉长时，可以是面带微笑(高兴)、哭泣(悲伤)等，而微笑的表情，伴随眼角纹、脸颊肌肉的变化等，而哭泣时，眉毛、眼睑的变化则较为明显，具有比较鲜明的特征。因此，通过图像嘴部长度作为确定精准融合区域和粗糙融合区域的基础，可以有针对性地进行局部图像的精细化融合，对于相对无关紧要的区域，可以粗糙地进行融合，从而可以大幅提升人脸表情识别的准确性，而将灰度图像与深度图像的结合，可以形成一个互补的作用，有利于进一步提升人脸表情识别的准确性和稳定性。
8.结合第一方面，在第一方面的第一种可能的实现方式中，对所述灰度图像进行预处理，包括：确定出所述灰度图像中目标人脸的双眼中心点连线，并基于此双眼中心点连线对所述灰度图像进行角度调整，以摆正目标人脸；以及，从所述灰度图像中确定出鼻尖顶点；对应的，所述基于局部图像数据融合的表情识别方法还包括：对所述深度图像进行预处理，具体包括：
9.确定出所述深度图像中目标人脸的双眼中心点连线，并基于此双眼中心点连线对所述深度图像进行角度调整，以摆正目标人脸；以及，从所述深度图像中确定出鼻尖顶点。
10.在该实现方式中，通过确定出灰度图像(深度图像)中目标人脸的双眼中心点连线，并基于此双眼中心点连线对灰度图像(深度图像)进行角度调整，以摆正目标人脸；以及，从灰度图像(深度图像)中确定出鼻尖顶点。通过这几个点的确定，可以使得灰度图像与深度图像之间能够很好地进行对应，有利于保证融合的精度。并且，在进行融合之前，利用双眼中心点连线将目标人脸摆正，可以进一步保证图像融合的精度。
11.结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，基于所述精准融合区域和所述粗糙融合区域，对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合，包括：将预处理后的灰度图像中目标人脸的双眼中心点、鼻尖顶点，与预处理后的深度图像中目标人脸的双眼中心点、鼻尖顶点，一一对应建立映射关系；对预处理后的灰度图像中目标人脸的精准融合区域进行特征提取，以及，对预处理后的深度图像中目标人脸的精准融合区域进行特征提取；将基于灰度图像提取的图像特征点与基于深度图像提取的深度特征点进行匹配，将匹配的图像特征点与深度特征点建立映射关系，实现灰度图像与深度图像在精准融合区域的配准；确定出预处理后的灰度图像中目标人脸的粗糙融合区域的轮廓，以及，确定出预处理后的深度图像中目标人脸的粗糙融合区域的轮廓；将基于灰度图像确定的图像区域轮廓与基于深度图像确定的深度区域轮廓进行匹配，将匹配的图像区域轮廓与图像区域轮廓建立映射关系，实现灰度图像与深度图像在粗糙融合区域的配准。
12.在该实现方式中，将预处理后的灰度图像中目标人脸的双眼中心点、鼻尖顶点，与预处理后的深度图像中目标人脸的双眼中心点、鼻尖顶点，一一对应建立映射关系，可以作为灰度图像和深度图像进行图像融合的参考基准。针对精准融合区域的图像融合，通过对预处理后的灰度图像中目标人脸的精准融合区域进行特征提取，以及，对预处理后的深度图像中目标人脸的精准融合区域进行特征提取；再将基于灰度图像提取的图像特征点与基于深度图像提取的深度特征点进行匹配，将匹配的图像特征点与深度特征点建立映射关系，实现灰度图像与深度图像在精准融合区域的配准，由此可以通过多个特征点的匹配，来进行精准融合区域的图像融合，从而保证图像融合的精度。而针对粗糙融合区域的配准，主要利用预处理后的灰度图像中目标人脸的粗糙融合区域的轮廓，以及预处理后的深度图像
中目标人脸的粗糙融合区域的轮廓，进行轮廓匹配后实现该区域内的图像融合，可以大大提升粗糙融合区域的图像融合效率。因此，此种精度差异化的图像融合方式，可以有效保证图像融合的精度和效率，从而有利于提升表情识别的稳定性和准确性，也能够提升表情识别方法的运行效率。
13.结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述目标人脸包括额部区域、眉部区域、眼眶部区域、耳部区域、颞部区域、颊部区域、鼻部区域、口部区域、颌部区域，基于所述比较结果，确定出精准融合区域和粗糙融合区域，包括：若所述比较结果为所述第一结果，确定所述眉部区域、所述眼眶部区域、所述颊部区域、所述口部区域为精准融合区域，其余为粗糙融合区域；若所述比较结果为所述第二结果，确定所述额部区域、所述眉部区域、所述眼眶部区域、所述颊部区域、所述口部区域为精准融合区域，其余为粗糙融合区域；若所述比较结果为所述第三结果，确定所述眉部区域、所述眼眶部区域、所述口部区域、所述颌部区域为精准融合区域，其余为粗糙融合区域。
14.在该实现方式中，将目标人脸划分为额部区域、眉部区域、眼眶部区域、耳部区域、颞部区域、颊部区域、鼻部区域、口部区域、颌部区域，若比较结果为第一结果(图像嘴部长度大于参考嘴部长度)，确定眉部区域、眼眶部区域、颊部区域、口部区域为精准融合区域，其余为粗糙融合区域。由于图像嘴部长度大于参考嘴部长度时，通常人脸此刻的表情会伴随眼角、眼睑、眉毛、脸颊等方面的特征，例如，面带微笑时，嘴角上扬，通常伴随眼角纹的出现，以及，脸颊部分隆起，引起轮廓变化和深度信息变化，悲伤哭泣时通常伴随眉毛变换成一定的形态(例如眉尾低垂)，眼睑的收敛，嘴部呈整体上凸的弧度等特征。因此，在比较结果为第一结果时，确定眉部区域、眼眶部区域、颊部区域、口部区域为精准融合区域，其余为粗糙融合区域，这样确定出的精准融合区域有助于后续融合的人脸图像的表情识别。同理，若比较结果为第二结果(图像嘴部长度与参考嘴部长度一致，此处的一致表示长度差异在设定的范围内)，确定额部区域、眉部区域、眼眶部区域、颊部区域、口部区域为精准融合区域，其余为粗糙融合区域。由于图像嘴部长度与参考嘴部长度一致时，人脸表情的类别的不确定性较多，因此可以确定出多处关键部位为精准融合区域，例如表情平静、惊讶、疑惑等，可以通过额头(例如是否有纹路)、眉毛(是否眉头挑起)、眼睛、嘴型等多个区域的特征，联合确定具体的表情，保证表情识别的精度。若比较结果为第三结果(图像嘴部长度小于参考嘴部长度)，确定眉部区域、眼眶部区域、口部区域、颌部区域为精准融合区域，其余为粗糙融合区域。这样可以针对图像嘴部长度小于参考嘴部长度时可能出现的表情类别来重点筛选需要精准融合的区域，例如，表情愤怒时，常伴随嘴唇紧闭、嘴巴收拢、眉头下压眉尾上挑、眼珠偏向上眼睑等特征。而不甘的表情，通常还伴随下颌的收紧，下颌表面皮肤出现一片小小的肉眼等。因此，通过此种方式，针对不同的比较结果确定相应的精准融合区域，可以有助于准确识别人脸表情。
15.结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述比较结果为所述第一结果，对融合后的人脸图像进行表情识别，包括：获取所述人脸图像中眉部区域的眉毛特征，口部区域的嘴部特征，眼眶部区域的眼部特征，以及颊部区域的脸颊特征，其中，所述眉毛特征包括眉毛轮廓和眉毛深度信息，所述嘴部特征包括嘴部长度和唇部轮廓，所述眼部特征包括眼睑轮廓和眼角纹路，所述脸颊特征包括脸颊轮廓和脸颊深度信息；基于所述眉毛特征、所述嘴部特征、所述眼部特征以及所述脸颊特征，确定
出目标人脸在该时刻的表情状态。
16.结合第一方面的第三种可能的实现方式，在第一方面的第五种可能的实现方式中，所述比较结果为所述第二结果，对融合后的人脸图像进行表情识别，包括：获取所述人脸图像中额部区域的额部特征，眉部区域的眉毛特征，口部区域的嘴部特征，眼眶部区域的眼部特征，以及颊部区域的脸颊特征，其中，所述额部特征包括额部轮廓和额纹信息，所述眉毛特征包括眉毛轮廓和眉毛深度信息，所述嘴部特征包括嘴部长度和唇部轮廓，所述眼部特征包括眼睑轮廓和眼角纹路，所述脸颊特征包括脸颊轮廓和脸颊深度信息；基于所述额部特征、所述眉毛特征、所述嘴部特征、所述眼部特征以及所述脸颊特征，确定出目标人脸在该时刻的表情状态。
17.结合第一方面的第三种可能的实现方式，在第一方面的第六种可能的实现方式中，所述比较结果为所述第三结果，对融合后的人脸图像进行表情识别，包括：获取所述人脸图像中眉部区域的眉毛特征，口部区域的嘴部特征，眼眶部区域的眼部特征，以及颌部区域的颌部特征，其中，所述眉毛特征包括眉毛轮廓和眉毛深度信息，所述嘴部特征包括嘴部长度和唇部轮廓，所述眼部特征包括眼睑轮廓和眼角纹路，所述颌部特征包括颌部轮廓和颌部纹理；基于所述眉毛特征、所述嘴部特征、所述眼部特征以及所述颌部特征，确定出目标人脸在该时刻的表情状态。
18.第二方面，本技术实施例提供一种基于局部图像数据融合的表情识别装置，包括：图像获取单元，用于获取包含目标人脸的灰度图像和深度图像，其中，所述灰度图像和所述深度图像为基于同一时刻对目标人脸进行拍摄处理后所得；处理单元，用于对所述灰度图像进行预处理，并对预处理后的灰度图像进行检测，确定出目标人脸的图像嘴部长度；所述处理单元，还用于将所述图像嘴部长度与所述目标人脸对应的参考嘴部长度进行比较，确定出比较结果，其中，比较结果为第一结果、第二结果和第三结果中的任一项，所述第一结果表示所述图像嘴部长度大于所述参考嘴部长度，所述第二结果表示所述图像嘴部长度与所述参考嘴部长度一致，所述第三结果表示所述图像嘴部长度小于所述参考嘴部长度；所述处理单元，还用于基于所述比较结果，确定出精准融合区域和粗糙融合区域，其中，所述精准融合区域和所述粗糙融合区域均属于目标人脸中的部分区域；所述处理单元，还用于基于所述精准融合区域和所述粗糙融合区域，对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合；所述处理单元，还用于对融合后的人脸图像进行表情识别，确定出所述目标人脸在该时刻的表情。
19.第三方面，本技术实施例提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面或第一方面的可能的实现方式中任一项所述的基于局部图像数据融合的表情识别方法。
20.第四方面，本技术实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现第一方面或第一方面的可能的实现方式中任一项所述的基于局部图像数据融合的表情识别方法。
21.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
22.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
23.图1为本技术实施例提供的一种基于局部图像数据融合的表情识别方法的流程图。
24.图2为本技术实施例提供的目标人脸的区域划分示意图。
25.图3为本技术实施例提供一种基于局部图像数据融合的表情识别装置的示意图。
26.图4为本技术实施例提供的一种电子设备的结构框图。
27.图标：1-额部区域；2-眉部区域；3-鼻部区域；4-口部区域；5-颌部区域；6-颊部区域；7-眼眶部区域；8-耳部区域；9-颞部区域；10-基于局部图像数据融合的表情识别装置；11-图像获取单元；12-处理单元；20-电子设备；21-存储器；22-通信模块；23-总线；24-处理器。
具体实施方式
28.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
29.在本实施例中，基于局部图像数据融合的表情识别方法可以通过电子设备执行，而电子设备可以是终端，例如笔记本电脑、个人电脑、平板电脑、智能手机等；也可以是服务器，例如云服务器，服务器集群等。当然，电子设备也可以是专用设备，例如针对性开发的设备，包含处理设备和图像获取装置，图像获取装置则包含设置好的实时图像获取部件(例如高清摄像头)和深度图像获取部件(例如深度相机)，分别用于实时且同步拍摄实时图像(进行灰度处理后即可得到对应的灰度图像)和深度图像。
30.请参阅图1，图1为本技术实施例提供的一种基于局部图像数据融合的表情识别方法的流程图。
31.在本实施例中，基于局部图像数据融合的表情识别方法可以包括步骤s10、步骤s20、步骤s30、步骤s40、步骤s50、步骤s60。
32.为了提升人机交互的质量，可以在交互过程中对人脸表情进行识别，基于此，电子设备可以执行步骤s10。
33.步骤s10：获取包含目标人脸的灰度图像和深度图像，其中，所述灰度图像和所述深度图像为基于同一时刻对目标人脸进行拍摄处理后所得。
34.在本实施例中，电子设备可以获取实时图像获取部件拍摄的实时图像，对实时图像进行灰度处理后即可得到灰度图像；以及，电子设备可以获取深度图像获取部件在同一时刻拍摄的深度图像。其中，灰度图像和深度图像中均包含目标人脸。
35.获取灰度图像和深度图像后，电子设备可以执行步骤s20。
36.步骤s20：对所述灰度图像进行预处理，并对预处理后的灰度图像进行检测，确定出目标人脸的图像嘴部长度。
37.在本实施例中，电子设备可以对灰度图像进行预处理。
38.示例性的，电子设备可以确定出灰度图像中目标人脸的双眼中心点连线，并基于
此双眼中心点连线对灰度图像进行角度调整，以摆正目标人脸。
39.具体的，电子设备可以对灰度图像进行轮廓检测，确定出目标人脸的双眼位置，基于每个眼睛的中心点，可以确定出灰度图像中目标人脸的双眼中心点连线。而后可以通过将此双眼中心点连线调整为水平(以水平方向为例，但不限定于此)，从而对灰度图像进行角度调整，使得目标人脸保持正位。而后，电子设备可以从灰度图像中检测出鼻子的轮廓，并确定出鼻尖顶点。
40.同理，电子设备还可以对深度图像进行预处理。
41.示例性的，电子设备可以确定出深度图像中目标人脸的双眼中心点连线，并基于此双眼中心点连线对深度图像进行角度调整，以摆正目标人脸。
42.具体的，电子设备同样可以对深度图像进行轮廓检测，确定出目标人脸的双眼位置，基于每个眼睛的中心点，可以确定出深度图像中目标人脸的双眼中心点连线。而后可以通过将此双眼中心点连线调整为水平(以水平方向为例，但不限定于此)，从而对深度图像进行角度调整，使得目标人脸保持正位。而后，电子设备可以从深度图像中检测出鼻尖顶点(鼻尖顶点的深度相较于目标人脸中其他部位的深度更浅，与深度相机的距离更近)。
43.通过确定出灰度图像(深度图像)中目标人脸的双眼中心点连线，并基于此双眼中心点连线对灰度图像(深度图像)进行角度调整，以摆正目标人脸；以及，从灰度图像(深度图像)中确定出鼻尖顶点。通过这几个点的确定，可以使得灰度图像与深度图像之间能够很好地进行对应，有利于保证融合的精度。并且，在进行融合之前，利用双眼中心点连线将目标人脸摆正，可以进一步保证图像融合的精度。
44.对灰度图像进行预处理后，电子设备可以对预处理后的灰度图像进行检测，确定出目标人脸的图像嘴部长度。此处选用灰度图像进行图像嘴部长度的确定，是因为此种方式更稳定，因为嘴部与周围面部皮肤的肤色差异明显，更有利于进行轮廓检测。当然，在其他一些可能的实现方式中，也可以利用深度图像进行嘴部检测，此处不作限定。
45.确定目标人脸的图像嘴部长度的方式，可以是取嘴角之间的距离作为图像嘴部长度，此处不作限定。具体的，可以检测出嘴部轮廓，得到嘴角之间的嘴角距离；而后，检测灰度图像中目标人脸的眼内角的间距，作为眼内角距离，再将嘴角距离比上眼内角距离，可以得到图像嘴部长度(是一个相对值)。
46.确定出目标人脸的图像嘴部长度之后，电子设备可以执行步骤s30。
47.步骤s30：将所述图像嘴部长度与所述目标人脸对应的参考嘴部长度进行比较，确定出比较结果，其中，比较结果为第一结果、第二结果和第三结果中的任一项，所述第一结果表示所述图像嘴部长度大于所述参考嘴部长度，所述第二结果表示所述图像嘴部长度与所述参考嘴部长度一致，所述第三结果表示所述图像嘴部长度小于所述参考嘴部长度。
48.在本实施例中，电子设备可以将图像嘴部长度与目标人脸对应的参考嘴部长度进行比较，确定出比较结果。
49.此处的参考嘴部长度，可以基于目标人脸处于平静表情时的图像来确定，例如，目标人脸处于平静表情时的图像中，以目标人脸两只眼睛的眼内角间距为基准，确定此时的嘴部长度，作为参考嘴部长度(此参考嘴部长度为一相对值，并非绝对值，例如，将眼内角间距记为1，那么，参考嘴部长度可能为1.4，可能为0.8，因人而异，但具体到个人，则是稳定的值)。
50.具体的，图像嘴部长度与参考嘴部长度的比较方式，可以是确定图像嘴部长度与参考嘴部长度之间的差异是否超过设定值(例如5％)。
51.若图像嘴部长度比参考嘴部长度长设定值以上，那么，可以确定图像嘴部长度大于参考嘴部长度，因此可以确定比较结果为第一结果。
52.若图像嘴部长度与参考嘴部长度的差异在设定值以内，那么，可以确定图像嘴部长度与参考嘴部长度一致，因此可以确定比较结果为第二结果。
53.若图像嘴部长度比参考嘴部长度短设定值以上，那么，可以确定图像嘴部长度小于参考嘴部长度，因此可以确定比较结果为第三结果。
54.确定出图像嘴部长度与参考嘴部长度的比较结果之后，电子设备可以执行步骤s40。
55.步骤s40：基于所述比较结果，确定出精准融合区域和粗糙融合区域，其中，所述精准融合区域和所述粗糙融合区域均属于目标人脸中的部分区域。
56.为了便于对人脸表情的精准识别，可以将目标人脸划分多个区域，请参阅图2，目标人脸可以包括：额部区域1、眉部区域2、眼眶部区域7、耳部区域8、颞部区域9、颊部区域6、鼻部区域3、口部区域4、颌部区域5。
57.在本实施例中，电子设备可以针对不同的比较结果，确定出相应的精准融合区域和粗糙融合区域。
58.示例性的，针对比较结果为第一结果的情况：
59.电子设备可以确定眉部区域、眼眶部区域、颊部区域、口部区域为精准融合区域，其余(额部区域、耳部区域、颞部区域、鼻部区域、颌部区域)为粗糙融合区域。
60.由于图像嘴部长度大于参考嘴部长度时，通常人脸此刻的表情会伴随眼角、眼睑、眉毛、脸颊等方面的特征，例如，面带微笑时，嘴角上扬，通常伴随眼角纹的出现，以及，脸颊部分隆起，引起轮廓变化和深度信息变化，悲伤哭泣时通常伴随眉毛变换成一定的形态(例如眉尾低垂)，眼睑的收敛，嘴部呈整体上凸的弧度等特征。因此，在比较结果为第一结果时，确定眉部区域、眼眶部区域、颊部区域、口部区域为精准融合区域，其余为粗糙融合区域，这样确定出的精准融合区域有助于后续融合的人脸图像的表情识别。
61.示例性的，针对比较结果为第二结果的情况：
62.电子设备可以确定额部区域、眉部区域、眼眶部区域、颊部区域、口部区域为精准融合区域，其余(耳部区域、颞部区域、鼻部区域、颌部区域)为粗糙融合区域。
63.由于图像嘴部长度与参考嘴部长度一致时，人脸表情的类别的不确定性较多，因此可以确定出多处关键部位为精准融合区域，例如表情平静、惊讶、疑惑等，可以通过额头(例如是否有纹路)、眉毛(是否眉头挑起)、眼睛、嘴型等多个区域的特征，联合确定具体的表情，保证表情识别的精度。
64.示例性的，针对比较结果为第三结果的情况：
65.电子设备可以确定眉部区域、眼眶部区域、口部区域、颌部区域为精准融合区域，其余(额部区域、耳部区域、颞部区域、颊部区域、鼻部区域)为粗糙融合区域。
66.这样可以针对图像嘴部长度小于参考嘴部长度时可能出现的表情类别来重点筛选需要精准融合的区域，例如，表情愤怒时，常伴随嘴唇紧闭、嘴巴收拢、眉头下压眉尾上挑、眼珠偏向上眼睑等特征。而不甘的表情，通常还伴随下颌的收紧，下颌表面皮肤出现一
片小小的肉眼等。因此，通过此种方式，针对不同的比较结果确定相应的精准融合区域，可以有助于准确识别人脸表情。
67.确定出精准融合区域和粗糙融合区域之后，电子设备可以执行步骤s50。
68.步骤s50：基于所述精准融合区域和所述粗糙融合区域，对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合。
69.在本实施例中，电子设备可以基于相应的精准融合区域和粗糙融合区域，对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合。
70.示例性的，电子设备可以将预处理后的灰度图像中目标人脸的双眼中心点、鼻尖顶点，与预处理后的深度图像中目标人脸的双眼中心点、鼻尖顶点，一一对应建立映射关系。以此建立的映射关系，可以作为后续对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合的参考。
71.首先，对于预处理后的灰度图像和预处理后的深度图像在精准融合区域中的图像融合：
72.电子设备可以对预处理后的灰度图像中目标人脸的精准融合区域进行特征提取，以及，对预处理后的深度图像中目标人脸的精准融合区域进行特征提取。此处，对灰度图像中目标人脸的精准融合区域和深度图像中目标人脸的精准融合区域进行的特征提取，采用一致的特征提取方式，由此得到包含多个特征点的两类特征点集合(图像特征点与深度特征点各自的集合)。
73.而后，将基于灰度图像提取的图像特征点与基于深度图像提取的深度特征点进行匹配。匹配的主要方式除了特征点的相似度匹配，还可以配合两种特征点的在图像中位置的对应关系(可以理解为灰度图像中某个精准融合区域与深度图像中该精准融合区域的图像坐标的对应关系，可以将以双眼中心点和鼻尖顶点为基础建立的映射关系作为基准参照，通过该精准融合区域在灰度图像的轮廓与深度图像的轮廓之间的图像坐标对应关系来确定调整参数，计算出高精度的图像坐标的对应关系。相当于匹配的每一对特征点，都作为一个点位对该精准融合区域内的图像融合起到调整作用，使得该精准融合区域内的图像融合的精度更高)，由此可以实现图像特征点与深度特征点高精度匹配，从而将匹配的图像特征点与深度特征点建立映射关系，实现预处理后的灰度图像和预处理后的深度图像在精准融合区域中的高精度图像融合(即实现灰度图像与深度图像在精准融合区域的配准)。
74.而对于预处理后的灰度图像和预处理后的深度图像在粗糙融合区域中的图像融合：
75.电子设备可以确定出预处理后的灰度图像中目标人脸的粗糙融合区域的轮廓，以及，确定出预处理后的深度图像中目标人脸的粗糙融合区域的轮廓。此处，对灰度图像中目标人脸的粗糙融合区域和深度图像中目标人脸的粗糙融合区域进行的轮廓检测，可以采取差异化的轮廓检测方式，以快速准确实现对粗糙融合区域的轮廓检测为佳。例如，针对灰度图像中目标人脸的粗糙融合区域的轮廓检测，可以采用边缘检测算子检测目标轮廓来实现；而对于深度图像中目标人脸的粗糙融合区域的轮廓检测，同样可以采用边缘检测算子来检测目标轮廓来实现，由于粗糙融合区域的精度要求相对较低，以提升处理效率为优先，因此，可以采用较为简单的检测方式，在一定程度上减少处理时间，提升粗糙融合区域的检测效率。
76.而后，电子设备可以将基于灰度图像确定的图像区域轮廓与基于深度图像确定的深度区域轮廓进行匹配，将以双眼中心点和鼻尖顶点为基础建立的映射关系作为基准参照，结合轮廓相似度和坐标差异值(坐标差异越小越好)，实现基于灰度图像确定的图像区域轮廓与基于深度图像确定的深度区域轮廓的匹配。利用以双眼中心点和鼻尖顶点为基础建立的映射关系为参照，可以在较大程度上保证基于灰度图像确定的图像区域轮廓与基于深度图像确定的深度区域轮廓的匹配的准确性。基于此，电子设备可以进一步将匹配的图像区域轮廓与图像区域轮廓建立映射关系，实现灰度图像与深度图像在粗糙融合区域的配准。
77.将预处理后的灰度图像中目标人脸的双眼中心点、鼻尖顶点，与预处理后的深度图像中目标人脸的双眼中心点、鼻尖顶点，一一对应建立映射关系，可以作为灰度图像和深度图像进行图像融合的参考基准。针对精准融合区域的图像融合，通过对预处理后的灰度图像中目标人脸的精准融合区域进行特征提取，以及，对预处理后的深度图像中目标人脸的精准融合区域进行特征提取；再将基于灰度图像提取的图像特征点与基于深度图像提取的深度特征点进行匹配，将匹配的图像特征点与深度特征点建立映射关系，实现灰度图像与深度图像在精准融合区域的配准，由此可以通过多个特征点的匹配，来进行精准融合区域的图像融合，从而保证图像融合的精度。而针对粗糙融合区域的配准，主要利用预处理后的灰度图像中目标人脸的粗糙融合区域的轮廓，以及预处理后的深度图像中目标人脸的粗糙融合区域的轮廓，进行轮廓匹配后实现该区域内的图像融合，可以大大提升粗糙融合区域的图像融合效率。因此，此种精度差异化的图像融合方式，可以有效保证图像融合的精度和效率，从而有利于提升表情识别的稳定性和准确性，也能够提升表情识别方法的运行效率。
78.通过对预处理后的灰度图像和预处理后的深度图像在精准融合区域中的图像融合以及在粗糙融合区域中的图像融合，实现了对于预处理后的灰度图像和预处理后的深度图像的精度差异化的图像融合，能够兼顾表情识别的准确性、可靠性和运行效率。
79.在实现对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合之后，电子设备可以执行步骤s60。
80.步骤s60：对融合后的人脸图像进行表情识别，确定出所述目标人脸在该时刻的表情。
81.在本实施例中，电子设备可以对融合后的人脸图像进行表情识别。
82.示例性的，针对比较结果为第一结果的情况，电子设备可以获取人脸图像中眉部区域的眉毛特征，口部区域的嘴部特征，眼眶部区域的眼部特征，以及颊部区域的脸颊特征，其中，眉毛特征包括眉毛轮廓和眉毛深度信息，嘴部特征包括嘴部长度和唇部轮廓，眼部特征包括眼睑轮廓和眼角纹路，脸颊特征包括脸颊轮廓和脸颊深度信息。
83.由于比较结果为第一结果时，可能为微笑、不屑、悲伤哭泣等表情，而微笑、哭泣、不屑等表情，有着不少区别较明显的特征。例如，微笑时，嘴角上扬，嘴部拉长，脸颊肌肉鼓起，眼角纹浮现等特征；而悲伤哭泣时，嘴角下拉，嘴部拉长，上下眼睑开度减小，眉尾下带等。而这些区别度较大的区域，获取其对应的特征，例如眉毛轮廓(可判断眉毛的形态和方向)和眉毛深度信息(可以用于判断眉头是否皱起)，嘴部长度(嘴的长度，主要用于判断嘴部是否拉长)和唇部轮廓(可以用于判断嘴角位置上扬还是下拉)，眼睑轮廓(可以确定眼睑
的张大和缩小，以及瞳孔是偏向上眼睑还是下眼睑)和眼角纹路(可以用于判断是否存在眼角纹，即鱼尾纹)，脸颊轮廓(可以用于判断脸颊的形态变化程度)和脸颊深度信息(可以判断脸颊是否隆起，主要是脸颊的上部分，也称为上颊区)。那么，这些特征的获取，有利于准确得到当前人脸的表情特征。
84.而后，电子设备可以基于眉毛特征、嘴部特征、眼部特征以及脸颊特征确定出目标人脸在该时刻的表情状态。
85.同理，针对比较结果为第二结果的情况，电子设备可以获取人脸图像中额部区域的额部特征，眉部区域的眉毛特征，口部区域的嘴部特征，眼眶部区域的眼部特征，以及颊部区域的脸颊特征，其中，额部特征包括额部轮廓和额纹信息，眉毛特征包括眉毛轮廓和眉毛深度信息，嘴部特征包括嘴部长度和唇部轮廓，眼部特征包括眼睑轮廓和眼角纹路，脸颊特征包括脸颊轮廓和脸颊深度信息。
86.由于比较结果为第二结果时，可能为平静、疑惑、严肃等多种多样的表情，而区别这些表情，则需要尽可能多的特征来区分，以便准确识别表情。因此，选取这些关键区域，获取其对应的特征，例如额部轮廓(主要揭示额部是否显露)和额纹信息(额部显露时，额部是否存在额纹，眉头上挑时通常伴随额纹的出现)，眉毛轮廓(可判断眉毛的形态和方向)和眉毛深度信息(可以用于判断眉头是否皱起、是否挑起等)，嘴部长度和唇部轮廓(可以用于判断两边嘴角位置是否一致)，眼睑轮廓(可以确定眼睑的张大和缩小，下眼睑是否上抬，以及瞳孔是偏向上眼睑还是下眼睑)和眼角纹路(可以用于判断是否存在眼角纹)，脸颊轮廓(可以用于判断脸颊的形态变化程度)和脸颊深度信息(可以判断脸颊是否隆起，是否对称)。那么，这些特征的获取，有利于准确得到当前人脸的表情特征。
87.而后，电子设备可以基于额部特征、眉毛特征、嘴部特征、眼部特征以及脸颊特征，确定出目标人脸在该时刻的表情状态。
88.示例性的，针对比较结果为第三结果的情况，电子设备可以获取人脸图像中眉部区域的眉毛特征，口部区域的嘴部特征，眼眶部区域的眼部特征，以及颌部区域的颌部特征，其中，眉毛特征包括眉毛轮廓和眉毛深度信息，嘴部特征包括嘴部长度和唇部轮廓，眼部特征包括眼睑轮廓和眼角纹路，颌部特征包括颌部轮廓和颌部纹理。
89.由于比较结果为第三结果时，表情比较丰富，例如撅嘴、生气、愤怒、吃惊等等多种表情，这些表情的区分主要可以通过眉毛特征、嘴部特征、眼部特征以及颌部特征等来区分。例如眉毛轮廓(可判断眉毛的形态和方向)和眉毛深度信息(可以用于判断眉头是否皱起、是否挑起等)，嘴部长度(嘴的长度，主要用于判断嘴部是否缩短)和唇部轮廓(可以用于判断嘴唇是否皱缩)，眼睑轮廓(可以确定眼睑的张大，下眼睑是否抬升，瞳孔与上下眼睑是否存在偏向关系)和眼角纹路(可以用于判断是否存在眼角纹，即鱼尾纹)，颌部轮廓(颌部是否形变)和颌部纹理(是否存在呈片状的小肉坑形的纹理，通常伴随嘴角下压，常出现于难过的表情中)。那么，这些特征的获取，有利于准确得到当前人脸的表情特征。
90.而后，电子设备可以基于眉毛特征、嘴部特征、眼部特征以及颌部特征，确定出目标人脸在该时刻的表情状态。
91.需要说明的是，电子设备确定目标人脸在该时刻表情状态的方式可以为：例如将一种表情对应多种特征，不同特征占比可不同，通过确定是否存在该特征来对此刻的目标人脸进行计分，确定目标人脸与此种表情的相似度，确定相似度最高的表情作为目标人脸
在该时刻的表情状态。当然，也可以通过训练好的模型来进行静态表情(即通过单张图像识别的人脸的表情状态)的识别，此处不作限定。
92.在确定出目标人脸在该时刻的表情状态后，电子设备可以进一步确定出目标人脸在该时刻的表情。
93.示例性的，为了保证表情识别的准确性，电子设备还可以结合目标人脸在此前的多个时刻的表情状态，分析目标人脸的表情状态的动态变化过程，从而更加准确地识别目标人脸在该时刻的表情。
94.请参阅图3，图3为本技术实施例提供一种基于局部图像数据融合的表情识别装置10的示意图。
95.在本实施例中，基于局部图像数据融合的表情识别装置10可以包括：
96.图像获取单元11，用于获取包含目标人脸的灰度图像和深度图像，其中，所述灰度图像和所述深度图像为基于同一时刻对目标人脸进行拍摄处理后所得。
97.处理单元12，用于对所述灰度图像进行预处理，并对预处理后的灰度图像进行检测，确定出目标人脸的图像嘴部长度。
98.所述处理单元12，还用于将所述图像嘴部长度与所述目标人脸对应的参考嘴部长度进行比较，确定出比较结果，其中，比较结果为第一结果、第二结果和第三结果中的任一项，所述第一结果表示所述图像嘴部长度大于所述参考嘴部长度，所述第二结果表示所述图像嘴部长度与所述参考嘴部长度一致，所述第三结果表示所述图像嘴部长度小于所述参考嘴部长度。
99.所述处理单元12，还用于基于所述比较结果，确定出精准融合区域和粗糙融合区域，其中，所述精准融合区域和所述粗糙融合区域均属于目标人脸中的部分区域。
100.所述处理单元12，还用于基于所述精准融合区域和所述粗糙融合区域，对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合。
101.所述处理单元12，还用于对融合后的人脸图像进行表情识别，确定出所述目标人脸在该时刻的表情。
102.在本实施例中，所述处理单元12，还用于确定出所述灰度图像中目标人脸的双眼中心点连线，并基于此双眼中心点连线对所述灰度图像进行角度调整，以摆正目标人脸；以及，从所述灰度图像中确定出鼻尖顶点；所述处理单元12，还用于对所述深度图像进行预处理，具体用于：确定出所述深度图像中目标人脸的双眼中心点连线，并基于此双眼中心点连线对所述深度图像进行角度调整，以摆正目标人脸；以及，从所述深度图像中确定出鼻尖顶点。
103.在本实施例中，所述处理单元12，还用于将预处理后的灰度图像中目标人脸的双眼中心点、鼻尖顶点，与预处理后的深度图像中目标人脸的双眼中心点、鼻尖顶点，一一对应建立映射关系；对预处理后的灰度图像中目标人脸的精准融合区域进行特征提取，以及，对预处理后的深度图像中目标人脸的精准融合区域进行特征提取；将基于灰度图像提取的图像特征点与基于深度图像提取的深度特征点进行匹配，将匹配的图像特征点与深度特征点建立映射关系，实现灰度图像与深度图像在精准融合区域的配准；确定出预处理后的灰度图像中目标人脸的粗糙融合区域的轮廓，以及，确定出预处理后的深度图像中目标人脸的粗糙融合区域的轮廓；将基于灰度图像确定的图像区域轮廓与基于深度图像确定的深度
区域轮廓进行匹配，将匹配的图像区域轮廓与图像区域轮廓建立映射关系，实现灰度图像与深度图像在粗糙融合区域的配准。
104.在本实施例中，所述目标人脸包括额部区域、眉部区域、眼眶部区域、耳部区域、颞部区域、颊部区域、鼻部区域、口部区域、颌部区域，所述处理单元12，还用于在所述比较结果为所述第一结果时，确定所述眉部区域、所述眼眶部区域、所述颊部区域、所述口部区域为精准融合区域，其余为粗糙融合区域；在所述比较结果为所述第二结果时，确定所述额部区域、所述眉部区域、所述眼眶部区域、所述颊部区域、所述口部区域为精准融合区域，其余为粗糙融合区域；在所述比较结果为所述第三结果时，确定所述眉部区域、所述眼眶部区域、所述口部区域、所述颌部区域为精准融合区域，其余为粗糙融合区域。
105.在本实施例中，所述比较结果为所述第一结果，所述处理单元12，还用于获取所述人脸图像中眉部区域的眉毛特征，口部区域的嘴部特征，眼眶部区域的眼部特征，以及颊部区域的脸颊特征，其中，所述眉毛特征包括眉毛轮廓和眉毛深度信息，所述嘴部特征包括嘴部长度和唇部轮廓，所述眼部特征包括眼睑轮廓和眼角纹路，所述脸颊特征包括脸颊轮廓和脸颊深度信息；基于所述眉毛特征、所述嘴部特征、所述眼部特征以及所述脸颊特征，确定出目标人脸在该时刻的表情状态。
106.在本实施例中，所述比较结果为所述第二结果，所述处理单元12，还用于获取所述人脸图像中额部区域的额部特征，眉部区域的眉毛特征，口部区域的嘴部特征，眼眶部区域的眼部特征，以及颊部区域的脸颊特征，其中，所述额部特征包括额部轮廓和额纹信息，所述眉毛特征包括眉毛轮廓和眉毛深度信息，所述嘴部特征包括嘴部长度和唇部轮廓，所述眼部特征包括眼睑轮廓和眼角纹路，所述脸颊特征包括脸颊轮廓和脸颊深度信息；基于所述额部特征、所述眉毛特征、所述嘴部特征、所述眼部特征以及所述脸颊特征，确定出目标人脸在该时刻的表情状态。
107.在本实施例中，所述比较结果为所述第三结果，所述处理单元12，还用于获取所述人脸图像中眉部区域的眉毛特征，口部区域的嘴部特征，眼眶部区域的眼部特征，以及颌部区域的颌部特征，其中，所述眉毛特征包括眉毛轮廓和眉毛深度信息，所述嘴部特征包括嘴部长度和唇部轮廓，所述眼部特征包括眼睑轮廓和眼角纹路，所述颌部特征包括颌部轮廓和颌部纹理；基于所述眉毛特征、所述嘴部特征、所述眼部特征以及所述颌部特征，确定出目标人脸在该时刻的表情状态。
108.请参阅图4，图4为本技术实施例提供的一种电子设备20的结构框图。
109.在本实施例中，电子设备20可以为服务器，例如云服务器、服务器集群等；也可以为终端，例如个人电脑、智能手机等，此处不作限定。
110.示例性的，电子设备20可以包括：通过网络与外界连接的通信模块22、用于执行程序指令的一个或多个处理器24、总线23和不同形式的存储器21，例如，磁盘、rom、或ram，或其任意组合。存储器21、通信模块22、处理器24之间可以通过总线23连接。
111.示例性的，存储器21中存储有程序。处理器24可以从存储器21调用并运行这些程序，从而便可以通过运行程序而实现基于局部图像数据融合的表情识别方法。
112.本技术实施例还提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行本实施例中所述的基于局部图像数据融合的表情识别方法。
113.综上所述，本技术实施例提供一种基于局部图像数据融合的表情识别方法及装置，通过获取同一时刻拍摄(处理后)的包含目标人脸的灰度图像和深度图像，对灰度图像进行预处理后确定出目标人脸的图像嘴部长度，以图像嘴部长度与参考嘴部长度的比较结果为基础，确定出相应的精准融合区域和粗糙融合区域。再利用精准融合区域和粗糙融合区域，对预处理后的灰度图像和预处理后的深度图像进行精度差异化的图像融合；对融合后的人脸图像进行表情识别，确定出目标人脸在该时刻的表情。此种方式通过在对灰度图像和深度图像进行融合前，利用灰度图像中识别出的图像嘴部长度，作为确定精准融合区域和粗糙融合区域的基础。由于不同表情中，嘴部长度不同，对应多种类型的表情，但嘴角拉长的表情中，与嘴角未拉长的表情，可以通过不同的重点判断区域来作为表情识别的关键，例如，嘴角拉长时，可以是面带微笑(高兴)、哭泣(悲伤)等，而微笑的表情，伴随眼角纹、脸颊肌肉的变化等，而哭泣时，眉毛、眼睑的变化则较为明显，具有比较鲜明的特征。因此，通过图像嘴部长度作为确定精准融合区域和粗糙融合区域的基础，可以有针对性地进行局部图像的精细化融合，对于相对无关紧要的区域，可以粗糙地进行融合，从而可以大幅提升人脸表情识别的准确性，而将灰度图像与深度图像的结合，可以形成一个互补的作用，有利于进一步提升人脸表情识别的准确性和稳定性。
114.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
115.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
116.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。