人脸图像处理方法及装置、计算机可读存储介质、终端与流程

1.本发明实施例涉及图像处理领域，尤其涉及一种人脸图像处理方法及装置、计算机可读存储介质、终端。


背景技术：

2.随着互联网和移动通信技术的发展，虚拟人脸美妆正引领美妆行业的变革。通过虚拟人脸美妆，无须用户真实的进行口红上妆操作即可实现对各种色号的口红进行试妆。
3.然而，目前的虚拟人脸美妆所呈现的口红试妆效果的贴图感强，与用户口红的真实上色效果的差异较大，自然度欠佳。


技术实现要素：

4.本发明实施例解决的技术问题是如何降低虚拟人脸美妆时，口红试妆效果与口红真实上色效果的差异性，提高口红试妆图像中的口红上色效果和自然程度。
5.为解决上述技术问题，本发明实施例提供一种人脸图像处理方法，包括：获取待处理人脸图像中的唇部蒙版，所述唇部蒙版为针对唇部区域的蒙版；根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及目标口红样系的颜色经亮度和色彩分离后的色彩，得到口红试妆初始图像；根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合，得到口红试妆图像。
6.可选的，所述根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合，得到口红试妆图像，包括：获取所述口红试妆初始图像对应的第一融合权重以及所述待处理人脸图像对应的第二融合权重，其中所述第一融合权重与所述唇部蒙版相关；采用所述第一融合权重及所述第二融合权重，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合，得到所述口红试妆图像。
7.可选的，采用如下方式计算所述第一融合权重及所述第二融合权重：获取口红试妆效果强度系数；根据所述口红试妆效果强度系数以及所述唇部蒙版，确定所述口红试妆初始图像的第一融合权重；根据所述第一融合权重结合最大权重，计算所述第二融合权重，所述最大权重是指融合权重的取值上限。
8.可选的，所述人脸图像处理方法，还包括：对所述待处理人脸图像经亮度和色彩分离后的亮度进行如下亮度调整：获取所述待处理人脸图像的初始亮度；采用口红试妆目标亮度系数对所述初始亮度进行调整，将调整后得到的亮度作为所述待处理人脸图像经亮度和色彩分离后的亮度。
9.可选的，所述口红试妆目标亮度系数采用如下方式得到：根据目标口红样系的预设亮度以及所述待处理人脸图像的唇部区域的亮度，计算得到所述口红试妆目标亮度系数。
10.可选的，所述根据目标口红样系的预设亮度以及所述待处理人脸图像的唇部区域的亮度，计算得到所述口红试妆目标亮度系数，包括：计算所述目标口红样系的预设亮度以
及所述待处理人脸图像的唇部区域的亮度的比值；若所述比值小于1，所述口红试妆目标亮度系数为所述比值；若所述比值大于或等于1，所述口红试妆目标亮度系数取1。
11.可选的，所述人脸图像处理方法，还包括：根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合之后，得到中间图像；获取目标口红样系的口红质地对应的口红亮泽质地效果强度系数；根据所述口红亮泽质地效果强度系数、所述唇部蒙版，结合所述待处理人脸图像的亮度以及唇部区域的亮度，计算所述唇部区域的亮度调整量；根据所述亮度调整量对所述中间图像的亮度进行调整，将亮度调整后的中间图像作为所述口红试妆图像。
12.可选的，所述根据所述口红亮泽质地效果强度系数、所述唇部蒙版，结合所述待处理人脸图像的亮度以及唇部区域的亮度，计算所述唇部区域的亮度调整量，包括：取所述待处理人脸图像的亮度以及唇部区域的亮度中的最大值；根据所述最大值、所述口红亮泽质地效果强度系数以及所述唇部蒙版，计算所述亮度调整量。
13.可选的，所述获取待处理人脸图像中的唇部蒙版，包括：对所述待处理人脸图像进行人脸关键点对齐，根据所述人脸关键点中的唇部关键点，确定唇部区域；保留所述唇部区域，对所述待处理人脸图像中除所述唇部区域之外的区域进行三角化，并转换得到二值图像；以所述待处理人脸图像的亮度通道信息作为导向图，对所述二值图像进行边缘平滑处理；根据边缘平滑处理之后的二值图像，确定所述唇部蒙版。
14.可选的，所述人脸图像处理方法，还包括：根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合之前，对所述待处理人脸图像进行如下处理：获取唇部遮瑕样系的颜色信息，根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及所述唇部遮瑕样系经亮度和色彩分离后的色彩，得到底妆图像；根据所述唇部蒙版，对所述底妆图像以及所述待处理人脸图像进行图像融合，将融合得到的图像作为所述待处理人脸图像。
15.可选的，在根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及目标口红样系的颜色经亮度和色彩分离后的色彩之前，还包括：当所述待处理人脸图像的颜色空间类型与所述目标口红样系的颜色空间类型不同时，将所述待处理人脸图像的颜色空间类型与所述目标口红样系的颜色空间类型转换至相同的颜色空间类型。
16.本发明实施例还提供一种人脸图像处理装置，包括：获取单元，用于获取待处理人脸图像中的唇部蒙版，所述唇部蒙版为针对唇部区域的蒙版；第一图像处理单元，用于根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及目标口红样系的颜色经亮度和色彩分离后的色彩，得到口红试妆初始图像；第二图像处理单元，用于根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合，得到口红试妆图像。
17.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执上述任一种人脸图像处理方法的步骤。
18.本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一种人脸图像处理方法的步骤。
19.与现有技术相比，本发明实施例的技术方案具有以下有益效果：
20.根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及目标口红样系的颜色经亮度和色彩分离后的色彩，得到口红试妆初始图像。根据唇部蒙版，对口红试妆初始图像以及待处理人脸图像进行图像融合，得到口红试妆图像。由于得到口红试妆初始图像基于的是待处理人脸图像经亮度和色彩分离后的亮度，从而得到的口红试妆初始图像能够呈现出口红的颜色的同时，还包含唇部区域的纹理信息，从而基于口红试妆初始图像与待处理人脸图像进行融合得到的口红试妆图像，可以较好的保留唇部纹理信息，并可以考虑到不同人群的真实唇色，以实现更真实的模拟口红上色至唇部的效果，降低所得到的口红试妆图像中的口红上色效果与现实中口红真实上色至唇部的效果的差异性，提高口红试妆图像中的口红上色效果和自然程度。
21.进一步，获取口红试妆效果强度系数，根据所述口红试妆效果强度系数以及所述唇部蒙版，确定所述口红试妆初始图像的第一融合权重。口红试妆效果强度系数用于口红效果强度调节，可以由用户根据需求进行配置，以满足不同用户的个性化需求。
22.进一步，根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合之后，得到中间图像；获取目标口红样系的口红质地对应的口红亮泽质地效果强度系数；根据所述口红亮泽质地效果强度系数、所述唇部蒙版，结合所述待处理人脸图像的亮度以及唇部区域的亮度，计算所述唇部区域的亮度调整量；根据所述亮度调整量对所述中间图像的亮度进行调整，将亮度调整后的中间图像作为所述口红试妆图像。以进一步提高不同质地类型的口红的试妆效果与现实中的真实上妆效果的贴近度。
23.进一步，根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合之前，获取唇部遮瑕样系的颜色信息，根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及所述唇部遮瑕样系经亮度和色彩分离后的色彩，得到底妆图像；根据所述唇部蒙版，对所述底妆图像以及所述待处理人脸图像进行图像融合，将融合得到的图像作为所述待处理人脸图像，通过对待处理人脸图像进行唇部底妆处理，可以满足部分具有在唇部上底妆后再进行口红上妆的用户的试妆需求，使得在试妆时所得到的口红试妆图像尽量贴合现实中口红实际的上妆效果，满足用户的个性化需求。
附图说明
24.图1是本发明实施例中的一种人脸图像处理方法的流程图；
25.图2是本发明实施例中的一种人脸关键点的位置示意图；
26.图3是本发明实施例中的另一种人脸图像处理方法的流程图；
27.图4是本发明实施例中的一种人脸图像处理装置的结构示意图。
具体实施方式
28.如上所述，目前的虚拟人脸美妆所呈现的口红试妆效果的贴图感强，与现实中口红的真实上色效果的差异较大，自然度欠佳。
29.为了解决上述问题，在本发明实施例中，根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及目标口红样系的颜色经亮度和色彩分离后的色彩，得到口红试妆初始图像。根据唇部蒙版，对口红试妆初始图像以及待处理人脸图像进行图像融合，得到口红试妆图像。由于得到口红试妆初始图像基于的是待处理人脸图像经亮度和色彩分离后的亮
度，从而得到的口红试妆初始图像能够呈现出口红的颜色的同时，还包含唇部区域的纹理信息，从而基于口红试妆初始图像与待处理人脸图像进行融合得到的口红试妆图像，可以较好的保留唇部纹理信息，并可以考虑到不同人群的真实唇色，以实现更真实的模拟口红上色至唇部的效果，降低所得到的口红试妆图像中的口红上色效果与现实中口红真实上色至唇部的效果的差异性，提高口红试妆图像中的口红上色效果和自然程度。
30.为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
31.本发明实施例提供一种人脸图像处理方法，人脸图像处理方法可以用于多种场景下的虚拟人脸美妆，如口红试妆应用场景，如图像美颜应用场景，如视频美颜应用场景等。本发明实施例中的待处理人脸图像可以为摄像头等图像采集设备采集的图片，也可以为视频中的一个或多个图像帧。人脸图像处理方法的执行主体可以为终端中的芯片，也可以为能够用于终端的控制芯片、处理芯片等芯片或者其他各种恰当的元器件等。
32.参照图1，给出了本发明实施例中的一种人脸图像处理方法的流程图，具体可以包括如下步骤：
33.步骤s11，获取待处理人脸图像中的唇部蒙版。
34.在具体实施中，待处理人脸图像中的唇部蒙版为针对唇部区域的蒙版。
35.在一些非限制性实施例中，可以采用如下方式获取所述待处理人脸图像的唇部蒙版，具体而言：
36.对对所述待处理人脸图像进行人脸关键点对齐，根据所述人脸关键点中的唇部关键点，确定唇部区域；保留所述唇部区域，对所述待处理人脸图像中除所述唇部区域之外的区域进行三角化，并转换得到二值图像；以所述待处理人脸图像的亮度通道信息作为导向图，对所述二值图像进行边缘平滑处理；根据边缘平滑处理之后的二值图像，确定所述唇部蒙版。通过对唇部区域进行边缘皮平滑处理，可以避免唇部区域的边缘跳变，从而使得所得到的唇部蒙版中的唇部边缘与待处理人脸图像中的人脸中的唇线贴合度较高，有助于进一步提高后续进行图像融合得到的口红试妆图像的效果。
37.其中，待处理人脸图像的亮度通道信息可以为yuv颜色空间的y通道信息，“y”表示明亮度(luminance或luma)，也就是灰阶值；而“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。待处理人脸图像的亮度通道信息也可以为hsv颜色空间中的v通道信息，h即色相(hue)、s即饱和度(saturation)、h即明度(value)，hsv又称hsb(b即brightness)。待处理人脸图像的亮度通道信息还可以为lab颜色空间内的l通道信息，l为亮度，a包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；b是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。待处理人脸图像的亮度通道信息还为其他颜色空间区域内的亮度信息，此处不再赘述。
38.在一些实施例中，可以采用多种方式实现对二值图像进行边缘平滑处理，以实现唇部区域的边界与周围区域的平滑过渡。例如，可以采用快速导向滤波对二值图像进行边缘平滑处理。又如，采用其他类型的边缘羽化处理的方式对二值图像进行边缘平滑处理。可以理解的是，还可以采用其他方式对二值图像进行边缘平滑处理。
39.在具体实施中，对二值图像进行边缘平滑处理所采用的滤波半径，可以基于经验
值确定，也可以根据唇部尺寸确定。
40.在实际中，考虑到不同用户的个性化需求，还可以根据唇妆的类型，确定滤波半径。通过根据唇妆的类型来确定滤波半径，进而调整唇部蒙版中的唇部区域的边缘附近的像素的融合权重，通过调整唇部蒙版中的唇部区域的边缘附近的像素的融合权重可以实现唇部区域边缘附近像素融合后的渐变效果，以实现咬唇妆、满唇妆、微笑唇等不同类型的唇妆需求，满足不同用户的个性化需求。
41.进一步地，为了提高唇部蒙版的精度，可以通过提高人脸对齐的精度，可以基于面部识别技术配合高精度人脸对齐技术，提高所得到的人脸关键点的位置的精度。通过提高人脸关键点的位置的精度，来提高唇部蒙版的精度。
42.参照图2，给出了本发明实施例中的一种人脸关键点的位置示意图，图2中示意的人脸关键点的数目104个(也即图中标号为1至104的灰色点)。在实际应用中，根据对人脸区域所需的特征信息不同，还可以在其他区域增加其他人脸关键点，如在额头区域或者发际线区域等增设人脸关键点，从而人脸关键点的数目不限于此，还可以为其他数目，此处不再赘述。
43.在具体实施中，唇部关键点可以用于限制嘴唇的轮廓。如图2所示，唇部关键点可以包括图中标号为85至104。需要说明的是，图2仅为示意性说明，在实际中，人脸关键点以及唇部关键点的数目以及位置可以根据需求进行配置。
44.进一步，在步骤s11执行之前，还可以对获取到的待处理人脸图像进行检验，判断待处理人脸图像是否满足一定的要求。例如，对待处理人脸图像进行尺度缩放后进行面部识别，计算放大后的最大人脸距离终端设备的距离。若是满足设定的距离，则判定满足要求；若是不满足设定的距离，则判定不满足要求。若待处理人脸图像中的人脸区域在整体人脸图像的占比较小时，即使对待处理人脸图像进行唇部美妆处理，也会出现因唇部区域占比较小，唇部美妆效果不够明显。而通过对待处理人脸图像进行缩放，当放大后的最大人脸距离终端设备的距离不满足设定距离时，则出现待处理人脸图像中的人脸占比较小，可以不做唇部美妆处理，也即不执行后续的步骤。
45.进一步，在步骤s11之前，还可以对待处理人脸图像的人脸姿态进行检测，若待处理人脸图像的人脸姿态角度超出设定角度，则判定人脸姿态角度过大，舍弃不做处理。例如，未检测到唇部区域，甚至人脸姿态为背影，无法识别到人脸的情景下，此时，则无需进行唇妆美妆处理，也即不执行后续的步骤。
46.通过在执行步骤s11之前，对待处理人脸图像进行检验，有选择地对待处理人脸图像进行图像处理，对于满足要求的待处理人脸图像，可以执行后续的步骤s12至步骤s13。对于不满足条件的待处理人脸图像则不执行后续的步骤s12至步骤s13。如此，可以在提高图像处理效果的同时，还可以节约算力资源。
47.在具体实施中，待处理人员图像中可以包括一个人脸，也可以包括多个人脸。当待处理人员图像包括多个人脸时，可以分别针对每个人脸的唇部区域确定唇部蒙版。
48.步骤s12，根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及目标口红样系的颜色经亮度和色彩分离后的色彩，得到口红试妆初始图像。
49.在具体实施中，可以在多个类型的颜色空间内对待处理人脸图像以及目标口红样系的颜色进行亮度和色彩的分离。为了确保所得到的口红试妆初始图像的效果，在同一个
颜色空间对待处理人脸图像进行亮度和色彩分离，以及对目标口红样系的颜色进行亮度和色彩分离。
50.例如，在yuv颜色空间，根据所述待处理人脸图像经亮度和色彩分离后的亮度y，以及目标口红样系的颜色经亮度和色彩分离后的色彩(uv)，得到口红试妆初始图像。
51.又如，在hsv颜色空间，根据所述待处理人脸图像经亮度和色彩分离后的亮度v，以及目标口红样系的颜色经亮度和色彩分离后的色彩(色调h和饱和度s)，得到口红试妆初始图像。
52.可以理解的是，还可以包括其他情形，此处不再一一举例。
53.在具体实施中，可以为每个口红样系配置对应的颜色属性信息，颜色属性信息用于表征颜色的色彩以及亮度。根据所选取的颜色空间不同，颜色属性信息的表示方式不同，例如基于rgb颜色空间，可以采用[r，g，b，y]表示，其中，r表示红色，g标识绿色，b表示蓝色，y表示口红的预设亮度。采用此种方式配置口红样系的颜色属性信息，实现只需配置并获取口红样系的[r，g，b，y]即可实现任意口红的试妆效果，也便于丰富口红样系的色号种类等。口红的预设亮度y可以根据口红的r、g及b信息转换得到，具体而言，可以通过口红样系的颜色从rgb颜色空间转换至yuv颜色空间，从而得到对应的预设亮度y。可以理解的是，口红样系的颜色属性信息也可以采用其他的颜色空间表示，如可以基于yuv颜色空间进行表示，或者基于hsv空间进行表示。
[0054]
在具体实施中，当待处理人脸图像所采用的颜色空间类型与目标口红样系的颜色空间类型不同时，将所述待处理人脸图像的颜色空间类型与所述目标口红样系的颜色空间类型转换至相同的颜色空间类型。
[0055]
在一些非限制性实施例中，待处理人脸图像采用yuv颜色空间，而目标口红样系的颜色采用rgb颜色空间时，可以将待处理人脸图像及目标口红样系的颜色的颜色空间均转换至hsv颜色空间，根据待处理人脸图像在hsv颜色空间的亮度v和目标口红样系的颜色在hsv颜色空间中的色彩(色调h及饱和度s)，得到口红试妆初始图像。
[0056]
具体而言，可以根据目标口红样系的[r，g，b]，采用如下公式(1)计算目标口红样系在hsv颜色空间中对应的颜色。
[0057]
[h,s,v]＝rgb2hsv(r,g,b)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0058]
其中，rgb2hsv()表示将rgb颜色空间转换至hsv颜色空间，h为目标口红样系的色调，s为目标口红样系的饱和度，v为目标口红样系的明度。
[0059]
待处理人脸图像的初始颜色空间为yuv颜色空间，将待处理人脸图像从yuv颜色空间转换到rgb颜色空间。如采用如下公式(2)进行转换。
[0060]
[srcr,srcg,srcb]＝yuv2rgb(srcy,srcu,srcv)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0061]
其中，yuv2rgb()表示将yuv颜色空间转换至rgb颜色空间，srcy为待处理人脸图像的亮度，srcu及srcv为待处理人脸图像的色度，srcr为待处理人脸图像的红色通道信息，srcg为待处理人脸图像的绿色通道信息，srcb为待处理人脸图像的蓝色通道信息。
[0062]
将待处理人脸图像从yuv颜色空间转换到rgb颜色空间后，将待处理人脸图像从rgb颜色空间转换到hsv颜色空间。如采用如下公式(3)进行转换。
[0063]
[htmp,stmp,vtmp]＝rgb2hsv(srcr,srcg,srcb)；
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0064]
其中，rgb2hsv()表示将rgb颜色空间转换至hsv颜色空间，htmp为待处理人脸图像
的色调，stmp为待处理人脸图像的饱和度，vtmp为待处理人脸图像的明度，srcr为待处理人脸图像的红色通道信息，srcg为待处理人脸图像的绿色通道信息，srcb为待处理人脸图像的蓝色通道信息。
[0065]
在具体实施中，在hsv颜色空间，根据所述待处理人脸图像的明度，以及目标口红样系的色调及饱和度，得到口红试妆初始图像，也即根据所述待处理人脸图像在hsv颜色空间中的明度，以及目标口红样系在hsv颜色空间中的色调及饱和度，得到口红试妆初始图像。
[0066]
例如，采用如下公式(4)得到口红试妆初始图像。
[0067]
[dstr,dstg,dstb]＝hsv2rgb(h,s,vtmp)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0068]
其中，hsv2rgb()表示将hsv颜色空间转换至rgb颜色空间，dstr为口红试妆初始图像的红色通道信息，dstg为口红试妆初始图像的绿色通道信息，dstb为口红试妆初始图像的蓝色通道信息，h为目标口红样系的色调，s为目标口红样系的饱和度，vtmp为待处理人脸图像的明度。
[0069]
在另一些非限制性实施例中，待处理人脸图像采用yuv颜色空间，目标口红样系的颜色采用yuv颜色空间时，可以根据待处理人脸图像在yuv颜色空间的亮度y，目标口红样系的颜色在yuv颜色空间的色彩(uv)，得到口红试妆初始图像。
[0070]
在又一些非限制性实施例中，待处理人脸图像采用yuv颜色空间，目标口红样系的颜色采用rgb颜色空间或者hsv颜色空间等其他类型的颜色空间时，将目标口红样系的颜色所采用的rgb颜色空间或者hsv颜色空间等其他类型的颜色空间转换至yuv颜色空间，根据待处理人脸图像在yuv颜色空间的亮度y，目标口红样系的颜色在yuv颜色空间的色彩(uv)，得到口红试妆初始图像。
[0071]
在又一些非限制性实施例中，待处理人脸图像采用hsv颜色空间时，目标口红样系的颜色采用hsv颜色空间时，根据待处理人脸图像在hsv颜色空间的明度v，目标口红样系的颜色在hsv颜色空间的色调h和饱和度s，得到口红试妆初始图像。
[0072]
可以理解的是，待处理人脸图像的颜色空间以及目标口红样系的颜色也存在其他颜色空间，此处不再一一举例。遵循如下规则进行处理即可：若待处理人脸图像的颜色空间以及目标口红样系的颜色的颜色空间相同，且初始的颜色空间类型能够进行亮度和色彩分类，则基于待处理人脸图像在初始的颜色空间的亮度以及目标口红样系的颜色在初始的颜色空间内的色彩，得到口红初始试妆图像即可；若待处理人脸图像的颜色空间以及目标口红样系的颜色的颜色空间不相同，则将待处理人脸图像的颜色空间以及目标口红样系的颜色的颜色空间的一个或者全部转换至能够进行亮度和色彩分离的颜色空间中，并基于转换后的颜色空间，基于待处理人脸图像在转换后的颜色空间的亮度以及目标口红样系的颜色在转换后的颜色空间内的色彩，得到口红初始试妆图像。
[0073]
步骤s13，根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合，得到口红试妆图像。
[0074]
由上可知，根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及目标口红样系的颜色经亮度和色彩分离后的色彩，得到口红试妆初始图像。根据唇部蒙版，对口红试妆初始图像以及待处理人脸图像进行图像融合，得到口红试妆图像。由于得到口红试妆初始图像基于的是待处理人脸图像经亮度和色彩分离后的亮度，从而得到的口红试妆初始图
像能够呈现出口红的颜色的同时，还包含唇部区域的纹理信息，从而基于口红试妆初始图像与待处理人脸图像进行融合得到的口红试妆图像，可以较好的保留唇部纹理信息，并可以考虑到不同人群的真实唇色，以实现更真实的模拟口红上色至唇部的效果，降低所得到的口红试妆图像中的口红上色效果与现实中口红真实上色至唇部的效果的差异性，提高口红试妆图像中的口红上色效果和自然程度。
[0075]
在一些非限制性实施例中，步骤s13可以通过如下方式实现：获取所述口红试妆初始图像对应的第一融合权重以及所述待处理人脸图像对应的第二融合权重；采用所述第一融合权重及所述第二融合权重，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合，得到所述口红试妆图像。第一融合权重与唇部蒙版相关，也即基于唇部蒙版得到。
[0076]
具体而言，采用第一融合权重对口红试妆初始图像进行加权得到第一加权结果，采用第二融合权重对待处理人脸图像进行加权得到第二加权结果，根据第一加权结果及第二加权结果，得到口红试妆图像。
[0077]
在具体实施中，在指定的颜色空间内，根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合，得到口红试妆图像。其中指定的颜色空间可以为rgb颜色空间，也可以为yuv空间，还可以为其他合适的颜色空间。
[0078]
在具体实施中，当口红试妆初始图像的颜色空间类型与待处理人脸图像的颜色空间类型不同时，对口红试妆初始图像的颜色空间类型以及待处理人脸图像的颜色空间类型中的其中一个或两个进行颜色空间转换，使得转换后的口红试妆初始图像的颜色空间类型以及待处理人脸图像的颜色空间类型相同。
[0079]
在一些非限制性实施例中，以在rgb颜色空间，根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合，得到口红试妆图像为例，可以采用如下公式(5)、(6)及(7)得到所述口红试妆图像：
[0080]
dstr'＝(srcr
·
β+dstr
·
α)/w；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0081]
dstg'＝(srcg
·
β+dstg
·
α)/w；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0082]
dstb'＝(srcb
·
β+dstb
·
α)/w；
ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0083]
其中，dstr'为口红试妆图像的红色通道信息，dstg'为口红试妆图像的绿色通道信息，dstb'为口红试妆图像的蓝色通道信息，α为第一融合权重，β为第二融合权重，w为融合权重的上限。
[0084]
其中，当唇部蒙版采用灰阶值(色深)表示各像素的融合权重时，若灰阶值采用8bit时，各像素的融合权重的取值范围为[0,255]，此时，w＝255。当唇部蒙版采用系数表示融合权重时，各像素的融合权重的取值范围为[0,1]，此时，w＝1。
[0085]
进一步，获取口红试妆效果强度系数，根据所述口红试妆效果强度系数以及所述唇部蒙版，确定所述口红试妆初始图像的第一融合权重。口红试妆效果强度系数用于口红效果强度调节，可以由用户根据需求进行配置，以满足不同用户的个性化需求。
[0086]
例如，可以在用户界面上配置有口红效果强度调节强度条或者按键，通过拖拉口红效果强度调节强度条或者操作按键来调节口红试妆效果强度系数的大小。口红试妆效果强度系数越大，口红上妆的效果越明显；相应地，口红试妆效果强度系数越小，口红上妆的效果越不明显。当口红试妆效果强度系数为0时，则没有口红上妆效果。
[0087]
例如，可以采用如下公式(8)得到第一融合权重：
[0088]
α＝lipmodel
·
σ；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0089]
其中，α为第一融合权重，lipmodel为唇部蒙版，σ为口红试妆效果强度系数，σ∈[0,1]。
[0090]
进一步，可以根据所述第一融合权重结合最大权重，计算所述第二融合权重。
[0091]
例如，可以采用如下公式(9)得到第二融合权重：
[0092]
β＝w
‑
α；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0093]
其中，β为第二融合权重，w为最大权重。
[0094]
在具体实施中，唇部蒙版为口红试妆初始图像中的各像素的融合权重，其中，口红试妆初始图像中非唇部区域的像素的融合权重可以取0，以使得口红试妆初始图像与待处理人脸图像进行融合时，口红试妆初始图像中非唇部区域不参与图像融合，也即图像融合得到的口红试妆图像中的非唇部区域的信息来自于待处理人脸图像。而口红试妆初始图像中唇部区域的像素的融合权重不为0，从而图像融合得到的口红试妆图像的唇部区域来自于口红试妆初始图像与待处理人脸图像。
[0095]
在实际中，考虑到即使相同的颜色，不同亮度下呈现的效果不同，为进一步提高所得到的口红试妆图像的所呈现的口红上妆效果，在本发明实施例中，可以对所述待处理人脸图像经亮度和色彩分离后的亮度进行如下亮度调整：获取所述待处理人脸图像的初始亮度。采用口红试妆目标亮度系数对所述初始亮度进行调整，将调整后得到的亮度作为所述待处理人脸图像经亮度和色彩分离后的亮度。
[0096]
下面以hsv颜色空间为例，对所述待处理人脸图像经亮度和色彩分离后的亮度进行亮度调整进行说明：
[0097]
获取所述待处理人脸图像在hsv颜色空间的初始明度；采用口红试妆目标亮度系数对所述初始明度进行调整，将调整后得到的明度作为所述待处理人脸图像在hsv颜色空间中的明度。
[0098]
在一些非限制性实施例中，以将口红试妆目标亮度系数与所述初始明度进行乘积运算，乘积运算结果即为调整后得到的明度，也即得到待处理人脸图像在hsv颜色空间中的明度。
[0099]
进一步，所述口红试妆目标亮度系数采用如下方式得到：根据目标口红样系的预设亮度以及所述待处理人脸图像的唇部区域的亮度，计算得到所述口红试妆目标亮度系数。其中，口红试妆目标亮度系数用于调整目标口红样系的亮度效果。
[0100]
在一些非限制性实施例中，可以计算所述目标口红样系的预设亮度以及所述待处理人脸图像的唇部区域的亮度的比值；若所述比值小于1，将所述比值作为所述口红试妆目标亮度系数；若所述比值大于或等于1，所述口红试妆目标亮度系数取1。
[0101]
例如，采用如下公式(10)确定口红试妆目标亮度系数。
[0102]
k＝min(y/srcy
mean
,1)；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0103]
其中，k为口红试妆目标亮度系数，k∈[0,1]；min()为取最小值；y为目标口红样系的预设亮度；srcy
mean
为待处理人脸图像的唇部区域的亮度。
[0104]
在具体实施中，关于上述实施例中提到的唇部区域的亮度，可以通过对待处理人脸图像进行面部识别或者人脸关键点检测等方式，确定唇部区域，根据唇部区域内的各像素的亮度，确定唇部区域的亮度。例如，将唇部区域内所有像素的平均亮度作为唇部区域的
亮度。
[0105]
在实际中，由于口红样系存在不同的质地类型，如雾面、哑光、缎面、润泽以及亮泽等，不同质地类型所呈现的亮泽程度不同，从而不同质地类型的口红上妆后所呈现的亮泽效果不同。
[0106]
为进一步提高不同质地类型的口红的试妆效果与现实中的真实上妆效果的贴近度，降低两者差异，在本发明一些非限制性实施例中，根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合之后，得到中间图像；获取目标口红样系的口红质地对应的口红亮泽质地效果强度系数；根据所述口红亮泽质地效果强度系数、所述唇部蒙版，结合所述待处理人脸图像的亮度以及唇部区域的亮度，计算所述唇部区域的亮度调整量；根据所述亮度调整量对所述中间图像的亮度进行调整，将亮度调整后的中间图像作为所述口红试妆图像。其中，口红亮泽质地效果强度系数用于调整口红上妆后的亮泽度，口红亮泽质地效果强度系数越大，口红上妆后呈现的亮泽度越高。
[0107]
在一些非限制性实施例中，以在yuv颜色空间为例，计算所述唇部区域的亮度调整量，并基于亮度调整量对中间图像的亮度进行调整为例，可以采用如下公式(11)及(12)对所述中间图像的亮度进行调整。
[0108]
δy＝δ
·
max(srcy
‑
srcy
mean
,0)
·
lipmodel/w；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0109]
dsty'＝dsty+δy；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0110]
其中，δy为亮度调整量；δ为口红亮泽质地效果强度系数，δ∈[0,m]，m＞0；srcy为待处理人脸图像的亮度；srcy
mean
为唇部区域的亮度；lipmodel为唇部蒙版；w为最大权重；dsty'为口红试妆图像的亮度，也即中间图像调整后的亮度；dsty为中间图像的亮度。
[0111]
可以理解的是，当所采用的颜色空间类型不同时，上述计算所述唇部区域的亮度调整量，并基于亮度调整量对中间图像的亮度进行调整的方式可以参考上述公式(11)及(12)，此处不再赘述。
[0112]
在具体实施中，各种质地类型对应的口红亮泽质地效果强度系数可以预配置。可以为不同质地类型分配对应的标识，每种标识分别一一映射有对应的口红亮泽质地效果强度系数。例如，liptype＝1表示口红质地为雾面；liptype＝2，表示口红质地为亮泽。对于不需要进行口红亮泽质地效果调整的质地类型可以配置δ＝0，对于需要进行口红亮泽质地效果调整的质地类型，则可以根据经验配置δ以及m的取值。
[0113]
在一些实施例中，m的取值为2，可以理解的是，对口红亮泽质地效果调整需求不同，m还可以其他值，此处不做限定。
[0114]
在实际中，为了呈现更好的口红上妆效果，有些用户会在口红上妆之前，先对唇部上底妆，如通过粉底液或者遮瑕膏等对原本唇色进行修饰或遮挡。为使得这些具有个性化需求的人群，在试妆时所得到的口红试妆图像尽量贴合现实中口红实际上妆效果，减小虚拟的试妆效果与现实上妆效果的差异性尽量小，在本发明实施例中，根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合之前，对所述待处理人脸图像进行如下处理：获取唇部遮瑕样系的颜色信息，根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及所述唇部遮瑕样系经亮度和色彩分离后的色彩，得到底妆图像；根据所述唇部蒙版，对所述底妆图像以及所述待处理人脸图像进行图像融合，将融合得到的图像作为所述待处理人脸图像。
[0115]
其中，结合唇部蒙版，对唇部底妆图像以及待处理人脸图像进行图像融合时，可以根据唇部蒙版计算出第三融合权重，根据第三融合权重与最大权重计算第四融合权重。将第三融合权重与底妆图像进行加权，得到第三加权结果。将第四融合权重与待处理人脸图像进行加权，得到第四加权结果。根据第三加权结果与第四加权结果，将到融合底妆后待处理人脸图像作为待处理人脸图像，并基于与底妆图像融合后得到的待处理人脸图像进行后续与口红试妆初始图形的融合，所述最大权重是指融合权重的取值上限。
[0116]
进一步，可以获取遮瑕强度系数，根据遮瑕强度系数以及所述唇部蒙版，确定所述第三融合权重。根据第三融合权重以及最大权重，计算第四融合权重。其中，遮瑕强度系数用于表征唇部遮瑕样系对待处理人脸图像的唇部的原始唇色的遮瑕强度。遮瑕强度系数越大则对待处理人脸图像中的原始唇色的遮瑕效果越好。
[0117]
其中，当唇部蒙版采用灰阶值表示各像素的融合权重时，各像素的融合权重的取值范围为[0,255]，此时，最大权重w＝255。当唇部蒙版采用系数表示融合权重时，各像素的融合权重的取值范围为[0,1]，此时，最大权重w＝1。
[0118]
为了便于本领域技术人员更好的理解和实现本发明实施例，参照图3，给出了本发明实施例中的另一种人脸图像处理方法，具体可以包括如下步骤：
[0119]
步骤s301，对待处理人脸图像进行面部识别。
[0120]
步骤s302，判断最大人脸与摄像头距离是否符合要求。
[0121]
其中，步骤s302用于对待处理人脸图像进行检测，以对待处理人脸图像进行处理。具体实现方式可以参见上述实施例中相关部分的描述，此处不做赘述。
[0122]
当判断结果为是时，执行步骤s304；当判断结果为否时，执行步骤s303。
[0123]
步骤s303，不进行虚拟口红上妆。
[0124]
当步骤s303之后，可以结束流程，或者获取下一待处理人脸图像，继续执行步骤s301。
[0125]
步骤s304，对待处理人脸图像进行人脸关键点检测。
[0126]
步骤s305，判断人脸唇部是否存在遮挡。
[0127]
当判断结果为是时，执行步骤s303；当判断结果为否时，执行步骤s306。
[0128]
步骤s306，获取唇部亮度以及唇部蒙版。
[0129]
步骤s307，口红色彩融合渲染。
[0130]
其中关于口红色彩融合渲染的具体实现方案，可以通过上述实施例中步骤s11及步骤s12等实现，具体描述参见上文，此处不再赘述。
[0131]
其中，在步骤s307执行之前，还可以执行步骤s310，选择口红型号。通过选择口红型号可以确定目标口红样系，以目标口红样系的颜色信息等。
[0132]
步骤s308，口红质地效果控制。
[0133]
其中关于口红质地效果控制的实现方案，具体而言，根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合之后，得到中间图像；获取目标口红样系的口红质地对应的口红亮泽质地效果强度系数；根据所述口红亮泽质地效果强度系数、所述唇部蒙版，结合所述待处理人脸图像的亮度以及唇部区域的亮度，计算所述唇部区域的亮度调整量；根据所述亮度调整量对所述中间图像的亮度进行调整，将亮度调整后的中间图像作为所述口红试妆图像。具体可以参见上述实施例中的相关描述，此处不再赘述。
[0134]
其中，在步骤s308执行之前，还可以执行步骤s311，选择口红质地。
[0135]
步骤s309，输出虚拟口红试妆图像。
[0136]
本发明实施例还提供一种人脸图像处理装置，参照图4，给出了本发明实施例中的一种人脸图像处理装置的结构示意图。人脸图像处理装置40可以包括：
[0137]
获取单元41，用于获取待处理人脸图像中的唇部蒙版，所述唇部蒙版为针对唇部区域的蒙版；
[0138]
第一图像处理单元42，用于根据所述待处理人脸图像经亮度和色彩分离后的亮度，以及目标口红样系的颜色经亮度和色彩分离后的色彩，得到口红试妆初始图像；
[0139]
第二图像处理单元43，用于根据所述唇部蒙版，对所述口红试妆初始图像以及所述待处理人脸图像进行图像融合，得到口红试妆图像。
[0140]
在具体实施中，人脸图像处理装置40的具体工作原理及工作流程，可以参见本发明上述任一实施例提供的人脸图像处理方法中的描述，此处不再赘述。
[0141]
在具体实施中，人脸图像处理装置40可以对应于终端中具有人脸图像处理功能的芯片；或者对应于具有数据处理功能的芯片；或者对应于终端包括具有人脸图像处理功能的芯片的芯片模组；或者对应于具有数据处理功能芯片的芯片模组，或者对应于终端。
[0142]
在具体实施中，关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。
[0143]
例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
[0144]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一实施例提供的人脸图像处理方法中的步骤。
[0145]
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一实施例提供的人脸图像处理方法中的步骤。
[0146]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：rom、ram、磁盘或光盘等。
[0147]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。