图像处理方法及装置、图像设备及存储介质与流程

本申请涉及信息技术领域，尤其涉及一种图像处理方法及装置、图像设备及存储介质。

背景技术：

手机、平板电脑或可穿戴设备等一般都配置了摄像头，摄像头可以采集图像。但是采集的图像未必是用户想要的理想图像，可能需要对图像进行调整，使得呈现的图像符合用户的期望，例如，美化图像、滑稽化图像、可爱化图像，以人像处理为例，相关技术中对于图像的处理，一般局限于眼睛、鼻子和脸型的处理，但是对于其他部分的美化等处理相对较少。故相关技术的图像处理技术还不够优化和完善，图像的处理效果还达不到理想的预期效果。

技术实现要素：

有鉴于此，本申请实施例期望提供一种图像处理方法及装置、图像设备及存储介质。

本申请的技术方案是这样实现的：

一种图像处理方法，包括：

检测第一人脸图像的预定关键点；

基于所述预定关键点，确定苹果肌调整的目标区域；

基于所述预定关键点，确定苹果肌的调整参数；

基于所述调整参数，调整所述目标区域形成第二人脸图像。

基于上述方案，所述方法包括：

确定所述第一人脸图像中人脸的朝向；

所述基于所述预定关键点，确定苹果肌调整的目标区域，包括：

基于所述预定关键点及所述朝向，确定苹果肌调整的所述目标区域。

基于上述方案，所述基于所述预定关键点及所述朝向，确定苹果肌调整的所述目标区域，包括：

若所述第一人脸图像为正脸图像，基于第一脸型轮廓关键点和鼻翼关键点，确定所述目标区域的第一中间点。

基于上述方案，所述基于所述预定关键点及所述朝向，确定苹果肌调整的所述目标区域，还包括：

基于所述第一中间点及眼尾关键点，确定所述目标区域的范围。

基于上述方案，所述基于所述预定关键点及所述朝向，确定苹果肌调整的所述目标区域，包括：

若所述第一人脸图像为侧脸图形，基于第二脸型轮廓关键点和鼻翼关键点，确定所述目标区域的第二中间点。

基于上述方案，所述基于所述预定关键点及所述朝向，确定苹果肌调整的所述目标区域，还包括：

基于所述第二中间点与眼尾关键点，确定所述目标区域的范围。

基于上述方案，所述基于所述预定关键点，确定苹果肌的调整参数，包括：

结合所述预定关键点及所述朝向，确定所述苹果肌的调整参数。

基于上述方案，所述结合所述预定关键点及所述朝向，确定所述苹果肌的调整参数，包括：

结合所述预定关键点及所述朝向，确定所述苹果肌的调整方向。

基于上述方案，

所述结合所述预定关键点及所述朝向，确定所述苹果肌的调整方向，包括以下至少之一：

若所述第一人脸图像为正脸图像，基于所述预定关键点确定苹果肌的调整方向为第一方向；

若所述第一人脸图像为侧脸图像，基于所述预定关键点确定苹果肌的调整方向为第一方向和第二方向，其中，所述第二方向不同于所述第一方向。

基于上述方案，所述第一方向为：所述目标区域的中间点指向眼尾关键点的方向；

所述第二方向为：鼻翼关键点指向确定所述目标区域的第二脸型轮廓关键点的方向。

基于上述方案，所述基于所述预定关键点，确定苹果肌的调整参数，包括：

基于眼尾关键点和眼头关键点，确定所述苹果肌的最大移动距离。

基于上述方案，所述基于所述预定关键点，确定苹果肌的调整参数，包括：

若所述第一人脸图像为侧脸图像，根据侧脸角度及所述最大移动距离，确定侧脸图像的苹果肌的实际移动距离。

基于上述方案，所述方法还包括：

对所述第二人脸图像中的苹果肌进行提亮调整，获得第三人脸图像。

基于上述方案，所述方法还包括：

从所述第二人脸图像中获取人脸的肤色参数；

基于所述人脸颜色参数，确定苹果肌提亮调整的提亮参数；

所述对所述第二人脸图像中的苹果肌进行提亮调整，获得第三人脸图像，包括：

基于所述提亮参数对所述第二人脸图像中的苹果肌进行提亮调整，以获得所述第三人脸图像。

基于上述方案，所述对所述第二人脸图像中的苹果肌进行提亮调整，获得第三人脸图像，包括：

根据所述第二人脸图像中苹果肌的所在位置，生成掩码图像；

基于所述掩码图像，对所述第二人脸图像进行所述苹果肌的提亮调整得到所述第三人脸图像。

基于上述方案，所述根据所述第二人脸图像中苹果肌的所在位置，生成掩码图像，包括：

根据预先设定的苹果肌提亮的亮斑，及所述第二人脸图像中苹果肌所在的位置，生成包含有所述亮斑的掩码图像；

和/或，

所述基于所述掩码图像，对所述第二人脸图像进行所述苹果肌的提亮调整得到所述第三人脸图像，包括：

将所述掩码图像中像素值大于预定阈值的像素，与所述第二人脸图像中对应位置像素的第一像素值进行混合，得到混合后的第二像素值；

基于所述第二像素值，生成所述第三人脸图像。

基于上述方案，所述方法还包括：

获取控制参数；

所述基于所述第二像素值，生成所述第三人脸图像，包括：

基于所述控制参数、所述第二像素值和所述第一像素值进行线性混合，得到第三像素值；

基于所述第三像素值，生成所述第三人脸图像。

一种图像处理装置，包括：

检测模块，用于检测第一人脸图像的预定关键点；

第一确定模块，用于基于所述预定关键点，确定苹果肌调整的目标区域；

第二确定模块，用于基于所述预定关键点，确定苹果肌的调整参数；

调整模块，用于基于所述调整参数，调整所述目标区域形成第二人脸图像。

基于上述方案，，所述装置包括：

第三确定模块，用于确定所述第一人脸图像中人脸的朝向；

所述第一确定模块，具体用于基于所述预定关键点及所述朝向，确定苹果肌调整的所述目标区域。

基于上述方案，所述第一确定模块，具体用于若所述第一人脸图像为正脸图像，基于第一脸型轮廓关键点和鼻翼关键点，确定所述目标区域的第一中间点。

基于上述方案，所述第一确定模块，还用于基于所述第一中间点及眼尾关键点，确定所述目标区域的范围。

基于上述方案，所述第一确定模块，还具体用于若所述第一人脸图像为侧脸图形，基于第二脸型轮廓关键点和鼻翼关键点，确定所述目标区域的第二中间点。

基于上述方案，所述第一确定模块，还具体用于基于所述第二中间点与眼尾关键点，确定所述目标区域的范围。

基于上述方案，所述第二确定模块，具体用于结合所述预定关键点及所述朝向，确定所述苹果肌的调整参数。

基于上述方案，所述第二确定模块，具体用于结合所述预定关键点及所述朝向，确定所述苹果肌的调整方向。

基于上述方案，所述第二确定模块，具体用于执行以下至少之一：

若所述第一人脸图像为正脸图像，基于所述预定关键点确定苹果肌的调整方向为第一方向；

若所述第一人脸图像为侧脸图像，基于所述预定关键点确定苹果肌的调整方向为第一方向和第二方向，其中，所述第二方向不同于所述第一方向。

基于上述方案，所述第一方向为：所述目标区域的中间点指向眼尾关键点的方向；

所述第二方向为：鼻翼关键点指向确定所述目标区域的第二脸型轮廓关键点的方向。

基于上述方案，所述基于所述预定关键点，确定苹果肌的调整参数，包括：

基于眼尾关键点和眼头关键点，确定所述苹果肌的最大移动距离。

基于上述方案，所述第二确定模块，具体用于若所述第一人脸图像为侧脸图像，根据侧脸角度及所述最大移动距离，确定侧脸图像的苹果肌的实际移动距离。

基于上述方案，所述装置还包括：

提亮模块，用于对所述第二人脸图像中的苹果肌进行提亮调整，获得第三人脸图像。

基于上述方案，所述装置还包括：

获取模块，用于从所述第二人脸图像中获取人脸的肤色参数；

第四确定模块，用于基于所述人脸颜色参数，确定苹果肌提亮调整的提亮参数；

所述提亮模块，具体用于基于所述提亮参数对所述第二人脸图像中的苹果肌进行提亮调整，以获得所述第三人脸图像。

基于上述方案，所述提亮模块，具体用于根据所述第二人脸图像中苹果肌的所在位置，生成掩码图像；基于所述掩码图像，对所述第二人脸图像进行所述苹果肌的提亮调整得到所述第三人脸图像。

基于上述方案，所述提亮模块，具体用于根据预先设定的苹果肌提亮的亮斑，及所述第二人脸图像中苹果肌所在的位置，生成包含有所述亮斑的掩码图像；和/或，将所述掩码图像中像素值大于预定阈值的像素，与所述第二人脸图像中对应位置像素的第一像素值进行混合，得到混合后的第二像素值；基于所述第二像素值，生成所述第三人脸图像。

基于上述方案，所述装置还包括：控制参数模块，用于获取控制参数；

所述提亮模块，具体用于基于所述控制参数、所述第二像素值和所述第一像素值进行线性混合，得到第三像素值；基于所述第三像素值，生成所述第三人脸图像。

一种图像设备，其特征在于，包括：

存储器；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，实现前述任意技术方案提供的图像处理方法。

一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意技术方案提供的图像处理方法。

本申请实施例提供的技术方案，会通过人脸中的预定关键点的检测，确定出原始的第一人脸图像中苹果肌所在的目标区域，然后基于预定关键点可以有针对性适用于当前第一人脸图像的苹果肌调整的调整参数，最后利用该调整参数调整该目标区域，就能够生成苹果肌调整后的第二人脸图像。如此，本申请实施例提供的技术方案，至少提供了图像中苹果肌调整功能，后续可以根据用户需求进行

附图说明

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为本发明实施例提供的一种人脸关键点的示意图；

图3为本发明实施例提供的另一种图像处理方法的流程示意图；

图4a为本发明实施例提供的一种正脸人像的效果示意图；

图4b为本发明实施例提供的一种侧脸人像的效果示意图；

图4c为本发明实施例提供的另一种侧脸人像的效果示意图；

图5为本发明实施例提供的一种掩码图像的效果示意图；

图6为本发明实施例提供的一种图像处理装置的结构示意图；

图7为本发明实施例提供一种图像设备的结构示意图；

图8为本发明实施例提供的一种图像处理方法的效果示意图。

具体实施方式

以下结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种图像处理方法，包括：

步骤s110：检测第一人脸图像的预定关键点；

步骤s120：基于所述预定关键点，确定苹果肌调整的目标区域；

步骤s130：基于所述预定关键点，确定苹果肌的调整参数；

步骤s140：基于所述调整参数，调整所述目标区域形成第二人脸图像。

在步骤s110中利用神经网络等深度学习模型或者学习机等检测第一人脸图像，从而获得指示人脸中不同器官和/或特征的关键点。例如，所述关键点包括但不限于以下关键点：

脸型轮廓关键点，例如，参见图2所示的关键点0到关键点32；

眉毛关键点，例如，参见图2的关键点33至37及关键点38至42；

眼睛关键点；

鼻子关键点；

唇部关键点等，所述唇部关键点可参见图2的关键点84至关键点103。

所述眼睛关键点根据关键点在眼睛上的分布，又可以包括：

位于内眼角的眼头关键点；例如，参考图2所示的关键点55和关键点58；

位于外眼角的眼尾关键点；例如，参考图2中所示的关键点52和关键点62；

位于上眼睑的上眼睑关键点；例如，参考图2所示的关键点53、72及54，及关键点59、75及60；

位于下眼睑的下眼睑关键点；例如，参见图2所示的关键点62、76及63；关键点57、73及56；

位于眼珠的眼珠关键点，例如，参见图2所示的关键点

74、104及关键点77及105；

所述鼻子关键点根据关键点在鼻子上的分布，可以分为：

位于山根的关键点，例如，参考图2所示的关键点43；

位于鼻梁的鼻梁关键点；例如，参考图2的关键点44和关键点45；

位于鼻翼的鼻翼关键点；例如，参考图2的关键点80至83；

位于鼻头的鼻头关键点；例如，参考图2的关键点46；

位于鼻底的鼻底关键点；例如，参考图2所示的关键点47至51。

在本实施例中从人脸图像中检测出关键点之后，选择出与苹果肌调整现骨干的预定关键点。

在本实施例中，与苹果肌调整相关的预定关键点包括以下至少之一：

如图2所示的脸型轮廓关键点中靠近颧骨位置的关键点4、5、28及27；

眼尾关键点；

眼头关键点；

如图2所示的鼻翼关键点80或鼻翼关键点81；鼻翼关键点80和鼻翼关键点81相对于鼻翼关键点82及鼻翼关键点83位置在鼻子中的位置更加靠上，则鼻翼关键点80和鼻翼关键点81可以称之为鼻翼上关键点。

在步骤s130中首先根据预定关键点中的一个或多个，在第一人脸图像中圈定出进行苹果肌调整的目标区域。在圈定该区域之后可以通过该区域内的像素位移实现苹果肌的调整。

在本实施例中，所述目标区域可为圆形区域或者椭圆形区域。

在步骤s130中会根据预定关键点中的一个或多个关键点，确定苹果肌的调整参数。所述苹果肌的调整参数包括但不限于以下至少之一：

苹果肌的调整方向；

苹果肌的调整幅度；

苹果肌的调整梯度。

调整方向，可以用于确定苹果肌在第一人脸图像上的移动方向；

调整幅度，可以用于确定苹果肌在第一人脸图像上的改变尺度，例如，移动幅度或缩放比例等；

调整梯度，可以用于在多次调整时不同次调整幅度差异，或者，进行苹果肌的分区域调整时，不同区域之间的调整幅度差。例如，将圆形或椭圆形的目标区域划分为内区域和外区域；外区域包围在内区域内，在对苹果肌的亮度调整时，内区域的亮度调整幅度大于外区域的亮度调整幅度，则内外区域的调整亮度之差就构成了所述调整梯度。当然此处仅是举例，具体的实现方式有多种。

在步骤s130中用于确定所述调整参数和所述目标区域的预定关键点可以相同也可以不相同。在一些实施例中，用于确定所述调整参数和所述目标区域的预定关键点可以部分相同。例如，可以使用相同的脸部轮廓关键点来确定所述调整参数和所述目标区域。再例如，可以同时使用相同的眼部关键点来确定所述调整参数和所述目标区域。

在步骤s140中会根据调整参数，对目标区域进行苹果肌的位置、形状、尺寸及颜色的任意一个调整，从而形成第二人脸图像。

具体地，所述步骤s140可包括以下至少之一：

对所述目标区域进行移动，调整所述目标区域的位置；

对所述目标区域进行尺寸缩放，调整所述目标区域在第二人脸图像上的尺寸；

对所述目标区域进行颜色变换，调整所述目标区域的颜色，从而形成人脸高光或阴影区域等；

对所述目标区域内进行形状变化，调整所述目标区域呈现的形状，从而使得成像与人脸的脸型相适配的苹果肌形状。例如，不同人像成像不同的脸型，例如，有的是鹅蛋型脸、有的是心形脸、有的圆脸、有的是棱形脸。苹果肌的大致形状都是倒三角形；但是倒三角形的三个角的角度不同或顶点在人脸图像上的位置不同，会使得苹果肌呈现不同的视觉感受。故在一些实施例中，图像设备还可以根据需要调整目标区域内通过像素重组等方式，使得苹果肌在目标区域内或移动后的目标区域内呈现出不同形状的倒三角形，以与脸型相适配，从而实现人像美化、或滑稽化等处理。

总之，在本实施例中提供了一种方法可以对人脸图像中的苹果肌进行调整，从而实现人脸图像中苹果肌的美化、滑稽化、可爱化或者不同风格类型的苹果肌；如此，可以根据用户需求实现图像的苹果肌处理，从而满足用户不同图像求，提升用户体验，和图像处理质量。

在一些实施例中，所述步骤s130生成所述调整参数时，可以根据当前苹果肌的预期调整效果，生成所述调整参数。例如，当前预期调整效果为苹果肌美化效果，则根据美化效果使得苹果肌在第二人脸图像相对于第一人脸图像上呈现出大众审美的美化效果。再例如，当前预期调整效果为滑稽化效果，以通过苹果肌在第一人脸图像上的调整，呈现出幽默的效果；则在生成所述调整参数时，将结合所述预定关键点和所述滑稽化效果生成使得第二人脸图像呈现幽默搞笑效果的苹果肌。总之，在一些实施例中，所述调整参数的生成还会根据所述预期调整效果来确定。

在本实施例中，对苹果肌的调整可以用于图像美化过程中，在图像美化的应用程序中，本申请实施例提供的苹果肌调整可以用于一键式人像美图中，如此，苹果肌美化、会和眼睛美化、鼻子美化或脸型美化等一同作为一键式人像美图的一个功能被实现。

当然本实施例提供的苹果肌的调整，也可以用于专门的苹果肌美化功能中。例如，在美图应用中设置有苹果肌美化控件，若检测到用户作用于该苹果肌美化控件的操作时，单独对图像中的苹果肌使用上述方法进行美化。

总之，在本实施例中所述的图像处理方法，具有苹果肌的调整功能，在进行人像处理的过程中可以进行苹果肌调整，从而满足用户苹果肌调整的需求，提升了用户体验和图像设备的智能性。

在另一些实施例中，如图3所示，所述方法包括：

步骤s111：确定所述第一人脸图像中人脸的朝向；

所述步骤s120可包括步骤s121；所述步骤s121可包括：基于所述预定关键点及所述朝向，确定苹果肌调整的所述目标区域。

在本实施例中，还会确定第一人脸图像的朝向。第一人脸图像的朝向至少分为两种：

第一种：正脸朝向；

第二种：侧脸朝向。

所述正脸朝向为人脸正对着摄像头拍摄的照片；

侧脸朝向为人脸侧对着摄像头拍摄的照片。

在一些实施例中，所述正脸朝向可为人脸所在平面的法线与摄像头的采集方向的逆方向在预设角度范围的朝向，例如，以人脸的鼻子为人脸平面的中心，垂直面部的法线方向与摄像头的采集方向的逆方向若完全平行，则当前采集的图像为完全的正脸图像；但是稍微一点点也会可能呈现出正脸图像的视觉效果，例如，两个方向之间的夹角为正负5度、正负10度或者正负20度等。例如，法线方向与采集方向的逆方向之间的夹角在鼻梁右侧形成的角度为正角度，则在左侧形成的角度为负角度；也可以是法线方向与采集方向的逆方向之间的夹角在鼻梁右侧形成的角度为负角度，则在左侧形成的角度为正角度。

人脸图像中所述正脸朝向以外的朝向都可以视为侧脸朝向，当然此时不包含有人脸的背影图像除外。

图4a为一种正脸朝向的人脸图像；图4b为一个侧脸朝向的人脸图像；图4c为另一个侧脸朝向的人脸图像。

在一些实施例中，可以以图4a所示的朝向为0度朝向，假设图4b所示的人脸朝向为90度朝向，则图4c所示的人脸朝向为-90度朝向；若假设图4b所示的人脸朝向为-90度朝向，则图4c的人脸朝向为90度朝向。

在一些实施例中，若正脸朝向的朝向角度为0度，则所述侧脸朝向的人脸图像的侧脸角度在-90到0度之间，及0到90度之间，但不等于0度。

在还有一些实施例中，正脸朝向对应的朝向角度可为：-10度到10度之间，则侧脸朝向的朝向角度为-90到10度之间，及-10到-90度之间。

当然正脸朝向和侧脸朝向的角度区分阈值可以根据需要进行设置。

在本实施例中为了实现苹果肌的优化调整，对正脸人像和侧脸人像采用统一调整标准或统一的调整参数，导致至少一种人脸图像苹果肌的调整效果不佳的问题，在本实施例中会结合预定关键点及朝向，来确定目标区域。

以下分别介绍正脸图像和侧脸图像在确定目标区域时的异同：

针对于正脸图像而言，所述步骤s120可包括：

若所述第一人脸图像为正脸图像，基于第一脸型轮廓关键点和鼻翼关键点，确定所述目标区域的第一中间点。

所述第一脸型轮廓关键点可为靠近苹果肌所在位置的脸型轮廓关键点，此时，参考图2所示，关键点4及关键点5可作人像中右脸苹果肌调整的第一脸型轮廓关键点的备选关键点。

在本实施例中，优选关键点5作为所述第一脸型轮廓关键点。所述鼻翼关键点可选用与第一脸型轮廓关键点同高度或者对应的关键点80或关键点82，在本实施例中优选选用关键点80作为所述鼻翼关键点。实践表明，若第一人脸图像为正脸图像，则选用图2中所示的关键点和关键点80分别作为右脸苹果肌的第一脸型轮廓关键点和鼻翼关键点，调整效果是更加满足用户期望的。选用图2中所示的关键点27和关键点81分别作为左脸苹果肌的第一脸型轮廓关键点和鼻翼关键点。

所述第一中间点包括但不限于：所述第一脸型轮廓关键点和鼻翼关键点的中点。

在一些实施例中，第一人脸图像呈现的人脸图像的人脸特征不同，则基于第一脸型轮廓关键点和鼻翼关键点的中点进行位置修正之后，得到所述第一中间点。例如，若第一人脸图像呈现的人脸a，并假设眼珠关键点到对应位置的脸型轮廓关键点之间的距离为第一距离，且假设眼珠关键点到对应位置处的鼻梁之间的距离为第二距离；

并可根据该比值生成所述修正参数。若第一距离和第二距离基本为1，则所述第一脸型轮廓关键点和鼻翼关键点的中点直接作为所述第一中间点。

若第一距离和第二距离之间的比值大于1或小于1，得到使得中点在所述第一脸型轮廓关键点和鼻翼关键点的连线上向脸部中心偏移或者向脸部边缘的偏移参数。例如，第一距离大于第二距离，可以使得中点向脸部边缘靠的偏移参数；再例如，第一距离小于第二距离，可以使得中点脸部中心偏移的偏移参数。总之，结合修正参数修正所述中点也可以得到所述第一中间点。

所述第一中间点确定之后，就大致确定了目标区域的所在位置。

若目标区域的半径是确定的，则第一中间点确定之后目标区域就确定了。例如，所述目标区域的半径可是根据人脸图像的人脸面积确定的。再例如，所述目标区域的半径还可以由深度学习模型等根据第一人脸图估算的。

进一步地，所述步骤s120还包括：

基于所述第一中间点及眼尾关键点，确定所述目标区域的范围。

在本实施例中，会基于第一中间点和眼尾关键点，确定目标区域的范围，例如，利用线性插值算法以第一中间点和眼尾关键点在第一人脸图像中的坐标为已知量，计算得到目标区域的圆形半径或者长轴和短轴。

若目标区域为圆形，第一中间点可为圆形区域的圆形，圆形半径确定了，则圆形的目标区域显然就确定了。

若目标区域为椭圆形，第一中间点为椭圆形区域的中心，长轴或短轴之一确定了，再基于预先设定的长轴和短轴之间的比值，另一个轴也就确定了，若中心、长轴和短轴都确定了，自然椭圆形的目标区域也就确定了。

以上仅是仅是线性插值算法的举例，具体实现时不局限于上述任意一种。

针对侧脸图像，所述步骤s120可包括：

若所述第一人脸图像为侧脸图形，基于第二脸型轮廓关键点和鼻翼关键点，确定所述目标区域的第二中间点。

在进行苹果肌调整时，由于人脸朝向的不同，可以选择不同的预定关键点来确定目标区域。

例如，侧脸图像中的第二脸型轮廓关键点是不同于正脸图像的第一脸型轮廓关键点。但是第一脸型轮廓关键点和第二脸型轮廓关键点的备选关键点是相同的，都是脸型外轮廓上靠近颧骨位置的关键点。此处的备选关键点均为(参考图2)关键点4、5、27及28。在本实施例中，所述第二脸型轮廓关键点可为关键点4和关键点28。关键点4可为人像中右脸苹果肌调整的第二脸型轮廓关键点，关键点28可为左脸苹果肌调整的第二脸型轮廓关键点。

在本实施例中，所述鼻翼关键点可与正脸图像的鼻翼关键点相同，都可以选择参考图2所示的关键点80或关键点81。

在本实施例中，所述第二中间点同样可为第二脸型轮廓关键点和鼻翼关键点的中点，或者参考正脸图像中利用修正参数修正该中点得到的坐标点。

第二中间点可为目标区域的中心点。

进一步地，所述步骤s120还可包括：基于所述第二中间点与眼尾关键点，确定所述目标区域的范围。

在本实施例中，所述第二中间点和眼尾关键点同样可以基于线性插值算法得到所述目标区域的半径等确定范围的参数，从而在所述第一人脸图像上确定出所述目标区域的范围。

在一些实施例中，所述步骤s130可包括：

结合所述预定关键点及所述朝向，确定所述苹果肌的调整参数。

为了实现苹果肌的优化调整，还会结合预定关键点和朝向来确定具体的调整参数。

不同的朝向，苹果肌的调整策略可能不同。例如，正脸图像的调整和侧脸图像的调整，调整方向和/或角度是有不同，对应的调整策略也不同。再例如，所述朝向不同，所述苹果肌的亮度调整不同和/或调整梯度不同等。

具体地如，所述步骤s130具体可包括：结合所述预定关键点及所述朝向，确定所述苹果肌的调整方向。

所述朝向不同，苹果肌的调整方向不同。

在进行图像美化时，一般需要进行苹果肌的上拉或者隆起调整，由于人脸朝向不同，则上拉的具体方向或者隆起的具体方向不同。

在一些实施例中，所述结合所述预定关键点及所述朝向，确定所述苹果肌的调整方向，包括以下至少之一：

若所述第一人脸图像为正脸图像，基于所述预定关键点确定苹果肌的调整方向为第一方向；

若所述第一人脸图像为侧脸图像，基于所述预定关键点确定苹果肌的调整方向为第一方向和第二方向，其中，所述第二方向不同于所述第一方向。

在一些实施例中，所述第二方向不同于所述第一方向，包括但不限于：第二方向垂直于所述第一方向。

例如，针对于侧脸图像而言会对目标区域进行两个方向上的移动，一个上使得目标区域向眼睛方向上拉，另一个是使得目标区域向脸边缘外移，为了简化起见，第二方向可以直接是垂直第一方向的。

但是为了优化苹果肌的调整效果，在本实施例中，所述第一方向可为所述第一中间点指向所述眼尾关键点的方向；所述第二方向可为：第二脸部轮廓关键点指向鼻翼关键点的反方向(即，从所述鼻翼关键点指向所述第二脸部轮廓关键点的方向)。

由于脸型轮廓关键点和眼尾关键点都是从第一人脸图像中检测出来的，其分布本身就反应了人脸的特点，如此，基于脸型轮廓关键点和眼尾关键点确定调整的第一方向和第二方向，实质上可以针对不同的人脸进行个性调整，实现苹果肌的优化调整。

具体地如，所述步骤s130可包括：

基于眼尾关键点和眼头关键点，确定所述苹果肌的最大移动距离。

所述眼尾关键点和眼头关键点之间的距离实质上就是第一人像中眼睛的长度；例如，眼尾关键点和眼头关键点之间隔离m个像素；则所述最大距离可为a倍所述m个像素。a可为小于1的正数。进一步地的例如，所述a的取值可为0.44至0.74之间，可选的，所述a的取值可为0.54、0.5、0.64、0.6等取值中的一个或多个。

具体而言，左脸苹果肌的最大移动距离可为第一人脸图像中左眼长度的a倍，右脸苹果肌的最大移动距离为第一人脸图像中右眼长度的a倍。

在一些实施例中，所述苹果肌的实际移动距离可以基于用户操作确定，例如，用户在人机交互界面输入用户操作，根据用户操作确定出实际移动距离。若基于用户操作计算得到的移动距离大于所述最大移动距离，则直接以所述最大移动距离作为所述苹果肌的实际移动距离进行苹果肌的调整。

在一些实施例中，所述步骤s130可包括：

若所述第一人脸图像为侧脸图像，根据侧脸角度及所述最大移动距离，确定侧脸图像的苹果肌的实际移动距离。

在本实施例中，首先会结合预定关键点确定出苹果肌的最大移动距离，该最大移动距离也即目标区域的最大移动距离。

在本实施例中，会以眼睛的关键点为所述预定关键点，基于眼睛的尺寸确定出苹果肌的最大移动距离。

然后结合人脸朝向来确定实际移动距离。以人脸正朝着摄像头为例，人脸向左右两边偏移，偏移角度越大则所述侧脸角度越大。在本实施例中，所述实际移动距离与所述侧脸角度正相关。若侧脸角度越大则实际移动距离就越大，否则实际移动距离就越小。例如，在一些实施例中，完全侧脸图像，即被采集的左脸正对着摄像头，则采集的仅包括左脸的人脸图像，此时该人脸图像不包括以鼻梁为划分界限的右脸成像；若右脸正对着摄像头，则采集的仅包括右脸的人脸图像，此时该人脸图像不包括以鼻梁为划分界限的左脸区域。此时，完全的左脸人像或右脸人像的侧脸角度最大，则实际移动距离可为所述最大移动距离。在一些实施例中，所述侧脸角度最大为90度；若侧脸角度小于90度，则实际移动距离可以乘上一个小于1的比例系数，从而获得所述实际移动距离。

当然以上仅是举例说明，具体的实现方式有很多种，不局限于以上任意一种。

在一些实施例中，如图所示，所述方法还包括：

步骤s150：对第二人脸图像中的苹果肌进行提亮调整，获得第三人脸图像。

第二人脸图像相对于第一人脸图像使得苹果肌在人脸上进行了移动。在本实施例中，还会对移动后的苹果肌进行提亮，使得苹果肌看起来更加充盈和饱满。

在一些实施例中，所述苹果肌的提亮不同位置的提亮程度是不一样的。例如，以苹果肌的最高点位置向苹果肌的周边提亮的程度依次降低，从而使得使得苹果肌的最高点的位置亮度最大，然后依次缓慢递减到与苹果肌周边皮肤像素相同的亮度，一方面使得苹果肌调整之后看起来更加自然，同时利用苹果肌不同位置的亮度差体现出苹果肌的立体效果。

在一些实施例中，所述方法还包括：

从所述第二人脸图像中获取人脸的肤色参数；

基于所述人脸颜色参数，确定苹果肌提亮调整的提亮参数；

所述步骤s150可包括：基于所述提亮参数对所述第二人脸图像中的苹果肌进行提亮调整，以获得所述第三人脸图像。

一种方式，为了减少针对不同的人脸图像都采用单一的提亮参数进行提亮，导致原本较暗的人脸图像，提亮后出现苹果肌非常不自然的现象，而针对原本肤色较亮的人脸图像，提亮后苹果肌的提亮效果不明显的现象。在本实施例中，会获取人脸图像的肤色参数，该肤色参数包括但不限限于以下至少之一：

人脸图像中皮肤像素的颜色值和/或灰度直方图；

人脸图像中眼睛和唇部之间的皮肤像素的颜色值或灰度直方图。

基于该肤色参数可以知道苹果肌和/或苹果肌周围的皮肤的亮度平均值或亮度中值等，为了区分苹果肌和苹果肌周边的皮肤，也同时为了减少苹果肌和苹果肌周边的皮肤差异过大的现象，会基于皮肤参数确定出提亮参数。

该提亮参数包括但不限于以下至少之一：提亮幅度，提亮比例。

提亮苹果肌的具体实现方式有多种，在本实施例中，会利用掩码图像进行提亮。

在一些实施例中，所述苹果肌提亮可包括：

基于该提亮幅度可以在苹果肌原本的像素值加上一个对应的提亮幅度，就得到提亮后的苹果肌，并形成了第三人脸图像；

在另一些实施例中，所述苹果肌提亮可包括：

基于该提亮比例可以在苹果肌原本的像素值上乘上该提亮比例就得到了提亮后的苹果肌，并形成了第三人脸图像。

在一些实施例中，所述步骤s150可包括：根据所述第二人脸图像中苹果肌的所在位置，生成掩码图像；基于所述掩码图像，对所述第二人脸图像进行所述苹果肌的提亮调整得到所述第三人脸图像。

所述步骤s150可包括：

确定苹果肌在第二人脸图像中的所在位置；

基于该所在位置形成一个与所述第二人脸图像同尺寸的掩码图像；该掩码图像的在第二人脸图像所在的位置形成有半透明的提亮光晕；在其他位置为透明区域；将所述掩码图像叠加在所述第二人脸图像上生成所述第三人脸图像。

此时，所述掩码图像中的提亮光晕的亮度值直接可为苹果肌提亮后的亮度值，故所述提亮参数还可包括：苹果肌提亮后的亮度值。

图5所示为本实施例提供一张掩码图像的示意图。在图5中白色光晕区域就是用于与调整后的苹果肌所在区域重叠的区域，以提亮苹果肌。

进行苹果肌提亮的另一种方式是：所述根据所述第二人脸图像中苹果肌的所在位置，生成掩码图像，包括：

根据预先设定的苹果肌提亮的亮斑，及所述第二人脸图像中苹果肌所在的位置，生成包含有所述亮斑的掩码图像；

和/或，

所述基于所述掩码图像，对所述第二人脸图像进行所述苹果肌的提亮调整得到所述第三人脸图像，包括：

将所述掩码图像中像素值大于预定阈值的像素，与所述第二人脸图像中对应位置像素的第一像素值进行混合，得到混合后的第二像素值；

基于所述第二像素值，生成所述第三人脸图像。

在一些实施例中，苹果肌的亮斑可为预先确定的，该亮斑的形状和亮度都可以预先确定。如此，可以加速掩码图像的生成速率。

苹果肌的亮斑在掩码图像中的位置，是与第二人脸图像中苹果肌所在的位置相对应的。例如，在第一人脸图像中进行预定关键点的检测，由于第一人脸图像和第二人脸图像仅是苹果肌发生了一些变换，但是变换还是在人脸范围内，且不会是巨大的移动，故可以依据步骤s110中检测到关键点来确定出第二人脸图像中苹果肌所在的区域；例如，以步骤s120中确定的目标区域；或者，基于目标区域和实际移动距离，得到第二人脸图像中的苹果肌所在的区域，基于该区域将所述亮斑对应的添加到掩码图像中。

在本实施例中，所述掩码图像中除了亮斑所在位置的像素值会大于所述预定阈值，亮斑所在位置以外像素的像素值都会小于或等于所述预定阈值。如此在进行像素混合时，可以利用图像处理器(gpu)等适用于大量运算的运算模块，在遍历掩码图像中的像素时，通过像素值与预定阈值的比较，确定该像素时否需要与第二人脸图像中的像素进行混合。例如，第二人脸图像为rgb图像，则第二人脸图像包括3个颜色通道，这3个颜色通道中每一个像素都有其对应的像素值，若掩码图像中第m个像素的像素值大于所述预定阈值，则将掩码图像中第m个像素的像素值和所述第二人脸图像中第m个像素三个颜色通道的颜色值进行混合，再组合这3个颜色通道混合后的值就得到了所述第二像素值。此处的混合，可以为线性混合，也可以是非线性混合。在本实施例中，所述掩码图像和第二人脸图像的混合优选为非线性混合，如此得到的苹果肌的提亮效果更佳。

具体的所述非线性混合的函数关系可如下：

sqrt(originalcolor)*(a*maskcolor-1.0)+b*originalcolor*(c-maskcolor)，其中，originalcolor为第二人脸图像中的第一像素值；maskcolor为掩码图像中的像素值；a，b，c均为已知的计算参数。具体取值可以根据需求进行设定。

sqrt表示开平方，sqrt(originalcolor)表示对第一像素值开平方。

在本实施例中，所述a的取值和b的取值可以相同，例如，在originalcolor和maskcolor都被归一化0到1之间的数值之后，所述a和b的取值均可为2.0；所述c的取值可为1.0。

总之，所述a、b及c的取值可以相同，也可以不相同。

在一些实施例中，在进行像素值混合之前会对像素值或颜色值进行归一化处理，得到的像素值或颜色值均是位于0到1之间的数据。此时，一方面，即便不同比特数目的颜色通道形成的图像，也会得到同样位于0到1之间的像素值或颜色值。另一方面，通过归一化处理，则大大缩小了后续参与像素混合计算的数值，从而简化了计算。

在一些实施例中，所述预定阈值可为0.4、0.45、0.5、0.55及0.6等取值。所述预定阈值的取值范围可为0.4至0.6之间。

进一步地，所述方法还包括：获取控制参数；

所述基于所述第二像素值，生成所述第三人脸图像，包括：

基于所述控制参数、所述第二像素值和所述第一像素值进行线性混合，得到第三像素值；

基于所述第三像素值，生成所述第三人脸图像。

在本实施例中所述控制参数可为图像设备从人机交互接口或者从其他设备接收的外部控制参数，可以用于控制苹果肌的提亮程度，是一种苹果肌提亮的程度控制参数。

在得到第二像素值之后，再基于控制参数与第一像素值进行线性混合，将得到所述第三像素值。例如，所述控制参数为比例参数，可以基于a(rgb1)+rgb2＝rgb3。例如，a可为所述控制参数；所述rgb1可为第二人脸图像原始的第一像素值；rgb2可为混合后的所述第二像素值；rgb3可为再次混合后形成所述第三人脸图像的第三像素值。

在本实施例中不是直接利用第二像素值生成所述第三人脸图像，而是会利用原始的第二人脸图像和混合后的第二像素值进行再次线性混合，得到所述第三人脸图像，如此，可以使得苹果肌的提亮更加自然，图像处理效果更加优越。

如图6所示，本实施例提供一种图像处理装置，包括：

检测模块110，用于检测第一人脸图像的预定关键点；

第一确定模块120，用于基于所述预定关键点，确定苹果肌调整的目标区域；

第二确定模块130，用于基于所述预定关键点，确定苹果肌的调整参数；

调整模块140，用于基于所述调整参数，调整所述目标区域形成第二人脸图像。

在一些实施例中，所述检测模块110、第一确定模块120、第二确定模块130及调整模块140可为程序模块；所述程序模块被处理器执行后，能够实现上述各个模块的功能。

在还有一些实施例中，所述装置包括：

第三确定模块，用于确定所述第一人脸图像中人脸的朝向；

所述第一确定模块120，具体用于基于所述预定关键点及所述朝向，确定苹果肌调整的所述目标区域。

在还有一些实施例中，所述第一确定模块120，具体用于若所述第一人脸图像为正脸图像，基于第一脸型轮廓关键点和鼻翼关键点，确定所述目标区域的第一中间点。

在还有一些实施例中，所述第一确定模块120，还用于基于所述第一中间点及眼尾关键点，确定所述目标区域的范围。

在还有一些实施例中，所述第一确定模块120，还具体用于若所述第一人脸图像为侧脸图形，基于第二脸型轮廓关键点和鼻翼关键点，确定所述目标区域的第二中间点。

在还有一些实施例中，所述第一确定模块120，还具体用于基于所述第二中间点与眼尾关键点，确定所述目标区域的范围。

在还有一些实施例中，所述第二确定模块130，具体用于结合所述预定关键点及所述朝向，确定所述苹果肌的调整参数。

在还有一些实施例中，所述第二确定模块130，具体用于结合所述预定关键点及所述朝向，确定所述苹果肌的调整方向。

在还有一些实施例中，所述第二确定模块130，具体用于执行以下至少之一：

若所述第一人脸图像为正脸图像，基于所述预定关键点确定苹果肌的调整方向为第一方向；

若所述第一人脸图像为侧脸图像，基于所述预定关键点确定苹果肌的调整方向为第一方向和第二方向，其中，所述第二方向不同于所述第一方向。

在还有一些实施例中，所述第一方向为：所述目标区域的中间点指向眼尾关键点的方向；

所述第二方向为：鼻翼关键点指向确定所述目标区域的第二脸型轮廓关键点的方向。

在还有一些实施例中，所述基于所述预定关键点，确定苹果肌的调整参数，包括：

基于眼尾关键点和眼头关键点，确定所述苹果肌的最大移动距离。

在还有一些实施例中，所述第二确定模块130，具体用于若所述第一人脸图像为侧脸图像，根据侧脸角度及所述最大移动距离，确定侧脸图像的苹果肌的实际移动距离。

在还有一些实施例中，所述装置还包括：

提亮模块，用于对所述第二人脸图像中的苹果肌进行提亮调整，获得第三人脸图像。

在还有一些实施例中，所述装置还包括：

获取模块，用于从所述第二人脸图像中获取人脸的肤色参数；

第四确定模块，用于基于所述人脸颜色参数，确定苹果肌提亮调整的提亮参数；

所述提亮模块，具体用于基于所述提亮参数对所述第二人脸图像中的苹果肌进行提亮调整，以获得所述第三人脸图像。

在还有一些实施例中，所述提亮模块，具体用于根据所述第二人脸图像中苹果肌的所在位置，生成掩码图像；基于所述掩码图像，对所述第二人脸图像进行所述苹果肌的提亮调整得到所述第三人脸图像。

在一些实施例中，所述提亮模块，具体用于根据预先设定的苹果肌提亮的亮斑，及所述第二人脸图像中苹果肌所在的位置，生成包含有所述亮斑的掩码图像；和/或，将所述掩码图像中像素值大于预定阈值的像素，与所述第二人脸图像中对应位置像素的第一像素值进行混合，得到混合后的第二像素值；基于所述第二像素值，生成所述第三人脸图像。

在还有一些实施例中，所述装置还包括：控制参数模块，用于获取控制参数；所述提亮模块，具体用于基于所述控制参数、所述第二像素值和所述第一像素值进行线性混合，得到第三像素值；基于所述第三像素值，生成所述第三人脸图像。

以下结合上述实施例提供两个具体示例：

示例1：

苹果肌调整方法，可包括以下步骤：

1)将人脸的苹果肌范围区域向上提拉；

2)在侧脸的时候除了向上提拉，同时将这一块区域根据侧脸的角度向外膨胀；

3)使用掩码(mask)纹理将苹果肌所在区域提亮。

如图8所示，对第一人脸图像的苹果肌所在区域进行苹果肌上拉或横向膨胀的操作，得到第二人脸图像。在图8中第二人脸图像相对于第一人脸图像的虚线圆形区域可为所述苹果肌所在的目标区域；将第二掩码图像和第二人脸图像合并之后得到苹果肌被提亮的第三人脸图像。

示例2：

以正脸图像中的左脸为例，提供一种苹果肌调整的示例，包括：

一、将人脸的苹果肌范围的区域(对应于上述目标区域)向上提拉；

1)计算关键点5与关键点80的中点作为拉动区域(圆形区域)的中间点，拉动区域的最大移动距离设置为关键点52和关键点55距离的0.64倍；

2)向上提拉的方向为拉动区域的中间点指向关键点52(目标点)的方向，拉动区域的范围(半径)由中间点到目标点线性插值得到；

二、在侧脸图像中，除了对苹果肌所在区域向上提拉外，同时将这一块区域根据侧脸的角度向外膨胀；

1)当人脸以一定的角度侧脸时，会确定一个膨胀区域，膨胀区域以关键点4为中间点，膨胀区域的最大移动距离与提拉距离相同，同时与侧脸角度正相关。

2)膨胀区域以关键点4为中间点，膨胀方向为关键点4指向关键点80的反方向，膨胀区域的范围(半径)由中间点到目标点线性插值得到；

三、使用mask纹理将苹果肌区域提亮。

1)最后进行提亮处理，使用一张mask纹理，该纹理将标准人脸苹果肌区域标亮，再与人脸图进行颜色的混合，这样人脸苹果肌区域会被提亮，看起来更加立体。

如图7所示，本实施例提供了一种图像设备，包括：

存储器；

处理器，与所述存储器连接，用于通过执行位于所述存储器上的计算机可执行指令，能够实现前述任意技术方案提供的图像处理方法，例如，图1和/或图3所示图像处理方法。

该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。

所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。

所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。

在一些实施例中，所述图像设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。

在一些实施例中，所述图像设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。

本实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够应用于图像设备、数据库、第一私有网络中一个或多个技术方案提供的图像处理方法，例如，图1和/或图2所示图像处理方法。

所述计算机存储介质可为包括具有记录功能的各种记录介质，例如，cd、软盘、硬盘、磁带、光盘、u盘或移动硬盘等各种存储介质。可选的所述计算机存储介质可为非瞬间存储介质，该计算机存储介质可被处理器读取，从而使得存储在计算机存储机制上的计算机可执行指令被处第一理器获取并执行后，能够实现前述任意一个技术方案提供的图像处理方法，例如，执行应用于图像设备中的图像处理方法或应用服务器中的图像处理方法。

本实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述一个或多个技术方案提供的图像处理方法，例如，例如，图1和/或图3所示图像处理方法。

所述包括有形地包含在计算机存储介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。