化妆区域动态图像生成方法、美妆辅助方法及其装置与流程

本发明实施例涉及互联网技术领域，尤其涉及一种化妆区域动态图像生成方法、美妆辅助方法及其装置。

背景技术：

运用化妆品和工具，采取合乎规则的步骤和技巧，对照镜子且完全依赖于手工操作对人体的面部、五官及其他部位进行渲染、描画、整理，增强立体印象，调整形色，掩饰缺陷，表现神采，从而达到美化视觉感受的目的。

化妆可分为基础化妆和重点化妆。基础化妆是指整个脸面的基础敷色，包括：清洁、滋润、收敛、打底与扑粉等，具有护肤的功用。重点化妆是指眼、睫、眉、颊、唇等器官的细部化妆，包括：加眼影、画眼线、刷睫毛、涂鼻影、擦胭脂与抹唇膏等，能增加容颜的秀丽并呈立体感，可随不同场合来变化。化妆的方法有日常的一般化妆法，适应各种场合需要的特殊化妆法，以及简捷快当的速成化妆法等。

而目前为止，除了通过从电视、网络及杂志上学习化妆技巧外，没有其他更好的渠道；再者，由上述可见化妆本身涉及众多步骤和处理技巧，而对于用户来说，用户即使知悉了一些化妆技巧，但在实际应用时，由于实际的化妆环境比如化妆品、化妆工具发生了变化，导致在现实中也难以切实有效地实施知悉的化妆技巧。

因此，现有技术中出现了相关的互联网产品，通过互联网以及大数据技术辅助用户进行化妆，但是，实现本发明的过程中，发明人发现，现有的互联网化妆产品在辅助用户尽进行化妆时，在与用户进行交互的过程中，只是向用户展现完成化妆后的妆容，在用户化妆的过程中，缺少与用户的交互，使得用户不能实时了解化妆的过程，无法实时地进行化妆的调整。

技术实现要素：

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种化妆区域动态图像生成方法、美妆辅助方法及其装置，用以克服现有技术中上述技术问题。

本发明实施例提供一种化妆区域动态图像生成方法，其包括：

从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据，得到目标脸的妆面图；

获得从目标脸图像到所述标准脸图像的变换矩阵，根据所述变换矩阵将所述目标脸的妆面图画到预先生成的目标脸画布上，以生成针对所述目标脸的化妆区域动态图像。

可选地，在本发明任一实施例中，所述方法还包括：将标准脸图像进行平面剖分，使得所述标准脸图像上生成多个所述多边形区域。

可选地，在本发明任一实施例中，通过Delaunay三角化将标准脸图像进行平面剖分，使得所述标准脸图像上生成多个三角形区域，以根据所述标准脸图像上生成的多个三角形区域，从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据。

可选地，在本发明任一实施例中，所述方法还包括：将目标脸图像进行平面剖分，使得所述目标脸图像分别生成多个多边形区域；

从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据，得到目标脸的妆面图包括：根据所述标准脸图像上生成的多个多边形区域与所述目标脸图像分别生成的多个多边形区域的匹配关系，从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据；

获得从目标脸图像到所述标准脸图像的变换矩阵包括：根据目标脸图像上生成的多个多边形区域和标准脸图像上生成的多个多边形区域，获得从所述目标脸图像到所述标准脸图像的变换矩阵。

可选地，在本发明任一实施例中，根据目标脸图像上生成的多个多边形区域和标准脸图像上生成的多个多边形区域，获得从所述目标脸图像到所述标准脸图像的变换矩阵包括：

根据目标脸图像上生成的多个多边形区域和标准脸图像上生成的多个多边形区域，对所述目标脸图像和所述标准脸图像进行坐标比对；

根据所述目标脸图像和所述标准脸图像的坐标比对结果，获得从所述目标脸图像到所述标准脸图像的变换矩阵。

本发明实施例提供一种美妆辅助方法，其包括：

根据在标准脸图像上确定出的化妆区域，确定针对标准脸的妆面图；

根据上述任一项实施例所述的方法生成针对所述目标脸的化妆区域动态图像；

将所述目标脸的化妆区域动态图像合成到实时捕获的所述目标脸图像的视频流中，以动态显示化妆过程的实时效果。

可选地，在本发明任一实施例中，所述方法还包括：

根据提取的人脸特征进行人脸形状建模和人脸纹理建模分别得到人脸形状模型和人脸纹理模型；

根据所述人脸形状模型和人脸纹理模型建立人脸模型，以识别出目标脸图像。

可选地，在本发明任一实施例中，通过GPUImage将所述目标脸的化妆区域动态图像合成到实时捕获的所述目标脸图像的视频流中。

可选地，在本发明任一实施例中，所述方法还包括：根据目标脸的五官特征获取推荐的美妆方案。

本发明实施例提供一种化妆区域动态图像生成装置，其包括：

妆面图处理单元，用于从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据，得到目标脸的妆面图；

图像处理单元，用于获得从目标脸图像到所述标准脸图像的变换矩阵，根据所述变换矩阵将所述目标脸的妆面图画到预先生成的目标脸画布上，以生成针对所述目标脸的化妆区域动态图像。

本发明实施例提供一种美妆辅助装置，其包括：

妆面图确定单元，用于根据在标准脸图像上确定出的化妆区域，确定针对标准脸的妆面图；

图像生成单元，用于根据上述任一项实施例所述的方法生成针对所述目标脸的化妆区域动态图像；

图像合成单元，用于将所述目标脸的化妆区域动态图像合成到实时捕获的所述目标脸图像的视频流中，以动态显示化妆过程的实时效果。

由以上技术方案可见，本发明实施例中，通过从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据，得到目标脸的妆面图；获得从目标脸图像到所述标准脸图像的变换矩阵，根据所述变换矩阵将所述目标脸的妆面图画到预先生成的目标脸画布上，以生成针对所述目标脸的化妆区域动态图像，在用户化妆的过程中，增加与用户的交互，使得用户能实时了解化妆的过程，实时地进行化妆的调整。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例一化妆区域动态图像生成方法流程示意图；

图2为本发明实施例二美妆辅助方法流程示意图，

图3为本发明实施例三美妆辅助方法流程示意图，

图4为本发明实施例四化妆区域动态图像生成装置结构示意图；

图5为本发明实施例五美妆辅助装置结构示意图。

具体实施方式

当然，实施本发明实施例的任一技术方案必不一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

本发明下述实施例中，通过从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据，得到目标脸的妆面图；获得从目标脸图像到所述标准脸图像的变换矩阵，根据所述变换矩阵将所述目标脸的妆面图画到预先生成的目标脸画布上，以生成针对所述目标脸的化妆区域动态图像，在用户化妆的过程中，增加与用户的交互，使得用户能实时了解化妆的过程，实时地进行化妆的调整。

图1为本发明实施例一化妆区域动态图像生成方法流程示意图；如图1，其包括：

S101、从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据，得到目标脸的妆面图；

本实施例中，具体通过将标准脸图像进行平面剖分，使得所述标准脸图像上生成多个所述多边形区域。可选地，通过Delaunay三角化将标准脸图像进行平面剖分，使得所述标准脸图像上生成多个三角形区域，这些三角形区域连通起来覆盖标准脸图像的有效区域，以根据所述标准脸图像上生成的多个三角形区域，从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据。具体可通过扫描线法(Sweepline)、随机增量法(Incremental)、或者分治法(Divide and Conquer)等将标准脸图像进行平面剖分。

步骤S102中，同样采用与上述实施例相同Delaunay三角化对目标脸图像进行平面剖分，生成多个三角形区域，根据所述标准脸图像上生成的多个三角形区域与所述目标脸图像分别生成的多个三角形区域的匹配关系，从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据，得到目标脸的妆面图。

S102、获得从目标脸图像到所述标准脸图像的变换矩阵，根据所述变换矩阵将所述目标脸的妆面图画到预先生成的目标脸画布上，以生成针对所述目标脸的化妆区域动态图像。

本实施例中，步骤S102具体可以包括：根据目标脸图像上生成的多个多边形区域和标准脸图像上生成的多个多边形区域，对所述目标脸图像和所述标准脸图像进行坐标比对；根据所述目标脸图像和所述标准脸图像的坐标比对结果，获得从所述目标脸图像到所述标准脸图像的变换矩阵。

在所述标准脸图像上生成的多个三角形区域与所述目标脸图像分别生成的多个三角形区域进行比对，可以对每一个三角形三个顶点的坐标匹配，确定出标准脸图像上三角形区域与目标脸图像上三角形区域的一一对应关系，根据这种坐标的比对结果确定出变换矩阵。

图2为本发明实施例二美妆辅助方法流程示意图，如图2所示，其包括：

S201、根据在标准脸图像上确定出的化妆区域，确定针对标准脸的妆面图；

具体地，本实施例中，详细的过程比如是：获取在标准脸上做了标注的化妆区域，采集标注了化妆区域的标准脸图像，对所述标准脸图像上的化妆区域进行着色处理，导出效果图层作为针对标准脸的妆面图。

S202、根据任一项上述实施例所述的方法生成针对所述目标脸的化妆区域动态图像；

本实施例中，化妆区域动态图像的生成可参见上述图1的记载，详细不再赘述。

S203、将所述目标脸的化妆区域动态图像合成到实时捕获的所述目标脸图像的视频流中，以动态显示化妆过程的实时效果。

本实施例中，可以通过OPENGL中的dissolve blend filter进行合成。

图3为本发明实施例三美妆辅助方法流程示意图；如图3所示，其包括：

S301、根据提取的人脸特征进行人脸形状建模和人脸纹理建模分别得到人脸形状模型和人脸纹理模型；

本实施例中，可以aam模型为例，详细过程如下：

(1)选择人脸图像样本作为学习样本；

(2)对选择的学习样本进行手工特征点标记，使得标记好的v个特征点位置的集合能够构成形状S,S＝(x1,y1,x2,y2,...xv,yv)；

(3)对形状进行归一化，通过归一化指把所有用于学习的人脸形状去除旋转、缩放和平移等全局变换；

(4)对归一化的形状进行主成分分析(PCA)变换，得到对应训练集的平均形状S0和前n个特征值对应的形状特征向量Si。

(5)任意人脸形状S就可以用线性方程进行表达：

这样就完成了对形状的建模。

b)纹理建模：

(1)将S0和训练集中的人脸形状，分别Delaunay三角化

(2)通过分段线性仿射的方法将样本集人脸形状中的纹理信息映射到平均形状S0中去，实现对纹理归一化

(3)对归一化后的纹理信息进行PCA变换，得到平均纹理A0和前m个特征值对应的纹理特征向量Ai(x)。

(4)纹理与形状非常相似，任意人脸的纹理信息也可以用线性表达式表示:

A(x)表示纹理实例，A0表示平均纹理，γi表示纹理参数，Ai(x)表示第i个纹理特征向量。

这样也就完成了对纹理的建模。

S302、根据所述人脸形状模型和人脸纹理模型建立人脸模型，以识别出目标脸图像。

AAM人脸模型实例的生成步骤如下，先得到任意一组形状参数p后，用形状模型进行线性表示，就能够得到一个对应的形状S，接着得到一组纹理参数γi后，用纹理模型进行线性表示，得到一个对应纹理实例A(x)。最后将平均形状S0中的纹理实例A(x)映射到当前的形状S中去，这样就生成了一个AAM的模型实例。除AAM模型外，还可以使用其他模型来识别人脸及五官例如Hmax+神经网络分类。

S303、根据在标准脸图像上确定出的化妆区域，确定针对标准脸的妆面图；

S304、根据任一项上述实施例所述的方法生成针对所述目标脸的化妆区域动态图像；

本实施例中，化妆区域动态图像的生成可参见上述图1或者图2的记载，详细不再赘述。

S305、将所述目标脸的化妆区域动态图像合成到实时捕获的所述目标脸图像的视频流中，以动态显示化妆过程的实时效果。

本实施例中，通过GPUImage将所述目标脸的化妆区域动态图像合成到实时捕获的所述目标脸图像的视频流中。

具体地，以在智能终端上应用为例，通过智能终端上的摄像头采集人脸图像，通过GPUimage合成的处理过程包括：通过GPU Image video camera对摄像头采集的视频流进行处理得到图像帧；通过dissolve blend filter进行合成，显示合成后的图像。

需要说明的是，如果使用处GPUimage外的图像处理库，则进行相应的调整。

上述图2或者图3实施例的基础上，还可以增加：根据目标脸的五官特征获取推荐的美妆方案，比如从专业化妆师按场景进行设计的妆容数据中产出，针对具体主题的色彩、区域、手法技巧等，该步骤可以在确定标准脸的妆面图之前。

图4为本发明实施例四化妆区域动态图像生成装置结构示意图；如图4所示，其包括：

妆面图处理单元401，用于从预先生成的针对标准脸的妆面图中提取与目标脸图像上相同化妆区域纹理数据，得到目标脸的妆面图；

图像处理单元402，用于获得从目标脸图像到所述标准脸图像的变换矩阵，根据所述变换矩阵将所述目标脸的妆面图画到预先生成的目标脸画布上，生成针对所述目标脸的化妆区域动态图像。

本实施例中，妆面图处理单元401、图像处理单元402进一步或者具体的技术处理过程可参见上述实施例，详细不再赘述。

图5为本发明实施例五美妆辅助装置结构示意图；如图5所示，其包括：

妆面图确定单元501，用于根据在标准脸图像上确定出的化妆区域，确定针对标准脸的妆面图；

图像生成单元502，用于根据任一项上述实施例所述的方法生成针对所述目标脸的化妆区域动态图像；

图像合成单元503，用于将所述目标脸的化妆区域动态图像合成到实时捕获的所述目标脸图像的视频流中，以动态显示化妆过程的实时效果。

本实施例中，妆面图确定单元501、图像生成单元502、图像合成单元503进一步或者具体的技术处理过程可参见上述实施例，详细不再赘述。

本领域的技术人员应明白，本发明实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明实施例权利要求及其等同技术的范围之内，则本发明实施例也意图包含这些改动和变型在内。