一种三维京剧脸谱自动化妆方法与流程

本发明涉及计算机视觉技术领域和图像处理技术领域，尤其涉及一种三维京剧脸谱自动化妆方法。

背景技术：

摄像头已经被广泛的运用于视频会议、视频监控等日常生活中。普通的人也可以非常简单地通过摄像头在互联网上进行视频聊天，使得沟通更为高效和有趣。

vahidkazemi和josephinesullivan在2014年的cvpr上发表了题为《onemillisecondfacealignmentwithanensembleofregressiontrees》的文章。这篇文章公开了一种人脸特征点定位的方法。通过基于回归树的方法，实现了对人脸特征点的自动标定，并且速度极快，处理一张图只需1ms的时间。特征点包括了眉毛、眼睛、鼻子、嘴巴以及下巴轮廓等68个点。

minsiklee和chong-hochoi在2014年的cviu上发布了文章《real-timefacialshaperecoveryfromasingleimageundergeneral，unknownlightingbyrankrelaxation》。文章中公开了一种重建人脸三维模型的方法。文中利用张量相乘，svd分解，秩松弛等方法，实现了一般场景，未知光照条件下的人脸深度图重建，并且算法能够达到实时性要求。

上述技术仅仅是标出人脸的68个特征点的坐标，以及重建了人脸的三维模型，但是没有对这些信息进行再一步的处理。

技术实现要素：

本发明为实现三维京剧脸谱的自动化妆，提出一种三维京剧脸谱自动化妆方法，自动计算出人脸特征点的坐标和人脸三维模型，然后运用计算机视觉和图像处理相关的技术，将事先手工标定好特征点的京剧脸谱描绘到目标人脸的三维模型上。

本发明的技术方案是这样实现的：

一种三维京剧脸谱自动化妆方法，包括步骤

s1：从输入源获取图像输入，进行人脸检测和人脸特征点定位，如果输入图像中存在人脸，则将特征点标注在图像上；

s2：对所述特征点进行人脸归一化处理；

s3：计算归一化后的人脸图像的深度信息，并根据所述深度信息重建三维点云；

s4：根据所述特征点信息对人脸图像进行三角分块操作；

s5：在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行和所述人脸图像相同的三角分块操作；

s6：将所述京剧脸谱上的每个三角块进行仿射变化，着色到人脸图像上；

s7：根据人脸图像和三维点云的坐标对应关系，使用京剧脸谱将所述三维点云进行重新着色，并展现给用户。

进一步地，步骤s1中所述人脸特征点包括人脸轮廓边缘和五官位置。

进一步地，步骤s2中所述归一化处理包括步骤：以两个眼球以及鼻尖的坐标为基准，进行仿射变换。

进一步地，步骤s3中计算归一化后的人脸图像的深度信息的方法包括步骤：归一化后的人脸图像与事先训练好的张量进行相乘，进行svd分解操作，输出图像中每个像素点的深度信息。

进一步地，步骤s4中所述三角分块操作包括步骤：采用delaunay三角剖分算法，将人脸分为互不重叠的112个三角形。

进一步地，步骤s6中人脸图像着色包括步骤：

s61：根据脸谱中三角形顶点的坐标、以及真实人脸图像中特征点的位置计算出合适的仿射变换矩阵；

s62：将仿射变换矩阵应用于脸谱图像，计算出人脸中每个点对应的rgb颜色值，rgb值为脸谱图像中的颜色值；

s63：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。

更进一步地，步骤s7中所述将所述三维点云进行重新着色包括步骤：

s71：计算归一化变换所使用的仿射变换矩阵的逆变换矩阵；

s72：将逆变换矩阵用于点云中每个点的坐标上，获取每个点对应人脸图像的坐标，从而得到对应的rgb颜色值；

s73：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。

本发明的有益效果在于，现有的方法都只是针对二维的平面图像，而本方法所输出的结果为化妆后的三维点云模型，具有展现效果好，更加贴近现实等优势；本方法采用的人脸特征点定位、人脸三维重建和自动贴图技术，降低了常规进行此操作时繁琐的步骤，并其方法的速度快，实时性好，能够将其运用到摄像头实时视频处理中，设备硬件要求简单，易普及，易使用等特点，方便了京剧脸谱的化妆。

附图说明

图1是本发明一种三维京剧脸谱自动化妆方法流程图；

图2是本发明中对图片进行人脸识别并标注了特征点的人脸图像示意图；

图3是本发明中人脸归一化操作后的人脸图片示意图；

图4是本发明中三维点云模型图片；

图5是京剧脸谱进行三角分块后的图片示意图；

图6是本发明中用京剧脸谱上的颜色块对分块后的人脸进行着色示意图；

图7是对图4的三维点云图片进行着色后的图片。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明一种三维京剧脸谱自动化妆方法，包括步骤

s1：从输入源获取图像输入，进行人脸检测和人脸特征点定位，如果输入图像中存在人脸，则将特征点标注在图像上，标注了特征点的人脸图像如图2所示；

s2：对所述特征点进行人脸归一化处理，人脸归一化操作后的人脸图片如图3所示；

s3：计算归一化后的人脸图像的深度信息，并根据所述深度信息重建三维点云，三维点云模型图片如图4所示；

s4：根据所述特征点信息对人脸图像进行三角分块操作；

s5：在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行和所述人脸图像相同的三角分块操作，京剧脸谱进行三角分块后的图片如图5所示；

s6：将所述京剧脸谱上的每个三角块进行仿射变化，着色到人脸图像上，用京剧脸谱上的颜色块对分块后的人脸进行着色后的图片如图6所示；

s7：根据人脸图像和三维点云的坐标对应关系，使用京剧脸谱将所述三维点云进行重新着色，并展现给用户，对三维点云图片进行着色后的图片如图7所示。

其中，步骤s1中所述人脸特征点包括人脸轮廓边缘和五官位置，所述五官为两个眼球、鼻尖、两个嘴角。

步骤s2中所述归一化处理包括步骤：以两个眼球以及鼻尖的坐标为基准，进行仿射变换，变换后的人脸大小为120*100像素。

步骤s3中计算归一化后的人脸图像的深度信息的方法包括步骤：归一化后的人脸图像与事先训练好的张量进行相乘，进行svd分解操作，输出图像中每个像素点的深度信息，可参考minsiklee,和chong-hochoi在2014年发表在cviu上的文章《real-timefacialshaperecoveryfromasingleimageundergeneral,unknownlightingbyrankrelaxation》。

步骤s4中所述三角分块操作包括步骤：采用delaunay三角剖分算法，将人脸分为互不重叠的112个三角形。

步骤s6中人脸图像着色包括步骤：

s61：根据脸谱中三角形顶点的坐标、以及真实人脸图像中特征点的位置计算出合适的仿射变换矩阵；

s62：将仿射变换矩阵应用于脸谱图像，计算出人脸中每个点对应的rgb颜色值，rgb值为脸谱图像中的颜色值；

s63：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。

更进一步地，步骤s7中所述将所述三维点云进行重新着色包括步骤：

s71：计算归一化变换所使用的仿射变换矩阵的逆变换矩阵；

s72：将逆变换矩阵用于点云中每个点的坐标上，获取每个点对应人脸图像的坐标，从而得到对应的rgb颜色值；

s73：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。