一种基于仿射变换的人脸贴图方法和系统的制作方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，特别是一种基于仿射变换的人脸贴图方法及其应 用该方法的系统。
【背景技术】
[0002] 近期，人脸识别技术的成熟使得一些装扮类APP得到了快速的发展。APP可以利用 人脸识别和人脸检测技术为图片做特殊的人脸处理，例如自动化妆和自动加装饰。由于这 类APP大多是使用设计师设计的内置素材，通过一定的转化将妆容叠加到人脸对应的位置 上，从而达到化妆和装饰的效果，因此，精确匹配人脸各个部位理所当然成为这类APP的技 术难点。
[0003] 要实现素材与人脸部位的精确匹配，除了需要精确的人脸关键点识别外，还需要 一种自适应的素材纹理变形方案。目前市面上的APP大多是通过人脸识别定位人脸关键点 位置，然后将通过某些拉伸/旋转/平移将一些妆容素材贴到目标图的目标位置。这种方 法的的缺陷在于图像只能做单一的变换，而实际人脸眉毛形状多种多样，这样的变换比较 难以适应各种眉毛，而且简单的拉伸/旋转/平移等操作容易产生效果失真。
【发明内容】
[0004] 本发明为解决上述问题，提供了一种基于仿射变换的人脸贴图方法和系统，解决 了自动装饰的鲁棒性问题，实现自适应各种不同形状的人脸部位。
[0005] 为实现上述目的，本发明采用的技术方案为：
[0006] 一种基于仿射变换的人脸贴图方法，其特征在于，包括以下步骤：
[0007] 10.获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；
[0008] 20.利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准 纹理坐标；
[0009] 30.获取待处理人脸图，并对待处理人脸图进行特征点定位；
[0010] 40.根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标 与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；
[0011] 50.利用将所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位 置，得到效果人脸图。
[0012] 优选的，所述的步骤10和步骤30中，对标准人脸图或待处理人脸图进行特征点定 位，该特征点主要是指人脸的关键位置的离散的特征点，所述的步骤20中对标准人脸图的 特征点进行曲线拟合，主要是利用拉格朗日插值法将各个离散的特征点根据所属人脸部位 进行曲线拟合，得到该部位的轮廓形状。
[0013] 优选的，所述的步骤20中，通过曲线拟合得到标准纹理坐标，主要是对人脸部位 的轮廓特征点进行补充，得到标准纹理坐标。
[0014] 优选的，所述的人脸部位主要是指人脸轮廓、眉毛、眼睛、鼻子、嘴唇，所述的特征 点定位，主要是指人脸轮廓的高度位置、宽度位置、倾斜位置；眉毛最内侧位置、最外侧位 置、中部最上方位置、中部最下方位置；眼睛的内侧眼角位置、外侧眼角位置、中部最上方位 置、中部最下方位置、眼珠中心位置；鼻子的鼻尖最高点位置、鼻尖最低点位置、鼻翼最左侧 位置、鼻翼最右侧位置；嘴唇的左侧嘴角位置、右侧嘴角位置、上嘴唇中部最上方位置、上嘴 唇中部最下方位置、下嘴唇中部最上方位置、下嘴唇中部最下方位置。
[0015] 优选的，所述的步骤40中，利用仿射变换将所述的标准纹理坐标与所述的待处理 人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，进一步包括以下步骤：
[0016] 41.预设人脸标准图中提取的特征点至少包括a，b，c三个点及对应的插值点d，待 处理人脸图中对应部位的特征点至少包括a'，b'，c'三个点；
[0017] 42.通过所述的三角形Aabc和Aa'b'c'计算出仿射变换矩阵M;
[0018] 43.将所述的人类标准图中的插值点d乘以所述的仿射变换矩阵M，得到待处理人 脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实际轮廓形状；
[0019] 44.将所述的标准纹理坐标根据所述的实际轮廓形状进行自适应匹配，得到变换 纹理坐标。
[0020] 优选的，所述的步骤50中，利用所述的变换纹理坐标将贴图素材绘制在待处理人 脸图的对应特征点位置，主要是通过OpenGL绘制待处理人脸图的对应部位的三角形，从而 利用所述的变换纹理坐标将贴图素材绘制到该部位对应位置，得到效果人脸图。
[0021] 另外，本发明还提供了一种基于仿射变换的人脸贴图系统，其特征在于，其包括：
[0022] 标准人脸特征定位模块，用于获取标准人脸图，并对标准人脸图进行特征点定位 和特征点提取；
[0023] 标准纹理坐标生成模块，其利用拉格朗日插值法对提取的标准人脸图的特征点进 行曲线拟合，得到标准纹理坐标；
[0024] 待处理人脸特征定位模块，用于获取待处理人脸图，并对待处理人脸图进行特征 点定位；
[0025] 变换纹理坐标生成模块，其根据所述待处理人脸图的实际特征点，利用仿射变换 将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹 理坐标；
[0026] 效果合成模块，其利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对 应特征点位置，得到效果人脸图。
[0027] 优选的，所述的变换纹理坐标生成模块进一步包括：
[0028] 特征点提取单元，用于提取人脸标准图和待处理人脸图的对应部位的特征点，其 中，人脸标准图中提取的特征点至少包括a，b，c三个点及对应的插值点d，待处理人脸图中 对应部位的特征点至少包括a'，b'，c'三个点；
[0029] 仿射变换矩阵计算单元，其通过所述的三角形Aabc和Aa'b'c'计算出仿射变换 矩阵M;
[0030] 实际轮廓形状计算单元，其将所述的人类标准图中的插值点d乘以所述的仿射变 换矩阵M，得到待处理人脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实 际轮廓形状；
[0031]纹理坐标匹配单元，其将所述的标准纹理坐标根据所述的实际轮廓形状进行自适 应匹配，得到变换纹理坐标。
[0032] 本发明的有益效果是：
[0033] 本发明的一种基于仿射变换的人脸贴图方法和系统，其通过对标准人脸图进行特 征点定位和特征点提取，并利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟 合，得到标准纹理坐标，然后对待处理人脸图进行特征点定位，并根据所述待处理人脸图的 实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进 行自适应匹配，得到变换纹理坐标，最后利用所述的变换纹理坐标将贴图素材绘制在待处 理人脸图的对应特征点位置，得到效果人脸图；从而能够自适应各种形状的人脸部位，使得 处理后的效果人脸图更自然，解决了自动装饰的鲁棒性问题。
【附图说明】
[0034] 此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0035] 图1为本发明一种基于仿射变换的人脸贴图方法的流程简图；
[0036]图2为本发明一种基于仿射变换的人脸贴图系统的结构示意图；
[0037]图3为本发明一具体实施例的标准人脸图的眉毛轮廓示意图；
[0038] 图4为本发明一具体实施例的待处理人脸图的眉毛轮廓示意图。
【具体实施方式】
[0039] 为了使本发明所要解决的技术问题、技术