单张人脸正面照片自动转换为三维人脸模型的方法
【专利摘要】本发明涉及一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于包含以下步骤：a.用户输入一张正面人物图片；b.提取特征点并进行分区；c.建立标准人脸三维模型；d.对标准人脸模型顶点进行分组，分离出五官点群；所述五官点群可以选择由眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群构成。e.标准三维人脸模型顶点位置调整模块对标准三维人脸模型进行整体缩放；f.标准三维人脸模型顶点位置调整模块调整；g.最后完成整个标准人脸三维模型的重构。本发明提供的方法可以通过一张人脸正面照片自动转换为3D人脸，以符合人脸生物学特征的方式来最大程度的还原真实人脸，且便于后续动画处理。
【专利说明】单张人脸正面照片自动转换为三维人脸模型的方法
[【技术领域】]
[0001]本发明属于三维人脸合成方法，具体的说是通过单张人脸正面照片自动转换为三维人脸模型的方法。
[【背景技术】]
[0002]目前，通过单幅正面人脸照片转换为3D人脸的技术，普遍流程为对照片进行特征提取、标准模型变形、皮肤纹理映射。此技术虽然可以在一定程度上重构3D人脸，一方面不能最大程度的还原真实人脸，另一方面，由于对人脸特征只是单纯的模仿而应用到3D人脸上，具有很大的局限性，特别是不利于后期的脸部动画及更高层次的技术应用。
[0003]总结现有三维人脸合成技术，主要方法如下:
[0004](I)利用三角样条曲面进行面部建模和研究；
[0005](2)从正面和侧面两幅图像出发合成了三维人脸模型并制作了简单的面部表情动画；
[0006](3)基于激光扫描的三维数据获取方法；
[0007]方法⑴和⑵实现原理复杂，目前只限于理论方面的研究，实际应用很少涉及。方法(3)虽建模精确，但成本高不易普遍应用。
[
【发明内容】
]
[0008]本发明为了能够最大程度的根据一张正面人脸照片还原真实人脸3D模型及兼顾后期脸部动画及进一步的应用，提供了一种通过单张人脸正面照片中人物面部特征自动转换为三维人脸模型的一套新型技术方案。
[0009]本发明通过以下技术方案实现:该方法应用于由图片人脸特征点自动提取模块、标准三维人脸模型建立模块、标准三维人脸模型顶点位置调整模块、三维人脸模型顶点贴图UV坐标计算模块组成的系统中；根据图片人脸特征点自动提取模块在照片中提取特人物脸部征点再结合标准三维人脸模型建立模块所建立的标准模型到标准三维人脸模型顶点位置调整模块中调整顶点位置然后在三维人脸模型顶点贴图UV坐标计算模块中自动生成顶点UV坐标；该方法包含以下步骤:
[0010]a.用户输入一张正面人物图片；输入后，可以采用人脸照片处理模块对图片进一步灰度图处理，获得并输出人脸深度信息。
[0011]b.图片人脸特征点自动提取模块解析正面人物图片，提取出个人脸特征点XY坐标；图片人脸特征点自动提取模块分别从眉毛、眼睛、鼻子、嘴以及脸部轮廓区域，提取出56个人脸特征点XY坐标，以图片左上角为原点，向右方向X从O增大至1，向下方向Y从O增大至I。
[0012]c.标准三维人脸模型建立模块加载人脸模型数据文件，建立标准人脸三维模型；标准三维人脸模型建立模块加载的人脸模型数据文件包含113个顶点，标准人脸三维模型的中心点设为鼻尖所在的顶点。[0013]d.标准人脸布线数据化模块对标准人脸三维模型进行布线数据化，获得读取的点线面，标准三维人脸模型建立模块对标准人脸模型顶点进行分组，分离出五官点群；所述五官点群可以选择由眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群构成。
[0014]e.标准三维人脸模型顶点位置调整模块对标准三维人脸模型进行整体缩放，使额头最上顶点与下巴最下顶点的距离为步骤b中计算出来的H值，H值设为额头最上顶点和下巴最下顶点在Y方向的距离；
[0015]f.标准三维人脸模型顶点位置调整模块调整步骤d区分出的组成眼睛、鼻子、嘴及脸部轮廓的顶点群的XY坐标，使它们的形状与步骤b对应的人脸特征点组成的眼睛、鼻子、嘴及脸部轮廓的形状一致；
[0016]g.最后根据图片提取特征点完成整个标准人脸三维模型的重构:三维人脸模型顶点贴图UV坐标计算模块计算出标准三维人脸模块所有顶点的UV坐标，根据UV坐标直接利用正面人物图片完成贴图。UV坐标计算公式为:U=(x+W/2)/W;V=(y+H/2)/H。参数定义:所有的图象文件都是二维的一个平面。水平方向是U，垂直方向是V，通过这个平面的，二维的UV坐标系。〃UV〃这里是指U，ν纹理贴图坐标的简称(它和空间模型的X，Y, Z轴是类似的).它定义了图片上每个点的位置的信息.这些点与3D模型是相互联系的，以决定表面纹理贴图的位置.UV就是将图像上每一个点精确对应到模型物体的表面.在点与点之间的间隙位置由软件进行图像光滑插值处理.W是贴图的宽度，H是贴图的高度，X是模型顶点X轴坐标，Y是模型顶点ι轴坐标。
[0017]最后还可以增加一步步骤h，纹理映射模块将重构后的标准人脸三维模型进一步根据图片提取的人脸深度信息对模型进行纹理映射。
[0018]本发明提供的方法可以通过一张人脸正面照片自动转换为3D人脸，以符合人脸生物学特征的方式来最大程度的还原真实人脸，且便于后续动画处理。
[【专利附图】
【附图说明】]
[0019]图1为标准人脸模型示意图；
[0020]图2为模块流程图。
[【具体实施方式】]
[0021]实施例为若干模块统一来完成的一套完整的方案，可应用于由图片人脸特征点自动提取模块、标准三维人脸模型建立模块、标准三维人脸模型顶点位置调整模块、三维人脸模型顶点贴图UV坐标计算模块组成的系统中；具体步骤参照图2:
[0022]步骤a:用户输入一张正面人物图片，图片格式不限。由人脸照片处理模块对图片进行灰度图处理，获得并输出人脸深度信息。
[0023]步骤b:图片人脸特征点自动提取模块根据图片格式选择对应的FaceSDK库。
[0024]步骤c:图片人脸特征点自动提取模块对应的FaceSDK库，利用FaceSDK库解析正面人物图片，并提取出56个人脸特征点XY坐标，图片左上角为原点，向右方向X从O增大至1，向下方向Y从O增大至1，设H为额头最上顶点和下巴最下顶点在Y方向的距离。
[0025]步骤d:标准三维人脸模型建立模块加载obj文件格式的candide-3人脸模型数据文件(包含113个顶点)建立标准人脸三维模型，标准人脸三维模型的中心点调整为鼻尖所在的顶点。candide-3人脸标准模型如图1所示。
[0026]步骤e:标准三维人脸模型建立模块对candide-3人脸模型顶点进行分组，区分出组成眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群。具体分组方式参照图1。
[0027]步骤f:标准三维人脸模型顶点位置调整模块对标准三维人脸模型进行整体缩放，使额头最上顶点与下巴最下顶点的距离为步骤3中计算出来的H。
[0028]步骤g:标准三维人脸模型顶点位置调整模块调整步骤5区分出的组成眼睛、鼻子、嘴及脸部轮廓的顶点群的XY坐标，使它们的形状与步骤3对应的人脸特征点组成的眼睛、鼻子、嘴及脸部轮廓的形状一致。
[0029]步骤h:三维人脸模型顶点贴图UV坐标计算模块计算出标准三维人脸模块所有顶点的UV坐标，根据UV坐标直接利用照片完成完成贴图。UV坐标计算公式如下:U=(x+W/2)/WV= (y+H/2) /H。参数定义:二维的UV坐标系中，水平方向是U，垂直方向是V，W是贴图的宽度，H是贴图的高度，X是模型顶点X轴坐标，Y是模型顶点y轴坐标。
[0030]步骤i，纹理映射模块将重构后的标准人脸三维模型进一步根据图片提取的人脸深度信息对模型进行纹理映射。
【权利要求】
1.一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于所述方法包括由图片人脸特征点自动提取模块、标准三维人脸模型建立模块、标准三维人脸模型顶点位置调整模块、三维人脸模型顶点贴图UV坐标计算模块组成的系统，根据图片人脸特征点自动提取模块在照片中提取特人物脸部征点再结合标准三维人脸模型建立模块所建立的标准模型到标准三维人脸模型顶点位置调整模块中调整顶点位置然后在三维人脸模型顶点贴图UV坐标计算模块中自动生成顶点UV坐标；所述方法包括以下步骤: a.用户输入一张正面人物图片； b.图片人脸特征点自动提取模块解析正面人物图片，提取出个人脸特征点XY坐标； c.标准三维人脸模型建立模块加载人脸模型数据文件，建立标准人脸三维模型； d.标准人脸布线数据化模块对标准人脸三维模型进行布线数据化，获得读取的点线面，标准三维人脸模型建立模块对标准人脸模型顶点进行分组，分离出五官点群； e.标准三维人脸模型顶点位置调整模块对标准三维人脸模型进行整体缩放，使额头最上顶点与下巴最下顶点的距离为步骤b中计算出来的H值，H值设为额头最上顶点和下巴最下顶点在Y方向的距 离； f.标准三维人脸模型顶点位置调整模块调整步骤d区分出的组成眼睛、鼻子、嘴及脸部轮廓的顶点群的XY坐标，使它们的形状与步骤b对应的人脸特征点组成的眼睛、鼻子、嘴及脸部轮廓的形状一致； g.最后根据图片提取特征点完成整个标准人脸三维模型的重构:三维人脸模型顶点贴图UV坐标计算模块计算出标准三维人脸模块所有顶点的UV坐标，根据UV坐标直接利用正面人物图片完成贴图。
2.如权利要求1所述的一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于所述五官点群由眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群构成。
3.如权利要求1所述的一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于图片人脸特征点自动提取模块分别从眉毛、眼睛、鼻子、嘴以及脸部轮廓区域，提取出56个人脸特征点XY坐标，以图片左上角为原点，向右方向X从O增大至1，向下方向Y从O增大至I。
4.如权利要求1所述的一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于标准三维人脸模型建立模块加载的人脸模型数据文件包含113个顶点，标准人脸三维模型的中心点设为鼻尖所在的顶点。
5.如权利要求1所述的一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于UV坐标计算公式如下:U=(x+W/2)/W ;V=(y+H/2)/H，参数定义:二维的UV坐标系中，水平方向是U，垂直方向是V，W是贴图的宽度，H是贴图的高度，X是模型顶点X轴坐标，Y是模型顶点I轴坐标。
6.如权利要求1所述的一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于所述图片人脸特征点自动提取模块根据图片格式选择对应的FaceSDK库，通过FaceSDK库进行解析。
7.如权利要求1所述的一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于输入正面人物图片后，由人脸照片处理模块对图片进行灰度图处理，获得并输出人脸深度信息。
8.如权利要求7所述的一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于所述方法还包括步骤h，纹理映射模块将重构后的标准人脸三维模型进一步根据图片提取的人脸深度信息对模型进行`纹理映射。
【文档编号】G06T17/00GK103606190SQ201310656820
【公开日】2014年2月26日 申请日期:2013年12月6日 优先权日:2013年12月6日
【发明者】徐小明, 徐宇, 夏敏 申请人:上海明穆电子科技有限公司