专利名称：一种基于单幅人脸图像实现三维人脸重建的方法及其装置的制作方法
技术领域：
本发明涉及数字图像处理、机器视觉及人工智能等技术领域，特别是涉及一种基 于单幅人脸图像实现三维人脸重建的方法及其装置。
背景技术：
目前的基于图像的人脸建模的方法主要分成两种一种是基于多张图片或正交图 片的形状的重建方法，另一种就是基于单幅图像的三维人脸建模的方法。传统的基于多张相片的形状重建方法一般采用硬件(如三维扫描仪等专用设备) 来进行获取人脸的三维信息，虽然理论基础比较成熟，但是其实现成本及实施方法都比较 困难；而采用正交图片进行重建的方法，由于正面图像与侧面图像正交，可以从图像中取出 相应特征点的三维坐标，然后进行三维人脸模型拟合，再加上纹理就可以重建一个三维人 脸模型，但这种方法一般需要手工交互来确定人脸特征点的位置，而且其两个图像一定是 要正交才行，这在实际操作中，同样也是比较困难的。基于单幅图像的三维人脸建模方法，简化了人工操作并实现建模的自动化。如果 没有其它条件下，只凭单张图像来进行三维重建是不可能的。Blanz等人提出三维变形模型 克服了这个问题，采用三维人脸库作为先验知识对人脸模型进行约束条件，成功地实现基 于单张图像的三维人脸自动建模。但是，该方法用了 200个扫描获得的三维人脸模型，通过 线性组合，结合旋转角度、光照等22个参数，经过迭代优化算法，才能获得目标模型，其所 花费的时间太长。而且，这些从单张图像进行三维人脸建模的方法并没有考虑如何从一张图像上进 行获取人脸的角度及特征点的深度，只是利用二维图像的特征点坐标，从而影响了三维建 模的精度。
发明内容
本发明的目的在于克服现有技术之不足，提供一种基于单幅人脸图像实现三维人 脸重建的方法及其装置，是根据人脸姿态的四个特征点来实现姿态角度估计，以已有的大 量人脸特征点距离及纹理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸 图像的特征点深度值，并进而构造出真实三维模型，从而达到了有效提高三维建模精度，缩 短三维建模时间和降低三维建模成本的目的。本发明解决其技术问题所采用的技术方案是一种基于单幅人脸图像实现三维人 脸重建的方法，包括输入单幅人脸图像的步骤；进行姿态估计处理的步骤；该步骤是以人脸姿态中两个内眼角与两个鼻翼点的坐 标为四个特征点来实现姿态角度估计；采用双灭点估计出人脸在X、Y、Z轴上的旋转角度；进行特征点深度估计处理的步骤；该步骤是根据已有的大量人脸特征点距离及纹 理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知的二维坐标与其深度估计值组合得到估计三维坐标值；进行三维建模处理的步骤；该步骤是将得到的三维人脸Χ、γ、ζ轴上的旋转角度与 人脸特征点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行 变形；进行纹理映射处理的步骤；该步骤是将单幅正向人脸图像进行投影到三维模型 上；对于正面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；构造真实三维模型的步骤。所述的进行姿态估计处理的步骤，包括面部姿态特征点抽取的步骤；该步骤是将输入的正向人脸图像采用主动形状模型 (ASM)来定位人脸特征；所定位的人脸特征包括人脸姿态中的两个内眼角与两个鼻翼点的 坐标共四个特征点；计算四边形双灭点的步骤；该步骤是根据四个人脸特征点来计算其双灭点；计算X、Y、Z轴的旋转角度的步骤。所述的进行特征点深度估计处理的步骤，包括面部图像特征点抽取的步骤；该步骤是采用主动形状模型(ASM)来定位人脸特 征；光照纹理信息抽取的步骤；训练神经网络的步骤；估算各特征点深度(Z)并获取各点三维坐标的步骤。所述的进行三维建模处理的步骤，包括创建中性人脸模型的步骤；中性人脸姿态调整的步骤；人脸变形算法的步骤；生成人脸特定模型的步骤。所述的进行纹理映射处理的步骤，包括纹理映射的步骤；该步骤是将得到的人脸模型与正向人脸图像进行粘贴处理；双线性插值处理的步骤；构造出三维模型的步骤。一种基于单幅人脸图像实现三维人脸重建的装置，包括一输入装置，用来输入人脸图像；一姿态估计处理装置，用来以人脸姿态中两个内眼角与两个鼻翼点的坐标为四个 特征点来实现姿态角度估计，并采用双灭点估计出人脸在X、Y、Z轴上的旋转角度；一特征点深度估计处理装置，用来根据已有的大量人脸特征点距离及纹理信息训 练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知 的二维坐标与其深度估计值组合得到估计三维坐标值；一三维建模处理装置，用来将得到的三维人脸X、Y、Z轴上的旋转角度与人脸特征 点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行变形；一纹理映射处理装置，用来将单幅正向人脸图像进行投影到三维模型上，对于正 面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；
一构造真实三维模型装置，用来构造出真实三维模型；输入装置的输出接至姿态估计处理装置的输入；姿态估计处理装置的输出接至特 征点深度估计处理装置的输入；特征点深度估计处理装置的输出接至三维建模处理装置的 输入；三维建模处理装置的输出接至纹理映射装置的输入；纹理映射装置的输出接至构造 真实三维模型装置。本发明的有益效果是，由于采用了人脸结构先验知识对人脸图像进行姿态识别， 结合人脸面貌测量与射影几何，估计出人脸平面的旋转方向及角度，从而设置三维人脸的 旋转角度；采用人工神经网络对人脸图像上的二维特征点的深度进行估计，取得各特征点 的三维坐标；采用Dirichlet自由变形算法实现对通用三维人脸模型向特定模型转变；采 用二维图像提取的特征点进行对三维人脸模型映射；从而实现了由单幅人脸图像来构造出 真实三维模型，有效地提高了三维建模精度，缩短了三维建模时间和降低了三维建模成本。以下结合附图及实施例对本发明作进一步详细说明；但本发明的一种基于单幅人 脸图像实现三维人脸重建的方法及其装置不局限于实施例。
图1是本发明方法的主流程图；图2是本发明方法的姿态估计处理的流程图；图3是本发明方法的特征点深度估计处理的流程图；图4是本发明方法的三维建模处理的流程图；图5是本发明方法的纹理映射处理的流程图；图6是本发明方法的人脸姿态特征点的示意图；图7是本发明方法的空间坐标系与人脸姿态特征点的示意图；图8是本发明方法的像平面中眼角点直线的斜率的示意图；图9是本发明装置的结构框图。
具体实施例方式参见图1所示，本发明的一种基于单幅人脸图像实现三维人脸重建的方法，包括输入单幅人脸图像的步骤；如图1中的框101所示；进行姿态估计处理的步骤；该步骤是以人脸姿态中两个内眼角与两个鼻翼点的坐 标为四个特征点来实现姿态角度估计；采用双灭点估计出人脸在X、Y、Z轴上的旋转角度； 如图1中的框102所示；进行特征点深度估计处理的步骤；该步骤是根据已有的大量人脸特征点距离及纹 理信息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值， 并将已知的二维坐标与其深度估计值组合得到估计三维坐标值；如图1中的框103所示；进行三维建模处理的步骤；该步骤是将得到的三维人脸X、Y、Z轴上的旋转角度与 人脸特征点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行 变形；如图1中的框104所示；进行纹理映射处理的步骤；该步骤是将单幅正向人脸图像进行投影到三维模型 上；对于正面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计；双线性插值是通过对纹理中的相邻像素进行处理来平滑掉屏幕输出像素间的锯齿的，使用双线性插 值会使屏幕输出的图像显得更平滑；如图1中的框105所示；构造真实三维模型的步骤；如 图1中的框106所示。如图2所示，本发明的方法中，其中，所述的进行姿态估计处理的步骤，包括面部姿态特征点抽取的步骤；该步骤是将输入的正向人脸图像采用主动形状模型 (ASM)来定位人脸特征；所定位的人脸特征包括人脸姿态中的两个内眼角与两个鼻翼点的 坐标共四个特征点；如图2中的框201所示；计算四边形双灭点的步骤；该步骤是根据四个人脸特征点来计算其双灭点；如图 2中的框202所示；计算X、Y、Z轴的旋转角度的步骤；如图2中的框203所示。步骤201中，将系统输入的正向人脸图像采用主动形状模型(ASM)来定位人脸特 征，必要时可进行人工手动调整。所定位的人脸特征共有四个点，两个内眼角与两个鼻翼点的坐标，如图6所示，这 四个点不易受到人脸表情变化(如笑、哭等)的干扰与化装(如眼镜等)的干扰，具有很强 的抗干扰性和稳定性。在空间中，两个内眼角的连线与两个鼻翼点的连线平行，内眼角与鼻 翼点的左右两条连线也相互平行，这四个点所组成的四边形具有长方形的特性。四点在空间坐标系的关系图如图7所示。在空间坐标系O-X^中，0为原点，E1、E2 为空间中人脸两个内眼角点，N1、N2为空间中人脸两个鼻翼点。F为照相机成像平面。el、 e2为人脸两个内眼角点在像平面上的投影，n3、n2为人脸两个鼻翼点在像平面上的投影。由于Ε1、Ε2、Ν1、Ν2的连线具有长方形的特性，所以Ε1、Ε2的连线与Ν1、Ν2的连线 互相并行，并不会产生灭点，EUl的连线与E2、N2的连线也同样不会产生灭点。如果F平 面与空间E1、E2、N1、N2并非平行，则el、e2连线与n2、n3连线将产生灭点Ml，el、η3连线 与e2、n2连线也将产生灭点M2。步骤202中，在步骤201中得到四个人脸特征点，开始计算其灭点M1、M2。设这两条直线为y = ax+b, y = cx+d有 ax+b = cx+d(a-c) χ = d-bχ = (d-b) / (a-c)再把 χ 代入 y = ax+b, y = cx+d 得
y = a* (d一b) / (a~c) +b y = c* (d一b) / (a~c) +d所以交点坐标为[(d-b)/(a-c),a* (d-b)/(a-c)+b]或[(d_b) / (a_c)，c*(d_b)/ (a-c)+d]ο步骤203中，根据两个灭点坐标，来估计空间人脸的三维旋转姿态。设向量E = {il，jl，kl}代表El、E2连线的方向向量，由于Ni、N2连线与El、E2 平行，N1、N2的方向向量也为E，Ml的三维坐标为{xl，yl，zl}。利用射影几何知识可求得Ml三维坐标为
权利要求
1.一种基于单幅人脸图像实现三维人脸重建的方法，其特征在于包括 输入单幅人脸图像的步骤；进行姿态估计处理的步骤；该步骤是以人脸姿态中两个内眼角与两个鼻翼点的坐标为 四个特征点来实现姿态角度估计；采用双灭点估计出人脸在X、Y、Z轴上的旋转角度；进行特征点深度估计处理的步骤；该步骤是根据已有的大量人脸特征点距离及纹理信 息训练出其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将 已知的二维坐标与其深度估计值组合得到估计三维坐标值；进行三维建模处理的步骤；该步骤是将得到的三维人脸X、Y、Z轴上的旋转角度与人 脸特征点的估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行变 形；进行纹理映射处理的步骤；该步骤是将单幅正向人脸图像进行投影到三维模型上；对 于正面信息不够的地方及侧面信息，采用双线性插值方式进行插值估计； 构造真实三维模型的步骤。
2.根据权利要求1所述的基于单幅人脸图像实现三维人脸重建的方法，其特征在于 所述的进行姿态估计处理的步骤，包括面部姿态特征点抽取的步骤；该步骤是将输入的正向人脸图像采用主动形状模型 (ASM)来定位人脸特征；所定位的人脸特征包括人脸姿态中的两个内眼角与两个鼻翼点的 坐标共四个特征点；计算四边形双灭点的步骤；该步骤是根据四个人脸特征点来计算其双灭点； 计算X、Y、Z轴的旋转角度的步骤。
3.根据权利要求1所述的基于单幅人脸图像实现三维人脸重建的方法，其特征在于 所述的进行特征点深度估计处理的步骤，包括面部图像特征点抽取的步骤；该步骤是采 用主动形状模型(ASM)来定位人脸特征；光照纹理信息抽取的步骤； 训练神经网络的步骤；估算各特征点深度(Z)并获取各点三维坐标的步骤。
4.根据权利要求1所述的基于单幅人脸图像实现三维人脸重建的方法，其特征在于 所述的进行三维建模处理的步骤，包括创建中性人脸模型的步骤； 中性人脸姿态调整的步骤； 人脸变形算法的步骤； 生成人脸特定模型的步骤。
5.根据权利要求1所述的基于单幅人脸图像实现三维人脸重建的方法，其特征在于 所述的进行纹理映射处理的步骤，包括纹理映射的步骤；该步骤是将得到的人脸模型与正向人脸图像进行粘贴处理； 双线性插值处理的步骤； 构造出三维模型的步骤。
6.一种基于单幅人脸图像实现三维人脸重建的装置，其特征在于包括 一输入装置，用来输入人脸图像；一姿态估计处理装置，用来以人脸姿态中两个内眼角与两个鼻翼点的坐标为四个特征 点来实现姿态角度估计，并采用双灭点估计出人脸在X、Y、Z轴上的旋转角度；一特征点深度估计处理装置，用来根据已有的大量人脸特征点距离及纹理信息训练出 其神经网络，然后用此神经网络来估计出其现在人脸图像的特征点深度值，并将已知的二 维坐标与其深度估计值组合得到估计三维坐标值；一三维建模处理装置，用来将得到的三维人脸X、Y、Z轴上的旋转角度与人脸特征点的 估计三维坐标值采用Dirichlet自由变形(DFFD)算法对三维人脸模型进行变形；一纹理映射处理装置，用来将单幅正向人脸图像进行投影到三维模型上，对于正面信 息不够的地方及侧面信息，采用双线性插值方式进行插值估计； 一构造真实三维模型装置，用来构造出真实三维模型；输入装置的输出接至姿态估计处理装置的输入；姿态估计处理装置的输出接至特征 点深度估计处理装置的输入；特征点深度估计处理装置的输出接至三维建模处理装置的输 入；三维建模处理装置的输出接至纹理映射装置的输入；纹理映射装置的输出接至构造真 实三维模型。
全文摘要
本发明公开了一种基于单幅人脸图像实现三维人脸重建的方法及其装置，包括利用人脸结构先验知识对人脸图像进行姿态识别，结合人脸面貌测量与射影几何，估计出人脸平面的旋转方向及角度，从而设置三维人脸的旋转角度；采用人工神经网络对人脸图像上的二维特征点的深度进行估计，取得各特征点的三维坐标；采用Dirichlet自由变形算法实现对通用三维人脸模型向特定模型转变；采用二维图像提取的特征点进行对三维人脸模型映射；从而实现了由单幅人脸图像来构造出真实三维模型，有效地提高了三维建模精度，缩短了三维建模时间和降低了三维建模成本。
文档编号G06N3/08GK102054291SQ200910112779
公开日2011年5月11日 申请日期2009年11月4日 优先权日2009年11月4日
发明者刘祥南, 吴鸿伟, 林志扬, 赵庸 申请人:厦门市美亚柏科信息股份有限公司