基于先验模型的正面人脸图像合成方法及系统的制作方法
【专利摘要】本发明涉及一种基于先验模型的正面人脸图像合成方法及系统，所述方法包括：步骤一：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像的特征点；步骤二：求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度；步骤三：从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本库；步骤四：合成正面人脸图像。本发明可以实现在只采用三维人脸库中信息的情况下，估计出输入的测试人脸图像的姿态角并合成对应的正面人脸，且可以保留原来人脸面部上某些细节特征。这对于人脸识别、人脸姿态估计的研究与实际应用的开发都具有重要的理论与实际意义。
【专利说明】基于先验模型的正面人脸图像合成方法及系统
【技术领域】
[0001] 本发明涉及计算机图形学、数字图像处理以及人工智能等领域，具体涉及一种通 过人脸姿态图像合成其正面人脸图像的方法及系统。
【背景技术】
[0002] 正面人脸合成的方法包括三维的方法和二维的方法。三维方法的思路是通过对测 试人脸图像进行三维重建，在得到测试人脸图像的三维数据之后，正面人脸图像自然就可 以得到。该类方法最典型的方法是形变模型（3DMM，3D Morphable Mpdel)方法，实现了由 侧面到正面的人脸图像合成，但3DMM的人脸重建过程效率很低，在主频2GHz的服务器上重 建一幅人脸需要300秒。后来的学者提出了许多基于3DMM改进的法来优化重建过程提高 效率。如有文献扩展了 AAM匹配的改进方法，并将其应用于2D -3D的配准中，提高了重建 效率，但其重建精度较差低；还有文献利用部分脸部特征点实现稀疏的2D - 3D配准，具有 较高的重建效率，但该方法只能应用于正脸图像且重建精度较低。除了三维方法以外，直接 采用二维图像来合成正面人脸也得到了广泛的研究。二维方法主要是通过统计学的原理进 行正面人脸合成，这必定涉及到对测试人脸的姿态估计问题。二维人脸模型由于模型本身 的局限，不能准确估计出图像上缺失的深度信息，而基于三维人脸模型，能够准确的估计出 人脸的姿态信息。有学者采用三维人脸模型对人脸姿态进行估计的，并取得良好的姿态估 计结果。还有学者首先判定测试人脸的姿态角，然后利用对应姿态的人脸训练库进行正脸 合成，但这种合成方法需要大量的各种姿态人脸训练图像。因此，基于先验模型姿态估计和 正面人脸合成方法，是一个新的视角，值得深入的研究和特别的关注。
【发明内容】
[0003] 针对上述现有技术的缺陷，本发明的目的在于提供一种正面人脸合成的方法。其 可以实现在只采用三维人脸库中信息的情况下，估计出输入的测试人脸图像的姿态角并合 成对应的正面人脸，且可以保留原来人脸面部上某些细节特征。这对于人脸识别、人脸姿态 估计的研究与实际应用的开发都具有重要的理论与实际意义。具体技术方案如下：
[0004] 一种基于先验模型的正面人脸图像合成方法，包括：
[0005] 步骤一：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸 图像的特征点；
[0006] 步骤二：求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定 的特征点建立对应关系求得测试人脸图像的姿态角度α，β， Y ;
[0007] 步骤三：从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型 样本库；
[0008] 步骤四：合成正面人脸图像。
[0009] 所述的步骤二可进一步具体包括：用Si = (xn, yn, ζη,......, xim, yim, zim)T表示 归一化好的三维人脸样本库中每张人脸的形状，用形状矩阵S = (Sp S2, . . . Sn)表示所有样 本，则平均三维人脸模型为
【权利要求】
1. 一种基于先验模型的正面人脸图像合成方法，其特征在于，包括： 步骤一：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像 的特征点； 步骤二：求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特 征点建立对应关系求得测试人脸图像的姿态角度α，β，Y ; 步骤三：从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本 库； 步骤四：合成正面人脸图像。
2. 根据权利要求1所述的一种基于先验模型的正面人脸图像合成方法，其特征在于， 所述的步骤二进一步具体包括：用Si = (xn, yn, ζη,......, xim, yim, zim)T表示归一化好的 三维人脸样本库中每张人脸的形状，用形状矩阵S = (Sp S2,... Sn)表示所有样本，则平均 三维人脸模型为^^,
e ，假设将模型在X、y、z轴上分别旋转α，β，γ的角度 后与测试人脸图像姿态相同，那么模型上面相应的特征点经过坐标旋转矩阵R，点坐标由 Ρ (X，y，Ζ)变换到 Pr (X，，y'，ζ'），
(1) 通过三维到二维的投影关系，对三维坐标系进行平移变换以及尺度变换，得到平移变 化矩阵T和三维到二维的尺度变换系数S，确定了 T和S后，将旋转后平均三维人脸模型上 的特征点投影到二维平面上，建立与测试人脸图像标定的特征点的对应关系，选取平均三 维人脸模型上双眼的内外角点，鼻尖点和嘴巴两端这7个特征点，其在平均三维人脸模型 和测试人脸图像中的坐标分别为（ Xi，yi，Zi)、（X' i，y' ^，则有：
(2) 采用最小二乘法进行求解，从而求得测试人脸的姿态角度α，β，Y。
3. 根据权利要求1所述的一种基于先验模型的正面人脸图像合成方法，其特征在于， 所述的步骤三进一步具体包括：根据线性类思想，将待重建人脸表述为：
(3) 其中Si三维原型样本库中的样本，s' i为样本Si依据姿态角度α，β，Y旋转后的三 维模型，通过求解式（3)的稀疏解来筛选与测试人脸图像相似的原型样本库。
4. 根据权利要求1所述的一种基于先验模型的正面人脸图像合成方法，其特征在于， 所述的步骤四包括： 步骤①：形状和纹理分开建模； 步骤②：用基于样本筛选的形变模型理论求解输入的测试人脸图像的形状和纹理的组 合系数； 步骤③：将测试人脸图像的纹理与合成的纹理相结合得到综合的纹理，得到最终合成 的正面人脸。
5. 根据权利要求4所述的一种基于先验模型的正面人脸图像合成方法，其特征在于， 所述的步骤①进一步具体包括：采用与测试人脸图像相似性大的数据构建原型样本库，利 用标定的特征点对人脸形状和纹理分别进行建模，建立图像像素之间一对一的对应关系， 将人脸形状Si用Delaunay三角化，并将每一张人脸都变形到原型样本库的平均人脸上，将 人脸的纹理向量表达为g = Qu "，... ik，... UT e R1的形式。
6. 根据权利要求4所述的一种基于先验模型的正面人脸图像合成方法，其特征在于， 所述的步骤②进一步具体包括：用经步骤三筛选后的三维人脸组合来表示测试人脸的形状 和纹理：
(4) 其中分别为原始三维人脸平均形状和平均纹理向量，分别为模型的形状 和纹理的组合系数，Si为经步骤三筛选后的原型样本库中的形状向量，h为纹理向量，现对 式（4)中的形状模型进行旋转和投影变形，得到下式：
(5) 其中，、矿与f分别表示表示输入的测试人脸图像的形状，旋转投影之后模型平均 的人脸形状，及特征旋转投影矩阵，利用稀疏形变模型方法求解式（5)中的组合系数，根据 求得的形状组合系数，得到合成的正面人脸形状：
(6) 采用同样的求解方法，SVD分解，求得形变模型中纹理的组合系数β得到合成纹理：
(7) 〇
7. 根据权利要求4所述的一种基于先验模型的正面人脸图像合成方法，其特征在于， 所述的步骤③进一步具体包括：综合纹理合成方式如下：若在正脸中可见、而在测试人脸 图像中不可见的纹理，采用式（7)合成的纹理；反之采用测试人脸图像的原始纹理，最终生 成的综合纹理如下： Si(x,y) = Wi(x,y)*ti(x,y)+(l_Wi(x,y))* tO(x,y) ⑶ 其中ti(x，y)代表在点（x，y)处合成得到的像素值，代表在点（x，y)处输入测试人 脸图像的像素值，Wi代表点（x，y)处合成纹理中原始纹理的权重，结合公式（6)和公式（8) 得到正面人脸图像。
8. 根据权利要求7所述的一种基于先验模型的正面人脸图像合成方法，其特征在于， 所述&通过相应点处局域面积变化率确定。
9. 一种基于先验模型的正面人脸图像合成系统，其特征在于，包括特征点标定模块、姿 态角度求取模块、原型样本构建模块及正面人脸合成模块， 所述的特征点标定模块用于对三维原型样本库进行样本规范化得到三维人脸样本库， 标定测试人脸图像的特征点，将结果发送给姿态角度求取模块； 所述的姿态角度求取模块用于求取平均三维人脸模型，通过其上的特征点投影后与测 试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度，将结果发送给原型 样本库构建模块； 所述的原型样本库构建模块用于从三维人脸样本库中筛选出与测试人脸图像相似性 较大的图像构建原型样本库，将结果发送给正面人脸合成模块； 所述的正面人脸合成模块用于根据输入的测试人脸图像信息和原型样本库发送来的 信息合成正面人脸图像。
【文档编号】G06T11/40GK104299250SQ201410546803
【公开日】2015年1月21日 申请日期:2014年10月15日 优先权日:2014年10月15日
【发明者】周大可, 方三勇, 曹元鹏 申请人:南京航空航天大学