一种基于单幅图像的快速人脸三维模型生成和变换方法
【专利摘要】本发明公开了一种基于单幅图像的快速人脸三维模型生成和变换方法，该方法只用单幅正面人脸图像就能实时生成三维人脸模型，从而使该三维模型可以用于实时人机交互的应用中，比如多角度人脸识别，3D打印和变脸。在此基础上本发明还实现了人脸和其它面孔之间的实时变换。本发明操作简单、生成速度快又具有足够精度。
【专利说明】
-种基于单幅图像的快速人脸Ξ维模型生成和变换方法
技术领域
[0001] 本发明设及人脸Ξ维模型生成和变换方法，特别地，设及基于人脸图像实时生成 Ξ维人脸模型，W及人脸模型和其它Ξ维待处理模型之间的变换方法。
【背景技术】
[0002] Ξ维建模具有广泛的使用范围和极高的实用价值。它是正在蓬勃发展的虚拟现 实，3D打印等计算机领域的基础性技术。它也同时在图像识别中起到有效的增进作用。比如 对同一个物体的多角度照片的识别和关联。有了 Ξ维模型就可W进行同一个人不同角度照 片的比对，从而识别不同的照片中出现的是否是同一个人。
[0003] 现有的根据Ξ维照片建模的常用方法都需要多个特定角度多幅照片，所使用的多 个照相机位置之间的相互关系是需要矫正的。运个口槛就将普通用户排除在外，而只能被 专业用户所用。而且现有的Ξ维建模方法需要的时间会长达几分钟，运样的等待是交互式 应用所无法接受的，因为已经习惯于网络实时交互的用户不可能等那么久。而现有的基于 单幅照片进行Ξ维建模的方法精度太差，获得的人脸模型只有面部特征的轮廓线比较精 确，其余位置缺乏细节，所W根本没有实用价值。
【发明内容】
[0004] 本发明的目的是克服现有技术的不足，提供一种基于单幅图像的快速人脸Ξ维模 型生成和变换方法，本发明操作简单、生成速度快又具有足够精度。
[0005] 本发明的目的是通过W下技术方案来实现的：一种基于单幅图像的快速人脸Ξ维 模型生成方法，包括如下步骤：
[0006] (1)输入正面人脸图像。
[0007] (2)输入图像面部特征的提取:所提取的面部特征包括面部轮廓线上的点，W及双 目艮、鼻子，嘴唇轮廓线上的点。
[000引（3)输入图像面部特征的微调:首先取双眼的外侧眼角之间连线的中点，把通过运 个中点且与连线垂直的直线作为面部中线;根据该中线对鼻子上面的特征点W及面部轮廓 线上的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部 中线上。
[0009] (4)输入图像面部特征和默认Ξ维人脸模型的全局对准处理：取默认Ξ维人脸模 型的二维ΧΥ坐标，和输入图像面部特征做二维的全局对准。
[0010] (5)通过对默认Ξ维人脸模型的多层二维自由变形进行局部对准:经过步骤4把默 认Ξ维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过 对默认Ξ维人脸模型的二维ΧΥ坐标的多层自由变形，对上述两组特征点进行局部对准，并 使得默认Ξ维人脸模型上的所有顶点跟随运些特征点平滑地移动。
[0011] (6)变形后默认Ξ维人脸模型深度值的矫正:将输入图像上所有面部像素的颜色 和检测到的所有特征点的位置变换成两套主元素系数。串联运两套主元素系数。预先通过 一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到运个串联的 主元素系数上，得到了输入正面人脸图像的Ξ维模型和默认Ξ维人脸模型之间所有顶点的 深度差的主元素系数，再从运些主元素系数可W重建所有顶点的深度差。最后将所有顶点 的深度差加至步骤5处理后的默认Ξ维人脸模型的深度，得到步骤1输入正面人脸图像的Ξ 维模型。
[0012] -种基于单幅图像的快速人脸Ξ维模型变换方法，包括如下步骤：
[0013] (1)输入正面人脸图像。
[0014] (2)输入图像面部特征的提取:所提取的面部特征包括面部轮廓线上的点，W及双 目艮、鼻子，嘴唇轮廓线上的点。
[001引（3)输入图像面部特征的微调:首先取测艮的外侧眼角之间连线的中点，把通过运 个中点且与连线垂直的直线作为面部中线;根据该中线对鼻子上面的特征点W及面部轮廓 线上的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部 中线上。
[0016] (4)输入图像面部特征和默认Ξ维人脸模型的全局对准处理：取默认Ξ维人脸模 型的二维XY坐标，和输入图像面部特征做二维的全局对准。
[0017] (5)通过对默认Ξ维人脸模型的多层二维自由变形进行局部对准:经过步骤4把默 认Ξ维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过 对默认Ξ维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并 使得默认Ξ维人脸模型上的所有顶点跟随运些特征点平滑地移动。
[0018] (6)变形后默认Ξ维人脸模型深度值的矫正:将输入图像上所有面部像素的颜色 和检测到的所有特征点的位置变换成两套主元素系数。串联运两套主元素系数。预先通过 一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到运个串联的 主元素系数上，得到了输入正面人脸图像的Ξ维模型和默认Ξ维人脸模型之间所有顶点的 深度差的主元素系数，再从运些主元素系数可W重建所有顶点的深度差。最后将所有顶点 的深度差加至步骤5处理后的默认Ξ维人脸模型的深度，得到步骤1输入正面人脸图像的Ξ 维模型。
[0019] (7)输入待变换的Ξ维模型。
[0020] (8)待变换的Ξ维模型与默认Ξ维人脸模型的全局对准处理。
[0021] (9)待变换的Ξ维模型与默认Ξ维人脸模型的点对点密集对应关系的获取。
[0022] (10)计算待变换的Ξ维模型上进行待变换的Ξ维模型和默认Ξ维人脸模型混合 所需的所有顶点的加权系数。
[0023] (11)待变换的Ξ维模型的比例调整。
[0024] (12):根据步骤9得到的待变换的Ξ维模型与默认Ξ维人脸模型的点对点密集对 应关系和步骤10中得到的待变换的Ξ维模型上进行待变换的Ξ维模型和默认Ξ维人脸模 型混合所需的所有顶点的加权系数，对步骤11调整后待变换的Ξ维模型和步骤6获得的输 入正面人脸图像的Ξ维模型进行混合，得到的混合模型上的顶点由如下计算得到：
[00巧]v*(i) = (w(i)-w(i)2)vF(i)+w(i)2vD(LUT[i] ) + (l-w(i))VT(i)，
[0026]其中，VF(i)为VF的第i个顶点，VT(i)为ντ的第i个顶点，VD为步骤6获得的输入正面 人脸图像的Ξ维模型上的顶点，LUT是步骤9得到的待变换的Ξ维模型与默认Ξ维人脸模型 的点对点密集对应关系，LUT[i]为待变换的Ξ维模型第i个顶点所对应的默认Ξ维人脸模 型上的顶点的标号。
[0027] (13)对变形后得到的混合模型进行纹理映射。
[0028] 本发明的有益效果是，本发明提供一种操作简单、生成速度快又具有足够精度的 基于单幅图像的Ξ维人脸建模方法，在此基础上实现了人脸和其它面孔之间的实时变脸。 本发明特别适用于需要实时反应的人机交互式应用。
【附图说明】
[0029] 图1是本发明的流程图。
【具体实施方式】
[0030] 下面结合附图详细描述本发明，本发明的目的和效果将变得更加明显。
[0031] 如图1所示，本发明基于单幅图像的快速人脸Ξ维模型生成方法，包括如下步骤：
[0032] 步骤1:输入正面人脸图像。
[0033] 步骤2:输入图像面部特征的提取
[0034] 采用 Xudong Cao , Yichen Wei,Fang Wen and Jian Sun, "Face Alignmentby Explicit Shape Regression," International Journal of Computer Vision论文中阐述 的方法提取输入图像的面部特征。所述面部特征包括面部轮廓线上的点，W及双眼，鼻子， 嘴唇轮廓线上的点。
[0035] 步骤3:输入图像面部特征的微调
[0036] 因为输入图像通常不是绝对的正面照，导致检测到的面部特征的位置存在不对称 性，为弥补运个偏差，需要对检测到的面部特征进行微调。
[0037] 首先取双眼的外侧眼角之间连线的中点，把通过运个中点且与连线垂直的直线作 为面部中线。根据该中线对鼻子上面的特征点W及面部轮廓线上的特征点进行微调，使他 们对于该面部中线是对称的。同样将上嘴唇的中点调整至面部中线上。
[0038] 步骤4:输入图像微调过的面部特征和默认Ξ维人脸模型的全局对准处理
[0039] 所述默认Ξ维人脸模型指的是一个具有平均脸型的固定的Ξ维网格人脸模型。取 默认Ξ维人脸模型上的特征点的二维XY坐标，通过计算一个包括二维旋转、二维平移的全 局变换矩阵T2D，将默认Ξ维人脸模型上的特征点的二维XY坐标和输入图像的微调过的面部 特征做二维的全局对准。
[0040] 矩阵形式如下：
[0041]
[0042] 该矩阵是通过解W下的优化问题得到的：
[0043]
[0044] 其中，T2D是全局变换矩阵，r〇、ri、tx和ty是全局变换矩阵T2D的元素，且r〇、r读示二 维旋转，tx和ty表示二维平移;Pf(i) = [xf(i) yf(i) 1]τ为第i个面部特征点的二维齐次坐 标，xf(i)和yf(i)为二维齐次坐标的横坐标和纵坐标;VG(i)是默认Ξ维人脸模型上第i个特 征点的ΧΥ坐标，G表示默认Ξ维人脸模型，f表示输入图像的面部特征点。
[0045] 步骤5:通过默认Ξ维人脸模型的多层二维自由变形进行局部对准
[0046] 经过步骤4把默认Ξ维人脸模型的特征点的二维XY坐标全局对准到输入图像的微 调过的面部特征点后，通过对默认Ξ维人脸模型的二维XY坐标的多层自由变形，对上述两 组特征点进行局部对准，并使得默认Ξ维人脸模型上的所有顶点跟随运些特征点平滑地移 动。上述二维XY坐标的多层自由变形可W采用Seung-Yong Lee,Kyung-Yong畑wa and Sung Yong Shin,"Image metamorphosis using snakes and free-form deformations," Proceeding of ACM SIGGRAPH 1995论文中阐述的方法来处理。
[0047] 步骤6:变形后默认Ξ维人脸模型深度值的矫正
[0048] 将输入图像上所有面部像素的颜色和提取的所有面部特征点的位置变换成两套 主元素系数。串联运两套主元素系数。预先通过一个数据库学习得到一个基于人工神经网 络的非线性回归模型。将该模型用到运个串联的主元素系数上，得到了输入正面人脸图像 的Ξ维模型和默认Ξ维人脸模型之间所有顶点的深度差的主元素系数，再从运些主元素系 数可W重建所有顶点的深度差。最后将所有顶点的深度差加至步骤5处理后的默认Ξ维人 脸模型的深度，得到步骤1输入正面人脸图像的Ξ维模型。
[0049] 所述非线性回归模型是由人脸数据库训练得到的，其训练过程如下：
[0050] 6.1、对数据库中每幅图像上所有面部特征点的位置进行主元素分析(PCA)，得到 一个图像面部特征点位置的主元素降维模型PCAfW及数据库中每幅图像上所有面部特征 点的位置的主元素系数。同时对数据库中每幅图像上所有面部像素的颜色进行主元素分 析，得到一个图像面部像素颜色的主元素降维模型PCAiW及数据库中每幅图像上所有面部 像素的颜色的主元素系数。
[0051] 6.2、计算数据库中每个Ξ维人脸模型和默认Ξ维人脸模型之间所有顶点的深度 差，并对该深度差也进行主元素分析，得到一个面部顶点深度差的主元素降维模型PCAzW 及数据库中每个Ξ维人脸模型所有顶点的深度差的主元素系数。
[0052] 6.3、把步骤6.1中计算得到的数据库中每幅图像的两套主元素系数串联作为一个 四层人工神经网络的输入，把步骤6.2中计算得到的数据库中每个Ξ维人脸模型所有顶点 深度差的主元素系数作为人工神经网络的预期的输出，用随机梯度下降法对神经网络内部 的权重进行优化。由此得到的人工神经网络就是我们所需要的非线性回归模型。
[0053] 所述"将该模型用到运个串联的主元素系数上，得到了输入正面人脸图像的Ξ维 模型和默认Ξ维人脸模型之间所有顶点的深度差的主元素系数，再从运些主元素系数可W 重建所有顶点的深度差。"的过程具体如下所述：
[0054] 定义Cf为输入图像上所有面部特征点的位置Vf的主元素系数，Cl为输入图像上所 有面部像素的颜色Vi的主元素系数。那么：
[0055] Cf = PCAf(Vf),
[0化6] Ci = PCAi(Vi),
[0057]其中，I表示输入图像上的面部像素，PCAf(Vf)表示用图像面部特征点位置的主元 素降维模型对Vf做主元素投影，PCAf表示图像面部特征点位置的主元素降维模型，PCAi(Vi) 表示用图像面部像素颜色的主元素降维模型对Vi做主元素投影，PCAi表示图像面部像素颜 色的主元素降维模型。
[0058] 定义Cz为输入正面人脸图像的Ξ维模型和默认Ξ维人脸模型之间所有顶点的深 度差A Ζ的主元素系数。那么：
[0059] Cz = PCAz( ΔΖ),
[0060] 其中，Z表示输入正面人脸图像的Ξ维模型的顶点深度，PCAz(AZ)表示用面部顶 点深度差的主元素降维模型对A Z做主元素投影，PCAz表示面部顶点深度差的主元素降维 模型。
[0061] 输入正面人脸图像的Ξ维模型的所有顶点的深度值是由W下公式计算得出：
[0062]
[006；3]其中，Q为Cz的估计值，乏为2的估计值，&二，C,)，R(Cf，Ci)表示把非线性回 归模型用到Cf和Cl的串联上，戶表示用从数据库学习得到的面部顶点深度差的主 元素降维模型重建输入正面人脸图像的Ξ维模型和默认Ξ维人脸模型之间所有顶点的深 度差，玄表示默认Ξ维人脸模型的顶点深度。
[0064] 如图1所示，本发明基于单幅图像的快速人脸Ξ维模型变换方法，包括如下步骤：
[0065] 步骤1-6与基于单幅图像的快速人脸Ξ维模型生成方法的步骤1-6-致。
[0066] 步骤7:输入待变换的Ξ维模型。
[0067] 步骤8:待变换的Ξ维模型与默认Ξ维人脸模型的全局对准处理
[0068] 首先将待变换的Ξ维模型和默认Ξ维人脸模型的均值位置移到坐标系的原点。通 过计算一个包括Ξ维旋转、Ξ维平移和各向异性缩放的全局变换矩阵T3D，对待变换的Ξ维 模型和默认Ξ维人脸模型进行全局对准处理。
[0069] 全局变换矩阵T3D的定义如下：
[0070]
[0071] 计算该矩阵需要解W下运个优化问题：
[0072]
[007；3] 其中，Sx、Sy、Sz、:rx、ry、rz、tx、ty、tz为全局变换矩阵T3D的元素，Sx、Sy、Sz表示各向异 性缩放、rxJyJz表示立维旋转、tx、ty、tz表示立维平移。VA(i)表示待变换的立维模型上第i 个特征点的Ξ维齐次坐标;VG( i)表示默认Ξ维人脸模型上第i个特征点的Ξ维齐次坐标，A 表示待变换的Ξ维模型的特征点。
[0074] 步骤9:待变换的Ξ维模型与默认Ξ维人脸模型的点对点密集对应关系的获取
[0075] 待变换的Ξ维模型和默认Ξ维人脸模型之间点对点密集对应关系可W采用 民obert W.Sumner and Jovan Popovic，"Deformation transfer for triangle meshes，，， Proceeding of ACM SIGGRAPH 2004这篇论文中的算法来获取。
[0076] 步骤10:计算待变换的Ξ维模型上进行待变换的Ξ维模型和默认Ξ维人脸模型混 合所需的所有顶点的加权系数。
[0077] 该加权系数的计算属于一次性预处理。所有顶点的加权系数w=[w(l)，…，w(n)] 是通过解w下优化问题得到的：
[007引 minwE(w) =min^Ec(w)+aEs(w)+距o(w))，
[0079] 其中，Ee(w)表示特征点约束的满足程度，定义如下：
[0080] Ec(w) = EieH| |w(i)-wo(i)|
[0081] C表示特征点约束，w(i)表示W的第i个元素，wo(i)是待变换的Ξ维模型的特征点 集Η里第i个顶点的初始权重；
[0082] Es(w)表示待变换的Ξ维模型的相邻顶点之间加权系数的光滑程度，定义为：
[0083] Es(w) = Ejeadj(i) I |w(i)-w(j)|
[0084] 其中，adj(i)代表待变换的Ξ维模型上与第i个顶点相邻的顶点集合，w(j)表示待 变换的Ξ维模型上与第i个顶点相邻的第j个顶点的加权系数;S表示光滑性约束。
[0085] E〇(w)代表零权重能量，它使得在待变换的Ξ维模型的非特征点顶点处的权重接 近于零，Eq(w)定义如下：
[0086]
[0087] 其中，0表示零权重约束。
[0088] 步骤11:待变换的Ξ维模型的比例调整
[0089] 比例调整是为了让待变换的Ξ维模型尽量接近步骤6获得的输入正面人脸图像的 Ξ维模型的大小。为了得到更高质量的混合模型，需要对之根据不同比例进行二次放缩。其 中第一个放缩比例参考步骤6获得的输入正面人脸图像的Ξ维模型的面部轮廓线的大小， 其具体定义如下：在输入正面人脸图像的Ξ维模型的面部轮廓线上选取位于左右耳附近的 两个端点和位于下飄处的中点，运Ξ个顶点形成一个Ξ角形，在待变换的Ξ维模型的面部 轮廓线上W同样方式形成一个Ξ角形，运两个Ξ角形的平均边长之间的比例即为所述第一 个放缩比例。缩放后待变换的Ξ维模型上的顶点标记为VT，其中，T表示面部轮廓线。第二个 放缩比例参考步骤6获得的输入正面人脸图像的Ξ维模型的面部除轮廓线W外的特征点之 间的距离，其具体定义如下：在输入正面人脸图像的Ξ维模型上取双眼的外侧眼角和上嘴 唇的中点，运Ξ个特征点形成一个Ξ角形，在待变换的Ξ维模型上W同样方式形成一个Ξ 角形，运两个Ξ角形的平均边长之间的比例即为所述第二个放缩比例。缩放后待变换的Ξ 维模型上的顶点标记为VF，其中，F表示面部除轮廓线W外的特征点。
[0090] 步骤12:从步骤11调整后待变换的Ξ维模型到步骤6获得的输入正面人脸图像的 Ξ维模型的变形
[0091] 变形的结果是二者之间的一个混合模型。根据步骤9得到的待变换的Ξ维模型与 默认Ξ维人脸模型的点对点密集对应关系和步骤10中得到的待变换的Ξ维模型上进行待 变换的Ξ维模型和默认Ξ维人脸模型混合所需的所有顶点的加权系数，对步骤11调整后待 变换的Ξ维模型和步骤6获得的输入正面人脸图像的Ξ维模型进行混合，得到的混合模型 上的顶点由如下计算得到：
[0092] v*(i) = (w(i )-w(i )^)vf( i)+w( i)^VD(LUT[i] ) + (l-w(i))vx(i),
[0093] 其中，VF(i)为VF的第i个顶点，VT(i)为VT的第i个顶点，VD为步骤6获得的输入正面 人脸图像的Ξ维模型上的顶点，LUT是步骤9得到的待变换的Ξ维模型与默认Ξ维人脸模型 的点对点密集对应关系，LUT[i]为待变换的Ξ维模型第i个顶点所对应的默认Ξ维人脸模 型上的顶点的标号。
[0094]步骤13:变形后得到的混合模型的纹理映射
[00M]运一步从输入的正面人脸图像得到纹理。因为图片是正面人像，用正交投影作为 近似把步骤6获得的输入正面人脸图像的Ξ维模型上的顶点反向投影到输入的正面人脸图 像上得到相应的纹理坐标。
【主权项】
1. 一种基于单幅图像的快速人脸三维模型生成方法，其特征在于，包括如下步骤： (1) 输入正面人脸图像。 (2) 输入图像面部特征的提取:所提取的面部特征包括面部轮廓线上的点，以及双眼、 鼻子，嘴唇轮廓线上的点。 (3) 输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中 点且与连线垂直的直线作为面部中线;根据该中线对鼻子上面的特征点以及面部轮廓线上 的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部中线 上。 (4) 输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的 二维χγ坐标，和输入图像面部特征做二维的全局对准。 (5) 通过对默认三维人脸模型的多层二维自由变形进行局部对准:经过步骤4把默认三 维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默 认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得 默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。 (6) 变形后默认三维人脸模型深度值的矫正:将输入图像上所有面部像素的颜色和检 测到的所有特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个 数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元 素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度 差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深 度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模 型。2. 根据权利要求1所述基于单幅图像的快速人脸三维模型生成方法，其特征在于，所述 步骤(4)中，所述默认三维人脸模型指的是一个具有平均脸型的固定的三维网格人脸模型。 取默认三维人脸模型上的特征点的二维XY坐标，通过计算一个包括二维旋转、二维平移的 全局变换矩阵T 2D，将默认三维人脸模型上的特征点的二维XY坐标和输入图像的微调过的面 部特征做二维的全局对准。 矩阵形式如下： τ _ ra ri ^ ho ~ t L-厂丨r〇~」 该矩阵是通过解以下的优化问题得到的： arg (〇 -vg(〇||2 ?η !' 其中，T2D是全局变换矩阵，r〇、ri、tx和ty是全局变换矩阵T 2D的元素，且Π)、Γ1表示二维旋 转，tjPty表示二维平移;pf(i) = [xf(i) yf(i) 1]τ为第i个面部特征点的二维齐次坐标，xf (i)和yf(i)为二维齐次坐标的横坐标和纵坐标;VG(i)是默认三维人脸模型上第i个特征点 的XY坐标，G表示默认三维人脸模型，f表示输入图像的面部特征点。3. 根据权利要求1所述基于单幅图像的快速人脸三维模型生成方法，其特征在于，所述 步骤(6)中，所述非线性回归模型是由人脸数据库训练得到的，其训练过程如下： (6.1) 、对数据库中每幅图像上所有面部特征点的位置进行主元素分析(PCA)，得到一 个图像面部特征点位置的主元素降维模型PCA f以及数据库中每幅图像上所有面部特征点 的位置的主元素系数。同时对数据库中每幅图像上所有面部像素的颜色进行主元素分析， 得到一个图像面部像素颜色的主元素降维模型PC-以及数据库中每幅图像上所有面部像 素的颜色的主元素系数。 (6.2) 、计算数据库中每个三维人脸模型和默认三维人脸模型之间所有顶点的深度差， 并对该深度差也进行主元素分析，得到一个面部顶点深度差的主元素降维模型PCAz以及数 据库中每个三维人脸模型所有顶点的深度差的主元素系数。 (6.3) 、把步骤6.1中计算得到的数据库中每幅图像的两套主元素系数串联作为一个四 层人工神经网络的输入，把步骤6.2中计算得到的数据库中每个三维人脸模型所有顶点深 度差的主元素系数作为人工神经网络的预期的输出，用随机梯度下降法对神经网络内部的 权重进行优化。由此得到的人工神经网络就是我们所需要的非线性回归模型。4. 根据权利要求1所述基于单幅图像的快速人脸三维模型生成方法，其特征在于，所述 步骤(6)中，所述"将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三 维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可 以重建所有顶点的深度差。"的过程具体如下所述： 定义Cf为输入图像上所有面部特征点的位置Vf的主元素系数，(：:为输入图像上所有面 部像素的颜色Vi的主元素系数。那么： Cf = PCAf(Vf)， Ci = PCAi(Vi)， 其中，I表示输入图像上的面部像素，PCAf(Vf)表示用图像面部特征点位置的主元素降 维模型对Vf做主元素投影，PCAf表示图像面部特征点位置的主元素降维模型，PCAKV:)表示 用图像面部像素颜色的主元素降维模型对％做主元素投影，PCA:表示图像面部像素颜色的 主元素降维模型。 定义Cz为输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差Δ Z的主元素系数。那么： Cz = PCAz( ΔΖ)， 其中，Z表示输入正面人脸图像的三维模型的顶点深度，PCAz(AZ)表示用面部顶点深度 差的主元素降维模型对A Z做主元素投影，PCAz表示面部顶点深度差的主元素降维模型。 输入正面人脸图像的三维模型的所有顶点的深度值是由以下公式计算得出： 2. Z + PCAzi(Cz) ? 其中，(?为Cz的估计值，之为Z的估计值，Q = i?(C>, C；)，R(Cf，C:)表示把非线性回归模 型用到CjPC:的串联上，表示用从数据库学习得到的面部顶点深度差的主元素 降维模型重建输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差， Z表示默认三维人脸模型的顶点深度。5. -种基于单幅图像的快速人脸三维模型变换方法，其特征在于，包括如下步骤： (1) 输入正面人脸图像。 (2) 输入图像面部特征的提取:所提取的面部特征包括面部轮廓线上的点，以及双眼、 鼻子，嘴唇轮廓线上的点。 (3) 输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中 点且与连线垂直的直线作为面部中线;根据该中线对鼻子上面的特征点以及面部轮廓线上 的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部中线 上。 (4) 输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的 二维χγ坐标，和输入图像面部特征做二维的全局对准。 (5) 通过对默认三维人脸模型的多层二维自由变形进行局部对准:经过步骤4把默认三 维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默 认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得 默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。 (6) 变形后默认三维人脸模型深度值的矫正:将输入图像上所有面部像素的颜色和检 测到的所有特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个 数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元 素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度 差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深 度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模 型。 (7) 输入待变换的三维模型。 (8) 待变换的三维模型与默认三维人脸模型的全局对准处理。 (9) 待变换的三维模型与默认三维人脸模型的点对点密集对应关系的获取。 (10) 计算待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需 的所有顶点的加权系数。 (11) 待变换的三维模型的比例调整。 (12) :根据步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关 系和步骤10中得到的待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混 合所需的所有顶点的加权系数，对步骤11调整后待变换的三维模型和步骤6获得的输入正 面人脸图像的三维模型进行混合，得到的混合模型上的顶点由如下计算得到： v*(i) = (w(i)-w(i)2)VF(i)+w(i)2VD(LUT[i]) + (l_w(i))VT(i)， 其中，VF(i)为vf的第i个顶点，VT(i)为ντ的第i个顶点，vd为步骤6获得的输入正面人脸 图像的三维模型上的顶点，LUT是步骤9得到的待变换的三维模型与默认三维人脸模型的点 对点密集对应关系，LUT[i]为待变换的三维模型第i个顶点所对应的默认三维人脸模型上 的顶点的标号。 (13) 对变形后得到的混合模型进行纹理映射。6.根据权利要求5所述基于单幅图像的快速人脸三维模型变换方法，其特征在于，所述 步骤8具体为:首先将待变换的三维模型和默认三维人脸模型的均值位置移到坐标系的原 点。通过计算一个包括三维旋转、三维平移和各向异性缩放的全局变换矩阵T 3D，对待变换的 三维模型和默认三维人脸模型进行全局对准处理。 全局变换矩阵T3D的定义如下： τ - rm % -r.y. L s.z h 0 0 Q 1 计算该矩阵需要解以下这个优化问题： arg minX \\TmvA (〇 - vG (/)|f Ti0. 1 其中，8\、8\、82、1^、巧、1'2、1^、七\、1：2为全局变换矩阵13〇的元素，8\、8\、8 2表示各向异性缩 放、rx、ry、rz表示三维旋转、tx、t y、tz表示三维平移。VA(i)表示待变换的三维模型上第i个特 征点的三维齐次坐标;vg( i)表示默认三维人脸模型上第i个特征点的三维齐次坐标，A表示 待变换的三维模型的特征点。7. 根据权利要求5所述基于单幅图像的快速人脸三维模型变换方法，其特征在于，所述 步骤(10)具体为： 所有顶点的加权系数w=[w(l)，…，w(n)]是通过解以下优化问题得到的： minwE(w) =minw(Ec(w)+aEs(w)+PE〇(w)), 其中，Ec(w)表示特征点约束的满足程度，定义如下： Ec(w) = Σι^ηΙ I w(i)-wo(i) I 12, C表示特征点约束，w (i)表示w的第i个元素，wo (i)是待变换的三维模型的特征点集H里 第i个顶点的初始权重； Es(w)表示待变换的三维模型的相邻顶点之间加权系数的光滑程度，定义为： Es(w) = Ejeadj(i) I |w(i)-w( j) II2, 其中，adj (i)代表待变换的三维模型上与第i个顶点相邻的顶点集合，w( j)表示待变换 的三维模型上与第i个顶点相邻的第j个顶点的加权系数;S表示光滑性约束。 Eo(w)代表零权重能量，它使得在待变换的三维模型的非特征点顶点处的权重接近于 零，Eo(w)定义如下： ￡〇(·Σ」Ι，2。 其中，0表示零权重约束。8. 根据权利要求5所述基于单幅图像的快速人脸三维模型变换方法，其特征在于，所述 步骤（11)中，所述比例调整通过二次缩放来实现，其中，第一个放缩比例参考步骤6获得的 输入正面人脸图像的三维模型的面部轮廓线的大小，其具体定义如下:在输入正面人脸图 像的三维模型的面部轮廓线上选取位于左右耳附近的两个端点和位于下颚处的中点，这三 个顶点形成一个三角形，在待变换的三维模型的面部轮廓线上以同样方式形成一个三角 形，这两个三角形的平均边长之间的比例即为所述第一个放缩比例，缩放后待变换的三维 模型上的顶点标记为ντ，Τ表示面部轮廓线；第二个放缩比例参考步骤6获得的输入正面人 脸图像的三维模型的面部除轮廓线以外的特征点之间的距离，其具体定义如下:在输入正 面人脸图像的三维模型上取双眼的外侧眼角和上嘴唇的中点，这三个特征点形成一个三角 形，在待变换的三维模型上以同样方式形成一个三角形，这两个三角形的平均边长之间的 比例即为所述第二个放缩比例，缩放后待变换的三维模型上的顶点标记为w，F表示面部除 轮廓线以外的特征点。
【文档编号】G06K9/46GK106067190SQ201610370462
【公开日】2016年11月2日
【申请日】2016年5月27日 公开号201610370462.1, CN 106067190 A, CN 106067190A, CN 201610370462, CN-A-106067190, CN106067190 A, CN106067190A, CN201610370462, CN201610370462.1
【发明人】俞怡斐
【申请人】俞怡斐