一种可抗姿态和表情变化的三维人脸校准方法
【技术领域】
[0001] 本发明涉及图像处理及模式识别技术领域，尤其涉及三维人脸识别方向中抗姿态 变化的人脸校准方法。
【背景技术】
[0002] 在当今信息时代，个人身份的有效识别与认证在安保系统中，比如机场安检、门禁 监督等，是一个非常重要的问题。传统的身份验证的方法有着使用不便、安全性低等缺点， 生物特征识别作为一种新型的身份识别方法，因其具有安全性、易维护性、普遍性等优点， 为上述问题提供了解决方向。
[0003] 生物特征识别技术是指，利用人体固有的生理信息及行为作为特征，通过智能计 算进行身份识别及验证的技术。人脸识别是生物特征识别的一个分支，具有易被采集、友 好、用户接受度高等优势。三维人脸识别是指利用三维图像进行人脸识别的技术。三维人 脸带有人脸的原始几何形状信息，有望克服现今人脸识别中遇到的姿态变化的问题。
[0004] 现在提出的三维人脸识别方法一般都是针对没有姿态或只带很小姿态的人脸，但 是在三维人脸识别的实际应用中，需要实现具有任意姿态的人脸识别，而这仍然是个难题。 姿态不变的三维人脸识别的难点都在于，在人脸带有较大姿态变化的情况下，不仅人脸数 据会随着旋转而发生较大变化，而且人脸也会因为自遮挡在某些区域上损失较多数据，从 而人脸不完整，失去对称性。表情变化会使人脸变形，从而人脸几何结构发生变化，导致三 维数据变化。在这种情况下，如何能准确地校准人脸，将人脸姿态校准到正面，并填补损失 的数据，从而与人脸训练库中采集的人脸更好地匹配，就是需要解决的问题。但是，很多方 法基于三维表面曲率或者基于二维轮廓，这些特征都容易受到三维人脸数据损失的影响， 所以人脸校准仍具是一个难题，至今仍然没有良好鲁棒性的方法能解决上述问题。
【发明内容】
[0005] 本发明的目的在于针对目前三维人脸识别中人脸校准领域内现有技术的不足，提 出了一种可抗姿态和表情变化的三维人脸校准方法，该方法在人脸有较大姿态变化的情况 下，仍然具有较强的鲁棒性。
[0006] 本发明的目的是通过以下技术方案来实现的：一种可抗姿态和表情变化的三维人 脸校准方法，包括以下步骤：
[0007] (1)构造主动外观模型阶段，具体包括以下子步骤：
[0008] (I. 1)采集训练人脸：通过三维图像获取设备获取中性姿态（即无任何姿势变化） 的人脸，作为人脸训练库，手动定位重要标记点，并通过扫描人脸与背景的分界线获得人脸 的外轮廓点，得到足够的标记点；
[0009] (1. 2)生成人脸深度图：在三维人脸所在坐标系中，在x-y坐标轴上以一定分辨率 为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞， 得到三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获得深 度图，将对应的三维标记点投影到x-y坐标系上，获得深度图上标记点的二维坐标；
[0010] (1. 3)人脸预处理：对步骤1. 2获取的人脸深度图进行中值滤波去掉峰值点，进行 高斯平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸；
[0011] (1.4)校准人脸形状：由训练人脸所有的标记点构成的网格图表示人脸形状，采 用普式分析的方法将人脸形状对齐到统一形状；
[0012] (1. 5)生成形状模型：将所有训练人脸的形状减去统一形状，并采用主成份分析 的方法获取主成份，作为形状向量；形状模型表示如下：
[0013]
【主权项】
1. 一种可抗姿态和表情变化的三维人脸校准方法，其特征在于，该方法包括以下步 骤： (1) 构造主动外观模型阶段，具体包括以下子步骤： (1. 1)采集训练人脸：通过三维图像获取设备获取中性姿态的人脸，作为人脸训练库， 手动定位重要标记点，并通过扫描人脸与背景的分界线获得人脸的外轮廓点，得到足够的 标记点； (1.2) 生成人脸深度图：在三维人脸所在坐标系中，在x-y坐标轴上以一定分辨率为间 隔建立网格，将z轴坐标值采用双立方插值的方法插值到相应x-y网格上，填补空洞，得到 三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z轴坐标作为像素值，获得深度图， 将对应的三维标记点投影到x-y坐标系上，获得深度图上标记点的二维坐标； (1. 3)人脸预处理：对步骤1. 2获取的人脸深度图进行中值滤波去掉峰值点，进行高斯 平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸； (1. 4)校准人脸形状：由训练人脸所有的标记点构成的网格图表示人脸形状，采用普 式分析的方法将人脸形状对齐到统一形状； (1. 5)生成形状模型：将所有训练人脸的形状减去统一形状，并采用主成份分析的方 法获取主成份，作为形状向量；形状模型表示如下：
其中？1表示形状参数，s ^表示形状模型的基本形状，s表示任意形状模型的实例，s = (X1, Y1, X2, y2,. . .，xv, yv)T，SiQ = 1，2,. . .，η)表示形状向量，η表示形状的维数，V表示标 记点的个数； (1. 6)训练人脸形状标准化：将基本形状Stl进行三角形网格化，并将所有训练人脸的 外观根据其形状向基本形状Stl变形，形成具有基本形状的人脸，其中变形采用分段线性变 形方法，即将两个网格形状内的对应三角形进行仿射变换； (1. 7)生成主动外观模型：将步骤1. 6形状标准化的训练人脸，采用主成份分析的方法 获取主成份，作为外观向量；外观模型表示如下：
其中λ廣示外观模型的参数，M(X)表示任意外观模型的实例，Atl(X)表示标准外观模 板，Ai(X) (i = 1，2,...，m)表示外观向量，M(x)、Atl(X)和Ai(X)均为二维图像，m表示外观 向量的维数； (2) 测试人脸校准阶段，具体包括以下子步骤： (2. 1)采集人脸测试库：通过三维图像获取设备获取不同姿态及表情变化的三维人 脸，作为人脸测试库； (2.2) 生成人脸深度图：对于测试库中所有三维人脸，在三维人脸所在坐标系中，在 x-y坐标轴上以一定分辨率为间隔建立网格，将z轴坐标值采用双立方插值的方法插值到 相应x-y网格上，填补空洞，得到三维人脸网格图，将三维人脸网格图对x-y坐标系投影，z 轴坐标作为像素值，获得深度图； (2. 3)人脸预处理：对步骤2. 2获取的人脸深度图进行中值滤波去掉峰值点，进行高斯 平滑滤波平滑人脸去除噪声，降采样到10万像素大小范围内的人脸； (2. 4)人脸粗校准，具体子步骤如下： (2. 4. 1)在训练库中选择中性姿态和中性表情的人脸，以鼻尖点为基准进行叠加并平 均，得到平均脸，从平均脸上分割出鼻子区域，作为平均鼻子模型； (2.4.2)将测试库中所有的三维人脸以旋转角度β绕Y轴旋转，得到一系列旋转后的 三维人脸；其中β e [-90°，90° ]，以6°为步长，每张测试库中的人脸均有R = 31个旋 转角度；旋转公式如下：
其中，某三维坐标点表示为（Xi, Yi, Zi) (i = 1，2,…，N),对应输出的旋转坐标点为 ，zf );根据步骤2. 2中的方法，将旋转后的三维人脸转化为深度图； (2. 4. 3)将步骤2. 4. 2得到的人脸深度图与步骤2. 4. 1得到的平均鼻子模型进行以标 准互相关为准则的模板匹配，得到标准互相关图； (2. 4. 4)计算标准互相关图的最大相关系数，最大相关系数在标准互相关图中的位置 为鼻子区域所在位置，获得对应的鼻尖点及旋转角度 (2.4.5)根据式（3)以旋转角度0,绕Y轴旋转测试人脸，进行粗校准； (2. 4. 6)以检测的鼻尖点为圆心以人脸宽度为直径作圆分割出人脸的有效区域； (2. 5)将经过粗校准的人脸与主动外观模型进行匹配，设置目标函数，通过迭代的方式 计算模型的参数，最小化目标函数可表示为：
其中W(x ;ρ)表示分段线性变形函数，I为测试人脸深度图，A = [A1, A2, ...，Am]表示外 观向量的组合，λ = [ λ λ 2,. . .，λ m]表示外观参数的组合； (2. 6)采用反向融合方式通过迭代搜索进行参数更新直到目标函数收敛，具体子步骤 如下： (2.6.1) 预计算：计算标准外观模板Atl及外观向量AiQ = l，2，...，m)的梯度▽為， ο W βψ 计算W(X ;ρ)在P = 0处的雅可比矩阵二一，计算梯度图像,== op Φ 计算A的投影正交补集P = E-AAt; (2.6.2) 根据W(x;p)将人脸图像I变形为I(W(x;p)); m (2· 6. 3)计算梯度联合图像 =户(Λ + Σ?) = PJ/L'，其中 J = [J。，J1, · · ·，JJ i=l 表示梯度图像Ji (i = 〇, 1，...，m)的组合，A =[1,A] e ;计算海森矩阵 Hfsic - JfsicJfsic '， (2. 6. 4)计算形状参数P的迭代更新量Δρ = "S.J- /g ;更新仿射 变换/?) e 。好ΙκΔ/?)'，。表示融合计算； (2. 6. 5)计算外观参数λ的迭代更新量Δ λ = At (I-Aci-A λ -J Δ ρ)，更新参数 λ - λ+Λ λ，返回步骤2. 6.2迭代，直至目标函数收敛，此时，输入测试人脸变形为基本形 状，实现可抗姿态和表情变化的三维人脸校准。
【专利摘要】本发明公开了一种可抗姿态和表情变化的三维人脸校准方法，包含构造主动外观模型阶段和人脸校准阶段。构造主动外观模型是指，通过三维图像获取设备获取三维人脸，手动标定人脸重要标记点，通过人脸的网格形状及外观信息构造基于深度图的主动外观模型；测试人脸校准阶段是指，首先通过平均鼻子模型将人脸粗校准，然后将测试人脸与基于深度图的主动外观模型进行匹配，将人脸进行精校准。本发明通过由粗到精的方法能对抗人脸的姿态和表情变化，保证在自然条件下的人脸也能被准确校准，并且通过将三维人脸转化为深度图上处理，提高了校准效率，对促进三维人脸在身份认证方向上的实际应用有着重要作用。
【IPC分类】G06K9-00, G06T15-00
【公开号】CN104657713
【申请号】CN201510067374
【发明人】胡浩基, 刘蓉
【申请人】浙江大学
【公开日】2015年5月27日
【申请日】2015年2月9日