专利名称：一种通用三维人脸模型的调整方法
技术领域：
本发明属于计算机图像处理技术领域，主要涉及到生物特征识别中个的三维人脸识别技 术中的三维人脸重建技术。
背景技术：
人脸识别作为生物特征认证技术之一，因其对于人身不具有侵犯性，可以在认证客体没 有察觉的情况下完成识别、认证过程，从而受到研究人员的广泛关注。目前也已出现部分商 业化的人脸识别系统。但是，当成像条件不确定时，如不同的光照条件、不同的姿态，人脸 识别系统的性能可能骤降到60% 70%，在许多实际应用条件下，各识别系统的性能往往 达不到50%。因此，消除不同光照和姿态对于人脸识别的影响，成为亟待解决的主要问题， 针对光照和姿态的影响，早期研究人员从二维的方法入手解决，如多视图方法。这类方法虽 然能在一定程度上减少光照和姿态的影响，但考虑到光照和姿态对于人脸识别的影响，主要 是与人脸的三维形状、光照反射率等人脸内在属性相关，因此从三维方法入手是解决光照和 姿态问题的根本方法，目前三维人脸识别在国内外已经成为研究的热点。三维人脸识别主要 包括特定人脸三维形状的重建和识别。其中难点是特定人脸三维形状的重建，目前比较流行 的人脸三维形状的重建按照数据的来源分为基于三维散乱点数据的三维重建和基于图像的三 维重建两类，而如何将通用三维人脸模型自动调整到场景中的具体人脸上是特定人脸三维形 状的重建的一个关键问题。
现在通常使用的三维人脸模型的调整方法有
(1) 基于三维散乱点数据的三维模型调整方法。此方法先用三维扫描仪获取脸部三维散 乱点数据，然后处理脸部三维散乱点数据以获取脸部关键特征点的三维数据，然后再用获取 的脸部关键特征点三维数据来调整通用三维人脸模型。这种方法虽然精度高，但是需要昂贵 的三维扫描设备，且计算量非常大，不适合实际应用场合。详见文献A-NasserAnsari， "3D Face Mesh Modeling from Range Images for 3D Face Recognition" Proceeding of正EE ICIP,pp.509-512,2007。
(2) 基于图像的三维模型调整方法。按照算法中用到的二维图像的数目的不同，可以基 于图像的模型调整方法分为基于单幅、多幅和序列图像的三维模型调整。这类方法的主要思 想是通过处理二维人脸图像来获取人脸图像的三维数据，然后通过获取的三维数据来调整通 用三维模型。此方法具有运算量小的优点，并且兼顾了成本和精度，只要一般的照相机便可 满足应用的需要。详见文献R. Lengagne， P. Fua, and O. Monga, "3D Face Modeling fromStereo and differential Constraints" , Proc. ICAFGR, April 1998, pp. 148-153.
发明内容
本发明提供一种通用三维人脸模型调整方法，该方法基于通用三维人脸模型，利用两张 正交的二维人脸图像，通过估算两张正交人脸图像中人脸特征点的三维坐标来调整三维人脸 模型，最终得到三维特定人脸模型。
为了方便地描述本发明内容，首先对一些术语进行定义。
定义1:通用三维人脸模型。为了计算简便，在本发明中使用的通用三维人脸模型是
Candide—3模型。Candide—3模型是一种参数化的模型，它由113个顶点和168个三角面片组 成。每个顶点f由其对应的三个坐标值;c,.， ；;,， z,表示，即P, = (XpX,z,f ， 1^/^113，所有
113个顶点的三维数据串接而成矩阵Q来表示整个模型，即(？ = (&^2,..《,...&13)。
定义2:人脸轮廓。人脸轮廓包括人脸脸型的轮廓，描述眼睛、鼻子、嘴巴等形状的轮 廓。 一个人的人脸在人的一生中面容会苍老，但是大致的轮廓几乎不会发生改变，不同人的 轮廓是不一样的。
定义3:人脸特征点。人脸特征点是指能够表征人脸形状和五官形状的外围轮廓上的一 些离散点。
定义4:模型点。模型点指的是组成Candide—3模型的113个顶点。 定义5:奇异值分解。mxw阶矩阵A可以写成A二USV'的形式，U为m阶正交阵，V为 n阶正交阵，S-cZ/a^o^o^.^ov),", >0(/ = l,.."r),r = ra"A:(^) ， U和V中分别是A的奇异
向量，而S是由A的奇异值所组成的对角阵。奇异值分解和特征值问题是紧密联系的，AA'的 正交单位特征向量组成U ，特征值组成S'S ， AA'的正交单位特征向量组成V ，特征值(与AA' 相同)组成S'S，奇异值分解提供了一些关于A的信息，例如非零奇异值的数目(S的阶数) 和A的秩相同， 一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。
定义6:主动形状模型。主动形状模型是一个统计的可变形模型，能够精确的定位人脸 特征点。
本发明技术方案如下
一种通用三维人脸模型的人脸模型调整方法，如图1所示，包括下述步骤 步骤1:对采集的两张正交人脸图像分别进行基于肤色模型的人脸检测。 首先利用肤色像素的连通性分割区域，然后使用椭圆拟合各个区域，根据椭圆长短轴的 比例判断其是否为人脸区域，如图2所示。 步骤2:人脸关键特征点定位。对步骤1中检测到的两张正交人脸图像的人脸区域，采用主动形状模型进行人脸关键特 征点的定位，如图3所示，具体包括以下分步骤
步骤2-1:对人脸图像库中的每张人脸图像进行特征点手工标定，得到每张人脸图像的 特征点向量(即一个形状样本)，所有人脸图像的特征点向量组成一个特征点矩阵(即形状样 本集)。
步骤2-2:形状样本集的对齐。用Procrustes方法来对齐形状样本集中的所有形状样本。 步骤2-3:形状模型的建立。对所有对齐后的形状样本做主成分分析，得到形状的变化 从而建立形状模型。
步骤2-4:局部灰度模型的建立。为形状模型上的每个点建立局部灰度导数模型。 步骤2-5:基于步骤2t3所得的形状模型和步骤2-4所得的局部灰度模型组成的主动形 状模型，对步骤l所得的人脸区域进行人脸特征点定位。 步骤3:人脸特征点三维坐标的获取。
由步骤2-5所得的正面人脸图像的人脸特征点坐标为A7 ^[Xp^:T ，侧面人脸图像的相 应人脸特征点坐标为义，=[>>、]2';因为正面输入图像和侧面输入图像是正交图像，有
々=力，所以得到该人脸特征点的三维坐标为《[x,，々,、:r。
步骤4:对通用三维人脸模型进行全局调整，如图4所示。
首先针对正面人脸图像进行全局调整。通过旋转、平移、縮放三种变换，使通用三维人 脸模型上与人脸特征点相对应的顶点在x-少平面上的投影与输入人脸图像中估计到的人脸
特征点相吻合。iV个人脸特征点的三维坐标数据组成一个7Vx3的矩阵P,，通用三维人脸模型
上与人脸特征点相对应的iV个顶点的三维坐标数据组成一个ATx3的矩阵PM。具体包括以下
分步骤
步骤4-l:中心化P,和Pm。对P,和PM矩阵的每一列求平均值，然后将P,和Pm中的毎一 个元素减去该元素所在列的平均值，得到中心化矩阵P;和PM 。 步骤4-2:归一化P:和PM，得到归一化矩阵P;'和PM。
步骤4-3:令A二P^Pm，对矩阵A进行奇异值分解，得到A-USVT的形式，其中U为" 阶正交阵，V为n阶正交阵，S是由A的奇异值所组成的对角阵。 步骤4-4:计算旋转矩阵R = Vlf 。步骤4-5:计算縮放因子^ZSxlP,'ll/IPMl，其中ll表示矩阵求模运算。 步骤4-6:计算平移向量T =五(P。 -S. ￡(PM) R 。
步骤4-7:采用縮放因子S、旋转矩阵R和平移向量T来调整通用三维人脸模型上的所有 顶点，得到全局调整后的通用三维人脸模型顶点矩阵P，具体全局调整公式为 P = S PM R + T。
然后针对侧面人脸图像进行全局调整。通过旋转、平移、縮放三种变换，使通用三维人 脸模型上与人脸特征点相对应的顶点在y-z平面上的投影与输入人脸图像中估计到的人脸
特征点相吻合，具体方法如步骤4-l至步骤4-7。 步骤5:对通用三维人脸模型进行局部调整。
为了使通用三维人脸模型更加接近三维特定人脸模型，需要对全局调整过后的模型进行 局部调整。模型的局部调整是对人脸中关键器官的调整，包括正面人脸图像中关键器官的调 整和侧面人脸图像中关键器官的调整。
首先对正面人脸图像中关键器官进行调整，具体包括以下分步骤
步骤5-l:眼睛的局部调整。将全局调整过的通用三维人脸模型旋转到标准正面，然后将
模型投影到x-y平面上。设通用三维人脸模型上左眼睛的左眼角顶点A在x-y平面上的投
影坐标为(x,，力)，模型上右眼睛的右眼角的顶点A在Jc-y平面上的投影坐标为(X2,;g。由
人脸眼睛的构造特征，左眼睛的左眼角的>>坐标应该和右眼睛的右眼角的顶点的>>坐标相等，
因此可以将/V A点的坐标调整为","+^)/2)和(X2,(乂 +力)/2)。按照上述方法，调整模
型上其它眼睛顶点的坐标。
步骤5-2:嘴巴和鼻子的调整。由人脸的对称性可知，在通用三维人脸模型中，与嘴巴和
鼻子特征点相对应的模型顶点在x-y平面上的投影以x-(x,+x》/2为对称轴，其中;c,， jc,分
别为三维人脸模型上左眼睛的左眼角的顶点的横坐标，模型上右眼睛的右眼角的顶点的横坐 标。设模型上任意一个嘴巴顶点m,在x-j平面上的投影坐标为(^,力)，在模型上与之相对称
的顶点附2在;c-j平面上的投影坐标为(X,力)，因为w,和附2以x:(X+;c2)/2为对称，所以顶
点^和附2的坐标应调整为(x, +x2 -jc4,03 +_y4)/2)和(x4,Cy3 + y4)/2)。根据投影顶点和投影点
之间的几何关系，我们可以调整与^和^相对应的模型顶点的坐标。按照上述方法，调整模
型上其他嘴巴和鼻子顶点的坐标。需要说明的是
1、 本专利中公式中的黑体大写字母均表示是矩阵或向量，其它的为标量。
2、 步骤2参考经典的主动形状模型算法。
3、 步骤2-1中的Procrustes分析方法可参考Amy Ross的论文Procrustes Analysis。 本发明的创新之处在于
本发明将主动形状模型、Procrustes分析和人脸的对称性结构特征应用到通用三维人脸模 型的调整过程中。用主动形状模型估计脸部特征点，然后通过Procrustes分析和人脸的对称 性结构特征来调整三维人脸模型。与一般的基于图像的方法相比较而言，本发明中的方法不 仅提高了模型调整的准确性，并且速度也在一定程度上有所提高，在基于图像的三维人脸重 建中具有很强的通用性。
图1是本发明的通用三维人脸线框模型调整方法的流程示意图。 图2是人脸检测流程示意图。 图3是人脸特征点定位流程示意图。 图4是通用三维人脸线框模型的全局调整流程示意图。
具体实施例方式
采用本发明的方法，首先在Matlab平台上进行算法的仿真，然后用C语言进行系统软件 的编程。通过大量的实验证明，与传统的方法比较而言，本算法所得到的三维特定人脸模型 更加准确，且速度也有所提高。
综上所述，用本发明中的方法，能够快速准确的对三维人脸模型进行自动调整，从而获 取三维特定人脸模型。
权利要求
1、一种通用三维人脸模型的人脸模型调整方法，包括下述步骤步骤1对采集的两张正交人脸图像分别进行基于肤色模型的人脸检测；首先利用肤色像素的连通性分割区域，然后使用椭圆拟合各个区域，根据椭圆长短轴的比例判断其是否为人脸区域；。步骤2人脸关键特征点定位；对步骤1中检测到的两张正交人脸图像的人脸区域，采用主动形状模型进行人脸关键特征点的定位，具体包括以下分步骤步骤2-1对人脸图像库中的每张人脸图像进行特征点手工标定，得到每张人脸图像的特征点向量，即一个形状样本；所有人脸图像的特征点向量组成一个特征点矩阵，即形状样本集；步骤2-2形状样本集的对齐；用Procrustes方法来对齐形状样本集中的所有形状样本；步骤2-3形状模型的建立；对所有对齐后的形状样本做主成分分析，得到形状的变化从而建立形状模型；步骤2-4局部灰度模型的建立；为形状模型上的每个点建立局部灰度导数模型；步骤2-5基于步骤2-3所得的形状模型和步骤2-4所得的局部灰度模型组成的主动形状模型，对步骤1所得的人脸区域进行人脸特征点定位；步骤3人脸特征点三维坐标的获取；由步骤2-5所得的正面人脸图像的人脸特征点坐标为Xf＝[xf，yf]T，侧面人脸图像的相应人脸特征点坐标为Xp＝[yp，zp]T；因为正面输入图像和侧面输入图像是正交图像，有yf＝yp，所以得到该人脸特征点的三维坐标为Pi＝[xf，yf，zp]T；步骤4对通用三维人脸模型进行全局调整；首先针对正面人脸图像进行全局调整；通过旋转、平移、缩放三种变换，使通用三维人脸模型上与人脸特征点相对应的顶点在x-y平面上的投影与输入人脸图像中估计到的人脸特征点相吻合；N个人脸特征点的三维坐标数据组成一个N×3的矩阵PI，通用三维人脸模型上与人脸特征点相对应的N个顶点的三维坐标数据组成一个N×3的矩阵PM；具体包括以下分步骤步骤4-1中心化PI和PM；对PI和PM矩阵的每一列求平均值，然后将PI和PM中的每一个元素减去该元素所在列的平均值，得到中心化矩阵P′I和P′M；步骤4-2归一化P′I和P′M，得到归一化矩阵P″I和P″M；步骤4-3令A＝P″ITP″M，对矩阵A进行奇异值分解，得到A＝USVT的形式，其中U为n阶正交阵，V为n阶正交阵，S是由A的奇异值所组成的对角阵；步骤4-4计算旋转矩阵R＝VUT；步骤4-5计算缩放因子S＝∑S×||P″I||/||P″M||，其中||·||表示矩阵求模运算；步骤4-6计算平移向量T＝E(P″I)-S·E(P″M)·R；步骤4-7采用缩放因子S、旋转矩阵R和平移向量T来调整通用三维人脸模型上的所有顶点，得到全局调整后的通用三维人脸模型顶点矩阵P，具体全局调整公式为P＝S·PM·R+T；然后针对侧面人脸图像进行全局调整。通过旋转、平移、缩放三种变换，使通用三维人脸模型上与人脸特征点相对应的顶点在y-z平面上的投影与输入人脸图像中估计到的人脸特征点相吻合，具体方法如步骤4-1至步骤4-7；步骤5对通用三维人脸模型进行局部调整；为了使通用三维人脸模型更加接近三维特定人脸模型，需要对全局调整过后的模型进行局部调整；模型的局部调整是对人脸中关键器官的调整，包括正面人脸图像中关键器官的调整和侧面人脸图像中关键器官的调整；首先对正面人脸图像中关键器官进行调整，具体包括以下分步骤步骤5-1眼睛的局部调整；将全局调整过的通用三维人脸模型旋转到标准正面，然后将模型投影到x-y平面上；设通用三维人脸模型上左眼睛的左眼角顶点p1在x-y平面上的投影坐标为(x1，y1)，模型上右眼睛的右眼角的顶点p2在x-y平面上的投影坐标为(x2，y2)；由人脸眼睛的构造特征，左眼睛的左眼角的y坐标应该和右眼睛的右眼角的顶点的y坐标相等，因此可以将p1，p2点的坐标调整为(x1，(y1+y2)/2)和(x2，(y1+y2)/2)；按照上述方法，调整模型上其它眼睛顶点的坐标；步骤5-2嘴巴和鼻子的调整；由人脸的对称性可知，在通用三维人脸模型中，与嘴巴和鼻子特征点相对应的模型顶点在x-y平面上的投影以x＝(x1+x2)/2为对称轴，其中x1，x2分别为三维人脸模型上左眼睛的左眼角的顶点的横坐标，模型上右眼睛的右眼角的顶点的横坐标；设模型上任意一个嘴巴顶点m1在x-y平面上的投影坐标为(x3，y3)，在模型上与之相对称的顶点m2在x-y平面上的投影坐标为(x4，y4)，因为m1和m2以x＝(x1+x2)/2为对称，所以顶点m1和m2的坐标应调整为(x1+x2-x4，(y3+y4)/2)和(x4，(y3+y4)/2)；根据投影顶点和投影点之间的几何关系，我们可以调整与m1和m2相对应的模型顶点的坐标；按照上述方法，调整模型上其他嘴巴和鼻子顶点的坐标。
全文摘要
一种通用三维人脸模型的调整方法，属于计算机图像处理技术领域，主要涉及到生物特征识别中个的三维人脸识别技术中的三维人脸重建技术。本发明基于通用三维人脸模型，利用两张正交的二维人脸图像，通过估算两张正交人脸图像中人脸特征点的三维坐标来调整三维人脸模型，最终得到三维特定人脸模型。本发明将主动形状模型、Procrustes分析和人脸的对称性结构特征应用到通用三维人脸模型的调整过程中。用主动形状模型估计脸部特征点，然后通过Procrustes分析和人脸的对称性结构特征来调整三维人脸模型。与一般的基于图像的方法相比较而言，本发明中的方法不仅提高了模型调整的准确性，并且速度也在一定程度上有所提高，在基于图像的三维人脸重建中具有很强的通用性。
文档编号G06T15/00GK101593365SQ20091005966
公开日2009年12月2日 申请日期2009年6月19日 优先权日2009年6月19日
发明者孙成志, 梅 解 申请人:电子科技大学