专利名称：基于条件外观模型的人脸特征点自动标定方法
技术领域：
本发明属于图像分析技术领域，具体地说，属于一种基于条件外观模型的人脸特征点自动标定方法。
背景技术：
在计算机视觉研究领域，对目标物体进行定位与描述是一个备受关注的研究课题，从图像中找到感兴趣的目标区域并借助计算机进行解释是计算机视觉研究中的一个基本问题，也是将计算机视觉技术应用于工业检测、目标识别和图像处理等领域中一个必不可少的重要步骤。这一技术已得到众多研究工作者的注意。对于人脸图像，虽然人类可以从一幅入脸图像中轻松地辨别出面部特征点的准确位置，但是对于计算机而言却并非一件易事。人脸特征点的定位是人脸识别系统中的一项关键技术，对一个自动人脸识别系统来说，面部特征点定位的精确度和鲁棒性十分重要，而且精确快速的特征点定位跟踪在三维人脸的重建，姿态估计以及视点跟踪等方面也有着重要的应用。利用主动外观模型(Active Appearance Model7AAM)方法进行人脸特征点进行定位是近年来关注和研究的热点，它于1998年由Edwards等人首次提出的，并在人脸和其他非刚体的配准与识别中得到了广泛的应用。AAM算法是对主动形状模型方法(Active Shape Model, ASM)的一种改进，与ASM相比，它考虑了全局信息的约束，采用形状和纹理融合的统计约束，即统计表观约束。并且，AAM的搜索原理借鉴了基于合成的分析技术(analysis-by-synthesis, ABS)的主要思想，通过对模型中参数的不断调整而使模型逐渐逼近实际的输入模型。在AAM方法的应用中，一般是采用统计分析的方法，对一组手工完成标定的人脸图像进行训练，得到人脸的形状及其外观模型，并通过不断的改变形状和外观参数使生成的虚拟人脸图像与输入图像之间的差值在均方意义上达到最小，从而达到人脸的精确定位。AAM的配准算法假定误差图像与模型参数的增量之间是满足一种简单的线性关系，这个线性关系可以通过回归的方法或是其他的数值方法计算得到，但是实际上这种假设并不准确，Baker等人在文献[117]中举出了反例，而且利用这种差值线性不断更新模型参数的过程中，每次迭代都将产生新的纹理，使算法计算速度大大降低。因此，针对这些缺点，Baker等人又在Lucas-Kanade算法的基础上提出了 AAM反向合成匹配算法(InverseCompositional AAM)，该算法不再使用AAM中假设的简单线性关系，不是进行简单的数学估计，而是遵循严格的数学推导，采用的参数更新方法也在原有的简单叠加的基础上使用了新的更新策略，因此，算法具有了更高的计算精度和效率。此外，AAM算法的拟合效率与模型初始位置的给定有着密切的关系，而手动进行训练图片的特征点标定不但效率低，而且准确率也并不理想，因此初始特征点的给定也是影响算法鲁棒性和速度的关键因素，能够自动进行人脸特征点的自动准确标定可以使算法的效率及精确度大大提高。
发明内容
本发明的目的在于针对现有基于外观模型进行人脸特征点自动标定方法的不足，提出了一种条件型主动外观模型及其相应的反向合成匹配算法。算法假设已知正面人脸的关键特征点，将原始的AAM反向合成匹配算法形状模型与基本形状的对应关系，演变为任意姿态人脸关键特征点与正面人脸的关键特征点之间的对应关系，通过建立形状模型，并根据反向合成拟合算法，对模型参数不断迭代优化，最后得到精确的任意姿态人脸特征点。算法中初始的人脸标定点由核岭回归算法(Kernel Ridge Regression,KRR)学习得至IJ，KRR算法的核心在于建立离散特征点对应与结构化标定点之间的映射关系，其中，离散对应关系是通过任意姿态人脸与正面人脸的图像特征匹配得到。本发明所解决的技术方案是假设某个体正面人脸已经标定的条件下，首先建立正面人脸与侧面人脸之间的离散特征点对应，通过回归算法获得的离散特征点与结构化标 定点之间的映射关系，获得侧面人脸的初始化标定结果。然后，建立侧面人脸关键特征点与正面人脸关键特征点之间的对应关系，建立条件型形状模型，并根据反向合成拟合算法，通过对模型参数的不断迭代优化，得到最终的标定结果。本发明技术方案的具体实现步骤如下I.在图像库中选取一系列正面及其侧面人脸图像，训练建立离散特征点与标定结构点之间空间位置的函数映射关系/::2.提取正面人脸及其侧面人脸图像的SIFT特征，利用基于均衡化概率模型的特征匹配方法进行匹配，得到匹配对；3.根据步骤⑴中得到的KRR参数以及步骤⑵中得到的匹配点k，建立测试阶段尚散特征点空间位置矢量Νχ, Jk作为输入送入f函数，输出与之相对应的闻分辨率系数Nyj.k，即得到侧面人脸的自动标定点；4.将步骤(3)中得到的侧面人脸标定点作为算法的初始信息，进行假设正面入脸关键特征点已知情况下的侧面人脸标定，建立条件式形状模型，即建立起侧
/ I
脸形状数据Sf与正脸形状数据Sp之间的映射关系，其中Pi为形状参数，η个形状向量Si是主成分分析得到的η个最大特征值所对应的向量；5.根据反向合成拟合算法，对步骤(4)中的模型参数不断迭代优化，最后得到精确的侧面人脸特征点，完成侧面人脸特征点的自动标定。上述的基于条件外观模型的人脸特征点自动标注方法中，步骤I中的具体实现过程如下(I)在正面人脸与侧面人脸间通过建立均衡化概率模型的匹配方法得到散乱的匹配点；(2)根据散乱匹配点，从正面和侧面人脸图像中获取KRR训练数据
Wv，其中 M = 38，N = 2，i = 1，2，…，I ;1 为训练样本个数；(3)根据训练库中的人脸标定数据=，计算核函数矩阵K，其中
权利要求
1.一种基于条件外观模型的人脸特征点自动标定方法，其特征在于假设已知正面人脸的关键特征点，提出了一种条件型主动外观模型(Conditional Active AppearanceModel, CAAM)，将原始的AAM反向合成匹配算法形状模型与基本形状的对应关系，演变为任意姿态人脸关键特征点与正面人脸的关键特征点之间的对应关系，通过建立形状模型，并根据反向合成拟合算法，对模型参数不断迭代优化，最后得到精确的任意姿态人脸特征点。算法中初始的人脸标定点由核岭回归算法(Kernel Ridge Regression, KRR)学习得到，其具体实现步骤如下 (1)在图像库中选取一系列正面及其侧面人脸图像，训练建立离散特征点与标定结构点之间空间位置的函数映射关系
2.根据权利要求I所述的基于条件外观模型的人脸特征点自动标注方法，其中步骤I按如下进行 (1)在正面人脸与侧面人脸间通过建立均衡化概率模型的匹配方法得到散乱的匹配占. (2)限据散乱匹配点，从正面和侧面人脸图像中获取KRR训练数据
3.根据权利要求I所述的基于条件外观模型的人脸特征点自动标注方法，其中步骤2及步骤I中的子步骤(I)按如下进行(1)提取图像的SIFT特征，并利用最近邻方法初步确定对应关系；(2)求解邻接矩阵W，它反映了候选匹配对In=(xn, xn,)和Im = (xffl, xffl,)之间的几何仿射关系，其n行m列元素为
4.根据权利要求I所述的基于条件外观模型的人脸特征点自动标注方法，步骤5中的 具体实现过程如下前期计算(3)计算正面人脸的梯度图像W。；(4)估计
5.根据权利要求I所述的基于条件外观模型的人脸特征点自动标注方法，步骤I中的 分步骤(2)按如下进行(I)设P为正脸中的当前标定点，O为正脸中当前k个匹配点中心，o'为与其对应的侧3脸中当前k个匹配点中心； (2)计算从匹配点i(i的值为匹配点个数)到匹配点的中心点0的距离以及直线oi与X轴之间的夹角(屯，0J，以及从匹配点i'到匹配点的中心点o'的距离以及直线o' i'与X轴之间的夹角(d' i，0 ' J ; (3)计算正脸中从标定点p到中心点0的距离以及直线op与X轴之间的夹角(屯，S1)； (4)计算侧脸中从标定点p'到中心点o'的距离以及直线o'p/与X轴之间的夹角(dr，9 r)；(5)形成相对于标定点P的输入训练数据Nx= ((I1, 0 1；. . . , d6, 0 6, d' 1； 0 ' j,...,(T 6, 0 ' 6, d1； Q1)以及相应的输出训练数据Nv = (Ad, A 0),其中Ad = Ciyd1, A 0=0 r_ 0 I ； (6)将p和p'作为新的匹配点加入匹配点集合，不断迭代循环，直到遍历所有的标定点。
6.根据权利要求I所述的基于条件外观模型的人脸特征点自动标注方法，其中步骤2中的子步骤(3)按如下进行 (1)计算
全文摘要
本发明公开了一种基于条件外观模型的人脸特征自动标定方法，属计算机视觉领域。该方法的实现过程为假设正面人脸标定已知，首先建立正脸与侧脸的离散特征点对应，通过回归算法获得的离散特征点与结构化标定点之间的映射关系，获得侧面人脸的初始化标定结果。然后，建立侧脸标定点与正脸标定点之间的条件模型，并根据反向合成算法，对模型参数的不断迭代优化，得到最终标定结果。本发明通过核岭回归建立离散特征点与结构化标定点的空间映射以获取人脸特征的初始标定，降低后续迭代次数，提高标定精度。设计条件外观模型及其反向合成迭代算法，避免对外观变形的搜索，提高搜索效率。与传统主动外观模型的比较，本发明的标定方法标定结果更为准确。
文档编号G06K9/62GK102663351SQ20121008029
公开日2012年9月12日 申请日期2012年3月16日 优先权日2012年3月16日
发明者化春键, 张龙媛, 艾春璐, 陈莹 申请人:江南大学