复杂背景下基于主动形状模型和poem纹理模型的人脸特征定位方法
【技术领域】
[0001]本发明属于模式识别技术领域，涉及一种复杂背景下基于主动形状模型和POEM纹理模型的人脸特征定位方法。
【背景技术】
[0002] 近年来，人脸识别因其具有采集设备简单，过程方便、快捷，效果直观而得到了大 量学者的关注。它涉及到模式识别、图像处理、计算机视觉、生理学、心理学及认知学等诸多 学科的知识，并与基于其他生物特征的身份鉴别方法以及计算机人机感知交互的研宄领域 都有密切联系。人脸识别过程一般分为人脸检测、特征定位与提取和分类识别三个步骤。其 中，人脸特征定位是整个人脸识别方法的基础，其定位的精度直接影响着人脸识别的结果。 随着研宄的深入，人脸特征定位方法也被运用到人脸重建、表情识别、人类心理状态分析以 及驾驶员疲劳状态分析中，因此具有非常重要的研宄意义。
[0003]然而，人脸特征定位也面临着许多挑战，例如姿态变化带来的视点变化、光照变化 对像素值引起的复杂非线性变化、表情变化产生的大幅度形变等因素均会对人脸特征定位 结果有所影响。
[0004]目前，基于模型的方法是主流的人脸特征定位方法之一，其中，由Cootes等人提 出的主动形状模型（Activeshapemodel,ASM)因其具有较快的定位速度以及较好的定位 精确性，备受关注。ASM是一种基于统计学模型的灰度和形状可分离的可变形模型，其核 心算法可分为全局形状和局部纹理两个子模型。然而，当人脸有姿态、表情或光照变化时， ASM的定位精度将会受到影响，主要体现在三个方面：1)受搜索的初始形状影响较大，当 初始形状与目标形状相差甚远时，将会得到错误的目标形状；2)用灰度信息来表示局部纹 理特征，仅用特征点法线上的灰度信息来表示该点的纹理信息，忽略了其他方法的信息，对 光照、噪声等抗噪性较弱差；3)容易受到噪声和局部形变的影响，当人脸有姿态、表情变化 时，容易陷入局部最小的情况。
[0005]POEM(PatternsofOrientedEdgeMagnituedes)是Vu等人提出的一种稳健、快 速的局部纹理算子，它是基于像素点梯度大小及方向的纹理方法，它不仅能够提取特征点 周围不同方向的纹理信息，同时它能依靠改变需计算的矩形块大小来提取多分辨率下的纹 理信息，因此，它更能够有效地应对遮挡、光照、姿态等变化对人脸特征定位的干扰。
【发明内容】
[0006]有鉴于此，本发明的目的在于提供一种复杂背景下基于主动形状模型和POEM纹 理模型的人脸特征定位方法，该方法通过模型选择因子自动选择最符合待定位人脸的全局 模型，并优化初始形状，然后加入了包含有方向信息的POEM局部纹理算子，并针对定位效 果相对较差的局部器官或轮廓进行了二次定位，从而使得人脸在复杂情况（例如有姿态、 表情、光照变化）下也能进行精确定位。
[0007] 为达到上述目的，本发明提供如下技术方案：
[0008] -种复杂背景下基于主动形状模型和POEM纹理模型的人脸特征定位方法，包括 以下步骤：
[0009] 1)以待测人脸图像作为测试集，选取部分已知人脸库作为训练集，对训练集进行 手工标定人脸特征点；
[0010] 2)在步骤1)中标定特征点的基础上，根据不同的人脸姿态，分别将标准化后的训 练数据进行统计，得到全局左偏形状、全局正面形状以及全局右偏形状三种模型；全局形状 模型公式为：S~SfPb，其中S即为得到的人脸形状，Stl为人脸的初始形状，P为利用PCA 降维时得到的特征向量，b为形状参数，Pb共同决定了平均形状可能的变化；
[0011] 3)在步骤2)中标定特征点的基础上，计算在所有样本中，每个特征点的POEM纹理 直方图的平均值U/)，其中w表示特征点块的大小为w*w的正方形块，L代表POEM编码过程中圆的直径，n代表编码过程中特征点块的个数；
[0012] 4)在定位阶段，通过计算待测人脸的形状模型选择因子d，自动选择合适的形状 模型，得到每个特征点的初始位置，并构成初始人脸形状；
[0013] 5)在步骤4)的基础上，计算测试样本中每个特征点附近候选点在各方向上的
【主权项】
1. 一种复杂背景下基于主动形状模型和POEM纹理模型的人脸特征定位方法，其特征 在于；包括W下步骤： 1)W待测人脸图像作为测试集，选取部分已知人脸库作为训练集，对训练集进行手工 标定人脸特征点； 。在步骤1)中标定特征点的基础上，根据不同的人脸姿态，分别将标准化后的训练数 据进行统计，得到全局左偏形状、全局正面形状W及全局右偏形状S种模型；全局形状模型 公式为；S>或+Pb，其中S即为得到的人脸形状，S。为人脸的初始形状，P为利用PCA降维 时得到的特征向量，b为形状参数，化共同决定了平均形状可能的变化； 3) 在步骤2)中标定特征点的基础上，计算在所有样本中，每个特征点的POEM纹理直方 图的平均值(的，其中W表示特征点块的大小为的正方形块，L代表POEM编码 过程中圆的直径，n代表编码过程中特征点块的个数； 4) 在定位阶段，通过计算待测人脸的形状模型选择因子d，自动选择合适的形状模型， 得到每个特征点的初始位置，并构成初始人脸形状； 5) 在步骤4)的基础上，计算测试样本中每个特征点附近候选点在各方向上的POEM纹 理直方图户()反'V/,,,."(y) =I尸OE小/"I. ? 6) 通过马氏距离计算每个特征点候选点与目标点的相似度；其中马氏距离公式为
,S。为协方差矩阵 的逆；马氏距离越小，相似度越大； 7) 将初始人脸加载到模型中进行迭代捜索匹配，将全局形状与每个特征点的最佳位置 进行综合考虑，得到第一次人脸特征定位结果； 8) 根据欧式距長
计算各器官的误差值，其中， N为单幅图像中标记点的个数，（Xp，yp)为图像中的第P个手工标记点，（x'p，y'p)为算法定 位的相应目标点；对定位效果略差的局部器官或人脸轮廓，再进行一次上述步骤，进行二次 定位，得到最终人脸定位结果。
2. 根据权利要求1所述的一种复杂背景下基于主动形状模型和POEM纹理模型的人脸 特征定位方法，其特征在于；在步骤3)中，各个特征标定点的POEM级联直方图的平均值的 求取方法为： 31) 化每个特征点q为中屯、像素点，取一个w*w的块区域，计算块区域里每个像素点的 梯度大小及方向0 1; 32) 根据公式（1)，求取人脸每个特征点在不同方向上的POEM值，W每个特征点为中 屯、，在一个直径为L的圆形区域，取n个特征点块进行编码，编码过程类似于LBP的编码过 程： (1) 其中，Ip、4,(j= 1，2,. . .，8)分别为中屯、像素点及其邻域像素点，S(.，.）为相似度 函数，f是一个二值函数； 33) 根据公式（2)，将该特征点q的m个方向的POEM值级联，并得到该特征点的纹理特 征级联直方图：
(2) 34) 根据公式（3)求取M个样本中特征点q的POEM平均级联直方图：
(3)。
3. 根据权利要求1所述的一种复杂背景下基于主动形状模型和POEM纹理模型的人脸 特征定位方法，其特征在于：步骤1)中所述的人脸数据库包括IMMXMUPIE、BioIDW及LFW 人脸库。
4. 根据权利要求1所述的一种复杂背景下基于主动形状模型和POEM纹理模型的人脸 特征定位方法，其特征在于：步骤4)中的形状模型选择因子d的求取方法为： 41) 利用AdaBoost算法定位双眼的位置； 42) 根据垂直混合投影公式（4)和水平混合投影公式（5)求得两鬟的位置：
其中，o'v(x)，〇'h(y)，M'v(x)，M'h(y)分别是 〇v(x), 〇h(y)，Mv(x)，Mh(y)规范化到 [0,U区间后的结果，Mv(x)，Mh(y)为平均投影函数，CT,2切和。，乂V)分别为平均投影函数在 区间[Xi，X2]和[yi，y2]内的垂直方差投影函数和水平方差投影函数； 43) 根据公式化），通过左眼到左鬟的距离liW及右眼到右鬟12的距离，求取形状模型 选择因子d; d二心 (6) 若d<a，说明人脸姿态左偏，选择左偏形状模型作为全局形状模型；若d=a，说明 人脸为正面，选择正面形状模型作为全局形状模型，同样的，若d>a，人脸姿态右偏，选择 右偏形状模型作为全局形状模型。
【专利摘要】本发明涉及一种复杂背景下基于主动形状模型和POEM纹理模型的人脸特征定位方法，属于模式识别技术领域。本方法包括：对训练集进行特征点标定；对训练样本建立全局形状模型；对每个标定特征点建立POEM纹理直方图；根据形状模型选择因子选择模型的初始人脸形状；计算测试图像中每个特征点候选点的POEM直方图；对直方图采用马氏距离函数来计算候选点与目标点的相似度；将初始人脸加载到模型中进行迭代搜索匹配；对定位效果略差的局部器官或人脸轮廓进行二次定位。本发明提供的人脸特征定位方法提高了对复杂环境(例如：姿态、光照、表情)变化的鲁棒性，获得了较高的定位精度，具有较好的应用前景。
【IPC分类】G06K9-00
【公开号】CN104794441
【申请号】CN201510178003
【发明人】李伟生, 彭莱, 周丽芳
【申请人】重庆邮电大学
【公开日】2015年7月22日
【申请日】2015年4月15日