基于多特征点集活动形状模型的头部姿态估计方法

基于多特征点集活动形状模型的头部姿态估计方法
【专利摘要】本发明涉及一种基于多特征点集活动形状模型的头部姿态估计方法。本发明首先，训练人脸样本分别得到ASM全局形状模型和局部纹理模型；其次，根据训练得到的模型对获得的人脸图像序列进行人脸特征点拟合，保存特征点坐标，且周期更新基准坐标；然后，计算各个特征点的位移量并统计出超过位移阈值的特征点数；最后，根据统计出的特征点数及位移方向估计出头部姿态。本发明能够降低因少数特征点定位不准对头部姿态估计的影响，同时对光照还具有较强的鲁棒性，能够估计出正面、左转、右转、抬头和低头等多种头部姿态，在智能视频监控、虚拟现实、模式识别以及人机交互等领域具有较大的应用前景。
【专利说明】 基于多特征点集活动形状模型的头部姿态估计方法
【技术领域】
[0001]本发明属于计算机模式识别、计算机视觉和人机交互领域，涉及一种人脸图像的头部姿态估计方法，尤其涉及一种基于多特征点集活动形状模型的头部姿态估计方法。
【背景技术】
[0002]头部姿态蕴含着丰富的人类情感信息，可以很好地表达人类内心深处的真实想法。因此，头部姿态估计在计算机视觉领域有着很大的研究和应用价值，是智能视频监控、虚拟现实、模式识别以及人机交互等领域研究中的重要环节，其姿态估计结果将直接影响到最终系统的稳定性。
[0003]目前要想让计算机具备人一样的识别能力还是很有难度的。在机器视觉中，头部姿态估计要能从数字图像中检测和定位出一个人的头部位置，这需要大量的算法处理过程，才能将图像上的像素特征转变成数据的表现形式。目前，国内外对头部姿态估计的研究提出了众多方法，主要分为二大类:基于图像的方法和基于模型的方法。基于图像方法主要是先通过主元分析或流行学习等算法将人脸图像数据进行降维，再在低维空间对头部姿态进行估计；基于模型方法主要分为模型的训练和搜索两个阶段，将不同头部姿态的训练样本进行形状和纹理特征的参数化，并以参数化模型的方式来表达，然后基于这些特征模型对头部姿态进行估计。
[0004]然而，在这些过程中，由于受到头部姿态千变万化，摄像机的失真、光照等环境因素，还有人物外观和表情以及诸如帽子和眼镜遮挡等因素的影响，特征点的定位往往不够稳定，因而会影响到最终头部姿态估计的准确性。正因为此，头部姿态估计始终是一个极富挑战性的课题。

【发明内容】

[0005]本发明所要解决的技术问题在于提供一种基于多特征点集活动形状模型的头部姿态估计方法，能够降低因少数特征点定位不准对头部姿态估计造成的影响，同时对光照还具有较强的鲁棒性，能够估计出正面、左转、右转、抬头和低头五种头部姿态。
[0006]本发明主要根据活动形状模型(Active Shape Model, ASM)算法拟合的对应人脸特征点集在数帧间的位移量，估计出头部姿态，头部姿态的基本思路是:以首帧拟合的正面人脸特征点作为基准点，先通过判断数帧内所有对应特征点在上下左右四个方向上的位移量大小是否超过设定的位移阈值，再统计超过设定位移阈值的特征点数，若大部分特征点都超过某一方向的位移阈值，则说明头部倾向于向这个方向摆动，否则说明头部还处于正面。
[0007]为了实现最终的头部姿态估计，本发明提供了一种基于多特征点集活动形状模型的头部姿态估计方法，主要包括如下步骤:
[0008]步骤(I)训练ASM模型。训练人脸样本分别得到ASM全局形状模型和局部纹理模型。[0009]步骤(2)采集人脸图像序列。通过光学镜头或CMOS图像传感器组件获取人脸图像序列。
[0010]步骤⑶当前帧数判断。如果当前帧等于I的整数倍，则进入步骤⑷；否则，跳至步骤(2)，I表示帧数。
[0011]步骤(4)拟合人脸特征点。具体是:利用步骤(I)获得的ASM全局形状模型和局部纹理模型对步骤(2)采集的人脸图像序列进行η个人脸特征点拟合，将特征点对应的横、纵坐标记录到数组temp_x[n]和temp_y[n]中。
[0012]步骤(5)更新基准坐标。具体是:如果步骤(7)估计出的姿态为正脸，则根据公式
(I)和(2)更新基准坐标；否则，直接跳到步骤(6)。
[0013]f iducial_x [i] = temp_x [i], i e (0，1，...，n_l) (I)
[0014]f iducial_y [i] = temp_y [i], i e (0，1，...，n_l) (2)
[0015]这里,基准坐标fiducial_x[n]、fiducial_y[n]分别表示更新后的n个正面人脸特征点对应的横、纵坐标。初始化时，将首巾贞拟合得到的η个正面人脸特征点横纵坐标作为
基准坐标。
[0016]步骤(6)计算各个特征点的位移量并统计出超过位移阈值的特征点数。具体是:将步骤(4)中的人脸特征点坐标分别与基准坐标作差得到每个特征点在x、y轴方向上的位移量，若该位移量超过位移阈值Thrtjffsrt，则该方向移动的特征点数加I。
[0017]位移阈值的计算公式为
[0018]Throffset = n Xwidthface (3)
[0019]式中，η是比例因子，当n e [0.08,0.12]时可获得较好效果；Widthfaee是拟合人脸的宽度。
[0020]步骤(7)根据统计出的特征点数及位移方向估计出头部姿态。具体是:若步骤(6)中某方向上统计出的特征点数大于阈值Num，则判断头部往该方向偏转；若特征点数在四个方向上都没有超过该阈值，则判断人脸处于正面。该步结束后，返回步骤(2)。
[0021 ] 阈值Num的计算方法为
[0022]Num = ζ Xn (4)
[0023]式中，η为人脸标定的特征点数，ζ为比例系数。为了获得好的效果，4取0.8。
[0024]本发明的有益效果:利用人脸多特征点集的信息变化来估计头部姿态。也就是说，本发明通过统计超过位移量的特征点数，达到一定阈值时，就可以估计出头部姿态，从而克服单一或少数特征点因环境等因素定位不准而造成的头部姿态错估计，最终提高头部姿态估计的准确率。
【专利附图】

【附图说明】
[0025]图1为本发明方法的流程框图。
[0026]图2为本发明手工标定特征点图。
[0027]图3(a)为本发明头部姿态估计正脸图。
[0028]图3(b)为本发明头部姿态估计左转图。
[0029]图3(c)为本发明头部姿态估计右转图。
[0030]图3(d)为本发明头部姿态估计低头图。[0031]图3(e)为本发明头部姿态估计抬头图。
【具体实施方式】
[0032]以下结合附图对本发明作进一步说明。
[0033]ASM是建立在点分布模型(Point Distribution Model, PDM)的基础上，通过训练图像样本获取样本中特征点分布的统计信息，并且获取特征点允许存在的变化方向，实现在目标图像上寻找对应特征点的位置。训练样本需要手动标记所有的特征点位置，记录特征点的坐标，并且计算每一个特征点所对应的局部灰度模型作为局部特征点调整用的特征向量。再将训练好的模型放在目标图像上，寻找每一个特征点的下一个位置。采用局部灰度模型寻找在当前特征点指定方向上局部灰度模型马氏距离最小的特征点，并作为当前特征点的下一个位置，这个位置称为兴趣点，找到所有兴趣点就可以获得一个搜索的感兴趣形状，然后将当前的模型通过参数调整到感兴趣形状，重复迭代直到实现收敛。
[0034]ASM的优势主要体现在:第一，它是可变性模型，克服了以往刚体模型的缺点，能很好的适应复杂形状的目标定位，有良好的适应性；第二，它是参数化的模型，通过改变参数可以产生一定约束范围内可容许的形状样本，保持形状的特异性；第三，充分利用了物体的纹理信息建立局部纹理模型，再结合全局形状模使得定位更加准确。而本发明综合了 ASM的优势，训练得到全局形状模型和局部纹理模型，有利于下一步头部姿态的准确估计。
[0035]如图1所示，为本发明所述的基于多特征点集ASM的头部姿态估计方法流程框图。本方法的实施主要包括以下六个步骤:(I)训练人脸样本分别得到ASM全局形状模型和局部纹理模型；(2)通过光学镜头或CMOS图像传感器组件获取人脸图像序列；(3)当前帧数判断。如果当前帧等于I的整数倍，则进入⑷；否则，跳至⑵；(4)拟合人脸特征点。利用(I)获得的ASM全局形状模型和局部纹理模型对(2)采集的人脸图像序列进行η个人脸特征点拟合，将特征点对应的横、纵坐标内存中；(5)更新基准坐标。如果(7)估计出的姿态为正脸，则更新基准坐标；否则，进入下一步；(6)计算各个特征点的位移量并统计出超过位移阈值的特征点数；(7)根据统计出的特征点数及位移方向估计出头部姿态，并返回
(2)。下面逐一对各步骤进行详细说明。
[0036]步骤(I):ASM全局形状模型和局部纹理模型的建立。
[0037]训练ASM全局形状模型和局部纹理模型都需要预先知道人脸轮廓信息。因此，本发明选择在眼角、嘴角、眼睛、鼻子、嘴巴和人脸外轮廓边界上手工标定η = 68个特征点，如图2所示。
[0038]本发明的手工标注遵循以下两点原则:1)每幅图像标注的特征点位置必须相同；2)标注特征点的顺序也必须相同。
[0039]这样便得到所有训练样本的样本点集合{XJ {Xi}，则第i个训练样本是
[0040]Xi — (Xi0, yi0, Xji, Yii,...，Xjk) Yik)...，Xi (n-1)) Yifa-1)) ⑴
[0041]其中Xi是一个大的列向量，(xik, yik) < k = O, I,..., n-1 >表示第i个训练样本中按照一定顺序排列的特征点坐标值。
[0042]然后将人脸形状向量进行旋转、缩放和平移操作来实现归一化处理，并通过主元分析(PCA)方法得到最终的全局形状模型m:
【权利要求】
1.基于多特征点集活动形状模型的头部姿态估计方法，其特征在于该方法包括如下步骤: 步骤(1)训练ASM模型:训练人脸样本分别得到ASM全局形状模型和局部纹理模型； 步骤(2)采集人脸图像序列:通过光学镜头或CMOS图像传感器组件获取人脸图像序列； 步骤(3)当前帧数判断:如果当前帧等于I的整数倍，则进入步骤(4);否则，跳至步骤(2), I表示帧数； 步骤(4)拟合人脸特征点:利用步骤(1)获得的ASM全局形状模型和局部纹理模型对步骤(2)采集的人脸图像序列进行η个人脸特征点拟合，将特征点对应的横、纵坐标记录到数组 temp_x [η]和 temp_y [η]中； 步骤(5)更新基准坐标:如果步骤(7)估计出的姿态为正脸，则根据公式(I)和(2)更新基准坐标；否则，直接跳到步骤(6)；
f iducial_x [i] = temp_x [i], i e (0，1，…，n_l) (I)
f iducial_y [i] = temp_y [i], i e (0，1，…，n_l) (2) 这里，基准坐标fiducial_x[n]、fiducial_y [n]分别表示更新后的η个正面人脸特征点对应的横、纵坐标；初始化时，将首帧拟合得到的η个正面人脸特征点横纵坐标作为基准坐标； 步骤(6)计算各个特征点的位移量并统计出超过位移阈值的特征点数:将步骤(4)中的人脸特征点坐标分别与基准坐标作差得到每个特征点在X、y轴方向上的位移量，若该位移量超过位移阈值Thr，则该方向移动的特征点数加I ; 位移阈值的计算公式为:
Throffset = nXwidthface (3) 式中，η是比例因子；widthface是拟合人脸的宽度； 步骤(7)根据统计出的特征点数及位移方向估计出头部姿态:若步骤(6)中某方向上统计出的特征点数大于阈值Num，则判断头部往该方向偏转；若特征点数在四个方向上都没有超过该阈值，则判断人脸处于正面；该步结束后，返回步骤(2); 阈值Num的计算方法为 Num = ζ Xn (4) 式中，η为人脸标定的特征点数，ζ为比例系数。
【文档编号】G06K9/62GK103870843SQ201410107868
【公开日】2014年6月18日 申请日期:2014年3月21日 优先权日:2014年3月21日
【发明者】佘青山, 杨伟健, 陈希豪 申请人:杭州电子科技大学