专利名称：一种人脸跟踪方法
技术领域：
本发明涉及生物特征识别技术领域，尤其涉及一种人脸跟踪方法。
背景技术：
人脸是人的重要信息，是区分不同的人的重要依据。人脸跟踪是在连续的视频序 列中跟踪一个或多个人脸。人脸跟踪在很多场合下都具有非常重要的作用，例如手机彩信中的视频彩信、人 机界面、权限控制、智能监视系统等。跟踪的准确性、精度和鲁棒性问题一直是业界关心的 主要问题。解决人脸跟踪问题的难点很多，如人脸表情变化、人脸的姿态变化、光照变化、面 部遮挡等等。其中，人脸表情与姿态变化是所有人脸跟踪技术的普遍问题。现有技术往往 只能解决两者之一。因此，业界急需一种能够解除人脸表情变化、姿态变化影响的人脸跟踪技术。
发明内容
为弥补现有技术的不足，本发明目的是提供一种人脸跟踪方法，解决人脸表情变 化和姿态变化的影响，提高人脸跟踪的准确性、精度和鲁棒性。为了实现上述目的，本发明的技术方案如下一种人脸跟踪方法，其特征在于，包含离线训练方法和在线跟踪方法；该离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练 方法；该多层结构人脸模型训练方法为该在线跟踪方法提供人脸模型，该离线模板训练方 法为该在线跟踪方法提供人脸特征点离线模板；该多层结构人脸模型训练方法包含如下步骤步骤301，选取适当的人脸图像作 为训练样本；步骤302，对人脸图像的特征点进行标记；步骤3031-3061，得到基准形状模 型；步骤3032-3062，得到全局形状模型；步骤3033-3063，得到局部形状模型。其中，该基准形状模型、该全局形状模型与该局部形状模型的获得方法为用s表示一个人脸形状向量
_4]
权利要求
一种人脸跟踪方法，其特征在于，包含离线训练方法和在线跟踪方法；该离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练方法；该多层结构人脸模型训练方法为该在线跟踪方法提供人脸模型，该离线模板训练方法为该在线跟踪方法提供人脸特征点离线模板；该多层结构人脸模型训练方法包含如下步骤步骤301，选取适当的人脸图像作为训练样本；步骤302，对人脸图像的特征点进行标记；步骤3031 3061，得到基准形状模型；步骤3032 3062，得到全局形状模型；步骤3033 3063，得到局部形状模型。
2.如权利要求1所述的人脸跟踪方法，其特征在于，该基准形状模型、该全局形状模型 与该局部形状模型的获得方法为用s表示一个人脸形状向量s = s +Pb ,其中，；为平均人脸形状；P为一组正交的主形状变化模式；b为形状参数向量；人脸形状向量s表示为(巧，知，^”，其中SK、Se和、分别表示基准特征点、全局特征点 和局部特征点；基准形状模型的点分布模型& =G +尸 全局形状模型的点分布模型=J^ + pGbGmmmmm^mmsG.Li=sG.Li +pGUibGi’Li第i个局部形状向量为SeiJi= Isei，SlJ，其中Sei，Su分别表示属于第i个局部形状 的全局和局部特征点。
3.如权利要求1所述的人脸跟踪方法，其特征在于，该人脸特征点的表达方法为 给定灰度图像/戊)中的一个像素V=江力，一系列Gabor系数J7.(灼可表达该点附近的局部外观，可定义为 Jj^)=其中Gabor核Ψ 为高斯包络函数限定的平面波，_2 ~,(ft =kkJCσIJl \ 2σ2 )'Kcosipfl ^v sin ^其中，1^为频率，％为方向，本发明优选ν = 0,1,. . . ,9, μ = 0,1，···，7。j = μ+8ν,乂#7y _V-Iζv+27 K sin φμ Jkv = 2~ π^2 ，且频率波宽设为σ =2π ；Gabor核由10个频率、8个方向组成80个Gabor复系数，用以表达像素点附近的外观 特征，用一个jet向量犮=Jzy 1表示这些系数，Jj = α ^χρ( φρ, j = 0,1, ... ,79其中，α」和φ」分别为第j个Gabor系数的幅值和相位； 对80个Gabor复系数进行实验筛选，得到该人脸特征点表达所用的小波特征。
4.如权利要求3所述的人脸跟踪方法，其特征在于，该人脸特征点的离线模板训练方 法如下步骤401，选取N张适当的人脸图像作为训练样本； 步骤402，对人脸图像的特征点进行标记； 步骤403，对图像进行归一化处理； 步骤404，计算所有样本的Gabor特征； 步骤405，获得各样本Gabor特征之间的相似度；YjiaJ^j cos(^ -φ'J-Scj)其中，卞和夕为Gabor特征； ￥为夕和夕之间的相对位移；S乂、Fjot F妙 ^cy ^yx「jcy 「xxΦχ Φyv y J如果 ΓχχΓ -Γχ Γ ^0，其中ΦΧ=Σ JajQjkjx ( Φ 厂 Φ ‘ ,·)，Γ xy = Σ j a j a ‘ jkJxkJy,Oy, Γχχ，ryx禾口 ryy类也进对亍定义；对每个特征点，计算N个Gabor特征两两之间的相似度，当其相似度大于阈值St时即 认为两者相似，St可通过实验选取，如0. 85 ；步骤406，计算各样本Gabor特征的相似特征数η ； 步骤407，选择η最大的样本Gabor特征； 步骤408，判断η是否大于ητ;若步骤408的判断结果为否，则执行步骤411，处理下一特征点，然后返回步骤404继续 执行；若步骤408的判断结果为是，则执行步骤409，将Gabor特征加入离线模板；对每-Gabor特征，设有Iii个与其相似的Gabor特征，将Iii值最大且大于阈值ητ的Gabor特征加 入样本特征集{^1，ητ也通过实验选取，可选ητ = 2 ；步骤410，将该Gabor特征从样本中删除，同时将与其相似度大于阈值S/的Gabor特 征从伏丨中删除，S/大于ST，如可选0. 9 ；返回步骤405，对步骤405-409作迭代计算；对Jj^重复上述过程，直到选不出样本为止；最终的样本特征集[yy即为该人脸特征点的特征样本，作为人脸特征的离线模板提供给该在线跟踪方法使用。
5.如权利要求3所述的人脸跟踪方法，其特征在于，该在线跟踪方法包含步骤501，初始化，初始化变量和参数设置，参数包含但不限于图像格式、分辨率、颜色 空间，跟踪模式；步骤502，输入一帧图像；步骤503，图像归一化，将输入图像转换成标准尺寸的图像； 步骤504，判断是否重新检测；若步骤504的判断结果为是，则执行步骤505，利用基准形状模型，基于ASM形状约束， 对齐基准特征点；步骤506，利用全局形状模型，基于ASM形状约束，对齐全局特征点； 步骤507，利用局部形状模型，基于ASM形状约束，对齐局部特征点； 步骤508，更新在线特征模板，根据得到的脸部特征点的位置更新其小波特征作为该人 脸的在线特征模板；步骤515，估计人脸姿态，根据六个基础点的位置估计人脸的姿态； 返回步骤502循环执行本方法各步骤并执行步骤516，输出人脸特征点及人脸姿态信息；若步骤504的判断结果若为否，则执行步骤509，基于在线特征模板更新眼角点； 然后执行步骤510，基于离线特征模板调整眼角点； 然后执行步骤511，更新其他特征点；然后执行步骤512，根据前一帧的人脸姿态更新各形状模型的平均形状； 然后执行步骤513，基于形状约束更新全局特征点； 然后执行步骤514，基于形状约束更新局部特征点； 然后返回步骤508，继续执行本方法各步骤。
6.根据权利要求5所述的人脸跟踪方法，其特征在于，该步骤505对齐基准特征点的具 体方法为对图像进行归一化预处理；根据双眼的位置确定刚性基准点的位置；刚性基准点的精度根据其Gabor特征与离线特征模板的相似度进行判断；具体判断步 骤如下(1)对每一刚性基准点i，计算其当前位置=(XiJ)的Gabor特征义；(2)计算f与离线特征模板{y’,j中每个Gabor特征的相似度，取相似度最大者作为j与模板的相似度Si,并获得其相对位移为g ；(3)当满足以下条件之一时，迭代过程结束，否则转入步骤(4):a)所有刚性基准点的 平均相似度f小于上一次迭代的平均相似度艾_ ；b)90%以上的点的绝对位移值足够小，即
7.根据权利要求5所述的人脸跟踪方法，其特征在于，该步骤515估计人脸姿态的具体 步骤如下1)基于基准特征点构建N个三角形。选择任意三个非共线性的特征点组成一个三角形 Ti,对每一个Ti,构建一个局部坐标系统Ct ；2)由每个三角形获得投影矩阵M；图像坐标与局部坐标系统Ct的关系表示为
8.如权利要求5所述的人脸跟踪方法，其特征在于，该步骤510的具体计算方法为 根据离线特征模板对眼角特征点进行再修正对于眼角特征点f, =(U),计算在线特征模板、与离线特征模板义的相似度S' i 和位移& ；眼角特征点进一步修正为-^-，其中ε为相似度调整值，ε
9.如权利要求5所述的人脸跟踪方法，其特征在于，该步骤503的图像归一化的方法 为根据双眼的位置，得到双眼的中点作为基准点，双眼的连线作为图像的横轴，双眼连线 的中垂线作为纵轴，对图像进行旋转，对图像进行缩放以使双眼之间的距离达到一特定值。
10.根据权利要求5所述的人脸跟踪方法，其特征在于，该基准特征点为表情变化时不 发生运动的特征点，包括但不限于眼角、鼻端；该全局特征点包括八个基准特征点和受表情 影响较小的点，包括但不限于嘴角、眉尖；该局部特征点包括但不限于左眼、右眼、嘴、鼻的轮廓点；左眼、右眼轮廓点至少包括如下之一眼角、上、下眼睑；嘴轮廓点至少包括如下之一两个嘴角、上/下唇的中点，上/下唇中点与嘴角之间的 轮廓点。
全文摘要
本发明公开的是一种人脸跟踪方法，包含离线训练方法和在线跟踪方法；离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练方法；多层结构人脸模型训练方法为在线跟踪方法提供人脸模型，离线模板训练方法为在线跟踪方法提供人脸特征点离线模板；多层结构人脸模型训练方法包含如下步骤选取适当的人脸图像作为训练样本；对人脸图像的特征点进行标记；得到基准形状模型；得到全局形状模型；得到局部形状模型。本发明属于生物特征识别技术领域，广泛应用于各种人脸跟踪与比对系统。
文档编号G06K9/62GK101968846SQ20101023742
公开日2011年2月9日 申请日期2010年7月27日 优先权日2010年7月27日
发明者唐霖, 姜涛, 董初宁 申请人:上海摩比源软件技术有限公司