专利名称：人脸跟踪方法
技术领域：
本发明涉及人脸跟踪领域，特别是涉及一种在连续的视频图像序列中跟踪 人脸位置的方法。
背景技术：
人脸跟踪是指在连续的视频图像序列中跟踪一个或多个人脸。人脸跟踪在 许多场合下都具有非常重要的应用，如智能视频监控、人机交互、出入控制等等。现有的人脸跟踪方法一般都是利用线性判别分析(LDA)来提取人脸特征， 进而进行人脸跟踪。但是常用的线性判别分析会涉及到矩阵求逆的问题。然而， 对于高维稀疏矩阵通常难于进行求逆运算，从而使得特征提取的鲁棒性差。当 利用线性判别分析进行人脸跟踪时，容易受到人脸表情、姿态、光照等因素影 响。发明内容本发明的目的在于提供一种鲁棒性好的人脸跟踪方法，以克服上面提到的 一个或多个缺陷。为实现上述目的，本发明提出了一种人脸跟踪方法，用于在连续的视频图 像序列中跟踪人脸位置。该方法包括以下步骤:确定第一帧图像中的人脸位置； 利用该第一帧图像，通过最大分类间隔准则确定特征子空间；从该第二帧图像 起，依次读取视频序列中的图像；对于所读取的每一帧图像，利用上一帧图像 中的人脸位置和该特征子空间，确定该当前帧图像中的人脸位置；以及，每隔 预定数量的帧更新该特征子空间。优选地，所述确定当前帧图像中的人脸位置的步骤包括构造当前帧图像 的人脸位置关于上一帧图像的人脸位置的概率分布模型；从所述概率分布中随 机抽取多个粒子；在每个粒子处分别获取当前帧图像的人脸观测值；构造当前 帧人脸观测值在当前帧图像中人脸位置处的似然分布模型；利用该概率分布模型和似然分布模型分别计算每个粒子的后验值；以及，选取后验值最大的粒子 作为当前帧图像中的人脸位置。该第一帧图像中的人脸位置利用Adaboost人脸监测器来确定。优选地，所述确定特征子空间的步骤包括从该第一帧图像中选取多个样 本组成训练样本集；根据各样本与该第一帧图像中人脸位置的距离远近对其进 行分类；计算该训练样本集的类内散度矩阵和类间散度矩阵；以及，利用计算 得到的类内散度矩阵和类间散度矩阵来计算该特征子空间。优选地，所述多个样本被分成正样本和负样本两类，其中位于已确定的人 脸位置附近的为正样本，而距离该已确定的人脸位置较远的为负样本。优选地，所述更新特征子空间的步骤通过增量学习法实现，包括从当前 帧图像中选取多个新样本，加入到该训练样本集中；根据各新样本与当前帧人 脸位置的距离远近对所述新样本进行分类；利用原有样本中各类样本的类均值 以及该新样本更新类间散度矩阵和类内散度矩阵；以及，利用该更新后的类间 散度矩阵和类内散度矩阵来更新特征子空间。所述更新类间散度矩阵和类内散度矩阵的步骤通过批量更新法实现，该批 量更新法是一次利用所有的新样本来更新类间散度矩阵和类内散度矩阵。可选地，所述更新类间散度矩阵和类内散度矩阵的步骤通过序列更新法实 现，该序列更新法是每次利用一个新样本对类间散度矩阵和类内散度矩阵进行 更新，并重复多次以完成最终的更新，其中，重复的次数与该新样本的数量相 对应。所述人脸位置用人脸的中心位置、宽度、高度以及旋转角度来表示。 本发明采用最大分类间隔准则提取人脸特征，避免了矩阵求逆运算，即使 在数据稀疏的情况下也能正常进行特征提取处理，提高了特征提取的鲁棒性。 同时，本发明还采用增量学习算法来在线更新表示人脸的特征子空间，进一步 提高了算法的跟踪能力，同时运算量小，可以达到实时处理的要求。可以在光 照变化，目标姿态改变以及发生部分遮挡的情况下也能够实时地跟踪目标。 下面结合附图和详细实施方式对本发明进行详细说明。
图1示出了根据本发明一个实施例的人脸跟踪方法；图2示出了获取特征子空间的步骤；图3示出了基于CONDENSATION算法确定当前帧的人脸位置的步骤； 图4示出了利用增量学习法更新特征子空间的步骤。
具体实施方式
在下面的例子中，使用可旋转的矩形框《-(x',y乂,《,)来表示第t帧图像中的人脸位置，其中，x'和j/分别表示人脸中心位置的横、纵坐标，《表示人脸的宽度，《表示人脸的高度，《表示人脸的旋转角度。然而，应当清楚， 根据本发明，人脸位置也可以使用更多或更少的特征量来表示。 图i示出了根据本发明的方法进行人脸跟踪的主要步骤。 首先，从视频图像序列中读取第一帧图像/,，并确定第一帧图像中的人脸 位置《(步骤sio)。该人脸位置《又称为初始人脸位置。根据本发明的一个实施例，第一帧图像中的人脸位置可利用Adaboost人脸监测器来确定。然后，基于最大分类间隔准则，从第一帧图像^中选取多个样本构成训练 样本集，并以此来确定样本的特征子空间『(步骤S20)。最大分类间隔准则 由Li, H.等人于2003年提出(参见Li, Haifeng., Jiang, Tao. and Zhang， Keshu., Efficient and Robust Feature Extraction by Maximum Margin Criterion, In Proceedings of the Advances in Neural Information Processing Systems 16, Vancouver, Canada,2004， MIT Press, 2003:97-104.)，其基本原理如下设有N个已知分类类别的训练样本(x,，A)，…，(^^)，共分为M类。其中， ;c^-l,2,…，iV表示D维的样本数据；c,是;c,的类别标签，c, e{C,，C2,..,CM}，c;,c"，2,…,M为样本的类别，第c类样本(即，类别标签为c;的样本)的个数为乂。这N个样本构成一个训练样本集。最大分类间隔准则的表达式为■7 = HWW) (1)其中，&和^分别为训练样本集的类间散度矩阵和类内散度矩阵，它们可以通过下式求得&=|>#广(2)& = IX (3)
10、 根据权利要求1的方法，其中，当所述逾呈信息鹏单元加电时，所
述离线高i^存器对于所述一个或多个^f呈源查询是可用的。
11、 根据权利要求l的方法，其中确定预定角拨事件已经出现的步骤在查 询车辆内的模块的步骤之前。
12、 根据权利要求ll的方法，其中，所述预定触发事件是所述移动车辆的 点火电路^T活。
13、 一种计算机可读介质，其上存储了计算机可读结构，用于在离线高速 缓存器中高速缓存与移动，相关的信息，所述结构包括
一个或多个信息字段，每一个字鹏于存储与所述移动车辆相关的信息项 的标识符；禾口
时间因素字段，用于存储与所述一个或多个信息字段中的旨相关的时间 因素值，其中每一个时间因素值定义一个因素，该因素定义何时收集相刘言息 字段中所标识的信息。
14、 根据权利要求13的计算机可读介质，进一步包括与所述一个或多个信 息字段相关的标记字段，该标记字段指示已经收集了相^t息字段中所标识的
15、 一种远程配置移动 远程信息处理单元中的离线高速缓存器的方法， 用于有选择地存储信息供以后远程检索，其中当所述移动 远程信息处理单
元被断电时，所述离线高速缓存器可用于被查询，该方法包括
构建离线高速缓存器请求，该请求包括指定将要被高速缓存的信息的一个
或多个信息标识符、与所述一个或多个信息标识符分别相关的一个或多个时间
因素，所述时间因素规定了一个时间值，根据该时间值收集所述相雜息；和 向所述远程信息处理单^^程地发送请求传输，其中所述请求传输包括所
述离线高速缓存器请求。
16、 根据权利要求15的方法，其中所述一个或多个时间因素的至少一个定 义了一个周期性间隔，在所述周期性间隔上所述相关信息标识符所指定的信息 被高速缓存。
17、 根据权禾腰求15的方法，其中所述一个或多个时间因素的至少一个定 义了一个时间点，在所述时间点上所述相关信息标识符所指定的信息被高速缓 存。运算，即使在数据稀疏的情况下也能正常有效地计算出特征子空间，提高了特 征提取的鲁棒性。如图2所示，根据本发明的一个实施例，特征子空间r可通过以下步骤获得首先，从第一帧图像/,中选取多个图像块作为样本组成训练样本集(步骤 S21);然后，根据每个样本与该第一帧图像中人脸位置的距离远近对该样本进行分类(步骤S22)，优选地，样本被分为两类，其中位于初始人脸位置X, 附近的图像块为正样本，而距离初始人脸位置《较远的图像块为负样本；接 下来，利用式(2)和式(3)分别计算类间散度矩阵&和类内散度矩阵^ (步骤 S23);最后，利用式(7)即可计算得到样本的特征子空间『(步骤S24)。在 这里，在选取图像块作为样本时，图像块的宽度和高度分别与初始人脸位置X, 中的宽度《和高度《相对应。接下来，从该第二帧图像起，依次读取视频序列中的各帧图像(步骤S30)。 由于是在连续的视频图像序列中对人脸位置进行跟踪，因而，在第一帧图像中 的人脸位置^和特征子空间『已经确定的情况下，之后每一帧图像中的人脸位置都可以用上一帧图像的人脸位置和特征子空间来确定(步骤S40)。在下 面的说明中，用X,和X,一,分别表示当前帧和上一帧图像中的人脸位置。根据本发明的一个优选实施例，人脸位置X,可以基于CONDENSATION 算法来确定，具体如图3所示。首先，构造当前帧图像的人脸位置Z,关于上 一帧图像的人脸位置X,—,的概率分布A义,1《—,)(步骤S41)。 一般来说，人脸运动的动态过程具有马尔科夫性，并且其随机过程可以看作是高斯随机游走。 如前所述，《-(x',力《,《,。，从而概率分布模型p(义,IX,—,)可以表示为M i u=w i x (/1 y-v;)玲二 I(8)其中，函数7^(.| 2)表示均值为//，方差为^的高斯分布，例如，W(X'|X'-'，C7) 表示;c'的均值为1且方差为《的高斯分布。之后，从概率分布p(《l^^)中随机抽取多个粒子，例如n个粒子(《L，(步骤S42)。接下来，对应于每个粒子《处，分别从当前帧图像/,中获取人脸观测值z;(步骤S43)。观测值Z;可以用当前帧图像的像素灰度值来表示。具体来说， 从图像/,中对应于粒子《的位置选取一图像块/;，该图像块的宽度和高度分别 对应于粒子《中的人脸宽度和高度；然后，将图像块/;的像素灰度矩阵中的所有列向量按顺序排成一列，从而展开得到一个列向量。该列向量即为在粒子z; 处的人脸观测值z;。接下来，构造人脸观测值z,在当前帧人脸位置x,处的似然分布模型(步骤S44):<formula>formula see original document page 9</formula> (9) 其中，"是一个正的常数，Z,表示对应于人脸位置X,处的观测值，；表示所 有正样本的观测值的平均；h.ii表示L2范数。接下来，对于每个粒子Z;分别计算其后验值/7(义;IZ/,X,—,)(步骤S45):<formula>formula see original document page 9</formula>(10)其中，comr为与粒子《无关的常量；;KZ;i《—,)为利用式(8)计算得到的粒子《的概率值；/7(z; i《)为利用式(9)计算得到的观测值z;在粒子《处的观测似然值。 最后，选取后验值最大的那个粒子作为当前第t帧图像中的人脸位置义,(步骤S46)，从而实现对当前帧图像中人脸位置的定位。当然，在获得了特征子空间w之后，还可以利用其他的多种方法来获取当前帧的人脸位置。依此类推，继续读取下一帧图像/,+1并重复步骤S40，从而可以对整个视频序列中的人脸位置进行跟踪。随着视频序列中图像的不断到来，由于特征子空间中不包含新的图像数据 信息，利用该特征子空间确定出的人脸位置的精度会逐渐降低。因而，在跟踪 过程中需要不断地对特征子空间进行更新。如图1所示，更新特征子空间的步骤(步骤S50)可以在确定当前帧图像中的人脸位置之后进行。优选地，可以 每隔预定数量的帧更新一次特征子空间，以提高系统的运算速度。该间隔帧数 可以根据视频中每秒的帧数来确定，每秒的帧数越多，间隔帧数越大。更新特征子空间通常需要从新的图像中选取新样本补充到原有的训练样 本集中，然后利用更新后的训练样本集来进行特征子空间的更新。对特征子空 间的更新可以利用最大分类间隔准则重新训练所有的样本(包括新样本和原来 的样本)来实现。然而，当采用这种方法时，随着选取的样本越来越多，计算 量也会越来越大，以至于系统将无法承受。在本发明的一个优选实施例中，采 取了增量学习法来更新特征子空间。
图4示出了利用增量学习法更新特征子空间的步骤。首先，从当前帧图像中选取多个新样本，例如L个新样本[y,t，并将它们加入到当前的训练样本 集中(步骤S51)，训练样本集中原有样本x,的数量为N。然后，对于每个新 样本yi，根据其距离在前面步骤S40中检测出的当前帧人脸位置I,的远近，对 其进行分类(步骤S52)，得到每个样本乂的类别标号/,。然后，利用训练集中原有样本k^的类均值K〔以及新样本^^来更新原有的类间散度矩阵和类内散度矩阵(步骤S53)。
在这里，根据新增样本的个数L的不同，可以选择不同的更新计算方法。
如果新样本的数目L比较大，优选地，可以使用如下的批量更新方法。
更新后的类间散度矩阵记作&，满足
<formula>formula see original document page 10</formula> (11)
其中，ac为更新后的训练样本集中第c类样本的个数； xc为更新后的训练样本集中第c类样本的类均值； x为更新后的训练样本集中所有样本的均值。
具体来说，<formula>formula see original document page 10</formula>，其中yc为第c类新样本的类均值，Lc是第C类新样本的个数；x=(Nx+Ly)/(N+L),其中y为所有新样本的均值。
更新后的类内散度矩阵记作&满足
<formula>formula see original document page 10</formula> (12)
其中，Dc是第C类新样本的类均值y与第C类原有样本类均值xc的散度矩阵:
<formula>formula see original document page 10</formula>
Ec是第C类新样本{yj}与第c类原有样本类均值xc的散度矩阵
<formula>formula see original document page 10</formula>
如果新样本的数目L比较小，优选地，可以使用如下的序列更新方法。序列更新方法是每次利用一个新样本来更新训练样本集的类间散度矩阵和类内散度矩阵；重复L次后，即可完成全部的更新工作。具体来说，对于一 个新增样本X，其类别为/,，首先，计算更新后的训练样本集中所有样本的均值<formula>formula see original document page 11</formula> (13)接下来，按照式(11)计算更新后的类间散度矩阵《。 最后，计算更新后的类内散度矩阵义-<formula>formula see original document page 11</formula>重复上述操作L次之后，即可获得更新后的类间散度矩阵《和类内散度矩 阵&。与通过式(2)和式(3)重新计算更新后的训练样本集的类间散度矩阵&和类 内散度矩阵&相比，利用上面提到的两种增量计算方法计算&和《可以大幅度降低运算量，从而能实现对视频中人脸位置的实时跟踪。当《和&确定后，就可以利用式(7)来重新确定特征向量继而更新特征子空间(步骤S54)。应当指出，虽然通过上述实施方式对本发明进行了描述，然而本发明还可有其它多种实施方式。在不脱离本发明精神和范围的前提下，熟悉本领域的技术人员显然可以对本发明做出各种相应的改变和变形，但这些改变和变形都应当属于本发明所附权利要求及其等效物所保护的范围内。
权利要求
1、一种人脸跟踪方法，用于在连续的视频图像序列中跟踪人脸位置，其特征在于，包括以下步骤确定第一帧图像中的人脸位置；利用该第一帧图像，通过最大分类间隔准则确定特征子空间；从该第二帧图像起，依次读取视频序列中的各帧图像；对于所读取的每一帧图像，利用上一帧图像中的人脸位置和该特征子空间，确定该当前帧图像中的人脸位置；以及每隔预定数量的帧更新该特征子空间。
2、 根据权利要求1所述的方法，其特征在于，所述确定当前帧图像中的 人脸位置的步骤包括构造当前帧图像的人脸位置关于上一帧图像的人脸位置的概率分布模型；从所述概率分布中随机抽取多个粒子；在每个粒子处分别获取当前帧图像的人脸观测值；构造当前帧人脸观测值在当前帧图像中人脸位置处的似然分布模型；利用该概率分布模型和似然分布模型分别计算每个粒子的后验值；以及选取后验值最大的粒子作为当前帧图像中的人脸位置。
3、 根据权利要求1所述的方法，其特征在于，该第一帧图像中的人脸位 置利用Adaboost人脸监测器来确定。
4、 根据权利要求1所述的方法，其特征在于，所述确定特征子空间的步 骤包括从该第一帧图像中选取多个样本组成训练样本集； 根据各样本与该第一帧图像中人脸位置的距离远近对其进行分类； 计算该训练样本集的类内散度矩阵和类间散度矩阵；以及 利用计算得到的类内散度矩阵和类间散度矩阵来计算该特征子空间。
5、 根据权利要求4所述的方法，其特征在于，所述多个样本被分成正样 本和负样本两类，其中位于已确定的人脸位置附近的为正样本，而距离该已确 定的人脸位置较远的为负样本。
6、 根据权利要求1所述的方法，其特征在于，所述更新特征子空间的步骤通过增量学习法实现，包括从当前帧图像中选取多个新样本，加入到该训练样本集中；根据各新样本与当前帧人脸位置的距离远近对所述新样本进行分类；利用原有样本中各类样本的类均值以及该新样本更新类间散度矩阵和类内散度矩阵；以及利用该更新后的类间散度矩阵和类内散度矩阵来更新特征子空间。
7、 根据权利要求6所述的方法，其特征在于，所述更新类间散度矩阵和 类内散度矩阵的步骤通过批量更新法实现，该批量更新法是一次利用所有的新 样本来更新类间散度矩阵和类内散度矩阵。
8、 根据权利要求6所述的方法，其特征在于，所述更新类间散度矩阵和 类内散度矩阵的步骤通过序列更新法实现，该序列更新法是每次利用一个新样 本对类间散度矩阵和类内散度矩阵进行更新，并重复多次以完成最终的更新， 其中，重复的次数与该新样本的数量相对应。
9、 根据前述权利要求中任一项所述的方法，其特征在于，所述人脸位置 用人脸的中心位置、宽度、高度以及旋转角度来表示。
全文摘要
本发明公开了一种人脸跟踪方法，用于在连续的视频图像序列中跟踪人脸位置。所述方法包括以下步骤确定第一帧图像中的人脸位置；利用该第一帧图像，通过最大分类间隔准则确定特征子空间；从该第二帧图像起，依次读取视频序列中的图像；对于所读取的每一帧图像，利用上一帧图像中的人脸位置和该特征子空间，确定该当前帧图像中的人脸位置；以及，每隔预定数量的帧更新该特征子空间。本发明采用了最大分类间隔准则，从而增强了人脸特征提取的鲁棒性。同时本发明还采用增量学习方法来在线更新特征子空间，既提高了跟踪效果又满足了实时性要求。
文档编号G06K9/00GK101221620SQ20071030365
公开日2008年7月16日 申请日期2007年12月20日 优先权日2007年12月20日
发明者浩 王, 磊 王, 英 黄 申请人:北京中星微电子有限公司