专利名称：一种对图像中的特征点进行跟踪的方法及装置的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及一种对图像中的特征点进行跟踪 的方法及装置。
背景技术：
人脸特征点位置是人脸识别和人机交互等应用中最重要的信息之一，例如 对视频处理技术而言，如何快速准确地跟踪到人脸特征点的位置极为关键。
传统的人脸部特征点跟踪方法一般都基于假定帧间跟踪目标具有很强的 相似性，釆用最小均方误差或直方图等标准来衡量帧间跟踪目标的相似性，找 到最满足相似性的候选作为跟踪结果。例如，基于光流的跟踪方法或者均值漂
移(Mean-shift)的跟踪方法，当跟踪物体的姿态发生变化时，或者当跟踪物体 的形状发生非刚性变化时，或者当跟踪物体的光照发生变化时，常常会跟丢目 标。并且，当背景中存在与跟踪目标相似的干扰时，常常会跟踪到背景。另夕卜， 对于当跟踪目标发生较大的大小变化时，采用这些方法的处理结果也不是很 好。
现有技术中还有一种跟踪方法，假定跟踪物体的位置和大小的改变满足某 种假设。例如，基于卡尔曼滤波(Kalman filter)以及基于粒子滤波(Particle filter) 的方法，这些方法都在某些领域取得了很好的应用效果，但是，由于采用这些 方法对物体的运动模式进行了假设，尤其是基于卡尔曼滤波的方法，当物体的
运动模式不符合假设的模型时，会失效。而基于粒子滤波的方法为了得到较好 的效果，往往需要很大的计算量，运算起来很慢，无法满足实时处理要求。
发明内容
本发明实施例提供了 一种对图像中的特征点进行跟踪的方法及装置，用以 解决现有技术中存在的对图像中的特征点进行跟踪的效果差、所需运算量大的 问题。
本发明实施例提供的对图像中的特征点进行跟踪的方法包括 对参考图像中的特征点进行定位，确定所述参考图像中的特征点的位置； 根据所述参考图像中的特征点的位置，以及预先设置的特征点搜索区域大
小，确定以所述参考图像的特征点中心为中心的特征点搜索区域，将该搜索区
域作为当前图像的特征点的搜索区域；
在所述当前图像的特征点的搜索区域内，确定所述当前图像的特征点位置。
本发明实施例提供的对图像中的特征点进行跟踪的装置包括 图像定位单元，用于对参考图像中的特征点进行定位，确定所述参考图像 中的特征点的位置；
确定搜索区域单元，用于根据所述参考图像中的特征点的位置，以及预先 设置的特征点搜索区域大小，确定以所述参考图像的特征点中心为中心的特征 点搜索区域，将该搜索区域作为当前图像的特征点的搜索区域；
确定特征点位置单元，用于在所述当前图像的特征点的搜索区域内，确定 所述当前图像的特征点位置。
本发明实施例，对参考图像中的特征点进行定位，确定所述参考图像中的 特征点的位置；根据所述参考图像中的特征点的位置，以及预先设置的特征点 搜索区域大小，确定以所述参考图像的特征点中心为中心的特征点搜索区域， 将该搜索区域作为当前图像的特征点的搜索区域；在所述当前图像的特征点的 搜索区域内，确定所述当前图像的特征点位置。通过该技术方案将特征点定位 与特征点跟踪相结合，使得对图像的特征点进行跟踪的速度更快、效果更好， 克服了现有技术中存在的假定模型容易失效，易受背景干扰，以及所需运算量 大等问题。
图1为本发明实施例提供的对图像中的特征点进行跟踪的方法流程示意
图2为本发明实施例提供的对图像进行人脸^r测，确定图像上的人脸特征 点位置的方法流程示意图3为本发明实施例提供的跟踪图像中的人脸特征点的搜索区域的方法流 程示意图4为本发明实施例提供的根据图像中的人脸特征点的搜索区域，确定人 脸特征点位置的方法流程示意图5为本发明实施例提供的对图像中的最大人脸区域的特征点进行跟踪的 方法流程示意图6为本发明实施例提供的对图像中的特征点进行跟踪的装置结构示意图。
具体实施例方式
本发明实施例提供了 一种对图像中的特征点进行跟踪的方法及装置。通过 将对图像中的特征点的定位技术结合到对图像中的特征点的跟踪技术中，将特 征点跟踪问题转化为特征点定位问题，以达到跟踪效果更好，速度更快，符合 实时运算要求的目的。
本发明实施例中提到的图像的特征点，包括图像中的人脸的左眼、右眼和 嘴巴中心点，当然，同理还可以包括其他例如嘴角点、眼角点等特征点。
下面结合附图，对本发明的具体实施例进行说明。
参见图1，本发明实施例提供的一种对图像中的特征点进行跟踪的方法包
括
SlOl、预先设置脸部特征点的跟踪队列，已采集到的图像的帧数为T，对
参考图像进行脸部区域检测的周期，以及特征点搜索区域的大小。
所述参考图像，指的是被跟踪的图像，即根据该参考图像的特征点位置，
确定后续图像的特征点位置。
所述跟踪队列，用以存储参考图像中的与每个人脸相对应的各组特征点的
位置，每组特征点包括参考图像中的每个人的左眼中心点、右眼中心点以及嘴
巴中心点。
跟踪队列中存储的特征点位置仅与一帧图像相对应，将该图像作为参考图 像，用以确定后续图像的相应特征点的位置。 初始状态下设置跟踪队列为空。
初始化T=0。
对图像进行脸部区域检测的周期，即设置每隔M(M取整数)帧图像进行 一次人脸检测，在实时应用中，用以防止图像中新出现的人脸区域的特征点没 有被定位以及被后续图像所跟踪。
预先设置特征点搜索区域大小时，根据人脸运动的最大速度确定特征点搜 索范围。例如，当前图像的特征点中心和前一帧图像的特征点中心之间的最大 距离为帧间眼睛运动的最大速度，设为S, S的值可才艮据不同应用设定为不同 值。那么，当前图像的各个特征点搜索区域，为以前一帧图像(参考图像)的 相应特征点中心为中心，以2S为宽度和高度的各个矩形区域。本发明实施例 取为矩形区域是为了后续在确定了搜索区域之后进一步计算特征点位置的方 便，当然，也可以取为其他圓形或者椭圓形区域。
所述特征点搜索区域包括左眼搜索区域、右眼搜索区域和嘴巴搜索区域。 各种区域的大小可以设为相同，也可以设为不同，即针对每种特征点(左眼和 右眼，以及嘴巴中心点)分别设置不同大小的特征点搜索区域。
对采集到的每幅图像进行下列处理
S102、判断是否需要对当前图像进行人脸检测，例如判断T是否是M的 整数倍，如果是，说明需要对当前采集到的图像进行人脸检测，则进行步骤S103;否则，进行步骤S104。
5103、 初始状态下，对于采集到的第一帧图像，对该图像进行特征点定位， 直接将定位到的该图像的各个人脸的特征点存储在跟踪队列中，并将该第一帧 图像作为参考图像。
对于第一帧图像以后采集到的当前图像，在进行人脸检测时，只需要检测 该图像上是否有新出现的人脸区域，如果有，则对所述新出现的人脸区域中的 特征点进行定位，确定新出现的人脸区域上的特征点的位置，并存入所述跟踪 队列中，作为后续图像的参考。对于当前图像上的新出现的人脸区域以外的其 他人脸区域，执行步骤S104,即参考跟踪队列中的已有的各组人脸区域的特征 点位置，进行特征点跟踪。
如果通过人脸检测，没有发现当前图像上存在新出现的人脸区域，则无需 对当前图像进行定位，只需执行步骤S104，即参考跟踪队列中的已有的各组人 脸区域的特征点位置，进行特征点跟踪。
其中，检测该图像上是否有新出现的人脸区域的步骤包括
通过脸部区域检测技术，定位参考图像中的各个脸部区域，并保存在检测 队列中；
当所述检测队列中存在一脸部区域未与所述跟踪队列中的任一组脸部区 域的特征点相对应时，将该脸部区域作为新出现的脸部区域。
5104、 对于跟踪队列中的每组人脸特征点，根据该组人脸特征点位置，对 参考图像进行旋转；并根据预先设置的各特征点搜索区域的大小，确定旋转后 的参考图像上的以跟踪队列中的该组人脸中的各个特征点中心为中心的特征 点搜索区域，将所述各个搜索区域作为当前图像中相应的人脸的各个特征点的 搜索区域。
当然，如果参考图像中的人脸图像是位于垂直方向上的，则不需要该人脸 图像进行旋转。
5105、 根据当前图像的各个人脸的特征点的搜索区域，确定当前图像的各 个人脸的特征点位置。
S106、利用当前图像的各个人脸的特征点位置更新跟踪队列相应的每组人 脸特征点，将当前图像作为参考图像，以便后续图像的跟踪处理。
参见图2,步骤S103中对图像进行人脸检测，对该图像上的某一人脸区域 的特征点的进行定位的操作具体包括
5201、 根据统计得到的左眼、右眼和嘴巴在人脸上的分布位置数据，在人 脸检测的基础上，确定左眼搜索区域、右眼搜索区域和嘴巴搜索区域，以及左 眼、右眼和嘴巴的局部候选图像搜索大小范围。
5202、 根据图像中的人脸角度对图像进行旋转，得到左眼、右眼和嘴巴的 搜索区域图像。
5203、 采用训练好的左眼局部候选检测器、右眼局部候选检测器分别对左 眼和右眼候选区域进行检测，并分别记录置信度最大的N个候选，将2N个候 选点按左右配对得到NxN个候选对。
5204、 割取候选对中的双眼图像并釆用训练好的双眼验证分类器-睑证，得 到通过验证的候选对，并将候选对分别按左眼和右眼位置进行平均，得到最后 的左眼和右眼中心位置，将之作为新的特征点组记录，添加到特征点跟踪队列。 如果所有的候选对都无法通过双眼验证分类器的验证，则认为特征点检测失 败。
5205、 根据检测到的双眼位置，确定对图像进行旋转的角度。
例如，设检测到的左、右眼睛位置分别为(A， yo、 力)，^为左
眼横坐标，力为左眼纵坐标、^为右眼一黄坐标，力为右眼纵坐标，则双眼连线
与水平线的夹角^为arc加(^^),其中，肌tan(z)为反正切函数。那么为了
zr — ,7
将左眼和右眼区域矫正到水平方向上，需要对图像进行的旋转的角度为 <formula>formula see original document page 10</formula>
旋转后的图像中的人脸的方向是垂直的。
5206、 根据统计得到嘴巴相对左眼和右眼的位置关系，以及所述旋转角度，
割取嘴巴搜索区域图像。
5207、 采用训练好的嘴巴局部候选分类器在此范围内搜索所有可能位置， 记录置信度最大的N个位置作为嘴巴最终位置候选点，将检测得到的左眼位 置、右眼位置和每个嘴巴最终位置候选点，根据人脸验证区域的定义割取人脸 验证区域，并经过放缩后送给人脸验证检测器验证。
5208、 对通过人脸验证检测器验证的嘴巴位置进行平均，得到最终的嘴巴 位置，并且，将定位到的嘴巴特征点添加到跟踪队列中。如果没有嘴巴候选通 过验证，则认为嘴巴特征点定位失败。
参见图3,步骤S104中对于跟踪队列中的每组人脸特征点的具体操作包
括
5301、 根据跟踪队列中的一组人脸特征点中的左眼位置和右眼位置确定对 参考图像进行旋转的角度。
5302、 根据步骤S301中确定的旋转角度，对参考图像进行旋转，得到旋 转后的图像。
5303、 分别根据预先设置的左眼搜索区域的大小和右眼搜索区域的大小， 以及所述旋转后的图像上的左眼位置和右眼位置，分别确定以所述旋转后的图 像上的左眼中心位置和右眼中心位置为中心的两个特征点搜索区域，并分别作 为当前图像的相应的左眼搜索区域和右眼搜索区域。并且，才艮据预先设置的嘴 巴特征点搜索区域大小，确定以所述旋转后的图像的嘴巴中心点为中心的嘴巴 搜索区域，将该搜索区域作为所述当前图像的嘴巴搜索区域。
参见图4,步骤S105具体包括
S401、分别采用训练好的左眼局部候选检测器和右眼局部候选检测器，在 左眼搜索区域内和右眼搜索区域内，为每个左眼初选位置和右眼初选位置确定 一个单眼置信度数值。
置信度的数值越大，说明相应的眼睛位置越接近真实的眼睛位置。
置信度的计算方式有很多种，对于采用层次型自适应增强(AdaBoost)算
法作为分类器的方法而言，可以根据单眼候选(左眼或右眼的初选位置)通过 检测器(左眼局部候选检测器或右目艮局部候选检测器)的层数以及通过的最后
一层的输出来决定，具体公式如下所示
<formula>formula see original document page 12</formula>
其中，、为通过的层数，、为检测器的全部层数，,"'为历经的最后一
层的处理结果，为该最后一层的阈值，"为常数，例如，经过试验可取 a = 0.2 。
5402、 从所有左眼初选位置与右眼初选位置中，分别选择置信度最大的前 N个位置作为左眼候选位置和右眼候选位置，并将2N个所有左眼和右眼候选 位置配成双眼候选对，得到NxN个组合。
即按照各个左眼初选位置的置信度的从大到小的顺序，对左眼初选位置进 行排序，同时，按照各个右眼初选位置的置信度的从大到小的顺序，对右眼初 选位置进行排序。从置信度最大的左眼初选位置开始依次取N个位置作为左眼 候选位置，同时，从从置信度最大的右眼初选位置开始依次取N个位置作为右 眼候选位置。将这2N个左眼候选位置和右目艮候选位置配成双眼候选对，得到 NxN个组合。
5403、 采用训练好的双眼验证分类器对NxN个双眼候选对组合进行验证， 得到通过验证的若干候选对，并将候选对分别按左眼和右眼位置进行平均，得 到左眼和右眼的中心位置，并以此更新跟踪队列中相应的特征点位置。
如果一组人脸特征点中，所有的候选对都无法通过双眼验证分类器，则认 为此组双眼位置跟踪失败。
对于图像中的一个人，在跟踪到了该人的双眼位置后，需要进一步对嘴巴 位置进行跟踪。具体如下
5404、 釆用训练好的嘴巴局部候选分类器在步骤S303中确定的嘴巴搜索
区域内搜索所有可能位置，记录置信度最大的N个位置作为嘴巴候选位置。
5405、 利用步骤S403中跟踪得到左目艮位置、右眼位置，以及每个嘴巴候 选位置，才艮据人脸验证区域的定义割耳又人脸验i正区域。
5406、 将该人脸验证区域进行放缩后发送给人脸验证检测器进行验证。
5407、 对通过验证的嘴巴候选位置进行平均，得到最终的嘴巴位置，并以 此更新跟踪队列中存储的相应嘴巴特征点位置数据。如果没有候选的嘴巴位置 可以通过—睑证，则认为嘴巴特征点跟踪失败。
在很多应用中，比如人脸识别和认证等，往往图像采集设备采集到的图像 中只有一个人脸，所以，本发明实施例还提供了只跟踪图像中的一个人的脸部 特征点的方法。参见图5,该方法具体包括
5501、 预先设置用于表示上一帧图像是否被成功检测到或跟踪到脸部特征 点的标i己。
例如，标记为1,表示上一帧图像被成功检测到或跟踪到脸部特征点；标 记为0，表示上一帧图像未被成功检测到或跟踪到脸部特征点。
5502、 对第一帧图像进行人脸检测，定位到该图像中最大人脸图像上的特 征点位置。并且，将所述标记置为1。
对于后续每帧图像，采用下列步骤
5503、 根据所述标记，判断上一帧图像是否被成功^r测到或跟踪到脸部特 征点，如果是，则进行步骤S505;否则，进行步骤S504。
5504、 对当前图像进行人脸检测，如果定位到该图像中最大人脸图像上的 特征点位置，则将所述标记置为1;否则，保持所述标记为0，表示当前图像 的特征点检测失败，需要继续检测下一帧图像。
5505、 根据检测或跟踪到的上一帧图像中最大人脸图像上的特征点位置， 确定当前图像的上相应特征点的位置，即对上一帧图像中最大人脸图像上的特 征点位置进行跟踪。如果跟踪到该图像中最大人脸图像上的特征点位置，则保 持所述标记为1;否则，将所述标记置为O,表示当前图像的特征点跟踪失败，
需要继续处理下一帧图像。
参见图6,本发明实施例提供的一种对图像中的特征点进行跟踪的装置包
括
图像定位单元61,用于对参考图像中的特征点进行定位，确定所述参考图 像中的特征点的位置。
确定搜索区域单元62,用于根据所述参考图像中的特征点的位置，以及预 先设置的特征点搜索区域大小，确定以所述参考图像的特征点中心为中心的特 征点搜索区域，将该搜索区域作为当前图像的特征点的搜索区域。
确定特征点位置单元63,用于在所述当前图像的特征点的搜索区域内，确 定所述当前图像的特征点位置。
综上所述，本发明将特征点定位结合到特征点跟踪中，不但没有因为假设 模型而引入对运动模式的限制，而且还能在几十毫秒(ms)内完成运算，使得 特征点跟踪的速度更快、效果更好，符合实时运算要求。在可见光和红外线等 条件下都可以获得4艮好的跟踪效果。在诸如人脸识别、人脸特效等领域都具有
广泛的应用。
明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种对图像中的特征点进行跟踪的方法，其特征在于，该方法包括对参考图像中的特征点进行定位，确定所述参考图像中的特征点的位置；根据所述参考图像中的特征点的位置，以及预先设置的特征点搜索区域大小，确定以所述参考图像的特征点中心为中心的特征点搜索区域，将该搜索区域作为当前图像的特征点的搜索区域；在所述当前图像的特征点的搜索区域内，确定所述当前图像的特征点位置。
2、 根据权利要求1所述的方法，其特征在于，该方法还包括根据所述 参考图像中的特征点的位置，确定对所述参考图像进行旋转的角度，并根据该 角度对所述参考图像进行旋转；根据所述预先设置的特征点搜索区域大小，确定以所述旋转后的图像的特 征点中心为中心的特征点搜索区域，将该搜索区域作为所述当前图像的特征点 的搜索区域。
3.根据权利要求2所述的方法，其特征在于，所述特征点包括人的左 眼和右眼；在所述当前图像的特征点的搜索区域内，确定所述当前图像的特征点位置 的步骤包括采用预先训练好的左眼局部候选检测器和右眼局部候选检测器，在所述当 前图像的左眼搜索区域内和右眼搜索区域内，为每个左眼初选位置和右眼初选 位置确定单眼置信度；从所述左眼初选位置和右眼初选位置中，分别选择置信度最大的若干位置 作为左眼候选位置和右眼候选位置，并将所述若干左眼和若干右眼候选位置配 成双眼候选对，得到若干双眼候选组合；采用预先训练好的双眼验证分类器对所述若干双眼候选组合进行验证，得 到通过验证的若干双眼候选组合，并且，将该若干双眼候选组合中的所有左眼 候选位置以及右眼候选位置分别进行平均，得到所述当前图像的左眼位置和右眼位置。
4、 根据权利要求3所述的方法，其特征在于，所述特征点还包括人的嘴巴；该方法还包4舌根据预先设置的嘴巴搜索区域大小，确定以所述旋转后的图像的嘴巴中心 点为中心的嘴巴搜索区域，将该搜索区域作为所述当前图像的嘴巴搜索区域； 根据所述当前图像中的嘴巴搜索区域，确定所述当前图像中的嘴巴位置。
5、 根据权利要求4所述的方法，其特征在于，根据所述当前图像中的嘴 巴搜索区域，确定所述当前图像中的嘴巴位置的步骤包括采用预先训练好的嘴巴局部候选分类器在所述当前图像的嘴巴搜索区域 内搜索所有嘴巴初选位置，并且记录置信度最大的若干嘴巴初选位置作为嘴巴 候选位置；利用所述当前图像的左眼位置和右眼位置，以及每个嘴巴候选位置，根据 预先设置的人脸验证区域割取人脸验证区域；对所述人脸验证区域进行放缩后发送给预先训练好的人脸验证检测器进 行验证；对通过验证的嘴巴候选位置进行平均，得到所述当前图像的嘴巴位置。
6、 根据权利要求1所述的方法，其特征在于，所述参考图像中的特征点 的位置保存在预先设置的跟踪队列中；根据所述跟踪队列中保存的特征点位置，确定当前图像的特征点位置。
7、 根据权利要求6所述的方法，其特征在于，该方法还包括利用所述 当前图像的特征点位置更新所述跟踪队列中保存的特征点位置，并且，将所述 当前图像作为参考图像；根据所述更新后的跟踪队列中保存的特征点位置，确定下一帧图像的特征 点位置。
8、 根据权利要求6或7所述的方法，其特征在于，所述跟踪队列中包括若千组特征点，每组中的特征点与 一个脸部区域上的特征点相对应；该方法还包括周期定位参考图像中新出现的脸部区域中的特征点的步骤 周期通过脸部区域检测技术，定位参考图像中的各个脸部区域，并保存在检测队列中；当所述检测队列中存在一脸部区域未与所述跟踪队列中的任一组脸部区 域的特征点相对应时，将该脸部区域作为新出现的脸部区域；对所述新出现的脸部区域中的特征点进行定位，确定新出现的脸部区域上 的特征点的位置，并存入所述跟踪队列中。
9、 根据权利要求1所述的方法，其特征在于，所述参考图像中的特征点 为所述参考图像中的最大人脸区域内的特征点。
10、 一种对图像中的特征点进行跟踪的装置，其特征在于，该装置包括 图像定位单元，用于对参考图像中的特征点进行定位，确定所述参考图像中的特征点的位置；确定搜索区域单元，用于根据所述参考图像中的特征点的位置，以及预先 设置的特征点搜索区域大小，确定以所述参考图像的特征点中心为中心的特征 点搜索区域，将该搜索区域作为当前图像的特征点的搜索区域；确定特征点位置单元，用于在所述当前图像的特征点的搜索区域内，确定 所述当前图像的特征点位置。
全文摘要
本发明公开了一种对图像中的特征点进行跟踪的方法及装置，用以解决现有技术中对图像中的特征点进行跟踪的效果差、所需运算量大的问题。本发明对图像中的特征点进行跟踪的方法包括对参考图像中的特征点进行定位，确定所述参考图像中的特征点的位置；根据所述参考图像中的特征点的位置，以及预先设置的特征点搜索区域大小，确定以所述参考图像的特征点中心为中心的特征点搜索区域，将该搜索区域作为当前图像的特征点的搜索区域；在所述当前图像的特征点的搜索区域内，确定所述当前图像的特征点位置。
文档编号G06K9/00GK101169827SQ20071017864
公开日2008年4月30日 申请日期2007年12月3日 优先权日2007年12月3日
发明者邓亚峰, 英 黄 申请人:北京中星微电子有限公司