专利名称：一种确定图像中的特征点位置的方法及装置的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及一种确定图像中的特征点位置的 方法及装置。
背景技术：
人脸图像是计算机视觉系统中人机交互最便捷的方式之一 。人脸定位就是 在图像或图像序列中确定所有人脸的位置，而人脸跟踪则是持续跟踪视频序列 中的一个或多个人脸的位置。人脸定位与跟踪技术不仅是人脸识别、表情识别、 人脸合成等技术的必要前提，而且其在智能人机交互、视频会议、智能监控、 视频检索等领域有着广泛的应用价值。现有技术中在人脸定位领域应用非常广泛的活动形状才莫型(ASM, Active Shape Models )是一种基于主元分析方法(PCA )、目标活动形状特征的参数模 型。ASM算法基于点分布实现，由一个事先训练好的模型获取目标区域各个 分布点的位置，进而确定目标区域各个轮廓的形状。常用的ASM模型大都基 于人脸面部灰度或边界特征实现，这类方法对光照等干扰非常敏感，而且不同 人脸面部的灰度数据差别巨大，导致针对部分人脸训练的模型无法应用于更多 的人脸。盖博(Gabor)特征在人脸识别等领域应用非常广泛，其可为人脸图像提 供多尺度、多方向的精细描述，表现出优秀的时频聚集性，具备很强的刻画细 节与局部结构的能力。Gabor特征具有带通滤波的性质，既能部分地抵抗慢变 光照的影响，也能滤去一些高频噪声。发明内容本发明实施例提供了 一种确定图像中的特征点位置的方法及装置，用以解 决现有技术中存在的图像特征点定位精度不高的问题。本发明实施例提供的 一种确定图像中的特征点位置的方法包括 预先基于图像样本训练得到由图像上的目标区域的形状模型和盖博Gabor特征模型组成的活动形状模型ASM;对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置，并根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征；结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点 的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定 所述目标区域内的特征点的位置。本发明实施例提供的 一种确定图像中的特征点位置的装置包括训练单元，用于预先基于图像样本训练得到由图像上的目标区域的形状模 型和盖博Gabor特征^t型组成的活动形状模型ASM;初始位置单元，用于对输入图像进行才企测，获取所述输入图像的目标区域 内的特征点的初始位置；Gabor特征单元，用于根据所述初始位置计算所述输入图像上的目标区域 内的特征点的Gabor特征；匹配单元，用于结合所述目标区域的形状模型，对所述输入图像上的目标 区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征 进行匹配，确定所述目标区域内的特征点的位置。本发明实施例，预先基于图像样本训练得到由图像上的目标区域的形状模 型和Gabor特征模型组成的活动形状模型ASM;通过对输入图像进行检测， 获取所述输入图像的目标区域内的特征点的初始位置，并根据该初始位置计算 所述输入图像上的目标区域内的特征点的Gabor特征；结合所述目标区域的形 状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的 准确位置，从而提高了输入图像特征点定位结果的精确度。
图1为本发明实施例提供的训练模型的特征点标定示意图； 图2为本发明实施例提供的一种确定图像中的特征点位置的方法的流程示 意图；图3为本发明实施例提供的特征点定位结果示意图； 图4为本发明实施例提供的特征点跟踪结果示意图； 图5为本发明实施例提供的一种确定图像中的特征点位置的装置的结构示意图。
具体实施方式
本发明实施例提供了 一种确定图像中的特征点位置的方法及装置，用以实 现对采集图像中的特征点进行准确地实时定位及跟踪。本发明实施例以确定图像中的人脸特征点位置为例，介绍了如何快速获取 图像中的各个姿态的人脸面部的特征点，如嘴角点、眼角点等，并对这些特征 点进行持续、快速地跟踪。当然，根据本发明实施例提供的技术方案，也可以 实现对图像中的汽车、动物等其他物体的特征点进行定位及跟踪。本发明实施例将Gabor特征应用于人脸特征的抽取，将Gabor特征与ASM 结合起来，在ASM模型的各个特征点计算Gabor特征，根据Gabor特征进行 各个特征点位置的迭代搜索，最终获取图像中的各个特征点的精确位置。本发明实施例首先需要训练人脸(图像中的目标区域)的ASM模型，该 模型包括人脸的形状模型和Gabor特征模型两部分。事先采集数千幅多姿态人脸图像样本，手工标定这些样本中的人脸的10 个特征点的位置，如图1所示，为一副标准人脸图像的IO个特征点的示意图。首先训练人脸的形状模型。将人脸面部的特征点表示为S，每个人脸包含了 10个特征点的jc坐标和y坐标。将标准人脸图像作为训练样本，定位标准 人脸图像中的IO个特征点的位置，如图1所示。将所有归一化后的各个特征点的坐标组成一个列向量s,对所有的s进行PCA变换，获取均值特征向量s。、 w个最大的特征值，以及对应的"个特征向 量^' = 1，2，...,"，这样，任意输入图像的人脸特征点的坐标组成的向量可近似表 示为s。与= 1,2,...,"的线'l"生求和 n其中，凡是^的线性加权系数。均值特征向量s。、"个最大的特征值，以 及对应的《个特征向量^,/ = 1,2,...，"组成了人脸的ASM形状才莫型。 二维Gabor滤波器的冲激响应表示为其中，方差 cr = 2;r ， 本发明实施例中考虑了 5个频率v:0,…，4, 8个方向 〃 =0,...，7，则有h 、COS^ ;r可以看出，本发明共计算了 5x8=40个滤波器。对某个特征点，以该特征 点为中心，将各个Gabor滤波器的冲激响应与输入图像进行巻积，可获取对应 的Gabor特征，共有40个滤波器，因此在该点获取40维Gabor特征。本发明实施例采用Gabor特征来描述各个特征点的局部特征，计算各个特 征点的多维Gabor特征，并将一个输入图像的所有特征点的Gabor特征组成一 个一维向量G，每个特征点对应的Gabor特征有40维，特征点有十个，则该 向量共有400维。根据前面计算的仿射变换系数将输入图像中的人脸归一化到标准的尺寸， 接着再对人脸进行灰度的归一化。根据归一化后所有人脸的灰度和特征点的位 置计算各点的Gabor特征，将各个人脸所有特征点的Gabor特征组成一维向量G。对所有人脸的一维向量G进行PCA变换，获取均值特征向量Go、 m个最 大的特征值，及对应的m个特征向量《,/ = 1,2,...，附，这样任意人脸的Gabor特 征向量可近似表示为G。与G，/ = 1,2,...,w的线性求和附其中，/1,是G,的线性加权系数。均值特征向量Go、 w个最大的特征值以 及对应的m个特征向量0,,/ = 1,2,...^组成了人脸的ASM特征模型，该模型基于 Gabor特征实现。本发明采用训练好的ASM模型对人脸进行特征点定位，下面结合附图详 细介绍本发明特征点定位的具体实现方式。参见图2，本发明实施例提供的一种确定图像中的特征点位置的方法具体 包括5201、 通过摄像头采集输入图像。5202、 对输入图像进行多姿态人脸检测与跟踪，通过活动外观模型(AAM， Active Appearance Models)算法获取输入图像上的人脸特征点的仿射变换系 数。通过人脸图像样本训练，分别获得人脸正面与半侧面检测模型，并确定AAM 人脸模型；利用所述人脸正面与半侧面检测模型，对输入的视频图像进行人脸 检测，确定一帧图像中是否存在人脸；如果在某帧图像中检测到人脸，则在后 续帧中追踪并验证该人脸。应用该方法，可以追踪检测多姿态的人脸，且能克 服与人脸肤色相近的非人脸区域干扰的缺点，并能确保多姿态人脸的持续跟踪 和检测算法的稳定性，并获取人脸的平面旋转角度，输出人脸的准确尺寸。5203、 根据仿射变换系数确定输入图像上的人脸特征点的初始位置，并根 据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征。5204、 结合预先设置的人脸的形状模型，对所述输入图像上的人脸的特征 点的Gabor特征与Gabor特征模型中的Gabor特征进行匹配，获得输入图像上的人脸的特征点的准确位置。5205、 采用平移速度估算(Lucas-Kanade )算法对当前输入图像(简称图 像A)的人脸特征点进行跟踪，获得该输入图像的下一帧输入图像(简称图像 B)的人脸特征点的估算位置。5206、 结合图像B的人脸特征点的定位结果，对图像B的估算位置进行 修正，确保图像B的人脸特征点的跟踪结果不会出错，从而进一步提高确定每 一帧输入图像的人脸特征点的位置的准确性。步骤S202根据标准图像的特征点位置，计算输入图像的特征点的仿射变 换系数，该仿射变换系数包含了旋转角度、缩放比例和平移尺寸。步骤S203根据输入图像的人脸特征点的仿射变换系数，对输入图像的10 个特征点的初始位置进行几何归一化，获取归一化后的各个特征点的初始位 置。步骤S204中，设输入到ASM定位算法的归一化后的人脸图像为/ ，这幅 图通过多姿态人脸检测算法得到的人脸中心点位置、人脸尺寸以及人脸的旋转 角度求得。下面需要计算合适的PCA线性加权系数^和仿射变换系数9 = {仏},根据 这些参数获取任一人脸的10个特征点的位置，再根据这些特征点位置和输入 图像/计算各特征点的Gabor特征，并对这些Gabor特征组成的向量与训练模 型的Gabor向量进行匹配，两组向量的均方和的差应该尽可能的小，即使下式 最小[G0+|>,G,-G(/，S(p,q))]2 其中，S(p,q)表示由线性加权系数和仿射变换系数获取的输入图像的特征点的位置，G(/,S(p,q》表示输入图像的特征点位置对应计算的Gabor特征向量。 较佳地，本发明实施例采用基于Lucas-Kanade算法的迭代搜索方法计算参 数p和q,进而确定特征点位置。每次迭代都更新一次p和q,经过有限次迭代后，搜索计算完成，返回的p和q的值即可作为最后的结果，根据这两个参 数即可获取各特征点的最终位置。下面两个表达式给出了每次迭代计算p和q 时的更新公式△p = H(p)-,。 ，sub(G/[G。 —G(/,S(p,q))]其中，H是Hessian矩阵，则有HO^[VG。lu(G,/p7G。尝],)丄[VG。^] w—表示[VG。！]向G,组成的子空间的正交空间投影，该向量为"维 列向量，其中第乂项为K,⑨=[VG。 |^]sub(c ": (内=VG。, _艺[G,. VG。 f ]G, 3巧 S ^q的计算公式与p类似。可以看出，本发明实施例在实现过程中采用了 Lucas-Kanade反算算法，在训练时计算VG。、尝、孕，由此可计算出K々)、Ky(g)、 H(p)和H(q)。大部分的计算量在预先训练4莫型时已经完成了 ，而迭代收敛时仅需要进行如下步骤 的计算.-步骤一根据变换数据对图像进行处理，获取变换后的特征点s(p，q),并计算Gabor特征G"S(P，q》；步骤二计算差值数据G。—G(7，s(P，q)); 步骤三计算Ap和Aq;步骤四..更新P-P + Ap，q-q + Aq,获取新的S(P,q)。迭代收敛时需要计算的数据量非常小，因此，本发明实施例可实现快速的 特征点定位。较佳地，本发明实施例在计算VG。时，可直4妄由前面的Gabor特征对x和 y求导kk」Mx kk="exp(-11 〈 2 )[exp(Zk乂x)]/k乂--"exp(- 1 ; 1 2 )[expO'k,)]-5xcr 2cr cr 2cr 2<r ||x||由于Gabor特征的计算是通过对邻域范围内的点的像素值求巻积得到的， 上式中第二项包含了对x的乘积，这项经巻积后 一般会远小于第 一项巻积后的结果，因此，本发明实施例近似认为巻积后Gabor特征的梯度值中第一项比较 大，第二项近似为零，由此可得到各点的Gabor特征的梯度表达式为▽G = !k;G由这个公式即可计算出所有点的VG。。本发明实施例通过采用这种方法， 使得确定Gabor特征的梯度的算法更筒单，效率也非常高，尽管是近似结果， 但对最终的定位结果没有影响，可以说是一种非常有效的方法。由于本发明实施例釆用的多姿态人脸检测算法已将输入图像的人脸区分 为正面、左侧、右侧人脸，因此，较佳地，本发明实施例为左侧、右侧、正面 人脸分别训练ASM模型，根据输入图像的人脸的姿态信息选用不同的ASM模 型进行人脸特征点的定位，进一 步提高特征点定位的精度。较佳地，本发明实施例在特征点定位时考虑了两级分辨率，先对输入图像 的人脸进行较大比例的缩放，在低分辨率上定位，再降低缩放的比例，以低分 辨率定位结果作为初始值，在较高的分辨率上对特征点再次进行定位，由此可 保证较高的特征点定位精度，同时还可大幅度提高定位的效率。较佳地，本发明实施例主要应用于视频序列中人脸特征点的实时定位与跟 踪。假设通过本发明实施例提供的定位与跟踪算法已经获取前一帧输入图像中 的人脸特征点的位置，为了获取当前输入图像中的人脸特征点的准确位置，本 发明实施例采用基于Lucas-Kanade的平移速度估算算法快速、精确地估算出相 邻帧输入图像中的同 一人脸的平移矢量，确定当前输入图像上同 一人脸特征点 的准确位置。由于Lucas-Kanade算法仅在人脸发生平移时估算准确的平移矢量，如人脸发生旋转、缩放等变换，则这个算法的估算的结果精度不太高，因
此，进一步，本发明实施例还随时采用ASM定位结果对跟踪结果进行修正，
在不降低工作效率的前提下提高点定位的精度。
本发明实施例针对每帧输入图像都对跟踪结果进行修正，为了提高整个算 法的处理效率，本发明实施例还可以在每帧输入图像都对输入图像的人脸进行 低分辨率定位，而隔上几帧进行高分辨率定位，由这些定位结果对跟踪结果进 行修正。在每次修正时都计算跟踪结果和定位结果的相似度，根据这个相似度 进行加权比较，返回最终的结果。由于低分辨率定位结果要粗略一些，因此修 正时跟踪结果权重要大一些，而高分辨率定位结果精确一些，修正时定位结果 权重要大一些。采用这种方法后平均每帧人脸特征点的定位与跟踪时间可控制
在10ms以内，可满足实时处理的需要，且可降低系统CPU的占用率。
如图3所示，为采用本发明实施例提供的方法得到的单幅输入图像的人脸
特征点定位结果示意图；如图4所示，为采用本发明实施例提供的方法得到的
基于视频的人脸特征点跟踪结果示意图。
下面介绍一下本发明实施例提供的装置。
参见图5,本发明实施例提供的一种确定图像中的特征点位置的装置包括
训练单元50,用于预先基于图像样本训练得到由图像上的目标区域的形状 模型和Gabor特征模型组成的活动形状模型ASM。
初始位置单元51,用于对输入图像进行检测，获取所述输入图像的目标区 域内的特征点的初始位置。
Gabor特征单元52,用于根据所述初始位置计算所述输入图像上的目标区 域内的特征点的Gabor特征。
匹配单元53，用于结合所述目标区域的形状模型，对所述输入图像上的目 标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特 征进行匹配，确定所述目标区域内的特征点的准确位置。
较佳地，所述初始位置单元51包括仿射变换系数单元511，用于对输入图像进行检测，获取所述输入图像的 目标区域的仿射变换系数。
确定单元512,用于通过所述仿射变换系数确定所述目标区域内的特征点 的初始位置。
较佳地，所述仿射变换系数单元511,采用活动外观模型算法，计算所述 输入图像的目标区域的仿射变换系数。
较佳地，本发明实施例提供的一种确定图像中的特征点位置的装置还包
括
跟踪单元54,用于采用基于Lucas-Kanade的平移速度估算算法对所述输 入图像的目标区域的特征点进行跟踪，确定所述输入图像的下一帧输入图像的 目标区域的特征点的估算位置。
较佳地，本发明实施例提供的 一种确定图像中的特征点位置的装置还包
括
修正单元55，用于根据对所述输入图像的下一帧输入图像的目标区域的特 征点进行定位的结果，对所述估算位置进行修正。
综上所述，本发明实施例实时地对输入视频流中的人脸特征点进行定位。 对于实时输入的视频图像，本发明实施例在多姿态人脸检测与跟踪算法的基础 上，检测视频图像中的人脸，获取人脸框以及姿态信息，接着采用AAM算法 计算人脸的平面仿射变换系数，根据仿射变换系数获取当前人脸10个特征点 的初始位置，再采用事先训练好的基于Gabor特征的ASM模型进行迭代收敛， 获取较准确的特征点位置。进一步，本发明实施例还对获取的特征点位置进行 持续跟踪，结合前一帧输入图像的特征点的跟踪结果和人脸图像，采用基于 Lucas-Kanade的平移速度估算算法预测前一帧输入图像的各个特征点的平移 速度，获取当前帧输入图像的特征点的位置。另外，由于在人脸面部器官剧烈 运动时，某些特征点的跟踪会出错，本发明实施例进一步采用特征点定位结果 对跟踪结果进行修正，确保特征点跟踪的稳定性。本发明实施例不仅适用于人脸面部特征点定位，还可用于各类图像中轮廓 特征的获取，如人脸的外轮廓、手的轮廓等，本发明具有一定的通用性。
明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1. 一种确定图像中的特征点位置的方法，其特征在于，该方法包括预先基于图像样本训练得到由图像上的目标区域的形状模型和盖博Gabor特征模型组成的活动形状模型ASM；对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置，并根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征；结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的位置。
2、 根据权利要求1所述的方法，其特征在于，对输入图像进行检测，获 取所述输入图像的目标区域内的特征点的初始位置的步骤包括对输入图像进行检测，获取所述输入图像的目标区域的仿射变换系数； 通过所述仿射变换系数确定所述目标区域内的特征点的初始位置。
3、 根据权利要求2所述的方法，其特征在于，采用活动外观模型算法， 计算所述输入图像的目标区域的仿射变换系数。
4、 根据权利要求1所述的方法，其特征在于，该方法还包括 采用平移速度估算算法对所述输入图像的目标区域的特征点进行跟踪，确定所述输入图像的下一帧输入图像的目标区域的特征点的估算位置。
5、 根据权利要求4所述的方法，其特征在于，该方法还包括 根据对所述输入图像的下一帧输入图像的目标区域的特征点进行定位的结果，对所述估算位置进行修正。
6、 一种确定图像中的特征点位置的装置，其特征在于，该装置包括训练单元，用于预先基于图像样本训练得到由图像上的目标区域的形状模 型和盖博Gabor特征模型组成的活动形状模型ASM;初始位置单元，用于对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置；Gabor特征单元，用于根据所述初始位置计算所述输入图像上的目标区域 内的特征点的Gabor特征；匹配单元，用于结合所述目标区域的形状模型，对所述输入图像上的目标 区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征 进行匹配，确定所述目标区域内的特征点的位置。
7、 根据权利要求6所述的装置，其特征在于，所述初始位置单元包括 仿射变换系数单元，用于对输入图像进行检测，获取所述输入图像的目标区域的仿射变换系数；确定单元，用于通过所述仿射变换系数确定所述目标区域内的特征点的初 始位置。
8、 根据权利要求7所述的装置，其特征在于，所述仿射变换系数单元， 釆用活动外观模型算法，计算所述输入图像的目标区域的仿射变换系数。
9、 根据权利要求6所述的装置，其特征在于，该装置还包括 跟踪单元，用于采用平移速度估算算法对所述输入图^f象的目标区域的特征点进行跟踪，确定所述输入图像的下一帧输入图像的目标区域的特征点的估算 位置。
10、 根据权利要求9所述的装置，其特征在于，该装置还包括 修正单元，用于根据对所述输入图像的下一帧输入图像的目标区域的特征点进行定位的结果，对所述估算位置进行修正。
全文摘要
本发明公开了一种确定图像中的特征点位置的方法及装置，用以解决现有技术中存在的特征点定位精度不高的问题。本发明提供的一种确定图像中的特征点位置的方法包括预先基于图像样本训练得到由图像上的目标区域的形状模型和盖博Gabor特征模型组成的活动形状模型ASM；对输入图像进行检测，获取所述输入图像的目标区域内的特征点的初始位置，并根据所述初始位置计算所述输入图像上的目标区域内的特征点的Gabor特征；结合所述目标区域的形状模型，对所述输入图像上的目标区域内的特征点的Gabor特征与所述Gabor特征模型中的特征点的Gabor特征进行匹配，确定所述目标区域内的特征点的位置。
文档编号G06K9/62GK101271520SQ20081010324
公开日2008年9月24日 申请日期2008年4月1日 优先权日2008年4月1日
发明者浩 王, 谢东海, 英 黄 申请人:北京中星微电子有限公司