一种基于特征和区域协同匹配的刚体目标跟踪方法与流程

本发明属于计算机视觉技术领域，具体涉及一种基于特征和区域协同匹配的刚体目标跟踪方法。

背景技术：

刚体目标表面任意一点的运动都可以代表整体的运动，使得利用目标区域内的特征来描述目标运动成为可能。已有的刚体目标跟踪方法致力于提取参考图像目标区域内具有不变性的某些特征，并对提取的特征进行量化和描述，如颜色特征、纹理特征、光流特征。局部特征是指在图像区域内检测到的局部具有不变性、可重现性和特异性的特征，能够在一定程度上抵抗遮挡、尺度、旋转等复杂变化，并提供对特征的定量描述。目前，相比其他特征，局部特征在不变性和特异性方面优势愈发明显，使其更加深入的应用在目标跟踪中。在当前帧到来时，首先对整个区域提取局部特征并描述。进而，通过局部特征的匹配找到同上一帧相同目标内局部特征的候选对应集。借助随机采样一致性算法(ransac)，去除不正确的对应特征集，估计出运动变换参数，实现目标跟踪。图1给出了基于特征的跟踪方法框图，其主要思路在于将跟踪看成是局部特征匹配问题。

目前，surf(speed-uprobustfeature，加速鲁棒特征)特征是应用较多且效果较为理想的局部特征之一，主要引入积分图像快速算法，并通过执行加减法运算近似得到高斯二阶微分的响应值。surf算法主要包括特征检测和特征描述两方面。特征检测通过快速计算每个特征的尺度和主方向，并且圈定以检测点为中心的尺度旋转不变对称邻域；特征描述在该不变性邻域内进行haar特征计算，并最终形成64维特征向量。不同图像之间的surf特征匹配主要是通过比较特征向量之间的距离实现的。

运动模型构建是通过surf特征匹配完成的。假设x和分别代表不同图像之间的对应surf特征点，则二者之间有如下的关系：

其中，w(x,h)是透视变换函数，h＝(h1,...h8)^t是运动参数。具体表示如下：

其中x,y表示surf特征点的横、纵坐标。得出运动参数后，将初始帧的目标区域边界进行相应的透视变换，得到当前帧的目标区域。

在视频中，场景经常会出现光照、遮挡、视角、仿射等一种或多种变化，对局部特征的匹配造成了严重的干扰。现有技术沿用和静态图像相同的局部特征匹配方法，无法适应发生剧烈变化的场景，也没有体现与场景连续性变化相对应的自适应性。

技术实现要素：

视频序列中，场景经常会出现复杂变化，如尺度、旋转、光照、遮挡等，对刚体目标跟踪提出了挑战，本发明提供一种基于特征和区域协同匹配的刚体目标跟踪方法，能够对目标区域的局部特征实现准确的描述和匹配，进而保证目标跟踪效果的鲁棒性、稳定性。

本发明采用的技术方案如下：

一种基于特征和区域协同匹配的刚体目标跟踪方法，其特征在于，包括以下步骤：

1)在初始图像中选定目标区域，并在目标区域检测surf特征；

2)在目标区域内，以每个surf特征点为中心构建不变性区域；

3)在当前图像到来时，提取其surf特征，并与初始图像进行基于surf特征和不变性区域的协同匹配，形成匹配点对；

4)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。

进一步地，还包括在线更新步骤：对surf特征和不变性区域进行在线更新，以提高后续跟踪的自适应性。

进一步地，步骤1)检测surf特征时，利用积分图像计算hessian矩阵行列式，再通过选取极值来定位surf特征点，并通过调整方格滤波器的尺寸来建立尺度空间。

进一步地，步骤3)所述基于surf特征和不变性区域的协同匹配，是首先利用surf特征匹配得到运动参数初始值，然后利用已构建的不变性区域进行匹配得到精确运动参数，从而形成匹配点对。

进一步地，步骤3)首先利用特征向量找到候选对应点，然后按照特征向量描述子匹配的匹配分数将候选对应点对进行排序，再将匹配分数同预设门限进行比较，将大于门限的点对选出，形成基于特征向量描述子匹配的对应点对，并利用ransac算法得到初始帧i1和第t帧it的目标区域之间的运动参数初始值；如果不存在大于门限的点对，则放弃当前匹配点，转而利用已构建的不变性区域进行补充匹配。

进一步地，步骤4)采用ransac算法计算得出运动参数，实现对目标的定位。

进一步地，所述在线更新的方法为：如果正确的匹配点对是通过基于特征匹配得到的，利用匹配点对作为正样本，更新surf特征和不变性区域；如果正确的匹配点对是通过区域匹配得到的，则更新不变性区域；对于错误的匹配点对，不做任何更新。

一种服务器，所述服务器包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上面所述方法中各步骤的指令。

一种存储计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时，实现上面所述方法的步骤。

本发明的关键点包括：1)基于局部特征匹配解决刚体目标跟踪问题；2)在初始帧和当前帧之间对刚体目标构建运动模型；3)复杂变化下surf特征的可重复性；4)构建不变性区域；5)基于特征和区域的协同匹配方案；6)在线更新使跟踪保持自适应性，保证了算法的系统性和完备性。

本发明面向视频中复杂场景变化提出了一种自适应的刚体目标跟踪方案，通过对surf特征在复杂变化下的可重复性规律进行研究，利用surf特征和区域模板协同匹配的方案求解运动参数，在跟踪完成后对surf特征、区域模板做进一步更新，能够保持对复杂变化的自适应性，提升跟踪效果的鲁棒性和稳定性。

附图说明

图1.现有技术中基于特征的跟踪方法框图。

图2.本发明的基于特征和区域协同匹配的刚体目标跟踪方法流程图。

图3.复杂变化下surf特征的可重复性示意图。

图4.不变性区域示意图。

图5.目标跟踪示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明提出了一种新的刚体目标跟踪方案，并根据初始帧和当前帧之间的目标变化建立联系，从根本上克服漂移问题。由于刚体的内部结构具有运动一致性，该方案利用surf特征匹配来确定目标区域，得到初步运动参数；再引入基于区域的匹配方案应对较为剧烈的目标变化，保证最能够适应当前目标变化的surf特征及其周围特定区域被充分采用，实现精细化匹配。在完成对当前帧的跟踪后，对surf特征及其周围特定区域进行在线更新，提高后续跟踪的自适应性。最终使跟踪保持对复杂变化的自适应性，达到鲁棒和稳定的效果。

本发明的工作流程如图2所示。在初始图像中，选定目标区域(可手动圈出感兴趣的目标区域)，并在目标区域内提取surf特征建立特征描述，同时在每一个以surf特征点为中心的不变性邻域内构建区域描述。在新的图像到来之时，首先提取surf特征，利用特征匹配得到初步的运动参数；再与初始图像建立基于特征和区域的协同匹配，形成最终匹配点对。通过ransac计算出运动参数，实现对目标的定位。最后，对surf特征和不变性区域进行在线更新，便于后续帧的处理。

surf特征虽然在一定程度上保持对复杂变化的自适应性，但并不意味着所有的surf特征都能保持一致的不变性。在发生复杂变化时，一部分surf特征无法被再次检测到，更无法开展后续的特征描述和匹配等工作。以图3为例，一部分特征对于光照变化可重复：另外的一些特征对于仿射变化更加敏感。原因在于，每个surf特征是用一个圆形来描述的。如果左半圆和右半圆对比鲜明，当光照发生变化后，这种左右的对比依然存在，此时特征是可重现的：如果圆心周围的灰度变化比较尖锐，外围区域的灰度变化平坦，当发生仿射变化后，内外区域的灰度变化依然保持，特征可再次检测到。

具体实现方案描述如下：

步骤一：surf特征提取

surf特征提取利用积分图像计算hessian矩阵行列式，再通过选取极值来定位。具体地，对图像i上点x＝(x,y)处，尺度s的hessian矩阵h(x,s)表示为：

以lxx(x,s)为例，代表高斯函数二阶导数在x＝(x,y)处与图形i的卷积，具体用方格滤波器(boxfilter)dxx来近似。通过引入相关权重w，实现对hessian矩阵行列式的平衡：

det(happrox)＝dxxdyy-(wdxy)²(4)

其中，det(happrox)是二维矩阵行列式，dyy-和dxy分别表示不同方向的二阶高斯差分模板。

对于surf特征检测，建立尺度空间不需要改变原图像尺寸，而是通过调整方格滤波器的尺寸来实现，与原图像在进行卷积计算。将方格滤波器的近似表示和积分图像结合提升计算效率，计算滤波器模板尺寸归一化det(happrox)。

通过不同尺寸方格滤波器形成的层(octave)就是对尺度空间的表达。兴趣点的定位是以候选点为中心的图像和包括尺度空间在内的3×3×3邻域内执行非极大值抑制策略，将具有最大或最小值的对应点作为特征点，同时得到尺度s。

步骤二：不变性区域构建

在初始帧，对于目标区域内的每个surf特征点γ构建不变性区域pγ，定义是以γ为圆心、2.5s为半径的圆形区域，s为surf特征的尺度，如图4所示。其中2.5s是本实施例中的取值，也可以采用其它值为半径。

步骤三：基于特征和区域的协同匹配

假设初始帧目标区域surf特征点集合为b＝{b1,b2,...,br}，对应特征向量描述子{u1,u2,...,ur}。第t帧到来时，首先进行surf特征检测，得到特征点集合υt＝{γt,1,γt,2,...,γt,q}，对应特征向量描述子vt＝{vt,1,vt,2,...,vt,q}。然后利用特征向量vt,r找到特征br的候选对应点ψt,r，之后按照特征向量描述子匹配的可靠性(即匹配分数，指两个特征向量之间的欧式距离)将候选对应点对进行排序，再将匹配分数urvt,r(ψt,r)同预设门限λ(即设定的最低可信的匹配分数)进行比较，将大于门限的点对选出来形成子集合ψt＝{ψt,1,ψt,2,...,ψt,m}，形成基于特征向量描述子匹配的对应点对，利用ransac算法得到初始帧i1和第t帧it的目标区域之间的运动参数初始值本实施例中，匹配分数的范围是0-1，预设门限的值取0.5。

反之(即不存在大于门限的点对)，则放弃当前匹配点ψt,r，转而利用已构建的不变性区域进行补充匹配。利用不变性区域进行匹配的目的仍是求解初始帧i1和第t帧it的目标区域之间的精确运动参数ht,1，进而实现对当前目标的精细化定位，二者之间的关系如下：

i1(x)≈it(w(x,ht,1))(6)

其中，w是透视变换函数。

具体地，对当前帧和初始帧的目标区域进行特征匹配，统计使用不变性区域匹配的点φ＝{φ1,φ2,...,φn}，通过最小化每个点φ的不变性区域pφ的灰度差平方和来求解：

本方案采用反向合成方法来求解公式(7)，通过计算得出的ht,1，进一步找到φ＝{φ1,φ2,...,φn}在当前帧的对应点集kt＝{κt,1,κt,2,...,κt,n}。ht,1在迭代求解过程中的初始值为前一帧的运动参数

在ransac过程中，初始帧目标区域surf特征点集合b＝{b1,b2,...,br}的对应点集合由ψt＝{ψt,1,...,ψt,m}和kt＝{κt,1,κt,2,...,κt,n}组成，并且r＝m+n。

步骤四：目标跟踪

目标跟踪示意图如图5所示，圆圈代表通过surf特征匹配建立的对应的surf特征点；方框代表通过不变性区域建立的对应的不变性区域。初始帧i1和第t帧it的目标区域之间的最终运动参数ht,1是基于上述对应点对计算得到的，最终确定了当前帧的目标区域。

步骤五：在线更新

完成目标跟踪后，需要对surf特征、不变性区域进行更新，更新流程如表1所示。如果正确的匹配点对是通过基于特征匹配得到的，利用匹配点对作为正样本，更新surf特征、不变性区域；如果正确的匹配点对是通过区域匹配得到的，则更新不变性区域；对于错误的匹配点对，不做任何更新。

表1在线更新流程

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。