一种基于背景加权的尺度方向自适应均值漂移方法与流程

本发明涉及目标跟踪领域，具体而言涉及一种复杂背景下运动目标跟踪方法。

背景技术：

目标跟踪作为一门跨领域跨学科的前沿技术，是机器视觉的核心问题之一。目标跟踪技术从上世纪六十年代开始繁荣发展，到现在已经形成了一系列的方法。由于被跟踪目标本身变化的多样性以及外部环境的复杂性，运动目标跟踪是一个极富挑战性的课题。一个鲁棒的目标跟踪算法必须要能够理想的解决跟踪过程中遇到的各种困难(如方向旋转变化、尺寸变化、光照变化、遮挡变化、背景相似度变化等)，均值漂移算法(Mean Shift,简称MS)因其原理简单、运行效率高被广泛的应用在目标跟踪领域。MS算法最早是由Fukunaga和Hostetler等人于1975年提出的，用于做数据分析，Cheng Y等于1995年首次将MS算法运用到模式识别领域，Bradski将MS算法运用到人脸跟踪并提出了CAMSHIFT算法，Comaniciu和Meer等人成功的将MS算法运用到图像分割和目标跟踪中。均值漂移算法是一种基于颜色直方图的非参数方法，通过迭代运算找到目标位置，实现目标跟踪。

传统的MS算法中，目标的尺寸方向问题没有解决，2012年Jifeng Ning等人提出了基于尺寸方向自适应的均值漂移目标算法(Scale and Orientation Adaptive Mean Shift Tracking，简称SOAMST)。解决了由运动目标尺寸方向变化导致的跟踪漂移问题，但针对背景相似度问题易陷入局部最优，导致跟踪的目标丢失，为了解决由于背景相似导致的跟踪漂移问题，Comaniciu等人提出了基于背景加权颜色直方图的均值漂移算法(Background-Weighted Histogram MS)，在直方图中融入背景信息，但并未达到实际效果。Jifeng Ning提出了校正的背景加权算法(Corrected Background-Weighted Histogram MS，简称CBWH-MS)，该算法在一定程度上降低了由背景复杂引起的跟踪漂移，但对目标的尺寸方向问题未作考虑。

本发明针对上述缺陷，提出了一种复杂背景下运动目标跟踪算法，针对经典的均值漂移算法在跟踪过程中由背景相似度、尺寸变化以及遮挡等引起的跟踪漂移问题，提出了一种基于背景加权的尺寸方向自适应均值漂移跟踪算法。结合背景加权来提取目标颜色特征，充分利用了视频图像序列的空间信息，突出了目标区域的信息特征，抑制了由背景相似度和背景模糊引起的跟踪漂移现象。采用尺寸方向自适应的协方差矩阵估计方法，以适应运动目标尺寸方向的实时变化，保证了跟踪的准确性。经实验验证该文提出的运动目标跟踪算法较之其他经典均值漂移算法在精度和效率上都有显著提高。

技术实现要素：

本发明的目的是在于针对上述已有技术的不足，提出了一种基于背景加权的尺寸方向自适应均值漂移跟踪方法，包括步骤：a)读入初始帧并对目标位置y₀初始化；b)计算目标模型和背景特征模型c)确定目标候选位置；d)计算候选目标模型和背景模板；e)计算图像权重w_i；f)迭代计算新的目标位置y₁；g)判断判断如果两帧物体之间距离的d小于0.1(即设定值ξ)或者迭代次数K是否大于设定的最大迭代次数N并且计算ρ背景模板相似度是否小于设定的ξ₂,是否成立，若成立，进入步骤h，若不成立，返回步骤c；h)估算目标的长宽以及尺寸方向；i)确定当前帧的目标位置，包括计算当前的目标模型和背景特征模型j)更新背景特征模型；k)判断是否为最后一帧，若是，则结束，若不是，返回步骤b。

优选地，所述目标模型的计算方法为：

其中，u表示直方图分量，m通常取值为8、16或32；k(x)为核函数，用于像素的加权；n表示目标窗口的像素数；b(xi)是对应x_i处的像素的颜色直方图索引；δ是Kronecker Delta函数；C为归一化常数系数。

优选地，所述候选目标模型的计算方法为：

其中，表示特征u在候选目标模型的概率密度；h表示跟踪的带宽。

优选地，所述图像权重w_i的计算方法为：

优选地，所述计算新的目标位置y₁的方法为：

优选地，所述估算目标的长宽以及尺寸方向的方法为：

其中A＝π×a×b，表示目标区域面积；a，b为其目标区域的长短轴；λ₁、λ₂为矩阵特征值。

本发明公开了一种复杂背景下运动目标跟踪方法。针对经典的均值漂移算法在跟踪过程中由背景相似度、尺寸变化以及遮挡等引起的跟踪漂移问题，提出了一种基于背景加权的尺寸方向自适应均值漂移跟踪算法。结合背景加权来提取目标颜色特征，充分利用了视频图像序列的空间信息，突出了目标区域的信息特征，抑制了由背景相似度和背景模糊引起的跟踪漂移现象。采用尺寸方向自适应的协方差矩阵估计方法，以适应运动目标尺寸方向的实时变化，保证了跟踪的准确性。经实验验证该文提出的运动目标跟踪算法较之其他经典均值漂移算法在精度和效率上都有显著提高。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示出了根据本发明的基于背景加权的尺度方向自适应均值漂移算法的流程图；

图2-图4示出了四种跟踪算法在3种不同视频序列下的中心点位置误差图像。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

如图1所示，为根据本发明的基于背景加权的尺度方向自适应均值漂移算法的流程图；具体步骤为：

步骤101：读入初始帧，并对目标位置y₀初始化；

步骤102：计算目标模型和背景特征模型

根据本发明的一个实施例，所述目标模型的计算方法为：

其中，u表示直方图分量，m通常取值为8、16或32；k(x)为核函数，用于像素的加权；n表示目标窗口的像素数；b(xi)是对应x_i处的像素的颜色直方图索引；δ是Kronecker Delta函数；C为归一化常数系数。

步骤103：确定目标候选位置；

步骤104：计算候选目标模型和背景模板；

根据本发明的一个实施例，所述候选目标模型的计算方法为：

其中，表示特征u在候选目标模型的概率密度；h表示跟踪的带宽。

步骤105：计算图像权重w_i；

根据本发明的一个实施例，所述图像权重w_i的计算方法为：

步骤106：迭代计算新的目标位置y₁；

根据本发明的一个实施例，所述计算新的目标位置y₁的方法为：

步骤107：判断判断如果两帧物体之间距离的d小于0.1(即设定值ξ)或者迭代次数K是否大于设定的最大迭代次数N并且计算ρ背景模板相似度是否小于设定的ξ₂,是否成立，若成立，进入步骤108，若不成立，返回步骤103；

步骤108：估算目标的长宽以及尺寸方向；

根据本发明的一个实施例，所述估算目标的长宽以及尺寸方向的方法为：

其中A＝π×a×b，表示目标区域面积；a，b为其目标区域的长短轴；λ₁、λ₂为矩阵特征值。

步骤109：确定当前帧的目标位置，包括计算当前的目标模型和背景特征模型

步骤110：更新背景特征模型；

步骤111：判断是否为最后一帧，若是，则结束，若不是，返回步骤102。

本发明为了解决MS算法目标跟踪过程中存在的上述问题，将背景加权结合到尺寸方向自适应的MS算法中。实验显示，基于背景加权的尺寸方向自适应均值漂移算法对复杂场景下的目标跟踪具有很强的鲁棒性。

在经典的均值漂移目标跟踪中，目标的表示通常用矩形或椭圆来表示，目标的特征提取是基于颜色的目标模型，可以解释为目标区域所有颜色的概率密度。在基于颜色的目标模型中指定归一化目标模型的像素为目标模型的计算如下：

其中：u表示直方图分量，m通常取值为8、16或32，本发明取m＝16；k(x)为核函数，用于像素的加权；n表示目标窗口的像素数；b(xi)是对应x_i处的像素的颜色直方图索引；δ是Kronecker Delta函数；C为归一化常数系数，计算如下：

与目标模型相似，目标的候选模型计算如下：

其中，表示特征u在候选目标模型的概率密度；h表示跟踪的带宽。采用Bhattacharyya相关系数计算目标模型和候选目标模型的相似度，计算如下：

用巴氏系数计算相似性，通过迭代优化的过程得到目标位置。初始化的第一帧目标位置，使用泰勒公式在y₀处展开：

其中，w_i为图像的权重系数：

在迭代过程中估计的目标区域从y₀移动到y₁，具体计算如下：

通过式(8)MS算法可在新的图像序列中找到与目标模型最相似的区域，即实现对目标的跟踪。

在背景和目标相近的视频序列中，直接采用颜色特征模型，跟踪效果较差。为了使基于颜色直方图的均值漂移算法能够更好地辨别背景区域和目标区域，减少图像相邻帧中平坦区域的干扰，增强不平坦区域的颜色特征，本发明采用融合背景加权的颜色特征模型来解决上述问题。根据经验值，设定背景加权区域的大小在目标窗口周围面积为其三倍的图像区域,然后计算背景区域的颜色直方图表示为其中假设中非零最小值为基于背景加权的颜色直方图对应的权重系数为：

则目标模型的特征的概率密度为：

目标背景特征模型与当前帧候选区域背景的特征模型做相似度计算，表达式为：

如果ρ<ε，则表明背景变化较大，则更新背景模型，即将当前帧下的背景模型赋值给目标背景模型，从而减少了由背景变化剧烈而导致的目标跟踪丢失问题。

针对跟踪过程中的尺寸方向问题，Jifeng Ning等人提出了一种结合图像密度分布函数和图像权重矩阵相结合的方法，提高了MS算法对跟踪目标尺寸方向的抗干扰能力。计算目标区域当前的矩阵特征，可以对目标的长和宽以及方向进行估计，通过使用奇异值分解矩阵对协方差矩阵进行分解，计算如下：

假设a，b为其目标区域的长短轴，根据比例关系可以知道λ₁/λ₂≈a/b，因此，可以假设k为尺度因子，a＝k×λ₁，b＝k×λ₂得到如下表示：

其中A＝π×a×b，表示目标区域面积,新的协方差矩阵如下：

通过上述的改变，一旦位置确定，目标区域的尺寸方向就会被估计，而候选目标区域的协方差矩阵定义如下：

其中Δd表示下一帧目标候选区域的增量，初始化目标候选区域的位置计算如下：

针对运动目标跟踪过程中由背景相似变化、尺寸方向变化和遮挡变化等因起的跟踪漂移问题，本发明将背景加权算子融合到SOAMS算法中，使用背景加权算子对目标背景进行处理，利用了图像序列的空间信息，突出了目标区域的信息特征，减少了图像中平坦区域的干扰，增强了不平坦区域的颜色特征，降低了由背景相似和背景模糊导致得跟踪漂移现象。融合背景加权算子的目标模型特征的表达式为(10)。

在原始的SOAMS算法中，虽然可以反映运动目标的尺寸方向变化，但存在以下问题:

1)当目标的背景相似或存在背景模糊时会导致跟踪精度降低，严重时导致跟踪丢失。

2)由于当运动目标相邻帧之间目标移动位置较大时，传统的SOAMS算法在跟踪目标时由于实时性和迭代次数的条件限制，会造成跟踪过程的计算量增大或者跟踪丢失。

3)原始的SOAMS算法中对目标后选区的遍历过程都采用长轴方式，造成跟踪过程中目标过大时算法的计算量冗余，无法满足目标跟踪的实时性要求。本发明针对原始的SOAMS算法存在的上述问题，一一的提出了改进。

本发明针对原始的SOAMS算法存在的上述问题，一一的提出了改进。

针对问题1)，本发明将背景加权算子融合到SOAMS算法中，上述已经提到。

针对问题2)，在传统的SOAMS算法中，目标后选区的扩充范围是通过加上一个Δd来实现的，其中Δd表示下一帧目标候选区域的增量，其阈值一般取5到15，在代码测试过程中，不同的视频序列如果设定为一个固定的阈值会导致跟踪精度降低，严重时导致跟踪丢失。因起这类问题的主要原因是在目标跟踪过程中,目标在相邻帧中位置移动距离是不固定的。当SOAMS算法在目标跟踪中出现目标相邻帧中位置移动较大时，运动目标位置会超出固定阈值扩充的候选目标区域的范围，这就会导致SOAMS算法的迭代次数增多，如果在限定的迭代次数内未能准确的跟踪目标，那么根据巴士系数的计算公式就错误找到目前相似系数在大的位置当作成目标，引起跟踪丢失。本发明通过计算目标候选区域与上一帧目标区域中心点绝对位移作为Δd，自适应的设定阈值。改进后的Δd的计算为：

其中，(X₀，Y₀)为当前帧目标候选区域的中心点位置坐标，(Xcen，Ycen)为上一帧目标区域的中心点位置坐标。自适应阈值通过目标区域的事实变化得到，根据相邻帧间目标位置移动的绝对距离作为目标后选区的增量，可以更好的满足运动目标位移变化，特别是当运动目标相邻帧间目标移动得绝对唯一突然增大时，本发明算法可以更快跟准确的跟踪目标，降低了由目标突然剧烈位置变化导致的跟踪漂移现象。

针对问题3)，对原始的SOAMS算法目标跟踪的候选区域模型和搜索区域进行优化，简化了目标候选区域的计算过程，即对目标候选区域遍历的范围在原有采用长轴的基础上改为长短轴，都采用长轴扩充的面积为π×(a+Δd)²，采用长短轴的目标候选区的面积为π((a+Δd)×(b+Δd)，相比较而言计算区间减少了π×((a-b)×(a+Δd)(a>b)，降低了算法的计算量。本发明采用扩充后的目标区域进行腐蚀得到目标区域，并且，本发明采用椭圆模型表示目标感兴趣区域，因此，将原来的都采用长轴的遍历方式改为采用长短轴结合的方式，不会减少有效数据的信息，而且还提高了反映目标尺寸方向的准确性，同时，由于冗余像素计算量的减少，提高了算法的运行效率。

表1给出了不同视频序列四种算法的迭代次数，通过比较可以看出本发明算法的运算迭代次数相对最优。

表1四种算法的平均每帧的迭代次数(帧/次数)

表2给出了四种算法平均每帧的运行时间，通过比较本发明算法较之原始的SAOMS算法运行速度减少了一倍多。

表2四种算法平均每帧的运行时间(单位帧/ms)

与已有技术相比，本发明的一种基于背景加权的尺寸方向自适应均值漂移算法有益效果体现在：

(1)采用改进协方差矩阵的尺寸方向估计可以很好地应对运动目标的尺寸方向变化；

(2)同时融合了基于背景特征加权的颜色模型，可以降低复杂背景对跟踪的影响，提高了跟踪的精度和效率。相比于传统MS跟踪算法、单纯的基于背景加权(CBWH-MS)以及只有尺寸方向变化(SOAMST)的MS跟踪算法，本发明算法在处理背景复杂和完全遮挡的场景序列中具有更高的效率和更好的鲁棒性。

图2-图4给出了四种跟踪算法在3种不同视频序列下的中心点位置误差，通过比较本发明算法在跟踪精度上更准确。通过图2-图4中可以看出比较其他三种目标个跟踪算法，本发明改进的基于背景加权的尺度方向自适应均值漂移算法在跟踪精度上更高。并且本发明提出的算法在目标跟踪过程中的鲁棒性更稳定。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。