基于背景抑制和前景抗干扰的多尺度目标跟踪方法与流程

本发明涉及目标跟踪技术领域，具体涉及一种基于背景抑制和前景抗干扰的多尺度目标跟踪方法。

背景技术：

目标跟踪是计算机视觉领域的一个重要分支，广泛应用于人流量统计、视频监控、机器人及无人驾驶等领域。目标跟踪方法主要分为生成式和判别式两种，前者在当前帧对目标区域建模，下一帧寻找与模型最相似的区域就是预测位置，比较著名的有卡尔曼滤波，粒子滤波，mean-shift等，而后者在当前帧以目标区域为正样本，背景区域为负样本，利用机器学习方法训练分类器，下一帧用训练好的分类器找最优区域，由于该方法利用了前景和背景信息，这样分类器可以更专注于区分前景和背景，因而提高了跟踪效果，判别式方法也被广泛应用。

近年来基于相关滤波的判别跟踪方法取得了重要的突破，吸引了诸多研究者的目光，在cvpr、iccv、eccv及tpami等视觉领域顶级会议期刊上出现了很多基于相关滤波的跟踪方法，如samf方法。

最小输出平方误差和(mosse)目标跟踪方法将相关滤波的思想引入了目标跟踪领域，该思想主要是将目标与候选区域间的相似性的复杂卷积运算利用傅里叶变换转换为频域内的点乘运算，从而大大提高了跟踪速度，可以达到615fps。而后csk跟踪方法，引入核函数，并将岭回归和循环矩阵应用到其中，并提出密集采样的思想，极大优化跟踪效率，并且在csk的基础上进行扩展，得到的著名的kcf跟踪方法，使用了fhog特征，增加了跟踪鲁棒性。同时，研究者在csk方法基础上提出自适应颜色属性的实时跟踪方法，有效解决了目标形变的问题。但以上方法均忽略了尺度问题，使得尺度变化鲁棒性变差。dsst跟踪方法，引入尺度金字塔模型，解决了目标尺度变化问题。且在2016年由牛津大学的l.bertinetto等人提出了一种模板和逐像素融合学习器(sumoftemplateandpixel-wiseleaners，简称staple)。

然而，现有技术中的跟踪方法存在以下4个不足：(1)尺度变化，当目标尺度变小时，相关滤波器就会学习到大量的背景信息，而当目标尺度变大时，相关滤波器没有完全学习目标信息，使得跟踪效果较差；(2)边界效应，以上所有方法在提取完特征后均使用余弦窗来去除边界效应，然而，当目标尺度过小时，经过余弦窗后仍然有大量的背景信息，当目标尺度过大时，目标信息会被余弦窗过滤；(3)背景干扰，每一帧跟踪时选取的候选roi区域总会包含背景信息，使得前景和背景容易形成干扰；(4)目标形变，跟踪目标存在形变时，容易引入背景干扰。

技术实现要素：

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于背景抑制和前景抗干扰的多尺度目标跟踪方法，不仅跟踪效果好，可有效抑制背景的影响，抗变形干扰能力强，而且可解决跟踪过程中多尺度的问题。

为达到以上目的，本发明采取的技术方案是：

一种基于背景抑制和前景抗干扰的多尺度目标跟踪方法，包括步骤：

s1：构建并初始化颜色概率模型及dcf跟踪模型；

s2：以前一帧图像为基准，利用自适应高斯窗函数对前一帧图像进行背景抑制，计算出前一帧图像基于fhog特征的目标位置的滤波响应图，同时计算前一帧图像的颜色概率分布，根据颜色概率分布得到积分图像，根据积分图像计算得到目标位置的颜色响应图，并线性融合所述滤波响应图和颜色响应图，进而预测出下一帧图像的目标位置；

s3：根据预测的下一帧图像的目标位置及基于尺度金字塔模型，更新下一帧图像中目标的尺度信息；

s4：结合下一帧图像的目标位置和尺度信息，进行自适应密集采样，计算下一帧图像的fhog特征和颜色直方图，完成dcf跟踪模型和颜色概率模型的更新。

在上述技术方案的基础上，在步骤s4之后，还包括步骤s5：判断步骤s4中的下一帧图像是否为最后一帧图像，若是，则结束，否则，将步骤s4的下一帧图像作为前一帧图像，转至步骤s2。

在上述技术方案的基础上，构建并初始化颜色概率模型及dcf跟踪模型的步骤为：

s101：读入第一帧图像，将其作为初始图像；

s102：在初始图像中选择初始目标区域z0，所述初始目标区域的边界为目标框；

s103：初始化dcf跟踪模型：在区域z0内提取fhog特征x0^l；根据初始尺度，计算满足高斯分布的标签值y0；利用高斯窗对z0背景进行抑制；根据计算得到dcf跟踪模型的初始模型参数

式中，p为特征维数，l代表特征空间的索引，λ为正则化参数；

s104：初始化颜色概率模型：在第一帧图像内选取比目标框小的区域的作为前景，比目标框大的区域作为背景；分别计算前景与背景的32bins颜色直方图hist^o、hist^b；计算颜色概率模型初始参数和式中，o、b分别代表前景和背景。

在上述技术方案的基础上，步骤s2的具体步骤为：

s201：将前一帧图像记为第t-1帧图像，第t-1帧图像中的目标位置记为pt-1，第t-1帧图像中的尺素因子记为st-1，后一帧图像记为第t帧图像，根据pt-1和st-1，提取第t帧图像中的待跟踪roi区域zt，并在待跟踪roi区域zt内提取fhog特征xt；

s202：根据公式xdcf＝g(m,n,σw,σh)⊙xt，对xt进行基于高斯窗的背景抑制，得到抑制后的roi区域特征xdcf，

式中，g(m,n,σw,σh)＝g(m,σw)*g(n,σw)，g为高斯函数，m，n分别为区域zt的宽和高，σw,σh分别为区域zt的宽对应的高斯窗的带宽、区域zt的高对应的高斯窗的带宽；

s203：根据第t-1帧图像的dcf模型bt-1以及在待跟踪roi区域zt内提取fhog特征xt，计算dcf响应值ydcf，dcf响应值即为滤波响应值：

式中，f^-1代表傅里叶逆变换，p为特征维数，l代表特征空间的索引，λ为正则化参数；

s204：根据t-1帧图像的颜色概率模型计算颜色概率响应ycolor，具体步骤为：

利用贝叶斯准则，计算区域zt内每个像素的目标似然概率图；

其中，代表输入图像i中区域o的第jx个颜色直方图区间的像素个数，代表输入图像i中区域b的第jx个颜色直方图区间的像素个数；

计算目标似然概率图的积分图像pinterimage；

利用积分图像，计算每一个候选框区域的目标颜色响应值ycolor，最大响应的位置即为待预测位置：

式中，z1为zt内的任意候选框区域；

s205：对ydcf和ycolor进行线性融合，得到最终响应值ysum，最大响应值位置即为第t帧图像的目标位置pt。

在上述技术方案的基础上，步骤s3的具体步骤为：

s301根据第t帧图像及目标位置pt，提取尺度金字塔的采样样本zscale；

s302计算尺度响应yscale，最大响应值对应的尺度即为目标跟踪尺度st。

在上述技术方案的基础上，步骤s4的具体步骤为：

s401：根据第t帧预测位置pt和尺度st，提取roi区域zupdate；

s402：进行自适应密集采样，根据st、pt、γ及跟踪目标大小w×h计算新的标签值y，

其中，γ为标签因子，x,y表示样本离目标中心的水平及垂直距离；

s403：在区域zupdate内提取fhog特征，重新计算前景和背景的颜色直方图h^o和h^b，并进行基于自适应高斯窗的背景抑制，得到抑制后的特征

s404：根据如下公式，更新dcf跟踪模型的参数，

其中η为学习率；

s405：根据如下公式，更新颜色概率模型的参数，

其中，ηhist同样为学习率。

与现有技术相比，本发明的优点在于：

(1)本发明使用自适应高斯窗函数，针对不同尺度使用不同带宽的高斯函数，相比大小固定的余弦窗，高斯窗不仅可以去除多余的背景，而且保留了更多的前景信息，使得跟踪效果更好，达到了背景抑制的目的；

(2)本发明使用颜色概率模型，分别计算前景和背景的颜色直方图，并结合贝叶斯模型，计算每一个像素的近似目标概率，得到目标颜色概率图，利用该概率图有效地抑制了背景的影响；

(3)本发明使用颜色直方图忽略了每个像素点的位置信息，起到抗形变干扰的作用；

(4)本发明使用基于尺度金字塔的尺度模型，解决了跟踪过程中多尺度问题；

(5)本发明使用基于尺度自适应的密集采样策略，减少了目标响应值容易受到离目标中心较近的标签值的干扰而发生漂移的影响。

附图说明

图1为本发明实施例中基于背景抑制和前景抗干扰的多尺度目标跟踪方法的流程图；

图2为本发明实施例中高斯窗与余弦窗的对比图；

图3a为本发明算法与staple、kcf、samf及dsst算法在所有干扰下的精确率曲线；

图3b为本发明算法与staple、kcf、samf及dsst算法在所有干扰下的成功率曲线；

图4a为本发明算法与staple、kcf、samf及dsst算法在背景混乱干扰下的精确率曲线；

图4b为本发明算法与staple、kcf、samf及dsst算法在背景混乱干扰下的成功率曲线；

图5a为本发明算法与staple、kcf、samf及dsst算法在变形干扰下的精确率曲线；

图5b为本发明算法与staple、kcf、samf及dsst算法在变形干扰下的成功率曲线；

图6a为本发明算法与staple、kcf、samf及dsst算法在尺度干扰下的精确率曲线；

图6b为本发明算法与staple、kcf、samf及dsst算法在尺度干扰下的成功率曲线。

具体实施方式

以下结合附图及实施例对本发明作进一步详细说明。

参见图1所示，本发明实施例提供一种基于背景抑制和前景抗干扰的多尺度目标跟踪方法，该方法包括以下步骤：

s1：构建并初始化颜色概率模型及dcf跟踪模型；

在本实施例中，颜色概率模型指的是通过建立目标和背景区域的颜色直方图，利用贝叶斯准则显著区分目标和非目标信息，同时由于直方图特征不受位置的影响，鲁棒性较高，抗形变干扰；

dcf(dualcorrelationfilter)跟踪模型指的是利用相关滤波跟踪框架的一个线性相关滤波器。具体地，dcf跟踪模型首先在当前帧通过密集采样得到的大量的样本，并提取样本的fhog特征训练一个相关滤波器，在下一帧，利用该滤波器计算目标位置响应，预测的目标位置为响应值最大的区域，随后，利用新的目标位置，更新滤波器；

s2：以前一帧图像为基准，利用自适应高斯窗函数对前一帧图像进行背景抑制，计算出前一帧图像基于fhog特征的目标位置的滤波响应图，同时计算前一帧图像的颜色概率分布，根据颜色概率分布得到积分图像，根据积分图像计算得到目标位置的颜色响应图，并线性融合所述滤波响应图和颜色响应图，进而预测出下一帧图像的目标位置；

s3：根据预测的下一帧图像的目标位置及基于尺度金字塔模型，更新下一帧图像中目标的尺度信息；

s4：结合下一帧图像的目标位置和尺度信息，进行自适应密集采样，计算下一帧图像的fhog特征和颜色直方图，完成dcf跟踪模型和颜色概率模型的更新；

s5：判断步骤s4中的下一帧图像是否为最后一帧图像，若是，则结束，否则，将步骤s4的下一帧图像作为前一帧图像，转至步骤s2。

本实施例中的标跟踪方法使用自适应高斯窗函数，针对不同尺度使用不同带宽的高斯函数，相比大小固定的余弦窗，高斯窗不仅可以去除多余的背景，而且保留了更多的前景信息，使得跟踪效果更好，达到了背景抑制的目的，抗干扰能力强；并使用颜色概率模型，分别计算前景和背景的颜色直方图，并结合贝叶斯模型，计算每一个像素的近似目标概率，得到目标颜色概率图，利用该概率图有效地抑制了背景的影响，抗干扰能力强；再者，使用颜色直方图忽略了每个像素点的位置信息，起到抗形变干扰的作用；并使用基于尺度金字塔的尺度模型，解决了跟踪过程中多尺度问题；使用基于尺度自适应的密集采样策略，减少了目标响应值容易受到离目标中心较近的标签值的干扰而发生漂移的影响。

上述初始化颜色概率模型及dcf跟踪模型的过程为：根据第一帧图像中目标的位置和尺度信息，分别提取前景与背景的直方图，获取第一帧图像的颜色直方图，进而计算出颜色概率模型初始参数，完成颜色概率模型的初始化，同时，利用高斯窗函数对第一帧图像进行背景抑制，并计算出dcf跟踪模型的初始模型参数，完成dcf跟踪模型的初始化。具体包括步骤：

s101：读入第一帧图像，将其作为初始图像；

s102：在初始图像中选择初始目标区域z0，初始目标区域可以为通过鼠标在初始图像中框选出的待跟踪的目标区域，或者直接为标定好的目标区域；

s103：初始化dcf跟踪模型：在区域z0内提取28维fhog特征x0^l；根据初始尺度，计算满足高斯分布的标签值y0；利用高斯窗对z0背景进行抑制；根据计算得到dcf跟踪模型的初始模型参数b0，

式中，p为特征维数，l代表特征空间的索引，λ为正则化参数。

s104：初始化颜色概率模型：在区域z0内选取比目标框略小的区域的作为前景，比目标框略大的区域作为背景；分别计算前景与背景的32bins颜色直方图hist^o、hist^b；计算颜色概率模型初始参数和式中，o、b分别代表前景和背景。

步骤s2中根据前一帧图像中的目标位置预测下一帧图像中的目标位置的步骤为：

s201：将前一帧图像记为第t-1帧图像，第t-1帧图像中的目标位置记为pt-1，第t-1帧图像中的尺素因子记为st-1，后一帧图像记为第t帧图像，根据pt-1和st-1，提取第t帧图像中的待跟踪roi区域zt，此处的roi区域为感兴趣区域，并在待跟踪roi区域zt内提取fhog特征xt，此处的fhog(histogramoforientedgradient)为方向梯度直方图；

s202：根据公式xdcf＝g(m,n,σw,σh)⊙xt，对xt进行基于自适应高斯窗的背景抑制，得到抑制后的roi区域特征xdcf，

式中，自适应高斯窗表示为：g(m,n,σw,σh)＝g(m,σw)*g(n,σw)，g为高斯函数，m，n分别为区域zt的宽和高，σw,σh分别为区域zt的宽对应的高斯窗的带宽、区域zt的高对应的高斯窗的带宽；

高斯函数g(n,σ)表示为：

其中，初始目标区域大小为w×h，采样区域大小为w×h，高斯窗大小为m×n，则m＝w/4,n＝h/4；

高斯窗的带宽可以表示为：σw＝θ×wt/w，σt＝θ×ht/h

其中，θ为带宽因子，wt×ht为当前帧的目标大小，且wt,ht的更新公式为wt＝stw,ht＝sth，st为当前帧的尺度变化率。

s203根据第t-1帧图像的dcf模型bt-1以及在待跟踪roi区域zt内提取fhog特征xt，计算dcf响应值ydcf，dcf响应值即为滤波响应值：

式中，f^-1代表傅里叶逆变换，p为特征维数，l代表特征空间的索引，λ为正则化参数；

s204：根据t-1帧图像的颜色概率模型计算颜色概率响应ycolor，具体步骤为：

利用贝叶斯准则，计算区域zt内每个像素的目标似然概率图；

其中，代表输入图像i中区域o的第jx个颜色直方图区间的像素个数，代表输入图像i中区域b的第jx个颜色直方图区间的像素个数；

计算目标似然概率图的积分图像pinterimage，公式如下：

式中，x∈(i',j')，(i,j)表示积分图每一个位置的坐标，(i',j')代表目标似然概率图中的像素的坐标；

利用积分图像，计算每一个候选框区域的目标颜色响应值ycolor，最大响应的位置即为待预测位置：

式中，z1为zt内的任意候选框区域；

s205：对ydcf和ycolor进行线性融合，得到最终响应值ysum，最大响应值位置即为第t帧图像的目标位置pt，线性融合公式为：

ysum＝(1-α)ydcf+αycolor

式中，α为融合因子，α＝0.3。

上述步骤s204中目标似然概率图的推导过程为：引入贝叶斯分类模型，在像素x处的近似目标概率可以表示为：

利用rgb颜色直方图可以分别计算：

p(x∈ω)≈|ω|/(|o|+|b)，

其中，设和分别为输入图像i的非归一化rgb直方图。代表输入图像i中区域ω的第j个区间的像素个数，则近似目标概率可以表示为：

参见图2所示，在本实施例中，第一行和第二行的采样区域大小均为80×180，第一行所有图像中目标区域大小为32×73，如图中框选区域所示，第二行所有图像中目标区域大小为76×177，第二列为高斯窗，第三列为余弦窗，第四列为高斯窗背景抑制结果，第五列为余弦窗背景抑制结果。可以看出，当目标区域大小较小时，即当目标区域大小为32×73时，利用余弦窗将引入更多的背景信息，而使用高斯窗可以将多余的背景滤除；当目标区域较大时，即当目标区域大小为76×177时，使用余弦窗反而会消弱前景信息，而高斯窗可以适应目标大小的变换，利用了更多的有用信息，并且排除了大量背景，使得跟踪漂移小，跟踪鲁棒性大大提高。

本实施例的方法使用自适应高斯窗函数，针对不同尺度使用不同带宽的高斯函数，相比大小固定的余弦窗，高斯窗不仅可以去除多余的背景，而且保留了更多的前景信息，使得跟踪效果更好，达到了背景抑制的目的。

而且，本实施例中采用颜色概率模型，可以有效区分目标和背景，起到背景抑制的作用，且颜色概率模型提取了颜色直方图，忽略了每个像素点的位置信息，可以有效克服目标形变的干扰，起到前景抗干扰的作用。

上述步骤s3的具体步骤为：

s301：根据第t帧图像及目标位置pt，提取尺度金字塔的采样样本zscale，具体地，设固定尺寸的训练样本xscale的大小为wscale×hscale，尺度金字塔层数为s，则尺度金字塔的采样样本大小为zscale＝βⁱ*wscale×hscale，其中β为尺度因子，

s302：计算尺度响应yscale，最大响应值对应的尺度即为目标跟踪尺度st，此处尺度响应的计算过程和dcf跟踪模型的计算过程类似。

本实施例中，尺度响应的计算过程为：根据第t帧图像及目标位置，在该目标位置进行尺度金字塔采样得到采样样本，并用线性插值的方法缩放到固定尺寸得到训练样本，额外训练一个一维尺度滤波器，从而提取尺度金字塔的采样样本，利用基于尺度金字塔的尺度模型计算跟踪目标的尺度。使用该方法可以大大降低计算复杂度，在保证一定实时性的前提下允许很高层数的尺度金字塔，保证了尺度预测的精度。

上述步骤s4的具体步骤为：

s401：根据第t帧预测位置pt和尺度st，重新在第t帧图像中提取roi区域zupdate；

s402：进行自适应密集采样，根据st、pt、γ及跟踪目标大小w×h计算新的标签值y：

其中，γ为标签因子，γ＝0.85，目标初始大小为w×h，st为第t帧图像的尺度，x,y表示样本离目标中心的水平及垂直距离；

s403：在区域zupdate内提取fhog特征，重新计算前景和背景的颜色直方图h^o和h^b，并进行基于自适应高斯窗的背景抑制，得到抑制后的特征

s404：根据如下公式，更新dcf跟踪模型的参数，

其中η为学习率，η＝0.02；

s405：根据如下公式，更新颜色概率模型的参数，

其中，ηhist同样为学习率，ηhist＝0.02。

本实施例中，采用自适应密集采样，当遇到尺度变换时，使用固定尺度的高斯标签会造成响应位置漂移，需要根据目标尺度变化，自动调整标签值，使得跟踪更加精确。

为了验证本实施例的方法(简称本文方法)的有效性，使用matlab软件分别对本文方法、以及现有技术中的kcf方法、dsst方法、samf方法和staple方法进行多组仿真对比试验。

对仿真试验说明如下：

1、仿真试验参数为：fhog特征单元大小为4×4，正则化参数λ＝0.0001，学习率ηdcf＝0.02，学习率ηhist＝0.02，标签因子γ＝0.85，带宽因子θ＝0.75，尺度金字塔层数s＝33，尺度因子β＝1.02，融合因子α＝0.3。

2、仿真数据集及评价指标

在otb(objecttrackingbenchmark)数据集中选取46个视频序列进行仿真实验，序列包含iv(illuminationvariation，光照变化)、sv(scalevariation，尺度变化)、bc(backgroundclutters，背景混乱)、def(deformation，形变)等11种干扰。

通过cle(centerlocationerror，中心位置误差)和os(overlapscore重叠分数)两种指标来评估方法性能。其中，cle为预测的目标中心位置与标定的目标中心位置之间的欧式距离。而os为预测目标框与标定的目标框的重叠区域占两者交集的百分比，即rt为第t帧的预测目标框，rlabel为标定的目标框。

根据cle和os画出精确率曲线(precisionplot)和成功率曲线(successplot)。精确率曲线的横坐标为cle阈值(以像素为单位)，纵坐标为小于该阈值的视频帧占比fr(framerate)，即m为小于该阈值的视频帧的个数，n为视频的总帧数。成功率曲线的横坐标为os的阈值，坐标为大于该阈值的视频帧占比fr。本仿真试验以cle阈值为20像素，os阈值为50％为基准作比较。

3、仿真方法为：首先，方法使用初始帧标定的目标初始位置及大小进行初始化，然后，对其后每一帧的预测值进行评估。为了验证本发明方法的有效性，将本发明方法与staple、kcf、samf及dsst四个方法进行比较，其方法参数均使用默认参数。

4、仿真结果

参见图3a和图3b所示，利用otb中的测试方法，得到5种方法的所有干扰下的平均精确率曲线(precisionplot)和成功率曲线(successplot)，结果使用了常用的ope基准，且本文方法的成功率达到0.792，精确率达到0.655，和kcf方法相比，成功率提升了12.2％、精确率提升了21.7％，与staple方法相比，成功率提升了4.9％、精确率提升了4.8％，可见本文方法总体效果明显优于其他几种方法。

为了测试本文方法对多种环境干扰的鲁棒性，尤其是尺度变化、形变、背景混乱这三种干扰，列举了在11种干扰下的成功率曲线值(precisionplot)，如下表所示，从表中结果可以看出，本发明方法在otb定义的11种干扰下的成功率都好于其他4种方法，对尺度、形变、背景混乱这三种干扰的鲁棒性好，说明本发明的背景抑制策略和前景抗尺度和形变干扰策略取得了很好的效果，参见下表。

参见图4a和图4b分别为背景混乱干扰下的精确率曲线(precisionplot)和成功率曲线(successplot)，参见图5a和图5b分别为变形干扰下的精确率曲线(precisionplot)和成功率曲线(successplot)，参见图6a和图6b分别为尺度干扰下的精确率曲线(precisionplot)和成功率曲线(successplot)，从图中可以看出本文的背景抑制和前景抗干扰的多尺度目标跟踪方法，在背景混乱、变形、尺度变化三种干扰下优势十分明显。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。