一种基于位平面的运动目标跟踪方法与流程

本发明属于计算机视觉与模式识别领域，具体涉及一种基于位平面的运动目标跟踪方法。

背景技术：

目标跟踪是计算机视觉研究的热点，在视频监控、视频检索、交通监控等领域都得到了广泛应用。目前，运动目标跟踪方法大致可分为两类：基于判别的方法和模型匹配的方法。

基于判别的方法把运动目标跟踪问题当做一个分类问题，旨在训练一个分类器，将运动目标从背景中分离出来，这类方法也被称作基于检测的跟踪。2004年，Avidan将离线训练的支持向量机引入到基于光流的跟踪方法中，但是当目标外观发生显著变化时，跟踪出现漂移。为了解决这个问题，需要对分类器进行在线更新。2007年，Avidan提出了将若干弱分类器集成为一个强分类器，并实时更新弱分类器的方法，该方法能较准确地辨别每一个像素是目标还是背景。2008年，Grabner采用半监督的方法训练分类器，只需要在第一个视频帧中手动标注样本。然而，在这些监督与半监督的方法中，有些有用的信息已经被丢失，如果在跟踪的过程中一旦出现误差，容易使得误差累积，从而导致跟踪失败。Viola等人提出了使用多示例学习方法来检测运动目标，以克服跟踪过程中漂移的问题。在后续的研究中，Babenko、Zhang等人将多示例学习方法进一步改进，算法的精度和实时性得到明显改善。

模型匹配方法在每一帧中搜寻与目标模型最相似的区域作为跟踪结果。早在1996年，Black等人提出了采用离线学习的外观模型进行目标跟踪的方法，但是该方法不能适应目标外观的变化。随后，一些自适应的外观建模方法被逐渐引入到运动目标跟踪。随着稀疏表示在多个领域的成功应用，很多学者开始尝试采用稀疏表示的方法对运动目标建模。自2012年起，Sevilla-Lara、Felsberg等人先后将分布场的概念引入跟踪领域，并对跟踪算法进行了改进，取得了较好的跟踪效果。

这些算法在特定的环境中得到了应用，但是由于跟踪场景复杂多变，其往往不能有效解决照明变化、外观变化、形状变化和遮挡对目标跟踪的影响。

技术实现要素：

本发明的目的在于针对视频场景中存在的光照条件改变、目标位姿变化、以及外观显著变化等问题，提供一种基于位平面的，并融合亮度和LBP特征的运动目标跟踪方法，旨在提高复杂环境下运动目标跟踪的准确性。

为达成以上所述的目的，本发明采取如下技术方案：

一种基于位平面的运动目标跟踪方法，其特征在于包括如下步骤：

步骤(1)在视频第一帧中选定跟踪目标，并手动标记目标位置；

步骤(2)对目标区域图像，求取其亮度位平面和局部二值模式位平面，然后进行高斯平滑，分别建立亮度外观模型和纹理外观模型；

步骤(3)在下一帧中确定搜索区域，对其分别求取平滑后的亮度位平面和局部二值模式位平面，并搜索与步骤(2)中所建立的亮度外观模型和纹理外观模型最为接近的区域作为跟踪目标；

步骤(4)根据已建立的外观模型和当前帧中的跟踪结果，按照预先设定的更新速率更新亮度外观模型和纹理外观模型；

步骤(5)当所有视频帧处理完毕，则停止计算；否则，跳转步骤(3)。

进一步的，所述步骤(1)中手动标记目标位置的方法为：用矩形框选定跟踪目标，并记录该矩形框左上角的二维坐标(lx,ly)，以及矩形框的宽度和高度。

进一步的，所述步骤(2)中建立亮度外观模型的方法为：

①利用以下公式表示每个像素的亮度，即用自然二进制序列表示每个像素的亮度：

其中，I(i,j)表示第i行第j列的像素亮度，ai,j,k表示把该像素亮度用自然二进制序列表示时第k个bit的取值；

②利用以下公式把自然二进制序列转化为二进制格雷码表示：

其中，bi,j,k表示把I(i,j)用二进制格雷码表示时第k个bit的取值；

③利用以下公式把每个像素的亮度按bit投影到不同的位平面，从而得到8个亮度位平面：

其中，BPGC为亮度位平面，i和j分别表示图像的行和列，k表示位平面的序号，k＝0,1,2,...,7；

④利用以下公式进行高斯平滑：

其中，M1为亮度外观模型，是均值为μS，标准差为σS的2维高斯核，是均值为μf，标准差为σf的1维高斯核，*代表卷积运算。

进一步的，所述步骤(2)中建立纹理外观模型的方法为：

①求目标区域图像的局部二值模式特征，采用传统的3×3尺寸的LBP算子，对于目标图像计算出以所有非边缘像素为中心的LBP值；

②利用以下公式表示每个像素的LBP值，即用自然二进制序列表示每个像素的LBP值：

其中，I′(i,j)表示第i行第j列的像素的LBP值，a′i,j,k表示把该像素的LBP值用自然二进制序列表示时第k个bit的取值；

③利用以下公式把LBP值转化为二进制格雷码表示：

其中，b′i,j,k表示把LBP值用二进制格雷码表示时第k个bit的取值；

④利用以下公式把每个像素的LBP值按bit投影到不同的位平面，从而得到8个纹理位平面：

其中，BPGC′为纹理位平面，i和j分别表示图像的行和列，k表示位平面的序号，k＝0,1,2,...,7；

⑤利用以下公式进行高斯平滑，从而得到纹理外观模型M2：

其中，M2为纹理外观模型，是均值为μS，标准差为σS的2维高斯核，是均值为μf，标准差为σf的1维高斯核，*代表卷积运算。

进一步的，所述步骤(3)中确定搜索区域的方法为：

以上一帧目标所在位置的中心为圆心，以r为半径，所有中心落在该区域的矩形作为候选目标，采用以下公式表示：

其中，为上一帧中目标所在位置，l(x)表示当前帧中图像块x所在位置，r为搜索半径，X表示所有候选图像块的集合，||·||代表欧氏距离。

进一步的，所述步骤(3)中求得候选区域的平滑后的亮度位平面C1的方法为:

①利用以下公式表示候选区域中每个像素的亮度，即用自然二进制序列表示每个像素的亮度：

其中，J(i,j)表示候选区域中第i行第j列的像素亮度，di,j,k表示把该像素亮度用自然二进制序列表示时第k个bit的取值；

②利用以下公式把自然二进制序列转化为二进制格雷码表示：

其中，ei,j,k表示把J(i,j)用二进制格雷码表示时第k个bit的取值；

③利用以下公式把候选区域中每个像素的亮度按bit投影到不同的位平面，从而得到8个亮度位平面：

其中，BPGC1为亮度位平面，i和j分别表示图像的行和列，k表示位平面的序号，k＝0,1,2,...,7；

④利用以下公式进行高斯平滑：

其中是均值为μS，标准差为σS的2维高斯核，是均值为μf，标准差为σf的1维高斯核，从而得到候选区域的平滑后的亮度位平面C1。

进一步的，所述步骤(3)中求得候选区域的局部二值模式位平面C2的方法为：

①求候选区域中图像的LBP特征：采用传统的3×3尺寸的LBP算子，对于候选区域图像计算出以所有非边缘像素为中心的LBP值；

②利用以下公式表示候选区域中每个像素的LBP值，即用自然二进制序列表示每个像素的LBP值：

其中，J′(i,j)表示候选区域中第i行第j列的LBP值，d′i,j,k表示把该值用自然二进制序列表示时第k个bit的取值；

③利用以下公式把LBP值转化为二进制格雷码表示：

其中，e′i,j,k表示把LBP值用二进制格雷码表示时第k个bit的取值；

④利用以下公式把候选区域中每个像素的LBP值按bit投影到不同的位平面，从而得到8个纹理位平面：

其中，BPGC2为纹理位平面，i和j分别表示图像的行和列，k表示位平面的序号，k＝0,1,2,...,7

⑤利用以下公式进行高斯平滑：

其中是均值为μS，标准差为σS的2维高斯核，是均值为μf，标准差为σf的1维高斯核，从而得到LBP位平面C2。

进一步的，所述步骤(3)中搜索与步骤(2)中所建立的亮度外观模型和纹理外观模型最为接近的区域作为跟踪目标的方法为：求得令下式取得最小值的区域x′：

其中，代表当前帧中目标所在位置，M1为亮度外观模型，M2为纹理外观模型，C1为经平滑的亮度位平面，C2为经平滑的LBP位平面，w为权值且0＜w＜1，Dist(·)为两个位平面间的距离，按以下公式求得：

其中，BP1和BP2分别为两个位平面，i，j和k分别代表行号、列号和位平面序号。

进一步的，所述步骤(4)中更新亮度外观模型和纹理外观模型的方法为：

其中，λ为更新速率且0＜λ＜1，M1为当前帧更新前的亮度外观模型，M2为当前帧更新前的纹理外观模型，M′1为当前帧更新后的亮度外观模型，M′2为当前帧更新后的纹理外观模型，C1(x′)为当前帧中目标区域所对应的亮度位平面，C2(x′)为当前帧中目标区域所对应的纹理位平面。

采用如上技术方案的本发明，具有如下有益效果：

本发明提供的基于位平面的运动目标跟踪方法，充分利用原图像的亮度和LBP纹理特征，通过卷积运算将位置的不确定引入跟踪过程，并采用位平面的方法对目标外观建立模型，有效克服了光照条件改变、目标位姿变化、以及外观显著变化等对跟踪结果的不良影响，具有较好的准确性和鲁棒性。

附图说明

图1为本发明所涉及的基于位平面的运动目标跟踪方法流程图。

图2为本发明所涉及的灰度位平面。

图3为本发明所涉及的纹理位平面。

图4-1为本发明所涉及的在测试视频序列上的中心位置误差曲线图。

图4-2为本发明所涉及的在测试视频序列上的中心位置误差曲线图。

图4-3为本发明所涉及的在测试视频序列上的中心位置误差曲线图。

图4-4为本发明所涉及的在测试视频序列上的中心位置误差曲线图。

图4-5为本发明所涉及的在测试视频序列上的中心位置误差曲线图。

图4-6为本发明所涉及的在测试视频序列上的中心位置误差曲线图。

图4-7为本发明所涉及的在测试视频序列上的中心位置误差曲线图。

图4-8为本发明所涉及的在测试视频序列上的中心位置误差曲线图。

图5为本发明所涉及的在测试视频序列上的跟踪对比图。

具体实施方式

下面结合附图及具体实施例对本发明进行详细说明，所述是对本发明的解释而不是限定。

一种基于位平面的运动目标跟踪方法，如图1所示，包括以下步骤：

(1)在视频第一帧中选定跟踪目标，并手动标记目标位置。

在第一帧中用矩形框选定跟踪目标，并记录该矩形框左上角的二维坐标(lx,ly)，以及矩形框的宽度和高度。

(2)对目标区域图像，求取其亮度位平面和局部二值模式位平面，然后进行高斯平滑，分别建立亮度外观模型和纹理外观模型。

①建立亮度外观模型

首先，利用以下公式表示每个像素的亮度，即用自然二进制序列表示每个像素的亮度：

其中，I(i,j)表示第i行第j列的像素亮度，ai,j,k表示把该像素亮度用自然二进制序列表示时第k个bit的取值。

其次，利用以下公式把自然二进制序列转化为二进制格雷码表示：

其中，bi,j,k表示把I(i,j)用二进制格雷码表示时第k个bit的取值。

接着，利用以下公式把每个像素的亮度按bit投影到不同的位平面，从而得到8个亮度位平面，如图2所示：

其中，BPGC为亮度位平面，i和j分别表示图像的行和列，k表示位平面的序号，k＝0,1,2,...,7。

最后，利用以下公式进行高斯平滑：

其中，M1为亮度外观模型，是均值为μS，标准差为σS的2维高斯核，是均值为μf，标准差为σf的1维高斯核，*代表卷积运算。

②建立纹理外观模型

首先，求目标区域图像的局部二值模式(Local Binary Pattern,LBP)特征。采用传统的3×3尺寸的LBP算子，对于目标图像计算出以所有非边缘像素为中心的LBP值。

其次，利用以下公式表示每个像素的LBP值，即用自然二进制序列表示每个像素的LBP值：

其中，I′(i,j)表示第i行第j列的像素的LBP值，a′i,j,k表示把该像素的LBP值用自然二进制序列表示时第k个bit的取值。

接着，利用以下公式把LBP值转化为二进制格雷码表示：

其中，b′i,j,k表示把LBP值用二进制格雷码表示时第k个bit的取值。

然后，利用以下公式把每个像素的LBP值按bit投影到不同的位平面，从而得到8个纹理位平面，如图3所示：

其中，BPGC′为纹理位平面，i和j分别表示图像的行和列，k表示位平面的序号，k＝0,1,2,...,7。

最后，利用以下公式进行高斯平滑，从而得到纹理外观模型M2：

其中，M2为纹理外观模型，是均值为μS，标准差为σS的2维高斯核，是均值为μf，标准差为σf的1维高斯核，*代表卷积运算。

(3)在下一帧中确定搜索区域，对其分别求取平滑后的亮度位平面和局部二值模式位平面，并搜索与两个外观模型最为接近的区域作为跟踪目标。

①确定搜索区域

以上一帧目标所在位置的中心为圆心，以r为半径，所有中心落在该区域的矩形作为候选目标，采用以下公式表示：

其中，为上一帧中目标所在位置，l(x)表示当前帧中图像块x所在位置，r为搜索半径，X表示所有候选图像块的集合，||·||代表欧氏距离。

②求候选区域平滑后的亮度位平面

首先，利用以下公式表示候选区域中每个像素的亮度，即用自然二进制序列表示每个像素的亮度：

其中，J(i,j)表示候选区域中第i行第j列的像素亮度，di,j,k表示把该像素亮度用自然二进制序列表示时第k个bit的取值；

其次，利用以下公式把自然二进制序列转化为二进制格雷码表示：

其中，ei,j,k表示把J(i,j)用二进制格雷码表示时第k个bit的取值；

然后，利用以下公式把候选区域中每个像素的亮度按bit投影到不同的位平面，从而得到8个亮度位平面：

其中，BPGC1为亮度位平面，i和j分别表示图像的行和列，k表示位平面的序号，k＝0,1,2,...,7。

最后，利用以下公式进行高斯平滑：

其中是均值为μS，标准差为σS的2维高斯核，是均值为μf，标准差为σf的1维高斯核，从而得到候选区域的平滑后的亮度位平面C1。

③求候选区域平滑后的局部二值模式位平面

首先，求目标图像的局部二值模式特征。采用传统的3×3尺寸的LBP算子，对于目标图像计算出以所有非边缘像素为中心的LBP值。

然后，利用以下公式表示候选区域中每个像素的LBP值，即用自然二进制序列表示每个像素的LBP值：

其中，J′(i,j)表示候选区域中第i行第j列的LBP值，d′i,j,k表示把该值用自然二进制序列表示时第k个bit的取值。

然后，利用以下公式把LBP值转化为二进制格雷码表示：

其中，e′i,j,k表示把LBP值用二进制格雷码表示时第k个bit的取值。

接着，利用以下公式把候选区域中每个像素的LBP值按bit投影到不同的位平面，从而得到8个纹理位平面：

其中，BPGC2为纹理位平面，i和j分别表示图像的行和列，k表示位平面的序号，k＝0,1,2,...,7。

最后，利用以下公式进行高斯平滑：

其中是均值为μS，标准差为σS的2维高斯核，是均值为μf，标准差为σf的1维高斯核，从而得到LBP位平面C2。

根据以上步骤，得到候选区域的平滑后的亮度位平面C1和LBP位平面C2。

④确定目标位置

寻找与两个外观模型最为接近的区域作为跟踪目标的方法是：求得令下式取得最小值的区域x′：

其中，代表当前帧中目标所在位置，M1为亮度外观模型，M2为纹理外观模型，C1为经平滑的亮度位平面，C2为经平滑的LBP位平面，w为权值且0＜w＜1，Dist(·)为两个位平面间的距离，按以下公式求得：

其中，BP1和BP2分别为两个位平面，i，j和k分别代表行号、列号和位平面序号。

(4)根据已建立的外观模型和当前帧中的运动目标，按照预先设定的更新速率更新亮度外观模型和纹理外观模型。

其中，λ为更新速率且0＜λ＜1，M1为当前帧更新前的亮度外观模型，M2为当前帧更新前的纹理外观模型，M′1为当前帧更新后的亮度外观模型，M′2为当前帧更新后的纹理外观模型，C1(x′)为当前帧中目标区域所对应的亮度位平面，C2(x′)为当前帧中目标区域所对应的纹理位平面。

(5)当所有视频帧处理完毕，则停止计算；否则，跳转步骤(3)。

基于位平面的运动目标跟踪算法描述如下：

输入：视频序列V，以及目标在第一帧中的位置

输出：视频序列中每一帧的目标位置

步骤：

(1)初始化目标外观模型

(2)for f＝2to|V|do

(3)确定搜索范围，得到图像集合

(4)计算各图像块的亮度位平面和LBP位平面

(5)确定目标位置，

(6)计算目标的亮度位平面C1(x′)和LBP位平面C2(x′)

(7)更新外观模型，M1＝λM1+(1-λ)C1(x′)且M2＝λM2+(1-λ)C2(x′)

(8)end for

实施例：

为了评估本发明的性能，在Babenko等提供的8个视频序列上进行了测试。这些视频序列中包含了部分遮挡、目标形变、光照变化、尺寸变化、快速运动、相似物体干扰等，分别比较了目前针对上述视频序列跟踪效果较好的四种算法作为对比，分别是：基于核的循环结构检测跟踪方法(CSK)、在线AdaBoost跟踪方法(OAB)、多示例学习跟踪方法(MIL)和加权的多示例学习跟踪方法(WMIL)分别从平均误差、跟踪成功率等方面进行了比较。本发明中的方法是在XP操作系统上，采用Matlab7.0.1编程实现的，计算机配置是双核2.93GHzCPU和2GB内存。

参数设置：

用作对比的算法采用作者发布的代码和其在文章中所提供的参数。本发明中的方法参数设置为：搜索半径r＝30，模型更新速率λ＝0.95(除了Cliffbar和Dollar中λ＝0.85)，权重w＝0.5,2维高斯核大小为9*9且其标准差σs＝1，1维高斯核大小为5*1且其标准差σf＝0.625。

定量分析：

采用算法跟踪位置与真实位置的中心偏移距离(见表1)和跟踪成功率(见表2)来比较五种不同的跟踪方法。其中，中心误差反映了跟踪位置与真实位置的距离，该值越小说明跟踪误差越小，越接近目标真实位置，跟踪结果越准确；反之，说明跟踪结果偏离真实位置越远，跟踪效果越差。跟踪成功率定义为：如果跟踪矩形框与真实位置矩形框的重合率>50％，则认为跟踪成功；反之，则认为失败。该值越大说明跟踪效果越好，反之，说明跟踪效果越差。

表1跟踪结果与真实位置中心距离平均误差(以像素为单位)

表2跟踪成功率(％)

说明：表1和表2中粗体表示最好的结果，斜体表示第二好的结果。

由表1和表2可以看出，本发明中的方法对测试视频具有较好的跟踪结果。在五种方法中，本发明的平均位置误差最小和跟踪成功率最高，这也反映了本发明中方法的准确性和稳定性。图4-1到图4-8为五种方法的跟踪结果和目标真实位置之间的误差曲线图(以像素为单位)。

定性分析：

图5展示了五种方法在8个视频序列中部分帧的跟踪效果对比。

Dollar这个视频序列中包含了目标的形变和相似物体的干扰。本发明中的方法和CSK方法与真实位置最为接近，跟踪效果最准确。

Occluded Face和Occluded Face 2这两个视频中存在相对较长时间和大范围的部分遮挡，Occluded Face 2中的目标有旋转头部和戴上帽子，这都增加了运动目标跟踪的难度。在五种跟踪方法中，本发明中的方法跟踪效果最好。

David Indoor中包含了光照、目标大小和姿态、外观等变化。其它四种方法都出现了不同程度的漂移，而本发明中的方法表现出较好的稳定性和准确性。

Cliffbar中包含了因快速引动而导致的模糊以及相似背景的干扰。可以看出，CSK跟踪效果最好，本发明中的方法次之，而其它三种方法表现不佳。

Coke Can中出现了目标的快速运动、外观变化、旋转和部分遮挡等，都增加了跟踪的难度，本发明中的方法表现出较好的跟踪结果。

Twinings中包含了因目标360度旋转和移动所引起的外观变化和尺度变化。在五种方法中，本发明中的方法与目标真实位置最为接近。

Girl中包含了由旋转引起的形变和尺度变化，其它目标的干扰，以及因运动造成的外观完全改变，这都增加了跟踪的难度，五种跟踪方法都出现了不同程度的误差，其中WMIL的跟踪效果相对较稳定。

总的来说，基于位平面的跟踪算法能够克服光照条件改变、目标位姿变化、以及外观显著变化等带来的影响，在五种算法中，表现出较好的跟踪准确性和稳定性。