联合数据关联的Mean Shift多目标跟踪方法
【专利摘要】一种图像处理【技术领域】的联合数据关联的Mean?Shift多目标跟踪方法，首先从视频中提取得到运动前景并分割，针对分割后的前景块生成数据关联矩阵，并通过逐行扫描优化后使用Mean?Shift算法完成对每个目标的跟踪。本发明能够解决已有Mean?Shift目标跟踪算法在抗遮挡，即两个目标之间遮挡，以及抗相似颜色方面不佳的问题。
【专利说明】联合数据关联的Mean Sh i ft多目标跟踪方法
【技术领域】
[0001]本发明涉及的是一种图像处理【技术领域】的方法，具体是一种联合数据关联的MeanShift多目标跟踪方法。
【背景技术】
[0002]随着视频监控技术的普及，以及监控探头数量的剧增和海量视频数据的产生，人们对监控视频内容的自动分析技术需求也愈加迫切。视频单目标跟踪技术或多目标跟踪技术在很多场合下具有重要的用途，如在智能视频监控、视频索引、新型人机交互、交通监测、车辆自动驾驶等方面均有大量的应用。
[0003]Mean Shift跟踪算法是一种经典的无参密度估计算法,在1975年由Fukunaga等人在〈〈IEEE Transactions on Information Theory〉〉的“The estimation of the gradientof a density function, with applications in pattern recognition，，一文中提出。2002和 2003 年，Comaniciu 等人在〈〈IEEE Transactions on Pattern Analysis and MachineIntelligence))的两篇文献“Mean shift:a robust approach toward feature spaceanalysis”和“Kernel-Based Object Tracking” 中进一步利用 Mean Shift 对图像进行分析，前者对图像的特征空间进行分析，使Mean Shift成功应用在图像平滑、图像分割等计算机视觉领域的多个方向，证明了在满足一定条件时，Mean Shift算法具有收敛的特性，利用该特性可以检测概率密度函数中存在的模态；后者将目标跟踪问题转化为一个Mean Shift最优化的问题，从而将Mean Shift算法成功地应用在目标跟踪领域，由于Mean Shift算法不需要穷尽的搜索，使得高性能目标跟踪成为了可能。
[0004]然而，在实际环境中，目标及周围情况较为复杂。一系列因素，包括图像信息采集过程中信息的丢失，场景光照条件的变化，目标在运动过程中被部分或全部遮挡等等，都将对Mean Shift的处理效果产生负面的影响。当目标与周围干扰物或者遮挡物颜色相近时，对采用HSV直方图作为统计特征的跟踪方法来说，极易发生目标丢失或者漂移的现象，这严重影响了算法的广泛应用。
[0005]经过对现有技术的检索发现，中国专利文献号CN102831622公开了一种基于MeanShift的目标跟踪方法，它首先利用卡尔曼滤波算法对目标当前位置进行预测，然后设计模糊判定准则在线调整目标尺度值，利用Mean Shift迭代运算逐步逼近目标来完成跟踪，最后，利用相似度和置信度系数设计模型更新准则，以实现模板的自适应更新。
[0006]中国专利文献号CN101162525公开了一种基于Mean Shift和人工鱼群智能优化的人体多关节特征跟踪方法，首先基于目标模型的颜色分布特征，根据前一帧图像的信息利用人工鱼群智能优化算法得到被跟踪人体多关节特征目标在当前帧的优化位置，然后根据目标模型的颜色分布特征运用Mean Shift迭代算法在其优化位置的领域内进行目标搜索，其中与目标模型颜色分布最相似的候选目标即为被跟踪目标。
[0007]中国专利文献号CN101867798公开了一种基于视频压缩域分析的Mean Shift运动目标跟踪方法，该方法将压缩域分析与Mean Shift跟踪算法相结合，即首先对视频编码过程中产生的运动矢量进行概率统计分析，以获取目标运动方向与运动速度的估计值，再以此修正Mean Shift运动候选区域的中心位置,使每次搜索开始时，候选中心位置更接近实际目标中心位置。
[0008]中国专利文献号CN102231207公开了一种基于Mean Shift和块匹配的运动目标跟踪方法，首先确定目标模型与次要目标模型，然后用Mean Shift算法求出次要目标模型在当前帧所处位置，根据该次要目标模型位置，采用块匹配在次要目标模型范围内得出首要目标模型的最佳位置。
[0009]中国专利文献号CN102142085公开了一种林区监控视频中运动火焰目标的鲁棒跟踪方法，提出了使用基于高斯混合模型的改进Mean Shift窗口自适应算法获得当前帧中林区目标的形状变化。
[0010]中国专利文献号CN102800106公开了一种基于光流场估计的自适应Mean Shift目标跟踪方法。该方法在基于传统均值漂移矢量法的同时，引入光流法，在目标上找寻特征点，通过特征点前后变化的信息，修正跟踪窗口中心位置和大小，再根据Bhattacharyya系数二分法分别自适应得到更为精确的窗口长宽。而针对目标被静止物体遮挡的情况，通过色差分析观测目标被遮挡区域，利用Bhattacharyya系数重新捕捉目标。但上述技术无法有效解决多目标跟踪过程中目标间相互遮挡的问题。
【发明内容】
[0011]本发明针对现有技术存在的上述不足，提出一种联合数据关联的Mean Shift多目标跟踪方法，能够解决已有Mean Shift目标跟踪算法在抗遮挡，即两个目标之间遮挡，以及抗相似颜色方面不佳的问题。
[0012]本发明是通过以下技术方案实现的，本发明首先从视频中提取得到运动前景并分害I]，针对分割后的前景块生成数据关联矩阵，并通过逐行扫描优化后使用Mean Shift算法完成对每个目标的跟踪。
[0013]本发明具体包括以下步骤:
[0014]I)利用前景提取算法对运动目标前景进行提取并得到运动前景；
[0015]2)对提取出的运动前景进行分割，得到若干前景块；
[0016]3)对分割获得的前景块(即前景区域目标)和基于MeanShift跟踪获得的目标区域(即历史目标)，进行数据关联；
[0017]4)逐行扫描数据关联矩阵，检测并处理目标的合并信息和分裂信息，并对目标样本进行更新；
[0018]5)使用MeanShift算法完成对每个目标的跟踪。
技术效果
[0019]本发明提供的方法能够通过对目标前景的提取以及数据关联的分裂-合并判定，实现对受干扰物或者遮挡物影响的目标的位置的有效估计，应用于多目标跟踪，得到较为满意的跟踪效果。
【专利附图】
【附图说明】
[0020]图1是本发明所提出的跟踪方法处理流程图。[0021]图2是前景检测处理流程图。
[0022]图3是多线程Mean Shift目标跟踪处理流程图。
[0023]图4是多线程中子线程Mean Shift目标跟踪处理流程图。
[0024]图5是有无数据关联情况下跟踪效果对比图。
[0025]图6为实施例中目标合并-分裂景象示意图。
【具体实施方式】
[0026]下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
[0027]如图1所示，本实施例包括以下步骤:
[0028]步骤I)如图2所示，利用前景提取算法对运动目标前景进行提取并得到运动前景，具体是:
[0029]1.1)为视频序列每一帧的每个像素点维护一个样本集，样本集中的采样值来自该像素点过去的像素值和邻居点的像素值；
[0030]1.2)在新的一帧中，将每一个像素点的像素值和样本集进行比较来判断其是否属于背景点，并生成背景样本集。
[0031]所述的背景点的判断是指:记v(x)为χ点处的像素值；M(x) = (X1, X2, , xN}为χ处的背景样本集，其中:N表示样本集的大小；SK(v(x))是以χ为中心R为半径的区域，当M(x) [SE(v(x)) Π {χ1； χ2,...χΝ}]大于背景阈值，则χ点属于背景点，反之则属于前景点。
[0032]所述的背景样本集在初始化中，完成了对背景模型的建立过程，背景模型的建立过程也就是填充模型中样本集的过程，即根据背景样本集进行学习；由于在一帧图像中不可能包含像素点的时空分布信息，通过利用相近像素点拥有相近时空分布特性这一规律，具体来讲就是:
[0033]对于一个像素点，随机地选择它的邻居点的像素值作为它的模型样本值:
[0034]Mci(X) = {v0 (y) y e Ng (χ) } (I)
[0035]其中=Mtl(χ)表示第一帧中的背景样本集，Ne(χ)为邻居点。该方法的优点是初始化速度非常快，通常只需要一帧视频图像即可完成对目标模型的初始化；并且引入的Ghost区域在模型不断更新过程中将会很快消失。
[0036]1.3)通过前景提取算法对模型进行更新，使得背景模型不断适应背景的诸如光照、背景物体的变化。
[0037]所述的前景提取算法是指:采用前景点计数方法，对像素点进行统计，当某个背景模型中的像素点连续N帧被统计为前景点，则将其更新为前景点。
[0038]1.4)将统计为前景点的图像输出便获得了运动前景。
[0039]步骤2)对提取出的运动前景进行分割，得到若干前景块；
[0040]所述的分割采用cvBlobs库实现，具体为调用cvBlobs库(http://code, google,com/p/cvblob/)中的函数cvLabel O ,将运动前景作为输入参数,返回值是一个链表，记录了所有分割的前景块。[0041]所述的前景块中包含有该前景块位于运动前景中的位置、面积等信息。
[0042]所述的分割过程中，针对前景块在目标跟踪的过程中由于被非目标(如电线杆、树等)遮挡而导致分裂的情况，根据每个前景块的位置、面积，判断异常的分裂并对这些分裂块进行合并，即取多个团块的最小外接矩形构成更大的团块。
[0043]步骤3):对分割获得的前景块(即前景区域目标)和基于Mean Shift跟踪获得的目标区域(即历史目标)进行数据关联，具体步骤包括:
[0044]3.1)构造历史目标Ti和前景区域目标Dj的匹配矩阵M:
【权利要求】
1.一种联合数据关联的Mean Shift多目标跟踪方法，其特征在于，首先从视频中提取得到运动前景并分割，针对分割后的前景块生成数据关联矩阵，并通过逐行扫描优化后使用Mean Shift算法完成对每个目标的跟踪；所述方法包括以下步骤: 1)利用前景提取算法对运动目标前景进行提取并得到运动前景； 2)对提取出的运动前景进行分割，得到若干前景块； 3)对分割获得的前景块，即前景区域目标和基于MeanShift跟踪获得的目标区域，即历史目标进行数据关联； 4)逐行扫描数据关联矩阵，检测并处理目标的合并信息和分裂信息，并对目标样本进行更新； 5)使用MeanShift算法完成对每个目标的跟踪。
2.根据权利要求1所述的方法，其特征是，所述的前景提取算法是指:采用前景点计数方法，对像素点进行统计，当某个背景模型中的像素点连续N帧被统计为前景点，则将其更新为前景点。
3.根据权利要求1所述的方法，其特征是，步骤I)具体包括: 1.D为视频序列每一帧的每个像素点维护一个样本集，样本集中的采样值来自该像素点过去的像素值和邻居点的像素值； 1.2)在新的一帧中，将每一个像素点的像素值和样本集进行比较来判断其是否属于背景点，并生成背景样本集； 1.3)通过前景提取算法对模型进行更新，使得背景模型不断适应背景的变化； 1.4)将统计为前景点的图像输出便获得了运动前景。
4.根据权利要求3所述的方法，其特征是，所述的背景点的判断是指:记V(X)为X点处的像素值;M(x) =为X处的背景样本集，其中:N表示样本集的大小；SE(v(x))是以X为中心R为半径的区域，当M(x) [Se(ν(χ)) Π (X1, χ2,...χΝ}]大于背景阈值，则X点属于背景点，反之则属于前景点； 所述的背景样本集在初始化中，完成了对背景模型的建立过程，背景模型的建立过程也就是填充模型中样本集的过程，即根据背景样本集进行学习，具体对于一个像素点，随机地选择它的邻居点的像素值作为它的模型样本值=M0(X) = {v0(y) |ye Ne(x)}，其中:MQ(x)表不第一帧中的背景样本集，Ne(X)为邻居点。
5.根据权利要求1所述的方法，其特征是，所述的数据关联矩阵C的元素包括:0、1或2，其中:0表示该行对应的历史目标和该列对应的前景目标区域，即观测之间没有关联，2表示该行对应的历史目标和该列对应的观测之间相互关联，I表示该行对应的历史目标和该列对应的观测只有单向关联。
6.根据权利要求1所述的方法，其特征是，所述的步骤3具体包括:
St^d .3.1)构造历史目标Ti和前景区域目标Dj的匹配矩阵M: Μ(υ) = \ +s ’其中:Anl),表示历史目标Ti和观测目标Dj的重叠部分的面积，\和&分别表示Ti和h的外接矩形的面积，C是规范化常数； .3.2)获得匹配矩阵M后，根据相似度的大小，构造数据关联矩阵C:. 3.2.1)初始化:设置数据关联矩阵C的所有元素为O ;. 3.2.2)逐行对矩阵M扫描，找出每行中最大元素所在位置的列号jmax，并将矩阵C对应的位置加 I:jmax = argmaxM(i, j), j = 1，2，...N1, C(i, jmax) = C(i, jmax)+l ；. 3.2.3)逐列对矩阵M扫描，找出每列中最大元素所在位置的行号imax，并将矩阵C对应的位置加 I:imax = argmaxM(i, j), i = 1，2，...N1, C(imax, j) = C(imax, j)+l。
7.根据权利要求1所述的方法，其特征是，所述的步骤4中: . 4.1)逐行扫描数据关联矩阵C，记录每一行中的最大值Max和非零元素的个数Ntl，当Max等于I且Ntl等于1，则判断为该行对应的历史跟踪目标Ta与另一个历史跟踪目标Tb合并，否则跳过步骤4.2~步骤4.3，重新执行步骤4.1并扫描下一行；. 4.2)通过数据关联矩阵C的对应关系，找到历史跟踪目标Ta对应的新观测Dab，即与Ta相似度最大的观测目标，由于发生了合并，该观测Dab必然与另一个历史跟踪目标相互关联，在关联矩阵C中搜索并找到Tb ； . 4.3)将Ta和Tb的跟踪状态改变，由没有遮挡变为相互遮挡，并通过记录其地址信息链接到Tab ； . 4.4)利用Dab的区域以及该区域的视觉特征，新增加一个合并目标Tab进行跟踪，并记录下Tab与目标TA、Tb的对应关系。
8.根据权利要求1所述的方法，其特征是，所述的步骤4中: . 5.1)逐行扫描数据关联矩阵C，记录该行中的最大值Max和非零元素的个数Ntl，当Max等于I且Ntl等于2，则判断为该行对应的历史跟踪目标Tab分裂，否则跳过步骤5.2~步骤.5.3，重新执行步骤5.1并扫描下一行；. 5.2)将目标Tab对应的目标TA、TB以及分裂后的观测Da，Db通过目标颜色直方图特征进行匹配； . 5.3)将Ta和Tb的跟踪状态改变，由相互遮挡变为没有遮挡。
9.根据权利要求1所述的方法，其特征是，所述的步骤4中，目标样本进行更新是指:逐行扫描数据关联矩阵C，并在没有分裂或合并情况发生时，对目标样本进行更新，具体是:扫描数据关联矩阵，检测处理目标的合并-分裂；当没有合并或分裂情况发生时，利用观测D对目标T进行更新，即将观测和目标的中心位置进行加权得到该目标的最终位置，从而校正目标。
10.根据权利要求1所述的方法，其特征是，所述的步骤5具体包括以下步骤: . 7.1)当输入视频图像为第一帧时，人工选择目标区域； . 7.2)主流程产生若干个与单目标对象一一相对的子流程，该子流程接口函数实现了Mean Shift跟踪算法的整个流程，即各个对象并行地运算，即检测trackmode: 当trackmode等于I时,调用成员函数完成对目标特征直方图的计算,并将trackmode改为2 ； 当trackmode等于2时,调用成员函数计算当前帧中候选区的直方图，完成Mean Shift过程，更新目标区域； 所述的Mean Shift过程是指:首先将候选区设为上一帧目标所在的区域，然后计算候选区的直方图，利用相似性函数计算相似程度以及Mean Shift向量；不断地更新候选区的位置，直到Mean Shift向量的步长小于阈值或者循环的次数到达最大值时，将候选区的位置赋给目标区域， 完成目标位置的更新。
【文档编号】G06T7/20GK103985142SQ201410239186
【公开日】2014年8月13日 申请日期:2014年5月30日 优先权日:2014年5月30日
【发明者】郑世宝, 薛明, 丁正彦, 李宏波, 朱文婕, 陈宇航 申请人:上海交通大学