多目标跟踪方法及装置制造方法
【专利摘要】本发明提供一种多目标跟踪方法及装置，所述方法包括以下步骤：在获取视频图像后，对所述视频图像进行分割，根据分割的结果提取所有待跟踪目标的斑点；对各斑点进行拟合得到相应的拟合形状，并将所述拟合形状的像素与待跟踪目标进行关联；根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡；则对待跟踪目标及相应的斑点进行遮挡分析，并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标，使得待跟踪目标与相应斑点中的预定像素一一对应后，对各待跟踪目标进行跟踪。本发明的多目标跟踪方法及装置能有效提高目标跟踪的稳定性。
【专利说明】多目标跟踪方法及装置
【技术领域】
[0001]本发明涉及目标跟踪【技术领域】，特别是涉及一种多目标跟踪方法及一种多目标跟
踪装置。
【背景技术】
[0002]目标跟踪是机器视觉的核心问题之一，是一个融合图像处理、模式识别、人工智能及自动控制等不同领域先进成果的高新技术，在军事制导、视频监控、医疗诊断、产品检测、虚拟现实等众多领域有重要的实用价值和广阔的发展前景。
[0003]然而，由于被跟踪目标本身特征的多样性和外部环境的复杂性，目标跟踪一直是一个极富挑战性的课题。一个鲁棒的目标跟踪算法必须要能够解决跟踪过程中遇到的各种困难，如旋转、尺寸变化、光照变化等，其中遮挡问题是其中的难点。遮挡是目标跟踪中的常见情况。主要有以下两种遮挡:一是被背景中的静止目标所遮挡；二是多目标之间的互相遮挡；目标遮挡的过程又分为三个阶段:一是目标开始进入遮挡，这时关于目标的信息会逐渐丢失；二是目标处于遮挡之中，该过程中信息一直保持丢失状态；三是目标离开遮挡，目标信息逐渐恢复。
[0004]复杂背景下的目标跟踪由于很难提取出目标进行跟踪，因此在复杂背景下很难达到性能稳定的目标提取效果，一般采用基于模板的相关匹配跟踪技术。对于近距离面目标或尺寸很大的面目标，目标图像占据视场的大部分或充满视场，图像相关匹配的数据和计算量很大。图像相关匹配的计算实时性在一定程度上决定了该技术的实用性。
[0005]在复杂背景下，运动目标存在不同程度的遮挡，此时不能根据图像特征来分辨遮挡物，一般采用基于模板的相关跟踪算法。但是常用的单模板跟踪算法存在着不确定性:匹配点与极值点的不确定性、相关峰宽度的不确定性、图像变化造成的不确定性和判定准则的不确定性。为了改善单模板匹配存在的问题，业界提出了采用动态模板和遮挡检测的方法来解决目标发生遮挡时的跟踪问题，但更新后的模板与真正目标差异仍然很大，跟踪稳定性较差。
【发明内容】
[0006]基于此，本发明提供一种多目标跟踪方法及装置，能够有效提闻目标跟踪的稳定性。
[0007]一种多目标跟踪方法，包括以下步骤:
[0008]在获取视频图像后，对所述视频图像进行分割，根据分割的结果提取所有待跟踪目标的斑点；
[0009]对各斑点进行拟合得到相应的拟合形状，并将所述拟合形状的像素与待跟踪目标进行关联；
[0010]根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡；
[0011]若是，则对待跟踪目标及相应的斑点进行遮挡分析，并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标，使得待跟踪目标与相应斑点中的预定像素一一对应后，对各待跟踪目标进行跟踪。
[0012]一种多目标跟踪装置，包括:
[0013]图像分割及斑点获取模块，在获取视频图像后，对所述视频图像进行分割，根据分割的结果提取所有待跟踪目标的斑点；
[0014]关联模块，用于对各斑点进行拟合得到相应的拟合形状，并将所述拟合形状的像素与待跟踪目标进行关联；
[0015]判断模块，根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡；
[0016]赋值模块，用于当所述判断模块的判断结果为是时，对待跟踪目标及相应的斑点进行遮挡分析，并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标，使得待跟踪目标与相应斑点中的预定像素一一对应后，对各待跟踪目标进行跟踪。
[0017]由以上方案可以看出，本发明的多目标跟踪方法及装置在获取视频图像后获取待跟踪目标的斑点，对各斑点进行拟合得到相应的目标，并将所述斑点与目标进行关联，当出现多个目标发生遮挡时，则进行遮挡分析得出遮挡物与被遮挡物分别对应斑点中的像素集，再根据关联的结果及遮挡分析的结果将各斑点的像素赋给相应的目标。本发明通过对各待跟踪目标赋予相应斑点的像素，使得各待跟踪目标与相应斑点的像素集一一对应，即利用了空间分布和纹理信息来将各斑点的像素与对应目标关联起来，从而提高了对目标的跟踪的稳定性。另外，本发明根据所述关联的结果及遮挡分析的结果使得待跟踪目标与相应斑点中的像素进行对应后，对待跟踪目标进行跟踪，从而使得跟踪的速度更快、准确度更闻。
【专利附图】
【附图说明】
[0018]图1为本发明实施例中一种多目标跟踪方法的流程示意图；
[0019]图2为本发明实施例中目标和斑点可能存在的关系示意图；
[0020]图3为本发明实施例中两个目标发生遮挡过程的示意图；
[0021]图4为本发明实施例中一种多目标跟踪装置的结构示意图。
【具体实施方式】
[0022]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0023]参照图1所示，一种多目标跟踪方法，包括以下步骤:
[0024]步骤S101，在获取视频图像后，对所述视频图像进行分割，根据分割的结果提取所有待跟踪目标的斑点。所述斑点可以是通过高斯背景建模识别出来的没经过任何处理的数据。
[0025]步骤S102，对各斑点进行拟合得到相应的拟合形状，并将所述拟合形状的像素与待跟踪目标进行关联；
[0026]步骤S103，根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡；若是，则说明一个斑点所拟合的拟合形状可能对应着多个目标，即发生了多目标间的遮挡，此时执行步骤S104。否则，根据所述拟合形状与目标关联的结果将各待跟踪目标与相应斑点的像素对应，以提闻目标跟着的稳定性。
[0027]如图2所示，Vb2和b3为经过高斯背景建模提取出来的斑点，而0l、02、03和O4为拟合得到的拟合形状。假设在时刻t检测到有M个斑点Iv I ≤j ≤ M，其中有N个目标(0i，l≤i≤N)已经处于跟踪的状态。由于遮挡的原因，一个或多个目标有可能表现为一个闭合的斑点，如图2中的匕可能就是由目标O2和O3叠加的。因此，可以得到M≤N，即一个斑点可能对应着一个或者多个目标，即发生了目标间的遮挡。
[0028]步骤S104，当所述步骤S103的判断结果为是时，则进行遮挡分析，并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标，使得待跟踪目标与相应斑点中的预定像素一一对应后，对各待跟踪目标进行跟踪。由于发生遮挡时，有可能一个斑点对应多个待跟踪目标，此步骤中各待跟踪目标所对应的预定可能是相应斑点中的某部分的像素，例如为对应斑点中关联度最高的像素。
[0029]遮挡的分析可以在是在拟合形状及待跟踪目标的分布空间和纹理上进行。如图3(a)至图3 (e)中所示的为在遮挡前的两个目标。当遮挡发生时，只能得到一个斑点，两个目标都会把这个斑点的像素当作自己的像素。但是，如果斑点中的像素符合某个目标的纹理，那么该像素还是会赋给该目标，如图3 (a)至图3 (e)中的矩形目标，这样，在观察矩形目标时是不会发生什么 变化的，而被遮挡的目标，会随着赋给它的像素越来越少而逐渐消失，如图三(b)中的圆形目标。定义目标Oi的遮挡率Ri为某个目标与其他目标交于斑点的像素点数，定义一个阈值!\当Ri ( T时，就可以假设该目标已经被完全遮挡了。
[0030]在进行遮挡分析时，不仅要知道一个目标是否发生遮挡，更要确认出遮挡者。根据已知在被遮挡的目标再次出现之前，它都会被假定在遮挡目标的后面，并且随着该遮挡目标一起运动。但当被遮挡的目标在遮挡目标附近重新出现时，将这两个目标分开，并且重新建立一个空间模型。
[0031]本发明的提出了一个多目标跟踪方法可以解决长时间遮挡的多目标跟踪算法。该方法基于“目标存在的持久性”这个原理，即一个被完全遮挡的目标可能还重新出现在遮挡它的目标旁边出现。本发明的方法不需要提前对目标的形状、颜色、大小等特征进行训练，可以自适应的建立目标的模型。由于建立了数据关联机制，使得可以很好的解决遮挡问题，提闻了目标跟踪的准确度。
[0032]作为一个较好的实施例，所述在获取视频图像后，对所述视频图像进行分割，根据分割的结果提取所有待跟踪目标的斑点的过程，具体可以包括以下步骤:
[0033]步骤S1011,在获取视频图像后，采用高斯混合模型(GMM, Gaussian MixtureModel)进行背景建模。目标的纹理g由高斯混合模型g=g(wk，uk，Xk)来表示，其中
1≤K, (wk, uk, Σ,)则表示混合模型的第k个高斯分量的加权系数、均值和协方差。高斯混合模型的参数主要是通过EM算法估计得到。同样，定义像素值为c的像素点是由GMM算法得到的概率为其中PA(p，g)为P的颜色是否符合高斯模型g的一个度量。
[0034]步骤S1012，根据在后一帧视频图像的建模结果与在前一帧视频图像的背景建模结果进行计算，分割出后一帧视频图像的待跟踪目标。即可将后一帧视频图像的建模结果减去在前一帧视频图像的背景建模结果得到待跟踪目标。
[0035]步骤S1013，获取各待跟踪目标的像素集合，该像素集合为所述各待跟踪目标的斑点。
[0036]由于图像中每个像素点的值(或特征)在短时间内都是围绕与某一中心值一定距离内分布，通常，中心值可以用均值来代替，距离可以用方差来代替。这种分布是有规律的。根据统计定律，如果数据点足够多的话，可以说明这些点呈正态分布，也称为高斯分布。根据这个特点，如果像素点的值偏离中心值较远，那么，这个像素值属于前景，如果像素点的值偏离中心值很近(在一定方差范围内)，那么可以说该像素点属于背景。
[0037]混合高斯模型使用K个(K基本为3到5个)高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成功则判定该点为背景点，否则为前景点。每个高斯模型，他主要是有方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。由于本发明是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力，改进方法对均值和方差的更新采用不同的学习率；为提高在繁忙的场景下，大而慢的运动目标的检测效果，引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。假设对每个输入像素值It，若满足:
[0038]Ilt-UiiHl SD.0i,t-1;
[0039]其中μ 为均值，D为参数，σ Μ。为标准差。
[0040]则It和该高斯函数匹配，其参数按如下公式更新:
[0041]
【权利要求】
1.一种多目标跟踪方法，其特征在于，包括以下步骤: 在获取视频图像后，对所述视频图像进行分割，根据分割的结果提取所有待跟踪目标的斑点； 对各斑点进行拟合得到相应的拟合形状，并将所述拟合形状的像素与待跟踪目标进行关联； 根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡； 若是，则对待跟踪目标及相应的斑点进行遮挡分析，并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标，使得待跟踪目标与相应斑点中的预定像素一一对应后，对各待跟踪目标进行跟踪。
2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述对各斑点进行拟合得到相应的拟合形状，并将所述拟合形状的像素与待跟踪目标进行关联的过程包括以下步骤: 通过空间分布模型对斑点进行拟合，所述空间分布模型包括待跟踪目标的位置信息以及空间分布信息； 获取与各待跟踪目标相交的所有斑点，并对各待跟踪目标及与其相交的斑点进行计算； 根据计算的结果查询相应斑点中与各待跟踪目标关联度最高的像素； 将各待跟踪目标分别与相应斑点中关联度最闻的像素进行关联。
3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述空间分布模型为:
4.根据权利要求2或3所述的多目标跟踪方法，其特征在于，所述对各斑点进行拟合得到相应的拟合形状，并将所述拟合形状的像素与待跟踪目标进行关联的过程还包括以下步骤: 根据高斯混合模型g=g(wk，uk，Xk)计算待跟踪目标的纹理；其中，I ≤ k ≤K，(wk, uk, Σ,)分别表示高斯混合模型的第k个高斯分量的加权系数、均值和协方差。
5.根据权利要求4所述的多目标跟踪方法，其特征在于，所述对各斑点进行拟合得到相应的拟合形状，并将所述拟合形状的像素与待跟踪目标进行关联的过程还包括以下步骤: 判断出现遮挡的待跟踪目标的纹理是否相同； 若否，则根据公式
6.根据权利要求5所述的多目标跟踪方法，其特征在于，还包括以下步骤: 若所述判断出现遮挡的各待跟踪目标的纹理是否相同的判断的结果为是，则根据公式
7.根据权利要求4所述的多目标跟踪方法，其特征在于，所述在获取视频图像后，对所述视频图像进行分割，根据分割的结果提取所有待跟踪目标的斑点的过程包括以下步骤: 在获取视频图像后，采用高斯混合模型进行背景建模； 根据在后一帧视频图像的建模结果与在前一帧视频图像的背景建模结果进行计算，分割出后一帧视频图像的待跟踪目标； 获取各待跟踪目标的像素集合，该像素集合为所述各待跟踪目标的斑点。
8.一种多目标跟踪装置，其特征在于，包括: 图像分割及斑点获取模块，在获取视频图像后，对所述视频图像进行分割，根据分割的结果提取所有待跟踪目标的斑点； 关联模块，用于对各斑点进行拟合得到相应的拟合形状，并将所述拟合形状的像素与待跟踪目标进行关联； 判断模块，根据所述拟合形状及待跟踪目标的数量判断是否发生遮挡； 赋值模块，用于当所述判断模块的判断结果为是时，对待跟踪目标及相应的斑点进行遮挡分析，并根据关联的结果及遮挡分析的结果将各斑点中的像素赋给相应的待跟踪目标，使得待跟踪目标与相应斑点中的预定像素一一对应后，对各待跟踪目标进行跟踪。
9.根据权利要求8所述的多目标跟踪装置，其特征在于，所述关联模块包括: 拟合模块，用于通过空间分布模型对斑点进行拟合，所述空间分布模型包括目标的位置信息以及空间分布信息； 计算模块，用于获取与各待跟踪目标相交的所有斑点，并对各待跟踪目标及与其相交的斑点进行计算； 查询模块，用于根据计算的结果查询与各待跟踪目标关联度最高的斑点； 关联子模块，用于将各待跟踪目标分别与其关联度最高的斑点进行关联。
10.根据权利要求8所述的多目标跟踪装置，其特征在于，所述图像分割及斑点获取模块包括: 背景建模模块，用于在获取视频图像后，采用高斯混合模型进行背景建模； 分割模块，用于根据在后一帧视频图像的建模结果与在前一帧视频图像的背景建模结果进行计算，从而分割出后一帧视频图像的目标； 斑点获取模块，用于获取各待跟踪目标的像素集合，该像素集合为所述各待跟踪目标的斑点。
【文档编号】G06K9/00GK103942535SQ201410126335
【公开日】2014年7月23日 申请日期:2014年3月28日 优先权日:2014年3月28日
【发明者】沈三明 申请人:广东威创视讯科技股份有限公司