图像目标跟踪方法与系统与流程

本发明涉及图像处理技术领域，特别是涉及图像目标跟踪方法与系统。

背景技术：

随着视频摄像头的在城市安防领域的应用，基于图像信息的目标跟踪算法吸引了工业界及学术界的研究热情。在过去的三十年，图像跟踪算法取得了长足的发展，但是依然有很多开放性的问题并未得到完善的解决方案，例如，目标的大变形，观察视角的改变，光线的变化，嘈杂的背景，干扰及遮挡等问题。

传统的目标跟踪方案对仅仅基于目标对象完成算法的建模，其中主要含有三个部分：1)目标特征模型的提取；2)多特征融合的模型匹配算法；3)算法的实时更新方案。

基于传统的目标跟踪方案，一个跟踪器能够应对的一些传统的问题，例如目标的大变形，光线变化及快速运动，但是当环境存在伪装的时候，很有可能由于图像目标被遮挡，而无法很好跟踪图像目标。例如在人群中，当跟踪的对象(行人)被遮挡的情况下，传统图像目标跟踪方案容易错误的跟踪到其他的行人中。

技术实现要素：

基于此，有必要针对传统图像目标跟踪方案无法实现准确跟踪的问题，提供一种能够准确跟踪目标的图像目标跟踪方法与系统。

一种图像目标跟踪方法，包括步骤：

获取目标初始位置，根据目标初始位置进行稀疏采样；

将采样点分为前景样本和背景样本；

根据前景样本的空间分布，聚类相邻的前景样本，获得包含多个簇的聚类结果；

根据聚类结果进行稳健估计，确定目标与伪装干扰在图像中的相对位置；

生成预测轨迹，将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。

一种图像目标跟踪系统，包括：

稀疏采样模块，用于获取目标初始位置，根据目标初始位置进行稀疏采样；

采样点区分模块，用于将采样点分为前景样本和背景样本；

聚类模块，用于根据前景样本的空间分布，聚类相邻的前景样本，获得包含多个簇的聚类结果；

位置预测模块，用于根据聚类结果进行稳健估计，确定目标与伪装干扰在图像中的相对位置；

跟踪模块，用于生成预测轨迹，将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。

本发明图像目标跟踪方法与系统，获取目标初始位置，根据目标初始位置进行稀疏采样，将采样点分为前景样本和背景样本，根据前景样本的空间分布，聚类相邻的前景样本，获得包含多个簇的聚类结果，根据聚类结果进行稳健估计，确定目标与伪装干扰在图像中的相对位置，生成预测轨迹，将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。整个过程中，采用稀疏采样、采样点区分以及相邻的前景样本聚类完成多特征级联聚类，再进行稳健估计准确预测目标及伪装干扰的位置，最后进行轨迹关联，判断目标是否被遮挡并准确跟踪目标。

附图说明

图1为本发明图像目标跟踪方法第一个实施例的流程示意图；

图2为本发明图像目标跟踪方法第二个实施例的流程示意图；

图3为全局动态约束下目标关联算法示意图；

图4为本发明图像目标跟踪系统第一个实施例的结构示意图；

图5为本发明图像目标跟踪系统第二个实施例的结构示意图。

具体实施方式

如图1所示，一种图像目标跟踪方法，包括步骤：

S100：获取目标初始位置，根据目标初始位置进行稀疏采样。

抽取含有目标的图像，从中获取目标初始位置。在不同应用场景下目标初始位置获取方式不相同，具体来说，可以分为两种情况，一种是存在前一帧图像；第二种是不存在前一帧图像。针对存在前一帧图像的情况可以直接获取目标在前一帧图像中的位置来获取目标初始位置；针对不存在前一帧图像的情况可以获取目标预设位置来获取目标初始位置。下面以实例来进行说明，假定当前时间点之前已经采集有连续含有目标的图像，当前时间点为开始采集的第10帧，则可以从第9帧采集的含有目标的图像中获取目标初始位置；假定当前时间点之前没有采集连续含有目标的图像，即当前时间点为开始采集的第1帧，则获取目标预设位置来获取目标初始位置。更进一步来说，预设初始位置可以随机设定或者根据实际应用场景以及历史经验数据进行设定。基于目标初始位置，对目标初始位置周围进行稀疏采样，获得多个采样点，非必要的，可以对目标初始位置周围进行均匀稀疏采样，以获得更加整齐的多个采样点，采用均匀稀疏采样有利于减小后期数据处理量。

S200：将采样点分为前景样本和背景样本。

将步骤S100获得的采样点分为前景样本和背景样本，其中，前景样本中可能含有目标，同时也可能还有伪装干扰。非必要的，在其中一个实施例中，步骤S200包括：

步骤一：提取稀疏采样每个样本中的颜色特征。在步骤S100进行稀疏采样之后，会获得多个样本，提取每个样本中的颜色特征，具体来说，是提取每个样本的颜色特征直方图。

步骤二：获取颜色强度的梯度直方图特征，将提取的颜色特征与颜色强度的梯度直方图特征匹配，获得匹配结果。颜色强度的梯度直方图特征是通过对已有的图像目标特征进行分体所提取的特征，其梯度模型为方向梯度直方图(HOG)。非必要的，可以利用巴氏距离计算法，将样本中提取的颜色特征与模型中的颜色特征进行匹配，每个样本将得到一个匹配值。

步骤三：据匹配结果以及采样点空间位置信息，利用高斯聚类算法将采样点分为前景样本和背景样本。聚类算法是研究(样品或指标)分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类分析是由若干模式组成的，通常模式是一个度量的向量，或者是多维空间中的一个点。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。在这里，根据颜色匹配结果以及各个采样点空间位置信息，采用高斯聚类算法将采样点分为前景样本和背景样本，其中，前景样本中可能含有目标，同时也可能还有伪装干扰，在后续操作中也主要针对前景样本进行处理。

S300：根据前景样本的空间分布，聚类相邻的前景样本，获得包含多个簇的聚类结果。

在将采样点分为前景样本和背景样本之后，遍历所有前景样本，根据前景样本的空间分布，将相邻的前景样本再次进行聚类，获得包含多个簇的聚类结果。非必要的，可以主要考虑前景样本在空间分布重叠的区域，对该重叠的区域进行再次聚类，获得包含多个簇的聚类结果。非必要的，在其中一个实施例中，步骤S300包括：

步骤一：根据前景样本的空间分布，获取前景样本的重叠区域。在区分出前景样本和背景样本后，遍历所有的前景样本，分析前景样本的空间分布，查找到前景样本的重叠区域。

步骤二：根据前景样本的重叠区域将前景样本进行聚类，获得包含多个簇的聚类结果。前景样本中具有重叠区域的样本再次进行空间聚类，根据空间分布将前景样本分为多个不同的簇。

S400：根据聚类结果进行稳健估计，确定目标与伪装干扰在图像中的相对位置。

根据二次聚类结果进行稳健估计，预测图像中目标与伪装干扰的相对位置。

如图2所示，在其中一个实施例中，步骤S400包括：

S420：根据聚类结果进行簇内密集采样，并在密集采样中提取梯度特征。

在各个簇内进行密集采样，同时提取密集样本点的梯度特征。

S440：将提取的梯度特征与预设梯度模型匹配，获得匹配值。

预设梯度模型是预先构建的模型，具体来说，该预设梯度模型是梯度直方图HOG，其可以通过对图像目标的经验数据进行建模所得到。在进行匹配过程中，采用匹配值来表征两者之间匹配程度。

S460：获取梯度匹配均值点对应位置以及梯度匹配值最高点对应位置。

针对匹配值着重关注匹配均值点和匹配值最高点，并且分别获取梯度匹配均值点对应位置以及梯度匹配值最高点对应位置。

S480：根据梯度匹配均值点对应位置以及梯度匹配值最高点对应位置进行稳健估计，确定目标与伪装干扰在图像中的相对位置。

由于每个簇内可能含有一个至多个(两个)目标，为有效的估计出所有目标及伪装干扰的位置，采用匹配值均值点位置及匹配值最高点的对应位置来完成稳健估计，确定目标与伪装干扰在图像中的相对位置。

在其中一个实施例中，步骤S480包括：

步骤一：根据梯度匹配均值点对应位置以及梯度匹配最高点对应位置，对每个簇内的密集样本进行迭代聚类和潜在目标区域估计。

步骤二：当每个梯度匹配均值点对应位置与梯度匹配最高点对应位置偏差均小于预设值时，停止迭代，查找具有区域重叠的目标。

步骤三：确定目标与伪装干扰在图像中的相对位置。

根据匹配值的大小，获得均值点对应的位置，通过对比匹配值最高点的位置，对每个簇内的密集样本完成迭代聚类并完成潜在目标区域的估计，直到均值点对应的位置和最高点对应的位置足够靠近，则迭代停止，利用目标及伪装干扰之间的相对位置，完成目标位置的预测。上述足够靠近在实际操作中具体为每个梯度匹配均值点对应位置与梯度匹配最高点对应位置偏差均小于预设值，更具体来说，预设值为50％，即当均值点对应的位置与最高点对应的位置之间偏差小于50％时，停止迭代，查找具有区域重叠的目标。

S500：生成预测轨迹，将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。

基于步骤S400预测的目标与伪装干扰在图像中的相对位置，生成预测轨迹，将实时获得的观测样本位置与预测轨迹进行关联，获得关联结果，在根据关联结果判断目标是否被遮挡，并最终准确跟踪目标。具体来说，利用目标及伪装干扰之间的相对位置，完成目标位置的预测，然后将观测样本位置与预测轨迹进行关联，如果没有找到合适的关联对象(目标)，则判定目标被遮挡，如果找到合适的关联对象(目标)，则追踪目标。

如图2所示，在其中一个实施例中，步骤S500包括：

S520：根据目标与伪装干扰在图像中的相对位置，生成预测轨迹。

可以根据目标与伪装干扰在图像中的相对位置，并结合历史信息拟合轨迹，对目标位置预测进行全局动态约束生成预测轨迹。具体来说，历史信息包括目标的历史图像位置，伪装目标的个数，伪装干扰的历史图像位置，以及其相对位置。预测轨迹可以包括目标预测轨迹和伪装干扰预测轨迹。

S540：实时获取观测样本位置，将观测样本位置与预测轨迹关联。

对整个含伪装干扰的图像观测，实时获取观测样本位置，将观测样本位置与预测轨迹关联。在实际操作中，观测样本位置可能有很多，为更好判断目标是否被遮挡并跟踪目标，可以对观测样本位置进行筛选。在其中一个实施例中，步骤S540包括：步骤一：通过贝叶斯概率算法，分别将观测样本位置与目标轨迹以及伪装干扰轨迹匹配；步骤二：计算观测样本位置对应的观测权重值，其中，当观测样本位置与目标轨迹越相似时，观测权重值越高，当观测样本位置与伪装干扰轨迹越相似时，观测权重值越低；步骤三：选取观测权重值最高的观测样本位置与预测轨迹关联。采用上述方式可以选择最相似的观测样本位置与预测的轨迹进行关联，最终能够更加准确跟踪目标。

S560：若观测样本位置与目标的关联系数大于与伪装干扰的关联系数，则判定目标未被遮挡，确认跟踪目标，否则，判定目标被遮挡。

如果观测样本与目标的关联系数大于与伪装干扰的关联系数，则判定目标未被遮挡，确认跟踪目标。否则现有观测样本被全部认定为伪装干扰，判定目标被伪装干扰遮挡。

本发明图像目标跟踪方法，获取目标初始位置，根据目标初始位置进行稀疏采样，将采样点分为前景样本和背景样本，根据前景样本的空间分布，聚类相邻的前景样本，获得包含多个簇的聚类结果，根据聚类结果进行稳健估计，确定目标与伪装干扰在图像中的相对位置，生成预测轨迹，将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。整个过程中，采用稀疏采样、采样点区分以及相邻的前景样本聚类完成多特征级联聚类，再进行稳健估计准确预测目标及伪装干扰的位置，最后进行轨迹关联，判断目标是否被遮挡并准确跟踪目标。

为更进一步详细解释本发明图像目标跟踪方法的技术方案，下面将采用具体实例并结合图3，详细说明整个方案以及其带来的有益效果。

步骤一：基于前一帧目标位置，在目标周围完成均匀稀疏采样，并从每个样本中提取颜色特征(直方图)。

步骤二：利用巴氏距离计算法，将样本中提取的颜色特征与模型中的颜色特征进行匹配，每个样本将得到一个匹配值。

步骤三：根据样本的颜色匹配值结合其空间位置信息，利用高斯聚类算法，将采样点分为前景样本和背景样本，其中，前景样本中可能含有目标，同时也可能还有伪装干扰。

步骤四：前景样本中具有重叠区域的样本再次进行空间聚类，算法根据空间分布将前景样本分为了几个不同的簇。

步骤五：为了提高精度，在每个簇里面实现密集采样，并从密集采样中提取梯度特征。

步骤六：根据样本的梯度特征完成与预设梯度模型的匹配，获得匹配值。

步骤七：由于每个簇内可能含有一个至多个(两个)目标，为有效的估计出所有目标及伪装干扰的位置，算法迭代计算簇内的均值点对应位置及最高点对应位置来完成稳健估计，当均值点和最高点的位置足够靠近(偏差小于50％)，则迭代停止。

步骤八：根据迭代结果确定具有区域重叠的目标，从而确定目标与伪装干扰在图像中的相对位置。

步骤九：如图3所示，利用目标及伪装干扰之间的相对位置，根据历史信息拟合轨迹并完成目标位置的预测形成全局动态约束。

步骤十：将观测到的样本位置与预测的轨迹进行关联，如果观测样本与目标的关联系数大于与伪装干扰的关联系数，则确认目标。否则现有观测样本被全部认定为伪装干扰，判定目标被遮挡。

本发明图像目标跟踪方法，在目标周围完成均匀稀疏采样，并提取颜色特征，然后，将样本中提取的颜色特征与模型特征进行匹配，融合颜色匹配值及空间位置信息，利用高斯聚类将采样样本分为前景样本及背景样本。进一步的，根据前景样本点的重叠区域算法将前景样本再次进行聚类，在各个簇里面完成密集采样，同时提取密集样本点里面的梯度特征，并将其与梯度模型的匹配，获得匹配值，根据梯度匹配值的大小，获得密集样本中均值点对应的位置，通过迭代对比匹配值最高点的位置及均值点位置，对每个簇内的密集样本完成迭代聚类并完成潜在目标区域的估计，直到最后均值点和最高点的位置足够靠近(偏差小于50％)，则迭代停止。此阶段算法完成对目标及伪装干扰相对位置预测。再利用目标及伪装干扰之间的相对位置，根据历史信息拟合轨迹并完成目标位置的预测形成全局动态约束，然后将观测到的样本位置与预测的轨迹进行关联，如果观测样本与目标的关联系数大于与伪装干扰的关联系数，则确认并跟踪目标，否则现有观测样本被全部认定为伪装干扰后，则判定目标被伪装干扰遮挡。

如图4所示，一种图像目标跟踪系统，包括：

稀疏采样模块100，用于获取目标初始位置，根据目标初始位置进行稀疏采样。

采样点区分模块200，用于将采样点分为前景样本和背景样本。

聚类模块300，用于根据前景样本的空间分布，聚类相邻的前景样本，获得包含多个簇的聚类结果。

位置预测模块400，用于根据聚类结果进行稳健估计，确定目标与伪装干扰在图像中的相对位置。

跟踪模块500，用于生成预测轨迹，将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。

本发明图像目标跟踪系统，稀疏采样模块100获取目标初始位置，根据目标初始位置进行稀疏采样，采样点区分模块200将采样点分为前景样本和背景样本，聚类模块300根据前景样本的空间分布，聚类相邻的前景样本，获得包含多个簇的聚类结果，位置预测模块400根据聚类结果进行稳健估计，确定目标与伪装干扰在图像中的相对位置，跟踪模块500生成预测轨迹，将观测样本位置与预测轨迹关联，根据关联结果，判断目标是否被遮挡并跟踪目标。整个过程中，采用稀疏采样、采样点区分以及相邻的前景样本聚类完成多特征级联聚类，再进行稳健估计准确预测目标及伪装干扰的位置，最后进行轨迹关联，判断目标是否被遮挡并准确跟踪目标。

如图5所示，在其中一个实施例中，跟踪模块500包括：

预测轨迹生成单元520，用于根据目标与伪装干扰在图像中的相对位置，生成预测轨迹。

关联单元540，用于实时获取观测样本位置，将观测样本位置与预测轨迹关联。

跟踪单元560，用于若观测样本位置与目标的关联系数大于与伪装干扰的关联系数，则判定目标未被遮挡，确认跟踪目标，否则，判定目标被遮挡。

在其中一个实施例中，预测轨迹包括目标轨迹和伪装干扰轨迹，关联单元560包括：

匹配单元，用于通过贝叶斯概率算法，分别将观测样本位置与目标轨迹以及伪装干扰轨迹匹配。

观测权重计算单元，用于计算观测样本位置对应的观测权重值，其中，当观测样本位置与目标轨迹越相似时，观测权重值越高，当观测样本位置与伪装干扰轨迹越相似时，观测权重值越低。

关联执行单元，用于选取观测权重值最高的观测样本位置与预测轨迹关联。

如图5所示，在其中一个实施例中，位置预测模块400包括：

梯度信息提取单元420，用于根据聚类结果进行簇内密集采样，并在密集采样中提取梯度特征。

匹配值计算单元440，用于将提取的梯度特征与预设梯度模型匹配，获得匹配值。

对应位置获取单元460，获取梯度匹配均值点对应位置以及梯度匹配值最高点对应位置。

位置预测单元480，用于根据梯度匹配均值点对应位置以及梯度匹配值最高点对应位置进行稳健估计，确定目标与伪装干扰在图像中的相对位置。

在其中一个实施例中，位置预测单元480包括：

迭代匹配值计算单元，用于根据梯度匹配均值点对应位置以及梯度匹配最高点对应位置，对每个簇内的密集样本进行迭代聚类和潜在目标区域估计。

重叠区域查找单元，用于当每个梯度匹配均值点对应位置与梯度匹配最高点对应位置偏差均小于预设值时，停止迭代，查找具有区域重叠的目标。

预测单元，用于确定目标与伪装干扰在图像中的相对位置。

在其中一个实施例中，采样点区分模块200包括：

颜色特征提取单元，用于提取稀疏采样每个样本中的颜色特征。

匹配单元，用于获取颜色强度的梯度直方图特征，将提取的颜色特征与颜色强度的梯度直方图特征匹配，获得匹配结果。

区分单元，用于根据匹配结果以及采样点空间位置信息，利用高斯聚类算法将采样点分为前景样本和背景样本。

在其中一个实施例中，聚类模块300包括：

重叠区域获取单元，用于根据前景样本的空间分布，获取前景样本的重叠区域。

聚类单元，用于根据前景样本的重叠区域将前景样本进行聚类，获得包含多个簇的聚类结果。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。