专利名称：基于动态图匹配的目标跟踪方法
技术领域：
本发明涉及模式识别以及计算机视觉技术领域，特别涉及一种基于动态图匹配的目标跟踪方法。
背景技术：
目标跟踪具有很多的实际应用，例如人机交互、视频监控、行为分析等等。但是设计出一个相对鲁棒的跟踪器仍然不是很容易，因为多种情况都会导致跟踪器不能有效地跟踪目标，例如形状变形、表象变化、遮挡等等。一般来说，大部分目前的跟踪方法主要关注三个方面来提高跟踪器的精确性，它们分别为特征、表示模型和结构信息。考虑到特征选择的重要性，大量的有不同特性的特征都被用来改善跟踪器的性能，例如像素值、颜色和纹理。同时，用来有效地描述目标的表示模型也受到了广大的关注，包括子空间学习，支持向量机，Boosting和稀疏表示。不同 的是，只有比较少的跟踪算法考虑了结构信息。因此，为了更加有效地提高跟踪算法的准确性，研究跟踪目标的结构信息对跟踪效果的改善是很有意义的。
发明内容
本发明的目的是解决现有的目标跟踪方法无法有效地考虑跟踪目标的内部结构信息，以至于当跟踪目标发生明显的结构形变时，目标的精确位置不能有效地获得。为此，本发明提供一种基于动态图匹配的目标跟踪方法，提高跟踪算法的准确性。本发明提出一种目标跟踪方法，采用动态图的结构模型对目标进行有效跟踪，包括如下步骤a)根据跟踪窗口中的表象分布信息，利用超像素分割方法将跟踪窗口过分割成多个块，即超像素；b)采用前景背景分割方法从这些块中选出候选目标块，该前景背景分割方法是基于图割的能量最小化形式；c)利用所述候选目标块的表象信息和相对位置，构建一个具有马尔可夫特性的无向图G(V，E)，称为候选图；d)利用谱聚类匹配方法，将已经保留的目标图G(V’，E’ )和新得到的候选图G(V，E)匹配起来，得到各个块之间的匹配关系；e)根据所述匹配关系来确定最终的目标位置利用各个块的表象似然和结构似然，通过加权投票机制得到目标的最终位置。本发明的优点是本发明通过对目标内部结构进行建模，能够有效地获得目标的结构信息，当目标发生明显的结构形变时，利用结构和表象信息，仍然能够精确地获得目标位置。
图1是本发明的目标跟踪方法的实施例流程图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。本发明提出了一种基于动态图匹配的目标跟踪方法，该方法主要包括六个步骤超像素过分割、候选目标块的提取、无向图的构建、无向图匹配、目标位置的确定以及模型的更新。通过此种方法构建的目标跟踪模型能够有效地对目标内部的结构信息进行建模，以至于当目标发生较大的结构形变或者遮挡时，本发明提出的跟踪方法仍然能够精确地确定目标位置。将目标分块是构建内部信息的最有效方式，但是之前的方法都是将目标划分成许多规则的块，这些规则的块并没有较丰富的表象和语义信息。本发明采用Simple LinearIterative Clustering(SLIC)超像素分割方法对整个跟踪窗口进行过分割,该方法得到的块，即超像素，包含了颜色相近的像素值，以至于块与块之间有明显的差异性，增强了语义信息。由于过分割操作是对整个跟踪窗口进行的，所以我们需要从这些过分割得到的块中挑选出一些可能属于前景部分的候选目标块。该步骤有些类似于运动目标分割，即将运动的前景目标和背景分离开来。由于在本发明中，前景背景分离方法只是用来挑选候选目标块，所以我们不需要太精确的分割结果。为了加快速度，分割所采用的最小化能量函数是基于超像素的，而不是像素。为了增加分割结果的平滑性，我们采用的是图割的基本框架，除了一元能量项之外，我们还考虑了二元能量项。其中，一元能量项由一个产生式的颜色直方图和一个判别式的SVM分别产生的概率值联合得到，而二元能量项为相邻两个块的颜色特征差异。通过上述的前景背景分离，我们可以得到一系列的候选目标块。根据这些候选目标块的表象和位置信息，构建一个具有马尔可夫特性的无向图G(V，E)，称为候选图。该无向图中的节点为候选目标块，边为块与块之间的相互作用，当两个块之间的距离小于一定的阈值时，这两个块之间有相互关系，而不在阈值之内的块没有相互作用，该特性即为马尔可夫特性。在本发明中，我们将目标跟踪问题看成是目标图G(V’，E’ )和候选图G(V，E)之间的匹配问题。那么，在完成了对候选图G(V，E)的构建之后，我们接下来要解决它和目标图G(V’，E’)之间的匹配任务。我们采用谱聚类的方法来求解最优的匹配结果，而该方法要求构建一个无向超图。在该无向超图中，节点为每个可能的块匹配，边为两个块匹配之间的相互作用，这里我们定义，当两个块匹配所对应的在候选图G(V，E)中的两个块有相互作用，同时所对应的在目标图G(V’，E’ )中的两个块有相互作用，那么这两个块匹配有相互作用，在其他情况时，块匹配之间没有相互作用。将这些节点和边的权重整合到一个匹配关系矩阵中，其中对角线上的元素为上述无向超图中节点的权重，非对角线上的元素为无向超图中边的权重，在没有边的位置上填O。最终再利用谱聚类的思想求得最优匹配。这种方法不仅考虑的每个匹配的表象相似度，还考虑了几何位置关系，使得匹配的结果更加精确。获得了最优图匹配结果之后，我们通过对每个成功匹配上的块的加权投票，得到目标的最终位置。每个块的权重由表象似然和结构似然联合求得，该表象似然为颜色特征相似度，结构似然为该块与周围块的相对位置偏差。当满足一定的更新条件时，对表象模型和结构模型进行适当的更新，使得本发明能够有效地自适应目标表象和结构的变化。如图I所示，实施本发明所述的方法具体包括如下步骤。步骤SI、首先，输入视频帧。步骤S2、对整个跟踪窗口进行过分割，得到一系列的块，即超像素。步骤S3、对跟踪窗口进行前景背景分割，得到一系列候选目标块。步骤S4、根据这些候选目标块的表象和结构信息，构建具有马尔可夫特性的无向候选图G(V7E)0步骤S5、判断是否已为目标建立模型，所述模型包括表象模型和结构模型，所述目标是指需要跟踪的目标。如果判断为没有建立，则建立目标跟踪的表象模型和结构模型；否则直接跳到步骤S6。步骤S6、利用谱聚类方法得到候选图G(V，E)和目标图G(V’，E’ )之间的最优匹配。步骤S7、根据成功匹配的块的表象似然和结构似然，加权投票得到目标的最终位置。步骤S8、判断模型更新条件是否满足，如果满足模型更新条件，则执行步骤S9，如果不满足模型更新条件，则返回步骤Si。步骤S9、对所述表象模型和结构模型进行更新。下面分别介绍本发明模型中的前景背景分割及无向图的构建、图匹配、目标位置的确定和模型的更新。 一、前景背景分离以及目标无向图的构建。跟踪窗口经过超像素过分割之后，我们可以得到超像素集合{Tp}，而从中挑选出候选目标块ITJp的任务可以看成是一个前景背景分割过程。这里我们使用图割的能量最小化形式，如下
权利要求
1.基于动态图匹配的目标跟踪方法，其特征是，包括以下步骤 a)根据跟踪窗口中的表象分布信息，利用超像素分割方法将跟踪窗口过分割成多个块，即超像素； b)采用前景背景分割方法从这些块中选出候选目标块，该前景背景分割方法是基于图割的能量最小化形式； c)利用所述候选目标块的表象信息和相对位置，构建一个具有马尔可夫特性的无向图G (V，E)，称为候选图； d)利用谱聚类匹配方法，将已经保留的目标图G(V’，E’)和新得到的候选图G(V，E)匹配起来，得到各个块之间的匹配关系； e)根据所述匹配关系来确定最终的目标位置利用各个成功匹配上的块的表象似然和结构似然，通过加权投票机制得到目标的最终位置。
2.如权利要求I所述的基于动态图匹配的目标跟踪方法，其特征是，所述前景背景分割算法是基于超像素来计算能量最小的，并且能量最小计算框架中包含了一元能量项和二元能量项；所述一元能量项由一个产生式的颜色直方图和一个判别式的SVM分别产生的概率值联合得到，所述二元能量项为相邻的两个块的颜色特征差异。
3.如权利要求I所述的基于动态图匹配的目标跟踪方法，其特征是，步骤c)所述的无向图中的节点为候选目标块，边为块与块之间的相互作用，当两个块之间的距离小于一阈值时，认为这两个块之间有相互关系，而不在阈值之内的块没有相互作用，该特性即为马尔可夫特性。
4.如权利要求I所述的基于动态图匹配的目标跟踪方法，其特征是，候选图G(V，E)和目标图G(V’，E’ )之间的匹配是通过构建另一个无向超图，然后利用谱聚类的方法求得最终的匹配结果；所述无向超图中的节点为每个可能的块匹配，边为两个块匹配之间的相互作用，且定义当两个块匹配所对应的在候选图G(V，E)中的两个块有相互作用，同时所对应的在目标图G(V’，E’)中的两个块有相互作用，那么这两个块匹配有相互作用；在其他情况下，块匹配之间没有相互作用。
5.如权利要求4所述的基于动态图匹配的目标跟踪方法，其特征是，在使用谱聚类方法求解最优匹配结果时，需要构建匹配的关系矩阵，该关系矩阵对角线上的元素为所述无向超图中节点的权重，非对角线上的元素为无向超图中边的权重，在没有边的位置上填O。
6.如权利要求5所述的基于动态图匹配的目标跟踪方法，其特征是，谱聚类求解最优匹配结果的具体过程为首先对关系矩阵进行特征值分解，将最大特征值所对应的特征向量作为每个可能匹配的概率值；然后顺序地选出有最大概率值的匹配作为成功匹配的结果，并且同时排除与已选出的成功匹配结果相冲突的可能匹配，排除过程需服从一对一的匹配要求。
7.如权利要求I所述的基于动态图匹配的目标跟踪方法，其特征是，目标的最终位置是根据成功匹配上的块的加权投票所得，每个块的权重由表象似然和结构似然联合得到，所述表象似然为颜色特征相似度，结构似然为该块与周围块的相对位置偏差。
8.如权利要求I所述的基于动态图匹配的目标跟踪方法，其特征是，在步骤d)之前为目标建立模型，包括表象模型和结构模型，表象模型包括判别式SVM分离器和产生式颜色直方图模型；表象模型中的产生式的颜色直方图模型以及判别式的在线SVM模型能够更新，结构模型也能够更新。
9.如权利要求8所述的基于动态图匹配的目标跟踪方法，其特征是，新的产生式颜色直方图模型由初始帧的得到的颜色直方图、当前帧之前所有帧得到的颜色直方图以及当前帧得到的颜色直方图联合求得；通过用新得到的样本来在线训练SVM分离器得到新的判别式SVM模型，其中正样本为在目标框中的前景块，负样本为在跟踪窗口中的其他块，为了避免偏移问题，在每次更新过程中同时将第一帧中所得到的正、负样本拿来训练。
10.如权利要求8所述的基于动态图匹配的目标跟踪方法，其特征是，通过定义三种节点状态来完成所述结构模型的更新产生、保持、消失，在更新过程中，删除处在“消失”状态的节点，保留处在“保持”状态的节点，添加处在“产生”状态的节点，再通过马尔可夫特性重新构建新的边。
全文摘要
本发明公开了一种基于动态图匹配的目标跟踪方法，采用动态图的结构模型对目标进行有效跟踪。该方法主要包括六个步骤超像素过分割、候选目标块的提取、无向图的构建、无向图匹配、目标位置的确定以及模型的更新。本发明的优点是通过此种方法构建的目标跟踪模型能够有效地对目标内部的结构信息进行建模，以至于当目标发生较大的结构形变或者遮挡时，本发明提出的跟踪方法仍然能够精确地确定目标位置。
文档编号G06T7/00GK102930539SQ20121041397
公开日2013年2月13日 申请日期2012年10月25日 优先权日2012年10月25日
发明者李子青, 雷震, 文珑银, 蔡兆伟 申请人:江苏物联网研究发展中心