目标跟踪方法和目标跟踪设备与流程

本申请总体上涉及图像处理，具体地，涉及一种例如应用于移动设备、智能电视和其他设备的目标跟踪方法和目标跟踪设备。

背景技术：

实际中，存在多种可变形的非刚性可视对象，这种可视对象的视觉外观和形状可能变化较大。因此，尤其在某些复杂环境中，难以实现这种非刚性目标的视觉跟踪。

已经提出了一些技术方案来进行目标跟踪。

例如，文献1(cn103325126a)公开了一种在尺度变化和遮挡情况下的视频目标跟踪方法。该方法为解决局部二值模式(lbp，localbinarypattern)跟踪算法在尺度变化和遮挡情况下跟踪效果不理想的问题，提出了一种基于lbp算法、归一化转动惯量(nmi，normalizedmomentofinertia)特征和卡尔曼滤波相结合的优化目标跟踪方法。

例如，文献2(cn103413312a)公开了一种基于邻里成分分析和尺寸空间理论的视频目标跟踪方法。根据这种目标跟踪方法，能够更准确地定位目标的位置和尺寸大小，更有效的适应目标光照、色彩变化问题，同时鲁棒的处理目标遮挡。

例如，文献3(cn104318590a)公开了一种视频中的目标跟踪方法，包括：预先设定视频中的当前帧的目标位置，初始化稀疏矩阵；获取目标位置周围样本的高维特征向量，并使用稀疏矩阵将该高维向量投影到低维向量；更新分类器参数，得到用于下一帧的新的分类器，选择分类值最大的样本位置作为下一帧的目标位置。该方法提高了目标跟踪方法的速度。

再例如，文献4(au20140253687)公开了一种跟踪目标的系统和方法，用于检测和跟踪图像序列中的对象。首先，基于第一图像产生用于参数化形状模型的第一参数集合。然后，通过将参数化形状模型拟合到多个图像中的第二图像中的对象来产生第二参数集合。尤其在具有遮挡的情况下，不易实现针对任意非刚性对象的参数化形状模型。

然而，上述技术方案均存在缺陷。例如，文献1主要针对尺度变化和遮挡情况下的视频目标跟踪，不能用于处理非刚性目标；文献2针对目标跟踪中的目标光照、色彩变化问题，同时改进跟踪位置，不适于尤其具有遮挡的非刚性目标；文献3针对提供跟踪速度，同样不适于非刚性目标；文献4不易实现针对任意非刚性对象的参数化形状模型，尤其在具有遮挡的情况下。

技术实现要素：

本发明提出了一种目标跟踪方法和目标跟踪设备，以便在具有遮挡的情况下进行非刚性对象的目标跟踪。根据本发明的一方面，提出了一种目标跟踪方法，可以包括：在图像帧序列的首帧中指定要跟踪目标；利用局部区域模型确定当前帧中是否存在至少一个候选局部区域；在存在至少一个候选局部区域的情况下，将所述候选局部区域分别与在前帧中的对应局部区域进行主匹配；

如果根据主匹配的结果确定当前帧中存在至少一个深度匹配区域，则针对所述至少一个深度匹配区域执行邻域生长，得到目标跟踪结果。

在实施例中，所述目标跟踪方法还可以包括使用目标跟踪结果更新所述局部区域模型。

在实施例中，使用目标跟踪结果更新所述局部区域模型可以包括：分别使用初始指定的要跟踪目标的信息和当前帧的目标跟踪结果来在线训练多个分类器；合并学习结果；以及利用合并的学习结果来更新局部区域模型，以便使用更新的局部区域模型来进行下一帧的目标跟踪操作。

在实施例中，确定当前帧中是否存在至少一个候选局部区域可以包括：对当前帧执行基于超像素的图像分割以得到多个局部区域；利用局部区域模型确定所述多个局部区域中是否存在符合预定条件的候选局部区域。

在实施例中，确定是否存在符合预定条件的候选局部区域可以包括：利用以下公式估计多个局部区域中的每个局部区域属于被跟踪目标的概率

其中，wi是系数，pi利用第i种学习方法估计的对应局部区域属于被跟踪目标的概率，p是对应局部区域属于被跟踪目标的集成概率，n是大于2的自然数；

将集成概率p大于第三阈值的对应局部区域确定为候选局部区域；以及如果不存在集成概率p大于第三阈值的对应局部区域，则确定目标丢失。其中，

在实施例中，主匹配可以包括：分别计算候选局部区域中的每一个与在前帧的对应局部区域之间的第一相似度，如果第一相似度大于第一阈值，则将当前候选局部区域设置为深度匹配区域。

在实施例中，邻域生长可以包括：针对每个深度匹配区域，计算所述深度匹配区域的所有相邻的其它未被匹配到的局部区域各自与所述深度匹配区域的第二相似度，如果第二相似度大于第二阈值，则认为该未被匹配的局部区域属于目标区域，并将该未被匹配的局部区域设定为生长的区域；以及输出生长的区域作为目标跟踪结果。

在实施例中，当存在多个深度匹配区域时，对生长的邻域区域迭代地执行计算第二相似度的步骤，直到生长的区域与其他深度匹配区域相邻接。

根据本发明的另一方面，提供了一种目标跟踪设备，可以包括：主匹配单元，配置为接收图像帧序列，利用局部区域模型确定当前帧中是否存在至少一个候选局部区域，并在存在至少一个候选局部区域的情况下，将至少一个候选局部区域中的每一个分别与在前帧中的对应局部区域进行主匹配，得到至少一个深度匹配区域；邻域生长单元，配置为针对来自主匹配单元的至少一个深度匹配区域执行邻域生长，得到目标跟踪结果；以及模型更新单元，配置为利用来自邻域生长单元的目标跟踪结果对局部区域模型进行更新，并将更新的局部区域模型发送到主匹配单元。

根据本发明实施例，利用主匹配得到当前帧中与在前帧中目标的深度匹配区域，对深度匹配区域进行邻域生长得到目标跟踪结果。此外，使用集成的学习方法来更新局部区域模型并利用更新的局部区域模型来得到至少一个候选局部区域。利用根据本发明实施例的技术方案，能够在具有遮挡的情况下有效地实现非刚性对象的目标跟踪。

附图说明

通过参考附图更加清楚地理解本发明实施例的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了根据本发明实施例的目标跟踪方法的流程图；

图2示出了根据本发明实施例的目标跟踪方法中确定候选局部区域的示例流程图；

图3示出了根据本发明实施例的目标跟踪方法中执行主匹配的示例流程图；

图4示出了根据本发明实施例的目标跟踪方法中邻域生长的示例。

图5示出了根据本发明实施例的目标跟踪方法中更新局部区域模型的示例流程图；以及

图6示出了根据本发明实施例的目标跟踪设备的示意方框图；

具体实施方式

根据本发明实施例，提供了一种目标跟踪方法和目标跟踪设备，其中利用被称作“递归图跟踪”(recurrentgraphtracking)的技术，利用主匹配得到当前帧中与在前帧中目标的深度匹配区域，对深度匹配区域进行邻域生长得到目标跟踪结果。此外，使用例如在线学习方法来更新局部区域模型并利用更新的局部区域模型来得到至少一个候选局部区域。利用根据本发明实施例的技术方案，能够在具有遮挡的情况下有效地实现非刚性对象的目标跟踪。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了根据本发明实施例的目标跟踪方法的流程图。应注意，以下方法中各个步骤的序号仅作为该步骤的表示以便描述，而不应被看作表示该各个的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行；类似地，可以平行地执行多种块，而非顺序执行。还应理解，同样可以在多种设备上实现所述方法。

如图1所示，根据本发明实施例的视频目标跟踪方法100可以包括以下步骤。

在步骤s110，在图像帧序列的在前帧中指定要跟踪目标。这里的“在前帧”可以是图像帧序列的第一帧、当前帧的前一帧、或一个或多个中间帧。此外，“在前帧”可以包括至少一帧。

在步骤s120，利用局部区域模型确定当前帧中是否存在至少一个候选局部区域。如果存在候选局部区域，则方法100进行到步骤s130。如果不存在候选局部区域，则方法100进行到步骤s170，确定“目标丢失”。

在步骤s130，将至少一个候选局部区域中的每一个分别与在前帧中的对应局部区域进行主匹配。

然后，在步骤s140，根据主匹配的结果确定当前帧中是否存在至少一个深度匹配区域。如果是，则方法100进行到步骤s150。在步骤s150，针对所述至少一个深度匹配区域执行邻域生长，得到目标跟踪结果。如果不是，则方法100进行到步骤s170，确定“目标丢失”。

图2示出了根据本发明实施例的目标跟踪方法中确定候选局部区域的示例流程图，图3示出了根据本发明实施例的目标跟踪方法中执行主匹配的示例流程图，图4示出了根据本发明实施例的目标跟踪方法中邻域生长的示例，图5示出了根据本发明实施例的目标跟踪方法中更新局部区域模型的示例流程图。接下来将结合图1-图5来详细描述根据本发明实施例的目标跟踪方法。

如图2所示，根据本发明实施例，确定候选局部区域的步骤120可以包括以下步骤。首先，在子步骤s221，对图像帧序列中的当前帧t执行基于超像素的图像分割以得到多个局部区域。例如，可以使用基于超像素的分割方法，例如简单线性迭代聚类分析(simplelineariterativeclustering)。

接下来，在子步骤s223，利用局部区域模型，确定多个局部区域中是否存在符合预定条件的候选局部区域。如果确定多个局部区域中存在符合预定条件的候选局部区域，则执行图1中的步骤s130，否则，执行图1中的步骤s170。在优选实施例中，确定是否存在符合预定条件的候选局部区域可以包括：对每个局部区域计算特征，利用在线学习到的每个分类器估计该局部区域属于目标的概率。然后，利用以下公式估计每个局部区域属于被跟踪目标的概率：

其中，wi是系数，pi利用第i种分类器估计的对应局部区域属于被跟踪目标的概率，p是对应局部区域属于被跟踪目标的集成概率，n是大于2的自然数。优选地，可以将集成概率p大于第三阈值的对应局部区域确定为候选局部区域。可以根据实际情况来设定第三阈值，例如，0.6到0.8的范围。当然，本领域技术人员可以理解，本发明并不局限于此。

根据本发明实施例，针对要跟踪的目标创建局部区域模型，局部区域模型反映了各个局部区域的特征与要使用的分类器之间的映射关系，该分类器用于确定对应局部区域属于要跟踪的目标的概率。利用局部区域特征，可以根据局部区域的特征来得到该局部区域属于要跟踪的目标的概率。可以使用上一帧的目标跟踪结果对局部区域模型中的映射关系进行更新，不断更新分类器的系数，下文将详细对该操作进行描述。

在子步骤s223中，如果确定存在至少一个候选局部区域，则执行图1中的步骤s130。图3示出了执行主匹配的一个示例。根据优选实施例，可以将在前帧设定为当前帧#t的前一帧#t-1和图像帧序列的第一帧#1，还可以包括一个或多个中间帧#m，m是大于1小于t-1的自然数。本领域技术人员可以理解，使用中间帧进行主匹配可以进一步提高匹配精度，但同时会增大计算量，影响跟踪速度。本领域技术人员可以根据实际情况来选择是否使用中间帧以及使用多少个中间帧。图3的示例中使用了一个中间帧#m进行主匹配。

如图3所示，首先分别计算在步骤s223中得到当前帧#t的每一个候选局部区域中的每一个与第一帧#1、中间帧#m和前一帧#t-1的对应局部区域之间的第一相似度，如果第一相似度大于第一阈值，则将当前候选局部区域设置为深度匹配区域。具体地，将当前帧#t与前一帧#t-1和第1帧#1分别进行匹配，得到两个逐对匹配序列。还可以将当前帧#t与一个或多个中间帧#m进行匹配，得到对应的逐对匹配序列。可以随机选择中间帧。可以根据某一个或一些特征(例如直方图)计算相似度，将相似度最大且大于第一阈值的对认为是匹配的，选择该候选局部区域作为与对应在前帧的强匹配的局部区域。例如，可以将第一阈值设置为0.9，当然，本发明并不局限于此，本领域技术人员可以根据实际情况设置第一阈值。然后，合并得到的所有强匹配的局部区域。合并方式可以有多种，例如，可以将候选局部区域中与所有在前帧(本示例中是前一帧#t-1、第1帧#1和中间帧#m)中的任意一个存在强匹配局部区域的并集作为深度匹配区域。当然，本发明并不局限于此，可以根据实际情况来设定其他的强匹配局部区域合并方式。

在步骤s130中，如果当前帧的候选局部区域与任意一个在前帧都不存在深度匹配区域，则执行步骤s170，确定“跟踪丢失”。如果根据主匹配的结果，确定存在至少一个深度匹配区域，则执行步骤s150，进行领域生长。优选地，邻域生长可以包括：针对每个深度匹配区域，计算所述深度匹配区域的所有相邻的其它未被匹配到的局部区域各自与所述深度匹配区域的第二相似度，如果第二相似度大于第二阈值，则认为该未被匹配的局部区域属于目标区域，并将该未被匹配的局部区域设定为生长的区域；对生长的区域迭代地执行计算第二相似度的步骤，以及输出生长的区域作为目标跟踪结果。可以根据实际情况来设定第二阈值，例如，可以将第二阈值设置为0.9，当然，本发明并不局限于此，本领域技术人员可以根据实际情况设置第二阈值。

图4示出了根据本发明实施例的目标跟踪方法中邻域生长的示例。如图4所示，例如，首先使用当前帧(frame#89)和前一帧(frame#88)之间的深度匹配区域来构建基础超像素图，三个实线箭头指示了深度匹配区域。然后，可以使用当前帧(frame#89)与中间帧(例如frame#38)和第一帧(frame#1)之间的深度匹配区域(分别如虚线箭头和点划线箭头所示)。认为深度匹配区域是当前帧内属于待跟踪目标的局部区域，每个深度匹配区域的所有相邻的其它未被匹配到的局部区域，与相应的未被匹配到的局部区域的相似度，如上所述计算相似度的方法可以有多种，此处不再赘述。如果相似度大于某一阈值，如0.9，则认为该未被匹配的局部区域也是属于目标区域。邻域生长结果是包含圆点的超像素。包含矩形框的图像对应于每个跟踪结果。其中，对于第一帧可以使用人工标注的矩形框。当存在多个深度匹配区域时，对生长的区域迭代地执行计算第二相似度的步骤，直到生长的区域区域与其他深度匹配区域相邻接。

通过邻域生长，得到了包括深度匹配区域和生长的区域在内的目标跟踪区域，作为当前帧的目标跟踪结果。然后，可以利用当前帧的目标跟踪结果来更新局部区域模型。

图5示出了根据本发明实施例的目标跟踪方法中更新局部区域模型的示例流程图。如图5所示，分别使用初始指定的要跟踪目标的信息和当前帧的目标跟踪结果来训练第一分类器和第二分类器从而进行在线学习。将学习结果进行合并，利用合并结果来更新局部区域模型，然后使用更新的局部区域模型来进行下一帧的目标跟踪操作。

尽管图5中示出了两个分类器，本领域技术人员可以理解，可以使用更多的分类器来提供跟踪精度，但是可能会降低跟踪速度。此外，可以使用例如在线svm(支持矢量机)、rda(规则化双平均)和composite-objectivemirrordescent(comid)算法)等来进行学习。在使用更新的局部区域模型针对下一帧获得候选局部模型时，可以使用两个学习的分类器来估计每个局部区域属于被跟踪对象的概率。此外，关于学习结果的合并方法，可以使用本领域公知的各种联合概率计算方法。

根据本发明实施例，为了更好地跟踪具有遮挡的非刚性可视对象，提出了一种目标跟踪方法。首先，基于在先目标跟踪结果进行局部区域在线学习以更新局部区域模型，然后，基于局部区域模型进行局部区域的主匹配得到深度匹配区域，接下来，基于深度匹配区域进行邻域局部区域的生长，得到目标跟踪结果，并利用该目标跟踪结果更新局部区域模型以用于下一帧的目标跟踪。利用上述递归目标跟踪方法，即使跟踪目标的外观和结构具有较大变化，由于利用局部区域在线学习来实时更新局部区域模型，在跟踪期间，利用主匹配实现了在两个选定帧中具有微小变形的局部区域的跟踪。在实现主匹配之后，进行了主匹配的局部区域周围的邻域局部区域进行生长，从而实现了在两个选定帧中具有较大变形的局部区域的跟踪。

根据本发明实施例，还提供了一种实现目标跟踪方法的目标跟踪设备。图6示出了根据本发明实施例的目标跟踪设备的示意方框图。如图6所示，目标跟踪设备600可以包括：主匹配单元610，配置为接收图像帧序列，利用局部区域模型确定当前帧中是否存在至少一个候选局部区域，并在存在至少一个候选局部区域的情况下，将至少一个候选局部区域中的每一个分别与在前帧中的对应局部区域进行主匹配，得到至少一个深度匹配区域；邻域生长单元620，配置为针对来自主匹配单元610的至少一个深度匹配区域执行邻域生长，得到目标跟踪结果；以及模型更新单元630，配置为利用来自邻域生长单元620的目标跟踪结果对局部区域模型进行更新，并将更新的局部区域模型发送到主匹配单元610。

在以上实施例中，本领域技术人员应该理解，根据本发明实施例的目标跟踪设备可以按照各种方式实现。通过使用方框图、流程图和/或示例，已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(cd)、数字通用盘(dvd)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。