一种行人多目标跟踪方法和装置与流程

本发明涉及视频跟踪技术，尤其涉及行人多目标跟踪方法和装置。

背景技术：

目前，行人多目标跟踪技术越来越受到学术界和商业界的关注。行人多目标跟踪作为一项重要的基础性技术，通常在安防监控、客流统计等诸多应用场景下有着极为重要的价值。行人多目标跟踪技术旨在通过计算机视觉技术在监控视频场景中得到每个目标从出现在视野中到从视野中消失的完整运动轨迹。由于不同监控场景下行人存在遮挡、运动模式复杂等差异大的问题，行人多目标跟踪一直是图像识别中难度较大的领域(技术)。

多目标跟踪研究中的一个重要处理过程是数据关联(dataassociation)。数据关联分为基于在线(online)的和基于离线(offline)的方法。基于离线的方法，是在得到一个时间段的检测信息后，再根据一些最优化的策略得到这段时间内各个目标的运动轨迹，但是这种方法不能在当前帧输出各目标轨迹，从而不适用于安防等需要实时性比较强的应用场景中。而基于在线的数据关联方法在得到当前视频帧之后输出当前视频帧中所有被跟踪目标的运动轨迹(位置)，并在之后不会修改之前得到的运动轨迹，虽然不会产生时延，但因为该方法缺少跟踪对象“未来”的运动信息，往往会出现匹配错误的情况，造成跟踪轨迹不连续、跟踪轨迹发生交换等。而现有基于在线的数据关联方法也多是从表观特征的相似性来度量，没有考虑到轨迹自身的语义信息。

基于深度学习的行人检测方法，相比传统的行人检测方法，提高了目标检测的精确度。使用深度神经网络提取到的行人表观特征，相比传统方法手工设计出的表观特征也具有更强的表达能力和更好的鲁棒性。而上述两方面的进展并未被应用在行人多目标跟踪方法中。

cn106097391a公布了一种基于深度神经网络的识别辅助的多目标跟踪方法，该方法中使用深度神经网络用于在目标消失再现后，进行轨迹的恢复，可以改善长距离跟踪效果，具体来说就是首先使用距离度量进行目标之间的关联，将没有分配到跟踪对象的检测目标通过识别网络，识别出与其对应的跟踪对象，从而可以在目标消失后重新恢复跟踪。但是这种方法对表观特征比较依赖，并没有充分使用跟踪对象的运动和位置信息，另外该方法输出的轨迹不能够连续。

综上，现有视频监控场景下对多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡等问题。

技术实现要素：

为了克服现有技术的不足，本发明的目的之一在于提供一种行人多目标跟踪方法，其能解决现有视频监控场景下对多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。

本发明的目的之二在于提供一种行人多目标跟踪装置，其能解决现有视频监控场景下对多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。

本发明的目的之三在于提供一种行人多目标跟踪装置，其能解决现有视频监控场景下对多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。

本发明的目的之一采用以下技术方案实现：

一种行人多目标跟踪方法，包括以下步骤：

根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；

若未检测到所述重现对象，则将所述丢失对象归为失踪对象；

检测新生对象，判断所述新生对象是否符合恢复条件；

若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。

进一步地，所述根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象之后，还包括以下步骤：

若检测到所述重现对象，则将所述重现对象加入到所述重现对象的跟踪轨迹。

进一步地，所述根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象之前，还包括以下步骤：

将优质对象加入到所述优质对象的跟踪轨迹，所述优质对象为跟踪质量符合预设条件的所述跟踪对象；

将遮挡对象加入到所述遮挡对象的跟踪轨迹，所述遮挡对象为符合遮挡条件的跟踪对象。

进一步地，所述根据丢失对象的位置信息扩大检测范围，具体为：

所述检测范围随所述丢失对象丢失时间的增大而增大，且所述检测范围不超过上限值。

进一步地，所述根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象，具体为：

判断在所述检测范围内检测到的所述跟踪对象与所述丢失对象的表观特征距离是否小于重现阈值，若是，则为检测到所述重现对象，且所述表观特征距离小于所述重现阈值的跟踪对象即为所述重现对象。

进一步地，所述恢复条件具体为：

所述新生对象与所述失踪对象的表观特征距离小于恢复阈值，且所述新生对象的跟踪质量符合所述预设条件。

进一步地，所述表观特征是通过深度神经网络获取的；

所述检测重现对象和检测新生对象是通过fasterr-cnn进行检测的；

所述跟踪轨迹是通过kcf跟踪算法进行的。

本发明的目的之二采用以下技术方案实现：

一种行人多目标跟踪装置，包括：

扩大检测模块，用于根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；

失踪对象判定模块，用于若未检测到所述重现对象，则将所述丢失对象归为失踪对象；

新生对象判断模块，用于检测新生对象，判断所述新生对象是否符合恢复条件；

新生对象跟踪模块，用于若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。

进一步地，所述扩大检测模块之前，所述行人多目标跟踪装置还包括遮挡对象跟踪模块和优质对象跟踪模块；

所述遮挡对象跟踪模块用于将遮挡对象加入到所述遮挡对象的跟踪轨迹，所述遮挡对象为符合遮挡条件的跟踪对象；

所述优质对象跟踪模块用于将优质对象加入到所述优质对象的跟踪轨迹，所述优质对象为跟踪质量符合预设条件的所述跟踪对象。

本发明的目的之三采用以下技术方案实现：

一种行人多目标跟踪装置，包括：

处理器以及用于存储处理器可执行的指令的存储器；

所述处理器被配置为：

根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；

若未检测到所述重现对象，则将所述丢失对象归为失踪对象；

检测新生对象，判断所述新生对象是否符合恢复条件；

若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。

相比现有技术，本发明的有益效果在于：在多目标跟踪的关联过程提出分阶段、多状态关联框架。通过使用多个状态来管理跟踪对象的生命周期，解决了多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。

附图说明

图1为本发明实施例一的行人多目标跟踪方法的流程示意图；

图2为一种的深度神经网络结构的结构示意图；

图3为本发明实施例二的行人多目标跟踪方法的流程示意图；

图4为本发明实施例三的行人多目标跟踪装置的结构示意图；

图5为本发明实施例四的行人多目标跟踪装置的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术表观特征之间可以任意组合形成新的实施例。

实施例一

多目标跟踪(mot)的主要任务就是给定一个图像序列，找到图像序列中运动的多个目标，并将不同帧中的运动目标一一对应(identity)，然后给出不同目标的运动轨迹。运动轨迹(trajectory)为多目标跟踪的输出量，一条轨迹对应着其中某个特定目标在不同时刻出现在图像中的位置序列。

数据关联(dataassociation)是多目标跟踪任务中经常使用的典型处理过程，用于解决目标间的匹配问题，使得最终的输出运动轨迹中，一条运动轨迹只包含同一个目标在不同时刻的出现位置。本发明的目的在于将可能处于不同状态的同一目标的位置相关联起来。

图像序列的获取可以由以下方法得到：从监控场景视频中取出来视频帧；考虑到检测相对耗时，所以输入的视频帧可以隔几帧进行一次检测，本实施例中使用间隔3帧进行一次检测，这样就可以使得整个系统运行效率更高，达到实时性。

如图1为一种行人多目标跟踪方法，包括以下步骤：

步骤s110、根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象。

丢失对象表示丢失(lost)的对象，可能是因为检测器漏检，也可能是由于被场景中的背景物体(如墙、树木等)的遮挡造成的。

进一步地，所述根据丢失对象的位置信息扩大检测范围，具体为：所述检测范围随所述丢失对象丢失时间的增大而增大，且所述检测范围不超过上限值。上限值可以采用经验值。

进一步地，所述检测重现对象和检测新生对象是通过fasterr-cnn进行检测的。

使用性能更优的基于深度学习的目标检测方法，可以使得对场景内的行人检测更准确，减少漏检和虚警。本发明中使用的检测器基于通用的fasterr-cnn模型，使用类zf的网络结构在imagenet上进行预训练，并使用实际监控场景视频数据进行微调(fine-tune)，得到本发明中使用的行人检测器模型以进行检测。

进一步地，所述根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象，具体为：判断在所述检测范围内检测到的所述跟踪对象与所述丢失对象的表观特征距离是否小于重现阈值，若是，则为检测到所述重现对象，且所述表观特征距离小于所述重现阈值的跟踪对象即为所述重现对象。

所述重现阈值可以通过有限次的试验得到或者使用经验值。

表观特征(appearancefeature)为目标外在表现出的图像特征，能够表征目标与目标之间的区别以及目标与背景之间的区别，如行人衣服的颜色、衣服的纹理等，其他常用的图像特征还包括角点、像素模板、颜色直方图、基于梯度的特征(典型的如hog特征)等。

作为本发明的进一步改进，所述表观特征是通过深度神经网络获取的。

表观特征和其他信息(例如，运动信息，位置信息)一起被用于判断跟踪框与检测框的数据关联。数据关联的过程需要融合更多具有鉴别性(discrimination)的信息。由于表观特征能够反应出目标之间的相似性程度，具体是如果两次检测框为同一个对象则两者之间的表观特征相似度大，反之不同的对象之间表观特征相似度小。传统方法设计的特征(如hog等)不够鲁棒，所以本方法中使用训练深度神经网络并用其得到的模型来提取特征。

一种深度神经网络结构如图2所示，其中两个大框图为可重复构建的结构。测试时输出层为全连接层，输出一个128维长度的向量用来表示当前目标的特征。在跟踪过程中，首先根据检测的结果，将所有检测框放缩到144x56的大小并输入到深度神经网络中提取检测目标对应的表观特征。

提取到的特征向量在数据关联阶段，可以用于根据余弦距离等来衡量两个目标的表观特征相似度大小。

余弦距离的大小为向量空间中两个向量夹角的余弦值大小，可以作为衡量两个个体间差异大小的度量，余弦距离值越大两个个体越相似。向量，是多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近为零，那么这两个向量就相近，对应的夹角余弦值越大即余弦距离越大，反之则越小。

步骤s120、若检测到所述重现对象，则将所述重现对象加入到所述重现对象的跟踪轨迹。

若检测范围内检测到的所述跟踪对象与所述丢失对象的表观特征距离小于重现阈值，即可认为检测到的所述跟踪对象就是丢失对象。

通常在一定时间段内，丢失的跟踪对象会在消失位置附近一定范围内重新出现，所以这个阶段的目的就是重新找到丢失掉的跟踪对象，将跟踪丢失前的运动轨迹和重新跟踪的运动轨迹进行连接，从而保持运动轨迹的连续、完整性。处理方法是保留丢失的跟踪对象一段时间，并且在消失位置一定范围的区域内比较所述跟踪对象和丢失对象之间的表观特征相似程度。如果相似性大于一定阈值，即说明该检测框范围内的跟踪对象是之前消失的跟踪对象，需要将对应跟踪对象的轨迹更新到当前检测框。

所述将所述重现对象加入到所述重现对象的跟踪轨迹，具体为将重现对象划分到重现对象对应的跟踪轨迹中，即数据关联(dataassociation)，从而得到该被跟踪对象完整的运动轨迹。进一步地，为了能够满足对实时性要求高的应用场景如视频监控中，本实施例中使用的数据关联方法是在线的，在得到当前视频帧之后输出当前视频帧中所有被跟踪目标的运动轨迹。

进一步地，所述跟踪轨迹是通过kcf跟踪算法进行的。

基于检测器得到的检测结果，在检测帧之后，对检测到的各种对象使用跟踪性能较好的kcf方法进行跟踪。kcf是一种基于检测的跟踪方法(trackingbydetection)，可以跟踪单目标。由于每个跟踪目标的跟踪过程是独立不相关的，因而可以将kcf扩展到对多个目标进行跟踪上，这样在检测帧之后每个检测到的目标都会有对应的跟踪器进行分别跟踪，并各自得到一个小段的跟踪轨迹(tracklets)，整体上完成行人多目标跟踪；通过对遮挡、漂移、丢失问题进行处理从而可以进一步实现长时间跟踪(long-termtrack)。

步骤s130、若未检测到所述重现对象，则将所述丢失对象归为失踪对象。

如果在较长时间内，丢失的跟踪对象都未能匹配到正确跟踪对象，则认为该跟踪对象可能已经出视野，将其归为失踪对象进行后续处理，或者删除所述丢失的跟踪对象。

步骤s140、检测新生对象，判断所述新生对象是否符合恢复条件。

之前没有被追踪，现在出现的新的对象，可能对应的是新进入视野的新目标、也有可能是误检。首先创建跟踪对象，待观察足够长的时间后(输入足够多的检测帧)，如果该跟踪对象都能连续的被跟踪到，说明该检测到的目标可能是要跟踪的目标，标记为新生对象。

进一步地，所述恢复条件具体为：

所述新生对象与所述失踪对象的表观特征距离小于恢复阈值，且所述新生对象的跟踪质量符合所述预设条件。

对于新生对象首先使用表观特征去和失踪对象进行比较，判断是否为跟踪丢失的对象，如果是则将其跟踪恢复并设置为跟踪状态。

步骤s150、若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。

若所述新生对象与所述失踪对象的表观特征距离大于恢复阈值，则该新生对象不是上一阶段失踪的对象，可以判断为新目标，可以将新生对象加入到跟踪序列中，创建新的跟踪轨迹，这样可以处理新进入视野的新目标、跟丢的目标，并一定程度上减少虚警。

本发明提出了分阶段、多状态关联框架，在多目标跟踪的关联过程中使用多个状态来管理跟踪对象的生命周期，解决了多个行人目标的跟踪通常存在的跟踪丢失、跟踪对象丢失后又复现、跟踪轨迹发生交换、跟踪轨迹不连续等问题。

实施例二

作为本发明的进一步改进，如图3所示的行人多目标跟踪方法，包括以下步骤：

步骤s201、将优质对象加入到所述优质对象的跟踪轨迹，所述优质对象为跟踪质量符合预设条件的所述跟踪对象。

优质对象指的是跟踪质量比较好、比较可靠的跟踪目标。首先为可靠的跟踪对象分配检测目标框，然后可靠跟踪对象中未能成功分配的跟踪对象和不可靠的跟踪对象一起去分配剩下的检测目标框。

进一步地，分配时均使用计算交并比(iou，两个区域相交部分的面积除以两个区域的面积之和)作为代价(cost)矩阵，使用匈牙利算法进行分配。

匈牙利算法是一种常用来解决实际中遇到的分配问题或指派问题的算法。它会在待处理任务和完成这些任务的所有待定人员之间求得一个最佳的匹配，使得完成这些任务的效率最高(或者代价最小)。

步骤s202、将遮挡对象加入到所述遮挡对象的跟踪轨迹，所述遮挡对象为符合遮挡条件的跟踪对象。

符合遮挡条件的跟踪对象包括发生部分遮挡的跟踪对象。虽然发生了遮挡，但是检测器仍然有可能识别该遮挡对象，进而有效的跟踪。

进一步地，由于目标之间遮挡时根据位置关系进行分配是不合理的，即检测器在物体部分遮挡的情况下检测的结果通常不准确，并且发生遮挡的目标之间位置比较接近，此时使用位置信息(例如交并比或者距离)不能准确的进行检测框的分配，所以需要在这个阶段使用由深度神经网络提取到的表观特征进行划分。通过评价检测到的对象与跟踪对象之间表观特征的相似程度，将检测到的对象归为遮挡对象，分配给最相似的跟踪对象，即为将遮挡对象加入到所述遮挡对象的跟踪轨迹。

对于一个跟踪目标来说，整个生命周期可能会包括优质对象、遮挡对象、丢失对象、重现对象、失踪对象、新生对象这几种状态。除了上述步骤s201、步骤s202对优质对象、遮挡对象的处理，后续还需要对其他几种状态处理。

步骤s210、根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；

步骤s220、若检测到所述重现对象，则将所述重现对象加入到所述重现对象的跟踪轨迹；

步骤s230、若未检测到所述重现对象，则将所述丢失对象归为失踪对象；

步骤s240、检测新生对象，判断所述新生对象是否符合恢复条件；

步骤s250、若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。

步骤s210-s250，分别对应实施例一中的s110-s150，不再赘述。

需要说明的是，跟踪对象在生命周期中包括的优质对象、遮挡对象、丢失对象、重现对象、失踪对象、新生对象多个状态之间会相互转换。即步骤s201、步骤s202也可在检测到重现对象或检测到新生对象之后实施，因为重现对象、新生对象可能被定性为是优质对象、遮挡对象。

在本实施例中，跟踪对象在生命周期中包括优质对象、遮挡对象、丢失对象、重现对象、失踪对象、新生对象多个状态，结合该分层次的跟踪框架设计了分阶段、多状态的数据关联方法。进一步解决了多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换，无法较好的处理短时间遮挡和长时间遮挡的如丢失、失踪等问题。

实施例三

如图4所示的行人多目标跟踪装置，包括：

扩大检测模块110，用于根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象。

所述扩大检测模块110包括范围单元和判断单元；

所述范围单元被设置为：所述检测范围随所述丢失对象丢失时间的增大而增大，且所述检测范围不超过上限值；

所述判断单元用于判断在所述检测范围内检测到的所述跟踪对象与所述丢失对象的表观特征距离是否小于重现阈值，若是，则为检测到所述重现对象，且所述表观特征距离小于所述重现阈值的跟踪对象即为所述重现对象。

重现对象跟踪模块120，用于若检测到所述重现对象，则将所述重现对象加入到所述重现对象的跟踪轨迹。

失踪对象判定模块130，用于若未检测到所述重现对象，则将所述丢失对象归为失踪对象。

新生对象判断模块140，用于检测新生对象，判断所述新生对象是否符合恢复条件。

所述新生对象判断模块140包括恢复单元，所述恢复单元被设置为：所述恢复条件具体为所述新生对象与所述失踪对象的表观特征距离小于恢复阈值，且所述新生对象的跟踪质量符合所述预设条件。

新生对象跟踪模块150，用于若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。

作为本发明的进一步改进，在所述扩大检测模块110之前，所述行人多目标跟踪装置还包括优质对象跟踪模块101和遮挡对象跟踪模块102；

所述遮挡对象跟踪模块101用于将遮挡对象加入到所述遮挡对象的跟踪轨迹，所述遮挡对象为符合遮挡条件的跟踪对象；

所述优质对象跟踪模块102用于将优质对象加入到所述优质对象的跟踪轨迹，所述优质对象为跟踪质量符合预设条件的所述跟踪对象。本实施例中的装置与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为模块或单元示意的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等，如实施例四。

实施例四

如图5所示的行人多目标跟踪装置，包括：处理器200以及用于存储处理器200可执行的指令的存储器300；

所述处理器200被配置为：

根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；

若检测到所述重现对象，则将所述重现对象加入到所述重现对象的跟踪轨迹；

若未检测到所述重现对象，则将所述丢失对象归为失踪对象；

检测新生对象，判断所述新生对象是否符合恢复条件；

若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。本实施例中的装置与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。

本发明实施例提供的行人多目标跟踪装置，可以通过使用多个状态来管理跟踪对象的生命周期，解决了多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。