一种基于行人重识别的多目标跟踪方法与流程

本发明涉及计算机人工智能领域，特别涉及一种基于行人重识别的多目标跟踪方法。

背景技术：

在视频图像处理中，目标跟踪算法是非常重要的。

通过目标跟踪得到目标在图像中的运动轨迹后，对于后续进行目标个数统计，目标行为分析等非常有意义的。

一般情况下我们需要跟踪的目标为人和车辆。

由于车辆目标相对较大，又是刚性物体，所以跟踪起来相对比较容易，而对于行人的跟踪，由于姿态变化，光照变化，部分遮挡，背景相似干扰等原因，一直是一个难题。

多目标跟踪技术，从早期的generativemodels逐步发展为目前的discriminativemodels方法。

早期的generativemodels主题思想就是对目标提取一个特征，然后在后续的视频序列中进行特征匹配，进而确定目标的位置，代表性的算法有ncc，ssd，sad等。但是这种算法有一个明显的缺点，只考虑了目标和自己的相似度，没有考虑和背景的相似度。当目标和背景在纹理和颜色稍微相近时，很容易跟丢目标。

现在目标跟踪算法基本被discriminativemodels算法所取代。核心思想是在线学习出和背景有区分度的特征。典型的算法有tld，kcf等。这类算法也有一个明显缺点，就是只考虑和背景的区分度，没有考虑目标之间的区分度，也就是说当多个同类目标出现时，跟踪目标很容易误匹配。

最近，深度学习大行其道，出现了利用深度学习模型来提取目标特征，进而进行跟踪的算法。比如首先利用fasterrcnn或者ssd检测算法得到一系列观测值，然后在featuremap的对应位置上提取特征作为目标特征，该特征只具有类别间的区分度，并不具备个体的区分度。还有一些算法利用了多帧图像的cnn卷积特征，但是这种特征只是利用了目标本身的多帧信息，仍然无法得到目标之间有区分度的特征。

基于此，本文提出了利用行人重识别特征来进行跟踪的算法。

技术实现要素：

本发明目的是：提出一种基于行人重识别的多目标跟踪方法，其首次创造性的讲行人重识别技术和多目标跟踪技术融合在一起，并大大提升了跟踪的效果。

本发明解决其技术问题所采用的技术方案是：

一种基于行人重识别的多目标跟踪方法，包括如下步骤：

s1、建立行人重识别模型，并离线训练行人重识别模型；

s2、假设相邻的两帧图像分别为a和b，且a图像中的目标个数为m个，b图像中的目标个数为n个，则利用行人重识别模型，从相邻的两帧图像中，分别提取目标特征向量m和n；

s3、将目标特征向量m和n之间的余弦距离作为特征相似度，并根据其余弦距离计算出目标特征向量m和n之间的相似度矩阵sm和距离矩阵dm；

s4、利用距离矩阵dm对相似度矩阵sm进行加权，得到目标特征向量m和n之间的最终相似度矩阵；

s5、将最终相似度矩阵作为目标特征向量m和n之间相似度权重，将目标特征向量m和n之间的多目标的跟踪问题抽象为带权二分图的最优匹配问题，然后利用kuhn-munkres算法求解最优匹配路径，得到目标特征向量m和n之间的最优匹配；

s6、在线更新行人重识别模型参数。

进一步，所述行人重识别模型的建立和离线训练方法包括如下步骤：

s11、选择caffe训练框架；

s12、为满足实时性要求，采用inception模型，在inceptionv2基础上，去除了inception4和inception5的所有层，只保留inception3a，inception3b和inception3c层，并将通道数均减为原来的一半，在imagenet数据集分类网络上进行调整；

s13、搜集公开数据集和私有数据集，采集视频数据并利用基于art人工神经网络的检测跟踪算法得到每个目标的图像序列；

s14、在所述检测跟踪算法的结果上人工干预，进行错误剔除，得到最终的目标图像序列；

s15、在公开数据集训练好的模型基础上，再次调整，得到最终的行人重识别模型。

进一步，所述每个目标的图像序列的具体获得方法如下：利用fasterrcnn来检测行人，并初始化跟踪目标，然后利用kcf算法持续跟踪，进而得到同一目标的图像序列。

进一步，所述在线更新行人重识别模型参数包括如下步骤：

s61、选择一个跟踪稳定的目标；

s62、确定跟踪稳定的目标后，将其作为anchor，然后遍历当前帧中其他稳定跟踪目标，并根据两个特征向量的余弦相似度，找出与所述跟踪稳定的目标的特征相似度最高的一个作为negative；遍历过去n帧中和anchor的id号一致且特征相似度最低的一个作为positive；

s63、当anchor、negative和positive三个特征确定以后，采用人脸识别中的三元组损失函数，对模型进行梯度反传，并只对模型的最后一层特征提取层的权重进行更新。

进一步，所述跟踪稳定的目标在被选择时需满足以下两点要求：

a、采用openpose系统检测人体关键点时，必须有超过85％以上的关键点被检测到；

b、和其他目标的重叠部分必须低于0.3；这样就可以保证不被其他目标遮挡，提取到的特征是目标本身的特征。

本发明的有益效果是：采用本发明不仅能够有效识别出目标与背景之间的区别特征，当多个同类目标出现时，还能够识别出多个目标之间的区分特征，进而快速匹配目标，实现多目标的准确跟踪。

附图说明

图1是本发明的流程图。

具体实施方式

以下结合附图，对本发明做进一步说明。

本发明首次创造性的将行人重识别技术和多目标跟踪技术融合在一起，进而大大提高了多目标跟踪的准确性。

本发明中提到的行人重识别，也称为行人再识别(personre-identification)，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，是一个图像检索的子问题，其学习到的特征恰好是针对行人个体之间区分度的，正好被我们用来作为目标跟踪的特征。和以前算法的特征相比，利用了更多的先验分布信息，得到行人的特征分布，使得跟踪更稳定。

以下以一个具体实施例进行说明：

1、建立行人重识别模型，并离线训练行人重识别模型。

基于深度学习的行人重识别模型训练，需要确定三个要素，训练框架，训练网络结构和训练数据。

训练框架，我们这里选择caffe训练框架。主要因为caffe的zoo里面有很多开放的网络模型和相应的预训练模型，便于我们在此基础上进行调整。

训练网络结构，为了满足实时性要求，我们采用了改进的inception模型，在inceptionv2基础上，去除了inception4和inception5的所有层，只保留inception3a、inception3b和inception3c层，并将channels均减为原来的一半，在imagenet数据集分类网络上进行调整，需要说明一点，由于我们这里的是改进后的inception网络模型，所以需要在原来imagenet训练模型基础上进行多步调整，不然会有drift的风险。

训练数据搜集，搜集公开数据集的开源数据，包括market-1501，msmt17等和搜集私有数据集。在采集的视频中，利用基于art算法的检测跟踪算法来得到每个目标的图像序列，比如利用fasterrcnn来检测行人，并初始化跟踪目标，然后利用kcf算法持续跟踪，得到同一目标的图像序列。为了保证准确性，在跟踪算法的结果上人工干预进行错误剔除，得到最终的目标图像序列，进而在公开数据集训练好的模型基础上再次调整，得到最终的行人重识别模型。

2、利用行人重识别模型提取的特征进行跟踪

有了好的有区分度的特征，跟踪算法的设计就非常简单了，比如我们采用graph-min-cut的kuhn-munkres算法，就可以得到目标之间的最优匹配，为了得到更好的效果，我们将行人重识别的特征之间的距离和目标之间的图像像素距离综合考虑，送入图割算法，得到目标的最终匹配关系。

具体的讲：假设相邻的两帧图像分别为a和b，且a图像中的目标个数为m个，b图像中的目标个数为n个，则利用行人重识别模型，从相邻的两帧图像中，分别提取目标特征向量m和n；将目标特征向量m和n之间的余弦距离作为特征相似度，并根据其余弦距离计算出目标特征向量m和n之间的相似度矩阵sm和距离矩阵dm；利用距离矩阵dm对相似度矩阵sm进行加权，得到目标特征向量m和n之间的最终相似度矩阵；将最终相似度矩阵作为目标特征向量m和n之间相似度权重，将目标特征向量m和n之间的多目标的跟踪问题抽象为带权二分图的最优匹配问题，然后利用kuhn-munkres算法求解最优匹配路径，得到目标特征向量m和n之间的最优匹配；

3,在线更新行人重识别模型参数

为了使得训练的模型有更好的鲁棒性，我们设计了在线更新model参数的算法，使得行人重识别模型具有更好的泛化能力，适应性更好。考虑到计算量等因素，我们并不让所有被跟踪目标都参与模型的更新，而是通过一定的策略选择部分目标。具体步骤如下：

s61、选择一个跟踪稳定的目标，如果目标本身就是跟踪错误的，只会导致模型越学习越差，所以一个好的评价标准很重要，本文定的标准如下，第一，通过openpose检测人体关键点，必须超过85％以上的关键点被检测到；第二，和其他目标的overlap必须低于0.3，这样就可以保证不被其他目标遮挡，提取到的特征是目标本身的特征；

s62、确定一个跟踪稳定目标后，将其作为anchor，然后遍历当前帧中其他稳定跟踪目标，寻找出和该目标的特征相似度最高的一个作为negative，遍历过去n帧(比如n＝50)中和anchor的id号一致，特征相似度最低的作为positive；

s63、三个特征确定以后，采用人脸识别中的三元组损失函数，进行模型的梯度反传，为了节省计算量，这里只对模型的最后一层特征提取层的权重进行更新。

本发明的具体实施流程如图1所示：

s1、建立行人重识别模型，并离线训练行人重识别模型；

s2、假设相邻的两帧图像分别为a和b，且a图像中的目标个数为m个，b图像中的目标个数为n个，则利用行人重识别模型，从相邻的两帧图像中，分别提取目标特征向量m和n；

s3、将目标特征向量m和n之间的余弦距离作为特征相似度，并根据其余弦距离计算出目标特征向量m和n之间的相似度矩阵sm和距离矩阵dm；

s4、利用距离矩阵dm对相似度矩阵sm进行加权，得到目标特征向量m和n之间的最终相似度矩阵；

s5、将最终相似度矩阵作为目标特征向量m和n之间相似度权重，将目标特征向量m和n之间的多目标的跟踪问题抽象为带权二分图的最优匹配问题，然后利用kuhn-munkres算法求解最优匹配路径，得到目标特征向量m和n之间的最优匹配；

s6、在线更新行人重识别模型参数。

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。