一种基于行人搜索的目标追踪样本扩充方法与流程

本发明涉及一种基于行人搜索的目标追踪样本扩充方法，用行人搜索算法扩充目标追踪样本数据集，通过强化学习决策对目标追踪网络进行优化更新，属于图像处理领域中的目标追踪技术。

背景技术：

目前在人员密集的公共场所、政府部门、企事业单位、住宅小区、甚至许多居民的家中都装有监控摄像头，为维护社会治安、保障人民生命财产安全提供了可靠的视频监控资源。在视频监控中，由于摄像头的分辨率、拍摄角度等参数变化较大，难以实现高质量人脸图片的稳定获取，使得基于人脸识别技术的目标追踪稳定性较差。相对而言，行人搜索(personsearch)技术可以为视频监控提供鲁棒性更强的目标追踪解决方案。

传统的行人搜索技术分为目标检测和行人重识别两个部分，目标检测的目的是从图片中搜索到感兴趣的目标，并对其进行准确定位，由于目标在不同的角度和距离拍摄下，其形状、姿态和相对大小都有变化，再加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题之一。行人重识别是在图像或视频库中判断特定行人是否存在的一种计算机视觉技术，是在目标检测的基础上对行人的身份进行确认。目前，特征学习、度量学习和生成式对抗网络模型被广泛应用到行人重识别领域。行人搜索技术主要利用了图像的空间结构信息，对视频序列的帧间信息利用率不高。而视频目标追踪技术主要利用视频的帧间信息，对感兴趣的目标进行高效的定位，然而，由于目标的形变、突然运动和环境变化等原因，对目标追踪的性能造成了很大的影响。

国内外学者在目标检测、行人重识别和目标追踪三个方面进行了系统深入的研究，并提出了很多方法。然而，在实际应用场景中，为了增加有效地监控范围，摄像头会被安放在较高位置，导致行人目标在整个监控画面中尺寸较小，同时易受到树木、建筑物等异物地遮挡。在一些人流量大，行人密集地区域，多个行人目标之间也容易产生重叠和遮挡。受监控画面清晰度不高、光照、拍摄角度不同以及行人衣着相似等因素地影响，不同身份的行人也可能具有相似的特征。目标追踪主要处理单摄像头数据，行人搜索可以处理多摄像头的视频数据，更加适应于实际应用场景。目标追踪方法可以为行人搜索提供技术的辅助和方法的借鉴。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于行人搜索的目标追踪样本扩充方法，利用行人搜索的再识别特性，使用强化学习对目标追踪网络进行更新，运算速度较快，且能够提高目标追踪精度以及时效性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于行人搜索的目标追踪样本扩充方法，包括如下步骤：

(1)输入视频流数据；

(2)使用行人搜索网络进行样本扩充，包括如下步骤：

(21)将视频流中，目标追踪网络的追踪目标同时设定为行人搜索网络的搜索目标；

(22)当目标追踪网络的目标追踪正确率低于90％时，每隔n帧对行人搜索网络的搜索目标进行采样(由于相邻帧中的目标相似度极高，同时为了减少数据采集量，提高系统运行速度，对n进行合理选择)；

(23)将采样结果按时间顺序保存至扩充样本集c＝{ct,ct-1,ct-2,…}中，ct表示t时刻的样本帧；

(3)运行目标追踪网络：

情况①：若目标追踪网络的目标追踪正确率低于90％，根据强化学习策略，将扩充样本集扩充至目标追踪网络样本集中，优化当前的目标追踪网络；

情况②：若目标追踪网络的目标追踪正确率高于或等于90％，维持当前的目标追踪网络。

本发明根据目标追踪网络的目标追踪正确率，判断是否需要调整目标追踪网络样本集，再使用强化学习策略对目标追踪网络进行优化。

目标追踪网络是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。通常目标追踪面临几大难点：外观变形、光照变化、快速运动和运动模糊、背景相似干扰等，这些难点会导致跟踪目标丢失。针对目标丢失这一问题，本发明通过引入行人搜索网络，根据行人搜索网络的性质，即在给定行人身份的情况下，从单个或多个摄像头拍摄的视频流中找到该行人运动轨迹的计算机视觉技术。

具体的，所述步骤(3)中，强化学习策略具体为：

(41)初始化：目标追踪网络样本集为u，动作集a＝{a0,a1,a2,a3,…}，动作ai表示将扩充样本集中最新的im个样本帧扩充至u中，即u＝{u,ct,ct-1,ct-2,…,ct-im+1}，动作ai的奖赏值为rai，{rai}＝0，m为正整数；进入步骤(42)；

(42)跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(43)；否则，进入步骤(42)，即持续跟踪目标追踪网络的目标追踪正确率，直至发现低于90％；

(43)执行max{rai}对应的动作ai，即执行奖赏值最高的动作，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；

(44)i＝i+1，执行动作ai，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；

(45)进入该步骤，则说明执行动作ai后，改善了目标追踪网络的目标追踪正确率，并且达到了90％的设定阈值，给予动作ai一个奖赏，rai＝rai+1，返回步骤(42)。

根据强化学习策略的整个过程可以看出，强化学习策略是通过选择奖赏值最高的动作来优化目标追踪网络的方法，使目标追踪网络能够维持一个较高的目标追踪正确率。

具体的，所述步骤(43)中，若存在两个以上max{rai}对应的动作ai，执行i最小的动作，且i≠0；对步骤(43)的限定，表示当多个动作的奖赏值相同时，我们优先采用的方法是增加较少的样本帧，这样可以尽可能地提高系统运行速度。

优选的，所述步骤(22)中，n≥30；由于相邻帧特征相近，若采集数据样本间隔太小，将不能保证样本特征的多样性；若采集数据样本间隔太大，可能会丢失目标。

优选的，所述步骤(41)中，m≥30；当发生目标追踪正确率下降问题，说明当前帧目标特征不明显，因此由当前帧向前扩充至少30帧样本进入目标追踪网络样本集，30帧之内特征相似度较高，可以较好地补充正确率下降帧的特征，以此提高目标追踪正确率。

有益效果：本发明提供的基于行人搜索的目标追踪样本扩充方法，相对于现有技术，具有如下优势：

(1)本发明针对大规模的视频数据，采用行人搜索技术为目标追踪方法自动生成有标签的数据集，由于行人搜索的特性，可以快速找到丢失的追踪目标，并利用强化学习技术进行数据的筛选，实现目标追踪方法性能的提升。

(2)本发明将行人搜索网络和目标追踪网络相结合，它们的方法上可以相互借鉴，技术上可以相互促进。由于行人搜索网络的性质，在进行行人搜索的时候会持续收集目标样本，通过扩充样本集来提升目标追踪的效率，这样可以使得目标追踪网络与行人搜索网络相互促进，形成一个良性循环。

附图说明

图1为本发明的实施流程框图；

图2为实现本发明的逻辑框图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示为一种基于行人搜索的目标追踪样本扩充方法的实施流程框图，下面结合附图做具体说明。

步骤一、输入视频流数据

目前在人员密集的公共场所、政府部门、企事业单位、住宅小区、甚至许多居民的家中都装有监控摄像头，为维护社会治安、保障人民生命财产安全提供了可靠的视频监控资源。因此我们有着大量的原始视频数据，输入这些数据作为测试样本集。

步骤二、使用行人搜索网络进行样本扩充

(21)将视频流中，目标追踪网络的追踪目标同时设定为行人搜索网络的搜索目标；

(22)当目标追踪网络的目标追踪正确率低于90％时，每隔n帧对行人搜索网络的搜索目标进行采样(由于相邻帧中的目标相似度极高，同时为了减少数据采集量，提高系统运行速度，对n进行合理选择)；

(23)将采样结果按时间顺序保存至扩充样本集c＝{ct,ct-1,ct-2,…}中，ct表示t时刻的样本帧。

步骤三、运行目标追踪网络

情况①：若目标追踪网络的目标追踪正确率低于90％，根据强化学习策略，将扩充样本集扩充至目标追踪网络样本集中，优化当前的目标追踪网络；

情况②：若目标追踪网络的目标追踪正确率高于或等于90％，维持当前的目标追踪网络。

步骤四、强化学习策略

(41)初始化：目标追踪网络样本集为u，动作集a＝{a0,a1,a2,a3,…}，动作ai表示将扩充样本集中最新的im个样本帧扩充至u中，即u＝{u,ct,ct-1,ct-2,…,ct-im+1}，动作ai的奖赏值为rai，{rai}＝0，m为正整数；进入步骤(42)；

(42)跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(43)；否则，进入步骤(42)，即持续跟踪目标追踪网络的目标追踪正确率，直至发现低于90％；

(43)执行max{rai}对应的动作ai，即执行奖赏值最高的动作，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；

(44)i＝i+1，执行动作ai，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；

(45)进入该步骤，则说明执行动作ai后，改善了目标追踪网络的目标追踪正确率，并且达到了90％的设定阈值，给予动作ai一个奖赏，rai＝rai+1，返回步骤(42)。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。