一种基于目标追踪的行人搜索样本扩充方法与流程

本发明涉及一种基于目标追踪的行人搜索样本扩充方法，用目标追踪算法扩充行人搜索样本数据集，通过强化学习决策对行人搜索网络进行优化更新，属于图像处理领域中的行人搜索技术。

背景技术：

目前在人员密集的公共场所、政府部门、企事业单位、住宅小区、甚至许多居民的家中都装有监控摄像头，为维护社会治安、保障人民生命财产安全提供了可靠的视频监控资源。在视频监控中，由于摄像头的分辨率、拍摄角度等参数变化较大，难以实现高质量人脸图片的稳定获取，使得基于人脸识别技术的目标追踪稳定性较差。相对而言，行人搜索(personsearch)技术可以为视频监控提供鲁棒性更强的目标追踪解决方案。

传统的行人搜索技术分为目标检测和行人重识别两个部分，目标检测的目的是从图片中搜索到感兴趣的目标，并对其进行准确定位，由于目标在不同的角度和距离拍摄下，其形状、姿态和相对大小都有变化，再加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题之一。行人重识别是在图像或视频库中判断特定行人是否存在的一种计算机视觉技术，是在目标检测的基础上对行人的身份进行确认。目前，特征学习、度量学习和生成式对抗网络模型被广泛应用到行人重识别领域。行人搜索技术主要利用了图像的空间结构信息，对视频序列的帧间信息利用率不高。而视频目标追踪技术主要利用视频的帧间信息，对感兴趣的目标进行高效的定位，然而，由于目标的形变、突然运动和环境变化等原因，对目标追踪的性能造成了很大的影响。

国内外学者在目标检测、行人重识别和目标追踪三个方面进行了系统深入的研究，并提出了很多方法。然而，在实际应用场景中，为了增加有效地监控范围，摄像头会被安放在较高位置，导致行人目标在整个监控画面中尺寸较小，同时易受到树木、建筑物等异物地遮挡。在一些人流量大，行人密集地区域，多个行人目标之间也容易产生重叠和遮挡。受监控画面清晰度不高、光照、拍摄角度不同以及行人衣着相似等因素地影响，不同身份的行人也可能具有相似的特征。目标追踪主要处理单摄像头数据，行人搜索可以处理多摄像头的视频数据，更加适应于实际应用场景。目标追踪方法可以为行人搜索提供技术的辅助和方法的借鉴。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于目标追踪的行人搜索样本扩充方法，利用目标追踪的时空特性，使用强化学习对行人搜索网络进行更新，运算速度快，且能够提高行人搜索精度以及时效性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于目标追踪的行人搜索样本扩充方法，包括如下步骤：

(1)输入视频流数据；

(2)使用目标追踪网络进行样本扩充，包括如下步骤：

(21)使用目标追踪网络对视频流中的追踪目标进行追踪；

(22)由于相邻帧中的追踪目标相似度极高，同时为了减少数据采集量，提高系统运行速度，我们每隔n帧对追踪到的追踪目标进行采样；

(22)将采样结果按时间顺序保存至扩充样本集c＝{ct,ct-1,ct-2,…}中，ct表示t时刻的样本帧；

(3)运行行人搜索网络：

情况①：若行人搜索网络的搜索正确率低于90％，根据强化学习策略，将扩充样本集扩充至行人搜索网络样本集中，优化当前的行人搜索网络；

情况②：若行人搜索网络的搜索正确率高于或等于90％，维持当前的行人搜索网络。

本发明根据行人搜索网络的搜索正确率，判断是否需要调整行人搜索网络样本集，再使用强化学习策略对行人搜索网络进行优化。

行人搜索网络是一种在给定行人身份的情况下，从单个或多个摄像头拍摄的视频流中找到该行人运动轨迹的计算机视觉技术。但是在实际的视频监控环境中，由于受到摄像头位置和视野的限制，单个监控摄像头难以实现对目标监控区域的全覆盖，即便使用多个摄像头，也难以实现对目标监控区域的无缝、重叠、全方位覆盖，使得现有行人搜索技术仍然难以满足大型智能监控系统中实时目标匹配的需求。同时，行人搜索同样易受分辨率不同、衣着相似行人、光照变化、视角变化和异物遮挡等因素的影响。目前，虽然通过大量的监控摄像头积累大量的视频数据，但是，每一个行人所对应的采集数据是十分稀少的。因此，行人搜索任务是一个典型的大数据小样本问题，如何从大量的视频数据中挖掘出隐藏其中的重要信息，同时利用少量的行人数据学习到行人的判别特征是解决行人搜索任务的关键。

目标追踪网络就是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该追踪目标的大小与位置。本发明通过目标追踪网络解决每一个行人对应数据的采集问题，可以显著提升行人搜索任务的正确率。

具体的，所述步骤(3)中，强化学习策略具体为：

(41)初始化：行人搜索网络样本集为u，动作集a＝{a0,a1,a2,a3,…}，动作ai表示将扩充样本集中最新的im个样本帧扩充至u中，即u＝{u,ct,ct-1,ct-2,…,ct-im+1}，动作ai的奖赏值为rai，{rai}＝0，m为正整数；进入步骤(42)；

(42)跟踪行人搜索网络的搜索正确率：若低于90％，则进入步骤(43)；否则，进入步骤(42)，即持续跟踪行人搜索网络的搜索正确率，直至发现低于90％；

(43)执行max{rai}对应的动作ai，即执行奖赏值最高的动作，继续跟踪行人搜索网络的搜索正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；

(44)i＝i+1，执行动作ai，继续跟踪行人搜索网络的搜索正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；

(45)进入该步骤，则说明执行动作ai后，改善了行人搜索网络的搜索正确率，并且达到了90％的设定阈值，给予动作ai一个奖赏，rai＝rai+1，返回步骤(42)。

根据强化学习策略的整个过程可以看出，强化学习策略是通过选择奖赏值最高的动作来优化行人搜索网络的方法，使行人搜索网络能够维持一个较高的搜索正确率。

具体的，所述步骤(43)中，若存在两个以上max{rai}对应的动作ai，执行i最小的动作，且i≠0；对步骤(43)的限定，表示当多个动作的奖赏值相同时，我们优先采用的方法是增加较少的样本帧，这样可以尽可能地提高系统运行速度。

优选的，所述步骤(22)中，n≥30；由于相邻帧特征相近，若采集数据样本间隔太小，将不能保证样本特征的多样性；若采集数据样本间隔太大，可能会丢失追踪目标。

优选的，所述步骤(41)中，m≥30；当发生搜索正确率下降问题，说明当前帧追踪目标特征不明显，因此由当前帧向前扩充至少30帧样本进入行人搜索网络样本集，30帧之内特征相似度较高，可以较好地补充正确率下降帧的特征，以此提高搜索正确率。

有益效果：本发明提供的基于目标追踪的行人搜索样本扩充方法，将行人搜索网络和目标追踪网络相结合，行人搜索和目标追踪是计算机视觉领域具有很强相关性的任务，目标追踪可以看成是单摄像头的行人搜索任务，行人搜索是跨摄像头的目标追踪任务，因此它们的方法上可以相互借鉴，技术上可以相互促进。并且由于行人搜索网络的性质，在进行目标追踪的时候会对丢失的目标进行再搜索，提高目标追踪的效率，这样可以使得目标追踪网络与行人搜索网络相互促进，形成一个良性循环。

附图说明

图1为本发明的实施流程框图；

图2为实现本发明的逻辑框图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示为一种基于目标追踪的行人搜索样本扩充方法的实施流程框图，下面结合附图做具体说明。

步骤一、输入视频流数据

目前在人员密集的公共场所、政府部门、企事业单位、住宅小区、甚至许多居民的家中都装有监控摄像头，为维护社会治安、保障人民生命财产安全提供了可靠的视频监控资源。因此我们有着大量的原始视频数据，输入这些数据作为测试样本集。

步骤二、使用目标追踪网络进行样本扩充

(21)由于相邻帧中的追踪目标相似度极高，同时为了减少数据采集量，提高系统运行速度，我们每隔30帧对追踪到的追踪目标进行采样；

(22)将采样结果按时间顺序保存至扩充样本集c＝{ct,ct-1,ct-2,…}中，ct表示t时刻的样本帧。

步骤三、运行行人搜索网络

情况①：若行人搜索网络的搜索正确率低于90％，根据强化学习策略，将扩充样本集扩充至行人搜索网络样本集中，优化当前的行人搜索网络；

情况②：若行人搜索网络的搜索正确率高于或等于90％，维持当前的行人搜索网络。

行人搜索网络对视频帧间信息利用率不高，而目标追踪网络虽然可以有效地捕获视频帧间的信息，但目标追踪网络对图像空间的信息理解能力较弱。采用强化学习策略联合行人搜索网络和目标追踪网络可以有效地进行视频数据大数据的时-空信息挖掘。

步骤四、强化学习策略

(41)初始化：行人搜索网络样本集为u，动作集a＝{a0,a1,a2,a3,…}，动作ai表示将扩充样本集中最新的im个样本帧扩充至u中，即u＝{u,ct,ct-1,ct-2,…,ct-im+1}，动作ai的奖赏值为rai，{rai}＝0，m为正整数；进入步骤(42)；

(42)跟踪行人搜索网络的搜索正确率：若低于90％，则进入步骤(43)；否则，进入步骤(42)；

(43)执行max{rai}对应的动作ai，继续跟踪行人搜索网络的搜索正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；

(44)i＝i+1，执行动作ai，继续跟踪行人搜索网络的搜索正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；

(45)rai＝rai+1，返回步骤(42)。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。