一种基于行人重识别和分层搜索策略的追踪系统的制作方法

本发明涉及一种追踪系统，特别是一种基于行人重识别和分层搜索策略的追踪系统。

背景技术：

1、近年来，机器学习、深度学习等人工智能技术迅速发展，视觉领域逐渐成熟，如人脸识别技术、属性识别、车辆检测等技术大量应用于安保领域。行人重识别技术旨在重新确认从一个摄像环境消失后的检测对象重新进入另一个摄像环境时的身份。基于深度学习的行人重识别方法在识别性能上逐渐超过传统的机器学习方法而成为主流，初步具备开放环境下的可用性。完整的视频行人重识别包括行人检测、单摄像头行人追踪、多摄像头下行人检索等环节，这些环节都对计算资源具有一定的要求。尤其是更加高清的摄像头的布设以及摄像头数量的不断增长使得计算资源永远稀缺。如何在有限计算资源条件下更好地对目标轨迹进行追踪成为亟待解决的问题。

技术实现思路

1、发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于行人重识别和分层搜索策略的追踪系统。

2、为了解决上述技术问题，本发明公开了一种基于行人重识别和分层搜索策略的追踪系统，包括：数据采集处理模块、分层搜索识别模块和结果展示确认模块；

3、其中，所述数据采集处理模块，从不同位置不同环境的监控摄像头所获取的原始视频数据中，利用跟踪算法得到一组连续的经过裁剪的单目标视频片段或单目标图片，即单目标采集数据；所述单目标采集数据包含监控摄像头的地理位置信息；

4、所述分层搜索识别模块，包括：行人重识别算法和分层搜索策略；其中，行人重识别算法包括：对历史采集的单目标采集数据进行特征提取，得到历史单目标特征，将所述历史单目标特征入库后得到一个特征查询库，用于目标重识别；分层搜索策略包括：非实时分层搜索和实时搜索，其中：

5、非实时分层搜索：根据给定搜索目标的特征，在对历史单目标进行搜索时使用所述特征查询库查询出所有符合要求的历史单目标，并按时间或位置排序，待进行进一步确认，得到历史待确认搜索目标；

6、实时搜索：将给定具体需要追踪的目标做为确定搜索目标，系统实时处理包含各种目标的实时视频数据与确定搜索目标的特征比对，筛选出高可信度目标待进一步确认，得到实时待确认搜索目标；所述历史待确认搜索目标和实时待确认搜索目标即为待确认搜索目标；

7、所述结果展示确认模块，对分层搜索识别模块的待确认搜索目标进行展示，构建搜索目标时空数据链；待确认搜索目标经过人工确认后得到确定搜索目标，人工确认后的确定搜索目标的特征作为增强查询特征应用。

8、进一步，所述追踪系统具体流工作程如下：

9、步骤1：数据采集处理，数据采集处理模块从监控系统中获取原始数据并进行预处理；

10、进一步，所述的数据采集处理，具体包括如下步骤：

11、步骤1-1：数据采集：

12、所述数据采集处理模块基于现有的视频监控采集系统所采集的数据即原始数据进行处理整理，从所述原始数据中采集带有时间戳和摄像头位置信息的监控视频；

13、步骤1-2：目标检测与裁剪；

14、所述目标检测与裁剪过程为：将步骤1-1中所述的从原始数据中采集的监控视频中的多个目标，分别从所述监控视频中裁剪出来形成多组单目标视频；所述裁剪过程中使用目标检测算法从监控视频中检测目标；使用可微的roi变换层对监控视频进行处理，通过计算监控视频帧的坐标与目标坐标的仿射变换将单个目标从原监控视频帧中裁剪出来；结合目标追踪形成单目标视频；得到一组连续性的经过裁剪的单目标视频片段或单目标图片，即单目标采集数据。

15、步骤2：行人重识别模型构建，计算提取特征并识别，具体方法如下：

16、构建行人重识别模型，使用cnns-rnns重识别模型和步骤1-2中所述的单目标采集数据，对待检测的目标进行重识别，具体方法包括：

17、步骤2-1：特征提取：即提取多帧图像中的时空特征，具体方法如下：

18、

19、

20、即：包含单个待检查目标的多帧图像首先作为一个序列被分别馈送到图像变换的网络中变换为相同的尺寸；然后作为输入进入卷积神经网络cnns中得到单帧的空间特征；将所述单个待检查目标的一组空间特征按时间顺序输入到循环神经网络rnns中得到这组空间特征中的时空特征，经时间池化层池化处理得到单个待检测目标的时空特征表示；

21、所述行人重识别模型中，使用预训练的resnet50网络作为cnns网络，使用gru网络作为rnns网络，使用得到的行人时空特征表示计算三元组损失作为行人重识别模型的损失函数进行优化并经全连接层变换为z为向量计算行人id的交叉熵损失，z为标注的行人id数量；

22、对历史采集的单目标采集数据进行特征提取，得到历史单目标特征，将所述历史单目标特征存入特征查询库；

23、步骤2-2：相似度计算与特征查询；

24、使用步骤2-1计算行人时空特征表示的方式得到确定搜索目标的特征；特征查询指使用确定搜索目标的特征在特征库中搜索找到匹配的历史单目标特征，通过计算确定搜索目标的特征与特征库中的历史单目标特征之间的余弦距离，挑选出最小距离的k个历史目标；选取的k个历史目标由人工进行判定；判定后的历史目标的历史单目标特征联合与给定的确定搜索目标的特征作为新的特征进行查询，最后形成完整的确定搜索目标的行进轨迹。

25、步骤3：分级搜索模型构建，划分概率等级，具体方法为：分级搜索模型根据地理信息和搜索目标的历史行踪轨迹计算出每个摄像头下一次捕捉到搜索目标的概率值，所述概率值被表示为每个摄像头的概率等级，具体包括如下步骤：

26、步骤3-1：获取搜索目标的历史轨迹特征，方法如下：

27、搜索目标的行踪规矩l表示为一系列的摄像头轨迹捕捉点的位置坐标的组合[m1,m2,m3,…,mi,…,mt]，其中mi＝(longi,lati)为第i个摄像头的经纬度坐标；第i个摄像头ci附近r半径内的局部地理特征范围内的第j个摄像头cj的位置信息mj以及第i个摄像头的运动矢量信息ai作为当前摄像头的地理位置信息即：

28、

29、其中，wmap为地理特征的权重矩阵，wc为其他摄像头地理位置信息的权重矩阵，mi与mj的距离小于r，即||mi-mj||2≤r；wtrack为运动矢量的权重矩阵，运动矢量at＝mt-mt-1，mt为当前即第t个摄像头位置，mt-1为上一个摄像头位置；r半径内的局部地理特征由该局部地理信息经卷积神经网络得到，局部地理信息包含公路及小道能够通行的交通信息，为地理交通图经处理后的脉络图，形式化为则局部地理特征表示为：

30、

31、其中cnn为卷积神经网络；

32、搜索目标的历史轨迹特征表示为：

33、步骤3-2：基于搜索目标的历史轨迹特征预测未来轨迹的概率区域，具体方法包括：

34、构建一个基础的预测网络w2处理搜索目标的历史轨迹信息，采用gru建模时序关系；预测网络w2的结构如下：

35、

36、其中，floc为步骤3-1得到的历史轨迹特征表示，gru为门控神经单元被用于处理时序数据，为一系列摄像头可能捕捉到目标的概率；具体而言为区域内所有n个摄像头c1,c2,c3,...cn的预测概率，即n为摄像头数量。

37、步骤4：使用分层搜索策略分配计算资源并使用步骤2的行人重识别方法进行识别搜索，具体方法包括：构设出不同的搜索情景，包括：

38、第一应用场景：在没有初步判定情况下，根据搜索目标的特征进行历史信息检索；

39、第二应用场景：在单摄像头下捕捉到目标，进行判定确认，以及目标轨迹查询；

40、第三应用场景：在有限计算资源下快速搜索判断搜索目标的轨迹；

41、根据搜索情景采用分层搜索策略，具体包括如下步骤：

42、步骤4-1：全域搜索策略，包括：

43、在上述第一应用场景和第二应用场景条件下选择全域搜索策略；所有的摄像头捕捉到搜索目标的概率是相同的，即其中表示第i个摄像头ci捕捉到搜索目标的概率；将计算资源形式化为cptsoc，针对每个摄像头所收集的数据分配相同的计算资源cptsoc，资源分配计算方式等价于步骤2-2中所述的特征查询方法，即步骤2-2中所述的特征查询方法即为全域搜索策略。

44、步骤4-2：分级搜索策略，即使用步骤3划分的每个摄像头的概率等级进行分级搜索，具体包括：

45、在上述第二应用场景条件下，使用步骤4-1所述的全域搜索策略，得到侦察目标单个或多个初始位置信息以后，或者在第三场景中进行实时搜索目标的情况下，使用步骤3所构建的分级搜索模型和步骤2的行人重识别模型进行识别搜索；根据摄像头概率等级分配计算资源cptsoc。

46、步骤4-3：分发特征辅助强化搜索策略，包括：

47、在采用步骤4-2中所述的分级搜索策略时，将计算资源前置到摄像终端。系统中心将确认搜索目标的特征分发到各个摄像终端，摄像终端使用步骤1、步骤2的方式提取当前摄像头下的目标的特征并与确认搜索目标进行的特征进行相似度计算。由于摄像终端的计算能力的限制，所述的分发特征辅助强化搜索策略只对摄像终端捕捉的目标进行模糊性筛选，过滤与目标相似度低于一定阈值的目标，其余目标上传到系统中心进行进一步处理。系统中心计算确认后，不断地把确认目标的新的特征分发到各个摄像终端进行后续识别。

48、步骤5：结果展示确认，具体包括如下步骤：

49、步骤5-1：结果排序与显示；对所有的目标识别结果按时间进行排序，将结果在所述追踪系统中显示并进行更新展示。特别的是，该系统结合地理视图和匹配视频图像进行展示，即，显示抽象性的地图标示，按时间先进行标示连线，使得能够进一步分析搜索目标的历史轨迹。显示当前最新匹配位置的完整视频等待进一步确认。

50、步骤5-2：结果确认，对匹配结果进行人工判定，去除匹配错误的结果，正确结果即经过人工判定确认的搜索目标图像的特征，通过融合作为新的匹配特征。

51、有益效果：

52、(1)本发明基于行人重识别技术提供了自动化追踪方案，能够在低人工干预的情况下自动识别目标的行踪轨迹，从而节省大量的人力和时间成本，降本增效。

53、(2)本发明提出目标确认特征增强的行人重识别方法及静态全域搜索和分级搜索两种搜索识别策略，从而使系统能够处理更加复杂的追踪环境。

54、(3)本发明提出结合地理信息的分层分级搜索策略，根据多个摄像头捕捉到的目标轨迹结合地理信息计算附近摄像头下一次捕捉追踪对象的概率区域，根据计算概率分配计算资源，从而在有限计算资源条件下更好地追踪目标的轨迹。