一种监控视频中的多行人追踪方法与流程

1.本发明属于图像处理和机器学习领域，具体涉及一种监控视频下的多行人追踪方法，用于有效减少监控视频存储空间，节省查找人力，便于高效实时的实现多行人目标追踪。


背景技术：

2.监控视频存在数量多、存储量大的特点，各个小区、街道、学校等场所均设置了监控摄像头，监控视频按照日期完整存储，其存储和查找都需要耗费很多的人力、物力，而对于大部门的监控视频，其拍摄场景都相对固定，如果能够抽取其中有用信息，忽略掉没用的背景信息，不仅能够节省很多存储空间，而且能方便快速查找目标对象。


技术实现要素：

3.本发明的目的是针对社会监控视频现状存在的问题，提出一种监控视频中的多行人追踪方法，对原有视频进行关键信息抽取，获得仅包含行人运动信息的摘要视频，便于高效实时的实现多行人目标追踪。
4.本发明的技术方案如下：
5.一种监控视频中的多行人追踪方法，其特征在于，包括以下步骤：
6.步骤1：对t时刻的图像帧，采用多目标检测技术获得视频场景下的行人检测框和得分；
7.步骤2：采用cnn神经网络模型提取检测框的行人特征；
8.步骤3：对获取的框、得分和特征进行处理：利用卡尔曼滤波，计算每个框和匹配系统中已有的跟踪状态相关系数，获得检测对象和已有跟踪状态的关系矩阵；计算检测框特征和已有跟踪对象的缓存特征的特征距离，获得检测对象和已有跟踪状态的特征距离矩阵；
9.步骤4：对所有跟踪状态进行卡尔曼预测，得到每个跟踪状态在下一帧的预测位置；
10.步骤5：回到步骤1，对t+1时刻的图像帧进行同样的处理，直到视频处理结束；
11.步骤6：分析目标轨迹，从检测过程保留一张不含检测对象的背景帧作为背景图片，将不同时间出现的对象放到背景图片上，播放其运动轨迹快照，保存仅包含显示轨迹快照的图像帧作为摘要视频结果。
12.本发明针对目前较为成熟的行人检测技术，创造性的将多行人追踪算法应用到摘要视频问题，通过提取视频关键信息、缩减视频存储的方法，可以实现对简单场景下行人的追踪，获得行人目标在监控视频下的运动轨迹，保留视频中关于人的活动信息，可以有效减少存储空间，节省查找人力，便于高效实时的实现多行人目标追踪。
附图说明
13.图1是本发明的流程图。
具体实施方式
14.本发明采用多目标检测技术获取每一帧视频图像的行人检测框，使用cnn神经网络模型对行人框进行特征提取表示，然后通过匹配算法将不同时刻的行人检测框进行连接、编号，从而获得整个视频序列的行人轨迹，最后使用一定的摘要策略获得原视频的摘要视频。如图1所示，本发明的具体实现流程如下：
15.步骤1：对t时刻的图像帧，采用多目标检测技术获得视频场景下的行人检测框和得分；
16.步骤2：采用cnn神经网络模型提取检测框的行人特征；
17.步骤3：对获取的框、得分和特征进行处理：利用卡尔曼滤波，计算每个框和匹配系统中已有的跟踪状态相关系数，获得检测对象和已有跟踪状态的关系矩阵；计算检测框特征和已有跟踪对象的缓存特征的特征距离，获得检测对象和已有跟踪状态的特征距离矩阵。
18.对关系矩阵，设置位置关系阈值，如果检测和跟踪状态的位置关系超过阈值，则将关系矩阵对应的值设置为无限大；同时，对特征距离矩阵，设置特征距离阈值，如果检测和跟踪状态的特征差异过大，将关系矩阵对应位置设置为无限大。
19.对关系矩阵使用匈牙利匹配算法，获得检测和跟踪状态的最优匹配。如果检测对象匹配上了，将新的位置及其特征数据存储到对应跟踪状态的缓存中，该跟踪状态的失踪计数器设置为0；如果没有匹配上，则为检测对象建立一个新的跟踪状态，设置为“未确认”状态，连续匹配上一定帧数的“未确认”跟踪状态，修改其状态为“确认”，保存目标的快照。如果跟踪状态在t帧没有匹配到检测框，则将其失踪计数器加1，连续缺失一定帧数的“确认”跟踪状态，修改为“删除”；未匹配的“未确认”跟踪状态，修改状态为“删除”。将“删除”跟踪状态从系统中删除；
20.步骤4：对所有跟踪状态进行卡尔曼预测，得到每个跟踪状态在下一帧的预测位置；
21.步骤5：回到步骤1，对t+1时刻的图像帧进行同样的处理。直到视频处理结束。
22.步骤6：分析目标轨迹，从检测过程保留一张不含检测对象的背景帧(或者检测目标在整个处理序列中最少)作为背景图片，将不同时间出现的对象放到背景图片上，播放其运动轨迹快照。保存仅包含显示轨迹快照的图像帧作为摘要视频结果。