一种特定目标与嫌疑目标持续移动的监控追踪方法与流程

本发明涉及城市视频监控安全技术领域，特别是涉及一种特定目标与嫌疑目标持续移动的监控追踪方法。

背景技术：

随着科技的进步与发展，在计算机视觉领域中，出现了人脸识别、无人驾驶、无人看管的视频监控等应用。而随着高科技犯罪的情况增多，在案发现场进行视频监控，特定目标与嫌疑目标的跟踪监测对于锁定嫌疑人和减少破案时间具有重要意义。但由于存储设备与视频拍摄技术的局限性,出现了视频堆积，人工甄别难度大且耗时久等问题。如果能通过算法实现对监控场景的目标进行检测、定位、跟踪与识别，对于提高警方破案率有重大意义。

在我国，此前采取人力查看监控视频进行案件侦破是警方破案的一大方法，且对于抓捕嫌犯起到了重要作用。但随着案件发生后时间的延续，嫌疑目标移动范围的扩大，人力查看监控视频已不能满足办案要求。而目前，对物品、人员等特定目标失踪后的机器自动化追踪检测，都是只针对单一特定目标进行追踪监控。单一特定目标追踪监控因存在追踪信息少，追踪过程不完整，跟踪效果不明显等问题，对于案件侦破作用不大。

技术实现要素：

基于上述技术问题，本发明提出一种特定目标与嫌疑目标持续移动的监控追踪方法。

本发明所采用的技术解决方案是：

一种特定目标与嫌疑目标持续移动的监控追踪方法，包括以下步骤：

步骤一、建立物品识别模型以及同一摄像头范围内特定目标与嫌疑目标伴随移动描述模型

将视频流数据预处理为图片，利用yolov3算法建立物品识别模型，将图片输入物品识别模型即可完成物品自动识别；对于特定目标与嫌疑目标的伴随移动，建立特定目标与嫌疑目标伴随移动描述模型，即在同一摄像头监控范围内，计算特定目标与其他目标接触面积，根据接触面积，判定嫌疑目标，监控追踪特定目标与嫌疑目标的伴随移动；

步骤二、在监控范围内所有摄像头特定时间片范围内特定目标的识别

在发生特定目标失踪后，在可能的监控范围内，调取所有摄像头特定时间片范围内的视频资料，根据已有特定目标的影像资料，识别特定目标失踪前的位置信息，获取特定目标失踪时刻与嫌疑目标在同一摄像头监控范围内的伴随移动信息；

步骤三、获取特定地域范围内监控摄像头的特定时间片监控视频流，采用步骤一建立的模型追踪特定目标与嫌疑目标在不同摄像头监控区域内的伴随移动情况

根据特定目标失踪前的位置信息以及特定区域内各监控摄像头与特定物体失踪位置的距离，调取各监控摄像头在特定时间片内的监控视频，采用步骤一建立的同一摄像头范围内特定目标与嫌疑目标伴随移动描述模型，追踪特定目标与嫌疑目标在不同摄像头监控区域内的伴随移动情况，形成特定目标与嫌疑目标伴随移动的轨迹路线。

优选的，上述步骤一具体包括以下步骤：

1.1：将收集的监控视频使用跨计算机视觉库分割成图片；

1.2：将预处理的图片输入物品识别模型，即可得到识别准确的图片，在图片中每个物品都被矩形框体精确框住；

1.3：基于步骤1.2的结果，在识别完成图片中设置坐标系，其中图片左上角为原点，定义水平向右为x轴正方向，水平向下为y轴正方向，设特定目标的矩形框左下角坐标为(x0，y0),右上角坐标为(x1，y1),设定其他目标矩形框左下角坐标为(a0，b0),右上角坐标为(a1，b1)；

1.4：基于步骤1.3设置的图片坐标系，在水平方向上，两个矩形框包括水平不重叠、水平部分重叠和水平内包含三种关系；通过公式(1)可进行计算特定物体矩形框与其他物体矩形框的水平重叠长度w；

w＝min(x1，a1)-max(x0，a0)(1)

若w≤0，可知两矩形框水平方向上没有重叠；

同样，在竖直方向上，两个矩形框包括水平不重叠、水平部分重叠和水平内包含三种关系；通过公式(2)可进行计算特定物体矩形框与其他物体矩形框的竖直重叠长度h；

h＝min(y1，b1)-max(y0，b0)(2)

若h≤0，可知两矩形框竖直方向上没有重叠；

1.5：根据步骤1.4得到的矩形框在两个方向上的重叠长度，可计算出两矩形框的重叠面积s，如公式(3)所示：

s＝w*h(w＞0，h＞0)(3)

两矩形框重叠面积越大，两物体接触越紧密；

通过计算特定目标矩形框与其他目标矩形框的重叠面积，寻找与特定目标有过接触的嫌疑目标；当特定目标矩形框与其他目标矩形框重叠面积大于零时，就判定特定目标与其他目标有过接触，并将此目标列为嫌疑目标；计算每张图片中特定目标矩形框与其他目标矩形框的重叠面积，依次判断，将嫌疑目标一一列出。

优选的，所述yolov3算法是在原始yolov3算法的基础上加入残差网络和inceptionv1网络模型。

优选的，上述步骤二具体包括以下步骤：

2.1：调取监控范围内所有摄像头特定时间片范围内的监控视频；

2.2：按照步骤一的方法，将视频预处理为图片，并进行特定目标识别；

2.3：将识别好的图片进行排查，将所有含有特定目标的图片保留；

2.4：基于步骤2.3的结果，找到发生时刻最晚的包含特定目标图片，即在监控范围内特定目标消失时刻的图片，根据图片信息，得到特定目标失踪前的位置信息；

2.5：将所有包含特定目标图片按照步骤一中伴随移动模型方法计算其与其他嫌疑目标重叠面积，列出所有包含特定目标与嫌疑目标的图片；

2.6：基于步骤2.5的结果，将同一摄像头内所有包含特定目标与嫌疑目标的图片按照时钟服务器提供的先后顺序依次排列，遍历上述图片，追踪特定目标与嫌疑目标的伴随移动。

优选的，上述步骤三具体包括以下步骤：

3.1：调取特定范围内多个摄像头特定时间片范围内的监控视频；

3.2：按照步骤一的方法，将视频预处理为图片，并进行特定目标与嫌疑目标识别；

3.3：将识别好的图片进行排查，将所有含有特定目标及嫌疑目标的图片保留作为数据集，其中仅包含特定目标或嫌疑目标的图片也应保留，作为下一步追踪特定目标与嫌疑目标伴随移动的依据；

3.4：将步骤3.3的图片按照发生时刻先后顺序依次排好，遍历以上图片，得到特定目标与嫌疑目标的伴随移动；

3.5：根据特定目标与嫌疑目标的伴随移动，将图片上的位置信息与地理信息系统中各位置点一一比对，将这些位置点按照发生时刻的先后顺序依次连接，即可得到特定目标与嫌疑目标伴随移动的轨迹路线。

本发明得到的特定目标与嫌疑目标伴随移动的轨迹路线，或者说特定目标与嫌疑目标已有行动轨迹，可为办案人员提供有价值的参考信息，方便办案人员快速准确的预测出特定目标与嫌疑目标下一个可能出现的监控区域。

具体地，根据步骤三得到的特定目标与嫌疑目标的伴随移动轨迹，找到特定目标与嫌疑目标在监控区域范围内最后一次出现的监控摄像头。在最后一次出现的监控摄像头中，按照伴随移动轨迹的延伸与发散方向，预测特定目标与嫌疑目标下一个可能出现的监控区域。

本发明的有益技术效果是：

本发明提出了多目标跟踪思路及解决方案，不单单针对失踪的特定目标进行跟踪侦查，也对有犯罪可能的嫌疑目标一同追踪，持续追踪多目标的伴随移动，并刻画出伴随移动轨迹，有利于警方侦破案件，提高案件侦破效率。在数据集上验证本方法取得了良好的效果。

附图说明

下面结合附图与具体实施方式对本发明作进一步说明：

图1为本发明特定目标与嫌疑目标持续移动监控追踪流程图；

图2为本发明中建立的图片坐标系示意图。

具体实施方式

如图1所示，一种特定目标与嫌疑目标持续移动的监控追踪方法，包括以下步骤：

步骤一、建立物品识别模型以及同一摄像头范围内特定目标与嫌疑目标伴随移动描述模型

首先将视频流数据预处理为图片，在原始yolov3算法中加入残差网络和inceptionv1模型，建立机器自动识别物品模型，将处理好的图片输入模型即可完成物品自动识别。对于特定目标与嫌疑目标的伴随移动，在同一摄像头监控范围内，计算特定目标与其他目标接触面积，根据接触面积，判定嫌疑目标，监控追踪特定目标与嫌疑目标的伴随移动。

步骤二、在监控范围内所有摄像头特定时间片范围内特定目标的识别

在发生物品、人员等特定目标失踪后，在可能的监控范围内，调取所有摄像头特定时间片范围内的视频资料，根据已有特定目标的影像资料，采用机器自动识别或进一步加人工确认的策略，识别特定目标失踪前的位置信息，获取特定目标失踪时刻与嫌疑目标在同一摄像头监控范围内的伴随移动信息。

步骤三、在特定地域范围内监控摄像头的特定时间片监控视频流中，采用步骤一建立的模型追踪特定目标与嫌疑目标在不同摄像头监控区域内的伴随移动情况

根据特定目标失踪前的位置信息以及特定区域内各监控摄像头与特定物体失踪位置的距离，调取各监控摄像头在特定时间片内的监控视频，采用步骤一建立的同一摄像头范围内特定目标与嫌疑目标伴随移动描述模型，追踪特定目标与嫌疑目标在不同摄像头监控区域内的伴随移动情况，形成特定目标与嫌疑目标伴随移动的轨迹路线。

上述步骤一具体包括以下步骤：

1.1：将收集的监控视频使用跨平台计算机视觉库按照每秒24帧的频率分割成图片。

1.2：物品识别模型的建立是在原始yolov3(youonlylookonceversion3)算法的基础上新加入了残差网络和inceptionv1网络模型，以提高识别精度。残差网络包括多个卷积层和池化层，其中残差网络的每一层输入是由上一层的输入和输出加和而成。inceptionv1网络模型使用多个大小不一的卷积核替代单一卷积核，在增加网络深度和宽度的同时减小参数。

1.3：将预处理的图片输入物品识别模型，即可得到识别准确的图片，在图片中每个物品都被矩形框体精确框住。

1.4：基于步骤1.3的结果，在识别完成图片中设置坐标系，如图2所示，其中图片左上角为原点，定义水平向右为x轴正方向，水平向下为y轴正方向。设特定目标的矩形框左下角坐标为(x0，y0),右上角坐标为(x1，y1),设定其他目标矩形框左下角坐标为(a0，b0),右上角坐标为(a1，b1)。

1.5：基于步骤1.4设置的图片坐标系，在水平方向上，两个矩形框包括水平不重叠、水平部分重叠和水平内包含三种关系。通过公式(1)可进行计算特定物体矩形框与其他物体矩形框的水平重叠长度w；

w＝min(x1,al)-max(x0,a0)(1)

若w≤0，可知两矩形框水平方向上没有重叠。

同理，在竖直方向上，两个矩形框包括水平不重叠、水平部分重叠和水平内包含三种关系。通过公式(2)可进行计算特定物体矩形框与其他物体矩形框的竖直重叠长度h。

h＝min(y1,b1)-max(y0,b0)(2)

若h≤0,可知两矩形框竖直方向上没有重叠。

1.6：根据步骤1.5得到的矩形框在两个方向上的重叠长度，可计算出两矩形框的重叠面积s，如公式(3)所示：

s＝w*h(w＞0，h＞0)(3)

因此，可说明两矩形框重叠面积越大，两物体接触越紧密。

通过计算特定目标矩形框与其他目标矩形框的重叠面积，寻找与特定目标有过接触的嫌疑目标。当特定目标矩形框与其他目标矩形框重叠面积大于零时，就判定特定目标与其他目标有过接触，并将此目标列为嫌疑目标，进行下一步的追踪。计算每张图片中特定目标矩形框与其他目标矩形框的重叠面积，依次判断，将嫌疑目标一一列出，在下一步中继续追踪。

上述步骤二具体包括以下步骤：

2.1：调取监控范围内所有摄像头特定时间片范围内的监控视频。

2.2：按照步骤一的方法，将视频预处理为图片，并进行特定目标识别。

2.3：将识别好的图片进行排查，将所有含有特定目标的图片保留。

2.4：基于步骤2.3的结果，找到发生时刻最晚的包含特定目标图片，即在监控范围内特定目标消失时刻的图片，根据图片信息，得到特定目标失踪前的位置信息。

2.5：将所有包含特定目标图片按照步骤一中伴随移动模型方法计算其与其他嫌疑目标重叠面积，列出所有包含特定目标与嫌疑目标的图片。

2.6：基于步骤2.5的结果，将同一摄像头内所有包含特定目标与嫌疑目标的图片按照时钟服务器提供的先后顺序依次排列。遍历上述图片，追踪特定目标与嫌疑目标的伴随移动。

上述步骤三具体包括以下步骤：

3.1：调取特定范围内多个摄像头特定时间片范围内的监控视频。

3.2：按照步骤一的方法，将视频预处理为图片，并进行特定目标与嫌疑目标识别。

3.3：将识别好的图片进行排查，将所有含有特定目标及嫌疑目标的图片保留作为数据集，其中仅包含特定目标或嫌疑目标的图片也应保留，作为下一步追踪特定目标与嫌疑目标伴随移动的依据。

3.4：将步骤3.3获得的图片按照发生时刻先后顺序依次排好，遍历以上图片，可以得到特定目标与嫌疑目标的伴随移动。

3.5：根据特定目标与嫌疑目标的伴随移动，将图片上的位置信息与地理信息系统中各位置点一一比对，将这些位置点按照发生时刻的先后顺序依次连接，即可得到特定目标与嫌疑目标伴随移动的轨迹路线。

上述方法中得到的特定目标与嫌疑目标已有行动轨迹，可用于预测特定目标与嫌疑目标可能出现的监控区域。即根据已知特定目标与嫌疑目标的已有行动轨迹以及特定目标与嫌疑目标在特定区域范围内特定时间片内最后时刻的消失位置，可预测特定目标与嫌疑目标下一个可能出现的监控区域。

具体地，根据步骤三得到的特定目标与嫌疑目标的伴随移动轨迹，找到特定目标与嫌疑目标在监控区域范围内最后一次出现的监控摄像头。在特定目标与嫌疑目标最后一次出现的监控摄像头中，按照伴随移动轨迹的延伸与发散方向，预测特定目标与嫌疑目标下一个可能出现的监控区域。

本实施例的特定目标与嫌疑目标持续移动监控追踪方法，在某一监控摄像头处发生物品、人员等特定目标失踪后，采用机器自动识别物品模型，对特定范围内的监控视频进行特定目标识别。在完成特定目标识别后，根据在监控画面中与特定目标的接触面积确定嫌疑目标。追踪特定目标与嫌疑目标在特定范围内的伴随移动，得到特定目标与嫌疑目标在特定范围内的伴随移动轨迹。根据特定目标与嫌疑目标的伴随移动轨迹，预测其下一个可能出现的监控区域。警方办案人员可在特定目标与嫌疑目标下一个可能出现区域采取提前蹲守布控方式，以减少侦破案件时间，大大提高办案效率，减少人力资源浪费。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。