一种基于空间约束的可疑人员跨镜头追踪方法及装置与流程

本发明涉及视频监控领域，具体涉及一种基于空间约束的可疑人员跨镜头追踪方法及装置。

背景技术：

现有的行人重识别技术主要是基于多目标跟踪的基础，获取多摄像头多目标的跟踪轨迹，然后利用深度学习算法提取行人轨迹的平均特征，最后通过对行人平均特征的聚合实现多摄像头下行人轨迹的配对，找出同一个行人的轨迹并连接。

视频监控领域更关注的应该是镜头中单个或几个特殊嫌疑人的轨迹，对视频内所有行人进行跨摄像头跟踪在系统实现中难度大，且需要耗费大量计算性能。同时，现有行人重识别技术更倾向于后期对跟踪轨迹的处理，缺少跟踪的既视感。

技术实现要素：

有鉴于此，本申请的主要目的是在虚拟三维场景视频映射的基础上，提供一种基于空间约束的可疑人员跨镜头追踪方法，解决增强虚拟下的所选可疑人员的选取交互和跨镜头持续追踪问题。

为解决以上技术问题，本发明提供的技术方案是一种基于空间约束的可疑人员跨镜头追踪方法，所述方法包括：

s11：将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测，获得各个视频帧上的二维行人检测框；根据各个监控摄像头注册到虚拟三维场景的投影矩阵，将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框；

s12：接收用户在虚拟三维场景中选定的可疑人员位置，判断所选可疑人员位置的三维坐标是否属于任一个三维行人检测框，若是，则通过透视投影矩阵反投影获取所选可疑人员位置的三维坐标对应的二维坐标，进而获得所选可疑人员的二维行人检测框；

s13：在所选可疑人员的二维行人检测框对应的监控摄像头视频帧上对所选可疑人员进行跟踪并获取所选可疑人员的二维跟踪轨迹点集，再利用投影矩阵转换获得所选可疑人员的三维跟踪轨迹点集并拟合；

s14：实时检测所选可疑人员是否在当前监控摄像头视频帧上丢失，若丢失则在预设邻近监控摄像头的视频帧上检索所选可疑人员，检索到所选可疑人员后返回步骤s13。

优选的，所述步骤s14中检索到所选可疑人员后返回步骤s13的方法包括：当在其他监控摄像头视频帧上检索到所选可疑人员时，根据该监控摄像头的空间位置三维坐标和观察姿态角重新设置虚拟三维场景主窗口视点，再返回步骤s13。

优选的，所述步骤s11中将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测，获得各个视频帧上的二维行人检测框的方法包括：

采用opencv开源计算机视觉库读取各个监控摄像头传入的视频流并解码视频帧数据；

采用yolov3目标检测算法、利用预训练模型构建的行人检测器，对各个视频帧数据进行实时视频检测，获取各个视频帧上的二维行人检测框。

优选的，所述步骤s11中根据各个监控摄像头注册到虚拟三维场景的投影矩阵，将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框的方法包括：

在监控摄像头的二维视频帧上选取大于或等于4个角点作为二维控制点集a，在虚拟三维场景中利用屏幕交互选取二维控制点对应的特征点，通过三维碰撞检测计算二维控制点的三维坐标，作为三维控制点集b；

根据监控摄像头的线性模型，利用二维控制点集a及其对应的三维控制点集b，求解监控摄像头的透视投影矩阵；

对透视投影矩阵进行qr分解，求解监控摄像头内、外方位元素；

根据监控摄像头透视投影矩阵，将三维控制点集b投影到监控摄像头的视频帧上，得到新的二维控制点集c；

计算二维控制点集a和二维控制点集c中对应点误差，利用levenberg-marquardt算法最小化二维控制点的预测图像位置与实际图像位置的反投影误差；

利用获取的监控摄像头内、外方位元素和对应点误差，计算监控摄像头在虚拟三维场景中的透视投影矩阵和观察矩阵，添加监控摄像头到虚拟三维场景中；

利用投影矩阵将二维目标行人检测框的四个角点投影到虚拟三维场景中，再利用osgearth库的绘制接口在虚拟三维场景中绘制出三维行人检测框。

优选的，所述步骤s12的方法包括：

接收用户在虚拟三维场景中使用鼠标单击选中的可疑人员位置，获取鼠标单击位置的屏幕坐标，再利用osgearth库碰撞检测功能接口计算得到鼠标单击位置对应的三维坐标；

计算该三维坐标点是否被任一个三维行人检测框所包含，若是则通过透视投影矩阵反投影获取三维坐标对应的二维坐标，进而确定其对应的所选可疑人员的二维行人检测框。

优选的，所述步骤s13的方法包括：

利用获取的二维行人检测框初始化kcf跟踪器，通过kcf跟踪器对跟踪的所选可疑人员逐帧计算具体位置，获取所选可疑人员的二维轨迹点集；

采用曼哈顿距离间距采样二维轨迹点集，利用投影矩阵转换二维坐标，进而获取所选可疑人员的三维跟踪轨迹点集；

利用三次贝塞尔曲线拟合所选可疑人员的三维跟踪轨迹点集，进而在虚拟三维场景中动态添加一个线节点，将三维跟踪轨迹点集绘制在虚拟三维场景中并与所选可疑人员相绑定。

优选的，所述步骤s14的方法包括：

利用kcf跟踪器获取每一帧视频帧上所选可疑人员的目标检测框，获取目标检测框中的前景区域；

计算前景区域中运动目标轮廓在整个前景区域的面积占比，若面积占比低于预设阈值，则认为当前视频帧中kcf跟踪器检测的目标检测框内为背景区域，说明所选可疑人员已丢失；

对所选可疑人员丢失前的监控摄像头视频帧内的跟踪样本集进行间隔一定帧数的样本采样，利用bfe深度学习算法提取所选可疑人员的特征向量，计算采样样本的样本行人特征向量；

根据预设近邻监控摄像头的映射集合，确定所选可疑人员丢失后可能出现在视频帧的监控摄像头，将预先初始化的yolov3对象分配到这几个监控摄像头的视频帧中，利用yolov3目标检测算法提取每个监控摄像头视频帧下的二维行人检测框，利用bfe算法提取检测到行人的特征作为检索行人特征向量；

计算检索行人特征向量和样本行人特征向量的余弦相似度值，若相似度值低于预设相似度阈值，则认为检索行人特征向量与样本行人特征向量不相似，若相似度值高于预设相似度阈值，则取最高相似度检索行人匹配样本行人；

获取匹配所选可疑人员的二维行人检测框，返回步骤s13。

本发明还提供一种基于空间约束的可疑人员跨镜头追踪装置，所述装置包括：

三维行人检测框获取模块，用于将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测，获得各个视频帧上的二维行人检测框；根据各个监控摄像头注册到虚拟三维场景的投影矩阵，将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框；

二维行人检测框获取模块，用于接收用户在虚拟三维场景中选定的可疑人员位置，判断所选可疑人员位置的三维坐标是否属于任一个三维行人检测框，若是，则通过透视投影矩阵反投影获取所选可疑人员位置的三维坐标对应的二维坐标，进而获得所选可疑人员的二维行人检测框；

所选可疑人员追综模块，用于在所选可疑人员的二维行人检测框对应的监控摄像头视频帧上对所选可疑人员进行跟踪并获取所选可疑人员的二维跟踪轨迹点集，再利用投影矩阵转换获得所选可疑人员的三维跟踪轨迹点集并拟合；

所选可疑人员监控模块，用于实时检测所选可疑人员是否在当前监控摄像头视频帧上丢失，若丢失则在预设邻近监控摄像头的视频帧上检索所选可疑人员，检索到所选可疑人员后返回所选可疑人员追踪模块。

本发明还提供一种基于空间约束的可疑人员跨镜头追踪装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7中任一项所述基于空间约束的可疑人员跨镜头追踪方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于空间约束的可疑人员跨镜头追踪方法的步骤。

本申请与现有技术相比，其有益效果详细说明如下：本申请提供的基于空间约束的可疑人员跨镜头追踪方法，采用深度学习算法实时检测视频中行人目标，利用交互操作选取用户关注的所选可疑人员目标，实现对所选可疑人员的单监控摄像头跟踪和基于深度学习算法提取行人特征作为比对依据的跨镜头跟踪，并根据所选可疑人员目标的位置信息和运动信息，在局部场景内实现全局优化，有效提升行人检索重识别的效率。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于空间约束的可疑人员跨镜头追踪方法的流程示意图；

图2为本发明实施例提供的对所选可疑人员进行单监控摄像头跟踪的方法流程示意图；

图3为本发明实施例提供的对所选可疑人员进行跨镜头跟踪的方法流程示意图；

图4为本发明实施例提供的基于空间约束的可疑人员跨镜头追踪装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示，本发明实施例提供一种基于空间约束的可疑人员跨镜头追踪方法，该跟踪方法的应用场景不是常规的视频监控场景，而是基于视频映射的虚拟三维场景。基于osgearth库开发的虚拟三维场景，通过真实场景监控摄像头位置和姿态的求解，将监控摄像头注册到虚拟三维场景中，再利用shadowmap方法将监控摄像头视频逐帧映射到虚拟三维场景中，实现了监控视频与虚拟三维场景的有效融合。该基于视频映射的虚拟三维场景系统包括：后端设备，即具有多gpu、大内存的后台服务器和显示设备(显示虚拟三维场景)；前端设备，即普通监控摄像头；主要工作包括：普通监控摄像头通过有线/无线连接将视频数据流传输到后台服务器。

基于空间约束的可疑人员跨镜头追踪方法，主要应用于后台服务器，具体方法包括：

s11：将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测，获得各个视频帧上的二维行人检测框；根据各个监控摄像头注册到虚拟三维场景的投影矩阵，将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框。

需要说明的是，步骤s11中将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测，获得各个视频帧上的二维行人检测框的方法包括：采用opencv开源计算机视觉库读取各个监控摄像头传入的视频流并解码视频帧数据；采用yolov3目标检测算法、利用预训练模型构建的行人检测器，对各个视频帧数据进行实时视频检测，获取各个视频帧上的二维行人检测框。

具体的，在后台服务器上，利用opencv开源计算机视觉库读取前端监控摄像头传入的视频流并解码视频数据，采用多线程技术并行加载多个视频流数据，保证虚拟三维场景中渲染显示的同步性。初始化多个yolov3深度学习算法对象，分配到后台服务器上的多个gpu上，每个gpu上初始化两个yolov3对象。通过目标检测算法采用yolov3算法，利用公开的预训练模型构建行人检测器，基于gpu加速可以达到视频实时检测的效果。

在三维视频映射场景中，视频是存在可见性的，即从虚拟三维场景主窗口观察虚拟三维场景，不是所有的监控摄像头都会出现在主窗口内，所以我们只对可见的视频进行目标检测。即每一个可见视频对应的加载线程分配一个yolov3对象，从视频流中获取视频帧的影像，利用yolov3目标检测算法进行实时视频检测，获取视频帧上的二维行人检测框，最后将视频影像渲染到虚拟三维场景中。将结合cuda优化计算的yolov3目标检测算法封装成dll库，再利用公开的预训练模型实现目标检测功能，即利用目标检测算法对映射在虚拟三维场景中的视频帧图像信息进行分析，提取行人特征，获取二维行人检测框。

需要说明的是，步骤s11中根据各个监控摄像头注册到虚拟三维场景的投影矩阵，将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框的方法包括：在监控摄像头的二维视频帧上选取大于或等于4个角点作为二维控制点集a，在虚拟三维场景中利用屏幕交互选取二维控制点对应的特征点，通过三维碰撞检测计算二维控制点的三维坐标，作为三维控制点集b；根据监控摄像头的线性模型，利用二维控制点集a及其对应的三维控制点集b，求解监控摄像头的透视投影矩阵；对透视投影矩阵进行qr分解，求解监控摄像头内、外方位元素；根据监控摄像头透视投影矩阵，将三维控制点集b投影到监控摄像头的视频帧上，得到新的二维控制点集c；计算二维控制点集a和二维控制点集c中对应点误差，利用levenberg-marquardt算法最小化二维控制点的预测图像位置与实际图像位置的反投影误差；利用获取的监控摄像头内、外方位元素和二维控制点误差，计算监控摄像头在虚拟三维场景中的透视投影矩阵和观察矩阵，添加监控摄像头到虚拟三维场景中；利用投影矩阵将二维目标行人检测框的四个角点投影到虚拟三维场景中，再利用osgearth库的绘制接口在虚拟三维场景中绘制出三维行人检测框。

具体的，根据预先通过视频注册的监控摄像头计算投影矩阵，以实现多个像素坐标到统一的三维坐标的转换，获取三维行人检测框。在二维视频帧上选取大于或等于4个的明显的角点作为二维控制点集a。在虚拟三维场景中，利用屏幕交互选取二维控制点对应的特征点，通过三维碰撞检测计算二维控制点的三维坐标，作为三维控制点集b。根据监控摄像头的线性模型，利用二维控制点集a及其对应的三维控制点集b，求解监控摄像头的透视投影矩阵。对透视投影矩阵进行qr分解，求解摄相机内、外方位元素。根据摄相机透视投影矩阵，将三维控制点集b中的三维控制点投影到视频帧上，得到新的二维控制点集c。计算二维控制点集a和c中对应点误差，利用levenberg-marquardt算法(lm算法)最小化控制点的预测图像位置与实际图像位置的反投影误差，提高摄像机内、外方位元素的精度。利用获取的摄像机内、外方位元素，计算摄像机在虚拟三维场景中的透视投影矩阵和观察矩阵，添加监控摄像头到虚拟三维场景中。利用监控摄像头投影矩阵将二维目标行人检测框的四个角点投影到虚拟三维场景中，再利用osgearth库的绘制接口在虚拟三维场景中绘制三维行人检测框。

s12：接收用户在虚拟三维场景中选定的可疑人员位置，判断所选可疑人员位置的三维坐标是否属于任一个三维行人检测框，若是，则通过透视投影矩阵反投影获取所选可疑人员位置的三维坐标对应的二维坐标，进而获得所选可疑人员的二维行人检测框。

需要说明的是，步骤s12的方法包括：接收用户在虚拟三维场景中使用鼠标单击选中的可疑人员位置，获取鼠标单击位置的屏幕坐标，再利用osgearth库碰撞检测功能接口计算得到鼠标单击位置对应的三维坐标；计算该三维坐标点是否被任一个三维行人检测框所包含，若是则通过透视投影矩阵反投影获取三维坐标对应的二维坐标，进而确定其对应的所选可疑人员的二维行人检测框。

具体的，通过虚拟三维场景鼠标交互选取所选可疑人员。所述鼠标交互，包括如下步骤：用户使用鼠标单击虚拟三维场景中所选可疑人员的位置，匹配鼠标单击位置和三维行人检测框，进而确定其二维行人检测框。

具体的，在虚拟三维场景中使用鼠标单击选中所选可疑人员的位置，获取鼠标单击位置的屏幕坐标，再利用osgearth库碰撞检测功能接口计算得到鼠标单击位置对应的三维坐标。然后计算该三维坐标点是否被某个三维行人检测框所包含，如果是，则通过透视投影矩阵反投影获取三维坐标对应的二维坐标，进而确定其对应二维行人检测框。

s13：在所选可疑人员的二维行人检测框对应的监控摄像头视频帧上对所选可疑人员进行跟踪并获取所选可疑人员的二维跟踪轨迹点集，再利用投影矩阵转换获得所选可疑人员的三维跟踪轨迹点集并拟合。

如图2所示，需要说明的是，步骤s13的方法包括：利用获取的二维行人检测框初始化kcf跟踪器，通过kcf跟踪器对跟踪的所选可疑人员逐帧计算具体位置，获取所选可疑人员的二维轨迹点集；采用曼哈顿距离间距采样二维轨迹点集，利用投影矩阵转换二维坐标，进而获取所选可疑人员的三维跟踪轨迹点集；利用三次贝塞尔曲线拟合所选可疑人员的三维跟踪轨迹点集，进而在虚拟三维场景中动态添加一个线节点，将三维跟踪轨迹点集绘制在虚拟三维场景中并与所选可疑人员相绑定。

具体的，利用获取的二维行人检测框初始化kcf跟踪器，之后kcf跟踪器会对跟踪的所选可疑人员逐帧计算具体位置，获取所选可疑人员的二维轨迹点集。其中，kcf算法利用循环移位的方式构造大量的训练样本和待测样本。利用训练样本训练一个核相关滤波器，然后通过分类器计算待测样本的响应值,选取响应值最大的待测样本为新的跟踪目标，同时利用循环矩阵可以傅氏对角化的性质，大大降低了分类器训练和检测过程中的运算量。

在单监控摄像头视频帧上对所选可疑人员进行跟踪并获取二维跟踪轨迹点集，进而利用坐标转换获取三维跟踪轨迹点集并拟合。利用鼠标交互获得的二维行人检测框初始化目标跟踪器，目标跟踪器返回每一帧跟踪目标的位置。对二维轨迹点集进行间隔距离采样，坐标转换后获取对应的三维轨迹点集，利用三次贝塞尔曲线拟合轨迹。

具体的，采用获取的跟踪目标检测框(二维行人检测框)初始化kcf跟踪器，之后在每一帧视频帧中更新kcf跟踪器，获取跟踪目标在当前视频帧图像中的位置检测框。获取跟踪目标检测框对应的前景区域，利用上面获取的位置检测框，提取前景影像中相同位置的区域q。计算区域q中白色区域轮廓面积s和区域q的总面积s。面积占比公式如下：如果p值小于阈值15％(经验值，由实验观测得到)，则认为当前跟踪检测框内为背景，跟踪目标已丢失。

采用曼哈顿距离间距采样二维轨迹点集，利用相机投影矩阵转换二维坐标，进而获取所选可疑人员的三维轨迹点集。

具体的，以二维行人检测框的底部中点作为轨迹点，将初始化二维行人检测框底部中点作为二位轨迹点集t的第一个点，然后逐帧计算轨迹点与点集t最后一点的曼哈顿距离，若小于一定阈值，则该点添加入点集t；否则舍弃该点。同时，利用监控摄像头透视投影矩阵转换二维坐标为三维坐标，添加到所选可疑人员的三维轨迹点集。

利用三次贝塞尔曲线拟合所选可疑人员的三维轨迹点集，进而在虚拟三维场景中动态添加一个线节点，将三维轨迹点集绘制在虚拟三维场景中并与所选可疑人员相绑定。

具体的，三次贝塞尔曲线公式为：

b(t)＝p0*(1-t)³+3*p1*t*(1-t)²+3*p2*t²*(1-t)+p3*t³，t∈[0，1]，

其中t为曲线长度比例，p0为起始点，p1为控制点1，p2为控制点2，p3为控制点3，b(t)为t位置对应的点。

结合三位轨迹点集和三次贝塞尔曲线公式，计算得到三维贝塞尔曲线点集l＝{x|x＝b(t)}。最后，利用osgearth库三维线节点绘制接口，将点集l绘制为线节点，添加到虚拟三维场景中。

s14：实时检测所选可疑人员是否在当前监控摄像头视频帧上丢失，若丢失则在预设邻近监控摄像头的视频帧上检索所选可疑人员，检索到所选可疑人员后返回步骤s13。

如图3所示，需要说明的是，步骤s14的方法包括：利用kcf跟踪器获取每一帧视频帧上所选可疑人员的目标检测框，获取目标检测框中的前景区域；计算前景区域中运动目标轮廓在整个前景区域的面积占比，若面积占比低于预设阈值，则认为当前视频帧中kcf跟踪器检测的目标检测框内为背景区域，说明所选可疑人员已丢失；对所选可疑人员丢失前的监控摄像头视频帧内的跟踪样本集进行间隔一定帧数的样本采样，利用bfe深度学习算法提取所选可疑人员的特征向量，计算采样样本的样本行人特征向量；根据预设近邻监控摄像头的映射集合，确定所选可疑人员丢失后可能出现在视频帧的监控摄像头，将预先初始化的yolov3对象分配到这几个监控摄像头的视频帧中，利用yolov3目标检测算法提取每个监控摄像头视频帧下的二维行人检测框，利用bfe算法提取检测到行人的特征作为检索行人特征向量；计算检索行人特征向量和样本行人特征向量的余弦相似度值，若相似度值低于预设相似度阈值，则认为检索行人特征向量与样本行人特征向量不相似，若相似度值高于预设相似度阈值，则取最高相似度检索行人匹配样本行人；获取匹配所选可疑人员的二维行人检测框，返回步骤s13，实现所选可疑人员的跨镜头持续追踪。

具体的，当所选可疑人员在当前镜头中丢失时，对单监控摄像头所选可疑人员跟踪样本集进行采样，计算采样样本的平均特征。同时，对邻近单监控摄像头下检测到的行人目标提取特征作为检索特征，将该检索特征与所选可疑人员的样本特征进行比对，并设置阈值判断检索目标是否为所选可疑人员。如果检索到所选可疑人员，则持续跟踪该目标和聚合轨迹；否则继续检索所选可疑人员。

具体的，邻近单监控摄像头下检测到的行人目标提取特征，包括如下步骤：根据当前监控摄像头空间位置和所选可疑人员的运动方向信息，在三维视频映射虚拟场景中寻找邻近的摄像头覆盖，检测行人目标和利用bfe算法提取行人特征。设置阈值判断检索目标是否为所选可疑人员，包括以下步骤：计算检索行人特征和样本行人特征的余弦相似度。设置一个阈值，比阈值低认为检索行人与样本行人不相似，比阈值高则取最高相似度检索行人匹配样本行人。

具体的，当所选可疑人员从当前镜头消失后，即所选可疑人员的行人检测框超出视频区域边界或者所选可疑人员被障碍物完全遮挡丢失，采取如下步骤：

(1)输入视频流，利用vibe算法提取每一帧视频的前景影像。利用kcf目标跟踪算法获取每一帧视频上跟踪目标的所在位置(检测框)。根据跟踪目标的检测框，提取同一帧视频中的前景区域。计算前景区域中运动目标轮廓在整个前景区域的面积占比，若面积占比低于阈值15％(经验值，由实验观测得到)，则认为当前视频帧中kcf跟踪器检测的为背景区域，说明跟踪目标被障碍物近似完全遮挡或者跟踪目标离开镜头观察范围，跟踪目标已丢失。

(2)对所选可疑人员在单监控镜头内的跟踪样本集进行间隔一定帧数的样本采样，利用bfe深度学习算法提取所选可疑人员的特征向量，计算采样样本的平均特征，提高样本特征的鲁棒性。其中，bfe深度学习算法预先在market1501公开数据集上训练，rank-1准确率为94.4％。

(3)根据监控摄像头空间位置以及各相机在交通关系网中的联系，预先确定各监控摄像头对应的近邻监控摄像头的映射集合。

(4)根据上述近邻监控摄像头的映射集合，确定当前所选可疑人员丢失后可能出现在监控视频的监控摄像头，将预先初始化的yolov3对象分配到这几个摄像头的监控视频中，利用yolov3目标检测算法提取每个单监控摄像头下行人的检测框，利用bfe算法提取检测到行人的特征作为检索特征。

(5)计算检索行人特征向量和样本行人特征向量的余弦相似度。设置一个阈值，比阈值低认为检索行人与样本行人不相似，比阈值高则取最高相似度检索行人匹配样本行人。其中，余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫“余弦相似性”。余弦相似性推导公式如下：

其中，^a，^b表示检索行人特征向量和样本行人特征向量。

(6)获取匹配所选可疑人员的行人检测框，重复单监控摄像头跟踪方法，实现所选可疑人员的跨镜头持续追踪。

需要说明的是，步骤s14中检索到所选可疑人员后返回步骤s13的方法包括：当在其他监控摄像头视频帧上检索到所选可疑人员时，根据该监控摄像头的空间位置三维坐标和观察姿态角重新设置虚拟三维场景主窗口视点，再返回步骤s13。

具体的，在三维视频映射场景中，当所选可疑人员逃离当前镜头，在其它镜头被检测到的时候，同时自动跳转虚拟三维场景的观察视角。同时自动跳转虚拟三维场景的观察视角包括以下步骤：根据步骤s14检索得到的所选可疑人员，找到其所在监控摄像头的空间位置和观察角度，然后据此跳跃虚拟三维场景的观察视角，使虚拟三维场景观察视角始终绑定所选可疑人员目标。

具体的，根据前面可知虚拟三维场景中注册的监控摄像头都包含一个空间位置三维坐标和监控摄像头观察姿态角。当所选可疑人员在当前虚拟三维场景主窗口中消失后，利用上述步骤s14的行人重识别技术重新获取和识别所选可疑人员，得到所选可疑人员再次出现的视频所属监控摄像头空间位置三维坐标和监控摄像头观察姿态角。这时结合虚拟三维场景主窗口视点可跳转的功能，自动将当前虚拟三维场景主窗口视点跳转到所选可疑人员再次出现的监控摄像头位置，并根据该监控摄像头空间位置三维坐标和监控摄像头观察姿态角重新设置虚拟三维场景主窗口视点。

综上，本发明实施例的基于空间约束的可疑人员跨镜头追踪方法，采用深度学习算法实时检测视频行人目标，利用交互操作选取用户关注的所选可疑人员目标，实现对所选可疑人员的单监控摄像头跟踪和基于深度学习算法提取行人特征作为比对依据的跨镜头跟踪，并根据所选可疑人员目标的位置信息和运动信息，在局部场景内实现全局优化，有效提升行人检索重识别的效率。通过将原始二维跟踪轨迹映射到虚拟三维场景中，并进行曲线拟合，增强了轨迹线条的美感。同时，利用监控摄像头的空间注册信息，将虚拟三维场景视角和所选可疑人员目标进行绑定，实现了所选可疑人员目标跨境持续跟踪的可视化。

如图4所示，本发明实施例还提供一种基于空间约束的可疑人员跨镜头追踪装置，该装置包括：

三维行人检测框获取模块21，用于将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测，获得各个视频帧上的二维行人检测框；根据各个监控摄像头注册到虚拟三维场景的投影矩阵，将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框；

二维行人检测框获取模块22，用于接收用户在虚拟三维场景中选定的可疑人员位置，判断所选可疑人员位置的三维坐标是否属于任一个三维行人检测框，若是，则通过透视投影矩阵反投影获取所选可疑人员位置的三维坐标对应的二维坐标，进而获得所选可疑人员的二维行人检测框；

所选可疑人员追综模块23，用于在所选可疑人员的二维行人检测框对应的监控摄像头视频帧上对所选可疑人员进行跟踪并获取所选可疑人员的二维跟踪轨迹点集，再利用投影矩阵转换获得所选可疑人员的三维跟踪轨迹点集并拟合；

所选可疑人员监控模块24，用于实时检测所选可疑人员是否在当前监控摄像头视频帧上丢失，若丢失则在预设邻近监控摄像头的视频帧上检索所选可疑人员，检索到所选可疑人员后返回所选可疑人员追踪模块。

本发明实施例还提供一种基于空间约束的可疑人员跨镜头追踪装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如上述基于空间约束的可疑人员跨镜头追踪方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于空间约束的可疑人员跨镜头追踪方法的步骤。

图4所对应实施例中特征的说明可以参见图1-图3所对应实施例的相关说明，这里不再一一赘述。

以上对本发明实施例所提供的一种基于空间约束的可疑人员跨镜头追踪方法、装置和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。