一种基于空间约束的可疑人员跨镜头追踪方法及装置与流程

文档序号:19741549发布日期:2020-01-18 05:18阅读:来源:国知局

技术特征:

1.一种基于空间约束的可疑人员跨镜头追踪方法,其特征在于,所述方法包括:

s11:将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测,获得各个视频帧上的二维行人检测框;根据各个监控摄像头注册到虚拟三维场景的投影矩阵,将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框;

s12:接收用户在虚拟三维场景中选定的可疑人员位置,判断所选可疑人员位置的三维坐标是否属于任一个三维行人检测框,若是,则通过透视投影矩阵反投影获取所选可疑人员位置的三维坐标对应的二维坐标,进而获得所选可疑人员的二维行人检测框;

s13:在所选可疑人员的二维行人检测框对应的监控摄像头视频帧上对所选可疑人员进行跟踪并获取所选可疑人员的二维跟踪轨迹点集,再利用投影矩阵转换获得所选可疑人员的三维跟踪轨迹点集并拟合;

s14:实时检测所选可疑人员是否在当前监控摄像头视频帧上丢失,若丢失则在预设邻近监控摄像头的视频帧上检索所选可疑人员,检索到所选可疑人员后返回步骤s13。

2.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法,其特征在于,所述步骤s14中检索到所选可疑人员后返回步骤s13的方法包括:当在其他监控摄像头视频帧上检索到所选可疑人员时,根据该监控摄像头的空间位置三维坐标和观察姿态角重新设置虚拟三维场景主窗口视点,再返回步骤s13。

3.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法,其特征在于,所述步骤s11中将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测,获得各个视频帧上的二维行人检测框的方法包括:

采用opencv开源计算机视觉库读取各个监控摄像头传入的视频流并解码视频帧数据;

采用yolov3目标检测算法、利用预训练模型构建的行人检测器,对各个视频帧数据进行实时视频检测,获取各个视频帧上的二维行人检测框。

4.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法,其特征在于,所述步骤s11中根据各个监控摄像头注册到虚拟三维场景的投影矩阵,将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框的方法包括:

在监控摄像头的二维视频帧上选取大于或等于4个角点作为二维控制点集a,在虚拟三维场景中利用屏幕交互选取二维控制点对应的特征点,通过三维碰撞检测计算二维控制点的三维坐标,作为三维控制点集b;

根据监控摄像头的线性模型,利用二维控制点集a及其对应的三维控制点集b,求解监控摄像头的透视投影矩阵;

对透视投影矩阵进行qr分解,求解监控摄像头内、外方位元素;

根据监控摄像头透视投影矩阵,将三维控制点集b投影到监控摄像头的视频帧上,得到新的二维控制点集c;

计算二维控制点集a和二维控制点集c中对应点误差,利用levenberg-marquardt算法最小化二维控制点的预测图像位置与实际图像位置的反投影误差;

利用获取的监控摄像头内、外方位元素和对应点误差,计算监控摄像头在虚拟三维场景中的透视投影矩阵和观察矩阵,添加监控摄像头到虚拟三维场景中;

利用投影矩阵将二维目标行人检测框的四个角点投影到虚拟三维场景中,再利用osgearth库的绘制接口在虚拟三维场景中绘制出三维行人检测框。

5.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法,其特征在于,所述步骤s12的方法包括:

接收用户在虚拟三维场景中使用鼠标单击选中的可疑人员位置,获取鼠标单击位置的屏幕坐标,再利用osgearth库碰撞检测功能接口计算得到鼠标单击位置对应的三维坐标;

计算该三维坐标点是否被任一个三维行人检测框所包含,若是则通过透视投影矩阵反投影获取三维坐标对应的二维坐标,进而确定其对应的所选可疑人员的二维行人检测框。

6.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法,其特征在于,所述步骤s13的方法包括:

利用获取的二维行人检测框初始化kcf跟踪器,通过kcf跟踪器对跟踪的所选可疑人员逐帧计算具体位置,获取所选可疑人员的二维轨迹点集;

采用曼哈顿距离间距采样二维轨迹点集,利用投影矩阵转换二维坐标,进而获取所选可疑人员的三维跟踪轨迹点集;

利用三次贝塞尔曲线拟合所选可疑人员的三维跟踪轨迹点集,进而在虚拟三维场景中动态添加一个线节点,将三维跟踪轨迹点集绘制在虚拟三维场景中并与所选可疑人员相绑定。

7.根据权利要求1所述的基于空间约束的可疑人员跨镜头追踪方法,其特征在于,所述步骤s14的方法包括:

利用kcf跟踪器获取每一帧视频帧上所选可疑人员的目标检测框,获取目标检测框中的前景区域;

计算前景区域中运动目标轮廓在整个前景区域的面积占比,若面积占比低于预设阈值,则认为当前视频帧中kcf跟踪器检测的目标检测框内为背景区域,说明所选可疑人员已丢失;

对所选可疑人员丢失前的监控摄像头视频帧内的跟踪样本集进行间隔一定帧数的样本采样,利用bfe深度学习算法提取所选可疑人员的特征向量,计算采样样本的样本行人特征向量;

根据预设近邻监控摄像头的映射集合,确定所选可疑人员丢失后可能出现在视频帧的监控摄像头,将预先初始化的yolov3对象分配到这几个监控摄像头的视频帧中,利用yolov3目标检测算法提取每个监控摄像头视频帧下的二维行人检测框,利用bfe算法提取检测到行人的特征作为检索行人特征向量;

计算检索行人特征向量和样本行人特征向量的余弦相似度值,若相似度值低于预设相似度阈值,则认为检索行人特征向量与样本行人特征向量不相似,若相似度值高于预设相似度阈值,则取最高相似度检索行人匹配样本行人;

获取匹配所选可疑人员的二维行人检测框,返回步骤s13。

8.一种基于空间约束的可疑人员跨镜头追踪装置,其特征在于,所述装置包括:

三维行人检测框获取模块,用于将映射在虚拟三维场景中的各个监控摄像头的视频帧数据进行行人检测,获得各个视频帧上的二维行人检测框;根据各个监控摄像头注册到虚拟三维场景的投影矩阵,将各个视频帧上的二维行人检测框转换为虚拟三维场景中的三维行人检测框;

二维行人检测框获取模块,用于接收用户在虚拟三维场景中选定的可疑人员位置,判断所选可疑人员位置的三维坐标是否属于任一个三维行人检测框,若是,则通过透视投影矩阵反投影获取所选可疑人员位置的三维坐标对应的二维坐标,进而获得所选可疑人员的二维行人检测框;

所选可疑人员追综模块,用于在所选可疑人员的二维行人检测框对应的监控摄像头视频帧上对所选可疑人员进行跟踪并获取所选可疑人员的二维跟踪轨迹点集,再利用投影矩阵转换获得所选可疑人员的三维跟踪轨迹点集并拟合;

所选可疑人员监控模块,用于实时检测所选可疑人员是否在当前监控摄像头视频帧上丢失,若丢失则在预设邻近监控摄像头的视频帧上检索所选可疑人员,检索到所选可疑人员后返回所选可疑人员追踪模块。

9.一种基于空间约束的可疑人员跨镜头追踪装置,其特征在于,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序以实现如权利要求1至7中任一项所述基于空间约束的可疑人员跨镜头追踪方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于空间约束的可疑人员跨镜头追踪方法的步骤。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1