1.一种跨相机道路空间融合及车辆目标检测跟踪方法,其特征在于,该方法使用相机标定技术对跨相机场景进行标定,利用跨相机场景中的公共区域完成道路空间融合,同时采用深度学习的方法对车辆目标进行检测,完成对跨相机车辆追踪;
具体包括如下步骤:
步骤1,输入场景1和场景2交通场景背景图像p1和p2,视频帧图像序列组s1和s2;
步骤2,构建坐标系和模型,完成相机标定:从步骤1得到的背景图像p1和p2中提取消失点,建立相机模型和坐标系,世界坐标系包含x,y,z轴,图像坐标系包含u,v轴、车辆目标在图像坐标系下的二维包络框模型,并结合消失点进行相机标定,得到相机标定参数h1和h2,h表示二维图像与三维真实世界空间的映射关系矩阵;
步骤3,设置控制点标识道路区域范围:在p1和p2中分别设定2个控制点标识道路区域范围,控制点位于道路中线位置,设场景1控制点世界坐标为
步骤4,生成带空间信息的道路空间融合图像mp:
步骤4.1,设置控制参数组,划定mp中对应场景1和场景2部分像素范围;已知道路宽度为w(mm),宽度方向像素距离比为rw(像素/mm),长度方向距离像素比为rl(像素/mm),生成的空间融合图像mp的像素宽度为wrw,像素长度为
步骤4.2,生成空间融合图像mp:分别遍历空间融合图像mp中场景1部分像素
步骤4.3,解析空间信息:
(1)由融合图mp上任一像素坐标(u,v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标:
统一世界坐标:(v/rw,u/rl+y11,0)
场景1世界坐标:
场景2世界坐标:
(2)由地面任意点世界坐标(x,y,0)解析其在融合图mp中图像坐标:
世界坐标在场景1中:
世界坐标在场景2中:
步骤5,跨相机目标检测:
使用道路车辆数据集训练的目标检测网络yolov3,对步骤1的视频帧图像序列组s1和s2分别进行目标检测,获得目标检测结果在图像坐标下的二维包络框模型:
上式中,
步骤6,跨相机目标跟踪:
在目标检测的基础上,对每个目标提取3个特征点进行跟踪,获得其图像坐标
2.一种跨相机道路空间融合及车辆目标检测跟踪系统,其特征在于,该系统包括:
数据输入模块,用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组;
相机标定模块,用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型,进行相机标定,获取相机标定参数和最终的场景二维—三维变换矩阵;
控制点标识道路区域设置模块,用于在p1和p2中分别设定2个控制点标识道路区域范围,控制点位于道路中线位置,设场景1控制点世界坐标和图像坐标;设场景2控制点世界坐标和图像坐标;
道路空间融合模块:用于在相机标定的基础上,设置场景控制点参数组,生成带有道路空间信息的融合图像;
跨相机车辆目标检测跟踪模块,用于使用深度学习目标检测yolov3对视频帧图像中的车辆目标进行检测,检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别;在车辆目标检测的基础上,对目标提取特征点完成跟踪;将单场景目标检测跟踪结果映射至道路空间融合图像,完成跨相机车辆目标检测跟踪;
结果输出模块,将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出,得到跨相机车辆目标检测跟踪结果。