本发明属于智能交通技术领域,具体涉及一种跨相机道路空间融合及车辆目标检测跟踪方法及系统。
背景技术:
跨相机道路空间融合目前在虚拟现实和计算机视觉等领域得到了广泛应用,常见融合方法主要有专业设备采集和图像处理。前者能够得到较好的融合效果,但是设备昂贵,操作复杂,不利于推广;后者通过相机采集多幅包含公共区域的图像,运用图像融合等技术完成空间融合,这种方法成本低,融合效果较好,具有较好的应用型,是目前空间融合的主要方法。
图像融合技术通常需要依赖图像灰度、频域和特征信息。灰度信息实现简单,但是计算量较大,算法效率较低;频域信息对于场景之间仅存在平移的情况适应性较好,如果场景之间有旋转,会大大降低算法的效率;特征信息需要通过对场景之间寻找特征点对获得,算法效率与精度与提取的特征点对数量和准确定有很大关系。
技术实现要素:
针对现有技术中的缺陷和不足,本发明提供了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统,克服现有摄像头传感器监控范围有限等缺陷。
为达到上述目的,本发明采取如下的技术方案:
一种跨相机道路空间融合及车辆目标检测跟踪方法,该方法使用相机标定技术对跨相机场景进行标定,利用跨相机场景中的公共区域完成道路空间融合,同时采用深度学习的方法对车辆目标进行检测,完成对跨相机车辆追踪;
具体包括如下步骤:
步骤1,输入场景1和场景2交通场景背景图像p1和p2,视频帧图像序列组s1和s2;
步骤2,构建坐标系和模型,完成相机标定:从步骤1得到的背景图像p1和p2中提取消失点,建立相机模型和坐标系,世界坐标系包含x,y,z轴,图像坐标系包含u,v轴、车辆目标在图像坐标系下的二维包络框模型,并结合消失点进行相机标定,得到相机标定参数h1和h2,h表示二维图像与三维真实世界空间的映射关系矩阵;
步骤3,设置控制点标识道路区域范围:在p1和p2中分别设定2个控制点标识道路区域范围,控制点位于道路中线位置,设场景1控制点世界坐标为
步骤4,生成带空间信息的道路空间融合图像mp:
步骤4.1,设置控制参数组,划定mp中对应场景1和场景2部分像素范围;已知道路宽度为w(mm),宽度方向像素距离比为rw(像素/mm),长度方向距离像素比为rl(像素/mm),生成的空间融合图像mp的像素宽度为wrw,像素长度为
步骤4.2,生成空间融合图像mp:分别遍历空间融合图像mp中场景1部分像素
步骤4.3,解析空间信息:
(1)由融合图mp上任一像素坐标(u,v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标:
统一世界坐标:(v/rw,u/rl+y11,0)
场景1世界坐标:
场景2世界坐标:
(2)由地面任意点世界坐标(x,y,0)解析其在融合图mp中图像坐标:
世界坐标在场景1中:
世界坐标在场景2中:
步骤5,跨相机目标检测:
使用道路车辆数据集训练的目标检测网络yolov3,对步骤1的视频帧图像序列组s1和s2分别进行目标检测,获得目标检测结果在图像坐标下的二维包络框模型:
上式中,
步骤6,跨相机目标跟踪:
在目标检测的基础上,对每个目标提取3个特征点进行跟踪,获得其图像坐标
一种跨相机道路空间融合及车辆目标检测跟踪系统,该系统包括:
数据输入模块,用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组;
相机标定模块,用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型,进行相机标定,获取相机标定参数和最终的场景二维-三维变换矩阵;
控制点标识道路区域设置模块,用于在p1和p2中分别设定2个控制点标识道路区域范围,控制点位于道路中线位置,设场景1控制点世界坐标和图像坐标;设场景2控制点世界坐标和图像坐标;
道路空间融合模块:用于在相机标定的基础上,设置场景控制点参数组,生成带有道路空间信息的融合图像;
跨相机车辆目标检测跟踪模块,用于使用深度学习目标检测yolov3对视频帧图像中的车辆目标进行检测,检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别;在车辆目标检测的基础上,对目标提取特征点完成跟踪;将单场景目标检测跟踪结果映射至道路空间融合图像,完成跨相机车辆目标检测跟踪;
结果输出模块,将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出,得到跨相机车辆目标检测跟踪结果。
本发明与现有技术相比,有益的技术效果是:
本发明的方法实现简单,可以应用于包含公共区域的跨相机道路空间融合及车辆目标检测跟踪,保证道路监控环境下的通用性,满足智能交通监控系统中准确获取交通参数的需求。使用深度学习的方法对车辆目标进行检测的方法,因为其稳定性和精度都很高,具有较为广泛的应用。
附图说明
图1为本发明提供的跨相机道路空间融合及车辆目标检测跟踪的算法流程;
图2为本发明中摄像机模型的坐标系的示意图;其中,(a)为摄像机模型的世界坐标系的侧视图,(b)为摄像机模型的相机坐标系的俯视图;
图3为本发明中标定条件在坐标系下的表示示意图;其中,(a)为标定条件在世界坐标系下的表示示意图,(b)为标定条件在图像坐标系下的表示示意图;
图4为本发明实施例所采用的跨相机交通图像;
图5为本发明实施例中跨相机道路空间融合图像;
图6为本发明车辆目标二维包络框模型图;
图7为本发明实施例中跨相机车辆目标检测跟踪结果;
具体实施方式
以下对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
本发明使用相机标定技术对跨相机场景进行标定,利用跨相机场景中的公共区域完成道路空间融合,同时采用深度学习的方法对车辆目标进行检测,对跨相机车辆完成追踪;这些参数在道路环境中很容易获取,这充分保证了此方法在此场景下的通用性。
实施例1:
如图1至图7所示,本发明公开了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统,详细步骤如下:
步骤1,输入场景1和场景2交通场景背景图像p1和p2,视频帧图像序列组s1和s2;其中,背景图像是指图像上不包含车辆目标的图像,视频帧图像是指相机采集的原始视频中提取出来的图像;
步骤2,构建坐标系、模型,完成摄像机标定。从步骤1得到的背景图像p1和p2中提取消失点,建立摄像机模型和坐标系(世界坐标系、图像坐标系)、车辆目标在图像坐标系下的二维包络框模型,并结合消失点进行相机标定,得到相机标定参数h1和h2;
参考论文《ataxonomyandanalysisofcameracalibrationmethodsfortrafficmonitoringapplications》的方法,如图2所示,建立摄像机模型、世界坐标系o-xyz、相机坐标系o-xcyczc、图像坐标系o-uv,摄像机模型简化为针孔模型,所建坐标系均为右手系,世界坐标系包含x,y,z轴,原点位于相机在路面的投影点,z轴垂直于地面方向向上,图2的(a)侧视图中可以看出,x轴指向纸内,用
相机标定参数为:设相机焦距为f,相机原点距离地面高度为h,相机俯仰角为φ,相机偏转角(相机光轴在路平面投影与道路延伸方向的夹角)为θ,由于相机自旋角可以通过简单的图像旋转进行表示,并且对于标定结果无影响,因此不予考虑。
由论文中的推导可知:
如图3所示,采用单个消失点标定的方法,设沿道路方向消失点坐标为(u0,v0),垂直道路方向消失点坐标为(u1,v1),l为道路中的一段物理距离,w为道路的物理宽度,有关于未知参量f的四次方程:
其中,为计算方便引入中间变量kv=δτl/wv0,δ为道路物理宽度w在图像上对应的像素距离,τ=(vf-v0)(vb-v0)/(vf-vb),其中,vb和vf分别表示l的两个端点在图像坐标系中v轴对应的坐标值;
通过上述公式(1)至(3)计算得到相机标定参数。
设图像上任意一点的世界坐标为(x,y,z),世界坐标系的点与图像坐标系的点的投影关系为:
其中,α为比例因子。
最终得到二维图像坐标与三维世界坐标之间的转换关系为:
步骤3,设置控制点标识道路区域范围。在p1和p2中分别设定2个控制点标识道路区域范围,控制点通常位于道路中线位置,设场景1控制点世界坐标为
步骤4,生成带空间信息的道路空间融合图像mp。
步骤4.1,设置控制参数组,划定mp中对应场景1和场景2部分像素范围。已知道路宽度为w(mm),宽度方向像素距离比为rw(像素/mm),长度方向距离像素比为rl(像素/mm),生成的空间融合图像mp的像素宽度为wrw,像素长度为
步骤4.2,生成空间融合图像mp。分别遍历空间融合图像mp中场景1部分像素
步骤4.3,解析空间信息。
(1)由融合图mp上任一像素(u,v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标:
统一世界坐标:(v/rw,u/rl+y11)
场景1世界坐标:
场景2世界坐标:
(2)由地面任意点世界坐标(x,y,0)解析其在融合图mp中图像坐标:
世界坐标在场景1中:
世界坐标在场景2中:
步骤5,跨相机目标检测。
使用道路车辆数据集训练的目标检测网络,对步骤1的视频帧图像序列组s1和s2分别进行目标检测,获得目标检测结果在图像坐标下的二维包络框模型
步骤6,跨相机目标跟踪。
在目标检测的基础上,对每个目标提取3个特征点进行跟踪,3个特征点使用的是光流法进行特征点跟踪,获得其图像坐标
实施例2:
本实施例提供一种跨相机道路空间融合及车辆目标检测跟踪系统,该系统包括:
数据输入模块,用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组;
相机标定模块,用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型,进行相机标定,获取相机标定参数和最终的场景二维-三维变换矩阵;
控制点标识道路区域设置模块,用于在p1和p2中分别设定2个控制点标识道路区域范围,控制点位于道路中线位置,设场景1控制点世界坐标和图像坐标;设场景2控制点世界坐标和图像坐标;
道路空间融合模块:用于在相机标定的基础上,设置场景控制点参数组,生成带有道路空间信息的融合图像;
跨相机车辆目标检测跟踪模块,用于使用深度学习目标检测yolov3对视频帧图像中的车辆目标进行检测,检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别;在车辆目标检测的基础上,对目标提取特征点完成跟踪;将单场景目标检测跟踪结果映射至道路空间融合图像,完成跨相机车辆目标检测跟踪;
结果输出模块,将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出,得到跨相机车辆目标检测跟踪结果。
实施例3:
为了验证本发明所提出方法的有效性,本发明的一个实施例采用了以图4所示的一组实际道路交通场景图像,在此实际交通场景中识别出沿道路方向的单个消失点,并且对摄像机进行了标定。如图5所示,为采用本发明所提方法完成道路空间融合的结果图。在此基础上,通过深度网络的方法对视频帧序列组中的车辆目标进行检测,结合道路空间融合结果,完成跨相机车辆目标检测与跟踪,结果如图7所示。
实验结果表明,通过本方法完成的道路空间融合,具有较高的精度,能够较好的完成跨相机车辆目标检测与跟踪,实验结果如表1所示,实验结果说明本方法完全能够满足跨相机道路交通场景下车辆目标检测与跟踪的任务,该实验在一定程度上证明了本发明所提出方法的有效性。
表1跨相机车辆目标检测与跟踪结果