一种跨相机道路空间融合及车辆目标检测跟踪方法及系统与流程

文档序号:23161000发布日期:2020-12-04 13:55阅读:来源:国知局

技术特征:

1.一种跨相机道路空间融合及车辆目标检测跟踪方法,其特征在于,该方法使用相机标定技术对跨相机场景进行标定,利用跨相机场景中的公共区域完成道路空间融合,同时采用深度学习的方法对车辆目标进行检测,完成对跨相机车辆追踪;

具体包括如下步骤:

步骤1,输入场景1和场景2交通场景背景图像p1和p2,视频帧图像序列组s1和s2;

步骤2,构建坐标系和模型,完成相机标定:从步骤1得到的背景图像p1和p2中提取消失点,建立相机模型和坐标系,世界坐标系包含x,y,z轴,图像坐标系包含u,v轴、车辆目标在图像坐标系下的二维包络框模型,并结合消失点进行相机标定,得到相机标定参数h1和h2,h表示二维图像与三维真实世界空间的映射关系矩阵;

步骤3,设置控制点标识道路区域范围:在p1和p2中分别设定2个控制点标识道路区域范围,控制点位于道路中线位置,设场景1控制点世界坐标为图像坐标为设场景2控制点世界坐标为图像坐标为其中为场景1和2对应控制点在世界坐标系中x轴上的值,y11,y12,为场景1和2对应控制点在世界坐标系中y轴上的值;为场景1和2对应控制点在图像坐标系中u轴上的值,为场景1和2对应控制点在图像坐标系中v轴上的值;

步骤4,生成带空间信息的道路空间融合图像mp:

步骤4.1,设置控制参数组,划定mp中对应场景1和场景2部分像素范围;已知道路宽度为w(mm),宽度方向像素距离比为rw(像素/mm),长度方向距离像素比为rl(像素/mm),生成的空间融合图像mp的像素宽度为wrw,像素长度为场景1部分对应像素长度为场景2部分对应像素长度为

步骤4.2,生成空间融合图像mp:分别遍历空间融合图像mp中场景1部分像素和场景2部分像素对应场景1世界坐标中取对应像素值至空间融合图场景1部分,对应场景2世界坐标中取对应像素值至空间融合图场景2部分,如果分场景图中有像素则取出,没有则跳过,直到像素全部取完,即完成道路空间融合图像mp的生成;其中取像素的方括号内为先u轴后v轴坐标,世界坐标的方括号内为先x轴后y轴坐标;

步骤4.3,解析空间信息:

(1)由融合图mp上任一像素坐标(u,v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标:

统一世界坐标:(v/rw,u/rl+y11,0)

场景1世界坐标:

场景2世界坐标:

(2)由地面任意点世界坐标(x,y,0)解析其在融合图mp中图像坐标:

世界坐标在场景1中:

世界坐标在场景2中:

步骤5,跨相机目标检测:

使用道路车辆数据集训练的目标检测网络yolov3,对步骤1的视频帧图像序列组s1和s2分别进行目标检测,获得目标检测结果在图像坐标下的二维包络框模型:

上式中,为第t个场景的第i帧图像,s为场景数,f为每个场景下的视频帧数,xtp,ytp分别为二维包围框左上角点在图像坐标u,v轴的值,w为二维包围框在图像中的像素宽度,h为二维包围框在图像中的像素高度,由二维包络框模型可以计算出车辆下底边中点在分场景中的图像坐标(xtp+w/2,ytp+h),先利用步骤2中的h矩阵将其转换为分场景中的世界坐标,再由步骤4转换至mp中图像坐标,完成跨相机目标检测;

步骤6,跨相机目标跟踪:

在目标检测的基础上,对每个目标提取3个特征点进行跟踪,获得其图像坐标其中,为第i个特征点的图像坐标,xf,yf分别为特征点在图像坐标u,v轴的值;在跨相机的重叠区域中,通过特征点关联匹配确定同一车辆,完成跨相机目标跟踪。

2.一种跨相机道路空间融合及车辆目标检测跟踪系统,其特征在于,该系统包括:

数据输入模块,用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组;

相机标定模块,用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型,进行相机标定,获取相机标定参数和最终的场景二维—三维变换矩阵;

控制点标识道路区域设置模块,用于在p1和p2中分别设定2个控制点标识道路区域范围,控制点位于道路中线位置,设场景1控制点世界坐标和图像坐标;设场景2控制点世界坐标和图像坐标;

道路空间融合模块:用于在相机标定的基础上,设置场景控制点参数组,生成带有道路空间信息的融合图像;

跨相机车辆目标检测跟踪模块,用于使用深度学习目标检测yolov3对视频帧图像中的车辆目标进行检测,检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别;在车辆目标检测的基础上,对目标提取特征点完成跟踪;将单场景目标检测跟踪结果映射至道路空间融合图像,完成跨相机车辆目标检测跟踪;

结果输出模块,将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出,得到跨相机车辆目标检测跟踪结果。


技术总结
本发明公开了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统,该方法进行两个交通场景的背景图像提取及场景标定,获得标定参数;分别划分场景拼接区域,设置长度、宽度方向像素距离比参数组,生成空白空间融合图像;将分场景中像素取出放入空白空间融合图像中,获得带有空间信息的融合图像;利用针对车辆数据集训练的深度神经网络Yolov3,在连续的图像序列中,对车辆目标进行检测获得二维包络模型参数,结合空间融合信息,完成跨相机车辆目标检测跟踪。本发明可适应包含公共区域的连续道路交通场景,利用摄像机标定完成跨相机道路空间融合,并结合深度神经网络提取场景中大量车辆目标完成跨相机车辆目标检测跟踪,实现简单且具有较高的通用性。

技术研发人员:王伟;唐心瑶;宋焕生;穆勃辰;李聪亮;梁浩翔;张文涛;雷琪;刘莅辰;戴喆;云旭;侯景严;贾金明;赵锋;余宵雨;靳静玺;王滢暄;崔子晨;赵春辉
受保护的技术使用者:长安大学
技术研发日:2020.07.29
技术公布日:2020.12.04
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1