一种基于双目摄像头的实时车速检测方法及系统与流程

本发明涉及一种车速的检测方法，特别涉及一种基于双目摄像头的实时车速检测方法及系统。

背景技术：
随着社会的发展、人们生活水平的不断提高，机动车辆的使用已经成为交通运输的重要手段之一。随着机动车辆的投入使用量的不断增大，如何有效实现对机动车辆的管理和统计，对于道路交通安全和管理有着重要作用。而对机动车辆速度的检测则是行车辆管理的一个重要方面。目前道路上主要采用雷达、激光或者感应线圈的方式来检测车速。以上方法都已发展得较为成熟，但在使用过程中存在一定的局限性。基于地感线圈的测速方法具有简单快速获得车辆速度的优点，但地感线圈在受到长期挤压后容易损坏，若更换则需要挖开路面重新埋设，维护成本高；基于雷达的测速方法对于多个被检测目标车辆同时出现在检测区域时容易导致检测错误；基于激光的测速方法对驾驶员的眼睛具有较大危害，同时该方法也不能对多车道多车辆目标进行测速，设备成本投入高。公告号为CN203365452U的专利申请文件提出一种基于双目立体视觉车速检测系统。所提出的双目立体视觉车速检测系统中，需要额外使用红外探测装置检测目标车辆，当一条道路上同时有多辆车经过红外探测装置时，车速检测系统将有可能失效，具有一定的局限性。同时精度高、性能稳定的红外探测装置价格昂贵，增加了前期投入和后期维护成本。此外，在使用过程中需要预先知道双目摄像头距离路面的高度和红外探测装置距离双目摄像头的距离，增加了系统使用的复杂度。

技术实现要素：
本发明的目的在于克服现有技术的缺点与不足，提供一种速度测量精度高以及能够实现多车道多车辆目标同时测速的基于双目摄像头的实时车速检测方 法。本发明的另一个目的在于提供一种用于实现上述方法的基于双目摄像头的实时车速检测系统。本发明的第一目的通过下述技术方案实现：一种基于双目摄像头的实时车速检测方法，步骤如下：1)通过安装于道路旁的双目摄像头检测进入视角范围的车辆：采用三帧差法提取进入双目摄像头视角范围的车辆的矩形框和质心坐标，然后通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪；2)通过对目标车辆的跟踪，记录车辆进入和离开双目摄像头视角范围的位置以及时间；3)根据双目视差测距原理建立双目摄像头视差深度表和双目摄像头各深度处视点距离光轴的垂直距离与其所成像的像素数比例关系表；4)获取车辆进入双目摄像视角并被检测到位置的视差以及离开双目摄像视角范围位置的视差，通过视差深度表得出车辆进入和离开位置的深度信息；获取车辆进入和离开双目摄像头视角范围的位置处视点距离光轴垂直距离在图像平面中的像素数，根据各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表，得出车辆进入和离开位置视点距离光轴的垂直距离；5)根据车辆进入和离开双目摄像头视角范围的位置视点距离光轴的垂直距离以及车辆进入和离开双目摄像头视角范围的位置的深度信息计算出车辆进入和离开双目摄像头视角范围的位置之间的行驶距离，然后根据车辆进入和离开双目摄像头视角范围的时间间隔，得出车辆的车速。优选的，所述步骤1)中采用三帧差法提取进入双目摄像头视角范围的目标车辆矩形框和质心坐标，具体过程如下：1-1)对双目摄像头拍摄到的图像序列进行中值滤波预处理；1-2)选取经过上述处理后的连续三帧图像，为前一帧图像PK-1(x，y)、当前帧图像PK(x，y)和后一帧图像PK+1(x，y)，分别计算当前帧与前一帧的帧差图像FD(x，y)，当前帧与后一帧的帧差图像FG(x，y)；1-3)对帧差图像FD(x，y)和FG(x，y)进行二值化和形态学滤波处理；1-4)将上述步骤处理后帧差图像FD(x，y)和FG(x，y)进行与运算得到目标图像，通过目标图像提取目标车辆的矩形框和质心坐标。更进一步的，所述步骤1)中卡尔曼预测模型区域匹配运动车辆跟踪算法对 目标车辆进行跟踪的过程如下：1-5)计算图像序列当前帧和后一帧所提取的目标车辆矩形框的长、宽和质心坐标；1-6)获取当前帧图像提取的矩形框和后一帧图像提取的矩形框之间的重叠面S(i)，重叠面积从大到小依次作为S(i)矩形框对应车辆的最佳预测、次最佳预测；1-7)计算当前帧图像中重叠面S(i)矩形框的面积、长、宽、质心坐标以及后一帧图像中经过卡尔曼预测预测与当前帧图像重叠面S(i)匹配的矩形框的面积、长、宽和质心坐标；1-8)计算当前帧图像中重叠面S(i)矩形框与后一帧图像经过预测与当前帧图像重叠面S(i)匹配的矩形框之间质心的距离、面积的差、周长的差以及运动车辆面积的差。1-9)若步骤1-8)中得到的质心的距离、面积的差、周长的差以及运动车辆面积的差均小于判决阈值，则认为前后帧图像中目标矩形框对应的车辆为同一辆车。优选的，所述步骤3)中双目摄像头视差深度表创建过程如下：3-1)在双目摄像头前方放置一块平面板，其中平面板保持与双目摄像头图像平面平行，将平面板移动至距离双目摄像头距离D1处，双目摄像头分别拍摄一张图像，根据这两组图像进行标定求单应性矩阵；3-2)将平面板按照d1距离的间隔向双目摄像头移动，拍摄一组图像。3-3)利用已求出的单应性矩阵做映射，得到平面板与双目摄像头在各深度下的视差，将深度与其对应视差的数据进行曲线拟合得到视差深度表。更进一步的，所述d1的值小于等于0.1米。优选的，所述步骤3)中双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表获取过程如下：3-4)将标有实际尺寸的棋盘格平面板和双目摄像头平行放置，将棋盘格平面板放置于距离摄像头距离D2处，并且向摄像头方向移动，每次移动距离d2，拍摄一组图像；3-5)通过视点的成像位置，得出各深度处视点距离光轴的垂直距离长度所成像的像素数，根据棋盘格上视点的位置，可以得出棋盘格上视点距离光轴的距离从而得出双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的 像素数比例关系，其中同一深度视点距离光轴的垂直距离长度与其所成像的像素数比例值相同。更进一步的，所述d2的值小于等于0.1米。优选的，所述步骤5)中车辆进入双目摄像头视角范围的位置视点A和离开双目摄像头视角范围的位置视点B之间的距离AB求取过程如下：5-1)双目摄像头获取视点A和B的视差，通过视差深度表，根据视点A的视差查出A点深度C1O1′和C2O2′，根据视点B的视差查出B点深度C1O1″和C2O2″，其中C1和C2为分别双目摄像头的光心；O1′为视点A在光心C1发射的光轴上的投影，O1″为视点B在光心C1发射的光轴上的投影，O2′为视点A在光心C1发射的光轴上的投影，O2″为视点B在光心C1发射的光轴上的投影；AO1′为视点A距离光轴的垂直距离长度，BO1″分为视点B距离光轴的垂直距离长度；5-2)获取AO1′和BO1″在双目摄像头图像平面上的成像A1′O1和B1′O1，其中O1为图像平面的中心，其中O1也在C1发射的光轴上；获取图像平面上的成像A1′O1和B1′O1的像素长度，根据A和B的深度，通过双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表，获取AO1′和BO1″的长度；5-3)根据AO1′和A点深度C1O1′获取直角三角形C1O1′A的内角α和C1A，其中α＝∠O1′C1A，根据BO1″和B点深度C1O1″获取直角三角形C1O1″B的内角β和C1B，其中β＝∠O1″C1B；5-4)根据O1C1A′＝∠O1′C1A＝α以及A1′O1的像素长度，获取直角三角形C1O1A1′中C1A1′的像素长度，根据O1C1B1′＝∠O1′C1B＝β以及B1′O1的向所长度，获取直角三角形C1O1B1′中C1B1′的像素长度；根据A1′和B1′在图像平面的位置计算出A1′B1′的像素长度；5-5)根据C1A1′、C1B1′和A1′B1′的像素长度，通过余弦定理获取三角形C1A1′B1′的内角θ，其中θ＝∠A1′C1B1′；根据三角形C1AB中∠AC1B＝∠A1′C1B1′＝θ以及C1A和C1B，通过余弦定理获取三角形C1AB中AB的长度；本发明的第二目的通过以下技术方案实现：一种基于双目摄像头的实时车速检测系统，包括双目摄像头装置以及与双目摄像头装置通过电缆连接的后台监控系统，所述后台监控系统包括车辆检测模块、跟踪模块和距离测量模块；车辆检测模块：通过多帧差法提取进入双目摄像头视角范围的矩形框和质心坐标；跟踪模块：通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪；距离测量模块：根据双目摄像头视差深度表和双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表求取车辆进入和离开双目摄像头视角范围的位置视点之间的距离，然后根据车辆进入和离开双目摄像头视角范围的位置视点的时间，计算出车辆的车速。优选的，所述双目摄像头包括两台独立的摄像头，所述两台摄像头之间的距离为40cm～60cm，且互相平行；所述双目摄像头装置安装在摄像头托架装置上，摄像头托架装置设置在道路旁。本发明相对于现有技术具有如下的优点及效果：(1)本发明通过双目摄像头拍摄进入视角范围的车辆，并且通过多帧方法和卡尔曼预测模型区域匹配运动车辆跟踪算法对进入双目摄像头视角范围的车辆进行检测和跟踪，然后通过预先创建的双目摄像头视差深度表以及双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表，获取车辆进入双目摄像视角范围位置的视差以及离开双目摄像视角范围位置的视差，根据车辆进入和离开位置距离光轴的垂直距离长度、车辆进入和离开位置的深度信息计算得到到车辆进入和离开双目摄像头视角范围的行驶距离，再通过车辆进入和离开双目摄像头视角范围的行驶时间，得到车辆的行驶速度。本发明方法能够同时针对进入和离开双目摄像头视角范围的每部车辆计算出行驶距离，因此能够同时实现多车道多目标的测量，并且具有测量速度快以及精度高的优点。(2)本发明设备投入和维护成本低，可以改装当前道路上的视频监控系统，在监控的同时可以采用本发明方法有选择对目标车辆进行车速检测，将大大的减少智能交通系统在设备上的投入和维护成本，克服原始测速方法投入大且维修成本高的问题。附图说明图1是本发明方法流程图。图2是本发明三帧差法提取进入双目摄像头视角范围的目标车辆矩形框和质心坐标的流程图。图3是本发明卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行 跟踪流程图。图4是本发明双目视差测距原理图。图5是本发明中不同深度下视点距离光轴的垂直距离长度与其所成像的像素数比例关系示意图。图6是本发明车辆进入和离开位置视点之间距离计算原理图。图7是本发明双目摄像头及其视角示意图。图8是本发明双目摄像头视角范围内各通道车辆行驶距离模型图。具体实施方式下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。实施例如图1所示，本实施例公开了一种基于双目摄像头的实时车速检测方法，步骤如下：1)通过安装于道路旁的双目摄像头检测进入视角范围的车辆：采用三帧差法提取进入双目摄像头视角范围的车辆的矩形框和质心坐标，并且通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪；如图2所示，其中本实施例中采用三帧差法提取进入双目摄像头视角范围的目标车辆矩形框和质心坐标，具体过程如下：1-1)对双目摄像头拍摄到的图像序列进行3×3中值滤波预处理；去掉图像随机噪声。减少以后运算的复杂度，克服噪声对图像处理结果的干扰；1-2)选取经过上述处理后的连续三帧图像，其中前一帧图像PK-1(x，y)、当前帧图像PK(x，y)和后一帧图像PK+1(x，y)，并且分别计算当前帧与前一帧的帧差图像FD(x，y)，当前帧与后一帧的帧差图像FG(x，y)，1-3)对帧差图像FD(x，y)和FG(x，y)进行二值化和形态学滤波处理；1-4)将上述步骤处理后帧差图像FD(x，y)和FG(x，y)进行与运算得到目标图像，通过目标图提取当前帧图像目标车辆的矩形框和质心坐标。如图3所示，本实施例中卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪的过程如下：1-5)计算图像序列当前帧与后一帧所提取的目标车辆矩形框的长、宽和质心坐标；1-6)获取当前帧K图像提取的矩形框和后一帧K+1图像提取的矩形框之间的重叠面S(i)，重叠面积从大到小依次作为S(i)矩形框对后一帧K+1车辆的最佳预测、次最佳预测；1-7)计算当前帧K图像中重叠面S(i)矩形框的面积、长、宽、质心坐标以及后一帧K+1图像中经过卡尔曼滤波预测与当前帧图像重叠面S(i)匹配的矩形框的面积、长、宽和质心坐标；1-8)计算当前帧K图像中重叠面S(i)矩形框与后一帧K+1图像经过卡尔曼预测预测与当前帧图像重叠面S(i)匹配的矩形框之间质心的距离、面积的差、周长的差以及运动车辆面积的差；1-9)若步骤1-8)中得到的质心的距离、面积的差、周长的差以及运动车辆面积的差均小于判决阈值，则认为前后帧图像中的重叠矩形框为同一辆车。其中本实施例中的判决阈值根据实际情况进行设定。2)通过目标车辆的跟踪记录车辆进入和离开双目摄像头视角范围的位置以及时间；3)根据双目视差测距原理建立双目摄像头视差深度表，获取双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表；其中本实施例中双目摄像头视差深度表创建过程如下：3-1)在双目摄像头前方放置一块平面板，其中平面板保持与双目摄像头图像平面平行，将平面板移动至距离双目摄像头较远处，如10～100米处，然后双目摄像头分别拍摄一张图像，根据这两组图像进行标定求单应性矩阵；3-2)将平面板按照0.1米距离的间隔向双目摄像头移动，拍摄一组图像。3-3)利用已求出的单应性矩阵做映射，得到平面板与双目摄像头各距离下的视差，即双目摄像头各深度下的视差，通过matlab软件根据深度与视差的反比例关系将深度与其对应视差的数据进行曲线拟合得到视差深度表。如图4所示，根据双目视差测距原理，得到深度L与双目摄像头拍摄的两个图像平面的视差满足反比例关系：其中b基线长度、f为摄像头焦距、X为视差。本实施例中双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表获取过程如下：3-4)将标有实际尺寸的棋盘格平面板和双目摄像头平行放置，将棋盘格平 面板放置于距离摄像头10～100米处，并且向摄像头方向移动，每次移动距离0.1米，拍摄一组图像；3-5)通过视点的成像位置，得出各深度处视点距离光轴的垂直距离长度所成像的像素数，根据棋盘格上视点的位置，可以得出棋盘格上视点距离光轴的距离；得出双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系，其中同一深度视点距离光轴的垂直距离长度与其所成像的像素数比例值相同。通过matlab软件将各深度处点距离光轴的垂直距离长度与其所成像的像素数的数据进行曲线拟合得到双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表。如图5所示，在图像平面上的投影分别为像素数直线段1和2，对应于深度d11处的两个视点距离光轴的垂直距离分别是3和4，对应于深度d22处的的两个视点距离光轴的垂直距离长度是5和6。其中对应于深度d11，直线段1对应的像素长度和3对应的视点距离光轴的垂直距离比值与直线段2对应的像素长度和4对应的视点距离光轴的垂直距离比值相同；对应于深度d12，直线段1对应的像素长度和5对应的视点距离光轴的垂直距离比值与直线段2对应的像素长度和6对应的视点距离光轴的垂直距离比值相同4)获取车辆进入双目摄像位置并被检测到位置视点的视差以及离开双目摄像视角范围位置的视差，通过视差深度表得出车辆进入和离开位置视点的深度信息；获取车辆进入和离开双目摄像头视角范围的位置处视点距离光轴垂直距离长度在成像图中的像素数，根据各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表，得出车辆进入和离开双目摄像头视角范围的位置视点距离光轴的垂直距离长度；5)根据车辆进入和离开双目摄像头视角范围的位置距离光轴的垂直距离长度以及车辆进入和离开双目摄像头视角范围的位置的深度信息以及车辆进入和离开点与双目摄像头光心的夹角，运用余弦定理计算出车辆进入和离开双目摄像头视角范围的位置视点之间的行驶距离，然后根据车辆进入和离开位置的时间，得出车辆的车速。其中本实施例车辆进入双目摄像头视角范围的位置视点A和离开双目摄像头视角范围的位置视点B之间的距离AB求取过程如下：5-1)双目摄像头获取视点A和B的视差，通过视差深度表，根据视点A的视差查出A点深度C1O1′和C2O2′，根据视点B的视差查出B点深度C1O1″和 C2O2″，其中如图6所示，C1和C2为分别双目摄像头的光心；O1′为视点A在光心C1发射的光轴上的投影，O1″为视点B在光心C1发射的光轴上的投影，O2′为视点A在光心C1发射的光轴上的投影，O2″为视点B在光心C1发射的光轴上的投影；AO1′为视点A距离光轴的垂直距离长度，BO1″分为视点B距离光轴的垂直距离长度；5-2)获取AO1′和BO1″在双目摄像头图像平面上的成像A1′O1和B1′O1，如图6所示，其中O1为图像平面的中心，其中O1也在C1发射的光轴上；获取图像平面上的成像A1′O1和B1′O1的像素长度，根据A和B的深度，通过双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表，获取AO1′和BO1″的长度；5-3)根据AO1′和A点深度C1O1′获取直角三角形C1O1′A的内角α和C1A，其中α＝∠O1′C1A，根据BO1″和B点深度C1O1″获取直角三角形C1O1″B的内角β和C1B，其中β＝∠O1″C1B；5-4)根据O1C1A′＝∠O1′C1A＝α以及A1′O1的像素长度，获取直角三角形C1O1A1′中C1A1′的像素长度，根据O1C1B1′＝∠O1′C1B＝β以及B1′O1的向所长度，获取直角三角形C1O1B1′中C1B1′的像素长度；根据A1′和B1′在图像平面的位置计算出A1′B1′的像素长度；5-5)根据C1A1′、C1B1′和A1′B1′的像素长度，通过余弦定理获取三角形C1A1′B1′的内角θ，其中θ＝∠A1′C1B1′：根据三角形C1AB中∠AC1B＝∠A1′C1B1′＝θ以及C1A和C1B，通过余弦定理获取三角形C1AB中AB的长度；得到车速v为：其中t1为车辆进入双目摄像到视角范围的时间，t2为车辆离开双目摄像到视角范围的时间。本实施例还公开了用于实现上述一种基于双目摄像头的实时车速检测系统，包括双目摄像头以及与双目摄像头通过电缆连接的后台监控系统，所述后台监控系统包括车辆检测模块、跟踪模块和距离测量模块；车辆检测模块：通过多帧差法提取进入双目摄像头视角范围的矩形框和质心坐标；跟踪模块：通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪；距离测量模块：根据双目摄像头视差深度表和双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表求取车辆进入和离开双目摄像头视角范围的位置视点的距离，然后根据车辆进入和离开位置的时间，计算出车辆的车速。如图7所示，本实施例中的双目摄像头包括两台独立的型号相同的摄像头，工作输出为8bitRGB图像，两台摄像头之间的距离为40cm～60cm，且互相平行，其中双目摄像头的视角范围如图7中55所示，双目摄像头44安装在摄像头托架装置上，摄像头托架装置设置在道路旁。根据实际情况通过摄像头托架装置调整摄像头高度，保证摄像头能监控道路上一定范围内的车辆。如图8所示为本实施例基于双目摄像头实时车速检测方法和系统的数学模型图。按照本实施例上述车速检测方法可以求得双目摄像头不同视角范围内不同车辆进入和离开时行驶距离为A1B1、A2B2、A3B3、、、，然后由PC可以计算得到车辆进入和离开视角的行驶时间分别T1、T2、T3、、、，通过步骤5)计算公式可以计算得到车辆的车速，可见本实施例方法能够实现多车道多车辆目标同时测速。上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。