专利名称：一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法
技术领域：
本发明属于智能交通监控领域，尤其涉及一种纯视频的针对交叉口场景低角度监控条件下的车辆位置、车辆速度、车辆加速度的测量技术。
背景技术：
车辆的运动参数是指车辆的位移，速度，加速度等参数。实时动态的车辆运动参数是实现交通智能化的关键所在。目前实用的车辆运动参数采集技术有硬件测量方法和软件测量方法。硬件方法包括测速雷达、环形线圈检测器、超声波检测器、微波探测器、红外线检测器等进行车辆速度测量。硬件检测方法有下面缺点，环形线圈检测器需要破路安装；测速雷达、超声波检测器、微波探测器、红外线检测器可移动性不强；而且这些技术共同的缺点包括只限于检测车辆通过某一段距离的平均速度信息，难以实现车速的跟踪；不能进行运动物体识别；成本较高。所以适合在高速公路或某一路段上使用，很难应用车辆、行人、自行车混杂的交叉口。软件方法以视频图像处理技术为主，目前主要采用设置视频虚拟线圈的方法来检测车辆经过线圈的平均速度的方法居多，这种方法主要应用在某一路段上车辆速度的测量。
发明内容
本发明的目的是，针对现有技术的不足，提供一种基于视频检测的交叉口场景低角度监控条件下的车辆运动学参数测量方法，本发明区别于现有视频检测方法之处在于提出了通过车辆底面二维线框模型与车辆侧面与路面交线匹配的方法确定车辆位置，从而利用二维摄影测量技术计算车辆位置，速度，加速度等信息。最后利用车辆跟踪技术实现车辆连续的运动学参数。为了实现本发明的上述目的，可以通过以下技术方案来实现一种基于车俩侧面与路面交线检测的交叉口车辆运动参数测量方法，包括以下步骤(I)实时视频流获取与传输通过安装在监控杆上的高清摄像头获取实时视频流数据，然后由网络传输到工控机上。(2)摄像头标定通过道路现场标志标线参数和道路摄影图像对摄像头进行标定，获得图像坐标与世界坐标的转换矩阵。本专利是利用车辆地面二维线框模型与车辆侧面与地面交线匹配来确定车辆位置，因为车辆侧面与地面交线和车辆地面二维线框模型投影结果都在地面上，所以可以用二维摄影测量技术来测量车辆位置。(3)车辆检测对规定的监控区域，利用背景差分法与运动物体轮廓相关性进行车辆感兴趣区域检测，车辆阴影消除，并利用背景重构技术在一定的时间间隔内更新背景。(4)车辆定位在车辆感兴趣区内，通过边缘检测，和哈夫直线检测检测车辆二值化图像中的直线段。从而从行人，自行车，机动车中区分出车辆。利用车辆侧面底边直线判定规则，确定车辆侧面底边直线段。并利用车辆底面二维模型与车辆底部匹配，圈出车辆底面区域，从而确定车辆中心位置。(5)车辆跟踪通过车辆检测和车辆定位获得的车辆大小，车辆位置等信息，结合卡尔曼滤波方法实现车辆的跟踪，与车辆轨迹的生成，结合转换矩阵，计算车辆在世界坐标系中的位置。通过车辆位置信息，与视频图像间的时间间隔计算车辆速度，加速度。(6)数据处理利用卡尔曼滤波对运动参数进行处理，提高检测结果的精度和稳定性。。与现有技术比，本发明具有以下的特点I、本发明由一台高清摄像头，和工控机组成，不需要另外的车辆检测设备，对每一帧图像中的车辆进行检测，并通过车辆底面二维线框模型与车辆侧面与路面交线匹配来确定车辆位置，并实时保存车辆位置，以及车辆像素中心点，大小和序号，利用时空信息，匹配和预测等算法实现车辆的跟踪。最后实时输出每辆车位置，速度，加速度，本发明结构简单， 实用。2、由于车辆侧面与路面交线接近地面，所以本发明可以采用二维测量方法来测量车辆位置。采用二维摄影测量方法进行检测的主要优点如下(I)设备简单，采用一个摄像头(单目视觉)采集图像；(2)无需获取测量点的三维坐标，可方便地利用现场标志标线对图像序列进行标定。无需对摄像机(摄像头)内部参数进行专门标定，简化了标定过程。3、因为利用二维摄影测量方法进行车辆位置测量，提高了车辆定位实时性。4、摄像头固定位置大于距离路面大约7米左右，属于低角度监控，不必对路面进行垂直拍摄，很大程度上降低了摄像头的安装难度。5、维护方面，可移动，不需要破路安装。
图I为基于视频检测的交叉口车辆运动参数检测方法图
图2为车辆侧面与路面交线示意图
图3为车辆运动参数检测系统框图
图4为车辆检测具体实施步骤
图5为车辆定位与车辆跟踪示意图
图6为本发明输出的车辆位置参数曲线图
图7为本发明输出的车辆速度参数曲线图
图8为本发明输出的车辆加速度参数曲线图
具体实施例方式本发明对视频流每一帧图像中的车辆，检测车辆侧面与路面交线，并利用车辆底面二维线框模型与交线匹配，从而确定车辆中心位置，保证了低空监控条件下车辆位置信息的准确性。通过对车辆中心位置的实时检测和跟踪，再经过二维摄影测量技术实现车辆位置的测量，进而计算出车辆的瞬时车速和加速度，最后用卡尔曼滤波对数据进行滤波，实现了车辆运动参数的测量，保证了测量精度，并解决了交叉口低空监控、无信号灯交叉口， 行人，自行车，车辆并存的复杂交通场景的车辆运动参数测量问题。本发明基于视频检测的交叉口车辆运动学参数测量方法包括如下步骤(I)实时视频流获取与传输通过安装在监控杆上的高清摄像头获取实时视频流数据，然后由网络传输到工控机上。(2)摄像头标定通过道路现场标志标线参数和道路摄影图像对摄像头进行标定，获得图像坐标与世界坐标的转换矩阵。(3)车辆检测通过规定监控区域的感兴趣区域，利用背景差分法与运动物体轮廓相关性进行车辆感兴趣区域检测，车辆阴影消除，并利用背景重构技术在一定的时间间隔内更新背景。(4)车辆定位在车辆感兴趣区内，通过边缘检测，和哈夫直线检测检测车辆二值化图像中的直线段。从而从行人，自行车，机动车中区分出车辆。利用车辆侧面底边直线判定规则，确定车辆侧面底边直线段。并利用车辆底面二维模型与车辆底部匹配，圈出车辆底面区域，从而确定车辆中心位置。(5)车辆跟踪通过车辆检测和车辆定位获得的车辆大小，车辆位置等信息，结合卡尔曼滤波方法实现车辆的跟踪，与车辆轨迹的生成，结合转换矩阵，计算车辆在世界坐标系中的位置。通过车辆位置信息，与视频图像间的时间间隔计算车辆速度，加速度。(6)数据处理利用卡尔曼滤波对运动参数进行处理，提高检测结果的精度和稳定性。。下面结合附图和具体实施例对本发明做进一步说明图I为本方法的安装、设置示意图，主要包括C⑶高清摄像头1，监控杆2，网线，3， 交换机4，工控机5。其中CCD高清摄像头对准交叉口，使摄像头能拍全交叉口的四条人行横道线，选用合适的摄像机分辨率和镜头保证视频图像尽可能清晰；监控杆的高度一般在 7米以上，将监控杆安装在交叉口任意一角。本方法在实际应用中只需在监控杆上架设一台CCD高清摄像头，不需要其他车辆检测设备；只需利用交叉口路面上的标志线参数和摄影图像来对摄像头进行标定。然后利用视频处理和模式识别相关算法，在实时的视频流中完成车身底边直线(近似视为车辆侧面与路面交线)检测，并且输出高可信度的车辆位置，车辆速度，车辆加速的信息。本发明结构简单，界面设置便携，车辆运动参数检测精度高。图2为车身侧面与路面交线示意图。本发明提出一种车辆底面二维模型与车辆侧面与路面交线匹配的车辆定位方法，车辆侧面与路面交线的定义是车身侧面与路面的交线上，从车头到车尾的这条线段。如图2所示黑色线段。因为这条线在路面上所以可以利用二维摄影测量方法检测线段位置信息。图3为本方法的系统结构框图。此结构框图也是本发明的主流程图，本方法主要分为摄像机标定模块，背景重构模块，感兴趣区检测模块，影子消除模块，交线检测模块，车辆定位模块，车辆跟踪模块，车辆运动学参数测量模块组成。其中背景重构模块，感兴趣区检测模块，影子消除模块，交线检测模块组成了车辆检测模块。摄像头标定模块，利用交叉口背景图像和标志线的图像参数与现场参数对摄像头进行标定，获得图像平面坐标系与现场平面世界坐标系的变换矩阵。车辆检测模块，是利用背景重构技术，感兴趣区检测技术， 影子消除技术，交线检测，模型匹配等来实现车辆的检测。车辆定位模块作用是确定被检测车辆的现场位置坐标。车辆跟踪模块实现被检测车辆的实时跟踪，从而生成车辆运动轨迹。 车辆运动学参数测量模块用来计算车辆的现场位置路线和速度，加速度。图4是车辆检测模块的具体实施步骤。首先本发明利用均值法提取初始背景，即利用一定数量的视频序列来计算监控区域的背景图像。均值法的增量形式为S: _Λ. V； = ζ!- : Λ. V； — S,、 :_Λ, V；其中Bj (x, y)表示第j帧像素(x，y)处的背景，Ij (x, y)则表示第j帧像素(x，y) 的灰度值或颜色向量。由于均值法存在增量形式，因此适合实时的视频处理。还可以看出， 对于均值法，背景的重构与更新是同一过程，这种简单的特性有利于工程实现。这也是本发明选择用这种方法求初始背景的原因。本发明利用背景差分法进行前景检测。视频图像与初始背景图像或重构的背景图像作差后，对差分图像二值化处理后，可以获得前景图像。设fk(x，y)表示输入视频序列的帧图像，B(x，y)表示初始背景或重建背景图像，F (x，y)表示前景掩码(mask)图像，则前景检测可以表示为F(x, y)是一个二值化图像，I代表前景区域，O代表背景区域。Th代表二值化阈值，差分图像像素值大于Th的点认为是前景区域，反之为背景区域。感兴趣区域检测具体实现方法为前景掩码通过形态学滤波后，通过查找运动物体外轮廓，并利用最小矩形边框一一包括外轮廓，将矩形边框所在位置作为车辆的感兴趣区，由于在前景检测过程中可能会出现一个运动物体被分割为若干部分的情况，所以本发明采用对符合一直性原则的矩形区域进行合并，一致性规则为矩形框具有重叠或包含特点。这种合并，有时会将位置接近或者粘连的物体合并到一个区域。这种情况将在交线检测过程中将同一区域的运动物体进行分离。背景重构模块具体实施方法是利用改进的块处理技术来获取新背景。通过设定一定的时间间隔，从视频图像中截取用于背景重建的图像序列，标号为1，2..N。通过感兴趣区域检测后，将感兴趣区改为白色区，非感兴趣区为原始图像。将上述图像分为8*8的子块。通过判断每个子块中白色像素统计量来判断，这个子块为前景还是背景。将N帧中的所用背景子块组合成新的背景，这样就会因为子块的亮度不同产生块状效应，且存在未能完全重建的子块。针对这一问题，可采用将符合条件的多个相邻子块进行平均后，再加入估计背景。对于未能完全重建的子块，可取均值场景中对应的块进行拼接。影子消除具体实现方法是本法明利用了结合一阶梯度剪除算法的HSV阴影检测算法，这种方法实现简单，鲁棒性好，可准确的检测出车辆阴影。接触线检测具体实现方法是对感兴趣区域内的二值化图像进行Sobel边缘检测后，利用哈夫变换来检测车身直线，往往行人和自行车不具备明显的直线特征，所以由此可以排除自行车和行人的干扰。但通常车辆二值化边缘图像上存在多条直线，因此需要制定车辆侧面与路面交线判断规则来识别交线。这个规则包括直线的长度，直线的位置，直线间距，直线角度与车辆区域整体角度的相关性。这种方法同样可以识别在同一个感兴趣区域的两辆以上车辆各自的车辆侧面与路面交线，从而区别车辆。我们在识别交线之后，需要统计监控图像上检测的所有车辆侧面与路面交线的长度。根据不同区域检测到直线的长度分布情况，分别确定不同区域，不同车型车辆侧面与路面交线的普遍适用的长度，并利用这个长度将各自车型的车辆侧面与路面交线进行归一化处理。图5为车辆定位与车辆跟踪示意图，表明了车辆定位结果与跟踪效果。车辆定位模块是通过模型匹配来实现，具体实现方法是利用图像坐标、现场路面坐标、车辆底面模型坐标的关系为不同车型分别建立一个固定大小的车辆底面二维线框模型，通过二维模型与车辆侧面与路面交线匹配，将二维线框模型投影到图像上，如图5中黑色边框，从而利用模型坐标，现场坐标，图像坐标转化关系计算出二维线框模型中点位置，即车辆在路面上的位置。然后利用车辆大小位置等信息对规定的监控区域内的车辆进行跟踪，图5(a)为车辆 6开始被跟踪上的第一帧图像，图5(b)为车辆6被跟踪的最后一帧图像。图6为利用本发明方法输出的图5中车辆的位置参数经过卡尔曼滤波平滑处理后的曲线图。图7为本发明输出的图5中车辆经过车辆运动参数测量模块计算得到并滤波后的速度数据曲线图，其中图7 (I)为车辆在监控现场世界坐标系X轴方向的速度曲线，图7 (2) 为车辆在监控现场世界坐标系X轴方向的速度曲线。本发明从车辆被跟踪后第2帧开始计算车速，因为卡尔曼滤波器在处理前几帧数据时处于学习状态，误差偏大，从第4帧开始滤波数据变得准确、稳定。图8为本法明输出的图5中车辆经过车辆运动参数测量模块计算得到并滤波后的加速度数据曲线图，其中图8 (I)为车辆在监控现场世界坐标系X轴方向的加速度曲线，图 8(2)为车辆在监控现场世界坐标系X轴方向的加速度曲线。本发明从车辆被跟踪后第3帧开始计算车速，因为卡尔曼滤波器在处理前几帧数据时处于学习状态，误差偏大，从第5帧开始滤波数据变得准确、稳定。
权利要求
1.一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法，其特征在于， 包括如下步骤(1)实时视频流获取与传输通过安装在监控杆上的高清摄像头获取实时视频流数据，然后由网络传输到工控机上。(2)摄像头标定通过道路现场标志标线参数和道路摄影图像对摄像头进行标定，获得图像坐标与世界坐标的转换矩阵。本专利是利用车辆侧面与地面交线来确定车辆位置， 因为车辆侧面与地面交线接近地面，所以可以用二维摄影测量技术来测量车辆位置。(3)车辆检测首先确定规定监控区域，用于在跟踪阶段判断被检测车辆是否在该区域内，来决定是否跟踪。利用背景差分法与运动物体轮廓相关性进行车辆感兴趣区域检测， 车辆阴影消除，并利用背景重构技术在一定的时间间隔内更新背景。(4)车辆定位在车辆感兴趣区内，通过边缘检测，和哈夫直线检测检测车辆二值化图像中的直线段。从而从行人，自行车，机动车中区分出车辆。利用车辆侧面底边直线判定规则，确定车辆侧面底边直线段。并利用车辆底面二维模型与车辆底部匹配，圈出车辆底面区域，从而确定车辆中心位置。(5)车辆跟踪通过车辆检测和车辆定位获得的车辆大小，车辆位置等信息，结合卡尔曼滤波方法实现车辆的跟踪，与车辆轨迹的生成，结合转换矩阵，计算车辆在现场世界坐标系中的位置。通过车辆位置信息，与视频图像间的时间间隔计算车辆速度，加速度。(6)数据处理利用卡尔曼滤波对运动参数进行处理，提高检测结果的精度和稳定性。
2.根据权利要求I所述一种基于视频检测的交叉口车辆运动参数测量方法，其特征在于所述步骤(2)具体为(a)实时的视频流。(b)利用一定数量的实时视频图像采用均值法求出交叉口的背景图像。(C)将背景图像保存。(d)根据在交叉口建立的现场世界坐标系，测量并计算出4条人行横道线边缘在世界坐标系下的直线方程，背景图像包含交叉口四条完整的人行横道线，通过鼠标拾取背景图像上的人行横道线边缘直线上两点，获得图像坐标系下的4条直线方程，利用4组世界坐标系和图像坐标系的直线方程参数对摄像头进行标定，计算出图像坐标系与世界坐标系的转换矩阵。(e)保存转换矩阵。
3.根据权利要求I所述一种基于视频检测的交叉口车辆运动参数测量方法，其特征在于，所述步骤(3)具体为(a)在背景图像上选择监控区域中有用区域，将非道路区域排除。(b)利用背景差分来检测运动物体，并对检测图像经过二值化，平滑滤波和形态学滤波处理。(C)在步骤(b)结果中查找外轮廓，利用最小外接矩形框圈出，并对满足一致性规则的矩形框合并。是一个矩形框与一个或多个完整的运动物体对应。从而确定车辆的感兴趣区域。(d)在感兴趣区域内利用一阶梯度剪除算法的HSV阴影检测算法消除车辆的阴影，提高后面车辆定位的准确性。(e)在一定时间间隔内，利用改进的块处理技术，重建背景。
4.根据权利要求I所述一种基于视频检测的交叉口车辆运动参数测量方法，其特征在于，所述步骤(4)具体为(a)在车辆感兴趣区内对形态学滤波后的二值化图像进行Sobel边缘检测。(b)对步骤(a)的结果进行哈夫直线检测，并利用车辆侧面与路面交线判定规则识别交线。(C)利用监控区域中车辆侧面与路面交线长度的统计结果，分别使用固定长度将相同车型的车辆侧面与路面交线归一化。(d)对不同车型建立不同大小的车辆地面二维模型，并将模型与车辆侧面与路面交线匹配，利用模型坐标系，现场坐标系，图像坐标系之间的转化关系，确定匹配后模型中点的现场坐标，即车辆位置。
5.根据权利要求I所述一种基于视频检测的交叉口车辆运动参数测量方法，其特征在于，所述步骤(5)具体为(a)确定检测到的车辆在图像中的大小，位置等信息。(b)利用卡尔曼滤波法跟踪被检测车辆，并记录车辆的现场位置坐标。(C)利用车辆现场位置计算车辆速度，和加速度数据。
全文摘要
本发明公布了一中基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法。通过在交叉口安装摄像头对交叉口进行监控；利用图像处理技术，结合一系列先验知识，利用背景差分，形态学图像处理和轮廓查找等方法提取包含最少完整运动物体的感兴趣区域；利用改进的块处理技术重建背景，实现背景更新；利用一阶梯度剪除算法的HSV阴影检测算法消除车辆阴影；利用一定的识别规则在感兴趣区域中检测车辆侧面与路面交线；采用路面上的标识标线信息对摄像机标定；建立不同车型底面二维模型，通过与交线匹配后获得车辆中心点位置；通过车辆跟踪，利用连续的车辆位置数据计算出车辆速度，加速度；最后利用卡尔曼滤波进行数据滤波处理。
文档编号G08G1/01GK102592454SQ20121004956
公开日2012年7月18日 申请日期2012年2月29日 优先权日2012年2月29日
发明者余贵珍, 孔龙飞, 王云鹏, 田大新, 鲁光泉 申请人:北京航空航天大学