专利名称：基于单目视觉的汽车巡航控制方法及其实现系统的制作方法
技术领域：
本发明属于汽车主动安全驾驶领域，特别是一种基于单目视觉的汽车巡航控制方法及其实现系统。
背景技术：
汽车巡航控制系统是借助于汽车中的传感器来辅助驾驶员提高驾驶的安全性和便利性。汽车巡航控制系统属于纵向距离控制，用于发现目标(其它车辆)，决策目标路径位置(主要目标决策)，测量相对主要目标汽车的距离和速度，实施适当制动以保持与主要目标的安全距离，并在没有目标被检测的情况下恢复巡航速度。目前，现有的系统关于距离测量的技术主要使用了如下传感器毫米波雷达、激光雷达和立体成像。这些传感器提供了场景中每个特征点的显式范围测量，为将目标从背景场景中分割出来提供了有用的提示信息。
在人类视觉系统中，立体视觉基准线被设计用于手可以接触的距离和更远距离的十分粗略的近似测量。汽车巡航控制系统中的距离控制要求100米左右的范围测量，而此时人类视觉已经不可能进行精确的绝对的范围估计。另一方面，基于视网膜的发散性(目标的尺寸变化)人类视觉系统能够进行非常精确的接触时间的估计。雷达和激光雷达所提供的范围精度对于距离控制来说是足够的，但是人类视觉的例子则表明只使用透视投影的方法也可能获取令人满意的行为控制。立体设计不但包括用于深度计算的额外摄像机和处理能力的代价，而且还包括系统标定的维持问题。
发明内容
本发明的目的在于提供一种安全性高、计算复杂度小、硬件配置需求低，并容易批量生产、成本低的基于单目视觉汽车巡航控制方法及其实现系统。
实现本发明目的的技术解决方案为一种基于单目视觉的汽车巡航控制方法，步骤如下 (1)将摄像机固定安装在驾驶员前方的后视镜附近，从摄像机中获取单目图像； (2)对图像进行分割和汽车检测，即使用模板匹配的方法对汽车进行检测； (3)如果前方不存在任何汽车，那么保持或者恢复巡航速度，并结束当前帧图像数据的处理过程；如果前方检测出有汽车存在，那么进行汽车距离和速度计算； (4)计算图像中汽车下沿距离图像底部的像素距离y＝Hm-V′-Ht； (5)测量并保存前方汽车与当前汽车的距离 (6)根据与上一次已存距离数据Zt0的比较，测量相对前方汽车的速度 s＝|Z-Zt0|/t-t0，其中t为当前时刻，t0前一时刻； (7)根据测量速度s，计算相对前方汽车的安全距离D＝s*Δt，其中Δt为预设时间； (8)如果与前方汽车的距离Z小于安全距离D，那么通过汽车制动控制系统实施适当制动，否则结束当前帧图像数据的处理过程，从而转入下一帧图像数据的处理。
本发明基于单目视觉的汽车巡航控制方法中，使用模板匹配的方法对汽车进行检测的步骤为 第一步，给定汽车图像m(u，v)和模板图像t(u，v)，其中m(u，v)的宽高度分别为Wm和Hm，t(u，v)的宽高度分别为Wt和Ht，u为横坐标变量，v为纵坐标变量； 第二步，对于m(u，v)中的一点(U，V)，计算匹配误差函数其中U为横坐标，V为纵坐标； 第三步，对m(u，v)中所有的候选点进行匹配误差统计，获取具有最小匹配误差的点(U′，V′)，其匹配误差函数为E(U′，V′)，此时t(u，v)在m(u，v)中的矩形位置为(U′，V′，U′+Wt，V′+Ht)，其中U′为横坐标，V′为纵坐标； 第四步，给定一个匹配误差阈值ε，如果E(U′，V′)≤ε，那么就可以认为m(u，v)中存在目标(汽车)，其矩形位置为(U′，V′，U′+Wt，V′+Ht)。
本发明基于单目视觉的汽车巡航控制方法中，测量前方汽车与当前汽车的距离，即 第一步，人工测量摄像机距离地面的距离H，作为先验参数输入计算模块； 第二步，人工获取摄像机的焦距系数f，作为先验参数输入计算模块； 第三步，计算图像中汽车下沿距离图像底部的像素距离y； 第四步，根据公式计算出当前汽车相对前方汽车的距离。
一种实现上述的基于单目视觉的汽车巡航控制方法的系统，包括显示器和扬声器，其特征在于固定安装在驾驶员前方后视镜附近的摄像机通过USB接口或视频采集卡与嵌入式计算模块连接，该计算模块分别与汽车制动控制系统、显示器和扬声器连接；所述的嵌入式计算模块由CPU模块、电源模块、存储模块、视频捕获模块、图形显示模块、音频播放模块和汽车制动控制模块通过PC/104总线连接起来；所述的视频捕获模块负责从摄像机中获取单目图像并传给CPU模块，该CPU模块对单目图像进行目标检测和距离估算，并根据前后多帧图像的检测和估算结果进行速度和安全距离计算；如果当前距离不在安全范围之内，那么图形显示模块向显示器发送视觉安全信息提示，音频播放模块向扬声器发送听觉安全信息提示，并且汽车制动控制模块向汽车制动控制系统发送制动指令。
本发明与现有技术相比，其显著优点为使用更少的硬件配置和软件计算来实现与基于双目立体视觉汽车巡航控制方法相同的应用效果。其中，更少的硬件配置主要体现在双目立体视觉需要两个摄像机，而单目视觉仅需要一个摄像机；更少的软件计算则主要体现在单目视觉不需要进行立体视觉中的深度计算。单目视觉处理系统容易批量生产，并且具有更小的代价。
下面结合附图对本发明作进一步详细说明。
图1是本发明的基于单目视觉汽车巡航控制方法的流程图。
图2是本发明的基于单目视觉汽车巡航控制方法的计算距离的示意图。
图3是本发明的基于单目视觉汽车巡航控制系统的示意图。
图4是本发明的基于单目视觉汽车巡航控制系统的计算模块组成示意图。
具体实施例方式 结合图1和图2，本发明基于单目视觉的汽车巡航控制方法，主要包括图像获取、目标检测、距离估算和制动控制等步骤。首先，获取单目图像，并进行图像分割和汽车检测；当发现前方没有其它汽车时，那么汽车应该保持或者恢复巡航速度，否则执行距离估算步骤。距离估算，先计算图像中汽车下沿与图像底部的像素距离，然后进一步计算出前方汽车与当前汽车的距离。有了距离，通过前后两次数据的比较，便可以得出与前方汽车的相对速度。综合根据测量速度和距离，来判断与前方汽车的距离是否在一个安全范围之内。如果在安全范围之内，那么结束当前图像帧的处理进程，从而转入下一帧图像数据的处理；如果超出了安全范围，那么则通过汽车制动控制系统实施适当制动，从而保证汽车行驶的安全性。具体步骤如下 (1)将摄像机安装在驾驶员前方的后视镜附近，从摄像机中获取单目图像。
(2)对图像进行分割和汽车检测，即使用模板匹配的方法对目标(汽车)进行检测，即第一步，给定汽车图像m(u，v)和模板图像t(u，v)，其中m(u，v)的宽高度分别为Wm和Hm，t(u，v)的宽高度分别为Wt和Ht，u为横坐标变量，v为纵坐标变量； 第二步，对于m(u，v)中的一点(U，V)，计算匹配误差函数其中U为横坐标，V为纵坐标； 第三步，对m(u，v)中所有的候选点进行匹配误差统计，获取具有最小匹配误差的点(U′，V′)，其匹配误差函数为E(U′，V′)，此时t(u，v)在m(u，v)中的矩形位置为(U′，V′，U′+Wt，V′+Ht)，其中U′为横坐标，V′为纵坐标； 第四步，给定一个匹配误差阈值ε，如果E(U′，V′)≤ε，那么就可以认为m(u，v)中存在目标(汽车)，其矩形位置为(U′，V′，U′+Wt，V′+Ht)。
(3)如果前方不存在任何汽车，则保持或恢复巡航速度，并结束当前帧图像数据的处理过程；如果前方检测出有汽车存在，则进行汽车距离和速度计算。
(4)计算图像中汽车下沿距离图像底部的像素距离y＝Hm-V′-Ht。
(5)测量并保存前方汽车与当前汽车的距离即第一步，人工测量摄像机距离地面的距离H，作为先验参数输入计算模块； 第二步，人工获取摄像机的焦距系数f，作为先验参数输入计算模块； 第三步，计算图像中汽车下沿距离图像底部的像素距离y； 第四步，根据公式计算出当前汽车相对前方汽车的距离。
具体而言，是使用透视投影的原理进行距离计算的。首先，假设道路路面是平坦的，而且摄像机的光轴与道路平面相平行。图2给出了汽车上安装摄像机的示意图。在图2中，P为摄像机坐标位置，I为成像平面，f为摄像机焦距尺寸。摄像机安装在汽车A上，安装高度为H。汽车B的尾部位于距离摄像机Z1的位置上，汽车与道路的接触点映射到图像平面上的坐标为y1。根据图2，道路上位于摄像机前方距离为Z的一点，将映射为高度为y的图像点，其中y由公式给出。为了计算前方汽车的距离，首先要检测汽车与道路交点的位置，然后就可以得出相应的距离 (6)根据与上一次已存距离数据Zt0的比较，测量相对前方汽车的速度s＝|Z-Zt0|/t-t0，其中t为当前时刻，t0为前一时刻； (7)根据测量速度s，计算相对前方汽车的安全距离D＝s*Δt，其中Δt为预设时间； (8)如果与前方汽车的距离Z小于安全距离D，那么通过汽车制动控制系统实施适当制动，否则结束当前帧图像数据的处理过程，从而转入下一帧图像数据的处理。
结合图3，为了保证上述基于单目视觉的汽车巡航控制方法得以顺利实现，汽车巡航控制实现系统包括摄像机、嵌入式计算模块、显示器和扬声器，固定安装在驾驶员前方后视镜附近的摄像机通过USB接口或视频采集卡与嵌入式计算模块连接，该计算模块分别与汽车制动控制系统、显示器和扬声器连接。摄像机用于获取单目图像，并传送至嵌入式计算模块进行处理。所有的图像数据处理功能都在计算模块中实现，包括目标检测和距离估算等等。如果发生汽车正常巡航之外的事件，这里就是与前方汽车的距离超出了安全范围，那么计算模块将通过显示器和扬声器对驾驶员进行信息提示。除了安全信息提示之外，计算模块最重要的是与汽车制动控制系统进行连接，当发生与前方汽车过于接近的情况，计算模块就通过汽车制动控制系统进行适当制动。
结合图4，对于摄像机的安装，其位置应该是在驾驶员前上方的后视镜附近，但是安装方式有一定的要求，就是在行车过程中要让摄像机与汽车保持相对静止。所以，可以通过在前视玻璃上打孔的方式来固定摄像机，并安装在汽车内以免受到下雨等气候的影响。为了保证全天候的工作，摄像机的选型是要具有红外夜视功能。处理计算模块，必须是嵌入式系统，一是考虑到低功耗和稳定性，二是考虑到安装空间的问题。作为安全信息视觉提示的工具，显示器的选型必须要考虑到不能干扰驾驶员的正常行车注意力，所以采用LED的小型显示器。对于扬声器，则与汽车音响设备进行结合；而与汽车制动控制系统的接口则通过嵌入式系统扩展设备来实现。所述的嵌入式计算模块由CPU模块、电源模块、存储模块、视频捕获模块、图形显示模块、音频播放模块和汽车制动控制模块通过PC/104总线连接起来，该计算模块为嵌入式系统，负责汽车巡航的主要控制工作，包括前方汽车的跟踪、前方汽车的距离计算和安全信息提示等等，这样可以实现低功耗和高可靠性，其根据上述的巡航控制方法步骤进行处理计算。其中，CPU模块、电源模块和存储模块属于相对通用模块，视频捕获模块负责与摄像机进行交互，图形显示模块负责与显示器进行交互，音频播放模块负责与扬声器进行交互，而汽车制动控制模块负责与汽车制动控制系统进行交互。除了上述组成部分以外，汽车巡航控制系统还需要和驾驶员、汽车制动控制系统进行交互。摄像机负责获取道路和汽车的单目图像数据，通过USB接口或视频采集卡向计算模块传送数据。当发生与前方汽车过于接近的情况，那么计算模块则通过显示器和扬声器向驾驶员提示安全警告信息，此刻驾驶员应该实行人工制动。如果系统发现汽车速度并没有得到人工控制，那么计算模块将通过汽车制动控制系统实施适当制动，以保证汽车行驶的安全性。
使用单个视频摄像机进行汽车巡航控制，其基本原理是基于透视投影。一方面，系统缺乏深度提示信息用于目标分割，替代的是模式识别技术被使用以弥补深度信息的缺失。另一方面，当目标被检测出来，透视投影方法和视网膜发散性可以满足控制精度要求。将单个视频摄像机安放在驾驶员上方的后视镜附近，目标(汽车和摩托车)的检测是基于数字图像处理和模式识别技术之上，系统运行在每秒10帧的处理速度上，基本满足实时性的要求。
权利要求
1. 一种基于单目视觉的汽车巡航控制方法，步骤如下
(1)将摄像机固定安装在驾驶员前方的后视镜附近，从摄像机中获取单目图像；
(2)对图像进行分割和汽车检测，即使用模板匹配的方法对汽车进行检测；
(3)如果前方不存在汽车，则保持或恢复巡航速度，并结束当前帧图像数据的处理；如果前方检测出有汽车存在，则进行汽车距离和速度计算；
(4)计算图像中汽车下沿距离图像底部的像素距离y＝Hm-V′-Ht；
(5)测量并保存前方汽车与当前汽车的距离
(6)根据与上一次已存距离数据Zt0的比较，测量相对前方汽车的速度s＝|Z-Zt0|/t-t0，其中t为当前时刻，t0为前一时刻；
(7)根据测量速度s，计算相对前方汽车的安全距离D＝s*Δt，其中Δt为预设时间；
(8)如果与前方汽车的距离Z小于安全距离D，则通过汽车制动控制系统实施适当制动，否则结束当前帧图像数据的处理，从而转入下一帧图像数据的处理。
2. 根据权利要求1所述的基于单目视觉的汽车巡航控制方法，其特征在于使用模板匹配的方法对汽车进行检测的步骤为
第一步，给定汽车图像m(u，v)和模板图像t(u，v)，其中m(u，v)的宽高度分别为Wm和Hm，t(u，v)的宽高度分别为Wt和Ht，u为横坐标变量，v为纵坐标变量；
第二步，对于m(u，v)中的一点(U，V)，计算匹配误差函数其中U为横坐标，V为纵坐标；
第三步，对m(u，v)中所有的候选点进行匹配误差统计，获取具有最小匹配误差的点(U′，V′)，其匹配误差函数为E(U′，V′)，此时t(u，v)在m(u，v)中的矩形位置为(U′，V′，U′+Wt，V′+Ht)，其中U′为横坐标，V′为纵坐标；
第四步，给定一个匹配误差阈值ε，如果E(U′，V′)≤ε，那么就可以认为m(u，v)中存在目标(汽车)，其矩形位置为(U′，V′，U′+Wt，V′+Ht)。
3. 根据权利要求1所述的基于单目视觉的汽车巡航控制方法，其特征在于测量前方汽车与当前汽车的距离，即
第一步，人工测量摄像机距离地面的距离H，作为先验参数输入计算模块；
第二步，人工获取摄像机的焦距系数f，作为先验参数输入计算模块；
第三步，计算图像中汽车下沿距离图像底部的像素距离y；
第四步，根据公式计算出当前汽车相对前方汽车的距离。
4. 一种实现权利要求1至3任一项所述的基于单目视觉的汽车巡航控制方法的系统，包括显示器和扬声器，其特征在于固定安装在驾驶员前方后视镜附近的摄像机通过USB接口或视频采集卡与嵌入式计算模块连接，该计算模块分别与汽车制动控制系统、显示器和扬声器连接；所述的嵌入式计算模块由CPU模块、电源模块、存储模块、视频捕获模块、图形显示模块、音频播放模块和汽车制动控制模块通过PC/104总线连接起来；所述的视频捕获模块负责从摄像机中获取单目图像并传给CPU模块，该CPU模块对单目图像进行目标检测和距离估算，并根据前后多帧图像的检测和估算结果进行速度和安全距离计算；如果当前距离不在安全范围之内，那么图形显示模块向显示器发送视觉安全信息提示，音频播放模块向扬声器发送听觉安全信息提示，并且汽车制动控制模块向汽车制动控制系统发送制动指令。
全文摘要
本发明公开了一种基于单目视觉的汽车巡航控制方法及其实现系统。该方法的步骤如下将摄像机固定安装在驾驶员前方的后视镜附近，从摄像机中获取单目图像；对图像进行分割和汽车检测；如果前方不存在汽车，则保持或恢复巡航速度，并结束当前帧图像数据的处理；如果前方检测出有汽车存在，则进行汽车距离和速度计算；如果与前方汽车的距离小于安全距离，则通过汽车制动控制系统实施适当制动，否则结束当前帧图像数据的处理，从而转入下一帧图像数据的处理。上述方法通过摄像机、嵌入式计算模块、显示器和扬声器构成的系统实现。本发明具有安全性高、计算复杂度小、硬件配置需求低，并容易批量生产、成本低的优点。
文档编号B60K31/04GK101234601SQ200710019818
公开日2008年8月6日 申请日期2007年1月30日 优先权日2007年1月30日
发明者杨静宇, 唐振民, 赵春霞, 任明武, 陆建峰, 孙兴华 申请人:南京理工大学