一种基于视觉的道路信息检测及前方车辆识别方法
【专利摘要】本发明属于智能汽车道路检测领域，涉及一种基于视觉的道路信息检测及前方车辆识别方法。所述方法包括：图像预处理；车道线特征参数提取；感兴趣区域分割；车辆轮廓识别。本发明通过提取感兴趣区域，过滤背景区域，缩小处理范围，简化了计算的复杂度；采用逐行检索的方法经过固定的计算次数获取每帧图像的处理结果，区别于Hough变换对每一个亮点点都要进行线性拟合的特征，在算法实时性上有突出的优势；对Robinson方向模板算子进行实时性改进，设置中间变量减少了每个像素点的计算次数。利用目标区域内的信息熵、车尾对称性特征对感兴趣区域筛选和判别，降低了算法的漏检率和误检率。
【专利说明】一种基于视觉的道路信息检测及前方车辆识别方法
【技术领域】
[0001] 本发明属于智能汽车道路检测领域，具体涉及一种基于视觉的道路信息检测及前 方车辆识别方法。
【背景技术】：
[0002] 智能车辆是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系 统，它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，是典型 的高新技术综合体。目前对智能车辆的研究主要致力于提高汽车的安全性、舒适性，以及提 供优良的人车交互界面。近年来，智能车辆己经成为世界车辆工程领域研究的热点和汽车 工业增长的新动力，很多发达国家都已将其纳入各自重点发展的智能交通系统当中。道路 信息检测技术一直是智能车驾驶系统的核心环节，是智能交通系统的重要技术。而车道线 及前方车辆的检测与识别是实现这一技术的首要问题。
[0003] 在此领域内人们提出了许多技术，VisLab研制的无人驾驶车辆ARG0系统使用视 觉作为主要的传感器，通过建立车辆的二自由度动力学模型和预瞄跟随模型，引入反馈监 督信号。因为在图像重建道路环境之后，需要通过复杂的拟合过程才能得到合适的方向盘 输出，所以方法的计算复杂度很高，硬件资源的消耗很大。Tzomakas和Seelen实现了一种 获取路面灰度阈值的方法，但无法解决路面灰度变化的问题。Marola的研究属于基于知识 的方法，此方法的不足之处在于复杂环境下的误检率会明显增加。Wang等人提出基于B样 条的车道线检测方法。得益于样条函数对轮廓表达的任意性，该方法能准确识别直道和弯 道，并对路面阴影具有一定的鲁棒性。B样条的外形定位控制点位于曲线外部，因此收敛需 要多次迭代来完成，增加了系统复杂度。在国内，陈智提出一种基于小波变换的车辆识别方 法，但却无法满足系统匹配的广泛适应性。现今主流算法是通过Hough变换识别图像中最 符合车道特征的直线，从而进行标定。此算法的优点是实时性高，不足之处在于处理结果 以直线段为主，难以在车辆进行转弯的过程中提供有效的参数，且计算量大，实时性难以保 证。
【发明内容】
[0004] 针对现有技术中存在的鲁棒性或实时性无法满足预警机制要求的问题，本发明提 出一种基于视觉的道路信息检测及前方车辆识别方法，该方法首先对图像进行自适应二值 化分割；然后对图像中的感兴趣区域ROI(RegionOfInteres)进行提取；采用逐行检索的 方法进行车道线内侧特征点的筛选，从而得到实际车道的左右标志线参数以进行道路模型 重建。通过腐蚀、膨胀法滤除干扰点；进行阴影线的合并及R0I区域的提取；利用目标区域 内的信息熵、车尾对称性特征对R0I区域进行筛选和判别，降低了算法的漏检和误检率；使 用改进的Robinson方向检测算子提取车辆边界，取得了较好的效果。
[0005] 为实现上述目的本发明采用的技术方案为：
[0006] -种基于视觉的道路信息检测及前方车辆识别方法，实现所述方法的系统包括： 摄像头，安装视频采集卡的测控计算机，路由器搭建的局域网，规划决策上位机，智能车 BJUT-SHEV实验平台。摄像头安装在智能车BJUT-SHEV实验平台的顶棚前方正中位置，实 时采集道路图像；摄像头与测控计算机通过USB连接视频采集卡，实现视频数据采集的功 能；测控计算机处理得到的控制参数由路由器搭建的局域网传递给规划决策上位机（测控 计算机）；规划决策上位机解析上述信息后对BJUT-SHEV实验平台进行控制。其特征在于， 所述方法在测控计算机内执行以下步骤：
[0007]步骤1，图像预处理。
[0008] 包括：对彩色图像进行灰度化，采用单次最大类间方差0TSU法进行二值化分割， Sobel算子边缘检测，图像细化处理，确定道路区域。
[0009] 步骤2,车道线检测及偏离预警。
[0010] 采取逐行检索的方法获取车道边界点，利用最小二乘法对边界点进行拟合，获取 描述车道的二次曲线。判断车辆前方道路转弯的方向，对车辆是否偏离车道线进行预警。
[0011] 步骤3，R0I区域提取。
[0012] 采用道路区域灰度与双0TSU相结合的方法分割车辆底部阴影，对分割图像进行 腐蚀膨胀处理，填充缺口区域，基于车底阴影获取车辆R0I区域。
[0013] 步骤4,车辆轮廓识别。
[0014] 对区域进行以信息熵及对称性为主要参考依据的多特征筛选。使用改进的 Robinson算子对经过筛选后保留下来的部分进行处理，求取灰度变化梯度值，并用Hough 变换法识别车辆外轮廓线。
[0015] 与现有技术相比，本发明具有以下优点：
[0016] (1)本发明通过对图像进行自适应二值化分割，达到了自适应匹配图像的效果。
[0017] (2)本发明通过采取以下措施提高了系统的实时性：对图像中的感兴趣区域进行 提取，过滤背景区域，缩小后续算法的处理范围，简化了计算的复杂度；采用逐行检索的方 法经过固定的计算次数便可获取每帧图像的处理结果，区别于Hough变换对每一个亮点点 都要进行线性拟合的特征，在算法实时性上有突出的优势；本发明对Robinson方向模板算 子进行了实时性改进，设置中间变量从而减少了对每个像素点的计算次数。
[0018] (3)与现有技术中常用的Hough变换不同，本发明采用逐行检索的方法进行车道 线内侧特征点的筛选，可以使检测结果更贴合实际道路中的车道线，不存在线路特征的局 限性，从而在车辆过弯途中为系统提供更多的有效信息。
[0019] (4)针对Tzomakas和Seelen提出的方法中无法解决路面灰度变化的问题，本发明 在自适应二值化分割的基础上，进行第二次0TSU阈值分割，准确地提取出了车底阴影。通 过腐蚀、膨胀法滤除干扰点，简化并提高了阴影线合并及R0I区域提取的效率。
[0020] (5)针对Marola基于知识的方法导致处于复杂环境下的误检率会明显增加的问 题，本发明利用目标区域内的信息熵、车尾对称性特征对R0I区域进行筛选和判别，降低了 算法的漏检和误检率，提高了在复杂环境下系统的可行性。
【专利附图】
【附图说明】
[0021] 图1为本发明实施例硬件系统组成框图；
[0022] 图2为本发明所述方法主流程图；
[0023] 图3为车道线图像预处理流程图；
[0024] 图4为车辆偏离预警原理示意图；
[0025] 图5为偏离车道线模型图：(a)为向左偏离，（b)为向右偏离；
[0026] 图6为车道线提取及预警方法流程图；
[0027] 图7为阴影线长度与图像坐标的位置关系；
[0028] 图8为R0I提取流程图；
[0029] 图9为车辆轮廓识别流程图。
【具体实施方式】
[0030] 下面结合附图和实施例对本发明做进一步说明。
[0031] 实施例采用的硬件系统组成框图如图1所示，包括：
[0032] 摄像头：摄像头采用风后镜王系列的一款，用USB线与测控计算机相连。摄像头安 装在智能车BJUT-SHEV实验平台顶棚前方正中位置，随着智能车的前进，便可采集到前方 道路的实时信息。
[0033] 安装视频采集卡的测控计算机：视频采集卡采用思特佳图ST-769采集卡，其将测 控计算机接收到的模拟道路信息转换为数字图像信息。另外，测控计算机上安装VS2010及 0PENCV2. 4. 5并配置软件运行环境，以及实现本发明所述方法的软件程序。
[0034] 路由器搭建的局域网：路由器采用Netgear公司生产的WNR2000。路由器搭建的 局域网将测控计算机打包的数据信息通过此局域网，上传到规划决策上位机供其使用。
[0035] 规划决策上位机：用于解析前述数据信息并得到控制命令，从而对BJUT-SHEV实 验平台进行控制，实施车辆转向、抬起油门或踩下刹车等动作。
[0036] -种基于视觉的道路信息检测及前方车辆识别方法流程图如图2所示，由安装在 测控计算机内的软件程序实现，包括以下步骤：
[0037] 步骤1，图像预处理，具体流程如图3所示。
[0038] 步骤1. 1，彩色图像灰度化。
[0039] 设原始彩色图像中像素点颜色为RGB (R, G, B),处理后的像素点灰度值为Gray,彩 色图像灰度化可表示如下：
[0040] Gray = RXO. 299+GXO. 587+BX0. 144
[0041] 步骤1. 2,单次0TSU法二值化图像。
[0042] 0TSU法在模式识别的过程中用途比较广泛，能够自适应地选取阈值，区分背景及 目标区域。首先计算灰度图像的特征参数：
[0043] u = co〇]i〇+c〇1]i1
[0044] 〇 2 (K) = co 〇 ( u 〇- u ) 2+ co j ( u r u )2
[0045] 其中，％、％分别为背景及目标区域像素点灰度值出现的概率，"、"分别为背 景及目标区域像素点的平均灰度值，U为整体图像灰度的统计均值， 〇2 (K)为背景区域与 目标区域组间方差，K = 1，2, 3,...，求使方差取得最大值时的K，得到最优阈值K。
[0046] 步骤1. 3,采用Sobel算子进行边缘检测。
[0047] 图像边缘通常呈现灰度级的跃变，这种跃变能够用图像的微分来描述。所以基于 微分算子类的图像边缘检测方法是比较常用的一种。该类方法中的大部分算法使用的是滤 波器模板，即令所处理的像素与模板的中心重合，模板系数与相对应像素值加权后，其结果 作为该像素点的梯度值。在整幅数字图像矩阵中移动滤波器模板，就可得到一幅梯度图。此 方法的结果反映了数字图像中像素灰度变化的梯度，根据梯度图中梯度的变化情况检测出 图像的边缘。本发明采用Sobel算子进行检测，其原理模板如表1所示。
[0048]表1 Sobel算子原理模板
【权利要求】
1. 一种基于视觉的道路信息检测及前方车辆识别方法，实现所述方法的系统包括：摄 像头，内部安装视频采集卡的测控计算机，由路由器搭建的局域网，规划决策上位机，智能 车实验平台；摄像头安装在智能车实验平台的顶棚前方正中位置，通过USB连接所述测控 计算机内的视频采集卡，实时采集道路图像；测控计算机对图像进行处理得到的控制参数 由路由器搭建的局域网传递给规划决策上位机；规划决策上位机解析上述信息后对实验平 台进行控制；其特征在于，所述方法在测控计算机内执行以下步骤： 步骤1，图像预处理； 步骤1.1，彩色图像灰度化； 设原始彩色图像中像素点颜色为RGB (R, G, B),处理后的像素点灰度值为Gray,彩色图 像灰度化可表示如下： Gray = RXO. 299+GXO. 587+BX0. 144 步骤1. 2,单次OTSU法二值化图像； 计算灰度图像的特征参数： μ = ω 〇 μ 〇+ ω 1 μ 1 σ2(Κ) = ω〇(μ〇-μ)2+ωι(μ「μ)2 其中，ω(|、CO1分别为背景及目标区域像素点灰度值出现的概率，μ ρ μ i分别为背景及 目标区域像素点的平均灰度值，μ为整体图像灰度的统计均值，σ 2(K)为背景区域与目标 区域组间方差，K = 1，2, 3,...，求使方差取得最大值时的Κ，得到最优阈值K ; 步骤1. 3,采用Sobel算子进行边缘检测； 设图像经过二值化后像素点坐标为（i，j)，对整幅图像进行模板运算，从而得到每个像 素点沿1，7方向的梯度值61^_)和67(^,当满足下式时认为该点为边缘点： Gx|+|Gy| > nThreshold 其中，nThreshold为阈值； 步骤1. 4,图像细化处理； 粗边缘像素有一定的宽度，只保留这个宽度中间的像素，将周围的像素"腐蚀"掉：对步 骤1. 3检测出的每一个白色像素点进行判断，如果在其八邻域中只有小于k个的白色像素， 说明该点是一个较亮的点，属于边缘宽度中的边缘像素，将这样的像素置为〇 ;k为由实验 确定的正整数； 步骤1.5,确定道路区域； 确定道路区域上界：从图像每一列的第一个像素开始向下检索，找到该列的第一个黑 色像素点，标记它的行数K，在h的最大值上增加 m个像素点得到的行数为处理区域的上 界；m的值由实验确定； 确定道路区域的左右边界：从图像的正中心向左，从最下端一列向上逐行进行搜寻，将 找到的第一个白色点作为道路内边界上的第一个点，然后将直线斜率k作为参数，构建直 线方程；根据直线方程计算该直线上的白色点的个数，将取得最大白色点数的k值作为此 边界拟合直线的斜率；直线斜率确定后，在y值上把直线抬高一个增量b得到左边界的拟合 直线；以相同的方法确定右边界拟合直线；两条直线中间的区域就是道路区域； 步骤2,车道线检测及偏离预警； 采取逐行检索的方法确定车道边界点，采用最小二乘法对边界点进行拟合，获取描述 车道的二次曲线；判断车辆前方道路转弯的方向，对车辆是否偏离车道线进行预警； 步骤3, ROI区域分割； 采用道路区域灰度与双OTSU相结合的方法分割车辆底部阴影，对分割图像进行腐蚀 膨胀处理，填充缺口区域，基于车底阴影获取车辆ROI区域； 步骤4,车辆轮廓识别； 对区域进行以信息熵及对称性为主要参考依据的多特征筛选；采用改进的Robinson 算子对经过筛选后保留下来的部分进行处理，求取灰度变化梯度值，并用Hough变换法识 别车辆外轮廓线。
2. 根据权利要求1所述的一种基于视觉的道路信息检测及前方车辆识别方法，其特征 在于，步骤2所述确定车道边界点的方法如下： 从整幅图像的最后一行向上搜索直到上限边界，其纵向跨度为图像高度height ;逐行 检索白色像素的线段，记下第η条线段的长度In ;终止列坐标不超过整幅图像的3/4列的线 段归为左边道路线，起始列坐标不少于整幅图像1/4列的线段归为右边道路线；分别在左 右道路线序列中查找线段相邻两行间的有效行坐标ij和ij+若它们之间的差值大于像素 距离阈值d，说明该条线段属于噪音，则从该序列中剔除；最后，从左右道路线序列中分别 找出其中特征最明显的一条线段，标记该条线段的有效坐标，左侧序列线段为Q 1, J1)，右侧 为（i" Jr)。
3. 根据权利要求1所述的一种基于视觉的道路信息检测及前方车辆识别方法，其特征 在于，步骤2所述判断车辆前方道路转弯的方向的方法如下： 记左右边界直线的交点为（Xc^ytl),左右道路内边界拟合曲线的交点为Uuy1);如 果有Xtl < X1-δ ^，则说明道路在向右转；如果有X(l > Χι+δ ^，则说明道路在向左转；如果 X1- δ ^彡χ〇彡χ1+ δ ^，则说明道路呈直线；δ ^为由实验确定的一个很小的数值。
4. 根据权利要求1、2或3所述的一种基于视觉的道路信息检测及前方车辆识别方法， 其特征在于，步骤2所述对车辆是否偏离车道线进行预警的方法如下： 通过车道线拟合算法得到左右车道线的中心标识线，即左右两条车道线夹角的角平分 线；用一个二元一次方程表示车道中心线：
其中，V k2分别为左右车道线的斜率； 车辆行驶方向与车道中心线方向的夹角
设车辆在当前车道中的横向位移为d;当(1>(1(|且Θ > 0(|时，判断为左侧偏离，发出 预警信号；当(1>(1(|且Θ <-0。时，判断为右侧偏离，发出预警信号；若不满足上述条件 则不发出预警信号。
5. 根据权利要求1所述的一种基于视觉的道路信息检测及前方车辆识别方法，其特征 在于，步骤3所述分割车辆底部阴影的方法如下： 首先使用OTSU法计算图像整体的阈值T1 ;遍历图中的所有像素点，以阈值T1进行分 类，大于T1的归类为背景；过滤掉背景区域，对原图中像素灰度值小于T1的所有像素点再 次使用OTSU法，得到新阈值T 2 ;以T2为分割阈值对图像再次进行二值化，大于T2的归类为 背景，像素值设置为255 ;小于T2的设置为目标像素，像素值设置为0 ;在灰度图像上选取Hi1 个长宽均为H1个像素的路面区域，H^n1根据视频图像分辨率确定；统计Hl1个路面区域的平 均灰度值μ i及标准差〇 i，去除μ i大于μ (!及〇 i大于％的区域，μ d、％由实验确定， 便可排除路面区域窗口划分在斑马线或指示线上面的情况，并设剩下的路面区域个数为N ; 经过计算可以求得这N个区域的平均灰度值
及平均方差：；可得到 最优阈值为：
如果因 N过小或T < 0时无法进行局部灰度值运算，通过如下式进行算法的选取：
6. 根据权利要求1或5所述的一种基于视觉的道路信息检测及前方车辆识别方法，其 特征在于，步骤3所述基于车底阴影获取车辆ROI区域的方法如下： 从上至下，从左至右逐行搜索阴影线的起始位置和终止位置，从而确定其长度和位置； 当满足下式时则认为分别找到了阴影线的起点Xstart及终点Xmd :
每行选取一个阈值，当满足下式时，此阴影线为车辆底部阴影：
其中，w为阴影线在图像中的长度标量,单位为像素；wp为车辆实宽；H为摄像机光轴距 地面的高度；y为目标在图像纵轴方向上的所在行数，单位为像素；height为图像的高度单 位为像素； 定义矩形度SQ为区域内面积与其外接矩形面积的比值，SQ越大则此区域愈呈矩形状； 令四边形度量QM为阴影区域宽高比的量度，当QM= 1时，可以近似认为四边形是等边的； 利用SQ与QM对上述检测出的阴影区域进行筛选，方法如下：
在提取ROI区域的过程中，考虑到阴影区域的高度、宽度、位置等的不确定性，首先选 取范围较大的ROI区域；初步提取的过程中把车辆整体包含在区域内，并且考虑到光照强 度及角度的变化会使车底阴影与车体本身呈现不同的比例关系，具体方法为：
其中，（Rv X，Rv y)为ROI区域左下角坐标点，（Rs X，Rs y)为阴影区域左下角坐标点，Rv width，Rv height分别为ROI区域的宽度和高度，Rs width为阴影区域的宽度，参数λ = 1. 2, δ = 50。
7.根据权利要求1所述的一种基于视觉的道路信息检测及前方车辆识别方法，其特 征在于，步骤4所述对区域进行以信息熵及对称性为主要参考依据的多特征筛选的方法如 下： (1) 信息熵筛选 图像的熵值在含有车辆的候选区域中明显增大；对于路面区域，由于其灰度值比较单 一，所以包含的像素信息值较低；通过此性质过滤掉一些熵值较小的区域；设在上述提取 的高度为h的ROI区域内，每行的熵值为H(a)，则其均值为：
当77(")> Γ时，认为ROI区域包含车辆信息，否则对此ROI区域进行滤除；T为由实验 确定的阈值； (2) 对称性过滤 设RU)为ROI区域内的一次连续函数，将其拆分为奇函数Rtj(X)和偶函数R6(X);对于 上述提取到的ROI区域R来说，令区域大小为wXh，对称轴为：，则对于图像的第y行 线段，奇函数与偶函数的表达式分别为：
对偶函数进行修正，使其修正后的均值同奇函数一样，趋近于零，以便用能量函数对比 两者的关系；修正后得：
由此得到奇函数与偶函数的能量函数分别为：
对第y行像素的对称性进行度量计算：
当s > Stl时，则可判定为车辆ROI区域，否则删除该区域；Stl为由实验确定的阈值。
8. 根据权利要求1所述的一种基于视觉的道路信息检测及前方车辆识别方法，其特征 在于，步骤4所述改进Robinson算子的方法如下： 采用Robinson算子对ROI区域中的像素点进行检测时，任一像素点与M1模板的运算 方法如下： e〇 = p〇+2Xp1+p2-p5-2Xp6-p 7 其中，eQ?e7分别为目标像素点与模板MQ(丨）?M7 (\ )进行边缘检测运算的结果； Pq?P7分别为位于目标像素点左上、正上、右上、正左、正右、左下、正下、右下像素点的灰度 值； 改进的方法在于引入变量：
进行运算速度优化处理，可得结果为：
最终分别对横向及纵向检测信息进行提取。
9. 根据权利要求1或8所述的一种基于视觉的道路信息检测及前方车辆识别方法，其 特征在于，步骤4所述采用Hough变换法识别车辆外轮廓线的方法在ROI区域内进行，以降 低计算量；在直线角度上进行限定，从而进一步加快运算速度；提取横向边缘的过程中令 角度-5° < Θ <5°，提取纵向边缘的过程中令60° < Θ <120°，令纵向左、右边界线 分别以最左、右点为准，斜率值向无穷靠拢，可获取矩形车辆外边界。
【文档编号】G06T7/00GK104392212SQ201410647880
【公开日】2015年3月4日 申请日期:2014年11月14日 优先权日:2014年11月14日
【发明者】段建民, 刘冠宇 申请人:北京工业大学