一种基于图像处理的机动车道车辆逆行识别方法
【专利摘要】本发明公开了一种基于图像处理的机动车道车辆逆行识别方法，该方法利用几何滤波和空间聚类方法过滤线段噪声，提高了中心黄线的识别率；同时利用Kalman滤波算法对中心黄线进行预跟踪和预测从而得出最优中心黄线，有效地降低了个别帧的中心黄线识别错误或失败对车辆逆行识别方法造成的影响，鲁棒性强；本发明通过利用车载摄像头来识别和跟踪中心黄线，从而判断待检测车辆是否逆行，算法简单易行，实时性高。
【专利说明】
-种基于图像处理的机动车道车辆逆行识别方法
技术领域
[0001] 本发明属于图像识别技术领域，具体设及一种基于图像处理的机动车道车辆逆行 识别方法。
【背景技术】
[0002] 随着汽车的普及，车辆行驶安全越来越受到人们的关注。在国内，车辆逆行行为是 引发交通事故额第=高频交通违法行为。而据国内交通法律法规，机动车道上使用黄色实 线区分不同方向的车道。机动车辆压黄色实线或者跨越黄色实线，则视为逆行行为。目前在 检测车辆违章逆行方面有多种方法，其中主要分为两个方向：检测路上车辆逆行和检测己 方车辆逆行。
[0003] 检测路上车辆逆行，主要应用于基于视频的交通违章检测系统中。此类交通违章 检测系统一个重要前提是摄像头安放于路旁或者道路上方的固定位置处，检测行驶在该条 道路上的车辆是否违章逆行。该方法主要建立在对车辆进行检测跟踪并得到车辆运动轨迹 的基础上，通过对车辆运动轨迹进行分析，判断车辆是否为逆行。在检测路上车辆逆行技术 中，由于摄像头自身安放在固定位置处于静止状态，因此可通过识别车辆动态信息从而进 行判断。
[0004] 而在检测己方车辆逆行方面中，由于摄像头安放于己方车辆上，并且绝大多数时 间处于运动状态，因此上述方法并不适用。其中，公开号为CN102792350A的中国专利提出了 一种检测已方车辆是否违章逆行的车辆逆行检测装置，该装置所要解决的问题是判断车辆 是否正在单行道上逆行，其事先在车载电子系统中存储标记有单行道的地图信息，并通过 车载GI^接收机获取自身位置信息，进而比较自身车辆的位置和禁止逆行道路的位置，从而 判断自身车辆是否正在单行道上;然后进一步通过自身位置信息计算车辆行驶方向，从而 判断车辆是否正在单行道上逆行。但此装置主要存在W下不足：（1)在自身车辆接收到的 GPS位置信息中包含误差的情况下，即使实际上车辆正在禁止逆行道路周边的道路上行驶， 也判断为正在禁止逆行道路上行驶，对驾驶员误报警告信息；（2)该装置需要事先存储大量 地图信息；（3)该装置并不适用于在双向车道上检测己方车辆是否违章逆行。
[0005] 此外，公开号为CN104732774A的中国专利提出了一种车辆逆行的检测方法和检测 系统，该装置主要通过颜色识别和直线识别从道路行驶图像中确定待检测车辆在道路中的 位置，再结合表征方向的静态特征物来确定车辆的预估行驶方向，并且通过光流法检测移 动特征物的运动方向和速度，最后加权确定车辆是否逆行。但此方法主要存在W下不足： (1)该方法面向非机动车道，若道路宽阔的机动车道全部位于摄像头视野内时，则无法通过 所述的图像处理方法从行驶图像中确定待检测车辆在道路中的位置；（2)该方法通过检测 表征道路方向的特征物来确定待检测车辆的预估行驶方向，而没有利用机动车道方向分割 线；（3)该方法需要通过图像处理方法检测多种静态特征物，并使用算法复杂度较高的光流 法检测移动特征物，最后加权才得出待检测车辆是否逆行，算法复杂度高，缺乏实时性。
【发明内容】
[0006] 针对现有技术所存在的上述技术问题，本发明提供了一种基于图像处理的机动车 道车辆逆行识别方法，通过检测机动车道上区分不同方向车道的黄线，W实现机动车道上 己方车辆行驶方向的识别。
[0007] -种基于图像处理的机动车道车辆逆行识别方法，包括如下步骤：
[0008] (1)利用安装于车身上的摄像头采集实景图像，截取实景图像中的道路区域作为 目标区域并对目标区域进行预处理；
[0009] (2)基于色调信息对预处理后的目标区域进行图像分割，从中提取出若干近似黄 色的连通区块；
[0010] (3)对所述的连通区块进行中值滤波，W去除目标区域中孤立的噪声点；
[0011] (4)对中值滤波后保留下来的连通区块进行边缘检测W提取轮廓并对轮廓进行线 段检测，进而将检测得到的所有线段分类为左侧线段集合和右侧线段集合；
[0012] (5)对上述两组集合中的线段进行筛选W及合并，进而判定中屯、黄线；
[OOU] (6)基于Kalman滤波算法生成当前帖中屯、黄线的预测结果，结合步骤(5)中得到的 当前帖中屯、黄线的判定结果，确定当前帖中屯、黄线的最终结果;进而根据中屯、黄线的最终 结果判断当前车辆是否在道路上逆向行驶。
[0014] 所述的步骤（1)中对目标区域进行预处理包括直方图均衡化处理、饱和度调节W 及亮度调节，W突出目标区域的颜色特征便于后续识别。
[0015] 所述的步骤(2)中对预处理后的目标区域进行图像分割，即对预处理后的目标区 域基于服V颜色空间进行近黄色调区间的二值化分割。
[0016] 所述的步骤(3)中对连通区块进行中值滤波，即去除零星面积较小的连通区块，然 后对剩余连通区块进行内部填充及边缘平滑。
[0017] 所述的步骤(4)中利用化nny算子对中值滤波后保留下来的连通区块进行边缘检 测W提取轮廓，并利用概率霍夫变换对轮廓进行线段检测，进而将检测得到的所有线段分 类为左侧线段集合和右侧线段集合:处于左=分之二目标区域内且斜率QG [0，V2]的线段 归属于左侧线段集合，处于右=分之二目标区域内且斜率QG (V2，n]的线段归属于右侧线 段集合。
[0018] 所述的步骤（5)中首先通过几何滤波剔除掉两组集合中长度小于一定阔值的线 段，然后通过空间聚类方法将任一组集合中斜率相近且间距小于一定阔值的多条线段合并 为一条线段。
[0019] 所述的步骤(5)中判定中屯、黄线的方法如下：
[0020] 若两组集合均为空，则中屯、黄线判定失败；
[0021 ]若两组集合其中一组为空，另一组不为空，则W线段长度越长W及越靠近目标区 域中央作为两项指标通过加权求和得到综合评定值，选取非空集合中综合评定值最高的线 段作为中屯、黄线的判定结果；
[0022]若两组集合均不为空，则选取两组集合中长度最长且所属连通区块平均色调值最 大的线段作为中屯、黄线的判定结果，若无法找到同时满足长度最长且所属连通区块平均色 调值最大的线段，则中屯、黄线判定失败。
[0023] 所述的步骤(6)中根据上一帖中屯、黄线的最终结果，W该最终结果所对应线段的 斜率和截距作为输入通过Kalman滤波算法求解，输出求得的斜率和截距所对应的线段即为 当前帖中屯、黄线的预测结果。
[0024] 所述的步骤(6)中确定当前帖中屯、黄线的最终结果，具体标准如下：
[0025] 若步骤(5)中的中屯、黄线判定失败，则当前帖中屯、黄线的最终结果即采用预测结 果;若连续多次中屯、黄线判定失败，则认定实景图像中不存在中屯、黄线，无法识别当前车辆 是否逆向行驶；
[0026] 若当前帖中屯、黄线的判定结果与预测结果的斜率误差W及截距误差在阔值范围 内，则当前帖中屯、黄线的最终结果即采用判定结果；
[0027] 若当前帖中屯、黄线的判定结果与预测结果的斜率误差或截距误差超出了阔值范 围且非连续多次出现该情况，则当前帖中屯、黄线的最终结果即采用预测结果;若当前帖中 屯、黄线的判定结果与预测结果的斜率误差或截距误差超出了阔值范围且连续多次出现该 情况，则当前帖中屯、黄线的最终结果即采用判定结果。
[0028] 所述的步骤(6)中判断当前车辆是否在道路上逆向行驶:若当前帖中屯、黄线的最 终结果所对应线段的斜率OG [0，n/2]，则判定车辆顺行;若当前帖中屯、黄线的最终结果所 对应线段的斜率OG (V2，n]，则判定车辆逆行。
[0029] 与现有技术相比，本发明具有W下有益技术效果：
[0030] (1)本发明利用几何滤波和空间聚类方法过滤线段噪声，提高了中屯、黄线的识别 率.
[0031] (2)本发明利用Kalman滤波算法对中屯、黄线进行预跟踪和预测从而得出最优中屯、 黄线，有效地降低了个别帖的中屯、黄线识别错误或失败对车辆逆行识别方法造成的影响， 鲁棒性强；
[0032] (3)本发明通过利用车载摄像头来识别和跟踪中屯、黄线，从而判断待检测车辆是 否逆行，算法简单易行，实时性高。
【附图说明】
[0033] 图1为本发明方法的步骤流程示意图。
[0034] 图2为本发明中基于Kalman滤波的中屯、黄线跟踪算法流程示意图。
【具体实施方式】
[0035] 为了更为具体地描述本发明，下面结合附图及【具体实施方式】对本发明的技术方案 进行详细说明。
[0036] 如图1所示，本发明基于图像处理的机动车道车辆逆行识别方法，包括如下步骤：
[0037] 步骤1:采集实景图像，根据图像采集设备在车上的安装位置，截取实景图像中的 马路区域作为目标区域，如将图像的上半部分作为目标区域等，然后对目标区域进行直方 图均衡化处理，调整图像饱和度和亮度。
[0038] 本实施方式中直方图均衡化是一种利用图像直方图对对比度进行调整的方法，其 基本思想是把原始图像的直方图变换为均匀分布的形式，对图像进行非线性拉伸，重新分 配图像像素值，使一定灰度范围内的像素数量大致相同，运样就增加了图像灰度值的动态 范围，从而可W用于增强局部的对比度而不影响整体的对比度。
[0039] 步骤2:对直方图均衡化处理后的目标区域基于HSV颜色空间进行颜色阔值图像分 害d，从中提取出若干近黄色连通区域的二值化区域。
[0040] HSV颜色空间用H、S、VS参数描述颜色特性。其中色调H定义颜色的波长，描述颜色 的属性;饱和度S表示颜色的纯度，即颜色的深浅程度;亮度V表示颜色的明亮程度。由于其 使用单个通道H来描述色调，因此可通过设定阀值对颜色进行有效的分割，并通过对S，V通 道进行约束从而进一步减少噪声。
[0041] 颜色阔值图像分割中根据W下表达式对目标区域的每一像素进行二值化：
[0042]
[0043] 其中：P(x，y)为像素(x，y)的HSV颜色空间中的属性值，PH(x，y)为对应色相属性 值，Ps(x，y)为对应饱和度色属性值，Pv(x，y)为对应亮度属性值，世6：￡1、出6:2、5地、￥地均为预 设的HSV颜色空间中的各属性阔值;上述阀值通过对中屯、黄线样本的各通道值进行直方图 统计得到。
[0044] 完成颜色阔值图像分割后，对生成的二值化区域进行中值滤波，去除微小噪声并 对连通区域边缘进行平滑处理。中值滤波通过图像中的像素按照灰度级进行排序，然后选 择出运个输入窗口中所有像素点的灰度值的中间值，并作为最后输出的灰度值，从而有效 抑制图像噪声，提高图像信噪比。而二值化图像可视为只有0和255两个灰度级的灰度图像， 因此亦可应用中值滤波去除噪声。
[0045] 步骤3:利用化nny算子对滤波后的区域进行边缘检测，利用概率化U曲变换进行线 段检测，并且将检测得到的线段归类为左侧或右侧主线候选集。
[0046] 本实施方式的化nny算子是一个具有滤波、增强和检测的多阶段优化算子，其使用 双阔值进行边缘检测和连接，使得弱边缘也能够较好地检测出来，检测出来的轮廓比较清 晰，具有高信噪比和定位精度。化nny算法一般分为W下四个步骤：
[0047] (1)首先通过与高斯核的高斯卷积对图像进行高斯平滑，获得高斯模糊图像，从而 在过滤噪声的同时保留环境的有用信息；
[004引（2)然后对平滑后的图像进行差分操作，即计算梯度的幅度值和方向，从而得到梯 度图；
[0049] (3)再采用非最大抑制算法寻找图像中的所有可能边缘点；
[0050] (4)最后通过双阔值法递归找到图像边缘点，得到单像素宽度边缘图像。
[0051] 经过基于化nny算子的边缘检测后，得到二值化区域的边缘图像。在实际中，前方 近处的道路方向主线总是为直线状态，直到远处或远离主线时才会出现曲线情况，而且曲 率一般比较小，可用直线进行拟合，从而近似替代曲线主线。基于上述特征，本实施方式将 中屯、黄线模型简化为直线模型。
[0052] 概率化U曲变换基于标准化U曲变换，其基本思想是采用随机抽取的方法在整个图 像空间中取点映射，每次映射后检测累加器A(P，0)对应点的数值。当某一条直线被拟合的 次数达到特定阔值时，便完成该条直线的拟合，并将位于该直线上的所有候选边缘点删除。
[0053] 为识别中屯、黄线位置W判断自身车辆是否正在逆行，需要基于直线的斜率和位置 将检测得到的线段进行归类。本实施方式将检测线段归类为左侧或右侧主线候选集中，左 侧主线候选集中的线段与X轴夹角为O~90度，并且线段的左侧端点位于ROI的左半区域，右 侧端点位于ROI的左S分之二区域，记为集合IeftLines;右侧主线候选集中的线段与X轴夹 角为90~180度，并且线段的左侧端点位于ROI的右S分之二区域，右侧端点位于ROI的右半 区域，记为ri曲tLines。上述归类方法的表达式分别如下：
[i
[i
[0056] 步骤4:依次通过几何滤波和空间聚类方法对检测出的线段进行筛选，过滤线段噪 声，并且中心黄线判定。
[0057] 本实施方式的几何滤波是根据中屯、黄线特点所制定的滤波方法，其中包括设置线 段长度最小口限HihLength W及线段斜率之绝对值的最小口限minK和最大口限maxK，表达 式分别如下：
[0化引
[0059] L.kI G[minK,maxK]
[0060] 本实施方式的空间聚类方法是针对车道线特点所制定的滤波方法，将一定范围内 (斜率差绝对值为k，截距差绝对值为b)相邻的线段聚类为一条，并且选择长度最大的线段 作为车道线代表。
[0061] 本实施方式的中屯、黄线判定方法是基于两侧的主线候选集进行道路方向主线判 定，其中主要4V责W下的釉信瓶.
[0062] (a： 道路方向主线识别失败；
[0063] (b :综合考虑线段的长度length、斜率k 和截距b。根据线段长度length从大到小赋予权值，同时依据斜率k和截距b，根据其距离图 像中央的距离从小到大赋予权值，最后将加权和最大的线段判定为中屯、黄线；
[0064] (C: 判定原理同（b)-致；
[00化](d :首先基于（b)和（C)分别从两侧筛选 出一条候选线段，然后分别求取两条线段所在的连通区域，并计算能够包含连通区域的最 小旋转矩形，此时即可得到两个车道线模型，记为ILine和rLine。分别统计车道线模型 ILine和rLine内所有像素，若一侧的车道线模型其平均色调馬运和线段长度Ieng化均比另 一侧车道线模型的大，则将其判定为中屯、黄线；而若仅满足其中一项，则认为条件不足，无 法辨别和去除线段噪声，中屯、黄线失败，表达式如下：
[0066]
[0067] 步骤5:基于Kalman滤波算法，利用历史数据对中屯、黄线进行跟踪和预测，再与当 前判定得到的中屯、黄线进行比较，从而得出最优中屯、黄线。
[0068] 本实施方式的Kalman滤波是一种对动态系统的状态序列进行线性最小方差估计 的数字滤波算法，它的预测过程是在系统上一时刻状态的基础上估计系统的当前状态。 Kalman滤波首先估计系统某一时刻的运行状态，然后通过测量变量的方式获得反馈。因此 Kalman滤波算法可W分为两个部分:时间更新方程和测量更新方程。时间更新方程通过对 前一时刻的后验估计状态量得到当前时刻的先验估计状态量，而测量更新方程则利用计算 得出的Kalman滤波增益来更新当前时刻系统的后验估计状态量和后验估计误差协方差。
[0069] 如图2所示，为了令Kalman滤波算法持续输出最优中屯、黄线，需要获取新观测值并 输入到滤波器中进行迭代，主要分为W下两种情况处理：
[0070] (a)道路方向主线识别失败：此时不存在可用的新观测值，因此将预测值 predictLine作为观测值输入到Kalman滤波算法中，完成下一次的预测。若连续m次主线识 别失败，则认为图像中不再存在主线，结束道路方向主线跟踪。
[0071] (b)道路方向主线识别成功:将观测值measureLine与Kalman滤波算法输出的预测 值predictLine进行比较，如果斜率k和截距b误差在设定的阔值T内，则认为观测值有效，否 则否定观测值，W预测值predictLine作为观测值输入到Kalman滤波算法中，完成下一次的 预测。若连续n次否定观测值measureLine,则认为已经开始了新的道路方向主线识别，进入 新的道路方向主线跟踪迭代。
[0072] 步骤6:计算最优中屯、黄线的斜率，确定当前车辆行驶方向，输出当前车辆是否正 在道路上逆行。
[0073] 根据Kalman滤波算法输出的最优估计值predictLine判断当前车辆是否逆行。当 连续多次道路方向主线识别失败，此时跟踪结束，认为图像中不再存在主线，因此无法判断 车辆是否逆行；当跟踪算法仍在迭代时，若predic化ine的倾角0G (0°~90°)，此时判定车 辆顺行;若predictLine的倾角目G (90°~180° )，此时判定车辆逆行。
[0074] 上述的对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发 明。熟悉本领域技术的人员显然可W容易地对上述实施例做出各种修改，并把在此说明的 一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例， 本领域技术人员根据本发明的掲示，对于本发明做出的改进和修改都应该在本发明的保护 范围之内。
【主权项】
1. 一种基于图像处理的机动车道车辆逆行识别方法，包括如下步骤： (1) 利用安装于车身上的摄像头采集实景图像，截取实景图像中的道路区域作为目标 区域并对目标区域进行预处理； (2) 基于色调信息对预处理后的目标区域进行图像分割，从中提取出若干近似黄色的 连通区块； (3) 对所述的连通区块进行中值滤波，以去除目标区域中孤立的噪声点； (4) 对中值滤波后保留下来的连通区块进行边缘检测以提取轮廓并对轮廓进行线段检 测，进而将检测得到的所有线段分类为左侧线段集合和右侧线段集合； (5) 对上述两组集合中的线段进行筛选以及合并，进而判定中心黄线； (6) 基于Kalman滤波算法生成当前帧中心黄线的预测结果，结合步骤(5)中得到的当前 帧中心黄线的判定结果，确定当前帧中心黄线的最终结果;进而根据中心黄线的最终结果 判断当前车辆是否在道路上逆向行驶。2. 根据权利要求1所述的机动车道车辆逆行识别方法，其特征在于:所述的步骤（1)中 对目标区域进行预处理包括直方图均衡化处理、饱和度调节以及亮度调节，以突出目标区 域的颜色特征便于后续识别。3. 根据权利要求1所述的机动车道车辆逆行识别方法，其特征在于:所述的步骤(2)中 对预处理后的目标区域进行图像分割，即对预处理后的目标区域基于HSV颜色空间进行近 黄色调区间的二值化分割。4. 根据权利要求1所述的机动车道车辆逆行识别方法，其特征在于:所述的步骤(3)中 对连通区块进行中值滤波，即去除零星面积较小的连通区块，然后对剩余连通区块进行内 部填充及边缘平滑。5. 根据权利要求1所述的机动车道车辆逆行识别方法，其特征在于:所述的步骤(4)中 利用Canny算子对中值滤波后保留下来的连通区块进行边缘检测以提取轮廓，并利用概率 霍夫变换对轮廓进行线段检测，进而将检测得到的所有线段分类为左侧线段集合和右侧线 段集合:处于左三分之二目标区域内且斜率αε[〇，π/2]的线段归属于左侧线段集合，处于 右三分之二目标区域内且斜率a e (π/2，π]的线段归属于右侧线段集合。6. 根据权利要求1所述的机动车道车辆逆行识别方法，其特征在于:所述的步骤(5)中 首先通过几何滤波剔除掉两组集合中长度小于一定阈值的线段，然后通过空间聚类方法将 任一组集合中斜率相近且间距小于一定阈值的多条线段合并为一条线段。7. 根据权利要求1所述的机动车道车辆逆行识别方法，其特征在于:所述的步骤(5)中 判定中心黄线的方法如下： 若两组集合均为空，则中心黄线判定失败； 若两组集合其中一组为空，另一组不为空，则以线段长度越长以及越靠近目标区域中 央作为两项指标通过加权求和得到综合评定值，选取非空集合中综合评定值最高的线段作 为中心黄线的判定结果； 若两组集合均不为空，则选取两组集合中长度最长且所属连通区块平均色调值最大的 线段作为中心黄线的判定结果，若无法找到同时满足长度最长且所属连通区块平均色调值 最大的线段，则中心黄线判定失败。8. 根据权利要求1所述的机动车道车辆逆行识别方法，其特征在于:所述的步骤(6)中 根据上一帧中心黄线的最终结果，以该最终结果所对应线段的斜率和截距作为输入通过 Kalman滤波算法求解，输出求得的斜率和截距所对应的线段即为当前帧中心黄线的预测结 果。9. 根据权利要求1所述的机动车道车辆逆行识别方法，其特征在于:所述的步骤(6)中 确定当前帧中心黄线的最终结果，具体标准如下： 若步骤(5)中的中心黄线判定失败，则当前帧中心黄线的最终结果即采用预测结果;若 连续多次中心黄线判定失败，贝认定实景图像中不存在中心黄线，无法识别当前车辆是否 逆向行驶； 若当前帧中心黄线的判定结果与预测结果的斜率误差以及截距误差在阈值范围内，则 当前帧中心黄线的最终结果即采用判定结果； 若当前帧中心黄线的判定结果与预测结果的斜率误差或截距误差超出了阈值范围且 非连续多次出现该情况，则当前帧中心黄线的最终结果即采用预测结果;若当前帧中心黄 线的判定结果与预测结果的斜率误差或截距误差超出了阈值范围且连续多次出现该情况， 则当前帧中心黄线的最终结果即采用判定结果。10. 根据权利要求1所述的机动车道车辆逆行识别方法，其特征在于:所述的步骤(6)中 判断当前车辆是否在道路上逆向行驶:若当前帧中心黄线的最终结果所对应线段的斜率α e [0，π/2]，则判定车辆顺行;若当前帧中心黄线的最终结果所对应线段的斜率ae (π/2， 则判定车辆逆行。
【文档编号】G06K9/00GK106022243SQ201610319456
【公开日】2016年10月12日
【申请日】2016年5月13日
【发明人】杨维杰, 吴晨, 王文琴, 杨国青, 潘之杰, 吴朝晖
【申请人】浙江大学