一种多视角特征融合的路面积水检测识别方法与流程

本发明涉及汽车检测的技术领域，尤其涉及其一种多视角特征融合的路面积水检测识别方法。

背景技术：

随着ai智能技术在车载场景应用的不断普及，基于摄像头的检测识别功能的自动驾驶和辅助驾驶技术也逐渐应用在乘用车上。行驶路面的凹陷积水后，对车载视觉感知的突出影响有：造成误识别导致车辆误操作，给驾驶带来安全隐患。因此，准确识别路面积水对更安全更可靠地实现车载视觉智能感知很有必要。

目前，积水识别的主要方法有：第一，基于机器学习的目标分类，这种方法，需要大量的数据训练，运行的平台需要提供大量的算力，此类方法多应用与安防监控场景，针对背景动态多变的驾驶路面，性能不佳；第二，基于偏正光测量的方法，车载镜头目前无法实现这样的光学结构，其次，坑洼和光滑地面反射也呈现偏正干扰；第三，基于反射光学模型的积水检测，白点先验假设的缺陷，令这种方法很容易把车道线当作积水反射面检出，导致很多误检。

技术实现要素：

本发明提供了一种多视角特征融合的路面积水检测识别方法，旨在解决现有的路面积水检测存在的问题。

根据本申请实施例，提供了一种多视角特征融合的路面积水检测识别方法，包括以下步骤：

步骤s1：离线环视标定，获取不同视角地面公共区域对应的图像坐标；

步骤s2：基于颜色直方图和信息熵的公共区域路面积水检测；

步骤s5：输出结果；

步骤s3：输入候选区域，判断候选区域是否为公共区域；

若候选区域为公共区域，则执行步骤s2；

若候选区域不是公共区域，则执行步骤s4；

步骤s4:基于hog特征的非公共区域路面积水检测；

步骤s5：输出结果。

优选地，所述步骤s1包括：

步骤s11：基于标定场地，实现二维俯视的标定，基于标定获得地面空间点与原始图像坐标的对应关系：

步骤s12：基于二维俯视图，得出不同视角在公共区域的对应地面坐标，基于标定获得地面空间点与原始图像坐标的对应关系，实现步骤s11的逆运算，输出共同区域对应的图像坐标；

其中，所述步骤s11中，f表示图像坐标到地面坐标的转换关系，i为0，1，2，3且分别代表右，后，左，前四个不同视角。

优选地，所述步骤s2包括：

步骤s21：基于公共区域坐标，提取视角一的目标图像，提取视角二的目标图像；

步骤s22：分别计算视角一目标图像和视角二目标图像的颜色直方图；

步骤s23：匹配颜色直方图，计算颜色直方图的相似度；

步骤s24：计算信息熵偏差；

步骤s25：基于颜色直方图的相似度和信息熵偏差，判断路面是否积水。

优选地，所述步骤s21包括：提取视角一的目标图像i-left，提取视角二的目标图像i-right；所述步骤s22包括，步骤s221：颜色减少i-leftcolor＝i-left/15*15，i-rightcolor＝i-right/15*15；步骤s222：分别统计颜色减少后的i-leftcolor、i-rightcolor的rgb通道灰度直方图hrgbleft以及hrgbright；

优选地，所述步骤s23包括：

步骤s231：检索统计值最高的主颜色，cleft，cright，并计算差异：

dc＝abs(cleft–cright)；

步骤s232：若dc大于30，则shist＝0，输出返回直方图相似度；

步骤s233：以cleft为中心，计算占全部像素的不小于70％的直方图序列，总占比为pleft，基于序列范围计算hrgbright内所占全部像素的比例pright；

步骤s234：计算相似度，shist＝1-abs(pleft-pright)；

所述步骤s24包括：分别计算i-left、i-right的信息熵，得到信息熵enleft以及enright，计算信息熵偏差

步骤s25中，判断路面是否积水的判断条件为：shist小于0.4且den小于0.4。

优选地，所述步骤s4包括：

步骤s41：计算当前帧，目标区域rcur的hog特征hogcur；

步骤s42：基于运动补偿，计算前5帧序列对应的目标区域rprei；

步骤s43：计算前5帧对应rprei的hog特征，hogprei；

步骤s44：分别计算，hogcur和hogprei特征向量差异，并计算差异的均值dhogmean；

步骤s45：计算hogcur和hogprei组成特征向量组的方差δhog；

步骤s46：判断区域路面是否存在积水，若dhogmean大于0.7且δhog大于0.2，则目标区域路面存在积水。

本申请实施例提供的技术方案可以包括以下有益效果：本申请设计了一种多视角特征融合的路面积水检测识别方法，与传统方案相比，本方案基于当前车辆行驶道路积水检测方法在车载环境下应用的不足。本发明基于车载环视组成的光学感知系统特点，设计一种多视角特征融合的路面积水检测识别方法。本方法，实现简单，性能稳定。路面积水后对光照形成了镜面反射，不同的角度观测同一积水路面，由于水面的动态变化，会在图像视频中呈现相应的变化(不同视角的灰度、色彩、纹理不同；同一视角，视频流中的灰度、色彩、纹理不同)：基于上述先验知识，设计一种高效度量不同视角地面图像特征差异和相同视角视频流中图像特征的变化，结合上述差异和变化，分辩正常地面和积水地面，实现路面积水的快速检测。

由于环视系统对四个镜头由于光照引起的色彩和亮度不同，作了色度和亮度的一致性性修复，正常情况下不同视角观测同一地面区域的色彩和亮度基本相近。本发明针对不同视角观测公共区域，通过计算局部的色彩直方图和信息熵，融合两种特征，判断地面积水与否。非公共区域的检测，基于提取相同地面区域在不同视频帧的局部梯度直方图特征(hog)，计算帧间hog特征的变化幅度，基于变化幅度的大小判定对应地面是否积水。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种多视角特征融合的路面积水检测识别方法的流程示意图；

图2是本发明一种多视角特征融合的路面积水检测识别方法中步骤s1的流程示意图；

图3是本发明一种多视角特征融合的路面积水检测识别方法中步骤s2的流程示意图；

图4是本发明一种多视角特征融合的路面积水检测识别方法中步骤s23的流程示意图；

图5是本发明一种多视角特征融合的路面积水检测识别方法中步骤s4的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及其“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及其所有可能组合，并且包括这些组合。

请参阅图1，本发明公开了一种多视角特征融合的路面积水检测识别方法10，包括以下步骤：

步骤s1：离线环视标定，获取不同视角地面公共区域对应的图像坐标；

步骤s2：基于颜色直方图和信息熵的公共区域路面积水检测；

步骤s5：输出结果；

步骤s3：输入候选区域，判断候选区域是否为公共区域；

若候选区域为公共区域，则执行步骤s2；

若候选区域不是公共区域，则执行步骤s4；

步骤s4:基于hog特征的非公共区域路面积水检测；

步骤s5：输出结果。

采用此设计，本方案基于当前车辆行驶道路积水检测方法在车载环境下应用的不足。本发明基于车载环视组成的光学感知系统特点，设计一种多视角特征融合的路面积水检测识别方法。本方法，实现简单，性能稳定。路面积水后对光照形成了镜面反射，不同的角度观测同一积水路面，由于水面的动态变化，会在图像视频中呈现相应的变化(不同视角的灰度、色彩、纹理不同；同一视角，视频流中的灰度、色彩、纹理不同)：基于上述先验知识，设计一种高效度量不同视角地面图像特征差异和相同视角视频流中图像特征的变化，结合上述差异和变化，分辩正常地面和积水地面，实现路面积水的快速检测。

由于环视系统对四个镜头由于光照引起的色彩和亮度不同，作了色度和亮度的一致性性修复，正常情况下不同视角观测同一地面区域的色彩和亮度基本相近。本发明针对不同视角观测公共区域，通过计算局部的色彩直方图和信息熵，融合两种特征，判断地面积水与否。非公共区域的检测，基于提取相同地面区域在不同视频帧的局部梯度直方图特征(hog)，计算帧间hog特征的变化幅度，基于变化幅度的大小判定对应地面是否积水。

请参阅图2，所述步骤s1包括：

步骤s11：基于标定场地，实现二维俯视的标定，基于标定获得地面空间点与原始图像坐标的对应关系：

步骤s12：基于二维俯视图，得出不同视角在公共区域的对应地面坐标，基于标定获得地面空间点与原始图像坐标的对应关系，实现步骤s11的逆运算，输出共同区域对应的图像坐标；

其中，所述步骤s11中，f表示图像坐标到地面坐标的转换关系，i为0，1，2，3且分别代表右，后，左，前四个不同视角。

请参阅图3，所述步骤s2包括：

步骤s21：基于公共区域坐标，提取视角一的目标图像，提取视角二的目标图像；

步骤s22：分别计算视角一目标图像和视角二目标图像的颜色直方图；

步骤s23：匹配颜色直方图，计算颜色直方图的相似度；

步骤s24：计算信息熵偏差；

步骤s25：基于颜色直方图的相似度和信息熵偏差，判断路面是否积水。

其中，所述步骤s21包括：提取视角一的目标图像i-left，提取视角二的目标图像i-right；所述步骤s22包括，步骤s221：颜色减少i-leftcolor＝i-left/15*15，i-rightcolor＝i-right/15*15；在本实施例中，参考灰度间隔为15；步骤s222：分别统计颜色减少后的i-leftcolor、i-rightcolor的rgb通道灰度直方图hrgbleft以及hrgbright；

请参阅图4，所述步骤s23包括：

步骤s231：检索统计值最高的主颜色，cleft，cright，并计算差异：

dc＝abs(cleft–cright)；

步骤s232：若dc大于30，则shist＝0，输出返回直方图相似度；

步骤s233：以cleft为中心，计算占全部像素的不小于70％的直方图序列，总占比为pleft，基于序列范围计算hrgbright内所占全部像素的比例pright；

步骤s234：计算相似度，shist＝1-abs(pleft-pright)；

所述步骤s24包括：分别计算i-left、i-right的信息熵，得到信息熵enleft以及enright，计算信息熵偏差

步骤s25中，判断路面是否积水的判断条件为：shist小于0.4且den小于0.4。

请参阅图5，所述步骤s4包括：

步骤s41：计算当前帧，目标区域rcur的hog特征hogcur；

步骤s42：基于运动补偿，计算前5帧序列对应的目标区域rprei；

步骤s43：计算前5帧对应rprei的hog特征，hogprei；

步骤s44：分别计算，hogcur和hogprei特征向量差异，并计算差异的均值dhogmean；

步骤s45：计算hogcur和hogprei组成特征向量组的方差δhog；

步骤s46：判断区域路面是否存在积水，若dhogmean大于0.7且δhog大于0.2，则目标区域路面存在积水。

在本实施例中，步骤s42的运动补偿非本发明的创新点，在此不再赘述。步骤s46中，本发明阈值选用0.7和2.0为参考值。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。