基于ADAS系统的地图道路标记及道路质量采集装置及方法与流程

本发明涉及汽车电子技术领域，尤其涉及一种基于adas系统的地图道路标记及道路质量采集装置及方法。

背景技术：

高级驾驶辅助系统adas(advanceddrivingassistantsystem)，基于视觉的adas系统在驾车过程中提供ldw(车道偏离)，fcw(前车碰撞)以及pcw(行人检测)等报警功能。近年来adas市场增长迅速，原来这类系统局限于高端市场，而现在正在进入中端市场，应用会越来越来广泛。

目前用于高精度的道路数据采集工作基本都是使用专用地图采集车，采集车上安装激光雷达等设备，成本在数百万至千万，且需要专门人员及时间。而道路质量，如缺陷，平整度等的采集，也是使用专用采集车，采集车上安装多个激光仪器及光栅等设备来实现，成本较高，需要专人操作效率低。

技术实现要素：

本发明要解决的技术问题在于针对现有技术中通过激光雷达等设备识别道路质量，成本高、效率低的缺陷，提供一种基于adas系统的地图道路标记及道路质量采集装置及方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于adas系统的地图道路标记及道路质量采集装置，包括以下模块：

图像采集模块，用于实时获取行驶车辆前方的彩色图像；

图像预处理模块，用于将彩色图像转换为灰度图像；

adas模块，用于识别灰度图像中的车辆、行人和障碍物区域，并对灰度图像进行车道线检测，输出车道线在图像中的特征点集合、直线方程以及其在图像中的车道区域；

车道线位置计算模块，用于将车道线的特征点集合进行逆透视变换至以摄像机为中心的物理世界坐标系坐标，对变换坐标系后特征点进行曲线拟合，计算出车道线位置信息；

车道指示标记检测模块，用于检测车道区域内的车道方向功能标记，包括直行、左转、右转、调头和直行左转标记；

传感器模块，用于检测车辆行驶过程中的在三个正交方向的加速度大小，并通过加速度大小对路面颠簸程度进行判断，得到道路颠簸数据；

车道缺陷检测模块，用于在各车道区域内，排除识别出的车辆、行人和障碍物区域，得到缺陷检测roi区域，根据道路颠簸数据和缺陷检测roi区域内的灰度图像，检测缺陷检测roi区域内是否存在道路缺陷，识别缺陷类型并评价道路质量；

数据处理模块，用于对存在道路缺陷的区域，提取出对应的道路缺陷信息，包括缺陷类型、道路质量、位置信息以及原始图像信息；提取识别到的车道方向功能标记及其对应位置信息，通过无线通信的方式将道路缺陷信息和车道方向功能标记发送至远程服务器，对地图数据进行实时动态更新和补充。

进一步地，本发明的图像采集模块为单目摄像头。

进一步地，本发明的装置还包括定位模块，用于实时获取车辆位置的经纬度信息。

进一步地，本发明的传感器模块为三轴加速度传感器。

进一步地，本发明的装置还包括存储模块和传输模块，存储模块用于缓存各个模块的数据以及道路图像数据；传输模块用于与远程服务器进行通信。

本发明提供一种基于adas系统的地图道路标记及道路质量采集方法，包括以下步骤：

s1、实时获取车辆行进中的道路彩色图像，将其处理为灰度图像，车载adas系统根据灰度图像提取车道线和车道区域；

s2、提取车道线的特征点图像坐标，将其转换为世界坐标，并实时获取车辆行驶的位置信息，得到车道线的位置信息；

s3、提取灰度图像中的道路纹理特征，对车道区域内的车道指示标记进行纹理识别，输出车道指示标记及其位置信息；

s4、根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域，对这些区域进行样本训练，识别道路缺陷；实时获取车辆的三轴加速度信息作为车道颠簸信息，结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，输出车道质量评价及其位置信息；

s5、根据步骤s3和步骤s4的输出结果，实时更新和补充地图数据。

进一步地，本发明的步骤s1的具体方法为：

s11、实时获取车辆行进中的道路彩色图像；

s12、将彩色图像处理为灰度图像；

s13、将灰度图像进行二值化处理得到包含车道线信息的二值化图；

s14、对二值化图进行图像分割，采用hough变换提取直线的方法，提取车道线像素点；

s15、根据车道线先验条件，包括车道直线的长度、宽度、颜色，车道曲线转弯半径、宽度，对车道线进行初选；

s16、计算车道线边缘梯度值，即前景像素与道路背景的灰度差值，边缘整齐度以及像素数，综合做为车道线置信度参数，根据置信度进一步精细化处理车道线的初选结果，得到更为精确的车道线提取结果；

s17、输出车道线以及车道区域；

进一步地，本发明的步骤s2的具体方法为：

s21、提取车道线的特征点图像坐标，通过透视变换方法，转换到世界坐标；

s22、对世界坐标下车道线的特征点进行曲线拟合，得到车道线的曲线方程；

s23、根据世界坐标及曲线方程，给出车道线在世界坐标下的位置；

s24、实时获取车辆行驶的位置信息，定位车道位置。

进一步地，本发明的步骤s3的具体方法为：

s31、提取车道灰度图像中的道路纹理特征；

s32、根据车道区域和道路纹理特征，初步识别指示标记；

s33、根据车道指示标记的初选结果，选择权重较高的作为最终指示标记的识别结果；

s34、根据车道的最终指示标记的识别结果，选取特征点并结合定位数据计算车道指示标记的坐标，从而确定指示标记在世界坐标下的位置；

s35、输出车道指示标记及其位置信息。

进一步地，本发明的步骤s4的具体方法为：

s41、提取车道灰度图像中的道路纹理特征，根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域；

s42、对存在缺陷的车道区域进行样本训练，得到分类器，识别道路缺陷；

s43、实时采集车辆的三轴加速度信息，将竖向加速度分量作为车道颠簸信息，记录出现较大跳动的加速度时刻，作为车道颠簸的判断依据；

s44、结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，确定存在质量缺陷的车道区域；

s45、根据步骤s44确定的存在质量缺陷的车道区域，选择区域中的特征点，结合定位数据计算该区域的坐标，确定其在世界坐标下的位置信息；

s46、输出车道缺陷结果及其位置信息。

本发明产生的有益效果是：本发明的基于adas系统的地图道路标记及道路质量采集装置及方法，易普及的、低成本的、数据更新及时的地图道路标记采集方案；替代激光扫描车等高成本、更新数据不及时的方案，较大程度较低成本，且更新较及时，且不需要专用采集车及专人操作；将道路标记及道路质量同时采集，大大提高效率降低成本。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的装置组成结构示意图；

图2是本发明实施例的实现功能图；

图3是本发明实施例的车道线检测流程图；

图4是本发明实施例的车道坐标计算流程图；

图5是本发明实施例的车道指示标记检测流程图；

图6是本发明实施例的车道缺陷检测框图；

图中：a1-视觉图像模块，a2-高精度定位模块，a3-多轴加速度传感器，a4-运算单元，a41-多线程处理器cpu，a42-并行加速单元，a6-通讯模块，a7-存储模块，a8-显示输出模块，101-图像采集模块，102-图像预处理模块，103-adas模块，13a-其他adas功能模块，13b-车道线检测模块，104-传感器模块，105-车道指示标记检测模块，106-车道线位置计算模块，107-车道缺陷检测模块，108-数据处理模块，109-存储模块，110-传输模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，本发明实施例的基于adas系统的地图道路标记及道路质量采集装置，包括以下模块：

图像采集模块，用于实时获取行驶车辆前方的彩色图像；图像采集模块为单目摄像头。

图像预处理模块，用于将彩色图像转换为灰度图像；

adas模块，用于识别灰度图像中的车辆、行人和障碍物区域，并对灰度图像进行车道线检测，输出车道线在图像中的特征点集合、直线方程以及其在图像中的车道区域；

车道线位置计算模块，用于将车道线的特征点集合进行逆透视变换至以摄像机为中心的物理世界坐标系坐标，对变换坐标系后特征点进行曲线拟合，计算出车道线位置信息；

车道指示标记检测模块，用于检测车道区域内的车道方向功能标记，包括直行、左转、右转、调头和直行左转标记；

传感器模块，用于检测车辆行驶过程中的在三个正交方向的加速度大小，并通过加速度大小对路面颠簸程度进行判断，得到道路颠簸数据；

车道缺陷检测模块，用于在各车道区域内，排除识别出的车辆、行人和障碍物区域，得到缺陷检测roi区域，根据道路颠簸数据和缺陷检测roi区域内的灰度图像，检测缺陷检测roi区域内是否存在道路缺陷，识别缺陷类型并评价道路质量；

数据处理模块，用于对存在道路缺陷的区域，提取出对应的道路缺陷信息，包括缺陷类型、道路质量、位置信息以及原始图像信息；提取识别到的车道方向功能标记及其对应位置信息，通过无线通信的方式将道路缺陷信息和车道方向功能标记发送至远程服务器，对地图数据进行实时动态更新和补充。

在本发明的另一个具体实施例中，通过以下组成部分实现本发明的装置：

1.视觉图像模块a1：用单目摄像头实时采集图像序列；

2.高精度定位模块a2：用于实时、精准的获取车辆位置的经纬度信息

3.多轴加速度传感器a3：用于确定车辆的包括行驶方向、行驶加速度(速度)在内的运动数据；

4.运算单元a4：用于综合处理图像信息及运动信息在内的输入，得到用于高精度地图的道路标记及道路质量输出。

5.运算单元a4的组成部分多线程处理cpua41：核心的运算处理单元；

6.运算单元a4的组成部分并行加速单元a42:对多线程处理cpua41进行运算加速，提高运算效率，以满足高精度地图输出的实时性；

7.通讯模块a6:将各功能模块的输出结果传输给服务器，并可以从服务器中获取数据以补充高精度地图输出结果信息的缺失和不足；

8.存储模块a7：用于高精度地图数据的缓存；

9.显示输出模块a8：通过2g/3g/4g信号将采集到的车道线位置信息、车道指示标记、道路缺陷等信息传输至远程服务器。

基于上述模块，本发明可实现包括车道标记及位置、道路缺陷等功能，功能模块组成如图2所示。

图像采集模块101：为单目视觉摄像机，实时获取车辆前方视觉彩色图片。

图像预处理模块102：将图像采集模块101获取到的彩色图片转变为灰度图像，以降低计算维度，以提高运算效率实时性。

adas模块103：其它adas功能模块13a，识别前方车辆、行人等障碍物，本模块输出障碍物在图像中的区域，此部分不是本发明重点，将不做详细说明。车道线检测模块13b，检测车道线，输出车道线在图像中的特征点集合、直线方程、以及其在图像中的车道区域。

传感器模块104：三轴加速度传感器，检测车辆行驶过程中的在三个正交方向的加速度大小，可实现对路面颠簸程度的判断。

车道指示标记检测模块105：检测车道内的车道方向功能等标记，如：直行、左转、右转、调头、直行左转等标记。

车道线位置计算模块106：将车道线检测模块13b输出的车道线特征点，进行逆透视变换至以摄像机为中心的物理世界坐标系坐标，对变换坐标系后特征点进行曲线拟合，可算出车道线的物理距离。

车道缺陷检测模块107：在车道线检测模块13b输出的各车道区域，排除其它adas功能模块13a检测出的车辆、障碍物等区域，得到缺陷检测roi区域，在图片中缺陷检测roi区域内检测是否存在道路缺陷。

数据处理模块108：综合、筛选车道线位置信息、车道指示标记、道路缺陷等信息，进行传输或缓存。

存储模块109：缓存各模块数据；图像视频等。

传输模块110：通过2g/3g/4g信号将采集到的车道线位置信息、车道指示标记、道路缺陷等信息传输至远程服务器，并交换其它数据。

本发明实施例的基于adas系统的地图道路标记及道路质量采集方法，包括以下步骤：

s1、实时获取车辆行进中的道路彩色图像，将其处理为灰度图像，车载adas系统根据灰度图像提取车道线和车道区域；

步骤s1的具体方法为：

s11、实时获取车辆行进中的道路彩色图像；

s12、将彩色图像处理为灰度图像；

s13、将灰度图像进行二值化处理得到包含车道线信息的二值化图；

s14、对二值化图进行图像分割，采用hough变换提取直线的方法，提取车道线像素点；

s15、根据车道线先验条件，包括车道直线的长度、宽度、颜色，车道曲线转弯半径、宽度，对车道线进行初选；

s16、计算车道线边缘梯度值，即前景像素与道路背景的灰度差值，边缘整齐度以及像素数，综合做为车道线置信度参数，根据置信度进一步精细化处理车道线的初选结果，得到更为精确的车道线提取结果；

s17、输出车道线以及车道区域。

s2、提取车道线的特征点图像坐标，将其转换为世界坐标，并实时获取车辆行驶的位置信息，得到车道线的位置信息；

步骤s2的具体方法为：

s21、提取车道线的特征点图像坐标，通过透视变换方法，转换到世界坐标；

s22、对世界坐标下车道线的特征点进行曲线拟合，得到车道线的曲线方程；

s23、根据世界坐标及曲线方程，给出车道线在世界坐标下的位置；

s24、实时获取车辆行驶的位置信息，定位车道位置。

s3、提取灰度图像中的道路纹理特征，对车道区域内的车道指示标记进行纹理识别，输出车道指示标记及其位置信息；

步骤s3的具体方法为：

s31、提取车道灰度图像中的道路纹理特征；

s32、根据车道区域和道路纹理特征，初步识别指示标记；

s33、根据车道指示标记的初选结果，选择权重较高的作为最终指示标记的识别结果；

s34、根据车道的最终指示标记的识别结果，选取特征点并结合定位数据计算车道指示标记的坐标，从而确定指示标记在世界坐标下的位置；

s35、输出车道指示标记及其位置信息。

s4、根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域，对这些区域进行样本训练，识别道路缺陷；实时获取车辆的三轴加速度信息作为车道颠簸信息，结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，输出车道质量评价及其位置信息；

步骤s4的具体方法为：

s41、提取车道灰度图像中的道路纹理特征，根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域；

s42、对存在缺陷的车道区域进行样本训练，得到分类器，识别道路缺陷；

s43、实时采集车辆的三轴加速度信息，将竖向加速度分量作为车道颠簸信息，记录出现较大跳动的加速度时刻，作为车道颠簸的判断依据；

s44、结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，确定存在质量缺陷的车道区域；

s45、根据步骤s44确定的存在质量缺陷的车道区域，选择区域中的特征点，结合定位数据计算该区域的坐标，确定其在世界坐标下的位置信息；

s46、输出车道缺陷结果及其位置信息。

s5、根据步骤s3和步骤s4的输出结果，实时更新和补充地图数据。

如图3所示，在本发明的另一个具体实施例中，该方法包括以下步骤：

步骤01：实时采集包含道路信息的图像序列；

步骤02：对彩色图像进行灰度处理；

步骤03：将灰度图像进行二值化处理得到包含丰富车道线信息的二值化图；

步骤04：对二值化图进行图像分割，如hough变换提取直线等方法，提取车道线像素点；

步骤05：根据车道线先验条件，直线的长度、宽度、颜色等，曲线转弯半径、宽度等，对车道线进行初选；

步骤06：计算车道线边缘梯度值(前景像素与道路背景的灰度差值)，边缘整齐度，像素数等综合做为车道线置信度参数，根据置信度进一步精细化处理车道线的初选结果，得到更为精确的车道线提取结果；

步骤07：输出车道线的检测结果及其所在的区域为车道线相关的功能及车道坐标、道路缺陷提供数据支撑。

如图4所示，基于车道线检测结果，实现车道gps位置输出功能实现步骤如下：

步骤08：车道线特征点的像素坐标，通过透视变换方法，转换到世界坐标；

步骤09：对世界坐标下车道线的特征点进行曲线拟合，得到车道线的曲线方程；

步骤10：根据世界坐标及曲线方程，给出车道在世界坐标下的位置；

步骤11：结合gps数据，定位车道位置。

如图5所示，基于道路检测结果，实现车道标记检测的步骤如下：

步骤12：根据图像序列提取道路标记纹理特征；

步骤13：根据步骤7确定车道区域，并结合步骤12纹理特征，初步识别指示标记；

步骤14：根据步骤13车道指示标记的初选结果，选择权重较高的作为最终指示标记的识别结果；

步骤15：基于步骤14所确定的车道指示标记，选取特征点并结合定位数据计算车道指示标记的坐标，从而确定指示标记在世界坐标下的位置；

步骤16：输出车道指示标记位置信息。

如图6所示，根据车道图像数据及加速度传感器数据，可实现车道质量的检测，具体实现步骤如下：

步骤17：根据步骤12和步骤7，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域；

步骤18：基于步骤17道路缺陷区域的可能结果，结果样本训练得到的分类器，识别道路缺陷；

步骤19：同步采集加速度传感器a3的竖向分量数据，记录出现较大跳动的加速度时刻，作为车道颠簸的判断依据；

步骤20：综合考虑步骤18和步骤19的识别结果，判断车道是否存在质量缺陷；

步骤21：基于步骤20所确定的存在质量缺陷的区域，选择区域中的特征点，结合定位数据计算该区域的坐标，以确定其在世界坐标下的位置信息；

步骤22：输出缺陷结果，通过传输模块110发送至服务器，以用于行车导航。

本方案与adas功能融合，adas设备相对采集车成本较低，且普及程度越来越高，可在任何普通车辆较简单安装使用。在日常正常行驶过程增强行车安全的同时实现地图数据的动态实时更新补充，且将地图数据数据采集及车道质量采集同时进行，在保证精度和质量的前提下，极大的提高了效率，降低了成本。

目前所用的高精度定位系统的基本算法为模式识别算法，但随着计算机运算性能的提升及深度学习算法的改进，本发明所涉及的功能均可通过深度学习算法，即cnn(卷积神经网络)，实现车道指示标记、车道线、路牌(限速牌，禁行标记及其他道路信息指示标记等)的识别等。因此，算法本身是本发明可替代的方案，而不在于本发明所涵盖的内容。

本发明的优点如下：

1、易普及的、低成本的、数据更新及时的高精度道路标记数据采集方法，用于实时更新高精度地图数据。道路位置精度实现能到达10cm级别。

实现如下信息的采集：

(1)车道标线(车道线)：

位置：转换为精纬度表示，可精确至10cm级；

宽度：车道标线宽度；

类型：单实线、虚线、双线；

颜色：白色、黄色；

质量：对比度，残缺程度；

(2)车道指示标志：

车道行驶方向：直行、左转、右转、调头等识别分类及其质量评价。

2、易普及的、低成本的、数据更新及时的道路质量评价方案。用于道路维护保养的指导信息，也可做为地图数据的补充，提供人性化的预报提示。如用于导航等车载设备中，驶入道路质量较差的路之前可预先提醒等场景。

道路质量：平整度；

道路缺陷：裂缝类、松散、车辙、沉陷、拥包等。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。