一种提取道路标线的方法、装置、介质及设备与流程

1.本技术涉及道路标线提取技术领域，尤其涉及一种提取道路标线的方法、装置、介质及设备。


背景技术：

2.高精度地图是自动驾驶领域依赖的重要核心技术之一，一般来说，激光雷达数据精度高、密度大、信息量丰富，是绘制高精度地图的主要参考数据。
3.目前，利用激光雷达点云数据提取道路标线主要包括两种方法：第一种方法：将点云数据转为栅格图像，利用图像分割算法提取道路标线信息。第二种方法：直接从雷达数据中，通过道路标志线的反射强度值不同于其他地物要素来提取道路标志信息。第一种方法通常只适应于简单道路标线的提取，对于复杂道路标线，准确度较低；第二种方法很容易遗漏强度较低的道路标线，还需要人工辅助绘制道路信息。
4.基于此，目前亟需一种效率高、准确度高的自动提取道路标线的方法。


技术实现要素：

5.针对现有技术存在的问题，本发明实施例提供了一种提取道路标线的方法、装置、介质及设备，以解决或者部分解决在提取道路标线时，准确度及效率均无法确保的技术问题。
6.本发明的第一方面，提供一种提取道路标线的方法，所述方法包括：
7.对车载激光点云数据进行预处理，获得基础点云数据；
8.对所述基础点云数据进行滤波，获得第一路面点云数据；
9.将所述第一路面点云数据转换为二维强度特征图像及二维梯度图像；
10.基于所述二维强度特征图像及所述二维梯度图像确定道路标线像素及路面像素，将所述道路标线像素及所述路面像素反投影至所述第一路面点云数据，获得第二路面点云数据；
11.基于几何语义信息模型、模板匹配模型从所述第二路面点云数据中提取对应类型的道路标线。
12.上述方案中，所述对车载激光点云数据进行预处理，获得基础点云数据，包括：
13.针对任意站点位置的车载激光点云数据，利用旋转变换矩阵将所述车载激光点云数据旋转平移至目标点云位置，获得第一预处理点云数据；
14.利用精配准算法将所述第一预处理点云数据再次旋转平移，获得第二预处理点云数据；
15.将各站点位置对应的第二预处理点云数据进行拼接，获得所述基础点云数据。
16.上述方案中，所述将所述第一路面点云数据转换为二维强度特征图像及二维梯度图像，包括：
17.获取所述第一路面点云数据中各像素点的坐标值；
18.基于各像素点的x轴最大坐标值、x轴最小坐标值、y轴最大坐标值及y轴最小坐标值确定投影网格的尺寸；
19.将所述第一路面点云数据投影后，获得每个投影网格对应的像素强度值；
20.对所述像素强度值进行归一化处理得到所述二维强度特征图像；
21.对所述二维强度特征图像进行卷积处理得到所述二维梯度图像。
22.上述方案中，所述基于几何语义信息模型、模板匹配模型从所述第二路面点云数据中提取对应类型的道路标线，包括：
23.确定所述第二路面点云数据中的四连通区域；
24.基于所述四连通区域的最小外接矩形的长度和宽度确定所述四连通区域的延展度；
25.确定与所述四连通区域具有相同二阶距的椭圆的偏心率；
26.根据所述延展度及所述偏心率提取规则的道路标线。
27.上述方案中，所述基于几何语义信息模型、模板匹配模型从所述第二路面点云数据中提取对应类型的道路标线，包括：
28.获取目标点云；所述目标点云为待测区域对应的点云；
29.利用迭代最近点算法对所述目标点云及模板点云进行匹配，获取所述目标点云及所述模板点云之间的重叠率；
30.若确定所述重叠率大于等于重叠率阈值，则将所述目标点云确定为不规则道路标线。
31.上述方案中，所述获取所述目标点云及所述模板点云之间的重叠率，包括：
32.确定所述目标点云与所述模板点云之间的重叠距离；
33.获取重叠距离中的像素点数量、目标点云中的像素点数量以及模板点云中的像素数量；
34.基于公式确定目标点云及模板点云之间的重叠率η；其中，
35.n0为所述重叠距离中的像素点数量，ns为所述目标点云中的像素点数量，n
t
为所述模板点云中的像素数量。
36.本发明的第二方面，提供一种提取道路标线的装置，所述装置包括：
37.预处理单元，用于对车载激光点云数据进行预处理，获得基础点云数据；
38.滤波单元，用于对所述基础点云数据进行滤波，获得第一路面点云数据；
39.转换单元，用于将所述第一路面点云数据转换为二维强度特征图像及二维梯度图像；
40.确定单元，用于基于所述二维强度特征图像及所述二维梯度图像确定道路标线像素及路面像素，将所述道路标线像素及所述路面像素反投影至所述第一路面点云数据，获得第二路面点云数据；
41.提取单元，用于从所述第二路面点云数据中提取道路标线。
42.上述方案中，所述确定单元，用于：
43.确定所述第二路面点云数据中的四连通区域；
44.基于所述四连通区域的最小外接矩形的长度和宽度确定所述四连通区域的延展
度；
45.确定与所述四连通区域具有相同二阶距的椭圆的偏心率；
46.根据所述延展度及所述偏心率提取规则的道路标线。
47.本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
48.本发明的第四方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中任一项所述方法的步骤。
49.本发明提供一种提取道路标线的方法、装置、介质及设备，方法包括：对车载激光点云数据进行预处理，获得基础点云数据；对所述基础点云数据进行滤波，获得第一路面点云数据；将所述第一路面点云数据转换为二维强度特征图像及二维梯度图像；基于所述二维强度特征图像及所述二维梯度图像确定道路标线像素及路面像素，将所述道路标线像素及所述路面像素反投影至所述第一路面点云数据，获得第二路面点云数据；基于几何语义信息模型、模板匹配模型从所述第二路面点云数据中提取对应类型的道路标线；如此，将携带有目标提取信息的第一路面点云数据转换为二维强度特征图像及二维梯度图像，可避免直接从三维基础点云数据中进行提取时导致的识别遗漏问题；将道路标线像素及路面像素反投影至第一路面点云数据后，那么第二路面点云数据会携带有辨识度较高的道路标线信息，然后再利用几何语义信息模型、模板匹配模型可精准提取出不同类型的道路标线；且此过程无需人工辅助，确保提取效率。
附图说明
50.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
51.在附图中：
52.图1示出了根据本发明一个实施例的提取道路标线的方法流程示意图；
53.图2示出了根据本发明一个实施例的提取道路标线的装置结构示意图；
54.图3示出了根据本发明一个实施例的计算机设备结构示意图；
55.图4示出了根据本发明一个实施例的计算机可读存储介质结构示意图。
具体实施方式
56.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
57.本发明实施例提供一种提取道路标线的方法，如图1所示，方法主要包括以下步骤：
58.s110，对车载激光点云数据进行预处理，获得基础点云数据；
59.由于车载激光点云数据是从多个站点进行扫描获得的，而扫描时是以扫描仪的站
点位置为中心进行扫描的，称为扫描仪坐标系，那么各个站点对应的点云数据的坐标系是不同的，因此需要对车载激光点云数据进行预处理，从而将各站点对应的点云数据转换到同一个坐标系中，从而获得基础点云数据。
60.在一种实施方式中，对车载激光点云数据进行预处理，获得基础点云数据，包括：
61.针对任意站点位置的车载激光点云数据，利用旋转变换矩阵将车载激光点云数据旋转平移至目标点云位置，获得第一预处理点云数据；
62.利用精配准算法将第一预处理点云数据再次旋转平移，获得第二预处理点云数据；
63.将各站点位置对应的第二预处理点云数据进行拼接，获得基础点云数据。
64.其中，利用旋转变换矩阵将车载激光点云数据旋转平移至目标点云位置，相当于是一个粗配准过程，然后利用迭代最近点算法icp(iterative closest point)对第一预处理数据进行精准匹配，获得第二预处理点云数据。
65.s111，对所述基础点云数据进行滤波，获得第一路面点云数据；
66.获取到基础点云数据后，需要分离基础点云数据中的路面点云数据及非路面点云数据。因此需要对基础点云数据进行滤波，获得第一路面点云数据。
67.本实施例中是利用布料模拟滤波算法(cf，cloth simulation filtering)对基础点云数据进行滤波分析，获得路面点云数据及非路面点云数据。
68.其中，布料模拟滤波算法的核心思想是把基础点云数据进行翻转，然后假设有一块布料受到重力从上方落下，则最终落下的布料就可以代表当前地形；在坡度不大的场景下，该算法误差较小，参数较少，速率较快。由于城市道路场景复杂多变，点云数据量通常也比较大，且坡度变化不大，因此使用布料模拟滤波算法可以有效的减少道路周围的地面点，同时可保证道路地面点不会被误删，使得路面点云数据更加完善，有利于后续提取道路标线数据的精度。
69.s112，将所述第一路面点云数据转换为二维强度特征图像及二维梯度图像；
70.由于道路标线对应的点云的像素强度值及相邻路面对应的点云的像素强度值差异较大，因此本实施例对第一路面点云数据按照反射强度投影至二维平面，以能获得强度特征图像及梯度图像，从而可以将道路标线及非道路标线区分开来。
71.在一种实施方式中，将第一路面点云数据转换为二维强度特征图像及二维梯度图像，包括：
72.获取第一路面点云数据中各像素点的坐标值；
73.基于各像素点的x轴最大坐标值、x轴最小坐标值、y轴最大坐标值及y轴最小坐标值确定二维强度特征图像的尺寸；
74.基于二维强度特征图像的尺寸及预设的投影网格的数量确定投影网格的尺寸；
75.将第一路面点云数据投影后，获得每个投影网格对应的像素强度值；
76.对像素强度值进行归一化处理得到二维强度特征图像；
77.对二维强度特征图像进行卷积处理得到二维梯度图像。
78.具体来讲，假设二维强度特征图像的像素大小为n，第一路面点云为pi(xi,yi,zi,ii)；其中，i为点云中每个像素点的序号，xi为像素点的x轴坐标值，yi为像素点的y轴坐标值，zi为像素点的z轴坐标值，ii为像素点的反射强度值。
79.将第一路面点云为pi(xi,yi,zi,ii)按照反射强度值投影至二维平面p(xi,yi,zi)中后，令x
max
＝max(xi)，y
max
＝max(yi)，那么二维强度特征图像的总尺寸为w*h；w为二维强度特征图像宽度，h为二维强度特征图像高度；w和h可基于以下公式确定：
[0080][0081][0082]
其中，x
max
为各像素点的x轴最大坐标值，x
min
为各像素点的x轴最小坐标值，n为二维强度特征图像的像素大小(数量)；y
max
为各像素点的y轴最大坐标值，y
min
为各像素点的y轴最小坐标值。
[0083]
然后将第一路面点云数据第一路面点云数据按照反射强度投影后，获得每个投影网格对应的像素强度值。其中，每个投影网格对应的像素强度值为每个网格中所有像素点的强度均值，每个投影网格的尺寸相同，投影网格的尺寸可基于二维强度特征图像的总尺寸和投影网格的数量确定。
[0084]
再对所有投影网格的像素进行归一化处理，使得像素点的强度在0～255之间，从而得到二维强度特征图像。这样，由于道路标线的反射强度值高于邻近路面其他部分的反射强度值，在特征图像上表现为道路标线的灰度值与邻近路面的灰度值存在差异。因此可通过检测图像灰度的差异，可以提取出道路标线的边缘位置。
[0085]
利用sobel算子对强度特征图进行卷积，从而得到强度特征图的梯度图像。
[0086]
s113，基于所述二维强度特征图像及所述二维梯度图像确定道路标线像素及路面像素，将所述道路标线像素及所述路面像素反投影至所述第一路面点云数据，获得第二路面点云数据；
[0087]
为提高道路标线的提取精度，本实施例基于二维强度特征图像及二维梯度图像确定道路标线像素及路面像素，这样可消除一些离散点。
[0088]
在一种实施方式中，可以通过自适应阈值分割方法对二维强度特征图像及二维梯度图像进行分割，获得局部图像。
[0089]
针对任一局部图像，确定局部图像的阈值，根据局部图像的阈值来判断当前像素是为道路标线像素还是路面像素。比如可以将大于阈值的像素作为道路标线像素，将小于阈值的像素作为路面像素。
[0090]
然后将道路标线像素及路面像素反投影至第一路面点云数据，获得第二路面点云数据。这样，第二路面点云数据中即具有像素的类别属性信息，因此后续基于第二路面点云数据对道路标线进行提取时，可确保提取的准确度。
[0091]
为进一步提高道路标线的提取精度，获取到第二路面点云数据后，还需要利用statical outlier removal滤波器去除第二路面点云数据中的离散点。
[0092]
s114，基于几何语义信息模型、模板匹配模型从所述第二路面点云数据中提取对应类型的道路标线。
[0093]
由于道路标线类型较多，比如有长实线、短虚线等规则道路标线以及带有箭头的不规则标线等，因此当第二路面点云数据确定出之后，可基于几何语义信息模型、模板匹配模型从所述第二路面点云数据中提取对应类型的道路标线。
[0094]
比如，可利用几何语义信息模型提取出规则型道路标线，利用模板匹配模型提取出不规则道路标线。
[0095]
在一种实施方式中，基于几何语义信息模型、模板匹配模型从第二路面点云数据中提取对应类型的道路标线，包括：
[0096]
确定第二路面点云数据中的四连通区域；
[0097]
基于四连通区域最小外接矩形的长度和宽度确定四连通区域的延展度；
[0098]
确定与四连通区域具有相同二阶距的椭圆的偏心率；
[0099]
根据延展度及偏心率提取规则的道路标线。
[0100]
具体来讲，可基于公式确定四连通区域的延展度r；其中，l
mbb
为四连通区域的最小外接矩形的长度，w
mbb
为最小外接矩形的宽度。
[0101]
可基于公式确定椭圆的偏心率e
mbb
；其中，a为椭圆的长轴，b为椭圆的断轴。当偏心率为0时，椭圆变成圆；当偏心率为1时，椭圆变成线段。因此当偏心率越趋近于1，是道路标线的可能性就越大。一般来说当偏心率为0.95～1时，可视为道路标线。
[0102]
不同类型的标线的宽度是相同的，为0.15m；但不同类型标线的长度可能是不同的。在图像中，有些与道路标线有很强的相似度信息的连续长路坎很容易被识别为道路标线，但是道路标线应该是一个狭长的直线段，长度远大于宽度且长度需要在一定的范围内。基于此，本实施例为提高道路标线的识别精度，可基于延展度阈值及偏心率阈值提取规则的道路标线。
[0103]
一般来说，道路标线的长度不超过6米，那么对应的r值为6/0.15＝40。因此若r大于40时，则确定该矩形为连续长路坎，对其进行滤除。
[0104]
若r小于等于40且e
mbb
趋近于1，可将矩形认定为是道路标线，进行提取。
[0105]
利用几何语义模型可以提取出规则的道路标线，但是针对不规则的道路标线(比如带有箭头的道路标线)是无法精准提取出来的，因此基于几何语义信息模型、模板匹配模型从第二路面点云数据中提取对应类型的道路标线，包括：
[0106]
获取目标点云；目标点云为待测区域对应的点云；
[0107]
利用迭代最近点算法对目标点云及模板点云进行匹配，获取目标点云及模板点云之间的重叠率；
[0108]
若确定重叠率大于等于重叠率阈值，则将目标点云确定为不规则道路标线。
[0109]
具体来讲，本实施例是将清晰且完整的不规则道路标线保存为模板点云，利用icp算法，设定模板匹配过程中模板点云的旋转角度初始值、旋转角度增加步长以及模板匹配适应度，以对模板点云及目标点云进行匹配，获得重叠距离，基于重叠距离计算目标点云及模板点云之间的重叠率。
[0110]
本实施例中，基于重叠距离计算目标点云及模板点云之间的重叠率，包括：
[0111]
获取重叠距离中的像素点数量，目标点云中的像素点数量以及模板点云中的像素数量；
[0112]
基于公式确定目标点云及模板点云之间的重叠率η；其中，
[0113]
n0为重叠距离中的像素点数量，ns为目标点云中的像素点数量，n
t
为模板点云中的像素数量。
[0114]
本实施例中一般将重叠率阈值设置为75％，若重叠率大于等于75％，则说明目标点云为道路标线；若重叠率小于75％，则说明目标点云并非是道路标线。重叠率阈值可以基于实际情况进行设定，在此不做限制。
[0115]
这样即准确提取出规则的道路标线及不规则的道路标线。
[0116]
本实施例将携带有目标提取信息的第一路面点云数据转换为二维强度特征图像及二维梯度图像，可避免直接从三维基础点云数据中进行提取时导致的识别遗漏问题；将道路标线像素及路面像素反投影至第一路面点云数据后，那么第二路面点云数据会携带有辨识度较高的道路标线信息，然后再利用几何语义信息模型、模板匹配模型可精准提取出不同类型的道路标线；且此过程无需人工辅助，确保提取效率。
[0117]
基于与前述实施例中同样的发明构思，本实施例还提供一种提取道路标线的装置，如图2所示，装置包括：
[0118]
预处理单元21，用于对车载激光点云数据进行预处理，获得基础点云数据；
[0119]
滤波单元22，用于对所述基础点云数据进行滤波，获得第一路面点云数据；
[0120]
转换单元23，用于将所述第一路面点云数据转换为二维强度特征图像及二维梯度图像；
[0121]
确定单元24，用于基于所述二维强度特征图像及所述二维梯度图像确定道路标线像素及路面像素，将所述道路标线像素及所述路面像素反投影至所述第一路面点云数据，获得第二路面点云数据；
[0122]
提取单元25，用于从所述第二路面点云数据中提取道路标线。
[0123]
由于本发明实施例所介绍的装置，为实施本发明实施例的提取道路标线的方法所采用的装置，故而基于本发明实施例所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例的方法所采用的装置都属于本发明所欲保护的范围。
[0124]
基于同样的发明构思，本实施例提供一种计算机设备300，如图3所示，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现前文所述方法的任一步骤。
[0125]
基于同样的发明构思，本实施例提供一种计算机可读存储介质400，如图4所示，其上存储有计算机程序411，该计算机程序411被处理器执行时实现前文任一所述方法的步骤。
[0126]
通过本发明的一个或者多个实施例，本发明具有以下有益效果或者优点：
[0127]
本发明提供一种提取道路标线的方法、装置、介质及设备，方法包括：对车载激光点云数据进行预处理，获得基础点云数据；对所述基础点云数据进行滤波，获得第一路面点云数据；将所述第一路面点云数据转换为二维强度特征图像及二维梯度图像；基于所述二维强度特征图像及所述二维梯度图像确定道路标线像素及路面像素，将所述道路标线像素及所述路面像素反投影至所述第一路面点云数据，获得第二路面点云数据；基于几何语义
信息模型、模板匹配模型从所述第二路面点云数据中提取对应类型的道路标线；如此，将携带有目标提取信息的第一路面点云数据转换为二维强度特征图像及二维梯度图像，可避免直接从三维基础点云数据中进行提取时导致的识别遗漏问题；将道路标线像素及路面像素反投影至第一路面点云数据后，那么第二路面点云数据会携带有辨识度较高的道路标线信息，然后再利用几何语义信息模型、模板匹配模型可精准提取出不同类型的道路标线；且此过程无需人工辅助，确保提取效率。
[0128]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0129]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0130]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0131]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0132]
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0133]
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形
式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0134]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0135]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0136]
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。