路沿检测方法及装置、计算机可读存储介质、终端与流程

本发明涉及路沿检测，尤其涉及一种路沿检测方法及装置、计算机可读存储介质、终端。

背景技术：

1、在自动驾驶领域，经常需要对自动驾驶车辆的驾驶场景进行路沿检测。研究如何提高路沿检测结果的准确度，对于提升自动驾驶的安全性至关重要。

2、在现有技术中，主要基于激光雷达采集的场景点云进行路沿点提取或检测。具体而言，采用激光雷达针对自动驾驶车辆前方一定区域内的场景采集场景点云，然后通过分析路沿处点云的特征来提取路沿，或者借助大量标注数据集对神经网路模型进行训练，然后利用训练后的模型进行路沿提取或检测。虽然从场景点云中检测出的路沿通常有较高精度，但随着激光雷达与路沿之间距离的增加，路沿处的点云密度下降甚至降至不足以提取出路沿，使得检出的路沿距离有限。例如，对于32线激光雷达，检测出的路沿距离只能达到10～20米，而对于贴边作业的大型自动驾驶清扫车来说，期望获得40米内的实时路沿信息。

3、因此，单独依赖于激光雷达采集的场景点云获得的路沿检测结果的可用性不强。而相较于激光雷达的短距离检测缺陷，相机能够拍摄到更远距离的路沿情况，但由于本身的二维像素精度以及坐标系转换的精度损失，提取出的路沿点精度是不如激光雷达的。

4、由上，亟需一种路沿检测方法，可以联合激光雷达采集的场景点云和相机采集的场景图像进行高精度、远距离的路沿检测。

技术实现思路

1、本发明实施例解决的技术问题是如何通过联合激光雷达和相机实现高精度且远距离的路沿检测。

2、为解决上述技术问题，本发明实施例提供一种路沿检测方法，包括以下步骤：从激光雷达采集的场景点云中提取点云路沿点集，以及从相机采集的场景图像中提取图像路沿点集，所述场景点云和所述场景图像是针对同一场景采集的；采用预设的聚类距离阈值，对所述点云路沿点集和映射路沿点集进行聚类，得到多个聚类路沿点集，其中，所述映射路沿点集是至少一部分所述图像路沿点集在所述场景点云所处的坐标空间的映射点集；选取至少一部分聚类路沿点集作为候选聚类路沿点集，并对每个候选聚类路沿点集执行多次曲线拟合操作，得到该候选聚类路沿点集对应的多组拟合结果，每组拟合结果至少包含拟合得到的单段路沿曲线；对每个候选聚类路沿点集对应的多组拟合结果进行有效性判断，并从确认为有效的各组拟合结果中确定一组最佳拟合结果；至少基于各组最佳拟合结果及其各自所属的候选聚类路沿点集，确定路沿检测点集。

3、可选的，在对每个候选聚类路沿点集对应的多组拟合结果进行有效性判断之前，所述方法还包括：对于每组拟合结果，采用x坐标目标偏移量和y坐标目标偏移量，对该组拟合结果所属的候选聚类路沿点集中的每个映射路沿点进行偏移，并采用偏移后的各映射路沿点更新该组拟合结果所属的候选聚类路沿点集。

4、可选的，每组拟合结果还包含所述x坐标目标偏移量以及所述y坐标目标偏移量；对每个候选聚类路沿点集执行的每次曲线拟合操作，包括：对该候选聚类路沿点集进行路沿点采样，得到对应的采样路沿点集；采用预设的曲线拟合表达式、x坐标偏移量参数以及y坐标偏移量参数，构建目标损失函数，其中所述曲线拟合表达式包含至少一项拟合参数；将所述采样路沿点集作为输入数据，并基于最优化算法，对所述曲线拟合表达式中的拟合参数的值、x坐标偏移量参数的值以及y坐标偏移量参数的值进行迭代优化，以最小化所述目标损失函数的函数值，直至达到预设的迭代终止条件时，确定所述拟合参数的最优值、x坐标偏移量参数的最优值以及y坐标偏移量参数的最优值；将所述拟合参数的最优值输入所述曲线拟合表达式，得到对应的单段路沿曲线，以及将所述x坐标偏移量参数的最优值和y坐标偏移量参数的最优值分别作为所述x坐标目标偏移量和y坐标目标偏移量。

5、可选的，采用下述表达式表示所述目标损失函数：

6、

7、其中，loss表示所述目标损失函数的函数值，picka表示所述采样路沿点集中的点云路沿点，pickb表示所述采样路沿点集中的映射路沿点，curve()表示所述曲线拟合表达式，pai′表示所述采样路沿点集中的第i个点云路沿点，pai′.y表示该第i个点云路沿点的实际y坐标，pai′.x表示该第i个点云路沿点的实际x坐标，curve(pai′.x)表示将该第i个点云路沿点的实际x坐标输入所述曲线拟合表达式得到的y坐标，pbj′表示所述采样路沿点集中的第j个映射路沿点，pbj′.y表示该第j个映射路沿点的实际y坐标，pbj′.x表示该第j个映射路沿点的实际x坐标，biasxj表示所述x坐标偏移量参数，biasyj表示所述y坐标偏移量参数，curve(pbj′.x+biasxj)表示采用所述x坐标偏移量参数对该第j个映射路沿点的实际x坐标进行偏移后的x坐标输入所述曲线拟合表达式得到的y坐标，n.picka表示所述采样路沿点集中的点云路沿点数量，n.pickb表示所述采样路沿点集中的映射路沿点数量，|x|表示对x取绝对值。

8、可选的，所述对每个候选聚类路沿点集对应的多组拟合结果进行有效性判断，包括：对每组拟合结果，确定该组拟合结果所属的候选聚类路沿点集中的各路沿点与该组拟合结果中的路沿曲线之间的第一距离；确定第一距离小于等于第一距离阈值的映射路沿点的数量和点云路沿点的数量，分别记为第一数量和第二数量；确定所述第一数量与该组拟合结果所属的候选聚类路沿点集中的路沿点总数之间的比值，记为第一比值，以及确定所述第二数量与所述路沿点总数之间的比值，记为第二比值；如果所述第一比值大于等于第一比例阈值，且所述第二比值大于等于第二比例阈值，则确认该组拟合结果有效。

9、可选的，所述从确认为有效的各组拟合结果中确定一组最佳拟合结果，包括：采用所述曲线拟合表达式、所述x坐标偏移量参数以及所述y坐标偏移量参数，构建评分函数；对于确认为有效的每组拟合结果，将该组拟合结果所属的更新前的候选聚类路沿点集作为输入数据，以及将拟合得到该组拟合结果中的路沿曲线的拟合参数的最优值、该组拟合结果中的所述x坐标目标偏移量、y坐标目标偏移量，分别作为所述评分函数各项参数的参数值，以得到该组拟合结果对应的评分值；将对应评分值最高的拟合结果，作为所述最佳拟合结果。

10、可选的，采用下述表达式表示所述评分函数：

11、

12、其中，score表示所述评分函数的函数值，即评分值，curbseta表示所述更新前的候选聚类路沿点集中的点云路沿点，curbsetb表示所述更新前的候选聚类路沿点集中的映射路沿点，curve()表示所述曲线拟合表达式，pai表示所述更新前的候选聚类路沿点集中的第i个点云路沿点，pai.y表示该第i个点云路沿点的实际y坐标，pai.x表示该第i个点云路沿点的实际x坐标，curve(pai.x)表示将该第i个点云路沿点的实际x坐标输入所述曲线拟合表达式得到的y坐标，ybj表示所述更新前的候选聚类路沿点集中的第j个映射路沿点，ybj.y表示该第j个映射路沿点的实际y坐标，ybj.x表示该第j个映射路沿点的实际x坐标，biasxj表示所述x坐标偏移量参数，biasyj表示所述y坐标偏移量参数，curve(pbj.x+biasxj)表示采用所述x坐标偏移量参数对该第j个映射路沿点的实际x坐标进行偏移后的x坐标输入所述曲线拟合表达式得到的y坐标，n.curbeta表示所述更新前的候选聚类路沿点集中的点云路沿点数量，n.curbsetb表示所述更新前的候选聚类路沿点集中的映射路沿点数量，|x|表示对x取绝对值。

13、可选的，所述至少基于各组最佳拟合结果及其各自所属的候选聚类路沿点集，确定路沿检测点集，包括：对每组最佳拟合结果，将该组最佳拟合结果所属的候选聚类路沿点集中，与该组最佳拟合结果中的路沿曲线之间的第二距离小于等于第二距离阈值的各路沿点，添加至所述路沿检测点集。

14、可选的，所述方法还包括：对于每个候选聚类路沿点集，如果该候选聚类路沿点集对应的多组拟合结果均被确认为无效，则将该候选聚类路沿点集中的点云路沿点添加至所述路沿检测点集。

15、可选的，所述方法还包括：对于除所述候选聚类路沿点集之外的其余每个聚类路沿点集，将该聚类路沿点集中的点云路沿点添加至所述路沿检测点集。

16、可选的，所述选取至少一部分聚类路沿点集作为候选聚类路沿点集，包括：对于聚类得到的每个聚类路沿点集，确定该聚类路沿点集中点云路沿点的数量和映射路沿点的数量，分别记为第一数量和第二数量；选取同时满足下述两项条件的聚类路沿点集，作为所述候选聚类路沿点集：条件一，所述第一数量大于第一数量阈值；条件二，所述第二数量大于第二数量阈值；其中，所述第一数量阈值大于等于第二数量阈值。

17、可选的，在对所述点云路沿点集和映射路沿点集进行聚类之前，所述方法还包括：在所述场景点云中提取地面点集，并对所述地面点集进行地面拟合，得到拟合地面模型；在所述场景点云中的自车位置周围确定以预设x坐标值和预设y坐标值形成的二维x-y平面区域，然后在所述二维x-y平面区域中确定多个二维点，将每个二维点输入所述拟合地面模型，以确定对应的候选三维路沿点；将每个候选三维路沿点映射至所述场景图像所处的坐标空间，得到对应的二维路沿点，并判断该二维路沿点是否属于所述图像路沿点集；将属于所述图像路沿点集的全部二维路沿点对应的各候选三维路沿点的集合，作为所述映射路沿点集。

18、可选的，在所述二维x-y平面区域中确定多个二维点，包括：采用预设的网格参数，将所述二维x-y平面区域平均划分为多个网格；将所有网格的顶点集合，作为所述多个二维点。

19、可选的，所述从相机采集的场景图像中提取图像路沿点集，包括：对所述场景图像进行语义分割，以确定所述场景图像的各像素点的类别，其中，所述场景图像的像素点类别至少包括路沿类别和路面类别；对属于路沿类别的每个像素点，如果以该像素点为中心点的周围预设图像区域内，至少有一个属于路面类别的像素点，则将该像素点作为有效路沿点；将全部有效路沿点的集合作为所述图像路沿点集。

20、可选的，所述从激光雷达采集的场景点云中提取点云路沿点集，包括：对所述场景点云进行路沿点初步提取，得到初步点云路沿点集；采用预设的曲线拟合模型，对所述初步点云路沿点集进行曲线拟合，得到点云拟合曲线；从所述初步点云路沿点集中剔除与所述点云拟合曲线之间的距离大于第三距离阈值的点云路沿点，以得到所述点云路沿点集。

21、本发明实施例还提供一种路沿检测装置，包括：路沿点提取模块，用于从激光雷达采集的场景点云中提取点云路沿点集，以及从相机采集的场景图像中提取图像路沿点集，所述场景点云和所述场景图像是针对同一场景采集的；路沿点聚类模块，用于采用预设的聚类距离阈值，对所述点云路沿点集和映射路沿点集进行聚类，得到多个聚类路沿点集，其中，所述映射路沿点集是至少一部分所述图像路沿点集在所述场景点云所处的坐标空间的映射点集；路沿拟合模块，用于选取至少一部分聚类路沿点集作为候选聚类路沿点集，并对每个候选聚类路沿点集执行多次曲线拟合操作，得到该候选聚类路沿点集对应的多组拟合结果；最佳拟合结果确定模块，用于对每个候选聚类路沿点集对应的多组拟合结果进行有效性判断，并从确认为有效的各组拟合结果中确定一组最佳拟合结果；路沿检测结果确定模块，用于至少基于各组最佳拟合结果及其各自所属的候选聚类路沿点集，确定路沿检测点集。

22、本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述路沿检测方法的步骤。

23、本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述路沿检测方法的步骤。

24、与现有技术相比，本发明实施例的技术方案具有以下有益效果：

25、相较于现有技术依赖于单种传感器的采集数据执行路沿检测，在本发明实施例中，通过联合激光雷达采集的场景点云中提取的点云路沿点集，以及相机采集的场景图像中提取的图像路沿点集这两种路沿点集进行聚类，并基于获得多个聚类进行曲线拟合，最终根据拟合结果确定路沿检测点集。由此，可以有效结合相机的远距离检测优势和激光雷达的高精度检测优势，为自动驾驶的车辆提供远距离的、高精度的路沿检测结果，提升自动驾驶安全性。进一步，通过对每个候选聚类路沿点集执行多次曲线拟合操作，并分别对得到的多组拟合结果进行有效性判断并确定其中的最佳拟合结果；最终至少基于各组最佳拟合结果及其各自所属的候选聚类路沿点集，确定路沿检测点集。由此，相较于对每个聚类路沿点集执行单次曲线拟合操作，采用本实施方案有机会基于候选聚类路沿点集获得质量更高的路沿曲线，并利用质量更高的路沿曲线获得更高精度的路沿检测点集。

26、进一步，由于候选聚类路沿点集的映射路沿点是从场景图像提取的图像路沿点对应的映射点，其通常具有一定的时间戳误差、成像过程中的坐标转换误差等，因此，在本发明实施例中，通过采用x坐标目标偏移量和y坐标目标偏移量，对每组拟合结果所属的候选聚类路沿点集中的各映射路沿点进行偏移，有助于对各映射路沿点的位置进行调优，降低误差，从而最终提升路沿检测结果(即，路沿检测点集)的精度。

27、进一步，在本发明实施例中，在对每个候选聚类路沿点集执行的每次曲线拟合操作中，除了包含曲线拟合参数，还引入了坐标偏移量参数(用于后续对候选聚类路沿点集中的映射路沿点进行偏移)作为待优化参数，构建目标损失函数，然后利用迭代优化方法对各项待优化参数进行迭代优化，以获得最优化的路沿曲线、x坐标目标偏移量以及y坐标目标偏移量。由此，相较于仅利用曲线拟合公式(或拟合模型)进行拟合，采用本实施方案不仅有助于提升拟合得到的路沿曲线的精度，还可以利用最优化的x坐标目标偏移量以及y坐标目标偏移量对候选聚类路沿点集中的映射路沿点位置进行偏移，从而可以有效降低映射路沿点(对应于图像路沿点)的误差，获得位置更加优化的映射路沿点，实现利用图像路沿点的远距离检测优势的同时，提升路沿检测精度。

28、进一步，相较于从多组拟合结果中随机选取一组拟合结果作为最佳拟合结果，或者采用人工分析各组拟合结果的路沿曲线与路沿点之间的位置关系选取一组最佳拟合结果，在本发明实施例中，通过迭代优化以及有效性分析确定多组较优且有效的拟合结果之后，进一步利用构建目标损失函数的参数构建得到评分函数，并将每组拟合结果中的拟合参数的最优值、偏移量参数的最优值作为评分函数的参数值，以对每组拟合结果进行评分，并选取最高评分的拟合结果作为最佳的拟合结果。由此，有助于获得更高质量的拟合结果，以提升后续获得的路沿检测点集的质量和精度。

29、进一步，相较于现有常规方案直接图像路沿点集变换至场景点云所处的坐标空间，得到对应的映射路沿点集，在本发明实施例中，通过利用点云路沿点集的高精度优势，以点云路沿点集为基准，将点云路沿点集中确定的地面点(以下称“待判断的地面点”)映射至所述场景图像所处的坐标空间，得到对应的二维路沿点，并判断该二维路沿点是否属于图像路沿点集，也即，通过判断点云路沿点集中的地面点是否为图像路沿点在点云坐标空间中的映射点的方式，获得图像路沿点在点云坐标空间中的映射点。由此，有助于减少图像路沿点本身具有时间戳误差、成像过程的坐标转换误差等的影响，并避免图像坐标空间至点云坐标空间变换操作中引入的额外误差，以获得精度和可用性更高的映射路沿点集。