路面要素提取模型的训练方法、路面要素修正方法及装置与流程

本技术涉及地图处理，具体而言，涉及一种路面要素提取模型的训练方法、路面要素修正方法及装置。

背景技术：

1、路面是电子地图的重要元素，其包括车道线、导向箭头、斑马线、路面文字标记等路面要素。目前生成路面的方法包括：获取激光雷达采集的雷达点云，通过对雷达点云进行曲面拟合生成路面。然而目前存在部分路面要素生成质量较差的问题，如导向箭头、存在包围框、语义等不准确的问题。为了提高路面要素的质量，可以通过人工对存在问题的路面要素进行修正，但是人工修正成本高、效率低。

技术实现思路

1、本技术提供了一种路面要素提取模型的训练方法、路面要素修正方法及装置，能够解决人工修正路面要素成本高、效率低的问题。

2、具体的技术方案如下：

3、第一方面，本技术实施例提供了一种路面要素提取模型的训练方法，所述方法包括：

4、将着色后的第一三维路面点云映射到目标大小的至少一张第一空白图像中，获得所述第一三维路面点云对应的至少一张第一路面图像，其中，所述第一三维路面点云中包括目标路面要素的包围框标注信息；

5、基于所述至少一张第一路面图像以及每张所述第一路面图像对应的真值标注信息进行模型训练，获得路面要素提取模型，其中，所述真值标注信息包括所述包围框标注信息和所述目标路面要素的语义标注信息，所述语义标注信息从所述第一三维路面点云对应的第一语义地图数据中获得，所述路面要素提取模型用于提取所述第一路面图像中所述目标路面要素的包围框信息和语义信息。

6、通过上述方案可知，本技术实施例可以先将包括目标路面要素的包围框标注信息且进行着色后的第一三维路面点云，映射到目标大小的至少一张第一空白图像中，获得至少一张第一路面图像，并利用至少一张第一路面图像及其对应的真值标注信息进行模型训练获得路面要素提取模型，以便后续需要提取目标路面要素时，可以基于路面要素提取模型自动提取待修改正的三维路面点云中的目标路面要素，并基于自动提取的目标路面要素对待修改正的三维路面点云中的目标路面要素进行修正，而无需人工参与，从而可以降低路面要素的修正成本，提高修正效率。

7、在第一方面的第一种可能的实现方式中，所述将着色后的第一三维路面点云映射到目标大小的至少一张第一空白图像中，获得所述第一三维路面点云对应的至少一张第一路面图像，包括：

8、根据所述第一语义地图数据确定所述第一三维路面点云的道路中心线；

9、获取所述道路中心线上每个采样点对应的第一三维路面点云区块，并分别将每个所述第一三维路面点云区块的水平面坐标映射到一张所述目标大小的第一空白图像中，获得每个所述第一三维路面点云区块对应的所述第一路面图像，其中，所述第一三维路面点云区块为基于至少一个所述采样点确定的预设范围内的所述第一三维路面点云。

10、通过上述方案可知，本技术实施例先根据第一语义地图数据确定第一三维路面点云的道路中心线，再沿着道路中心线对第一三维路面点云进行分块映射到不同的第一空白图像，从而得到至少一张第一路面图像，并使得相邻两张第一路面图像之间包含的目标路面要素具有连续性。

11、在第一方面的第二种可能的实现方式中，所述方法还包括：

12、当召回率或准确率未达标时，对当前训练得到的所述路面要素提取模型的模型参数进行调整，以及增加训练样本，并基于调整后的模型参数和增加的所述训练样本继续训练所述当前训练得到的路面要素提取模型，直至当所述召回率和所述准确率均达标时，将获得的所述路面要素提取模型作为最终的所述路面要素提取模型，所述训练样本包括所述第一路面图像及其对应的所述真值标注信息。

13、在第一方面的第三种可能的实现方式中，在计算所述召回率或所述准确率时，所需的确定所述当前训练得到的所述路面要素提取模型提取的所述目标路面要素是否正确的方法包括：

14、在基于所述路面要素提取模型对至少一个所述第一路面图像进行路面要素提取的过程中，若针对同一个真实地理位置确定出多个不同语义的所述目标路面要素，则保留置信度最高的所述目标路面要素；

15、根据包围框的重叠度和语义信息，将保留的所述目标路面要素与其对应的所述真值标注信息进行匹配，并在匹配成功时，确定保留的所述目标路面要素提取正确。

16、通过上述方案可知，本技术实施例在确定当前训练得到的路面要素提取模型提取的目标路面要素是否正确时，与不关注提取的目标路面要素所对应的真实地理位置，并进行盲目确定提取正确性相比，本技术实施例可以先确定是否存在同一个真实地理位置确定出多个不同语义的目标路面要素，若针对同一个真实地理位置确定出多个不同语义的目标路面要素，则可以保留置信度最高的目标路面要素，并通过判断置信度最高的目标路面要素是否与真值标注信息匹配来验证路面要素提取模型是否提取正确，从而可以提高计算召回率或准确率的准确性。

17、第二方面，本技术实施例提供了一种路面要素修正方法，所述方法包括：

18、将着色后的第二三维路面点云映射到目标大小的至少一张第二空白图像中，获得所述第二三维路面点云对应的至少一张第二路面图像，并记录每张所述第二路面图像的中心点的真实地理坐标，以及根据所述第二三维路面点云生成所述第二路面图像对应的高程图；

19、基于路面要素提取模型提取每张所述第二路面图像中的目标路面要素信息，其中，所述路面要素提取模型根据第一方面任一可能的实现方式所述的方法训练得到，所述目标路面要求信息包括目标路面要素的包围框信息和语义信息；

20、根据所述第二路面图像中的所述目标路面要素信息、所述第二路面图像的中心点的真实地理坐标以及所述第二路面图像对应的所述高程图，生成所述第二三维路面点云中的所述目标路面要素信息，并基于生成的所述目标路面要素信息替换所述第二三维路面点云中原有的所述目标路面要素信息。

21、通过上述方案可知，本技术实施例可以先将着色后的第二三维路面点云映射到目标大小的至少一张第二空白图像中，并记录映射得到的每张第二路面图像的中心点的真实地理坐标，以及根据第二三维路面点云生成第二路面图像对应的高程图，再基于路面要素提取模型自动提取每张第二路面图像中的目标路面要素信息，最后根据第二路面图像中的目标路面要素信息、第二路面图像的中心点的真实地理坐标以及第二路面图像对应的高程图，生成第二三维路面点云中的所述目标路面要素信息，并通过将生成的目标路面要素信息替换第二三维路面点云中原有的目标路面要素信息实现对目标路面要素的修正，其整个过程无需人工参与，可实现对第二三维路面点云中目标路面要素的自动修正，从而降低了路面要素的修正成本，提高了路面要素的修正效率。

22、在第二方面的第一种可能的实现方式中，在存在多张所述第二路面图像包含同一个真实目标路面要素的情况下，在所述生成所述第二三维路面点云中的所述目标路面要素信息之后，所述方法还包括：

23、对所述真实目标路面要素在所述第二三维路面点云中的多个所述目标路面要素信息进行语义分类，并确定置信度最高的语义类别所对应的目标路面要素信息，其中，所述真实目标路面要素表示真实场景下的目标路面要素；

24、将所述置信度最高的语义类别确定为所述真实目标路面要素在所述第二三维路面点云中的语义信息；

25、在所述置信度最高的语义类别所对应的所述目标路面要素信息包含一个时，将所述置信度最高的语义类别所对应的包围框信息确定为所述真实目标路面要素在所述第二三维路面点云中的最终包围框信息；

26、在所述置信度最高的语义类别所对应的所述目标路面要素信息包含多个时，计算所述置信度最高的语义类别所对应的多个所述目标路面要素信息中的包围框信息的均值，并将大小为所述均值、方向与最近的车道线方向一致的包围框信息确定所述真实目标路面要素在所述第二三维路面点云中的最终包围框信息。

27、通过上述方案可知，本技术实施例在存在多张第二路面图像包含同一个真实目标路面要素的情况下，在确定第二三维路面点云中的目标路面要素信息之后，可以先确定置信度最高的语义类别所对应的目标路面要素信息，再将置信度最高的语义类别确定为真实目标路面要素在第二三维路面点云中的语义信息，从而提高了该真实目标路面要素的语义信息的准确性和可靠性。对于包围框信息而言，在置信度最高的语义类别所对应的目标路面要素信息包含一个时，可以直接将置信度最高的语义类别所对应的包围框信息确定为真实目标路面要素在第二三维路面点云中的最终包围框信息，在置信度最高的语义类别所对应的目标路面要素信息包含多个时，可以通过置信度最高的语义类别所对应的多个所述目标路面要素信息中的包围框信息的均值以及车道线方向确定最终包围框信息，从而无论何种情况均可以提高该真实目标路面要素的包围框信息的准确性和可靠性。

28、第三方面，本技术实施例提供了一种路面要素提取模型的训练装置，所述装置包括：

29、映射单元，用于将着色后的第一三维路面点云映射到目标大小的至少一张第一空白图像中，获得所述第一三维路面点云对应的至少一张第一路面图像，其中，所述第一三维路面点云中包括目标路面要素的包围框标注信息；

30、训练单元，用于基于所述至少一张第一路面图像以及每张所述第一路面图像对应的真值标注信息进行模型训练，获得路面要素提取模型，其中，所述真值标注信息包括所述包围框标注信息和所述目标路面要素的语义标注信息，所述语义标注信息从所述第一三维路面点云对应的第一语义地图数据中获得，所述路面要素提取模型用于提取所述第一路面图像中所述目标路面要素的包围框信息和语义信息。

31、在第三方面的第一种可能的实现方式中，所述映射单元，包括：

32、确定模块，用于根据所述第一语义地图数据确定所述第一三维路面点云的道路中心线；

33、获取模块，用于获取所述道路中心线上每个采样点对应的第一三维路面点云区块；

34、映射模块，用于分别将每个所述第一三维路面点云区块的水平面坐标映射到一张所述目标大小的第一空白图像中，获得每个所述第一三维路面点云区块对应的所述第一路面图像，其中，所述第一三维路面点云区块为基于至少一个所述采样点确定的预设范围内的所述第一三维路面点云。

35、在第三方面的第二种可能的实现方式中，所述装置还包括：

36、调整单元，用于当召回率或准确率未达标时，对当前训练得到的所述路面要素提取模型的模型参数进行调整，以及增加训练样本，并基于调整后的模型参数和增加的所述训练样本继续训练所述当前训练得到的路面要素提取模型，直至当所述召回率和所述准确率均达标时，将获得的所述路面要素提取模型作为最终的所述路面要素提取模型，所述训练样本包括所述第一路面图像及其对应的所述真值标注信息。

37、在第三方面的第三种可能的实现方式中，所述装置还包括：

38、判断单元，用于在计算所述召回率或所述准确率时，根据如下步骤确定所述当前训练得到的所述路面要素提取模型提取的所述目标路面要素是否正确：

39、在基于所述路面要素提取模型对至少一个所述第一路面图像进行路面要素提取的过程中，若针对同一个真实地理位置确定出多个不同语义的所述目标路面要素，则保留置信度最高的所述目标路面要素；

40、根据包围框的重叠度和语义信息，将保留的所述目标路面要素与其对应的所述真值标注信息进行匹配，并在匹配成功时，确定保留的所述目标路面要素提取正确。

41、本技术实施例提供的路面要素提取模型的训练装置，可以先将包括目标路面要素的包围框标注信息且进行着色后的第一三维路面点云，映射到目标大小的至少一张第一空白图像中，获得至少一张第一路面图像，并利用至少一张第一路面图像及其对应的真值标注信息进行模型训练获得路面要素提取模型，以便后续需要提取目标路面要素时，可以基于路面要素提取模型自动提取待修改正的三维路面点云中的目标路面要素，并基于自动提取的目标路面要素对待修改正的三维路面点云中的目标路面要素进行修正，而无需人工参与，从而可以降低路面要素的修正成本，提高修正效率。

42、第四方面，本技术实施例提供了一种路面要素修正装置，所述装置包括：

43、映射单元，用于将着色后的第二三维路面点云映射到目标大小的至少一张第二空白图像中，获得所述第二三维路面点云对应的至少一张第二路面图像，并记录每张所述第二路面图像的中心点的真实地理坐标，以及根据所述第二三维路面点云生成所述第二路面图像对应的高程图；

44、提取单元，用于基于路面要素提取模型提取每张所述第二路面图像中的目标路面要素信息，其中，所述路面要素提取模型根据权利要求1-4中任一项所述的方法训练得到，所述目标路面要求信息包括目标路面要素的包围框信息和语义信息；

45、第一确定单元，用于根据所述第二路面图像中的所述目标路面要素信息、所述第二路面图像的中心点的真实地理坐标以及所述第二路面图像对应的所述高程图，生成所述第二三维路面点云中的所述目标路面要素信息；

46、替换单元，用于基于生成的所述目标路面要素信息替换所述第二三维路面点云中原有的所述目标路面要素信息。

47、在第四方面的第一种可能的实现方式中，所述装置还包括：

48、分类单元，用于在存在多张所述第二路面图像包含同一个真实目标路面要素的情况下，在所述生成所述第二三维路面点云中的所述目标路面要素信息之后，对所述真实目标路面要素在所述第二三维路面点云中的多个所述目标路面要素信息进行语义分类，其中，所述真实目标路面要素表示真实场景下的目标路面要素；

49、第二确定单元，用于确定置信度最高的语义类别所对应的目标路面要素信息；

50、第三确定单元，用于将所述置信度最高的语义类别确定为所述真实目标路面要素在所述第二三维路面点云中的语义信息；

51、第四确定单元，用于在所述置信度最高的语义类别所对应的所述目标路面要素信息包含一个时，将所述置信度最高的语义类别所对应的包围框信息确定为所述真实目标路面要素在所述第二三维路面点云中的最终包围框信息；

52、计算单元，用于在所述置信度最高的语义类别所对应的所述目标路面要素信息包含多个时，计算所述置信度最高的语义类别所对应的多个所述目标路面要素信息中的包围框信息的均值；

53、所述第四确定单元，还用于将大小为所述均值、方向与最近的车道线方向一致的包围框信息确定所述真实目标路面要素在所述第二三维路面点云中的最终包围框信息。

54、本技术实施例提供的路面要素修正装置，可以先将着色后的第二三维路面点云映射到目标大小的至少一张第二空白图像中，并记录映射得到的每张第二路面图像的中心点的真实地理坐标，以及根据第二三维路面点云生成第二路面图像对应的高程图，再基于路面要素提取模型自动提取每张第二路面图像中的目标路面要素信息，最后根据第二路面图像中的目标路面要素信息、第二路面图像的中心点的真实地理坐标以及第二路面图像对应的高程图，生成第二三维路面点云中的所述目标路面要素信息，并通过将生成的目标路面要素信息替换第二三维路面点云中原有的目标路面要素信息实现对目标路面要素的修正，其整个过程无需人工参与，可实现对第二三维路面点云中目标路面要素的自动修正，从而降低了路面要素的修正成本，提高了路面要素的修正效率。

55、第五方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一可能的实现方式所述的方法，或者如或第二方面任一可能的实现方式所述的方法。

56、第六方面，本技术实施例提供了一种电子设备，电子设备包括：

57、一个或多个处理器；

58、所述处理器与存储装置耦合，所述存储装置用于存储一个或多个程序；

59、当一个或多个程序被一个或多个处理器执行，使得电子设备实现如第一方面任一可能的实现方式所述的方法，或者如或第二方面任一可能的实现方式所述的方法。

60、第七方面，本技术实施例提供了一种车辆，车辆包含如第三方面任一可能的实现方式所述的装置，或者包含如第四方面任一可能的实现方式所述的装置，或者包含如第六方面所述的电子设备。

61、第八方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品中包含有指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行第一方面任一可能的实现方式所述的方法或者第二方面任一可能的实现方式所述的方法。