车道线识别方法和模型训练方法及装置与流程

本公开涉及自动驾驶，具体涉及图像识别、图像分割、图像特征融合等，可应用于自动驾驶测试、自动驾驶车辆路径规划等场景下，尤其涉及一种车道线识别方法、装置、设备及存储介质。

背景技术：

1、高精地图是自动驾驶实现过程中的重要组成部分。高精地图包括多种要素，例如红绿灯，人行道，车道线，交通杆，交通牌等，其中，车道线是高精地图的重要组成部分。为车道线进行自动化识别提供先验的标注效果至关重要。

2、目前，为车道线进行自动化识别提供先验的标注效果的实现方案是将点云和图像的车道线分割结果根据人工设定的规则进行融合，通过融合后的结果为车道线进行自动化识别提供先验的标注效果。

3、但是，目前的实现方案效果依赖于人工设定的规则，具有局限性，长期维护的成本较高。

技术实现思路

1、本公开提供了车道线识别方法和模型训练方法及装置，可以直接通过卷积神经网络对图像特征和点云底图特征进行融合，能够适应不同的场景，提高了车道线识别的效率和准确性，降低了局限性和长期维护的成本。

2、根据本公开的第一方面，提供了一种车道线识别方法，所述方法包括：获取目标区域的目标图像和点云底图；提取目标图像的图像特征，并将图像特征转换为鸟瞰图特征；对点云底图进行特征提取，生成点云底图特征；对鸟瞰图特征与点云底图特征进行融合，得到融合特征；根据融合特征，确定目标区域中的车道线信息。

3、根据本公开的第二方面，提供了一种模型训练方法，所述方法包括：获取目标区域的目标图像和点云底图、目标区域中的车道线信息；将目标区域的目标图像和点云底图作为输入、目标区域中的车道线信息作为输出，对神经网络进行训练，得到目标模型，目标模型具有根据输入的目标区域的目标图像和点云底图，输出目标区域中的车道线信息的功能。

4、根据本公开的第三方面，提供了一种车道线识别装置，所述装置包括：获取单元、提取单元、融合单元、确定单元。

5、获取单元，用于获取目标区域的目标图像和点云底图。

6、提取单元，用于提取目标图像的图像特征，并将图像特征转换为鸟瞰图特征。

7、提取单元，还用于对点云底图进行特征提取，生成点云底图特征。

8、融合单元，用于对鸟瞰图特征与点云底图特征进行融合，得到融合特征。

9、确定单元，用于根据融合特征，确定目标区域中的车道线信息。

10、根据本公开的第四方面，一种模型训练装置，所述装置包括：获取单元，训练单元。

11、获取单元，用于获取目标区域的目标图像和点云底图、目标区域中的车道线信息。

12、训练单元，用于将目标区域的目标图像和点云底图作为输入、目标区域中的车道线信息作为输出，对神经网络进行训练，得到目标模型，目标模型具有根据输入的目标区域的目标图像和点云底图，输出目标区域中的车道线信息的功能。

13、根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或者第二方面所述的方法。

14、根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据第一方面或者第二方面所述的方法。

15、根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据第一方面或者第二方面所述的方法。

16、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种车道线识别方法，所述方法包括：

2.根据权利要求1所述的方法，所述提取目标图像的图像特征，并将所述图像特征转换为鸟瞰图特征，包括：

3.根据权利要求2所述的方法，所述提取所述目标图像的图像特征，根据所述目标图像和所述点云底图的世界坐标系坐标，将所述图像特征转换为所述鸟瞰图特征，包括：

4.根据权利要求3所述的方法，所述根据所述投影矩阵将所述图像特征转换为所述鸟瞰图特征，包括：

5.根据权利要求4所述的方法，所述根据所述注意力矩阵将所述图像特征聚合，得到图像聚合特征，包括：

6.根据权利要求1-5任一项所述的方法，所述对所述点云底图进行特征提取，生成点云底图特征，包括：

7.根据权利要求1-6任一项所述的方法，所述车道线信息包括所述车道线的分割结果、线型属性、颜色属性，所述方法还包括：

8.一种模型训练方法，所述方法包括：

9.一种车道线识别装置，所述装置包括：

10.根据权利要求9所述的装置，所述提取单元，具体用于：

11.根据权利要求10所述的装置，所述提取单元，具体用于：

12.根据权利要求11所述的装置，所述提取单元，具体用于：

13.根据权利要求12所述的装置，所述提取单元，具体用于：

14.根据权利要求9-13任一项所述的装置，所述提取单元，具体用于：

15.根据权利要求9-14任一项所述的装置，所述车道线信息包括所述车道线的分割结果、线型属性、颜色属性，所述装置还包括：

16.一种模型训练装置，所述装置包括：

17.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据权利要求1-7任一项所述的方法，或者，权利要求8所述的方法。

19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7任一项所述的方法，或者，权利要求8所述的方法。

技术总结
本公开提供一种车道线识别方法和模型训练方法及装置，涉及自动驾驶技术领域，具体涉及图像识别、图像分割、图像特征融合等技术领域，可应用于自动驾驶测试、自动驾驶车辆路径规划等场景下，具体实现方案包括：获取目标区域的目标图像和点云底图；提取目标图像的图像特征，并将图像特征转换为鸟瞰图特征；对点云底图进行特征提取，生成点云底图特征；对鸟瞰图特征与点云底图特征进行融合，得到融合特征；根据融合特征，确定目标区域中的车道线信息。本公开可以直接通过卷积神经网络对图像特征和点云底图特征进行融合，从而提高车道线识别的效率和准确性，降低成本。

技术研发人员：吴桐,卢维欣,杨镜,万国伟,白宇
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/3/11