道路三维重建方法、装置、设备及可读存储介质与流程

本公开涉及图像处理领域，尤其涉及一种道路三维重建方法、装置、设备及可读存储介质。

背景技术：

1、在自动驾驶场景中，需要对车辆周边的道路环境进行三维重建。

2、目前，基于车载相机的图像特征点的三维重建技术一般是通过图像采集装置采集图像序列，图像序列经过三维建模后生成视觉点云，视觉点云可与高精地图进行融合，以完成道路三维重建。

3、但是，基于车载相机的图像特征点的三维重建技术重建的三维道路效果较差，如何利用图像坐标系下各个子路段的位姿调整各个子路段的三维重建模型在世界坐标系下的位姿，从而提升道路三维重建的效果是一个亟待解决的问题。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种道路三维重建方法、装置、设备及可读存储介质。

2、第一方面，本公开实施例提供一种道路三维重建方法，所述方法包括：

3、获取待重建的目标道路的多张关联图像和每张所述关联图像被拍摄时相机在世界坐标系下的位姿；

4、针对所述目标道路包括的任一子路段，基于所述多张关联图像，确定该子路段在图像坐标系下的三维重建模型和每张所述关联图像被拍摄时相机在所述三维重建模型中的位姿；

5、对于所述目标道路包括的任一子路段，根据每张所述关联图像被拍摄时相机在世界坐标系下的位姿、每张所述关联图像被拍摄时相机在不同子路段的三维重建模型所在图像坐标系中的位姿，得到所述任一子路段在图像坐标系和世界坐标系下的坐标对应关系，根据所述任一子路段在图像坐标系和世界坐标系下坐标对应关系确定所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系；

6、基于所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系和所述不同子路段的三维重建模型在图像坐标系中的位姿，重建所述目标道路在世界坐标系下的三维模型。

7、在一些实施例中，所述获取待重建的目标道路的多张关联图像和每张所述关联图像被拍摄时相机在世界坐标系下的位姿，包括：

8、获取所述相机拍摄的所述目标道路的图像序列和所述图像序列中每张图像被拍摄时相机的定位信息；

9、基于所述图像序列中每张图像被拍摄时相机的定位信息，从所述图像序列中确定多张关联图像和每张所述关联图像被拍摄时相机在世界坐标系下的位姿。

10、在一些实施例中，在针对所述目标道路包括的任一子路段，基于所述多张关联图像，确定该子路段在图像坐标系下的三维重建模型之前，所述方法还包括：

11、基于所述多张关联图像，将所述目标道路划分为多个子路段。

12、在一些实施例中，对于所述目标道路包括的任一子路段，根据每张所述关联图像被拍摄时相机在世界坐标系下的位姿、每张所述关联图像被拍摄时相机在不同子路段的三维重建模型所在图像坐标系中的位姿，得到所述任一子路段在图像坐标系和世界坐标系下的坐标对应关系，根据所述任一子路段在图像坐标系和世界坐标系下坐标对应关系确定所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系，包括：

13、针对所述目标道路包括的任一子路段，基于该子路段在图像坐标系下的三维重建模型的位姿转换到世界坐标系下的初始位姿转换关系，将每张所述关联图像被拍摄时相机在该子路段的三维重建模型所在图像坐标系中的位姿转换到世界坐标系下；

14、基于每张所述关联图像被拍摄时相机在世界坐标系下的位姿、每张所述关联图像被拍摄时相机在不同子路段的三维重建模型所在图像坐标系中的位姿转换到世界坐标系下的位姿，以及，同一张所述关联图像包括的不同子路段的三维重建模型所在图像坐标系中相机的位姿转换到世界坐标系下的位姿，对不同子路段的三维重建模型在图像坐标系中的位姿转换到世界坐标系下的初始位姿转换关系的系数进行调整，得到不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系。

15、在一些实施例中，所述对于所述目标道路包括的任一子路段，根据每张所述关联图像被拍摄时相机在世界坐标系下的位姿、每张所述关联图像被拍摄时相机在不同子路段的三维重建模型所在图像坐标系中的位姿，得到所述任一子路段在图像坐标系和世界坐标系下的坐标对应关系，根据所述任一子路段在图像坐标系和世界坐标系下坐标对应关系确定所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系，包括：

16、根据每张所述关联图像被拍摄时相机在不同子路段的三维重建模型所在图像坐标系中的位姿转换到世界坐标系下的位姿、以及每张关联图像被拍摄时相机在世界坐标系下的位姿，构建第一约束关系；

17、根据任一张所述关联图像被拍摄时的相机在该图像包含的两个子路段中的每个子路段的三维重建模型所在图像坐标系中的位姿转换到世界坐标系下的位姿，构建第二约束关系；

18、基于所述第一约束关系和所述第二约束关系，确定不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系。

19、在一些实施例中，所述基于每张所述关联图像被拍摄时相机在世界坐标系下的位姿、每张所述关联图像被拍摄时相机在不同子路段的三维重建模型所在图像坐标系中的位姿，确定所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系之后，所述方法还包括：

20、确定所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的初始尺度转换关系；

21、所述基于所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系和所述不同子路段的三维重建模型在图像坐标系中的位姿，重建所述目标道路在世界坐标系下的三维模型，包括：

22、基于不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系、所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的初始尺度转换关系、以及不同子路段的三维重建模型在图像坐标系中的位姿和尺度，重建所述目标道路在世界坐标系下的三维模型。

23、在一些实施例中，所述基于所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系和所述不同子路段的三维重建模型在图像坐标系中的位姿，重建所述目标道路在世界坐标系下的三维模型，包括：

24、基于所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系，将不同子路段的三维重建模型转换到世界坐标系下，得到不同子路段的三维重建模型在世界坐标系下的位姿；

25、基于所述不同子路段的三维重建模型在世界坐标系下的位姿，合并所述不同子路段的三维重建模型，得到所述目标道路在世界坐标系下的三维模型。

26、第二方面，本公开实施例提供一种道路三维重建装置，包括：

27、获取模块，用于获取待重建的目标道路的多张关联图像和每张所述关联图像被拍摄时相机在世界坐标系下的位姿；

28、第一确定模块，用于针对所述目标道路包括的任一子路段，基于所述多张关联图像，确定该子路段在图像坐标系下的三维重建模型和每张所述关联图像被拍摄时相机在所述三维重建模型中的位姿；

29、第二确定模块，用于对于所述目标道路包括的任一子路段，根据每张所述关联图像被拍摄时相机在世界坐标系下的位姿、每张所述关联图像被拍摄时相机在不同子路段的三维重建模型所在图像坐标系中的位姿，得到所述任一子路段在图像坐标系和世界坐标系下的坐标对应关系，根据所述任一子路段在图像坐标系和世界坐标系下坐标对应关系确定所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系；

30、重建模块，用于基于所述不同子路段的三维重建模型所在图像坐标系转换到世界坐标系下的位姿转换关系和所述不同子路段的三维重建模型在图像坐标系中的位姿，重建所述目标道路在世界坐标系下的三维模型。

31、第三方面，本公开实施例提供一种电子设备，包括：

32、存储器；

33、处理器；以及

34、计算机程序；

35、其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

36、第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的方法。

37、第五方面，本公开实施例提供一种车辆，包括：

38、存储器；

39、处理器；以及

40、计算机程序；

41、其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

42、第六方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如第一方面所述的方法。

43、本公开实施例提供的道路三维重建方法、装置、设备及可读存储介质，通过获取待重建的目标道路的多张关联图像和每张关联图像被拍摄时相机在世界坐标系下的位姿，针对目标道路包括的任一子路段，基于多张关联图像，确定该子路段在图像坐标系下的三维重建模型和每张关联图像被拍摄时相机在三维重建模型中的位姿。进一步，基于每张关联图像被拍摄时相机在世界坐标系下的位姿、每张关联图像被拍摄时相机在不同子路段的三维重建模型中的位姿，确定不同子路段的三维重建模型转换到世界坐标系下的位姿转换关系，基于不同子路段的三维重建模型转换到世界坐标系下的位姿转换关系和不同子路段的三维重建模型，重建目标道路在世界坐标系下的三维模型。由于先对每个子路段进行三维重建，然后调整各个子路段的三维重建模型在世界坐标系下的位姿，调整后的位姿更加符合子路段在目标路段中的位姿，因此重建出的目标道路在世界坐标系下的三维模型更准确，可以提升道路三维重建的效果，应用于高精度地图，更好的辅助自动驾驶。