场景重建方法、装置、存储介质及电子设备与流程

本公开涉及驾驶技术，尤其是一种场景重建方法、装置、存储介质及电子设备。

背景技术：

1、一些情况下需要进行场景重建，例如需要针对无人驾驶室外场景进行场景重建。场景重建结果对于场景再现和数据标注具有非常重要的价值。目前，为了实现场景重建，往往需要依赖于激光雷达。

技术实现思路

1、目前的场景重建需要依赖于激光雷达，实现成本较高。

2、为了解决上述技术问题，本公开提供了一种场景重建方法、装置、介质及电子设备，以降低场景重建的实现成本。

3、根据本公开实施例的一个方面，提供了一种场景重建方法，包括：

4、对设置于可移动设备的相机采集的第一图像序列进行后景分割，得到第二图像序列；

5、利用所述第二图像序列，进行点云的稀疏重建，得到第一重建点云和所述相机的第一相机位姿序列；

6、对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列；

7、利用所述第一重建点云、所述第一相机位姿序列和所述第三图像序列，进行点云的稠密重建，得到第二重建点云；

8、利用所述第一相机位姿序列和所述第四图像序列，依次进行点云的稀疏重建和稠密重建，得到第三重建点云；

9、基于所述第二重建点云和所述第三重建点云，确定所述第一图像序列对应的场景重建结果。

10、根据本公开实施例的另一个方面，提供了一种场景重建装置，包括：

11、第一分割模块，用于对设置于可移动设备的相机采集的第一图像序列进行后景分割，得到第二图像序列；

12、第一重建模块，用于利用所述第一分割模块得到的所述第二图像序列，进行点云的稀疏重建，得到第一重建点云和第一相机位姿序列；

13、第二分割模块，用于对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列；

14、第二重建模块，用于利用所述第一重建模块得到的所述第一重建点云和所述第一相机位姿序列，以及所述第二分割模块得到的所述第三图像序列，进行点云的稠密重建，得到第二重建点云；

15、第三重建模块，用于利用所述第一重建模块得到的所述第一相机位姿序列和所述第二分割模块得到的所述第四图像序列，依次进行点云的稀疏重建和稠密重建，得到第三重建点云；

16、确定模块，用于基于所述第二重建模块得到的所述第二重建点云和所述第三重建模块得到的所述第三重建点云，确定所述第一图像序列对应的场景重建结果。

17、根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述场景重建方法。

18、根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：

19、处理器；

20、用于存储所述处理器可执行指令的存储器；

21、所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述场景重建方法。

22、根据本公开实施例的又一个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行上述场景重建方法。

23、基于本公开上述实施例提供的场景重建方法、装置、介质及电子设备，本公开的实施例中，可以对相机采集的多视角图像(即第一图像序列)进行后景分割，并利用经后景分割得到的第二图像序列，进行点云的稀疏重建，以得到第一重建点云和第一相机位姿序列。另外，还可以对多视角图像进行动静态分割，以得到静态场景对应的第三图像序列和动态场景对应的第四图像序列，第三图像序列可以与第一重建点云和第一相机位姿序列一并用于点云的稠密重建，以得到能够有效地表征静态场景的第二重建点云，第四图像序列可以与第一相机位姿序列一并用于点云的稀疏重建和稠密重建，以得到能够有效地表征动态场景的第三重建点云，结合第二重建点云和第三重建点云，即可确定第一图像序列对应的场景重建结果。可见，本公开的实施例中是通过对相机采集的多视角图像的一系列处理，实现场景重建，相比于激光雷达，相机的价格非常低廉，因此能够降低场景重建的实现成本。另外，本公开的实施例中对静态场景和动态场景采取分而治之的策略，即将静态场景和动态场景分别进行重建，这样有利于降低重建难度，提升重建速度。

技术特征：

1.一种场景重建方法，包括：

2.根据权利要求1所述的方法，其中，

3.根据权利要求2所述的方法，其中，所述基于所述光流预测结果、所述深度预测结果和所述第一相机位姿序列，对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列，包括：

4.根据权利要求3所述的方法，其中，所述基于所述第一像素位置对应关系和所述第二像素位置对应关系，对所述第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列，包括：

5.根据权利要求3所述的方法，其中，

6.根据权利要求5所述的方法，其中，所述基于所述第一目标图像中的每个实例区域各自对应的统计结果，对所述第一目标图像进行动静态分割，得到静态场景对应的第三分割图像和动态场景对应的第四分割图像，包括：

7.根据权利要求1所述的方法，其中，

8.根据权利要求7所述的方法，其中，

9.根据权利要求7所述的方法，其中，

10.根据权利要求7所述的方法，其中，

11.根据权利要求1所述的方法，其中，

12.一种场景重建装置，包括：

13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11中任一所述的场景重建方法。

14.一种电子设备，所述电子设备包括：

技术总结
公开了一种场景重建方法、装置、存储介质及电子设备，其中，方法包括：对设置于可移动设备的相机采集的第一图像序列进行后景分割，得到第二图像序列；利用第二图像序列，进行点云的稀疏重建，得到第一重建点云和相机的第一相机位姿序列；对第一图像序列进行动静态分割，得到静态场景对应的第三图像序列和动态场景对应的第四图像序列；利用第一重建点云、第一相机位姿序列和第三图像序列，进行点云的稠密重建，得到第二重建点云；利用第一相机位姿序列和第四图像序列，依次进行点云的稀疏重建和稠密重建，得到第三重建点云；基于第二重建点云和第三重建点云，确定第一图像序列对应的场景重建结果。本公开可以降低场景重建的实现成本。

技术研发人员：隋伟,张家馨,张骞
受保护的技术使用者：北京地平线信息技术有限公司
技术研发日：
技术公布日：2024/1/14