光场重建方法、装置、电子设备、介质及产品与流程

本公开实施例涉及计算机视觉，尤其涉及一种光场重建方法、装置、电子设备、介质及产品。

背景技术：

1、动态场景重建多被应用于机器视觉技术领域中，动态场景重建通常采用基于隐式神经网络的隐式场景表示。但是，上述动态场景的表示方式在场景重建过程中会丢失细节信息，渲染质量有待提升；且重建时间长，难以实现动态场景的实时渲染，限制了在动态场景重建的应用场景范围。

技术实现思路

1、本公开提供了一种光场重建方法、装置、电子设备、介质及产品，可以基于可变形的三维高斯分布描述实现单目图像进行动态光场的重建，提高场景重建图像的质量以及图像的渲染速度。

2、第一方面，本公开实施例提供了一种光场重建方法，该方法包括：

3、获取待重建场景的多个单目场景图像和每个所述单目场景图像的图像采集时间标签；

4、获取初始运动结构恢复点云数据，并基于所述初始运动结构恢复点云数据生成一组三维高斯分布描述信息；

5、基于所述三维高斯分布描述信息中的空间位置信息、所述图像采集时间标签和预设变形场网络，得到与每一个所述单目场景图像对应的场景重建图像；

6、根据每个所述场景重建图像与对应的所述单目场景图像之间的图像重建损失，更新所述预设变形场网络和所述三维高斯分布描述信息中的参数，得到目标变形场网络和目标三维高斯分布描述信息，完成所述待重建场景的动态光场重建。

7、第二方面，本公开实施例还提供了一种光场重建装置，该装置包括：

8、场景图像获取模块，用于获取待重建场景的多个单目场景图像和每个所述单目场景图像的图像采集时间标签；

9、点云数据获取模块，用于获取初始运动结构恢复点云数据，并基于所述初始运动结构恢复点云数据生成一组三维高斯分布描述信息；

10、可变形三维高斯模块，用于基于所述三维高斯分布描述信息中的空间位置信息、所述图像采集时间标签和预设变形场网络，得到与每一个所述单目场景图像对应的场景重建图像；

11、可变形场确定模块，用于根据每个所述场景重建图像与对应的所述单目场景图像之间的图像重建损失，更新所述预设变形场网络和所述三维高斯分布描述信息中的参数，得到目标变形场网络和目标三维高斯分布描述信息，完成所述待重建场景的动态光场重建。

12、第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的光场重建方法。

16、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的光场重建方法。

17、第五方面，本公开实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的光场重建方法。

18、本公开实施例，通过获取待重建场景的一组单目场景图像和每一个所述单目场景图像的图像采集时间标签；获取初始运动结构恢复点云数据，并基于所述初始运动结构恢复点云数据生成一组三维高斯分布描述信息；基于所述三维高斯分布描述信息中的空间位置信息、所述图像采集时间标签和预设变形场网络，得到与每一个所述单目场景图像对应的场景重建图像；根据每个所述场景重建图像与对应的所述单目场景图像之间的图像重建损失，更新所述预设变形场网络和所述三维高斯分布描述信息中的参数，得到目标变形场网络和目标三维高斯分布描述信息，完成所述待重建场景的动态光场重建。本公开实施例的技术方案，解决了现有技术中的动态光场重建实现方式得到的场景重建图像会发生细节丢失且场景图像重建时间长的问题，可以基于可变形的三维高斯分布描述实现单目图像进行动态光场的重建，提高场景重建图像的质量以及图像的渲染速度，从而扩大动态场景重建技术的应用场景范围。

技术特征：

1.一种光场重建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述三维高斯分布描述信息中的空间位置信息、所述图像采集时间标签和预设变形场网络，得到与每一个所述单目场景图像对应的场景重建图像，包括：

3.根据权利要求2所述的方法，其特征在于，将所述空间位置信息和任一所述图像采集时间标签输入到所述预设变形场网络中，得到与输入的所述图像采集时间标签关联的位置偏移量，还包括：

4.根据权利要求3所述的方法，其特征在于，进行时间信息的自适应平滑处理，包括：

5.根据权利要求2所述的方法，其特征在于，基于所述空间位置偏移量进行三维高斯分布的可微光栅化处理，包括：

6.根据权利要求1所述的方法，其特征在于，根据每个所述场景重建图像与对应的所述单目场景图像之间的图像重建损失，更新所述预设变形场网络和所述三维高斯分布描述信息中的参数，包括：

7.根据权利要求1-6中任一所述的方法，其特征在于，获取初始运动结构恢复点云数据，包括：

8.根据权利要求1-6中任一所述的方法，其特征在于，所述预设变形场网络包括至少一个多层感知器。

9.根据权利要求1所述的方法，其特征在于，还包括：

10.一种光场重建装置，其特征在于，包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的光场重建方法。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-9中任一项所述的光场重建方法。

技术总结
本公开实施例公开了一种光场重建方法、装置、电子设备、存储介质及产品，方法包括：获取待重建场景的多个单目场景图像和每个单目场景图像的图像采集时间标签；获取初始运动结构恢复点云数据，并基于初始运动结构恢复点云数据生成一组三维高斯分布描述信息；基于三维高斯分布描述信息中的空间位置信息、图像采集时间标签和预设变形场网络，得到与每一个单目场景图像对应的场景重建图像；根据每个场景重建图像与对应的单目场景图像之间的图像重建损失，更新预设变形场网络和三维高斯分布描述信息中的参数，得到目标变形场网络和目标三维高斯分布描述信息，完成待重建场景的动态光场重建。本公开实施例的技术方案可以提高动态场景重建质量。

技术研发人员：周文,王子豪,焦少慧
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/4/17