基于神经辐射场的变拓扑动态场景重建与编辑方法和装置

本技术涉及计算机视觉、计算机图形学，尤其涉及一种基于神经辐射场的变拓扑动态场景重建与编辑方法和装置。

背景技术：

1、动态场景的重建与编辑始终是计算机图形学与视觉研究中的一个的焦点问题，近几年神经辐射场(neural radiance fields，简称nerf)的提出使得场景的新视角重建质量有了明显的提升，但该方法并不支持场景编辑。而当动态场景中出现拓扑变化时，拓扑变化所引起的空间运动的不连续性会导致动态场景的重建与编辑更加难以解决。

技术实现思路

1、本技术旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本技术的第一个目的在于提出一种基于神经辐射场的变拓扑动态场景重建与编辑方法，解决了现有方法对出现拓扑变化的动态场景难以建模，且不支持动态场景编辑的技术问题，能够使用3d关键点对拓扑可变的动态场景进行建模，并且能够通过控制3d关键点来对动态场景进行编辑，操作简单且直观。

3、本技术的第二个目的在于提出一种基于神经辐射场的变拓扑动态场景重建与编辑装置。

4、本技术的第三个目的在于提出一种计算机设备。

5、本技术的第四个目的在于提出一种非临时性计算机可读存储介质。

6、为达上述目的，本技术第一方面实施例提出了一种基于神经辐射场的变拓扑动态场景重建与编辑方法，包括：获取动态场景的单目视频；根据单目视频的图像序列识别动态场景的3d关键点，并使用光流与深度图像对3d关键点在图像序列中的位置进行初始化；将图像序列和3d关键点位置输入动态场景重建网络模型，并根据联合损失函数训练动态场景重建网络模型，对每一帧图像的3d关键点位置进行优化；利用经过优化的3d关键点位置对拓扑可变的动态场景进行建模，生成变拓扑动态场景；通过修改3d关键点位置对变拓扑动态场景进行编辑，生成变拓扑动态场景的新视角视频或图像。

7、可选地，在本技术的一个实施例中，根据单目视频的图像序列识别动态场景的3d关键点，并使用光流与深度图像对3d关键点在图像序列中的位置进行初始化，包括：

8、根据单目视频的图像序列，通过多视角重建方法得到每帧图像的相机位置，并使用额外维度对动态场景中不同空间点的拓扑运动状态进行建模，获得动态场景的深度图像；

9、将建模过程中额外维度坐标在序列中变化最大的空间点作为3d关键点，并使用光流与深度图像对3d关键点在图像序列中的位置进行初始化，其中，同一个空间点的不同拓扑运动状态会对应不同的额外维度坐标。

10、可选地，在本技术的一个实施例中，将建模过程中额外维度坐标在序列中变化最大的空间点作为3d关键点，包括：

11、在建模的动态场景中建立三维空间体素；

12、将图像序列中每一帧图像的每个表面点的额外维度坐标存储到相应的体素；

13、计算每个表面点的体素的坐标方差，并对每个表面点的体素进行三维高斯滤波，将局部方差极值所在的所有体素的中心点选取为3d关键点。

14、可选地，在本技术的一个实施例中，使用光流与深度图像对3d关键点在图像序列中的位置进行初始化，包括：

15、通过比较3d关键点投影到深度图像中的像素位置处的深度值和3d关键点到相机的距离，将3d关键点位于物体表面上的第一帧图像作为参考帧图像；

16、将3d关键点投影到参考帧图像中得到3d关键点的二维图像坐标；

17、使用光流估计方法计算帧与帧之间的光流，并将二维图像坐标根据光流依次传播到所有的帧中；

18、通过深度图像将二维图像坐标投影回三维空间，得到图像序列中所有帧的3d关键点初始位置。

19、可选地，在本技术的一个实施例中，将图像序列和3d关键点位置输入动态场景重建网络模型，包括：

20、根据图像序列通过均匀采样和概率采样，得到空间采样点；

21、将空间采样点输入至基于多层感知器的变形场，将变形场对齐到标准空间下，得到空间采样点的标准坐标；

22、通过权重网络计算空间采样点和3d关键点之间的权重，并根据权重对3d关键点坐标进行加权求和，得到加权关键点向量；

23、将加权关键点向量作为基于神经辐射场的多层感知器网络的额外输入，得到空间采样点的不透明度与颜色信息；

24、根据空间采样点的不透明度与颜色信息，使用体渲染方法得到重建图像。

25、可选地，在本技术的一个实施例中，根据联合损失函数训练动态场景重建网络模型，对每一帧图像的3d关键点位置进行优化，包括：

26、根据图像序列相邻帧图像之间的3d关键点二维相对位置和光流值，构建运动损失；

27、根据图像序列每帧图像中3d关键点到相机的距离和深度图中的深度值，构建几何损失；

28、根据图像序列和渲染得到的重建图像序列，构建重建损失；

29、基于运动损失、几何损失、重建损失和变形场的正则损失，构建联合损失函数，根据联合损失函数对动态场景重建网络模型进行训练，并对每一帧图像的3d关键点位置进行优化。

30、为达上述目的，本技术第二方面实施例提出了一种基于神经辐射场的变拓扑动态场景重建与编辑装置，包括：

31、获取模块，用于获取动态场景的单目视频；

32、识别模块，用于根据单目视频的图像序列识别动态场景的3d关键点，并使用光流与深度图像对3d关键点在图像序列中的位置进行初始化；

33、训练模块，用于将图像序列和3d关键点位置输入动态场景重建网络模型，并根据联合损失函数训练动态场景重建网络模型，对每一帧图像的3d关键点位置进行优化；

34、生成模块，用于利用经过优化的3d关键点位置对拓扑可变的动态场景进行建模，生成变拓扑动态场景；

35、编辑模块，用于通过修改3d关键点位置对变拓扑动态场景进行编辑，生成变拓扑动态场景的新视角视频或图像。

36、可选地，在本技术的一个实施例中，识别模块，具体用于：

37、根据单目视频的图像序列，通过多视角重建方法得到每帧图像的相机位置，并使用额外维度来对动态场景中不同空间点的拓扑运动状态进行建模，获得动态场景的深度图像；

38、将建模过程中额外维度坐标在序列中变化最大的空间点作为3d关键点，并使用光流与深度图像对3d关键点在图像序列中的位置进行初始化，其中，同一个空间点的不同拓扑运动状态会对应不同的额外维度坐标。

39、为达上述目的，本技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的基于神经辐射场的变拓扑动态场景重建与编辑方法。

40、为了实现上述目的，本技术第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行一种基于神经辐射场的变拓扑动态场景重建与编辑方法。

41、本技术实施例的基于神经辐射场的变拓扑动态场景重建与编辑方法、装置、计算机设备和非临时性计算机可读存储介质，解决了现有方法对出现拓扑变化的动态场景难以建模，且不支持动态场景编辑的技术问题，能够使用3d关键点对拓扑可变的动态场景进行建模，并且能够通过控制3d关键点来对动态场景进行编辑，操作简单且直观。

42、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。