基于体素的神经辐射场的单掩膜修复方法、计算机设备、可读存储介质和程序产品

本申请涉及计算机视觉和深度学习领域，特别是涉及一种基于体素的神经辐射场的单掩膜修复方法、计算机设备、可读存储介质和程序产品。

背景技术：

1、神经辐射场(nerf，neural radiance field)是一种在三维场景表示和新视图合成中表现突出的技术。通过简单地从场景中获取数百甚至数十张图像作为输入，nerf能够捕捉复杂的细节，并从新的视点生成照片级真实感渲染图。然而，在拍摄场景时，可能会出现不想要的物体，例如地板上的垃圾和景点中的游客。因此，移除物体并填充背景(称为3d修复的任务)在场景编辑中至关重要。

2、尽管修复在二维图像处理中已经得到了很好的研究，但三维修复的研究仍然是一个棘手的问题。3d修复有三个挑战。首先，当没有输入视图捕捉到被要移除的物体遮挡的区域时，仍然不确定该区域会如何呈现。该区域应具有合理的几何图形和外观，以确保与周围场景的连续性和连贯性。修复结果不仅要在纹理和颜色上与相邻区域保持一致，还要符合整体深度和照明条件，以实现自然无失真的外观。其次，手动标注每个视图的精确掩膜是很复杂的。场景的复杂性和视图的数量会显著增加掩膜标注的难度。此外，在需要效率和自动化的实际应用中，手动操作可能耗时且不切实际。第三，直接采用最先进的图像修复方法从nerf中去除渲染图像中的物体，会在不同的视图中产生不一致的结果。另一方面，用不一致的2d修复图像训练nerf可能会导致模糊的结果。

3、为了解决上述挑战，许多工作已经探索了nerf的3d修复。他们在每个输入视图中识别并屏蔽要移除的物体，然后使用预先训练的2d修复模型来生成修复图像。经过适当的调整后，将细化的图像集成到nerf中，以对移除物体后的场景进行重新建模。nerf-in使用视频物体分割方法将用户标注的掩膜从单个视图转移到其他输入视图。在此基础上，spin-nerf通过拟合一个语义nerf将视频分割掩模提升为3d分割，改进了掩模在不同视点的不一致性。remove-nerf生成场景的3d点云表示，并指定点云中要移除的物体的3d边界框。然后，修剪3d边界框的空白空间，并通过从每个视点渲染该标记空间来导出掩膜。然而，获得所有输入视图的掩码的过程是繁琐的。尽管用户不必标注每个掩膜，但获得所有掩膜限制了修复过程的可扩展性和效率。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于体素的神经辐射场的单掩膜修复方法。

2、本申请基于体素的神经辐射场的单掩膜修复方法，用于移除场景中的物体并填充修复，包括：

3、获得所述场景在不同视角下的若干输入视图，在体素网格中重建获得场景表示；

4、在所述若干输入视图中获得其中的第一输入图，结合所述第一输入图的掩膜标注，获得移除所述物体并填充修复的第一修复图，所述掩膜标注的区域为所述物体位置，将所述第一输入图和所述掩膜标注，映射至所述体素网格，获得所述体素网格的待修复区域；

5、根据所述第一输入图的视角，从所述体素网格渲染获得与所述第一输入图视角相对应的第一渲染图；

6、根据所述掩膜、所述第一修复图和第一渲染图，监督训练所述待修复区域，获得训练完成的场景表示。

7、可选的，根据所述掩膜、所述第一修复图和第一渲染图，监督训练所述待修复区域，包括：对比所述第一修复图和第一渲染图的颜色和/或深度，监督训练所述待修复区域。

8、可选的，根据所述掩膜、所述第一修复图和第一渲染图，监督训练所述待修复区域，包括：

9、根据所述第一修复图和所述第一渲染图的颜色差异，监督训练所述待修复区域，具体利用下式进行：

10、

11、式中，lrgb表示颜色差异，c(r)表示所述第一渲染图的渲染像素，表示所述第一修复图的修复像素；

12、是来自所述第一修复图的修复区域的射线包。

13、可选的，根据所述掩膜、所述第一修复图和第一渲染图，监督训练所述待修复区域，包括：

14、根据所述第一渲染图获得第一深度图；

15、基于所述第一深度图、结合所述掩膜生成移除所述物体并填充修复的深度修复图；

16、根据所述第一深度图和深度修复图的差异，监督训练所述待修复区域。

17、可选的，根据所述第一深度图和深度修复图的差异，监督训练所述待修复区域，具体利用下式进行：

18、

19、式中，ldepth表示深度差异，d(r)表示第一深度图的像素，表示深度修复图的像素；

20、是来自所述第一修复图的修复区域的射线包。

21、可选的，所述第一修复图和所述深度修复图均利用二维图像修复算法获得；

22、所述第一渲染图，根据所述第一输入图对应的视角并经由所述场景表示渲染获得。

23、可选的，包括：

24、利用训练完成的场景表示，渲染获得与各所述不同视角对应的输出视图；

25、利用2d预训练扩散模型，进一步修复所述输出视图。

26、本申请还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现本申请所述的基于体素的神经辐射场的单掩膜修复方法的步骤。

27、本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请所述的基于体素的神经辐射场的单掩膜修复方法的步骤。

28、本申请还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请所述的基于体素的神经辐射场的单掩膜修复方法的步骤。

29、本申请基于体素的神经辐射场的单掩膜修复方法至少具有以下效果：

30、本申请通过在第一输入图上对要移除的物体进行掩膜标注，以创建掩膜。通过不同视角、第一输入图和体素网格之间的空间对应关系，确定待修复区域，即掩膜所对应的待训练区域。

31、根据第一修复图和第一渲染图在掩膜部分的差异，可执行对待修复区域的训练，训练完成的体素网格可用于表示初步修复后的场景，输出各不同视角的输出视图。

技术特征：

1.基于体素的神经辐射场的单掩膜修复方法，用于移除场景中的物体并填充修复，其特征在于，包括：

2.根据权利要求1所述的单掩膜修复方法，其特征在于，根据所述掩膜、所述第一修复图和第一渲染图，监督训练所述待修复区域，包括：对比所述第一修复图和第一渲染图的颜色和/或深度，监督训练所述待修复区域。

3.根据权利要求1所述的单掩膜修复方法，其特征在于，根据所述掩膜、所述第一修复图和第一渲染图，监督训练所述待修复区域，包括：

4.根据权利要求1所述的单掩膜修复方法，其特征在于，根据所述掩膜、所述第一修复图和第一渲染图，监督训练所述待修复区域，包括：

5.根据权利要求4所述的单掩膜修复方法，其特征在于，根据所述第一深度图和深度修复图的差异，监督训练所述待修复区域，具体利用下式进行：

6.根据权利要求4所述的单掩膜修复方法，其特征在于，所述第一修复图和所述深度修复图均利用二维图像修复算法获得；

7.根据权利要求1所述的单掩膜修复方法，其特征在于，包括：

8.计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1～7任一项单掩膜修复方法的步骤。

9.计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1～7任一项单掩膜修复方法的步骤。

10.计算机程序产品，包括计算机指令，其特征在于，该计算机指令被处理器执行时实现如权利要求1～7任一项所述的单掩膜修复方法的步骤。

技术总结
本申请涉及一种基于体素的神经辐射场的单掩膜修复方法、计算机设备、可读存储介质和程序产品，其中单掩膜修复方法包括：获得场景在不同视角下的若干输入视图，在体素网格中重建获得场景表示；在若干输入视图中获得其中的第一输入图，结合掩膜标注，获得移除物体并填充修复的第一修复图，掩膜标注的区域为物体位置；将第一输入图和掩膜标注，映射至体素网格，获得体素网格的待修复区域；根据第一输入图的视角，从体素网格渲染获得与第一输入图视角相对应的第一渲染图；根据掩膜、第一修复图和第一渲染图，监督训练待修复区域，获得训练完成的场景表示。本申请使用若输入视图和单张掩膜即可完成3D修复，训练完成的场景表示可输出不同视角的视图。

技术研发人员：赵磊,陈嘉芙,饶晨,李光远,张占杰,孙嘉锴,尹浩霖,蓝泽铧,莫俊程,马骋,张权威,王永康,褚天易,邢卫,林怀忠
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/3/11