一种增量式图像渲染方法及装置与流程

本申请涉及计算机视觉和计算机图形学，特别涉及一种增量式图像渲染方法及装置。

背景技术：

1、神经辐射场是一种基于深度学习的三维重建技术，可以将多个二维图像或视频中的目标场景重建为高质量的三维模型，因此被广泛应用于虚拟现实、增强现实、游戏制作等领域中。

2、相关技术中，神经辐射场使用一个神经网络模型来表示三维场景的辐射场，通过输入二维图像或视频中每个采样点的方向信息和距离信息至神经网络模型中，即可获取该采样点的颜色和透明度，进而渲染生成逼真的图像。

3、然而，当二维图像或视频中出现遮挡目标场景的移动物体时，会导致部分目标场景区域无法被获取到有效的方向信息和距离信息，从而无法准确渲染出目标场景区域的图像。

技术实现思路

1、有鉴于此，本申请实施例提供了一种增量式图像渲染方法及装置，能够在二维图像或视频中出现遮挡目标场景的移动物体时准确渲染出目标场景图像。

2、本申请实施例公开了如下技术方案：

3、第一方面，本申请提供了一种增量式图像渲染方法，所述方法包括：

4、获取场景数据；

5、若所述场景数据中出现移动物体，则删除所述场景数据中根据语义分割模型所分割出的所述移动物体，以获取目标数据，所述移动物体是违背场景几何不变性假设的物体；

6、利用所述目标数据，对第一神经辐射场进行训练，以获取已训练的第一神经辐射场，以及所述目标数据对应的采样点颜色和体密度；

7、利用所述目标数据，和，所述目标数据对应的采样点颜色和体密度，基于所述已训练的第一神经辐射场，对第二神经辐射场进行训练，以获取已训练的第二神经辐射场；

8、借助所述已训练的第二神经辐射场，获取所有目标数据对应的采样点数据和体密度；

9、对所述所有目标数据对应的采样点数据和体密度进行积分，以得到图像渲染结果。

10、可选的，所述获取场景数据，包括：

11、获取原始数据；

12、对所述原始数据执行生成潜在优化算法，生成所述原始数据的外观嵌入，以获取场景数据。

13、可选的，所述若所述场景数据中出现移动物体，则删除所述场景数据中根据语义分割模型所分割出的所述移动物体，包括：

14、根据细分模型的目标检测方法，检测所述场景数据中是否包括移动物体；

15、若所述场景数据中包括移动物体，则删除所述场景数据中根据语义分割模型所分割出的所述移动物体。

16、可选的，所述场景数据包括第一场景数据和第二场景数据；所述检测所述场景数据中是否包括移动物体，包括：

17、识别所述第一场景数据中的物体类别和所述第二场景数据中的物体类别；

18、若所述第一场景数据中的物体类别和所述第二场景数据中的物体类别相同，则获取所述第一场景数据中的物体和所述第二场景数据中的物体的相似度；

19、若所述相似度小于或等于第一预设阈值，则判定所述第一场景数据中的物体类别和所述第二场景数据中的物体为移动物体。

20、可选的，所述方法还包括：

21、若所述第一场景数据中的物体类别和所述第二场景数据中的物体类别不同，则判定所述第一场景数据中的物体类别和所述第二场景数据中的物体为移动物体。

22、可选的，所述相似度的计算公式具体如下：

23、

24、其中，simi为相似度，ai为所述第一场景数据中的物体的特征向量，bi为所述第二场景数据中的物体的特征向量。

25、可选的，所述基于所述已训练的第一神经辐射场，对第二神经辐射场进行训练，包括：

26、基于所述已训练的第一神经辐射场，确定总损失函数，所述总损失函数与分割掩码、体密度损失函数、颜色损失函数和蒸馏损失函数有关；

27、根据所述总损失函数，对第二神经辐射场进行训练。

28、可选的，所述蒸馏损失函数的公式具体如下：

29、

30、其中，ldis为正则化损失函数，x为位置信息，d为视角方向，ft(x,d)为将位置信息和视角方向输入至所述已训练的第一神经辐射场的结果，fs(x,d)为将位置信息和视角方向输入至第二神经辐射场的结果。

31、第二方面，本申请公开了一种神经辐射场的图像渲染装置，所述装置包括：第一获取模块、删除模块、第二获取模块、第三获取模块、第四获取模块和积分模块；

32、所述第一获取模块，用于获取场景数据；

33、所述删除模块，用于若所述场景数据中出现移动物体，则删除所述场景数据中根据语义分割模型所分割出的所述移动物体，以获取目标数据，所述移动物体是违背场景几何不变性假设的物体；

34、所述第二获取模块，用于利用所述目标数据，对第一神经辐射场进行训练，以获取已训练的第一神经辐射场，以及所述目标数据对应的采样点颜色和体密度；

35、所述第三获取模块，用于利用所述目标数据，和，所述目标数据对应的采样点颜色和体密度，基于所述已训练的第一神经辐射场，对第二神经辐射场进行训练，以获取已训练的第二神经辐射场；

36、所述第四获取模块，用于借助所述已训练的第二神经辐射场，获取所有目标数据对应的采样点数据和体密度；

37、所述积分模块，用于对所述所有目标数据对应的采样点数据和体密度进行积分，以得到图像渲染结果。

38、可选的，所述删除模块具体包括：检测子模块和删除子模块；

39、所述检测子模块，用于根据细分模型的目标检测方法，检测所述场景数据中是否包括移动物体；

40、所述删除子模块，用于若所述场景数据中包括移动物体，则删除所述场景数据中根据语义分割模型所分割出的所述移动物体。

41、相较于现有技术，本申请具有以下有益效果：

42、本申请公开了一种增量式图像渲染方法及装置，该方法包括：获取场景数据；若场景数据中出现移动物体，则删除场景数据中根据语义分割模型所分割出的移动物体，以获取目标数据，移动物体是违背场景几何不变性假设的物体；利用目标数据，对第一神经辐射场进行训练，以获取已训练的第一神经辐射场，以及目标数据对应的采样点颜色和体密度；利用目标数据，和，目标数据对应的采样点颜色和体密度，基于已训练的第一神经辐射场，对第二神经辐射场进行训练，以获取已训练的第二神经辐射场；借助已训练的第二神经辐射场，获取所有目标数据对应的采样点数据和体密度；对所有目标数据对应的采样点数据和体密度进行积分，以得到图像渲染结果。由此，能够对同一场景在增量式重建情况下，准确删除场景数据中分割出的移动物体，从而在移动物体遮挡场景时也能渲染出质量更高、细节更清晰的图像。

技术特征：

1.一种增量式图像渲染方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取场景数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述若所述场景数据中出现移动物体，则删除所述场景数据中根据语义分割模型所分割出的所述移动物体，包括：

4.根据权利要求3所述的方法，其特征在于，所述场景数据包括第一场景数据和第二场景数据；所述检测所述场景数据中是否包括移动物体，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求4所述的方法，其特征在于，所述相似度的计算公式具体如下：

7.根据权利要求1所述的方法，其特征在于，所述基于所述已训练的第一神经辐射场，对第二神经辐射场进行训练，包括：

8.根据权利要求7所述的方法，其特征在于，所述蒸馏损失函数的公式具体如下：

9.一种增量式图像渲染装置，其特征在于，所述装置包括：第一获取模块、删除模块、第二获取模块、第三获取模块、第四获取模块和积分模块；

10.根据权利要求9所述的装置，其特征在于，所述删除模块具体包括：检测子模块和删除子模块；

技术总结
本申请公开了一种增量式图像渲染方法及装置，涉及计算机视觉和计算机图形学技术领域。该方法包括：获取场景数据；若场景数据中出现移动物体，则删除移动物体得到目标数据；利用目标数据对第一神经辐射场进行训练，得到目标数据对应的采样点颜色和体密度；利用目标数据、目标数据对应的采样点颜色和体密度，基于已训练的第一神经辐射场，对第二神经辐射场进行训练；借助已训练的第二神经辐射场，获取所有目标数据对应的采样点数据和体密度并进行积分，得到图像渲染结果。由此，能够对同一场景在增量式重建情况下，准确删除场景数据中分割出的移动物体，从而在移动物体遮挡场景时也能渲染出质量更高、细节更清晰的图像。

技术研发人员：赵飞飞,刘祥德,于金波,严旭,王梦魁
受保护的技术使用者：北京数原数字化城市研究中心
技术研发日：
技术公布日：2024/1/15