一种三维场景风格迁移方法、装置、设备及存储介质与流程

本申请涉及计算机视觉和机器学习，具体而言，涉及一种三维场景风格迁移方法、装置、设备及存储介质。

背景技术：

1、近年来，基于神经辐射场(neural radiance fields,nerf)的隐式三维表示取得了极大的进展，该方法得到的三维场景具有极强的真实感。为了减少艺术创作的时间和对专业知识的需求，对基于nerf的三维场景进行风格迁移具有很强的应用价值。

2、目前，部分方法可以实现将单个2d图像的艺术特征转移到完整的真实3d场景中，从而改变真实场景中的风格。这些方法得到的风格迁移结果往往存在模糊、外观不一致和伪影的问题，并且想要得到不同风格图的迁移结果需要再次从头训练，难以满足实际应用的要求。

技术实现思路

1、本申请的目的在于，为了克服现有的技术缺陷，提供了一种三维场景风格迁移方法、装置、设备及存储介质，能够解决现有技术中存在的迁移效果差和必须重复训练的问题。

2、本申请目的通过下述技术方案来实现：

3、第一方面，本申请提出了一种三维场景风格迁移方法，所述方法包括：

4、采集多个视角下的rgb图像作为原始图像，对所述原始图像进行数据预处理得到相机位置姿态信息；

5、将所述原始图像和所述相机位置姿态信息输入神经辐射场模型进行训练，构建原始三维场景；

6、在所述原始三维场景中使用风格迁移网络对所述原始图像和风格图像进行风格迁移，得到风格迁移后的原始图像；

7、以所述风格迁移后的原始图像作为监督数据进行优化得到风格迁移后的三维场景。

8、在一种可能的实施方式中，对所述原始图像进行数据预处理得到相机位置姿态信息的步骤，包括：

9、对所述原始图像进行图像筛选和分辨率调整得到调整后的原始图像；

10、分别对所述调整后的原始图像进行图像特征点提取，将提取的多个视角下的图像特征点进行图像立体匹配生成稀疏点云，并将所述稀疏点云作为相机位置姿态信息。

11、在一种可能的实施方式中，神经辐射场模型包括密集体素网格和特征体素网格，将所述原始图像和所述相机位置姿态信息输入神经辐射场模型进行训练，构建原始三维场景的步骤，包括：

12、将所述原始图像和所述相机位置姿态信息输入密集体素网格和特征体素网格；

13、使用密集体素网格进行插值查询空间点位的密度信息；

14、使用特征体素网格进行插值查询空间点位的颜色信息；

15、利用渲染公式根据所述密度信息和所述颜色信息得到渲染图像；

16、计算渲染图像和原始图片的损失进行反向传播。

17、在一种可能的实施方式中，所述密度信息为：，其中是体绘制函数，为softplus激活函数，为空间点坐标，为密集体素网格，是差值函数；

18、所述颜色信息为：，为空间点坐标，为特征体素网格；

19、所述渲染公式为：+,是衰减参数,k为光束的数量，是背景颜色，是第k点的衰减参数。

20、在一种可能的实施方式中，在所述原始三维场景中使用风格迁移网络对所述原始图像和风格图像进行风格迁移，得到风格迁移后的原始图像的步骤，包括：

21、采用预训练的vgg19卷积神经网络分别对原始图像和风格图像的风格特征和内容特征进行提取；

22、采用特征金字塔网络将风格特征和内容特征进行融合；

23、使用图片风格迁移网络对融合后的风格特征和内容特征进行均值计算和方差计算得到风格化图像；

24、使用高斯滤波器对所述风格化图像中传递产生的异常值进行过滤得到结果图像；

25、将结果图像转换到yuv域，使用图片风格迁移网络将结果图像和风格图像转换到yuv域；

26、将结果图像和风格图像转换的y通道与结果图像转换的uv通道进行拼接，得到风格迁移后的原始图像。

27、在一种可能的实施方式中，以所述风格迁移后的原始图像作为监督数据进行优化得到风格迁移后的三维场景的步骤，包括：

28、采用体渲染方式对原始三维场景进行风格化三维场景渲染，得到风格化渲染图像；

29、计算所述风格化渲染图像和所述风格迁移后的原始图像的损失并进行反向传播。

30、在一种可能的实施方式中，采用体渲染方式对原始三维场景进行风格化三维场景渲染的步骤，包括：

31、通过特征体素网格对特征体素网格采样得到原始场景颜色信息；

32、采用预训练的风格特征编码器提取风格图像的风格特征；

33、利用超网络处理风格特征生成控制参数；

34、利用控制参数调整颜色生成模块的权重；

35、对原始颜色信息进行特征迁移，得到最终渲染结果。

36、第二方面，本申请提出了一种三维场景风格迁移装置，所述装置包括：

37、预处理模块，用于采集多个视角下的rgb图像作为原始图像，对所述原始图像进行数据预处理得到相机位置姿态信息；

38、训练模块，用于采集多个视角下的rgb图像作为原始图像，对所述原始图像进行数据预处理得到相机位置姿态信息；

39、风格迁移模块，用于在所述原始三维场景中使用风格迁移网络对所述原始图像和风格图像进行风格迁移，得到风格迁移后的原始图像；

40、场景生成模块，用于以所述风格迁移后的原始图像作为监督数据进行优化得到风格迁移后的三维场景。

41、第三方面，本申请还提出了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如第一方面任一项所述的三维场景风格迁移方法。

42、第四方面，本申请还提出了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如第一方面任一项所述的三维场景风格迁移方法。

43、上述本申请主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本申请可采用并要求保护的方案；且本申请，（各非冲突选择）选择之间以及和其他选择之间也可以自由组合。本领域技术人员在了解本申请方案后根据现有技术和公知常识可明了有多种组合，均为本申请所要保护的技术方案，在此不做穷举。

44、本申请公开了一种三维场景风格迁移方法、装置、设备及存储介质，首先采集多个视角下的rgb图像作为原始图像，对原始图像进行数据预处理得到相机位置姿态信息，然后将原始图像和相机位置姿态信息输入神经辐射场模型进行训练，构建原始三维场景，在原始三维场景中使用风格迁移网络对原始图像和风格图像进行风格迁移，得到风格迁移后的原始图像，最后以所述风格迁移后的原始图像为监督数据，优化得到风格迁移后的三维场景。相较于现有技术具有更好的视觉效果，面对不同的风格图片时不需要再次训练整个神经辐射场，能够实现艺术风格和真实场景风格的三维场景风格迁移，使得其具有更高的实用价值。

技术特征：

1.一种三维场景风格迁移方法，其特征在于，所述方法包括：

2.如权利要求1所述的三维场景风格迁移方法，其特征在于，对所述原始图像进行数据预处理得到相机位置姿态信息的步骤，包括：

3.如权利要求1所述的三维场景风格迁移方法，其特征在于，将所述原始图像和所述相机位置姿态信息输入神经辐射场模型进行训练，构建原始三维场景的步骤，包括：

4.如权利要求3所述的三维场景风格迁移方法，其特征在于，所述密度信息为：，其中是体绘制函数，为softplus激活函数，是差值函数，为空间点坐标，为密集体素网格；

5.如权利要求1所述的三维场景风格迁移方法，其特征在于，在所述原始三维场景中使用风格迁移网络对所述原始图像和风格图像进行风格迁移，得到风格迁移后的原始图像的步骤，包括：

6.如权利要求1所述的三维场景风格迁移方法，其特征在于，以所述风格迁移后的原始图像作为监督数据进行优化得到风格迁移后的三维场景的步骤，包括：

7.如权利要求6所述的三维场景风格迁移方法，其特征在于，采用体渲染方式对原始三维场景进行风格化三维场景渲染的步骤，包括：

8.一种三维场景风格迁移装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1-7任一项所述的三维场景风格迁移方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1-7任一项所述的三维场景风格迁移方法。

技术总结
本申请公开了一种三维场景风格迁移方法、装置、设备及存储介质，首先采集多个视角下的RGB图像作为原始图像，对原始图像进行数据预处理得到相机位置姿态信息，然后将原始图像和相机位置姿态信息输入神经辐射场模型进行训练，构建原始三维场景，在原始三维场景中使用风格迁移网络对原始图像和风格图像进行风格迁移，得到风格迁移后的原始图像，最后以风格迁移后的原始图像作为监督数据，优化得到风格迁移后的三维场景。相较于现有技术具有更好的视觉效果，面对不同的风格图片时不需要再次训练整个神经辐射场，能够实现艺术风格和真实场景风格的三维场景风格迁移，使其具有更高的实用价值。

技术研发人员：陈尧森,刘跃根,罗天
受保护的技术使用者：成都索贝数码科技股份有限公司
技术研发日：
技术公布日：2024/1/15