基于神经渲染的新视图合成的方法、设备和存储介质与流程

本技术一般涉及新视图合成。更具体地，本技术涉及一种基于神经渲染的新视图合成的方法、设备和计算机可读存储介质。

背景技术：

1、新视图合成任务指的是给定源图像、源姿态和目标姿态，渲染生成目标姿态对应的图片，其在3d重建、ar以及vr等领域有着广泛的应用。针对新视图合成，传统方法是采用例如卷积神经网络模型来进行预测，但传统方法无法做到高保真的视图合成。

2、目前，基于神经辐射场（neural radiance fields，“nerf”）可以获得质量较高、逼真度高的新视图，通过输入多个视角的图像、相机参数或者光线方向，输出三维场景中每个点的颜色和密度。然而，在使用nerf方法时，不同场景需要重新训练，无法做到一次训练，其他场景直接使用，且训练速度较慢。此外，现有的新视图合成是在标准空间平面下进行的，这会使得深度图预测不精准，并产生倾斜表面的离散化伪影和重复纹理的冗余图层等问题。

3、有鉴于此，亟需提供一种基于神经渲染的新视图合成的方案，以便确保获得更加逼真的、高质量的新视图，并适用于通用场景。

技术实现思路

1、为了至少解决如上所提到的一个或多个技术问题，本技术在多个方面中提出了基于神经渲染的新视图合成的方案。

2、在第一方面中，本技术提供一种基于神经渲染的新视图合成的方法，其中所述神经渲染基于神经网络模型实现，所述神经网络模型包括特征提取模块、像素解码模块和transformer解码模块，并且所述方法包括：获取待进行合成的原视图；使用所述特征提取模块对所述原视图执行图像特征提取操作，以获得图像特征；使用所述像素解码模块对所述图像特征执行像素解码操作，以获得像素特征；使用所述transformer解码模块对所述图像特征进行参数解码，并将所述像素特征嵌入参数解码结果中，以获得与合成新视图相关的目标参数；以及在交叉平面空间中基于所述目标参数进行新视图渲染，以合成新视图。

3、在一个实施例中，其中所述特征提取模块为残差网络，所述残差网络和所述像素解码模块均包括多层，并且所述方法还包括：将所述像素解码模块每层的解码向量与所述残差网络对应层的图像特征相加后进行像素解码操作，以获得所述像素特征。

4、在另一个实施例中，其中所述目标参数包括颜色、图像实例、图像类别和平面参数信息，所述transformer解码模块包括解码器和多个感知层头，并且使用所述transformer解码模块对所述图像特征进行参数解码，并将所述像素特征嵌入参数解码结果中，以获得与合成新视图相关的目标参数包括：使用所述解码器对所述图像特征进行参数解码，以获得与所述目标参数对应的多个参数解码结果；以及将所述像素特征分别嵌入与颜色和图像实例对应的参数解码结果中，并使用所述多个感知层头对应输出所述颜色、所述图像实例、所述图像类别和所述平面参数信息。

5、在又一个实施例中，其中将所述像素特征分别嵌入与颜色和图像实例对应的参数解码结果中包括：将所述像素特征分别与颜色和图像实例对应的参数解码结果进行点积操作。

6、在又一个实施例中，其中所述解码器包括自注意力层、交叉注意力层、前馈网络层，所述每个感知层头包括多层感知机和激活函数或者包括多层感知机和全连接层。

7、在又一个实施例中，其中所述多个感知层头包括颜色层头、实例层头、类别层头和平面参数层头，并且所述颜色层头和所述实例层头均包括多层感知机和sigmoid激活函数，以对应输出所述颜色和所述图像实例；所述类别层头包括多层感知机和softmax激活函数，以对应输出所述图像类别；所述平面参数层头包括多层感知机和全连接层，以对应输出所述平面参数信息。

8、在又一个实施例中，其中所述平面参数信息包括法向量和偏移距离，并且在交叉平面空间中基于所述目标参数进行新视图渲染，以合成新视图包括：根据不同类别的图像实例在由所述法向量和所述偏移距离形成的所述交叉平面空间的深度确定新渲染顺序图片；以及基于所述新渲染顺序图片的深度计算渲染颜色，以合成所述新视图。

9、在又一个实施例中，其中根据不同类别的图像实例在由所述法向量和所述偏移距离形成的所述交叉平面空间的深度确定新渲染顺序图片包括：根据不同类别的图像实例中的像素点在由所述法向量和所述偏移距离形成的所述交叉平面空间的深度确定像素渲染顺序；以及基于所述像素渲染顺序重新排列像素点，以获得所述新渲染顺序图片。

10、在又一个实施例中，其中通过计算不同类别的图像实例中的像素点在由所述法向量和所述偏移距离形成的所述交叉平面空间的深度，其中表示所述法向量，表示所述偏移距离，表示相机内部参数，表示不同类别的图像实例中的像素点的二维坐标位置。

11、在又一个实施例中，其中基于所述新渲染顺序图片的深度计算渲染颜色包括：通过计算所述渲染颜色，其中，表示交叉平面，表示标准平面，表示所述新渲染顺序图片的深度，表示透明图，表示累计透射率。

12、在又一个实施例中，所述方法还包括：将渲染后的视图由所述交叉平面空间变换至标准平面空间，以合成最终的新视图。

13、在又一个实施例中，其中将渲染后的视图由所述交叉平面空间变换至标准平面空间，以合成最终的新视图包括：通过将渲染后的视图由所述交叉平面空间变换至标准平面空间，以合成最终的新视图，其中表示渲染后的视图，表示最终的新视图，表示所述法向量，表示所述偏移距离，表示相机内部参数，r和t表示经由变换矩阵处理的旋转和平移参数。

14、在又一个实施例中，所述方法还包括：将多个场景下的原始图作为训练集输入至所述神经网络模型，并计算与所述颜色和所述图像实例相关的掩码损失和交叉熵损失；以及根据所述掩码损失和所述交叉熵损失形成的总损失函数训练所述神经网络模型。

15、在第二方面中，本技术提供一种基于神经渲染的新视图合成的设备，包括：处理器；以及存储器，其中存储有基于神经渲染的新视图合成的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现前述第一方面中的多个实施例。

16、在第三方面中，本技术提供一种计算机可读存储介质，其上存储有基于神经渲染的新视图合成的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第一方面中的多个实施例。

17、通过如上所提供的基于神经渲染的新视图合成的方案，本技术实施例通过由特征提取模块、像素解码模块和transformer解码模块形成的复杂神经网络模型对原视图执行图像特征提取操作和对图像特征执行像素解码操作和参数解码，并将像素特征嵌入参数解码结果中获得与合成新视图相关的目标参数，进而在交叉平面空间中基于目标参数进行新视图渲染，以合成新视图。基于此，本技术实施例通过使用复杂神经网络模型，不仅可以便于输入普遍参数，使得本技术实施例可以适用于通用场景，还可以提高神经网络模型提取目标参数的精准度。基于提取的目标参数，在交叉平面空间下进行新视图合成，可以提高深度图的精度，避免产生倾斜表面的离散化伪影和重复纹理的冗余图层等问题，从而获得更加逼真的、高质量的新视图。进一步地，本技术实施例的神经网络模型包含transformer解码模块，可以并行产生所有目标参数，从而大幅度提高计算速度。此外，本技术实施例还通过引入残差网络，以避免深神经网络模型中的梯度消失，确保神经网络模型的稳定性。