图像渲染方法及相关装置与流程

本技术涉及图像处理，特别涉及一种图像渲染方法及相关装置。

背景技术：

1、图像渲染是指将设计好的三维模型或者三维场景输入至渲染引擎，通过渲染引擎输出二维图像的过程。图像渲染在影视制作和虚拟场景展示等领域都具有广泛的应用。例如，影视制作中的3d动画和特效并非真实拍摄，而是通过图像渲染得到的。随着三维模型或者三维场景的复杂化以及精细化，为了保证通过图像渲染得到的图像更清晰、更流畅，需要花费大量的时间进行图像渲染，导致图像渲染的效率逐渐降低。因此，如何提高图像的渲染效率成为目前亟待解决的问题。

技术实现思路

1、本技术提供了一种图像渲染方法及相关装置，可以提高图像渲染效率。所述技术方案如下：

2、第一方面，提供了一种图像渲染方法。在该方法中，获取目标非关键帧的初始图像、第一关键帧的渲染图像和第二关键帧的渲染图像，第一关键帧位于目标非关键帧之前，第二关键帧位于目标非关键帧之后，初始图像和渲染图像均是通过渲染得到的，且初始图像的质量低于渲染图像的质量，基于目标非关键帧的初始图像、第一关键帧的渲染图像和第二关键帧的渲染图像，确定第一相关性和第二相关性，第一相关性为目标非关键帧与第一关键帧之间的时域相关性，第二相关性为目标非关键帧与第二关键帧之间的时域相关性。在第一相关性和第二相关性均大于相关性阈值的情况下，基于目标非关键帧的初始图像、第一关键帧的渲染图像和第二关键帧的渲染图像，确定目标非关键帧的渲染图像，目标非关键帧的渲染图像的质量高于目标非关键帧的初始图像的质量。

3、可选地，获取目标非关键帧的初始图像、第一关键帧的渲染图像和第二关键帧的渲染图像之前，还需要对非关键帧的数据和关键帧的数据分别进行渲染，以得到非关键帧的初始图像和关键帧的渲染图像。也即是，将待渲染的多个帧划分为关键帧和非关键帧，以得到至少两个关键帧和至少一个非关键帧，其中，一个非关键帧位于两个关键帧之间。采用第一渲染参数分别对至少一个非关键帧的数据进行渲染，以得到至少一个非关键帧的初始图像。采用第二渲染参数分别对至少两个关键帧的数据进行渲染，以得到至少两个关键帧的渲染图像，其中，该至少一个非关键帧包括目标非关键帧，该至少两个关键帧包括第一关键帧和第二关键帧。

4、需要说明的是，采用第一渲染参数分别对该至少一个非关键帧的数据进行渲染，以得到该至少一个非关键帧的初始图像所花费的时间较短。采用第二渲染参数分别对该至少两个关键帧的数据进行渲染，以得到该至少两个关键帧的渲染图像所花费的时间较长。所以，采用第一渲染参数对非关键帧的数据进行渲染，得到的非关键帧的初始图像的质量低于采用第二渲染参数对关键帧的数据进行渲染，得到的关键帧的渲染图像的质量。也即是，对非关键帧进行短时间渲染，对关键帧进行长时间渲染，并不是对所有帧均进行长时间渲染，能够提高图像的渲染效率。此外，为了保证图像的渲染质量，还需要按照本技术实施例提供的方法确定非关键帧的渲染图像。

5、可选地，上述所提及的第一渲染参数和第二渲染参数均包括一个或多个渲染参数。其中，渲染参数包括每像素采样数和分辨率，每像素采样数越大，渲染得到的图像的质量越高；分辨率越大，渲染得到的图像的质量也越高。当前，在实际应用中，渲染参数还能够包括其他的参数，本技术实施例对此不做限定。

6、由于第一相关性的确定过程与第二相关性的确定过程相似，因此，接下来以第一相关性为例进行介绍，第二相似性的确定过程可以参考第一相似性的确定过程。

7、在一些实施例中，目标非关键帧的初始图像和第一关键帧的渲染图像均包括多个像素点，该多个像素点中的每个像素点均对应一个位置坐标。此时，确定第一相关性的实现过程包括：确定初始图像包括的多个像素点和渲染图像包括的多个像素点中相同的像素点，以得到多个像素点对，每个像素点对均包括来自初始图像的一个像素点，以及来自渲染图像的一个像素点。对于该多个像素点对中的任一个像素点对，将该像素点对包括的两个像素点分别对应的位置坐标相减，以得到该像素点对对应的位置偏差。这样，对于该多个像素点对中的每一个像素点对，均能够按照上述步骤确定出其对应的位置偏差，从而得到多个位置偏差。然后，将该多个位置偏差取平均以得到平均位置偏差，将平均位置偏差的倒数确定为第一相关性。

8、其中，位置偏差是指上述所提及的光流信息。或者，位置偏差是指上述所提及的运动向量。

9、在另一些实施例中，目标非关键帧的初始图像和第一关键帧的渲染图像均包括多个像素点，该多个像素点中的每个像素点均对应一个像素值。此时，确定第一相关性的实现过程包括：按照相关技术将渲染图像对齐至初始图像以得到参考图像，确定初始图像中像素点的像素值与参考图像中像素点的像素值之间的均方误差，将均方误差的倒数确定为第一相关性。

10、当然，在实际应用中，还能够按照其他的方式确定第一相关性和第二相关性，本技术实施例对确定第一相关性和第二相关性的方式不做限定。

11、由于第一相关性与相关性阈值之间的关系用于表征目标非关键帧与第一关键帧之间的相关程度，如果第一相关性大于相关性阈值，则表明目标非关键帧与第一关键帧的相关程度较高。同理，第二相关性与相关性阈值之间的关系用于表征目标非关键帧与第二关键帧之间的相关程度，如果第二相关性大于相关性阈值，则表明目标非关键帧与第二关键帧的相关程度也较高。此时，能够基于目标非关键帧的初始图像、第一关键帧的渲染图像和第二关键帧的渲染图像，确定目标非关键帧的渲染图像，以此来提高目标非关键帧的图像质量。

12、其中，相关性阈值是事先设置的。例如，相关性阈值为60％。而且，相关性阈值还能够按照不同的需求来调整。

13、初始图像和渲染图像均包括多个图层，该多个图层中的每个图层具有多个通道的数据。此时，将目标非关键帧的初始图像、第一关键帧的渲染图像和第二关键帧的渲染图像作为神经网络模型的输入，得到神经网络模型输出的目标非关键帧的渲染图像。

14、其中，神经网络模型是基于样本数据集对待训练的神经网络模型训练得到的。样本数据集包括多组样本数据，该多组样本数据中的每组样本数据均包括样本非关键帧的初始图像、位于该样本非关键帧之前的第一样本关键帧的渲染图像、位于该样本非关键帧之后的第二样本关键帧的渲染图像，以及该样本非关键帧的渲染图像。

15、示例地，将目标非关键帧的初始图像、第一关键帧的渲染图像和第二关键帧的渲染图像作为神经网络模型的输入，得到神经网络模型输出的目标非关键帧的渲染图像的实现过程包括下述步骤(1)-(3)。

16、(1)将第一关键帧的渲染图像包括的多个图层和第二关键帧的渲染图像包括的多个图层分别对齐至目标非关键帧，以得到多个第一图层和多个第二图层。

17、由于将第一关键帧的渲染图像包括的多个图层对齐至目标非关键帧的过程与将第二关键帧的渲染图像包括的多个图层对齐至目标非关键帧的过程相似，因此，接下来以将第一关键帧的渲染图像包括的多个图层对齐至目标非关键帧为例进行介绍。

18、从第一关键帧的渲染图像包括的多个图层中选择一个图层作为目标图层，获取目标图层包括的多个像素点中各个像素点的位置坐标，获取目标非关键帧的初始图像包括的多个图层中与目标图层对应的参考图层包括的多个像素点中各个像素点的位置坐标。基于目标图层中各个像素点的位置坐标，以及参考图层中各个像素点的位置坐标，按照相关技术确定目标图层与参考图层中相同像素点之间的位置偏差，以得到多个位置偏差。然后，基于该多个位置偏差，按照相关技术将目标图层对齐至参考图层，以得到目标图层对应的第一图层。这样，对于第一关键帧的渲染图像包括的多个图层中的每一个图层，均能够按照上述步骤确定出其对应的第一图层，从而得到多个第一图层。

19、可选地，神经网络模型包括帧对齐模块，通过帧对齐模块将第一关键帧的渲染图像包括的多个图层和第二关键帧的渲染图像包括的多个图层分别对齐至目标非关键帧，以得到多个第一图层和多个第二图层。

20、(2)将目标非关键帧的初始图像包括的多个图层、该多个第一图层和该多个第二图层，按照通道进行融合，以得到融合图层。

21、基于上文描述，每个图层均具有多个通道的数据，且每个图层具有的多个通道是相同的。因此，按照上述步骤得到初始图像包括的多个图层、该多个第一图层和该多个第二图层之后，能够将初始图像包括的多个图层、该多个第一图层和该多个第二图层中属于同一通道的数据置于同一个数据集中，以得到融合图层。

22、可选地，神经网络模型还包括图层融合模块，通过图层融合模块将目标非关键帧的初始图像包括的多个图层、该多个第一图层和该多个第二图层，按照通道进行融合，以得到融合图层。

23、(3)基于该融合图层，确定目标非关键帧的渲染图像。

24、可选地，神经网络模型还包括图像重构模块，基于该融合图层，通过图像重构模块确定目标非关键帧的渲染图像。其中，图像重构模块的结构为卷积网络结构，又或者图像重构模块的结构为视觉转变(vision transformer，vit)网络结构，本技术实施例对图像重构模块的结构不做限定。

25、也即是，本技术实施例提供的方法在目标非关键帧与第一关键帧和第二关键帧的相关程度均较高的情况下，通过双向融合的方式同时基于第一关键帧的渲染图像和第二关键帧的渲染图像，确定目标非关键帧的渲染图像。而且，由于目标非关键帧的初始图像最接近目标非关键帧的渲染图像，所以，在确定目标非关键帧的渲染图像时，通过参考目标非关键帧的初始图像，能够进一步提高目标非关键帧的渲染图像的质量。

26、当然，在实际应用中，也可能存在第一相关性和第二相关性中的至少一个不大于相关性阈值的情况。基于上文描述，由于第一相关性与相关性阈值之间的关系用于表征目标非关键帧与第一关键帧之间的相关程度，第二相关性与相关性阈值之间的关系用于表征目标非关键帧与第二关键帧之间的相关程度。如果第一相关性和第二相关性中的至少一个不大于相关性阈值，则表明目标非关键帧与第一关键帧和第二关键帧中的至少一个关键帧的相关程度较低。此时，采用第二渲染参数对目标非关键帧的数据进行渲染，以得到目标非关键帧的渲染图像，目标非关键帧的渲染图像的质量高于目标非关键帧的初始图像的质量。也即是，在目标非关键帧与第一关键帧和第二关键帧中的至少一个关键帧的相关程度较低的情况下，直接采用第二渲染参数对目标非关键帧的数据进行渲染，以此来提高目标非关键帧的图像质量。

27、本技术实施例提供的方法是先判断目标非关键帧与关键帧之间的相关程度，在目标非关键帧与关键帧之间的相关程度不同的情况下，按照不同的方式确定目标非关键帧的渲染图像，并不是直接通过双向融合的方式确定目标非关键帧的渲染图像。这样，在目标非关键帧与关键帧之间的相关程度较低的情况下，按照本技术实施例提供的方法确定出的目标非关键帧的渲染图像同样精确。也即是，由于本技术实施例提供的方法，在目标非关键帧与关键帧之间的相关程度不同的情况下，对应不同的方式去确定目标非关键帧的渲染图像，所以，本技术实施例提供的方法能够应用于所有的场景。

28、第二方面，提供了一种图像渲染装置，所述图像渲染装置具有实现上述第一方面中图像渲染方法行为的功能。所述图像渲染装置包括至少一个模块，该至少一个模块用于实现上述第一方面所提供的图像渲染方法。

29、第三方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储执行上述第一方面所提供的图像渲染方法的计算机程序。所述处理器被配置为用于执行所述存储器中存储的计算机程序，以实现上述第一方面所述的图像渲染方法。

30、可选地，所述计算机设备还可以包括通信总线，该通信总线用于该处理器与存储器之间建立连接。

31、第四方面，提供了一种计算机可读存储介质，所述存储介质内存储有指令，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的图像渲染方法的步骤。

32、第五方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的图像渲染方法的步骤。或者说，提供了一种计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行上述第一方面所述的图像渲染方法的步骤。

33、上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。