图形处理器、图形处理系统及方法、装置与存储介质与流程

本技术涉及计算机，尤其涉及一种图形处理器、图形处理系统及方法、装置与存储介质。

背景技术：

1、目前，游戏、电影特效等场景都可以通过图形处理器gpu的渲染进行显示，而随着游戏、电影特效等场景的复杂度、分辨率、帧率等不断提升，gpu的图形渲染负载越来越高。为了降低图形处理器的渲染负载同时还能满足高画质的图形渲染需求，相关技术中可以使用gpu先渲染出低分辨率图像，再结合深度神经网络生成高分辨率图像，该方式中会先将已生成的历史高分辨图像与运动矢量(motion vector，mv)进行对齐得到对齐图像，再利用深度神经网络对低分辨率图像以及该对齐图像进行处理得到高分辨图像。

2、但由于游戏、动画等场景中存在大量相互遮挡的情况，通过运动矢量所得到的对齐图像中会存在孔洞区域，孔洞区域的像素值可能是空的也可能是错误的，这使得深度神经网络需要更多的算力资源来隐式处理上述对齐图像中的孔洞区域，同时还可能影响深度神经网络生成图像的画面质量。

技术实现思路

1、有鉴于此，提出了一种图形处理器、图形处理系统及方法、装置与存储介质。

2、第一方面，本技术的实施例提供了一种图形处理器，包括：图形渲染单元，用于获取待渲染场景的场景数据，并基于所述场景数据生成当前渲染图像以及当前渲染信息，所述当前渲染信息包括：已生成的历史渲染图像到所述当前渲染图像的第一运动矢量图以及当前深度图；对齐处理单元，用于将所述历史渲染图像与所述第一运动矢量图进行对齐处理，得到历史对齐图像；孔洞提取单元，用于根据所述第一运动矢量图、所述当前深度图以及所述历史渲染图像对应的历史深度图，生成第一孔洞图，所述第一孔洞图用于指示所述历史对齐图像中的孔洞区域；图像融合单元，用于根据所述当前渲染图像、所述历史对齐图像以及所述第一孔洞图，生成画质增强的当前渲染图像。

3、根据本技术实施例，通过孔洞提取单元获取用于指示历史对齐图像中孔洞区域的第一孔洞图，再利用图像融合单元根据第一孔洞图、当前渲染图以及历史对齐图像，获得画质增强的当前渲染图像，其中，第一孔洞图将作为图像融合单元的指引，显性指示出历史对齐图像中的孔洞区域，使图形处理器能够在更低的算力需求下高效地生成更高画质的当前渲染图像，同时降低历史对齐图像中由于遮挡等原因造成的孔洞现象对图像质量的影响。

4、根据第一方面，在所述图形处理器的第一种可能的实现方式中，所述根据所述第一运动矢量图、所述当前深度图以及所述历史渲染图像对应的历史深度图，生成第一孔洞图，包括：将所述历史深度图与所述第一运动矢量图进行对齐处理，得到历史对齐深度图；根据所述历史对齐深度图与所述当前深度图，确定所述第一孔洞图。

5、根据本技术实施例，可以高效地得到用于指示历史对齐图像中的孔洞区域的第一孔洞图。

6、根据第一方面的第一种可能的实现方式，所述根据所述历史对齐深度图与所述当前深度图，确定所述第一孔洞图，包括：根据所述历史对齐深度图与所述当前深度图之间的差值，或所述差值与所述当前深度图之间的比值，确定深度差分图；根据所述深度差分图中各个差分值与预设阈值之间的大小关系，确定所述第一孔洞图。

7、根据本技术实施例，可以便捷地得到用于指示历史对齐图像中的孔洞区域的第一孔洞图。

8、根据第一方面，在所述图形处理器的第二种可能的实现方式中，所述根据所述第一运动矢量图、所述当前深度图以及所述历史渲染图像对应的历史深度图，生成第一孔洞图，包括：利用神经网络对所述第一运动矢量图、所述当前深度图以及所述历史深度图进行处理，得到所述第一孔洞图；或者，所述根据所述历史对齐深度图与所述当前深度图，确定所述第一孔洞图，包括：利用神经网络对所述历史对齐深度图与所述当前深度图进行处理，得到所述第一孔洞图。

9、根据本技术实施例，可以利用神经网络更精准地确定出历史对齐图像中的孔洞区域，也即生成更精准的第一孔洞图。

10、根据第一方面，在所述图形处理器的第三种可能的实现方式中，所述根据所述当前渲染图像、所述历史对齐图像以及所述第一孔洞图，生成画质增强的当前渲染图像，包括：利用神经网络对所述当前渲染图像、所述历史对齐图像以及所述第一孔洞图进行融合处理，得到画质增强的当前渲染图像。

11、根据本技术实施例，可以利用神经网络更精准且高效地输出画质增强的当前渲染图像。

12、根据第一方面，在所述图形处理器的第四种可能的实现方式中，所述对齐处理单元，还用于根据所述历史渲染图像与所述当前渲染图像之间的指定插帧时刻以及所述第一运动矢量图，确定所述历史渲染图像映射至所述指定插帧时刻的第一对齐图像以及所述当前渲染图像映射至所述指定插值时刻的第二对齐图像；所述孔洞提取单元，还用于根据所述第一运动矢量图、所述指定插帧时刻、所述当前深度图以及所述历史深度图，生成第二孔洞图，所述第二孔洞图用于指示所述第一对齐图像与所述第二对齐图像中的孔洞区域；所述图像融合单元，还用于根据所述第一对齐图像、所述第二对齐图像以及所述第二孔洞图，生成所述指定插帧时刻对应的内插帧图像。

13、根据本技术实施例，通过对齐处理单元获取历史渲染图像映射至指定插帧时刻的第一对齐图像以及当前渲染图像映射至指定插帧时刻的第二对齐图像，再通过孔洞提取单元获取用于指示第一对齐图像与第二对齐图像中孔洞区域的第二孔洞图，进而通过图像融合单元根据第二孔洞图、第一对齐图像与第二对齐图像，获得画质更强的内插帧图像，其中，第二孔洞图将作为图像融合单元的指引，显性指示出第一对齐图像与第二对齐图像中的孔洞区域，从而降低第一对齐图像和第二对齐图像中孔洞现象对图像质量的影响，使图形处理器能够在更低的算力需求下高效地生成画质更高的内插帧图像。

14、根据第一方面的第四种可能的实现方式，所述根据所述第一运动矢量图、所述指定插帧时刻、所述当前深度图以及所述历史深度图，生成第二孔洞图，包括：根据所述第一运动矢量图以及所述指定插帧时刻，确定从所述历史深度图到所述指定插帧时刻的前向运动矢量图以及从所述当前深度图到所述指定插帧时刻的后向运动矢量图；根据所述前向运动矢量图，确定所述历史深度图映射至所述指定插帧时刻的第一对齐深度图，以及根据所述后向运动矢量图，确定所述当前深度图映射至所述指定插帧时刻的第二对齐深度图；根据所述第一对齐深度图与所述第二对齐深度图，确定所述第二孔洞图。

15、根据本技术实施例，可以高效地得到用于指示第一对齐图像与第二对齐图像中的孔洞区域的第二孔洞图。

16、根据第一方面，在所述图形处理器的第五种可能的实现方式中，所述图形处理器还包括：运动矢量估计单元，用于估计所述当前渲染图像到指定未来时刻的第二运动矢量图；其中，所述对齐处理单元，还用于根据所述第二运动矢量图，确定所述当前渲染图像映射至所述指定未来时刻的第三对齐图像；所述孔洞提取单元，还用于根据所述第二运动矢量图以及所述当前深度图，生成第三孔洞图，所述第三孔洞图用于指示所述第三对齐图像中的孔洞区域；所述图像融合单元，还用于根据所述第三对齐图像以及所述第三孔洞图，生成所述指定未来时刻对应的外插帧图像。

17、根据本技术实施例，通过在图形处理器中增加运动矢量估计单元来估计当前渲染图像到指定未来时刻的第二运动矢量图，可以满足外插帧需求，尤其是，通过对齐处理单元获取当前渲染图像映射至指定未来时刻的第三对齐图像，再通过孔洞提取单元获取用于指示第三对齐图像中孔洞区域的第三孔洞图，进而通过图像融合单元根据第三孔洞图与第三对齐图像，能够获得画质更强的外插帧图像，其中，第三孔洞图将作为图像融合单元的指引，显性指示出第三对齐图像中的孔洞区域，从而降低第三对齐图像中孔洞现象对图像质量的影响，使图形处理器能够在更低的算力需求下高效地生成更高画质的外插帧图像。

18、第二方面，本技术的实施例提供了一种图形处理系统，包括：图形处理器，被配置为执行：获取待渲染场景的场景数据，并基于所述场景数据生成当前渲染图像以及当前渲染信息，所述当前渲染信息包括：已生成的历史渲染图像到所述当前渲染图像的第一运动矢量图以及当前深度图；将所述历史渲染图像与所述第一运动矢量图进行对齐处理，得到历史对齐图像；根据所述第一运动矢量图、所述当前深度图以及所述历史渲染图像对应的历史深度图，生成第一孔洞图，所述第一孔洞图用于指示所述历史对齐图像中的孔洞区域；神经网络处理器，被配置为执行:根据所述当前渲染图像、所述历史对齐图像以及所述第一孔洞图，生成画质增强的当前渲染图像。

19、根据本技术实施例，可以利用神经网络处理器实现上述当前渲染图像的画质增强过程中的部分计算，从而可以减轻图形处理器的负载，也即降低上述的画质增强过程中对图形处理器的算力需求，从而使整个图形处理系统更加高效地生成画质增强的当前渲染图像。

20、根据第二方面，在所述图形处理系统的第一种可能的实现方式中，所述根据所述第一运动矢量图、所述当前深度图以及所述历史渲染图像对应的历史深度图，生成第一孔洞图，包括：将所述历史深度图与所述第一运动矢量图进行对齐处理，得到历史对齐深度图；根据所述历史对齐深度图与所述当前深度图，确定所述第一孔洞图。

21、根据第二方面的第一种可能的实现方式，所述根据所述历史对齐深度图与所述当前深度图，确定所述第一孔洞图，包括：根据所述历史对齐深度图与所述当前深度图之间的差值，或所述差值与所述当前深度图之间的比值，确定深度差分图；根据所述深度差分图中各个差分值与预设阈值之间的大小关系，确定所述第一孔洞图。

22、根据第二方面，在所述图形处理系统的第二种可能的实现方式中，所述根据所述第一运动矢量图、所述当前深度图以及所述历史渲染图像对应的历史深度图，生成第一孔洞图，包括：利用神经网络对所述第一运动矢量图、所述当前深度图以及所述历史深度图进行处理，得到所述第一孔洞图；或者，所述根据所述历史对齐深度图与所述当前深度图，确定所述第一孔洞图，包括：利用神经网络对所述历史对齐深度图与所述当前深度图进行处理，得到所述第一孔洞图。

23、根据第二方面，在所述图形处理系统的第三种可能的实现方式中，所述根据所述当前渲染图像、所述历史对齐图像以及所述第一孔洞图，生成画质增强的当前渲染图像，包括：利用神经网络对所述当前渲染图像、所述历史对齐图像以及所述第一孔洞图进行融合处理，得到画质增强的当前渲染图像。

24、根据第二方面，在所述图形处理系统的第四种可能的实现方式中，所述图形处理器还被配置为执行：根据所述历史渲染图像与所述当前渲染图像之间的指定插帧时刻以及所述第一运动矢量图，确定所述历史渲染图像映射至所述指定插帧时刻的第一对齐图像以及所述当前渲染图像映射至所述指定插值时刻的第二对齐图像；根据所述第一运动矢量图、所述指定插帧时刻、所述当前深度图以及所述历史深度图，生成第二孔洞图，所述第二孔洞图用于指示所述第一对齐图像与所述第二对齐图像中的孔洞区域；所述神经网络处理器还被配置为执行：根据所述第一对齐图像、所述第二对齐图像以及所述第二孔洞图，生成所述指定插帧时刻对应的内插帧图像。

25、根据第二方面的第四种可能的实现方式，所述根据所述第一运动矢量图、所述指定插帧时刻、所述当前深度图以及所述历史深度图，生成第二孔洞图，包括：根据所述第一运动矢量图以及所述指定插帧时刻，确定从所述历史深度图到所述指定插帧时刻的前向运动矢量图以及从所述当前深度图到所述指定插帧时刻的后向运动矢量图；根据所述前向运动矢量图，确定所述历史深度图映射至所述指定插帧时刻的第一对齐深度图，以及根据所述后向运动矢量图，确定所述当前深度图映射至所述指定插帧时刻的第二对齐深度图；根据所述第一对齐深度图与所述第二对齐深度图，确定所述第二孔洞图。

26、根据第二方面，在所述图形处理系统的第五种可能的实现方式中，所述图形处理器还被配置为执行：估计所述当前渲染图像到指定未来时刻的第二运动矢量图；根据所述第二运动矢量图，确定所述当前渲染图像映射至所述指定未来时刻的第三对齐图像；根据所述第二运动矢量图以及所述当前深度图，生成第三孔洞图，所述第三孔洞图用于指示所述第三对齐图像中的孔洞区域；所述神经网络处理器还被配置为执行：根据所述第三对齐图像以及所述第三孔洞图，生成所述指定未来时刻对应的外插帧图像。

27、第三方面，本技术的实施例提供了一种图形处理方法，包括：获取待渲染场景的场景数据，并基于所述场景数据生成当前渲染图像以及当前渲染信息，所述当前渲染信息包括：已生成的历史渲染图像到所述当前渲染图像的第一运动矢量图以及当前深度图；将所述历史渲染图像与所述第一运动矢量图进行对齐处理，得到历史对齐图像；根据所述第一运动矢量图、所述当前深度图以及所述历史渲染图像对应的历史深度图，生成第一孔洞图，所述第一孔洞图用于指示所述历史对齐图像中的孔洞区域；根据所述当前渲染图像、所述历史对齐图像以及所述第一孔洞图，生成画质增强的当前渲染图像。

28、根据第三方面，在所述图形处理方法的第一种可能的实现方式中，所述根据所述第一运动矢量图、所述当前深度图以及所述历史渲染图像对应的历史深度图，生成第一孔洞图，包括：将所述历史深度图与所述第一运动矢量图进行对齐处理，得到历史对齐深度图；根据所述历史对齐深度图与所述当前深度图，确定所述第一孔洞图。

29、根据第三方面的第一种可能的实现方式，所述根据所述历史对齐深度图与所述当前深度图，确定所述第一孔洞图，包括：根据所述历史对齐深度图与所述当前深度图之间的差值，或所述差值与所述当前深度图之间的比值，确定深度差分图；根据所述深度差分图中各个差分值与预设阈值之间的大小关系，确定所述第一孔洞图。

30、根据第三方面，在所述图形处理方法的第二种可能的实现方式中，所述根据所述第一运动矢量图、所述当前深度图以及所述历史渲染图像对应的历史深度图，生成第一孔洞图，包括：利用神经网络对所述第一运动矢量图、所述当前深度图以及所述历史深度图进行处理，得到所述第一孔洞图；或者，所述根据所述历史对齐深度图与所述当前深度图，确定所述第一孔洞图，包括：利用神经网络对所述历史对齐深度图与所述当前深度图进行处理，得到所述第一孔洞图。

31、根据第三方面，在所述图形处理方法的第三种可能的实现方式中，所述根据所述当前渲染图像、所述历史对齐图像以及所述第一孔洞图，生成画质增强的当前渲染图像，包括：利用神经网络对所述当前渲染图像、所述历史对齐图像以及所述第一孔洞图进行融合处理，得到画质增强的当前渲染图像。

32、根据第三方面，在所述图形处理方法的第四种可能的实现方式中，所述图形处理器还被配置为执行：根据所述历史渲染图像与所述当前渲染图像之间的指定插帧时刻以及所述第一运动矢量图，确定所述历史渲染图像映射至所述指定插帧时刻的第一对齐图像以及所述当前渲染图像映射至所述指定插值时刻的第二对齐图像；根据所述第一运动矢量图、所述指定插帧时刻、所述当前深度图以及所述历史深度图，生成第二孔洞图，所述第二孔洞图用于指示所述第一对齐图像与所述第二对齐图像中的孔洞区域；所述神经网络处理器还被配置为执行：根据所述第一对齐图像、所述第二对齐图像以及所述第二孔洞图，生成所述指定插帧时刻对应的内插帧图像。

33、根据第三方面的第四种可能的实现方式，所述根据所述第一运动矢量图、所述指定插帧时刻、所述当前深度图以及所述历史深度图，生成第二孔洞图，包括：根据所述第一运动矢量图以及所述指定插帧时刻，确定从所述历史深度图到所述指定插帧时刻的前向运动矢量图以及从所述当前深度图到所述指定插帧时刻的后向运动矢量图；根据所述前向运动矢量图，确定所述历史深度图映射至所述指定插帧时刻的第一对齐深度图，以及根据所述后向运动矢量图，确定所述当前深度图映射至所述指定插帧时刻的第二对齐深度图；根据所述第一对齐深度图与所述第二对齐深度图，确定所述第二孔洞图。

34、根据第三方面，在所述图形处理方法的第五种可能的实现方式中，所述图形处理器还被配置为执行：估计所述当前渲染图像到指定未来时刻的第二运动矢量图；根据所述第二运动矢量图，确定所述当前渲染图像映射至所述指定未来时刻的第三对齐图像；根据所述第二运动矢量图以及所述当前深度图，生成第三孔洞图，所述第三孔洞图用于指示所述第三对齐图像中的孔洞区域；所述神经网络处理器还被配置为执行：根据所述第三对齐图像以及所述第三孔洞图，生成所述指定未来时刻对应的外插帧图像。

35、第四方面，本技术的实施例提供了一种图形处理装置，该装置包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令时实现上述第三方面或者第三方面的多种可能的实现方式中的一种或几种的图形处理方法。

36、第五方面，本技术的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述第三方面或者第三方面的多种可能的实现方式中的一种或几种的图形处理方法。

37、第六方面，本技术的实施例提供了一种终端设备，该终端设备可以执行上述第三方面或者第三方面的多种可能的实现方式中的一种或几种的图形处理方法。

38、第七方面，本技术的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第三方面或者第三方面的多种可能的实现方式中的一种或几种的图形处理方法。

39、本技术的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。