使用混合精度卷积神经网络的时域摊销的超采样的制作方法

本公开总体上关于经由神经网络操作的图形消锯齿(anti-aliasing)，该神经网络操作经由图形处理单元的矩阵加速器来执行。

背景技术：

1、时域消锯齿(temporal anti-aliasing，taa)是在其中渲染器逐帧地抖动相机以对屏幕空间中的不同坐标采样的消锯齿技术。taa阶段在时域上累积这些样本以产生超采样图像。在累积之前，先前累积的帧使用渲染器生成的速度/运动向量来扭曲以将其与当前帧对齐。虽然taa是用于生成时域稳定的消锯齿图像的广泛使用的技术，但是由于可见性方面的帧到帧变化以及运动向量中的遮蔽或误差，扭曲的样本历史可能失配于当前像素。这通常会导致移动对象边界周围的重影伪像。

技术实现思路

技术特征：

1.一种图形处理器，包括：

2.如权利要求1所述的图形处理器，其中，生成所述经预处理的数据包括：

3.如权利要求2所述的图形处理器，其中，所述通道维度包括深度通道或多个特征图通道。

4.如权利要求3所述的图形处理器，其中，经由所述输出块生成输出帧包括经由所述输出块的一个或多个卷积层来生成所述输出帧。

5.如权利要求2-3中的任一项所述的图形处理器，其中，经由所述输出块生成输出帧包括：预测逐像素的核值和混合权重的集合；经由所述逐像素的核值来过滤所述当前帧数据；以及将所述经对齐的历史数据与经过滤的当前帧数据混合。

6.如权利要求4或5所述的图形处理器，其中，所述电路被配置成用于：在所述当前帧数据被提供至所述神经网络模型的所述输入块之前，将所述栅格化和照明阶段的所述输出从第一分辨率放大至高于所述第一分辨率的第二分辨率。

7.如权利要求4或5所述的图形处理器，其中，生成所述经预处理的数据包括将所述栅格化和照明阶段的所述输出从第一分辨率放大至高于所述第一分辨率的第二分辨率。

8.如权利要求6或7所述的图形处理器，其中，生成所述经预处理的数据附加地包括对经混洗的经对齐的历史数据和当前帧数据应用卷积和激活函数。

9.一种方法，包括：

10.如权利要求9所述的方法，其中，生成所述经预处理的数据包括：

11.如权利要求10所述的方法，其中，所述通道维度包括深度通道或多个特征图通道，并且生成经预处理的数据附加地包括对经混洗的经对齐的历史数据和当前帧数据应用卷积和激活函数。

12.如权利要求10或11中的任一项所述的方法，其中，经由所述输出块生成输出帧包括经由所述输出块的一个或多个卷积层来生成所述输出帧。

13.如权利要求10-12中的任一项所述的方法，其中，经由所述输出块生成输出帧包括：预测逐像素的核值和混合权重的集合；经由所述逐像素的核值来过滤所述当前帧数据；以及将所述经对齐的历史数据与经过滤的当前帧数据混合。

14.如权利要求13所述的方法，进一步包括：在所述当前帧数据被提供至所述神经网络模型的所述输入块之前，将所述栅格化和照明阶段的所述输出从第一分辨率放大至高于所述第一分辨率的第二分辨率。

15.如权利要求12或14所述的方法，其中，生成所述经预处理的数据包括将所述栅格化和照明阶段的所述输出从第一分辨率放大至高于所述第一分辨率的第二分辨率。

16.一种非暂态机器可读介质，所述非暂态机器可读介质存储指令，所述指令用于使一个或多个处理器执行如权利要求9-15中的任一项所述的方法。

17.一种或多种非暂态机器可读介质，所述非暂态机器可读介质存储指令，所述指令当由一个或多个机器读取时，使得所述一个或多个机器制造一个或多个集成电路以执行如权利要求9-15中的任一项所述的方法。

18.一种数据处理系统，包括：

19.如权利要求18所述的数据处理系统，其中，生成所述经预处理的数据包括：

20.如权利要求19所述的数据处理系统，其中，所述通道维度包括深度通道或多个特征图通道。

21.如权利要求20中的任一项所述的数据处理系统，其中，经由所述输出块生成所述输出帧包括经由所述输出块的一个或多个卷积层来生成所述输出帧。

22.如权利要求19-21中的任一项所述的数据处理系统，其中，经由所述输出块生成所述输出帧包括：预测逐像素的核值和混合权重的集合；经由所述逐像素的核值来过滤所述当前帧数据；以及将所述经对齐的历史数据与经过滤的当前帧数据混合。

23.如权利要求21或22所述的数据处理系统，其中，所述电路被配置成用于：在所述当前帧数据被提供至所述神经网络模型的所述输入块之前，将所述栅格化和照明阶段的所述输出从第一分辨率放大至高于所述第一分辨率的第二分辨率。

24.如权利要求21或22所述的数据处理系统，其中，生成所述经预处理的数据包括将所述栅格化和照明阶段的所述输出从第一分辨率放大至高于所述第一分辨率的第二分辨率。

技术总结
一个实施例提供了一种图形处理器，该图形处理器包括处理资源的集合，该处理资源的集合被配置成用于经由混合精度卷积神经网络来执行超采样操作，该处理资源的集合包括电路，该电路被配置成用于：在神经网络模型的输入块处接收历史数据、速度数据和当前帧数据；对历史数据、速度数据和当前帧数据进行预处理，以生成经预处理的数据；将经预处理的数据提供至神经网络模型的特征提取网络；在特征提取网络处经由一个或多个编码器阶段和一个或多个解码器阶段处理经预处理的数据；以及经由直接重构或核预测、经由神经网络模型的输出块来生成输出图像。

技术研发人员：S·金,K·瓦德亚纳坦,G·利克托尔,M·M·托马斯
受保护的技术使用者：英特尔公司
技术研发日：
技术公布日：2024/4/17