基于运动的自适应渲染的制作方法
【专利说明】基于运动的自适应這染
[0001] 本申请要求于2014年6月27日提交的62/018,221号美国临时专利申请、于 2014年6月27日提交的62/018, 228号美国临时专利申请、于2014年6月27日提交的 62/018, 254号美国临时专利申请、于2014年6月27日提交的62/018, 274号美国临时专利 申请、于2014年6月18日提交的14/743, 700号美国专利申请W及于2015年6月23日提 交的第10-2015-0089085号韩国专利申请的权益，所述每个专利申请的内容通过引用包含 于此。
技术领域
[0002] 本发明的实施例总体上设及执行图形处理的技术，在该技术中，在像素的块中擅 染的样本的数量减少。更具体地讲，本发明的实施例在于自动地分析各个显示屏幕图块 (像素的块）的运动和其它因素并W逐个图块为基础做出采样决定。
【背景技术】
[000引图1示出基于OpeiiGL饭3.0标准的图形流水线100的主要部分。一组示例性阶 段包括：顶点着色器操作阶段105、图元组合和光栅化阶段110、片元像素着色器操作阶段 115、帖缓冲器阶段120和纹理存储器125。流水线进行操作W接收顶点数据，对顶点进行着 色，对图元进行组合和光栅化，并对片元/像素执行着色操作。
[0004] 图形流水线100的一方面在于W相同的最小分辨率擅染图像的每个区域。具体 地，在传统图形流水线中，采样率（每个像素的样本的平均数量）通常为图像的每个像素至 少一个样本。 阳〇化]传统图形流水线的一方面在于浪费并需要比期望的像素着色操作更多的像素着 色操作。具体地讲，在图形流水线中不存在自动化W允许自动地做出策略选择来在图像的 局部区域中将采样率减小到低于每一像素一个样本（二次采样/解样）。在移动装置的情 景下，运意味着消耗高于期望的能量。
【发明内容】
[0006] 一种图形系统基于正被擅染的潜在对象相对于相机的参考帖的运动，自适应地擅 染帖的各个部分。在一个实施例中，自适应擅染至少部分基于在屏幕上擅染的对象在至少 两帖之间的速度。测量屏幕空间中（经由像素）的运动引入不同的运动源，所述不同的运 动源包括对象运动和相机运动。如果潜在的运动的速度在准静态限制W下，则可做出是否 重复使用来自先前帖的一部分像素的决定。在中速机制中使用全采样率。在至少一个更高 速机制中，做出是否选择减小的采样率的决定。可逐个图块为基础做出决定，其中，图 块是图像中的一组连续的像素，通常在具有正方形形状或矩形形状的块中。
[0007] 方法的一个实施例包括：W逐个图块为基础确定当前帖中的对象相对于先前帖的 速度。每个图块被分类到至少=个速度类别中的一个类别中，所述至少=个速度类别包括 准静态速度类别、中速类别和高速类别。至少部分基于与每个图块相关联的速度类别，针对 每个图块做出采样决定。所述采样决定包括：在当前帖中w每一像素至少一个样本的全分 辨率采样率对图块进行采样还是在当前帖中W更低的采样率对图块进行采样。随后擅染所 述图块。在一个实施例中，采样决定还基于图块是否被检测为包括颜色或深度的边缘的可 能性高。在一个实施例中，对于被分类到准静态速度类别中的图块，所述方法还包括：通过 将先前帖的至少一个像素的像素数据复制到图块，重复使用来自先前帖的像素数据。在一 个实施例中，对于分类在中间速度机制中的图块，每个像素被采样至少一次。在一个实施例 中，对于被分类到至少一个高速机制中的图块，对样本的数量小于与图块相关联的像素的 数量的采样模式进行选择，并执行插值W确定没有被采样的像素位置的颜色。
[0008] 图形系统的一个实施例包括图形处理器和图形流水线，图形流水线包括自适应采 样产生器和像素着色器。自适应采样产生器至少部分基于每个图块中的对象的像素的速 度，确定每个图块所需要的采样率，并基于需要的采样率选择采样模式。在一个实施例中， 自适应采样产生器基于各个图块中的对象的速度和各个图块是否包括边缘的组合，确定各 个图块的采样模式和采样率。在一个实施例中，图形系统包括：用于执行平流的平流单元， 其中，对于具有准静态速度限制W下的速度的图块，具有减小的采样率的采样模式被选择， 平流单元通过经由平流复用来自先前帖的像素数据来填充缺失的像素数据。在一个实施例 中，所述图形系统包括重构单元，其中，对于具有阔值速度W上的速度的图块，减小的采样 率被选择并且通过重构单元对缺失的像素数据进行插值。
【附图说明】
[0009] 图1示出传统的图形流水线。
[0010] 图2示出根据本发明的实施例的图形流水线。
[0011] 图3示出根据本发明的实施例的自适应解样产生器。
[0012] 图4示出根据本发明的实施例的在执行自适应擅染时的像素速度考量的示例。
[0013] 图5是示出根据本发明的实施例的擅染和重构选择的流程图。
[0014] 图6A示出根据本发明的实施例的对采样模式进行抖动W减少视觉伪影的示例。
[0015] 图6B示出根据本发明的实施例的执行采样模式的抖动的一般方法。
[0016] 图7A示出根据本发明的实施例的平流的示例。
[0017] 图7B示出根据本发明的实施例的在图形系统中执行平流的一般方法。
[0018] 图8示出根据本发明的实施例的使用预先计算的权重执行=阶样条插值的示例。
[0019] 图9示出根据本发明的实施例的与用于确定预先计算的权重的考虑相关的采样 模式的示例。
[0020] 图10示出根据本发明的实施例的与用于确定预先计算的权重的考虑相关的采样 模式的示例。
[0021] 图11示出根据本发明的实施例的自适应解样的一般方法。
[0022] 图12示出根据本发明的实施例的在图形系统中执行=阶样条插值的一般方法。
[0023] 图13示出根据本发明的实施例的在图形系统中执行=阶样条插值的一般方法。
[0024] 图14示出平流与样条重构之间的差异的示例。
[0025] 图15A和图15B示出基于每一像素的速度的大小使用不同方法自适应地擅染帖的 不同区域的示例。
[00%] 图16示出根据本发明的实施例的使用平流进行立体擅染的示例。
[0027] 图17示出根据本发明的实施例的应用于凹式擅染的自适应擅染。
[0028] 图18是示出根据本发明实施例的图形处理的方法的流程图。
[0029] 图19是示出根据本发明另一实施例的图形处理的方法的流程图。
【具体实施方式】
[0030] 示例图形流水线系统概述
[0031] 图2示出根据本发明的实施例的图形流水线200。可使用包括图形硬件的图形处 理单元（GPU)来实现图形流水线200。图形流水线200包括若干新阶段和功能，所述新阶段 和功能用于支持自动地确定不需要各个图块（像素的块）中的所有像素被采样并被擅染的 帖的区域，W实现令人类用户满意的观看体验。如本申请中所使用的，图块是图像中（通常 为具有矩形形状的块中）的一组连续像素。术语帖通常用于描述被执行的用于W预设频率 擅染由显示器读取的图像的一组操作。然而，术语帖还用于指从一组用于擅染图像的操作 得到的擅染后的图像。
[0032] 在一个实施例中，自适应解样（AD)样本产生器阶段205被提供为支持调整图像 的局部区域中的采样模式，其中，局部区域是与像素的块（4X4的像素的块、16X16的像素 的块或其它大小的像素的块）对应的图块。解样是减少在当前帖中被采样和擅染的每一 图块的样本数量。例如，解样可包括在图块中W平均小于每一像素一个样本进行采样和擅 染。为了保持全图像分辨率，可使用两种不同方法来获得缺失的像素数据的值。重构和平 流（advection)阶段210支持用于在保持用户的视觉质量的同时减少图块中的需要被采样 和擅染的像素的数量的两种不同选项。重构和平流阶段210包括重构子模块211和平流子 模块212。在一个实施例中，用于减少在图块中擅染的像素的数量的第一选项为在图块中通 过更高阶的多项式插值和过滤进行重构W产生针对该图块的缺失的像素数据。用于减少在 图块中擅染的像素的数量的第二选项为运样的平流：所述平流包括识别先前帖中的一个或 更多个像素的位置并且针对图块中被选择的一部分像素重复使用来自先前帖的像素。
[0033] 在一个实施例中，来自帖n的对象220的帖"n"的像素数据215被保存W用于像 素数据在下一帖"n+1"的可能的重复使用。此外，顶点坐标数据被保存，用于确定像素的帖 至帖运动矢量。在一个实施例中，来自帖n的像素数据和顶点坐标被存储在缓冲存储器中 W用于下一帖n+1。
[0034] 图3示出根据本发明的