图像处理方法和设备的制造方法
【专利说明】图像处理方法和设备
[0001]本申请要求于2014年5月9日提交到韩国知识产权局的第10-2014-0055875号韩国专利申请以及于2014年12月23日提交到韩国知识产权局的第10-2014-0187465号韩国专利申请的优先权权益，所述韩国专利申请的全部内容通过引用完整地包含于此。
技术领域
[0002]示例实施例涉及用于渲染图像的图像处理技术。
【背景技术】
[0003]在包括三维(3D)游戏、虚拟现实(VR)动画片、电影等的各种领域中，对3D模型的实时清染的兴趣逐渐增加。在3D清染技术中，利用全局照明的福射度着色(rad1sity)方法可以是这样的方法:通过不仅应用由包括在3D模型中的直接光源进行的直接照明，而且应用例如由对象反射的直接照明产生的漫反射或者反射光的效果，来进行渲染。
【发明内容】
[0004]—些示例实施例涉及一种图像处理方法。
[0005]在一些示例实施例中，所述图像处理方法可包括:针对当前帧的每个区域确定虚拟点光源(VPL)样本的数量；将在前一帧中采样的VPL应用到当前帧；基于确定的VPL样本的数量，调整应用的结果；基于对应用的结果的调整，渲染当前帧。
[0006]调整的步骤可包括:基于确定的VPL样本的数量，调整针对前一帧的VPL被应用到的当前帧的每个区域采样的VPL的数量。
[0007]调整的步骤可包括:对除了被应用到当前帧的VPL之外的至少一个新的VPL进行采样，以便满足确定的VPL样本的数量。
[0008]采样的步骤可包括:基于新的VPL将被采样的区域的亮度分布，确定新的VPL将被采样的位置。
[0009]采样的步骤可包括:在新的VPL将被采样的区域中随机确定新的VPL将被采样的位置。
[0010]采样的步骤可包括:基于包括在当前帧中的对象的运动和对象的材料特性中的至少一个，确定新的VPL将被采样的位置。
[0011]调整的步骤可包括:从应用到当前帧的VPL中移除至少一个VPL，以便满足确定的VPL样本的数量。
[0012]移除的步骤可包括:基于应用到当前帧的VPL的亮度，从应用到当前帧的VPL中确定将被移除的VPL。
[0013]确定的步骤可包括:在当前帧中设置多个对象区域；针对每个设置的对象区域确定VPL样本的数量。
[0014]确定的步骤可包括:在当前帧中设置多个网格区域；针对每个设置的网格区域确定VPL样本的数量。
[0015]应用的步骤可包括:在当前帧中与在前一帧中采样的每个VPL的位置对应的位置对VPL进行采样。
[0016]应用的步骤可包括:利用视点矩阵、投影矩阵和模型矩阵中的至少一个将在前一帧中采样的VPL应用到当前帧。
[0017]所述图像处理方法还可包括:对当前帧执行空间滤波。
[0018]调整的步骤可包括:基于在前一帧中采样的VPL的亮度，调整在当前帧中采样的VPL的亮度。
[0019]确定的步骤可包括:针对在当前帧中设置的每个网格区域确定VPL样本的数量；调整的步骤可包括:基于确定的VPL样本的数量，调整针对当前帧的每个网格区域采样的VPL的数量。
[0020]确定的步骤可包括:基于关于每个网格区域的亮度信息，针对每个网格区域确定VPL样本的数量。
[0021]调整的步骤可包括:基于确定的VPL样本的数量，针对在前一帧中采样的VPL被应用到的当前帧的每个网格区域调整VPL的数量。
[0022]其他示例实施例涉及一种图像处理设备。
[0023]在一些示例实施例中，所述图像处理设备可包括:VPL密度确定器，被配置为针对当前帧的每个区域确定VPL样本的数量；VPL采样器，被配置为将在前一帧中采样的VPL应用到当前帧，并且基于确定的VPL样本的数量来调整应用的结果；渲染器，被配置为基于对应用的结果的调整来渲染当前帧。
[0024]所述图像处理设备还可包括:时间滤波执行器，被配置为基于在前一帧中采样的VPL的亮度来调整在当前帧中采样的VPL的亮度。
[0025]所述图像处理设备还可包括:空间滤波执行器，被配置为通过将空间滤波器应用到当前帧来执行空间滤波。
[0026]VPL采样器可被配置为基于确定的VPL样本的数量，针对在前一帧中采样的VPL被应用到的当前帧的每个区域调整VPL的数量。
[0027]其他示例实施例涉及一种图像处理设备。
[0028]在一些示例实施例中，所述图像处理设备可包括:VPL密度确定器，被配置为针对当前帧的每个网格区域确定VPL样本的数量；VPL采样器，被配置为基于确定的VPL样本的数量，针对每个网格区域对VPL进行采样；渲染器，被配置为基于在当前帧中采样的VPL渲染当前帧。
[0029]示例实施例的另外方面将在以下描述中被部分地阐述，并且部分地通过描述将变得清楚，或者可通过本公开的实践而了解。
【附图说明】
[0030]通过下面结合附图对示例实施例进行的描述，这些和/或其他方面将会变得清楚和更易于理解，其中:
[0031]图1示出根据示例实施例的图像处理设备；
[0032]图2至图4示出根据示例实施例的在当前帧中对虚拟点光源(VPL)进行采样的示例；
[0033]图5至图7示出根据示例实施例的利用重要性图(importance map)在当前帧中对VPL进行采样的示例；
[0034]图8至图11示出根据示例实施例的在当前帧中对VPL进行采样的其他示例；
[0035]图12示出根据示例实施例的图像处理方法的示例。
【具体实施方式】
[0036]以下，将参照附图对一些示例实施例进行详细的描述。关于在附图中指定给元件的参考标号，应该注意的是，相同的元件将由相同的参考标号指定，只要有可能，即使它们在不同的附图中示出也是如此。此外，在对实施例的描述中，当对公知的相关结构或者功能的详细描述被认为会导致对本公开的模糊解释时，该详细描述将被省略。
[0037]然而，应该理解的是，没有意图将本公开局限于公开的特定示例实施例。相反，示例实施例覆盖落在示例实施例的范围内的所有的修改、等同物和替代物。在整个附图的描述中，相同的标号始终表示相同的元件。
[0038]这里使用的术语仅为了描述特定实施例的目的，而不意图进行限制。如这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。还应理解的是，当在这里使用术语“包含”和/或“包括”时，说明存在陈述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
[0039]还应该注意的是，在一些可选择的实施方式中，指出的功能/行为可不按附图中指出的顺序出现。例如，根据所涉及的功能/行为，连续示出的两张图可实际上可基本同时被执行或者有时可以以相反的顺序被执行。
[0040]现在将参照示出一些示例实施例的附图，更全面地对各种示例实施例进行描述。在附图中，为了清楚起见，可夸大层和区域的厚度。
[0041]图1示出根据示例实施例的图像处理设备100的配置。
[0042]图像处理设备100可渲染二维(2D)图形或三维(3D)图形。图像处理设备100可渲染利用图像帧来表现的图像空间，并且输出渲染结果图像。图像处理设备100可在诸如游戏、电影、用户界面、虚拟现实、增强现实等的领域中执行3D渲染。
[0043]图像处理设备100可将用于表现诸如光反射、折射、衍射的自然现象的虚拟点光源(VPL)排列在当前帧的图像空间中，以在图形渲染中实现全局照明效果。与直接将光发射到图像空间的直接光源相比，VPL可以是考虑从直接光源发射的光被反射、折射、衍射的现象的虚拟光源。VPL还可被称为例如间接光源。VPL的采样可以是例如在由图像帧表示的图像空间中确定VPL将被排列的区域的操作。图像处理设备可基于VPL被排列的区域作为中心，将间接光效果应用到图像空间。基于在图像空间中VPL被排列的区域，可在渲染结果图像中不同地实现照明效果。
[0044]图像处理设备100可基于前一帧的VPL采样结果在当前帧中对VPL进行采样。当前帧可以是当前执行渲染且在时间上与前一帧连续的图像帧。前一帧可以是例如早于当前帧提供的图像帧，并且可具有早于当前帧的VPL采样的VPL。
[0045]图像处理设备100可基于关于前一帧的VPL信息将在前一帧中采样的VPL应用到当前帧，然后基于当前帧的亮度分布来调整应用的结果。关于前一帧的VPL信息可包括例如关于在前一帧的光视点渲染图像中采样的VPL的信息和基于光线追踪方案获得的关于光线碰撞位置的信息。
[0046]图像处理设备100可基于前一帧的VPL采样结果来对当前帧的VPL进行采样，从而避免闪烁的出现并减少资源。例如，图像处理设备100可基于在前一帧使用的针对每个VPL的阴影图，在当前帧中对VPL进行采样。图像处理设备100可考虑当前帧的光照环境，基于当前帧的亮度分布来对