用于在渲染图像时使用的可重照纹理的制作方法【专利说明】用于在渲染图像时使用的可重照纹理【
背景技术：
】[0001]图像可以表示场景的如从相机的视点捕获的视图。在一些情况下，可以存在多于一个捕获场景的不同视图的相机。然而，场景会存在与任何相机视点都不对应的一些视点。图像可以是视频序列帧。诸如自由视点视频渲染（FVVR)之类的技术允许基于场景的来自多个相机视点的一组多个视图来生成场景的新视图。相机优选地被彼此校准和同步，以使得能够正确地组合场景的视图。[0002]基于场景的不同视图，可以例如使用多视图立体（MVS)来构造场景几何形状的模型，并且可以形成可以适用于该模型的纹理。可以通过使用原始图像以投影方式对场景几何形状进行纹理化并且混合经投影的图像来形成纹理。然后，可以使用具有纹理的模型来从渲染视点渲染场景，渲染视点可以与相机视点之一相同或者不同。除了从渲染视点重新创建"真实世界"场景以外，还可以使真实世界场景的内容与计算机生成的内容混合。[0003]存在大量可能在生成场景的新视点时需要考虑的问题。例如，对场景的重照可能是困难的。从通过相机捕获的图像（例如视频序列帧）中提取的纹理具有隐含的真实世界的光照信息，使得光照伪像存在（即"被预烧"）于纹理中。[0004]-种解决如何针对新视点而对纹理进行重照这一问题的方式是控制在相机捕获场景的不同视图时对场景的光照。例如，可以在初始视频捕获中使用漫射光照，以避免产生过量的底纹（shaded)区域和镜面反射，过量的底纹区域和镜面反射会破坏使用经提取的纹理渲染的场景的似真性。可以自动解决光照变化的影响，但是这可能需要有源光照布置，在有源光照布置中，在各种经校准的光照条件下捕获场景，以便推断纹理的素材(material)属性。然而，使用任意光照布置对场景进行重照是相当有挑战性的。类似的挑战适用于使用任意光照布置来对纹理进行重照，而不管如何根据场景的经捕获的图像来形成纹理，例如仅在使用一个相机来从单个相机视点捕获场景的图像时和/或在渲染视点与相机视点之一相同时。【
发明内容】[0005]提供本"【
发明内容】"以介绍简化形式的概念的选择，以下在"【具体实施方式】"中进一步描述这些概念。本"【
发明内容】"并非意在标识要求保护的主题的关键特征或者必要特征，也并非意在用于限制要求保护的主题的范围。[0006]提供了一种确定可重照（relightable)纹理的色彩分量和表面法线的集合以用于在任意光照条件下从渲染视点来渲染图像时使用的方法，其中场景的来自相应的至少一个相机视点的至少一个视图表示图像，该方法包括：分析场景的至少一个视图以估计场景几何形状并且将初始纹理分段成多个素材，初始纹理可分离成色彩估计（colorestimate)和对应的底纹估计（shadingestimate);针对素材中的每个素材确定初始粗略色彩估计；确定一个或多个比例因子，用于对初始粗略色彩估计中的相应的一个或多个初始粗略色彩估计定标，比例因子基于在与素材的初始粗略色彩估计的经定标的版本对应的底纹估计的基础上针对素材确定的辐照度估计之间的差异被确定；使用所确定的比例因子来针对场景确定全局辐照度函数；使用全局辐照度函数和初始纹理来确定另外的色彩估计以及对应的另外的底纹估计，其中另外的色彩估计表示可重照纹理的色彩分量；以及使用全局辐照度函数和另外的底纹估计来确定表面法线的集合。[0007]还提供了一种图像处理装置，其被配置成确定可重照纹理的色彩分量和表面法线的集合以用于在任意光照条件下从渲染视点来渲染图像时使用，其中场景的来自相应的至少一个相机视点的至少一个视图表示图像，该图像处理装置包括：场景分析逻辑，被配置成分析场景的至少一个视图以估计场景几何形状并且将初始纹理分段成多个素材，初始纹理可分离成色彩估计和对应的底纹估计；粗略色彩估计逻辑，被配置成针对素材中的每个素材确定初始粗略色彩估计；比例因子确定逻辑，被配置成确定一个或多个比例因子，用于对初始粗略色彩估计中的相应的一个或多个初始粗略色彩估计定标，定标逻辑被配置成基于在与素材的初始粗略色彩估计的经定标的版本对应的底纹估计的基础上针对素材确定的辐照度估计之间的差异来确定比例因子；全局辐照度确定逻辑，被配置成使用所确定的比例因子来针对场景确定全局辐照度函数；纹理分离逻辑，被配置成使用全局辐照度函数和初始纹理来确定另外的色彩估计以及对应的另外的底纹估计，其中另外的色彩估计表示可重照纹理的色彩分量；以及表面法线确定逻辑，被配置成使用全局辐照度函数和另外的底纹估计来确定表面法线的集合。[0008]还提供了一种图像处理系统，其被配置成确定可重照纹理的色彩分量和表面法线的集合以用于在任意光照条件下从渲染视点来渲染图像时使用，其中场景的来自相应的至少一个相机视点的至少一个视图表示图像，该图像处理系统包括处理块，处理块被配置成：分析场景的至少一个视图以估计场景几何形状并且将初始纹理分段成多个素材，初始纹理可分离成色彩估计和对应的底纹估计；针对素材中的每个素材确定初始粗略色彩估计；确定一个或多个比例因子，用于对初始粗略色彩估计中的相应的一个或多个初始粗略色彩估计定标，比例因子基于在与素材的初始粗略色彩估计的经定标的版本对应的底纹估计的基础上针对素材确定的辐照度估计之间的差异被确定；使用所确定的比例因子来针对场景确定全局辐照度函数；使用全局辐照度函数和初始纹理来确定另外的色彩估计以及对应的另外的底纹估计，其中另外的色彩估计表示可重照纹理的色彩分量；以及使用全局辐照度函数和另外的底纹估计来确定表面法线的集合。[0009]还可以提供一种计算机程序产品，其被配置成确定可重照纹理的色彩分量和表面法线的集合以用于在任意光照条件下从渲染视点来渲染图像时使用，该计算机程序产品被包含在计算机可读存储介质上并且被配置以便当在处理器上被执行时执行本文所描述的示例中的任何示例的方法。另外，还可以提供一种计算机可读存储介质，其具有在其上被编码的计算机可读程序代码，该计算机可读程序代码用于生成处理块，处理块被配置成执行本文所描述的示例中的任何示例的方法。[0010]可以适当组合以上特征，这对于本领域技术人员而言将是清楚的，并且可以将以上特征与本文所描述的示例的任何方面进行组合。【附图说明】[0011]现在将参考附图来详细描述示例，在附图中：[0012]图1表示其中多个相机被布置成捕获场景的不同视图的布置；[0013]图2是图像处理系统的示意图；[0014]图3a是确定可重照纹理的色彩分量和表面法线的集合以用于在任意光照条件下从渲染视点来渲染图像时使用的过程的流程图；[0015]图3b示出图3a所示的流程图的步骤中的一些步骤的更详细的视图；[0016]图4示出场景的来自2个相机视点的2个视图，并且示出对于该场景的来自渲染视点的经渲染的图像；[0017]图5a示出初始纹理的2个素材；[0018]图5b示出作为图5a所示的2个素材的底纹估计的投影的辐照度估计；[0019]图5c示出2个素材的辐照度估计的交叠；[0020]图6示出将原始图像分成色彩估计和底纹估计的2个示例；[0021]图7示出将初始纹理分成色彩估计和底纹估计的结果的示例以及在不同光照布置下的2个经重照的纹理；以及[0022]图8示出可以在其中实现图像处理系统的计算机系统。[0023]在适当的时候，遍及附图使用共同的附图标记以指示相似的特征。【具体实施方式】[0024]现在将仅通过举例的方式来描述实施例。本文中详细描述的示例涉及自由视点渲染，但是可以将相同的确定可重照纹理的原理应用于其它示例，例如其中仅存在一个可以移动以从不同角度捕获场景的多个视图的相机（而非如在自由视点渲染中存在多个相机）的示例，和/或其中渲染视点与相机视点相同的示例。[0025]自由视点渲染允许基于场景的来自多个相机视点的一组多个视图来生成图像以提供场景的新视图。作为示例，所生成的图像可以是所生成的视频序列内的帧。参考使用一组相机捕获的视频数据，自由视点视频渲染（FVVR)是随着时间变化的场景的新视图的合成。多数标准FVVR系统不支持对场景的重照。然而，本文所描述的示例允许在从新视点渲染场景时在任意光照条件下重照和查看场景。例如，这可以用于对演员的表演进行重照以无缝组合成任意真实世界和/或计算机生成的周围环境，这些周围环境与演员的图像在其中被捕获的周围环境可以具有不同的光照条件。例如，在图形为视频序列帧的情况下，本文所描述的示例涉及"可重照FVVR"。可以将场景的出现表示为多个参数的函数，这些参数包括（i)场景中的对象的色彩（其可以被称为"反照率"），（ii)场景中的对象表面的表面法线，（iii)场景中的表面的镜面反射，以及（iv)场景光照。在本文所描述的方法中，确定色彩估计和表面法线以用于在任意光照条件下从渲染视点渲染图像时使用。将场景的外观分为4个参数不是简单的问题，尤其是在捕获场景的图像的场景光照未知的情况下。例如，确定具有明亮的固有色彩但是光照很差的表面与光照很好但是具有较暗的固有色彩的表面之间的差异并不是无足轻重的。也就是，底纹与反照率之间可能存在模糊。[0026]本文所描述的示例中使用辐照度这一概念。辐照度是每单位面积表面上入射的总功率的测量，并且可以用每平方米的瓦特数来测量。辐照度是一个类似于辐射度的概念。辐射度是在入射辐射的方向上表面的每单位面积表面上和每单位立体角入射的辐射功率，使得可以用每立体弧度每平方米的瓦特数来测量辐射度。在场景中可以用关系式来使辐照度与福射度相关。例如，可以在假定Lambertian反射比和无限移位光照的情况下重新构造全局场景辐照度。Lambertian反射比模型使辐照度（L)与照射度（R)相关，如下面的等式所示：[0028]其中《4夜4?:).是在球面极化坐标Ps臀)的方向上的单位矢量，n(X)是在表面位置X处的表面法线。如下面更详细地描述的，场景外观I(X)与辐照度相关，使得I(X)=A(X)L(X)，其中A(X)是在位置X处的反照率。是描述表面位置X沿着方向Cft變|;是否可见的可见度掩膜（mask)，并且仅可以取值0或1。使用递增的表面积在球体Ω上方积分。假定凸起场景，则等式1中对表面位置X的依赖性消失，并且能够将这认为是辐射度函数辦炎爹)与大的低通滤波器（被称为钳位余弦核）的卷积，如下面的等式所示：[0030]在本文所描述的方法中，例如使用MVS根据场景的所捕获的视图来估计场景几何形状。场景几何形状用于解决底纹与反照率之间的模糊。特别地，可以通过利用反照率通常分段恒定这一观察而将场景几何形状的网格表面粗略地分段成具有相似反照率的区域来将初始纹理分段成不同的素材。这一初始分段不需要完全精确，并且也不需要试图对其进行细化。针对每个素材确定初始粗略色彩（或者"反照率"）估计，并且可以相对于彼此对初始粗略色彩估计进当前第1页1 2 3 4 5