用于在渲染图像中使用的可重新照明纹理的制作方法

用于在渲染图像中使用的可重新照明纹理
1.本申请是申请号为201510484716.8、申请日为2015年8月7日、 发明名称为“用于在渲染图像中使用的可重新照明纹理”的发明专利 申请的分案申请。
技术领域
2.本公开涉及用于在渲染图像中使用的可重新照明纹理。


背景技术：

3.可以从照相机的视点捕捉场景的图像。在一些情况下，可以有捕 捉场景的不同图像的一个以上的照相机。场景的每一个图像表示来自 相应的照相机的视点的场景的视图。但是，将存在场景的一些视点会 不对应照相机视点的任何一个。图像可以是一帧视频序列。诸如自由 视点视频渲染(fvvr)的技术允许基于来自多个照相机视点的场景 的一组多个视图生成表示场景的新视图的图像。优选校准照相机且彼 此同步以促进推断场景的中间图像。
4.基于场景的不同图像，例如使用多视图立体(mvs)可构建场 景几何的模型，并且可形成可以应用于该模型的纹理(texture)。该 纹理可以通过投射地使具有原始图像的场景几何纹理化并混合所投 射的图像而形成。然后具有该纹理的模型可用于从可以与照相机视点 之一相同或不同的渲染视点来渲染场景。除从渲染视点重新构建“真 实世界”场景外，真实世界场景的内容可以与电脑生成的或真实世界 的其它场景内容一起被渲染。
5.术语“几何”用于本领域中，且在本文中指场景中计算机生成的 对象表面的表示，从而该几何允许对场景中对象的形状、大小和位置 建模。该几何可被纹理化，从而将纹理(例如限定颜色和其它表面细 节)应用于几何以便表示场景中对象的外观。从真实场景的多个图像 重建的几何在本文中可被称为“代理(proxy)”或“几何代理(geometricproxy)”。几何通常是三角形网格，尽管其它的表示(诸如点云) 是可能的。
6.当生成新的场景视点时，特别是当将内容集成到与所捕捉的那些 不同的周围环境中时，可能需要考虑若干事宜。例如，对场景重新照 明可能是困难的。从由照相机捕捉的图像提取的纹理(例如视频序列 帧)具有隐含的真实世界照明信息，使得照明伪影(artefacts)存在 (即“烤入(baked
‑
in)”)于纹理中。
7.解决如何对新视点的纹理重新照明的问题的一种方法是当照相 机捕捉场景的不同视图时控制场景的照明。例如，漫射(diffuse)照 明可用于最初的视频捕捉，以避免产生过量的阴影区域和镜面反射 (specularities)，它们会损害使用所提取的纹理渲染的场景的似真性 (plausibility)。照明中变化的影响可通过估计纹理的材料属性(例 如本征颜色(反照率(albedo))和精细细节(表面法线))来重现， 以用于随后使用常规的计算机图形技术来重新照明(relighting)。这 可以使用主动照明(或“光级(light
‑
stage)”)布置来解决，其中在 各种校准的照明条件下捕捉场景的图像，同时使纹理的材料属性(诸 如本征颜色，或“反照率”，和表面的精细细节)被适配到图像。然 而，该方法需要昂贵的设备，并且通常限于静态场景。用任意的照明 布置对场景重新照明是相当地更加挑战的。


技术实现要素：

8.提供本发明内容从而以简化形式介绍在下文的具体实施方式中 进一步描述的构思的选择。本发明内容不意图识别所要求保护的主题 的关键特征或必要特征，也不意图用于限制所要求保护的主题的范 围。
9.提供了一种确定在场景的一个或多个图像中可见的对象表面的 表面法线估计的方法，其中，该对象表示为从场景的一个或多个图像 构建的几何，该方法包括：获得对象表面的表面法线估计，该表面法 线估计表示第一表面法线场；基于第一表面法线场的保守分量来构建 对象的所述表面的高度映射；使用该高度映射来确定对象表面的细化 表面法线估计，该细化表面法线估计表示对象的所述表面的保守表面 法线场；以及存储细化表面法线估计用于在渲染对象的图像中的后续 使用。
10.提供一种图像处理系统，其被配置为确定在场景的一个或多个图 像中可见的对象表面的表面法线估计，其中该图像处理系统被配置为 获得表示对象的几何，其中该几何是从场景的一个或多个图像而构建 的，该图像处理系统包括：第一表面法线逻辑，被配置成获得对象表 面的表面法线估计，该表面法线估计表示第一表面法线场；高度映射 构建逻辑，被配置为基于第一表面法线场的保守分量来构建对象的所 述表面的高度映射；第二表面法线逻辑，被配置为使用该高度映射来 确定对象表面的细化表面法线估计，该细化表面法线估计表示对象的 所述表面的保守表面法线场；以及存储，被配置为存储细化表面法线 估计用于在渲染对象的图像中的后续使用。
11.可以提供计算机可读代码，其被适配为当该代码在计算机上运行 时以执行本文描述的任何方法的步骤。此外，可以提供用于产生被配 置以执行本文描述的任何方法的处理块(block)的计算机可读代码。 计算机可读代码可被编码在计算机可读存储介质上。
12.上述特征可以视情况组合，且正如对本领域技术人员显而易见 的，上述特征可以与本文描述的示例的任何方面组合。
附图说明
13.现在参照附图详细描述示例，附图中：
14.图1表示其中布置多个照相机捕捉场景的不同图像的布置；
15.图2是图像处理系统的示意图；
16.图3是确定可重新照明纹理的本征颜色分量和一组表面法线用于 在任意照明条件下从渲染视点渲染图像的方法的流程图；
17.图4示出图3所示流程图的步骤之一的更详细的视图；
18.图5示出来自两个照相机视点的场景的两个视图；并且示出从渲 染视点的场景的经渲染的图像；
19.图6示出将原始图像分离成颜色估计和阴影估计的两个示例；
20.图7示出第一表面法线估计的分量和细化表面法线估计的分量的 示例；
21.图8示出其中可以实现图像处理系统的计算机系统。
22.附图示出各种示例。本领域技术人员将意识到附图中所图示的要 素边界(例如框(box)、框的组或其它形状)表示边界的一个示例。 可以在一些示例中，一个要素可被设计为多个要素或者多个要素可被 设计为一个要素。适当的情况下共同附图标记被贯穿附图
用于指示类 似的特征。
具体实施方式
23.现仅通过示例的方式描述实施例。本文详细描述的示例涉及自由 视点渲染，但确定可重新照明的纹理的相同原理可适用于其它示例， 例如其中仅有一个照相机(而不是如自由视点渲染中的多个照相机) 可移动以从不同角度捕捉场景的多个视图，和/或其中渲染视点与照相 机视点相同的示例。
24.自由视点渲染允许生成图像以基于来自多个照相机视点的场景 的一组多个图像来提供场景的新的视图。作为一个示例，所生成的图 像可以是所生成的视频序列内的帧。自由视点视频渲染(fvvr)是 参照使用一组照相机捕捉的视频数据而随时间变化的场景的新视图 的合成。大多数标准fvvr系统不支持场景的重新照明。然而，本文 描述的示例当从新的视点渲染场景时允许场景被重新照明并且在任 意照明条件下观察。例如，这可以用于对演员的表现重新照明，用于 无缝合成任意的真实世界和/或计算机生成的周围环境，其可以具有与 其中演员的图像被捕捉的那些不同的照明条件。例如，在图像表示一 帧视频序列的地方，本文描述的示例涉及“可重新照明的fvvr”。 场景的外观可表示为多个参数的函数，该参数包括：(i)场景中对象 的本征颜色(其可被称为“反照率”)，(ii)场景中对象表面的表 面法线，(iii)场景中表面的镜面反射，以及(iv)场景照明(lighting)。 在本文描述的方法中，场景的外观分解为这四个参数的估计，且颜色 估计(即反照率估计)和表面法线可被用于后续在任意的照明条件下 从渲染视点渲染场景的图像。将场景的外观分离成四个参数并不是一 个简单的问题，特别是如果其中捕捉场景图像的场景照明是未知的。 例如，确定具有明亮的本征颜色但照明不足的表面与良好照明但有较 暗本征颜色的表面之间的差异，这并不是不重要的。也就是说，经常 存在阴影(shading)和反照率之间的模糊性。
25.当场景包括由场景照明引起的场景中对象表面上的镜面反射分 量时，阴影和反照率之间的模糊性特别难以解决。本文描述的一些示 例允许原始图像的镜面反射分量与漫射图像分量分离开。术语“漫射 (diffuse)”在本文中使用并且可被解释为“不光滑的(matte)”或
ꢀ“
非镜面反射的”的含义。然后漫射图像分量(没有镜面反射分量) 可用来解决阴影和反照率之间的模糊性。通过将镜面反射分量与漫射 分量分离开，基于漫射照明模型(例如朗伯(lambertian)光照模型) 适于解决阴影和反照率之间的模糊性的方法可用于具有显著镜面反 射分量的场景，即用于镜面反射分量是不可忽略的场景。
26.另外，本文描述的一些示例允许表面法线被细化使得它们更好地 表示物理表面。这是基于对象的物理表面的表面法线表示保守表面法 线场的认识、通过强制执行表面法线场的保守主义而实现的。
27.此外，本文描述的一些示例提供了用于处理场景中投射阴影(cast shadow)的方法。这允许当确定场景中样本位置的辐照(irradiance) 估计时局部闭塞(local occlusion)被考虑在内。这是通过忽略局部闭 塞确定初始辐照估计、然后使用该初始辐照估计与场景几何的知识来 确定场景的依赖角度的辐射(radiance)估计而实现的。然后这种辐 射估计可与场景几何的知识一起使用，以确定场景内样本位置的局部 辐照估计。
28.图1示出为场景的一部分的对象(例如，人102)。图1中示出 八个照相机1041至
1048，它们从相应照相机视点捕捉场景的不同图 像。然而，用于捕捉场景图像的系统不限于使用八个照相机，且在其 它示例中可使用不同数目的照相机(例如，少于八个或多于八个的照 相机)来捕捉场景的图像。在图1所示的示例中，场景包括考虑到相 对于简单(plain，例如单色)背景的所有八个照相机104的人102。 由照相机104捕捉的图像可以是视频序列帧，但在其它示例中，照相 机捕捉场景的图像用于在单个时间点渲染图像中使用，也即，经渲染 的图像可能不是一个视频序列帧。在该示例中，参照共同的坐标系来 校准照相机，且以同步定时捕捉由每个照相机104所捕捉的视频帧。 此外，尽管不是必要的，如果所有照相机具有相同的操作参数，例如 相同的像素数，相同的格式协议等，则可以简化图像处理系统的实现 方式，从而使得可以组合表示场景视图的图像数据而无需将由一个或 多个照相机捕捉的数据转换成不同格式的进一步步骤。八个照相机 104提供场景的八个不同的照相机视点。然而，使用fvvr，可从可 能与任何照相机视点不同的渲染视点来渲染场景。例如，图1示出了 不同于所有八个照相机视点的渲染视点。如果照相机同步，则所有照 相机会同时捕捉场景的每个视图。在其它示例中，可能使用不同步的 照相机，但组合场景的不同视图会变得更困难，因为时间以及空间成 为组合场景的视图要考虑的变量。
29.图5示出了从照相机1041的视点获得的场景的第一图像502。场 景包括简单背景下的人102。图5还示出了从照相机1042的视点获得 的场景的第二图像504。图5还示出了来自已经根据本文描述的方法 从渲染视点渲染的场景的新视图506。可以看出，渲染视点位于照相 机1041和1042的照相机视点之间。
30.图2示出了图像处理系统200(例如，在图像是视频序列帧的情 况下的视频处理系统)，其包括处理块202和存储228。处理块202 包括：场景分析逻辑204、颜色校准逻辑205、镜面反射分离逻辑206、 镜面反射辐射估计逻辑208、投射纹理逻辑210、场景照明估计逻辑212、阴影估计逻辑214、第一表面法线逻辑216、高度映射构建逻辑 218、第二表面法线逻辑220和镜面反射颜色估计逻辑222。场景照明 估计逻辑212包括附加阴影处理逻辑213和投射阴影处理逻辑215。 投射纹理逻辑210、场景照明估计逻辑212和阴影估计逻辑214的组 合可被认为是确定逻辑224的本征颜色分量，因为它们起着(除其它 功能外)确定纹理的本征颜色分量的作用。此外，第一表面法线逻辑 216、高度映射构建逻辑218和第二表面法线逻辑220的组合可被认 为是表面法线估计逻辑226，因为它们起着确定场景几何的表面的表 面法线估计的作用。应注意，在一些示例中，图2中分离地被表示的 逻辑块204至226的一些可被组合，从而使得它们的功能不在分离的 块中实现。逻辑块204至226可以例如在硬件中的处理块202上实现。 例如，如果逻辑块在硬件中实现，其可以形成为晶体管和适于执行逻 辑块的期望功能的其它硬件组件的特定布置。与此相反，逻辑块204 至226可以通过执行软件来实现，从而该软件配置硬件(例如，通用 硬件诸如cpu)来实现如本文描述的逻辑块204至226的功能。该软 件可以包括一组计算机指令，其可被存储在存储器中并且可被提供给 处理块202以在其上执行，其中处理块202可在处理单元(诸如中央 处理单元(cpu)或图形处理单元(gpu))上实现。处理块202被 配置成接收表示来自照相机104的场景图像的数据。例如，照相机104 之一可以在与图像处理系统200相同的设备中实现或不实现。处理块 202被配置为处理场景图像(例如，使用逻辑块204至226)以确定 可重新照明纹理的本征颜色分量ρ(x)和一组表面法线n
r
(x)，用于在任 意照明条件下从渲染视点渲染图像。存储228可作为存储器来实现， 用于存储可重新照明纹理的本征颜色分量和表面法线集
合。
31.参照图3所示的流程图描述图像处理系统200的操作。在本文详 细描述的示例中，离线执行图3所示的方法步骤，即在从渲染视点渲 染场景之前。在其它示例中，可以在运行时执行图3中所示的方法步 骤，即随着场景被渲染时，但是这需要例如在移动设备上通常不可用 的大量处理资源用于渲染。响应于由照相机104捕捉的场景图像，可 以执行图3中所示的方法步骤。如下文更详细地描述的，基于场景的 不同图像来构建场景几何的模型(或“代理”)，且形成可适用于该 模型的可重新照明纹理的本征颜色分量。然后可以例如在存储228中 存储场景的可重新照明纹理的本征颜色分量和一组表面法线。随后， 在渲染时间，可以从存储器中重新得到可重新照明纹理的本征颜色分 量(或“反照率”)和该组表面法线，且可从渲染视点渲染场景。表 面法线用于使用适于所渲染场景的照明条件对纹理重新照明，该照明 条件可以不同于由照相机104捕捉图像时场景的照明条件。所估计的 表面法线补偿从mvs重建中缺失的高频率几何。因为在本文详细描 述的示例中，许多处理是前载的(即在渲染场景前被执行)，因此减 少了渲染期间执行的处理。场景渲染之前执行离线步骤(即预处理步 骤)以确定表示场景的可重新照明纹理的本征颜色分量和表面法线可 以在具有大量可用的资源(例如处理能力和内存)的计算机中实现。 预处理步骤可能需要大量的时间来完成，例如使得每帧可能需要大约 数十分钟(例如20分钟)来处理(包括mvs重建阶段)。从渲染视 点渲染场景可以在执行预处理步骤的同一设备或不同设备上实施。例 如，可将预处理步骤的输出(即可重新照明纹理的本征颜色分量和该 组表面法线)提供给渲染设备，诸如用于在任意照明条件下从任意渲 染视点渲染图像的移动设备。来自预处理步骤的输出可用于渲染场景 的多个图像，其中每个图像可以从不同的渲染视点并用不同的照明条 件来渲染。当图像是视频序列帧时，该视频被渲染，该视频可以被实 时输出，同时每秒处理多个帧(例如，20个帧)。渲染设备的处理资 源可能是有限的；这特别是在移动设备上实现渲染器(renderer)的 情况下，处理能力和内存容量会明显受限。由于在预处理步骤中执行 了大量的处理，因此减少了渲染时执行的处理，这可以允许视频被渲 染并实时输出(例如，每秒至少约20帧)，甚至在渲染设备(诸如 可具有有限可用资源的移动设备)上。
32.在步骤s302中，在处理块202接收来自照相机104的场景的一 个或多个图像。特别是，在场景分析逻辑204接收场景的图像。表示 场景图像的数据可从照相机104经由任何合适的链路(例如有线或无 线链路)提供至处理块202。如上所述，这可能是照相机104之一实 现在与图像处理系统200相同的设备(例如，移动设备)中的情况。 因此，在一些示例中，该方法可以包括从相应的至少一个照相机视点 捕捉场景的至少一个图像，但在其它示例中，在图像处理系统200实 现的相同的设备中照相机实际上没有捕捉图像。
33.在步骤s304中，场景分析逻辑204分析场景的图像，以构建表 示场景中对象的几何，从而确定场景的模型。存在构建几何的许多方 法，如本领域技术人员知晓的，例如使用多视图立体(mvs)技术可 以构建场景几何的3d几何代理。这些方法通常在本领域中被称为“基 于图像的重建”。
34.在步骤s306中，场景分析逻辑204将来自不同照相机视点的图 像投射到几何上。用于将图像投射到几何上的方法是本领域已知的。 应理解的是场景的每个图像将经常包括针对图像可以被投射到其上 的场景几何的一些但不是全部的对象的表面的数据。例如，
人102的 前方的图像可以不包括针对在场景的模型中投射到人102的背侧上的 任何数据。然而，优选地场景的模型的所有表面是考虑到至少一个照 相机104以便来自不同照相机104的场景的视图的组合可以被用于将 视图投射到场景的模型的整体上。
35.因此可以看出，在步骤s304和s306中，场景分析逻辑204可以 执行mvs重建和纹理投射。作为一个例子，使用宽基线捕捉系统有 利于使用可见外壳(hull)以产生粗糙(coarse)上限到场景几何，其 随后可以通过使从表面细节提取的特征位置三角化而细化。这可能是 投射的图像当被投射到场景几何时相互没有精确对准的情况。这可能 例如是由于几何构建中略有不精确性。诸如这些的不精确性可能有害 于以下描述的镜面反射去除过程，例如这些不精确性可能会导致出现
ꢀ“
重影(ghosting)”伪影。因此，步骤s306可以包括翘曲(warping) 至少一个图像，从而使得投射的图像彼此更好地对准。例如，光流技 术是本领域技术人员已知的可用于翘曲一个或多个图像的技术。也就 是说，在一个例子中，基于光流的投射纹理对准可用于减轻由粗糙 mvs重建引入的误差，使得重影伪影被去除(或至少被减少)用于 更准确的结果。
36.本文所描述的图像、几何模型和纹理可以每一个都用空间上不同 的单元x阵列(例如，2d阵列)来表示，它们可以每个具有与其相关 联的一个或多个值。作为术语的问题，这些空间上不同的单元可以指 具有不同的术语。即，意图被观察的图像(在显示空间中)的空间上 不同的单元在本文中被称为“像素”；纹理(在纹理空间中)的空间 上不同的单元在本文中被称为“纹理像素(texels)”；以及模型(在 3d模型空间中)的空间上不同的单元在本文中被称为“片段 (fragments)”，其中每个片段对应于施加到场景几何的表面的纹理 的“样本位置”。
37.此外，在步骤s307中，颜色校准逻辑205执行图像的颜色校准 以更好地匹配图像之间的颜色，用于所合成的纹理的更好的一致性。 应注意，用来捕捉图像的照相机104彼此之间可能没有完美地校准。 因此，图像的图像值(例如颜色和强度)可能取决于已捕捉图像的照 相机。可使用的颜色校准过程是基于这样的假设：即图像值由漫射分 量控制使得图像值不强烈地依赖于视角。如果这个假设是无效的，则 可能不执行该颜色校准过程。因此，使用该假设，投射到样本位置上 的图像值应相同(或至少大致相同)。如果投射到同一样本位置的图 像值之间存在差异，则颜色校准过程可用于减少投射的图像之间的差 异。例如，图像的颜色校准可以包括：比较在纹理的样本位置投射的 图像的图像值xi，并找到每一投射的图像的尺度参数ai和偏置参数bi， 使得不同图像i的校准图像值(aixi+bi)之间的差异最小化。对于所有样 本位置，图像的尺度参数和偏置参数相同。可能没有完美的解决方案， 但这是可以找到并相应地用于校准图像的对于图像的尺度参数和偏 置参数最适合的匹配。这可有助于减少不同图像之间的差异，由此可 有助于减少在图像的漫射分量和镜面反射分量的分离中的误差。例如 诸如这个的颜色校准过程特别有用，如果使用不同类型的照相机被用 于捕捉不同的图像，和/或如果用来捕捉图像的照相机的质量不高，例 如，如果移动设备(诸如智能手机或平板电脑)的照相机被用来捕捉 一个或多个图像。在这些情况下，很可能是最初的图像彼此没有地很 好地校准，使得该颜色校准过程可能特别有用。
38.将场景几何和投射的图像值(即投射到纹理的样本位置上的每个 图像的值)的指示提供至镜面反射分离逻辑206。
39.在步骤s308中，镜面反射分离逻辑206基于来自一组多个图像 在样本位置处的图
像值的最小值来确定在纹理的多个样本位置的每 个处的漫射图像分量值。这可以在不同的示例中以不同的方式来实 现。例如，对于在其处确定漫射图像分量值的每个样本位置，从其找 到最小值的该组图像可以包括其中样本位置可见的一些或全部图像。 可以独立地形成针对每个样本位置的该组图像。然而，如果图像的视 点方向显著不同于在样本位置处的表面法线，则从该组样本位置中排 除图像可能是有利的。这是因为，如果使用了场景中表面的扫视视图， 则图像可能被“涂抹(semeard)”穿过表面，即在若干样本位置模 糊不清。涂抹的投射会损害镜面反射去除过程，因此优选将这些图像 从找到最小图像值的该组图像中排除。例如，样本位置的该组图像可 仅包括其中样本位置处的表面法线和图像的照相机视点的观察方向 之间的角度小于阈值角度的那些图像，其中为给出一些示例，阈值角 度可以是30度、45度或60度。
40.在一些示例中，可针对几何表面上的纹理的每个样本位置来确定 仅一个漫射图像分量值。在其它示例中，诸如下文更详细描述的那些， 针对具有样本位置的可见性的每个图像在样本位置处来确定漫射图 像分量值。
41.应注意，镜面反射场景呈现出本征图像估计方法的问题，其常使 用仅考虑漫射照明的朗伯光照模型。然而，许多真实世界的场景具有 不可忽略的强烈的镜面反射分量。本文详细描述的方法将图像的镜面 反射分量与漫射分量分离，使得漫射分量可用于本征纹理估计方法。 镜面反射分量依赖于视图，而漫射分量就其性质而言不依赖于视角。 随后可将分离的镜面反射和漫射(或“不光滑的”)分量分离地处理。 在一些示例中，如下文描述的，镜面反射分量可用于镜面反射反照率 估计过程中。
42.处于特定样本位置x和观察方向ω0的镜面反射表面的外观可被认 为是漫射图像分量和镜面反射图像分量的总和。例如，如下所述，投 射的图像值可以形成可通过下式给出的纹理t(x，ω0)：
43.t(x，ω0)＝ρ(x)i(x)|σ(x)j(x，ω0)
ꢀꢀ
(1)
44.其中i(x)是总的非反射的入射能量，即在样本位置x的辐照，ρ(x)是样 本位置x的漫反照率，σ(x)是样本位置x的镜面反射反照率，并且j(x，ω0) 是来自方向ω0上样本位置x的反射光的强度。我们可以说，等式1右 手侧的第一项表示样本位置x的漫射图像分量值c
d
(x)，而等式1右手 侧的第二项表示方向ω0上样本位置x的镜面反射图像分量值c
s
(x，ω0)。
45.在其中确定针对每个图像的漫射图像分量值(假设精确的颜色 校准)的示例中，对于特定的图像(其可称为“参考图像”)，基 于来自包括该特定图像和具有样本位置的可见性的至少一个其它图 像的一组图像的样本位置处的图像值的最小值，可以确定每个样本 位置的漫射图像分量值。例如，参考图像可以由参考照相机视点捕 捉，并且它可以与从参考照相机视点的最近邻的照相机视点捕捉的 图像进行比较。使用最近邻的照相机视点，是因为它们与参考图像 可能具有几何上相同样本位置的可见性，并且还因为这很可能减少 不同照相机视点将具有场景中几何表面的扫视视图(如上所述，其 可能导致图像被涂抹穿过表面)的程度。例如，参考图像c
r
(x)可被认 为是漫射和镜面反射图像分量值的和，即参考图像的最近邻的两个是c
a
(x)和c
b
(x)。在步骤s308中，通过寻找 每一样本位置x的图像值c
r
(x)，c
a
(x)和c
b
(x)的最小值，可以找到参考
[0046][0047]
以这种方式，可以恢复参考图像的漫射图像分量值，条件是所有 三个照相机视图中的镜面反射高光(highlighting)不重合。假定所有 三个照相机视图中的镜面反射高光不重合，并且在实践中，这很少是 重要问题，特别对于具有高频表面细节的模型而言。对于每个图像(例 如由照相机104捕捉的8个图像的每一个)，可以重复这种方法，从 而针对每个图像确定漫射图像分量。
[0048]
在步骤s310中，镜面反射分离逻辑206通过从纹理的样本位置 处的图像值减去针对该图像的漫射图像分量值来确定针对每个图像 的镜面反射图像分量值。因此，针对参考图像的镜面反射图像分量 值由给出。
[0049]
图像的漫射图像分量c
d
(x)从镜面反射分离逻辑206输出并提供至 本征颜色分量确定逻辑224的投射纹理逻辑210。本征颜色确定逻辑 224使用漫射图像分量值以确定如下所述的可重新照明纹理的本征颜 色分量(即反照率)。图像的镜面反射图像分量c
s
(x)从镜面反射分离 逻辑206输出并提供至镜面反射反射辐射估计逻辑208。
[0050]
在步骤s312中，投射纹理逻辑使用来自每个图像的漫射图像分 量值对几何投射地纹理化。漫射图像已经被投射到几何上(在步骤 s306中)，使得它们具有在纹理的样本位置处的图像值，并且在步 骤s312中，将投射的漫射图像分量组合以形成纹理t(x)。组合图像值 以形成纹理t(x)的技术是本领域已知的。纹理t(x)从投射纹理逻辑210 提供至场景照明估计逻辑212和阴影估计逻辑214。
[0051]
在步骤s314中，场景照明估计逻辑212使用纹理t(x)(其从图像 的漫射图像分量值形成)，以确定场景的照明估计。然后在步骤s316 中，阴影估计逻辑214使用照明估计以将纹理(其由图像的漫射图像 分量值形成)分离成可重新照明纹理的本征颜色分量ρ(x)和针对纹理 的每个样本位置的表面阴影估计s(x)。其中步骤s314和s316被执行 的方式可能在不同的实现方式中变化。下面提供了可以执行这些步骤 的一种方法的细节。
[0052]
首先，解释对于下文描述的示例有用的一些理论。下面的等式3 给出对象表面上样本位置x处的辐照i(x)(阴影)，根据朗伯外观模型：
[0053]
i(x)＝∫
ω
b(x，ω)r(ω)dω
ꢀꢀ
(3)
[0054]
其中t(x)＝ρ(x)i(x)
ꢀꢀ
(4)
[0055]
b(x，ω)＝v(x，ω)max(0，ω
t
n(x))
ꢀꢀ
(5)
[0056]
且其中r(ω)是辐射函数，b(x，ω)是描述样本位置局部闭塞和前缩 (foreshortening)的函数，v(x，ω)是在样本位置x和观察方向ω的二元 (binary)可见性遮罩(mask)，并且max(0，ω
t
n(x))解释了接收的能量 对入射角的依赖。n(x)是在样本位置x的表面法线。积分是在球ω的表 面上方。t(x)是x处的外观，且ρ(x)是样本位置x处的反照率。
[0057]
本文描述的示例中对两种类型的阴影进行区别对待：附加阴影和 投射阴影。由于样本位置处的表面法线与照明方向之间的点积，“附 加阴影”存在于几何上的样本位置处，但“附加阴影”并不将局部闭 塞考虑在内。由于其和光源之间的另一部分几何，“投射阴影”存在 于几何的样本位置处。ρ(x)的准确估计使用并发地估计的场景辐射估 计r(x)。这在
两个阶段中被解决。首先，将纹理t(x)分段成相似外观的 区域，并且通过忽略等式5中的可见性术语v(x，ω)和直接处理全局的 辐照估计，基于初始分段，附加阴影处理逻辑213获得粗糙的反照率 估计ρ
o
(x)。在第二阶段中，投射阴影处理逻辑215使用反照率估计ρ
o
(x) 以在考虑可见性的情况下初始化完整的辐射估计。
[0058]
因此，在第一阶段，忽略可见性，获得用于全局的辐照的下述等 式：
[0059]
i
g
(n)＝∫
ω
max(0，ω
t
n)r(ω)dω
ꢀꢀ
(6)
[0060]
对样本位置x的依赖已经被去除，使得全局的辐照函数i
g
(n)作为 球体的函数，由表面法线在表面上的每个样本位置处采样。i
g
(n)是r(ω) 与夹紧余弦内核max(0，ω
t
n)的卷积。现已将估计表面上每个样本位置x 的辐照的问题简化为寻找这个全局的辐照函数之一。
[0061]
在一个示例中，首先将纹理t(x)在几何的网状相切空间中分段为 若干个相似外观的区域，为每个区域指定初始反照率估计。应对具有 类似表面法线的几何表面的点类似地照明，并且这一概念可用来执行 纹理片段的本征颜色分量的反照率平衡。对纹理t(x)分段和为每个片 段指定反照率用于后续细化是初始化反照率的有效方式。“反照率
”ꢀ
在本文中也可被称为“本征颜色分量”。用于将纹理分段成类似的外 观区域的方法是本领域技术人员已知的。对于分段u中的每个片段u， 附加阴影处理逻辑213通过平均化片段中的纹理值来找到初始反照率 估计a
′
u
。也就是说，片段u的初始反照率估计a
′
u
由下式给出：
[0062][0063]
使用阴影与表面法线方向强相关的事实来解决针对每个片段辐 照和阴影之间的模糊性，并且辐照穿过表面缓慢变化。以这种方式， 可以从单个帧来恢复粗糙的基于片段的反照率估计ρ
o
。解决静态场景 反照率平衡的问题的全局最优且闭合形式的方案是通过估计全局的 辐照函数来实现，随后对其细化(通过投射阴影处理逻辑215)以将 局部闭塞考虑在内。
[0064]
在单色照明的情况下，片段反照率的初始估计a
′
u
是最终反照率a
u
的缩放版，从而k
n
a
n
＝a
′
n
。寻找片段反照率a
n
的正确比例的问题等同 于确定乘数k
u
。这可以针对一般场景照明情况下的每个颜色通道而被 重复。
[0065]
初始的每个片段阴影估计s
u
(x)通过下式给出：
[0066][0067]
利用低频阴影可视为辐照函数的样本的事实，s
u
(x)可以沿着由 mvs场景重建提供的粗糙表面法线n
o
(x)被投射，以给出在该样本位 置处的全局的辐照函数i
g
(n
o
)的估计i
′
u
(n
o
)，从而：
[0068]
i
g
(n
o
(x))≈k
u
i
′
u
(n
o
(x))＝k
u
s
u
(x)
ꢀꢀ
(9)
[0069]
通过适当选择k
u
使局部辐照估计i
′
u
之间重叠的平方误差总和最小 化。对于两种材料i，j∈u，使q
i，j
为给予i
′
i
和i
′
j
之间的重叠的二元支持函 数。平方误差总和由下式给出：
[0070][0071]
e＝∑
i
∑
j＞i
[k
i
g
ij
‑
k
j
g
ji
]2ꢀꢀ
(11)
[0072]
其中
[0073]
可通过寻找对应于矩阵g的零空间的全局最优k来避免等式10的 迭代细化，定义为如下：
[0074][0075][0076][0077]
其中k是非零向量，且从而gk＝0。作为示例，奇异分量 分析(其可被称为“svd”)可以适用于g，其中k是具有为零的对 应的奇异值的右奇异向量。对k缩放，使得要素处在范围0＜k
i
≤1。 这种方法找到了单一步骤中成本函数的全局最优值且不受到慢收敛 或局部最小值的影响。
[0078]
这些乘数适用于初始反照率估计，以提供全局平衡的粗糙反照率 ρ
o
(x)。应注意，这种方法适用于光滑网格的使用，因为它依赖于每个 片段照明估计之间的重叠。例如，它赋予人类演员以良好的效果，但 对有角的人造物体却会降级(degrade)。
[0079]
由附加阴影处理逻辑213执行的以上描述的方法说明了场景中
ꢀ“
附加”阴影(即由于样本位置处的表面法线与照明方向之间的点积， 几何上的样本位置在阴影中)的原因，但没有将局部闭塞考虑在内， 所以不去除“投射”阴影(即由于其与光源之间的几何的另一部分， 几何上的样本位置在阴影中)。现描述一种联合估计投射阴影与辐射 的方法。
[0080]
投射阴影处理逻辑215确定针对场景的局部辐照估计。由附加阴 影处理逻辑213所确定的场景的全局辐照估计是表面法线的函数。注 意，可通过将二阶球谐函数拟合到到全局辐照估计来对全局辐照估计 进行去噪。投射阴影处理逻辑215使用场景的全局辐照估计与场景的 几何来确定场景中相应样本位置的局部辐照估计。为了做到这一点， 基于在相应样本位置处的全局辐照估计和表面法线，进行相应样本位 置处的初始辐照估计。这些初始辐照估计不考虑场景中的局部闭塞。 然后投射阴影处理逻辑215可以使用场景几何以考虑到场景中的局部 闭塞，以便确定样本位置处的局部辐照估计，如下所述。
[0081]
例如，初始辐照估计可以基于由附加阴影处理逻辑213所确定的 全局平衡粗糙反照率ρ
o
(x)而获得。特别是，i(x)表示表面上样本位置x的 辐照(总入射辐射)。这从t和ρ
o
粗糙估计为i(x)≈t(x)/ρ
o
(x)。这一估 计将用于找到全局辐射函数r(ω)，然后将其用于用投射阴影来更新 i(x)。投射阴影处理逻辑215还获得可见性指示，其依赖视角而指示 场景
中样本位置的可见性。使用所获得的初始辐照估计和所获得的可 见性指示，投射阴影处理逻辑215计算针对场景的角度依赖性辐射估 计。然后投射阴影处理逻辑215可以使用该辐射估计和可见性指示一 起来确定样本位置处的局部辐照估计。具备场景几何的知识允许可见 性指示被确定，并且正是增加了额外信息的这种知识，允许初始辐照 估计通过从初始辐照估计计算辐射估计、然后从该辐射估计计算局部 辐照估计而被细化。局部辐照估计i(x)可用于根据等式确定纹 理t(x)的本征颜色估计ρ
s
(x)。下文提供了对投射阴影处理逻辑215的 操作更详细的说明。
[0082]
为了估计该辐射函数，找到了一种闭合形式的最小二乘解。使用 上面所描述的确定的反照率估计来初始化该步骤，并且不限于动态场 景或具有恒定反照率的场景。作为球体上的函数，以上等式3中的r(ω) 和b(x，ω)可以以球谐函数基础{y
k
}的形式来表示：
[0083][0084]
其中并且通过球谐函 数基础的规格正交性(orthonormality)，等式16简化为：
[0085][0086]
其可以通过直至第k项的部分和估计为
[0087]
给出i(x)和b
x，k
，有待确定系数r
k
。样本位置x的初始辐照估计i(x)可 用于形成每个样本位置处的初始辐照值的向量i
e
。对于表面上点m的 大集合，使得m＞＞k，这可表示为待被最小化的能量泛函e(r
sh
)：
[0088][0089]
其中r
sh
是球谐照明系数r
k
的向量，并且b
sh
是可见性系数b
x，k
的矩阵。 可以用线性最小二乘来最小化能量泛函。该最小的由下式给出：
[0090][0091]
通过在每一顶点位置x处将可见性映射渲染在极投影(polarprojection)中来估计网格顶点处的b(x，ω)。这被投射至球谐基础函数 上以获得系数b
x，k
。
[0092]
提供了可以与可见性一起使用以考虑投射阴影的辐射估 计。辐射估计的准确度依赖于场景中的闭塞水平；其中该场景是完 全凸出的情况下，超过二阶的可靠的球谐(sh)重建无法找到，并 且对于投射阴影去除是确实是不需要的。对于具有中度局部闭塞的 场景，可以可靠地获得直至第四阶的辐射的sh重建。
[0093]
由于照明重建的动机是模拟投射阴影，一个示例中使用重建达第 14阶的球谐函数。虽然这些重建物理上不可靠，但它们产生针对表面 的闭塞区域处的局部辐照的准确结果。使用达至少第10阶的球谐函 数可能是有益的，因为这提供了投射阴影的准确重建。然
而，超出约 第16阶球谐函数可能鼓励过度拟合(类似于吉伯斯现象)，因此在 优选的示例中，使用重建达第k阶的球谐函数，其中10≤k≤16。因此 放松了辐射估计对所有样本位置x应该是正的的约束，条件是从其获 得的局部辐照估计针对所有x是正的。
[0094]
来自不准确的反照率估计的辐照中的任何颜色偏差可能通过将 辐照中的最亮的点设定为白色，并适当地重新平衡颜色通道而去除。 已经估计场景照明，可以细化反照率估计。每个顶点的局部辐照由 给出，并且被插在每个三角形中以找到用于纹 理的每一纹理像素的辐照。获得一种改进的反照率(即 纹理的本征颜色分量)。
[0095]
然而，场景几何的粗糙度可以使用上述方法来完全地防止高频率 t准确分解成反照率和阴影。出于这个原因，引入一种快速的基于双 边滤波器的本征图像方法以从ρ
s
(x)去除高频阴影效果，只留下反照率。 使用自适应fir滤波器用于本征图像提取，而不是明确地最小化能量 泛函，简化了方法并且对于应用到纹理是有效的。
[0096]
使用能量泛函，最小化时，其给出图像t的鲁棒的局部分解成辐 照(阴影)i和反照率(反射率)ρ(如下面的等式20所示)。使用经 修改的双边滤波器内核(kernel)使该能量泛函被有效地最小化。
[0097]
e(ρ，i)＝∑
x∈p
(ρ(x)
‑
∑
y∈n(x)
w(x，y)ρ(y))2+∑
x∈p
(t(x)/i(x)
‑
ρ(x))2ꢀꢀ
(20)
[0098]
其中：
[0099][0100]
以及luma(c)＝[0.299 0.587 0.114]
t
[c
r c
g c
b
]
ꢀꢀ
(22)
[0101]
当适用于向量时如在等式21中，该运算符用来表示矢量的归 一化(normalised)版本。因此函数是在样本位 置x和y处纹理的颜色的方向中具有单位长度的向量之间的点积的反 余弦。两个归一化向量的点积的反余弦表示这两个向量之间的角度， 并应注意，颜色相似度是两种颜色之间的rgb空间中角度上的高斯， 如果我们想像那些颜色作为向量。n(x)是像素x的局部邻域，其将成 为fir再形成中的内核域。p是一组像素位置，其中n(x)是子集。 norm(x，σ2)是x与方差σ2的正态分布。c
r
、c
g
和c
b
分别是像素c的红色、绿 色和蓝色分量。等式20有两个部分。第一部分在被最小化时“拉平
”ꢀ
相似反照率的区域，其中相似度由等式20中的加权函数来限定。等 式20的第二部分执行下述关系t(x)＝ρ(x)i(x)。
[0102]
通过仅迭代地最小化的第一部分，并且每次迭代后将i更新为 i(x)＝t(x)/ρ(x)(其是在本文详细描述的示例中所使用的方法)，根据 以下等式，可以获得类似的结果：
[0103]
atgmin
ρ
e(ρ)＝∑
x∈p
(ρ(x)
‑
∑
y∈n(x)
w(x，y)ρ(y))2ꢀꢀ
(23)
[0104]
以下等式24给出最小化等式23的更新步骤。这已通过实验被 显示是快速会聚。在通过这种方法提取的本征纹理中，由于阴影频 率相对高，因此仅单个应用被需要。ρ的本征颜色分量保持在迭代之 间，这相当于执行同时保持ρ的每个像素的颜色量级。
[0105]
ρ
n+1
(x)＝∑
y∈n(x)
w(x，y)ρ
n
(y)
ꢀꢀ
(24)
[0106]
该fir形成可以写为经修改的双边滤波器，如下面的等式25 中所示。除了常规的亮度术语外，这从等式21引入了色度相似性术 语。
[0107]
方差和适应于局部区域，并且u确保过滤器的权重和为统 一。
[0108][0109]
可检测到的收敛速率和阴影特征比例取决于等式25中内核尺寸 的选择。与大型内核相关联的高方差和导致具有相似反照率的分 离区域之间的“渗色(bleeding)”。较大内核也耗费长的时间来卷 积(convolve)图像。作为一个例子，可以使用15
×
15的内核。
[0110]
代替用原始纹理t初始化，在纹理的情况下，全局阴影针对其已 经被去除的反照率估计ρ
s
被替代使用。这会产生最终的阴影纹理i
f
和最
[0111]
终的本征反照率纹理ρ
f
。
[0112]
图6示出了原始图像分离成本征颜色估计和阴影估计的两个示 例。在第一个示例中，原始图像6021被分离成本征颜色估计6041和 阴影估计6061。在第二个示例中，原始图像6022被分离成本征颜色 估计6042和阴影估计6062。在这两个示例中，从图6可认识到，场 景的原始图像被分离成本征颜色估计(6041或6042)，同时由所捕捉 的图像的特定场景照明引起的照明效果被分离出成为阴影估计(6061或6062)。通过将本征颜色与阴影分离，通过对本征颜色估计应用不 同的照明效果，可以对场景重新照明。为了将不同的照明效果正确地 应用到本征颜色估计，确定场景几何的表面法线，如下所述。
[0113]
所以，跟随步骤s316，在每个样本位置x的图像值t(x)已经被分离 成本征颜色分量估计ρ(x)和表面阴影估计s(x)，使得t(x)＝ρ(x)s(x)。可 将纹理的本征颜色分量ρ(x)存储在存储228中，并且随后可以用于在 任意照明条件下从渲染视点渲染场景的图像。
[0114]
将表面阴影估计s(x)提供至表面法线估计逻辑226。特别地，将表 面阴影估计s(x)提供至第一表面法线逻辑216。在步骤s318中，使用 针对样本位置所确定的照明估计i(x)和所确定的表面阴影估计s(x)，表 面法线估计逻辑226确定样本位置处的表面法线估计。参考图4中的 流程图在下面更详细地描述步骤s318的表面法线确定。针对样本位 置所确定的表面法线估计(图2中示出为n
r
(x))可以与可重新照明的 纹理的本征颜色分量一起存储在存储228中。可重新照明的纹理的本 征颜色分量与表面法线估计的组合允许场景在可以不同于捕捉场景 的原始图像的照明条件的照明条件下被渲染。
[0115]
如上所述，镜面反射分离逻辑206将漫射图像分量值与镜面反 射图像分量值分离，使得漫射图像分量值可用于确定本征颜色分量 估计ρ(x)和表面法线估计n
r
(x)。在一些示例中，不使用镜面反射图像 分量值。然而，在其它示例中，执行可选的步骤s320，其中使用镜 面反射图像分量值c
s
(x)确定镜面反射颜色估计ρ
spec
(x)。为了做到 这一点，镜面反
射辐射估计逻辑208使用图像的所确定的镜 面反射图像分量值来确定辐射估计。
[0116]
例如，在可获得先前知识的情况下，几何的表面区域是镜面反 射的(诸如使用手动预分段)，镜面反射图像可被用来提供高质 量的辐射估计，以帮助反照率估计。用于给定样本位置x和视角方向 ω0的光源ω
ls
方向由下式给出：
[0117][0118]
对于镜面反射图像中的每个点，存在镜面反射高光，可以得到 辐射函数r(x)的样本。当粗糙表面法线n
c
不准确时，它们的起源点周 围会有一定量的样本散射。在采样点x使用反射光线的方向重新恢复 的辐射样本，作为此稀疏样本集合被网状化并 线性地内插以产生完全的辐射估计r
′
。该照明重建可以与如上所述由 场景照明估计逻辑212估计的辐射估计结合使用。以这种方式，辐 射估计r
′
可以与漫射图像分量值一起使用，以确定可重新照明纹理的 本征颜色分量。此外，辐射估计r
′
可被传递到使用其来估计可重新照 明纹理的本征颜色分量(即镜面反射反照率ρ
spec
(x)的镜面反射颜
[0119]
在步骤s322中，由阴影估计逻辑214提供的本征颜色分量ρ(x)、 由表面法线估计逻辑226提供的表面法线估计n
r
(x)和任选地由镜面反 射颜色估计逻辑222提供的镜面反射颜色估计ρ
spec
(x)被存储在存储 228中，随后用于在任意照明条件下从渲染视点渲染场景的图像。
[0120]
参考图4所示的流程图，提供了步骤s318中表面法线估计逻辑 226确定表面法线估计的方式的细节。应注意，对象“表面”的表面 法线指的是对象的“可见表面”，其可以包括或不包括对象的整个表 面，因为它可能是或不是这种情况，即对象的整个表面在一个或多个 照相机104的视野中。然而，应注意，当使用mvs时，将有对于至 少一个照相机104为不可见的非常少的几何。
[0121]
在两个阶段中执行表面法线估计。在第一步骤中，在几何中对象 表面上样本位置x获得一些表面法线估计。在一些示例中，可以将这 些初始表面法线估计提供至表面法线估计逻辑226，但在本文详细描 述的示例中，这些表面法线估计由第一表面法线逻辑216确定。特别 地，第一表面法线逻辑216使用所确定的照明估计i(x)和所确定的表 面阴影估计s(x)来确定初始表面法线估计n
i
(x)。第一表面法线逻辑216 还可以使用从为场景构建的几何中预测的场景中的对象的粗糙表面 法线n
c
(x)。
[0122]
第一表面法线逻辑216使用每个纹理像素的方法，通过优化针对 纹理s(x)的表面阴影估计，以在辐照i(x)最大增加的方向上拟合表面法 线n
i
(x)。缺乏对邻近纹理像素的依赖意味着这可以例如使用opengl 着色语言(glsl)片段着色器并行有效地完成。
[0123]
例如，第一表面法线逻辑216可以通过找到最小化误差度量 e(n(x))的表面法线来确定样本位置x的表面法线估计n
i
(x)，该误差度量 包括在针对样本位置所确定的表面阴影估计s(x)和针对表面法线方向 所确定的照明估计之间i(n)的差异测量。误差度量还包括正则 (regularization)项λ(n，n
o
)，其是针对样本位置的表面法线n(x)和针对 从几何预测的样本位置的粗糙表面法线n
c
(x)之间的差的函数。也就是 说，第一表面法线逻辑216最小化e(n(x))，以使用全局辐照度i(n)来确 定n(x)，其中e(n(x))通过以下等式给出：
[0124]
e(n(x))＝||s(x)
‑
i(n)||1+λ(n，n
c
)
ꢀꢀ
(27)
[0125]
l1范数(norm)用在等式27中，因为它在噪声存在时是鲁棒的。 当拟合表面法线时，mvs重建会给出可能的表面法线的良好指示。 即，所拟合法线n(x)从粗糙法线n
o
(x)的大偏离(deviation)是不可能的 并且因此使用正则项λ(n，n
c
)对其惩罚。正则项λ(n，n
c
)可例如通过下式 来定义：
[0126][0127]
其中λ是可以实验地确定的参数。作为示例，可使用λ＝0.025的值。
[0128]
由第一表面法线逻辑216确定的表面法线被视为“初始”表面法 线n
i
(x)。这些表面法线估计n
i
(x)表示第一表面法线场n
i
。由于初始表 面法线n
i
(x)彼此独立地被确定，因此不能保证它们将实际上表示物理 表面。即，在确定分离的表面法线估计n
i
(x)中的错误和/或含糊有可能 使第一表面法线场n
i
成为非保守场。例如，当将表面法线拟合至阴影 纹理时，该表面法线仅能在照明估计i(x)的梯度方向上拟合，保持横 向分量不变。例如，图7示出从上方照亮的场景中针对对象所确定的 初始表面法线n
i
(x)的表示7020。7020下的三个表示示出表面法线n
i
(x) 的x，y和z分量，其中x轴是水平的，y轴是垂直的，z轴是从纸页 出去，以使得照明与y轴对准。特别地，表示702x示出表面法线n
i
(x) 的x分量，表示702y示出面表面法线n
i
(x)的y分量，以及表示702
z
示出表面法线n
i
(x)的z分量。可以看出，初始表面法线估计包含在x 和z方向即垂直于照明方向的较少细节，但包含y方向即平行于照明 方向的较多细节。此外，初始表面法线估计可包括离开由下面的低频 几何限定的平均法线的一些漂移。
[0129]
应注意的是，物理表面与保守表面法线场相关联。然而，第一表 面法线场n
i
可包括非保守分量和保守分量。也就是说，第一表面法线 场n
i
不被约束为保守的，但它确实有保守分量。第一表面法线场n
i
的 保守分量可表示物理表面，因此如果第一表面法线场n
i
的保守分量可 被确定，则这可提供表面的表面法线的更真实的估计。
[0130]
将由第一表面法线逻辑216确定的初始表面法线n
i
(x)提供给高 度映射构建逻辑218。在步骤s404中，高度映射构建逻辑218基于 第一表面法线场n
i
的保守分量构建场景中对象表面的高度映射。如果 在所有点的场的旋度(curl)为零，则该场是保守的。第一表面法线 场n
i
的发散可用于构建高度映射，使得高度映射是基于第一表面法线 场n
i
的保守分量而构建。取第一表面法线场n
i
的发散会去除非保守分 量，因为任何向量场(例如)的旋度的发散都为零，无 论场f如何。
[0131]
表面法线估计逻辑226确定表示保守的表面法线场n
r
的细化表面 法线估计n
r
(x)。保守的向量场可以表示为标量场的梯度。因此，真实 世界的表面法线长应是高度映射h的可代替表示，使得：
[0132][0133]
由于第一表面法线场n
i
的发散不包括该第一表面法线场n
i
的非 保守分量，因此可使用下面的等式：
[0134]
[0135]
然后可以使用泊松方程版本来构建高度映射。例如，基于相邻 的样本位置的高度和基于第一表面法线场n
i
的发散，可使用迭代松弛 法来确定每个样本位置的高度。该“相邻的”样本位置例如可以是从 当前样本位置水平方向和垂直方向上的最近邻。
[0136]
例如，在迭代松弛法的第i次迭代中，对象表面上样本位置(x，y) 的高度h
i
(x，y)可由下式给出：
[0137][0138]
其中δ是相邻的样本位置之间的间隔。
[0139]
为了防止表面法线中的低频偏移影响结果，若干次迭代后终止 松弛法，使得松弛法在会聚之前终止。对于每次迭代，样本位置处的 高度值考虑了距离样本位置更远的邻居。可以预定迭代的次数，并提 供一些示例，可以是3个或4个。备选地，高度映射构建逻辑218可 以控制迭代次数，例如基于已处理过的先前图像的评估以及表面法线 中的低频偏差是否在影响结果。
[0140]
将高度映射提供给第二表面法线逻辑220。在步骤s406中， 第二表面法线逻辑220使用高度映射h确定对象表面上样本位置处的 表面法线估计n
r
(x)。如上所述，细化的表面法线估计n
r
(x)表示场景中 对象表面的保守表面法线场。如上所述，可以确定高度映射h的梯度， 从而根据上面给出的等式29确定细化的表面法线估计n
r
(x)。以这种 方式，细化的表面法线估计n
r
(x)描述了可表示物理表面的保守的表面 法线场n
r
。
[0141]
初始表面法线估计n
r
(x)彼此独立地被确定。然而，使用如上所 述的泊松方程带来相邻表面法线估计之间的相关性。以这种方式，垂 直于照明方向的表面法线方向的模糊性可至少部分地被解决，产生更 好地描述物理表面的细化表面法线估计n
r
(x)。这通过在表面法线场中 执行保守主义来实现。
[0142]
例如，图7示出确定用于由7020表示的相同对象的细化表面 法线n
r
(x)的表示7040，其从上方被照亮。7040下的三个表示示出表面 法线n
r
(x)的x、y和z分量。特别地，表示704
x
示出表面法线n
r
(x)的x 分量，表示704
y
示出表面法线n
r
(x)的y分量，以及表示704
z
示出表 面法线n
r
(x)的z分量。可以看出，细化表面法线估计n
r
(x)比初始表面 法线估计n
i
(x)包含更多细节，特别是在x和z方向，即垂直于照明方 向。
[0143]
如上所述，将细化表面法线估计n
r
(x)提供给存储228用于在其 中存储，随后要被用于在任意照明条件下例如从渲染视点来渲染场景 的图像。
[0144]
图像处理系统200可以在计算机系统(诸如图8所示的那个) 中实现，图8中包括gpu 802、cpu 804、存储器806和其它设备808， 诸如显示器810、扬声器812、照相机814和小键盘816。该计算机系 统的组件经由通信总线818可以彼此通讯。处理块202可作为图8所 示gpu 802的一部分被实现(例如在硬件中)。备选地，通信，处理 块可在cpu 804上实现。如果处理块的功能在软件中实现，那么该软 件可以在存储器806中被存储为计算机程序代码，并且可在计算机系 统中的处理单元(例如，在gpu 802或cpu 804上)上被执行，从 而配置处理单元的硬件以执行本文所述的处理块202的功能。注意， 存储228可以是存储器806的一部分。
[0145]
通常，以上描述的任何功能、方法、技术或组件可以使用软件、 固件、硬件(例如固
定逻辑电路)或这些实现方式的任何组合在模块 来实现。术语“模块”、“功能”、“组件”、“块(block)”和“逻 辑”在本文中用于通常表示软件、固件、硬件或其任何组合。
[0146]
在软件实现方式的情况下，当在处理器(例如，一个或多个 cpu)上执行时，模块、功能、块、组件或逻辑表示执行指定任务的 程序代码。在一个示例中，该方法可以通过配置有存储在计算机可读 介质上以机器可读形式的计算机程序产品的软件的计算机来执行。计 算机可读介质的一个这样的配置是信号承载介质，因此其被配置为传 送指令(例如，作为载波)到计算设备，诸如经由网络。计算机可读 介质还可以被配置为计算机可读存储介质，因而不是信号承载介质。 计算机可读存储介质的示例包括随机存取存储器(ram)、只读存储 器(rom)、光盘、闪存存储器、硬盘存储器以及可使用磁的、光的、 和存储指令或其它数据的其它技术以及可通过机器范围的其它存储 器设备。
[0147]
当该程序在计算机上运行且计算机程序可以在计算机可读介 质上体现时，该软件可以是包括用于配置计算机以执行所描述方法的 组成部分的计算机程序代码形式，或者包括适于执行本文所描述任何 方法的所有步骤的计算机程序代码装置的计算机程序形式。该程序代 码可被存储在一个或多个计算机可读介质中。本文所描述的技术的特 征是与平台无关的，这意味着这些技术可在具有各种处理器的各种计 算平台上实现。
[0148]
本领域的技术人员还将认识到，所有的或部分的功能、技术或 方法可以通过专用电路、专用集成电路、可编程逻辑阵列、现场可编 程门阵列等来实现。例如，模块、功能、组件、块或逻辑(例如处理 块202中的逻辑块204至226)可包括电路形式的硬件。这种电路可 以包括晶体管和/或制造过程中可用的其它硬件元件。以举例的方式， 这类晶体管和/或其它元件可被用于形成电路或实现和/或包含存储器 的结构(诸如寄存器、触发器或锁存器)，逻辑运算符(诸如布尔运 算)，数学运算符(诸如加法器、乘法器或移位器)，以及连接线。 这样的元件可以提供为定制电路或标准单元库、宏或抽象的其它水 平。这样的元件可以以特定布置互连。模块、功能、组件或逻辑可以 包括固定功能的电路和可以被编程以执行一种或多种功能的电路；这 样的编程可以由固件或软件更新或控制机制来提供。在示例中，硬件 逻辑具有实现固定功能操作、状态机或过程的电路。
[0149]
还意图包括软件，其“描述”或者定义实现如上所述的模块、 功能、块、组件或逻辑的硬件配置，诸如hdl(硬件描述语言)软件， 用于设计集成电路，或者用于配置可编程芯片以实现期望的功能。即， 可以提供一种计算机可读存储介质，具有编码在其上的计算机可读程 序代码，用于生成被配置以执行本文所述的任何方法的处理快，或用 于生成包含本文描述的任何装置的处理块。
[0150]
术语“处理器”和“计算机”在本文中用于指具有处理能力以 使其能够执行指令的任何设备或其部分，或能够实现全部或部分功能 或方法的专用电路，或它们的任何组合。
[0151]
虽然已经以特定于结构特征和/或方法动作的语言描述了本主 题，但是应理解，所附权利要求中限定的主题不必限于上面描述的特 定特征或动作。相反，上面描述的特定特征和动作作为实现权利要求 的示例形式被公开。应理解，上面描述的益处和优点可以涉及一个示 例或者可以涉及数个示例。
[0152]
本文给出的任何范围或值可以被扩展或者改变而不失去所追 求的效果，这对本领域技术人员是显而易见的。本文描述的方法的步 骤可以任何合适的顺序或适当情况下同时实现。上面描述的任何示例 的方面可以与描述的任何其它示例的方面进行组合，以形
成另外的示 例而不失去所追求的效果。
[0153]
如上所述，在一些示例中，提供了一种确定针对包括镜面反射 分量的场景可重新照明纹理的本征颜色分量的方法，其中，场景的多 个图像从相应的多个照相机视点捕捉并被投射到场景中表示对象的 几何上，该方法包括：
[0154]
基于从一组多个图像的样本位置处的最小图像值，确定纹理的多 个样本位置的每一个处的漫射图像分量值；
[0155]
利用漫射图像分量值以确定可重新照明纹理的本征颜色分量；以 及
[0156]
存储可重新照明纹理的本征颜色分量，用于后续在任意照明条件 下从渲染视点来渲染场景的图像。
[0157]
该方法可以进一步包括：接收已从相应的多个照相机视点捕捉 的场景的多个图像；分析(例如通过场景分析逻辑)场景的图像以构 建表示场景的对象的几何；以及将图像投射(例如通过场景分析逻辑) 至几何上。所述将图像投射至几何上可以包括翘曲(例如通过场景分 析逻辑)至少一个图像，使得所投射的图像彼此更好地对准。此外， 该方法可以进一步包括：执行所投射的图像的颜色校准(例如通过场 景分析逻辑)，从而减少所投射的图像之间的差异。所述执行所投射 的图像的颜色校准可以包括：比较纹理的样本位置处的所投射图像的 图像值x
i
，并找到针对每个所投射图像的尺度参数a
i
和偏移参数b
i
，使 得针对不同图像i的颜色校准图像值之间的差异(a
i
x
i
+b
i
)最小化。
[0158]
确定针对多个样本位置的每一个处的漫射图像分量值，所述组 的多个图像可包括在其中样本位置是可见的一些或所有图像。所述组 的多个图像可仅包括那些图像，即对于那些图像，样本位置处的表面 法线和照相机视点的观察方向之间的角度为小于阈值角度的图像。
[0159]
可以针对每个图像确定漫射图像分量值(例如通过镜面反射分 离逻辑)。此外，对于特定图像，基于来自包括特定图像的一组图像 的样本位置处的最小图像值和具有样本位置的可见性的至少另一个 图像，可以确定(例如通过镜面反射分离逻辑)每个样本位置处的漫 射图像分量值。所述特定图像可以从特定的照相机视点捕捉，并且所 述至少另一个图像可以包括从特定照相机视点的最近邻的照相机视 点捕捉的多个图像。该方法可以进一步包括：针对每个图像，通过从 纹理的样本位置处的图像值减去针对该图像的漫射图像分量值来确 定(例如通过镜面反射分离逻辑)镜面反射图像分量值。该方法可以 进一步包括：使用所确定的图像的镜面反射图像分量值来确定辐射估 计(例如通过辐射估计逻辑)。例如，所确定的辐射估计可以是：(i) 与漫射图像分量值一起使用以确定可重新照明纹理的本征颜色分量， 和/或(ii)用于估计可重新照明纹理的镜面反射颜色分量。
[0160]
使用漫射图像分量值以确定可重新照明纹理的本征颜色分量 的步骤可以包括：使用漫射图像分量值(例如，通过场景照明估计逻 辑)以确定场景的照明估计；以及使用所确定的照明估计(例如，通 过阴影估计逻辑)将漫射图像分量值分离成可重新照明纹理的颜色分 量以及针对纹理的每一样本位置的表面阴影估计。此外，该方法可以 进一步包括：使用针对相应样本位置所确定的照明估计和所确定的表 面阴影估计来确定该样本位置处的表面法线估计(例如，通过表面法 线估计逻辑)。
[0161]
此外，可以提供一种图像处理系统，其被配置为确定针对包括 镜面反射分量的场景的可重新照明纹理的本征颜色分量，其中该图像 处理系统被配置为使用从相应的多个
照相机视点捕捉的并被投射到 表示场景中对象的几何上的场景的多个图像，该图像处理系统包括：
[0162]
镜面反射分离逻辑，被配置为基于来自一组多个图像的样本位置 处的最小图像值来确定纹理的多个样本位置的每一个处的漫射图像 分量值；
[0163]
本征颜色分量确定逻辑，被配置为使用漫射图像分量值以确定可 重新照明纹理的本征颜色分量；以及
[0164]
存储，被配置为存储可重新照明纹理的本征颜色分量，用于后续 在任意照明条件下从渲染视点来渲染场景的图像。
[0165]
此外，如上所述，在一些示例中，提供了确定针对图像处理系 统中场景的局部辐照估计的方法，该方法包括：
[0166]
获得针对场景中一个或多个表面上的样本位置的初始辐照估计， 该初始辐照估计是基于针对场景的全局辐照估计；
[0167]
获得指示场景中依赖于视角的样本位置的可见性的可见性指示；
[0168]
使用所获得的初始辐照估计和所获得的可见性指示计算针对场 景的角度依赖性辐射估计；以及
[0169]
使用该辐照估计和该可见性指示来确定样本位置处的局部辐照 估计。
[0170]
该方法可以进一步包括使用局部辐照估计来确定针对纹理的 本征颜色估计。全局辐照估计可取决于表面法线，并且所述获得针对 场景中一个或多个表面上样本位置的初始辐照估计可包括使用样本 位置的表面法线通过对全局辐照估计进行采样来确定初始辐照估计。
[0171]
针对场景的全局辐照估计可以由以下来确定：分析(例如通过 场景分析逻辑)场景的至少一个视图以估计描述场景中一个或多个表 面的场景几何并且将初始纹理分段成多种材料，该初始纹理可被分离 成本征颜色估计和对应的阴影估计；确定(例如，通过附加阴影处理 逻辑)每种材料的初始粗糙本征颜色估计；确定(例如，通过附加阴 影处理逻辑)一个或多个比例因子，用于缩放相应的一个或多个初始 粗糙本征颜色估计，该比例因子是基于针对材料确定的材料辐照估计 和与材料的初始粗糙本征颜色估计的缩放版对应的阴影估计之间的 差异而确定的；以及使用所确定的比例因子确定(例如，通过场景照 明估计逻辑)全局辐照估计作为表面法线的函数。
[0172]
对于每种材料，通过找到该材料的初始纹理中的平均值可以确 定(例如，通过附加阴影处理逻辑)初始粗糙本征颜色估计。所述使 用所确定的比例因子确定全局辐照估计(例如，通过场景照明估计逻 辑)可包括：使用所确定的比例因子缩放一个或多个初始粗糙本征颜 色估计；以及使用缩放的粗糙本征颜色估计来确定全局辐照估计作为 表面法线的函数。所述使用缩放的粗糙本征颜色估计(例如，通过场 景照明估计逻辑)来确定全局辐照估计可包括：组合缩放的粗糙本征 颜色估计以形成全局粗糙本征颜色估计；以及使用全局粗糙本征颜色 估计来确定全局辐照估计作为表面法线的函数。该方法还可以包括将 二阶球谐函数拟合到全局辐照估计(例如，通过场景照明估计逻辑)， 从而对全局辐照估计进行去噪。
[0173]
所述确定一个或多个比例因子(例如，通过场景照明估计逻辑) 可包括：确定材料辐照估计的重叠区域中不同材料的材料辐照估计之 间的差异的测量，所述差异的测量依
赖于比例因子，其中，对于特定 比例因子，材料的材料辐照估计匹配于用该特定比例因子缩放的初始 粗糙本征颜色估计的版本对应的阴影估计；并且确定比例因子以便最 小化差异的测量。
[0174]
所述获得可见性指示(例如，通过投射阴影处理逻辑)可包括： 基于通过分析场景的至少一个视图而确定的描述场景中一个或多个 表面的所估计的场景几何，来确定可见性指示。投射阴影处理逻辑还 可以被配置为使用局部辐照估计来确定纹理的本征颜色估计。
[0175]
可见性指示可以是针对样本位置x和针对达到第k阶球谐函数 的第k阶球谐函数的球谐函数系数b
x，k
的形式。
[0176]
所述计算场景的角度依赖性辐射估计(例如，通过投射阴影处 理逻辑)可以包括确定针对达到第k阶球谐函数的第k阶球谐函数的球 谐函数系数r
k
，其中该辐射估计根据以下等式计算：
[0177]
r
*
＝(b
t
b)
‑1b
t
i
b
[0178]
其中r
*
是针对辐射估计的球谐函数系数r
k
的向量，b是针对可见性指示 的球谐函数系数b
x，k
的矩阵，并且i
r
是针对样本位置x的所获得的初始 辐照估计的向量。
[0179]
样本位置x处的局部辐照估计i(x)可以根据以下等式来确定(例 如，通过投射阴影处理逻辑)
[0180][0181]
其中b
x，k
是针对样本位置x处可见性指示的第k阶球谐函数系数，并且其 中r
k
是针对辐照估计的第k阶球谐函数系数。k可以在10≤k≤16的范围 内，并且在一个特定的示例中k＝14。
[0182]
此外，可以提供一种图像处理系统，其包括被配置为确定场景 的局部辐照估计的场景照明估计逻辑，其中该场景照明估计逻辑被配 置为：(i)获得针对场景中一个或多个表面上样本位置的初始辐照估 计，其中初始辐照估计是基于针对场景的全局辐照估计，以及(ii) 获得指示场景中依赖于视角的样本位置的可见性指示，其中该场景照 明估计逻辑包括：
[0183]
投射阴影处理逻辑，被配置为(i)使用所获得的初始辐照估计和 所获得的可见性指示来计算针对场景的角度依赖性辐射估计，以及 (ii)使用该辐射估计和该可见性指示来确定样本位置处的局部辐照 估计。