专利名称：基于自由视角光照传输矩阵的重光照方法及系统的制作方法
技术领域：
本发明涉及计算机图像处理技术领域，特别涉及一种基于自由视角光照传输矩阵 的重光照方法及系统。
背景技术：
随着数字采集及处理技术的飞速发展，静态图像和动态视频已成为日常生活和科 学研究中广泛存在的一种媒体格式。而在数据采集过程中，光照条件对场景的成像质量和 效果有着至关重要的影响，而拍摄视角的变化，也会带来不同的效果。而由于许多理想光照 条件在现实环境中是难以实现或实现成本过高的，因此需要真实感的重光照方法，能够将 我们感兴趣的目标物体，渲染至任意光照条件，并支持任意视角的场景显示；且真实场景的 光照特性往往也是复杂且难以利用解析光照模型进行描述的，因此需要一种新的光照特性 表达方式，对物体表面各向异性的光照特性进行记录及表示。根据物体光照特性表达方式的差异，现有的重光照方法主要包括基于解析光照模 型及光照传输矩阵两类。基于解析光照模型的重光照方法，主要通过在多种可控光照条件下，对物体进行 拍摄，并结合参数化光照模型，恢复物体表面的几何及反射属性信息，从而根据光照模型在 新的光照条件下对物体进行重光照操作，并渲染至自由视角进行显示。由于需要使用参数 化光照模型进行求解(如漫反射光照模型，球谐函数，双线性模型，张量样条等)，此类方法 往往只能对有限类别的理想材质表面(如朗伯表面)进行准确、简洁的表示及处理；在对真 实世界中广泛存在的真实物体进行描述时，真实度往往不够理想，且利用解析光照模型进 行渲染的计算复杂度也较高。基于图像的重光照方法，是将多种密集可控光照条件下采集的物体图像作为基向 量，表示物体表面接受各种情况的入射光对光照进行传输发射反射光照的过程，即利用这 些基向量组成光照传输矩阵对物体光照特性进行描述；通过对基向量进行线性组合，实现 目标物体的重光照操作。由于在这一过程中，无需利用解析光照模型进行参数求解，而是直 接将采集图像作为基向量进行组合，因此重光照效果的真实性较高。但相应的代价是，此 种方法需要对目标物体在密集光照条件下进行采集，采集成本及复杂度较高，且由于三维 几何信息的缺失，此类方法很难实现自由视角的渲染，且目前已有的光照传输矩阵，只能对 固定视角观察得到的物体表面反射特性进行表示，不能对视角各向异性的光照特性进行记 录。现有技术存在的缺点是，目前需要本领域技术人员迫切解决的一个技术问题就 是，如何提供一种高效的，能够对各向异性的光照特性进行表示的，支持自由视角观察的场 景重光照方法。
发明内容
本发明的目的旨在至少解决上述技术缺陷，提出了一种基于自由视角光照传输矩阵的重光照方法及系统。为达到上述目的，本发明一方面提出一种基于自由视角光照传输矩阵的重光照方 法，包括以下步骤在预设的可控变化光照条件下，利用摄像阵列在预设的多个曝光程度下 分别采集目标物体对应的多组多视角视频图像；根据获得的所述多组多视角视频图像获得 所述目标物体的反照率信息和在起始时刻的三维模型和表面法向；根据所述表面法向、光 照方向和观察方向三者间的相对位置对多视角变光照的目标信息进行融合，以生成支持各 向异性光照特性表示的所述目标物体的自由视角光照传输矩阵；根据所述表面法向和所述 自由视角光照传输矩阵对所述目标物体进行重光照操作，以生成重光照目标物体模型；和 结合依赖视角的模型渲染算法，实现自由视角的动态场景重光照。本发明另一方面还提出了一种基于自由视角光照传输矩阵的重光照装置，包括 可控光源，用于产生预设的可控变化光照条件；摄像阵列，用于在预设的可控变化光照条件 下，在预设的多个曝光程度下分别采集目标物体对应的多组多视角视频图像；和重光照装 置，用于根据获得的所述多组多视角视频图像获得所述目标物体的反照率信息和在起始时 刻的三维模型和表面法向，并根据所述表面法向、光照方向和观察方向三者间的相对位置 对多视角变光照的目标信息进行融合，以生成支持各向异性光照特性表示的所述目标物体 的自由视角光照传输矩阵，接着根据所述表面法向和所述自由视角光照传输矩阵对所述目 标物体进行重光照操作，以生成重光照目标物体模型，以及结合依赖视角的模型渲染算法， 实现自由视角的动态场景重光照。本发明针对各向异性的光照特性提出了一种实用的表示方法，并且支持自由视角 的重光照效果观察。另外，本发明原理简单、明确，且易于实现。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明实施例的基于自由视角光照传输矩阵的重光照方法流程图；图2a和图2b分别为本发明实施例动态场景采集示意图和摄像阵列布置示意图；图3为本发明实施例获得自由视角光照传输矩阵的流程图；图4为本发明实施例的自由视角重光照流程图；图5为本发明实施例的基于自由视角光照传输矩阵的重光照装置结构图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本发明的主要构思在于，利用多视角拍摄的可控光照下的场景成像信息；根据物 体表面各点法向、光照、观察方向三者间的相对位置，生成支持各向异性光照特性表示的目 标物体的自由视角光照传输矩阵；并结合依赖视角的模型渲染算法，实现自由视角的场景重光照操作。如图1所示，为本发明实施例的基于自由视角光照传输矩阵的重光照方法流程 图。该方法包括以下步骤步骤S101，对目标物体，在预设的可控变化光照条件下，利用摄像阵列在预设的多 个曝光程度下分别采集目标物体对应的多组多视角视频图像。在本发明的一个实施例中， 在由200组LED光源形成的200种可控变化光照条件(L1山，· · ·，LM，M = 200)下，利用20 摄像阵列采集目标物体的变光照成像视频，如图2a和图2b所示，分别为本发明实施例动态 场景采集示意图和摄像阵列布置示意图。具体地，该步骤包括1. 1、对摄像阵列进行几何及颜色校准，并将摄像阵列与可控光源进行同步校准。1. 2、在采集场景中央放一枚水晶球，在完整的由200种光源组合构成的光照序列 下利用摄像阵列对水晶球进行同步采集。1. 3、对20组视角拍摄视频中的各帧水晶球图像进行全景拼图，得到对应1. 2中 100种光照条件的场景光照环境图。1.4、将目标物体置于采集场景中，利用摄像阵列采集得到多视角成像信息，且采 集过程中控制同一光照条件分别采集曝光程度为1/2、1、2的三组图像，从而合成高动态范 围图像，以对目标物体的光照特性进行充分展示。本发明通过对可控光源和摄像阵列的控制，可以保证目标物体在光照空间的高效 采样。步骤S102，根据获得的所述多组多视角视频图像获得所述目标物体的反照率信息 和在起始时刻的三维模型和表面法向。参照图3所示，为本发明实施例获得自由视角光照 传输矩阵的流程图。该步骤具体包括2. 1利用初始时刻均勻光照条件下拍摄的多视角图像，计算物体三维模型及表面法向。2. 2结合匹配特征点及多视角相机校准参数，利用鲁棒的主分量分析方法(RPCA) 对物体表面各点在不同光照条件各视角采集数据中的置信度进行筛选，选择高置信度的成 像信息计算物体表面各点的反照率信息。因为对于常见的多种材质，光照特性主要还是以低频分量为主，而视频图像采集 过程中存在的噪声、遮挡阴影、高光区域的过饱和状态等则是以不符合这一低频特性的差 残分量存在的，因此本发明实施例可以考虑利用RPCA对这类区域首先进行剔除，选出正常 表示物体光照特性的像素区域进行后续计算，这部分正常表示物体光照特性的像素区域即 为高置信度区域。因此，在本发明的一个实施例中，所述根据置信度进行筛选包括对各像素 在不同时刻采集数据中的过饱和和/或不可见性进行筛选。本发明实施例通过对过饱和和 /或具有不可见性的像素进行筛选，从而能够使光度立体的恢复结果准确性得到保证。步骤S103，结合球谐函数光照模型，对目标物体表面各点法向进行优化，获取更为 精准的目标物体的法向信息及三维模型。3. 1、结合球谐函数模型，设计能量函数，对上述步骤计算得到的物体表面法向进 行优化，对由于遮挡等问题造成的错误法向进行修正。I = LS可以看作是基于球谐函数的 光照模型，能量函数可以为如下形式min| |W(I_L · S) I |+c · AS
其中W为权重矩阵(应为对角阵的形式)，对于I-LS具有较大误差的表面点j， W(j，j)的取值应较小。S对应物体表面各点球谐图像，由物体表面的反照率和法向情况共同决定，Δ S是 对物体表面各点的反照率及法向一致性进行约束。C为可调整的一个系数，用以决定前后两 项的约束强弱。具体优化过程，可以利用初始反照率和法向信息，计算得到W0，然后利用上式优化 求解S'，然后根据S'，将权重矩阵更新为W'，然后继续利用设定的目标函数进行求解， 实现对S'的迭代优化，即达到对物体表面法向进行优化的目的。3. 2、利用优化后的物体表面法向信息，获得更为精准的物体三维模型。步骤S104，根据所述表面法向、光照方向和观察方向三者间的相对位置对多视角 变光照的目标信息进行融合，以生成支持各向异性光照特性表示的所述目标物体的自由视 角光照传输矩阵。在本发明中自由视角重光照传输矩阵可以对各向异性的物体光照特性进 行表示。具体包括以下步骤4. 1、对目标物体表面的各顶点，在各采集时刻，计算3. 1中优化得到的该点法线 方向(法向)与该时刻光照方向间的相对位置(相对光源方向)，及该时刻定点法向与各拍 摄视角见的相对位置(相对观察方向)。4. 2、自由视角光照传输矩阵是用以表示场景反射特性的三维矩阵，三个维度分别 对应场景空间位置、光源方向、观察视角的变化，矩阵元素对应场景中一点接受某一相对光 源方向的入射光，并从某一相对观察方向进行拍摄时，采集得到的成像信息。根据4. 1中的 计算结果，可将多视角变光照采集数据中的高置信度区域中的各像素分别填充至自由视角 光照传输矩阵的相应位置。4. 3、利用目标物体表面各点反射属性的局部平滑及低秩特性作为约束，对步骤 4. 2中填充后的自由视角光照传输矩阵中可能存在的缺损元素进行恢复，生成完整的场景 自由视角光照传输矩阵。本发明采用局部平滑及低秩特性作为约束，对由于遮挡或采样密 度有限造成的自由视角光照传输矩阵中的缺损元素进行恢复。步骤S105，根据所述表面法向和所述自由视角光照传输矩阵对所述目标物体进行 重光照操作，以生成重光照目标物体模型。如图4所示，为本发明实施例的自由视角重光照 流程图。该步骤具体包括以下步骤5. 1、根据用户给定的光照环境，生成光照环境图，并将其表示为多种基光照环境 图的线性叠加。5. 2、分别计算5. 1中得到的各种基光照条件，与各采集时刻物体表面各点的相对 光源方向，并从自由视角光照传输矩阵中选择相应元素，生成各时刻的目标物体的基光照 自由视角成像信息。5. 3、按照5. 1中计算得到的线性叠加方式，对5. 2中得到的基光照自由视角成像 信息进行线性加权，生成目标物体对应各采集时刻的重光照自由视角成像信息，从而获得 重光照目标物体模型。步骤S106，结合依赖视角的模型渲染算法，实现自由视角的动态场景重光照。具体 包括6. 1、对于任意观察视角，计算该观察视角与该时刻物体表面各点的相对观察方
7向，从而根据该时刻目标物体的重光照自由视角成像信息，结合依赖视角的渲染方法，生成 场景的自由视角重光照效果。如图5所示，为本发明实施例的基于自由视角光照传输矩阵的重光照装置结构 图。该装置包括可控光源100、摄像阵列200和重光照装置300。可控光源100用于产生预 设的可控变化光照条件。摄像阵列200用于在预设的可控变化光照条件下，在预设的多个 曝光程度下分别采集目标物体对应的多组多视角视频图像。重光照装置300用于根据获得 的所述多组多视角视频图像获得所述目标物体的反照率信息和在起始时刻的三维模型和 表面法向，并根据所述表面法向、光照方向和观察方向三者间的相对位置对多视角变光照 的目标信息进行融合，以生成支持各向异性光照特性表示的所述目标物体的自由视角光照 传输矩阵，接着根据所述表面法向和所述自由视角光照传输矩阵对所述目标物体进行重光 照操作，以生成重光照目标物体模型，以及结合依赖视角的模型渲染算法，实现自由视角的 动态场景重光照。在本发明的一个实施例中，重光照装置300还用于获得所述预设的可控变化光照 条件中各个光照状态对应的场景光照环境图。在本发明的一个实施例中，重光照装置300还用于结合匹配特征点和多视角相机 校准参数，利用鲁棒的主分量分析方法RPCA对所述目标物体的表面各点在不同光照条件 下各视角采集数据中置信度进行筛选，选择高置信度的成像信息计算所述目标物体表面各 点的反照率信息。在本发明的一个实施例中，重光照装置300还用于结合球谐函数光照模型对所述 目标物体各点的法向进行优化，以获得所述目标物体精确的方向和三维模型。本发明针对各向异性的光照特性提出了一种实用的表示方法，并且支持自由视角 的重光照效果观察。另外，本发明原理简单、明确，且易于实现。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
一种基于自由视角光照传输矩阵的重光照方法，其特征在于，包括以下步骤在预设的可控变化光照条件下，利用摄像阵列在预设的多个曝光程度下分别采集目标物体对应的多组多视角视频图像；根据获得的所述多组多视角视频图像获得所述目标物体的反照率信息和在起始时刻的三维模型和表面法向；根据所述表面法向、光照方向和观察方向三者间的相对位置对多视角变光照的目标信息进行融合，以生成支持各向异性光照特性表示的所述目标物体的自由视角光照传输矩阵；根据所述表面法向和所述自由视角光照传输矩阵对所述目标物体进行重光照操作，以生成重光照目标物体模型；和结合依赖视角的模型渲染算法，实现自由视角的动态场景重光照。
2.如权利要求1所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括获得所述预设的可控变化光照条件中各个光照状态对应的场景光照环境图。
3.如权利要求2所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，所述 获得预设的可控变化光照条件中各个光照状态对应的场景光照环境图进一步包括在采集场景中央放置一枚水晶球，在所述预设的可控变化光照条件下利用所述摄像阵 列对水晶球进行拍摄；对所述摄像阵列拍摄的视频中的各帧水晶球图像进行全景拼图，以获得所述预设的可 控变化光照条件下各光照状态对应的场景光照环境图。
4.如权利要求1所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括对所述摄像阵列进行几何和颜色校准，并将所述摄像阵列和所述可控光源进行同步校 准，所述预设的可控变化光照条件由所述可控光源产生。
5.如权利要求1所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括结合匹配特征点和多视角相机校准参数，利用鲁棒的主分量分析方法RPCA对所述目 标物体的表面各点在不同光照条件下各视角采集数据中置信度进行筛选，选择高置信度的 成像信息计算所述目标物体表面各点的反照率信息。
6.如权利要求5所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括结合球谐函数光照模型对所述目标物体各点的法向进行优化，以获得所述目标物体精 确的方向和三维模型。
7.如权利要求6所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，所述 根据表面法向、光照方向和观察方向三者间的相对位置对多视角变光照的目标信息进行融 合，以生成支持各向异性光照特性表示的所述目标物体的自由视角光照传输矩阵进一步包 括在各个采集时刻，计算所述目标物体表面各个顶点的法向与该时刻光照方向之间的相 对位置，以及该时刻所述法向与各个拍摄视角之间的相对位置；根据获得的所述法向与该时刻光照方向之间的相对位置，以及所述法向与各个拍摄视 角之间的相对位置，将高置信度区域中的各像素分别填充至自由视角光照传输矩阵。
8.如权利要求7所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括利用所述目标物体表面各点的反射属性的局部平滑及低秩特性作为约束，对填充后的 自由视角光照传输矩阵进行恢复以生成完整的所述目标物体的自由视角光照传输矩阵。
9.如权利要求8所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，所述 根据表面法向和所述自由视角光照传输矩阵对所述目标物体进行重光照操作，以生成重光 照目标物体模型包括根据用户给定的光照环境，生成光照环境图，并将所述光照环境图表示为多种基光照 环境图的线性叠加；根据所述多种基光照环境图计算多种基光照条件，以及各个采集时刻所述目标物体表 面各点的相对光源方向，并从所述自由视角光照传输矩阵中选择相应元素，以生成各个时 刻对应的所述目标物体的基光照自由视角成像信息；对所述各个基光照自由视角成像信息进行线性加权，以生成所述目标物体对应的重光 照目标物体模型。
10.一种基于自由视角光照传输矩阵的重光照装置，其特征在于，包括可控光源，用于产生预设的可控变化光照条件；摄像阵列，用于在预设的可控变化光照条件下，在预设的多个曝光程度下分别采集目 标物体对应的多组多视角视频图像；和重光照装置，用于根据获得的所述多组多视角视频图像获得所述目标物体的反照率信 息和在起始时刻的三维模型和表面法向，并根据所述表面法向、光照方向和观察方向三者 间的相对位置对多视角变光照的目标信息进行融合，以生成支持各向异性光照特性表示的 所述目标物体的自由视角光照传输矩阵，接着根据所述表面法向和所述自由视角光照传输 矩阵对所述目标物体进行重光照操作，以生成重光照目标物体模型，以及结合依赖视角的 模型渲染算法，实现自由视角的动态场景重光照。
11.如权利要求10所述的基于自由视角光照传输矩阵的重光照装置，其特征在于，所 述重光照装置，还用于获得所述预设的可控变化光照条件中各个光照状态对应的场景光照 环境图。
12.如权利要求10所述的基于自由视角光照传输矩阵的重光照装置，其特征在于，所 述重光照装置，还用于结合匹配特征点和多视角相机校准参数，利用鲁棒的主分量分析方 法RPCA对所述目标物体的表面各点在不同光照条件下各视角采集数据中置信度进行筛 选，选择高置信度的成像信息计算所述目标物体表面各点的反照率信息。
13.如权利要求10所述的基于自由视角光照传输矩阵的重光照装置，其特征在于，所 述重光照装置，还用于结合球谐函数光照模型对所述目标物体各点的法向进行优化，以获 得所述目标物体精确的方向和三维模型。全文摘要
本发明提出一种基于自由视角光照传输矩阵的重光照方法，包括以下步骤利用多视角拍摄的可控光照下的场景成像信息；根据物体表面各点法线、光照、观察方向三者间的相对位置，生成支持各向异性光照特性表示的目标物体的自由视角光照传输矩阵；并结合依赖视角的模型渲染算法，实现自由视角的场景重光照操作。本发明针对各向异性的光照特性提出了一种实用的表示方法，并且支持自由视角的重光照效果观察。另外，本发明原理简单、明确，且易于实现。
文档编号G06T17/00GK101917637SQ20101021813
公开日2010年12月15日 申请日期2010年6月24日 优先权日2010年6月24日
发明者戴琼海, 李冠楠 申请人:清华大学