一种用于场景光照恢复的光场投影方法
【专利摘要】本发明公开了一种用于场景光照恢复的光场投影方法，属于虚拟现实【技术领域】。本方法设计了一种使用投影仪和透镜阵列进行光场投影的装置，将光照数据转化为光场进行投射，恢复场景光照，具体方法包括：首先，将采样得到的光测图序列转化为场景光照的四维光场表示；然后，对光源平面上的点光源进行聚类，为聚类后的每个点光源生成投影子图像，并进行畸变校正和图像拼接；最后，在经过几何标定和亮度标定后，使用投影仪将投影图像投射到透镜阵列上，光线经过透镜折射在另一侧形成一个平面光场恢复了原始场景的光照。本方法所恢复的光照具有较高真实性；较高的空间自由度和较高的实用性。本方法适用于影视特效，舞台灯光控制等光照应用领域。
【专利说明】-种用于场景光照恢复的光场投影方法
【技术领域】
[0001] 本发明涉及场景光照的恢复方法和光场投影装置，属于虚拟现实【技术领域】。
【背景技术】
[0002] 光照一直是计算机图形学研究的重要主题，真实感的光照对于表现物体和场景的 真实性具有重要作用，真实感光照技术被广泛应用于游戏动画、影视特效、舞台灯光等工业 领域。
[0003] 从传统的基于虚拟光源的光照到基于图像的光照，光照技术不断地向更高效、更 真实的方向发展：虚拟光源的几何信息和放光特性较为简单，难以重现真实场景的复杂光 照；基于图像的光照技术利用环境映照图等图像数据，从中提取光照信息对场景进行渲染， 提高了光照效果的真实性，然而由于单一的图像信息缺乏空间变化性，限制了这种光照技 术的灵活性。
[0004] 光场是用于描述空间中光线传播的数据表不方法，随着简化的光场模型被引入计 算机图形学领域，基于光场的光照算法可以有效地解决空间变化的光照问题。而且，由于光 场的合成通常使用真实场景的高动态范围图像，因此基于光场的光照技术同样可以具有很 高的真实感。
[0005] 目前基于光场的光照恢复方法很少，相近的工作是南加州大学Paul Debevec等提 出的Light Stage3使用环境映照图驱动球形架上密布的LED射灯来实现光照恢复。该方案 使用了单点的环境映照图来表达整个场景的光照信息，所以只能用于恢复球形架中心点的 光照，而且将中心点物体抽象为空间的一个点，因此该方案不能表示场景光照的空间变化， 不足以表达大部分真实光照情况，如非均匀光照、光照衰减、存在阴影等情况。
[0006] 另外，视频会议和增强现实领域也引入了一些光照重现技术来增强沉浸感。Gross 构建了一个视频摄取和投影装置blue-c，使用32个LED灯为用户提供光照来营造沉浸感， 可以实现远程用户的协同工作。Ghosh等发明了一种可控的照明系统为室内的虚拟环境提 供光照，该系统使用四散分布的24个LED灯向视点打光来模拟环境映照图的效果。Sheng 等人在建筑采光设计领域提出了一种光照模拟方法，将渲染好的图像用投影仪直接投射到 模型上。以上方法使用LED等或少量投影仪作为光源，这类方法的明显缺点是所重现光照 的精度较差，空间分辨率很低。
【发明内容】
[0007] 本发明的目的是解决实现具有高自由度的真实感光照问题，设计了一种由投影仪 和透镜阵列组成的光场投影装置，提出了一种用于场景光照恢复的光场投影方法，将真实 场景的光照在区域内以光场的形式进行恢复，并使光场区域具有较大的空间范围，较高的 空间和角度分辨率。
[0008] 为完成本发明的目的，本发明采用的技术方案是：设计一种包括投影仪和透镜阵 列的光场投影装置，发明一种用于场景光照恢复的光场投影方法，包括以下步骤：对包含场 景光照数据的光探测图序列进行光线重投影，生成空间光场的四维表示结构；对四维光场 中的光源平面进行划分和光源聚类，生成投影子图像，经过畸变矫正和图像拼接后得到最 终投影图像；对投影装置进行几何标定和亮度标定，使用投影仪将合成的光场图像投射到 透镜阵列平面上，在透镜另一侧恢复原始场景光场。
[0009] 所述的光场投影装置由多个投影仪和一个透镜阵列组成，透镜阵列由凸透镜粘合 在平面透光介质上而成。投影仪将合成的输入图像投射到透镜阵列上，投影仪的光圈经各 个凸透镜所成的像在透镜阵列另一侧形成了一个各向异性点光源阵列，该平面模拟了四维 光场的光源平面，从而在一定的空间范围内恢复了输入图像所表示的场景光照。
[0010] 所述的光探测图到四维光场结构的表示，进一步分为一下子步骤：
[0011] (1)对各个像素进行图像空间到三维空间的坐标变换；
[0012] (2)每个像素所代表的光线进行重投影；
[0013] (3)对每条光线分别与光场的光源和图像两个平面进行求交，用两个交点共同记 录每条光线的信息，建立起四维光场表示结构。
[0014] 所述的投影图像生成，进一步分为以下子步骤：
[0015] (1)将光源平面均匀划分为正方形网格；
[0016] (2)将同一个网格内的所有点光源聚类为一个代表点光源，对网格内所有点光源 发出的光线进行差值，差值后由此代表点光源发出；
[0017] (3)将每个代表点光源发出的光线与四维光场图像平面的交点组成一副子图像；
[0018] (4)对所有子图进行反转和畸变校正后拼接为需要投影的图像。
[0019] 所述的系统标定进一步分为以下子步骤：
[0020] (1)对投影系统进行几何标定，使用相机分别对透镜阵列平面和投影图像进行拍 照，间接建立投影仪投影图像的像素和透镜阵列上点位置之间的一一对应关系；
[0021] (2)对投影系统进行亮度标定，建立高动态范围图像的像素值到投影仪投影图像 的像素值的映射关系，建立投影仪输入亮度到理想的输出像素亮度之间的映射关系；
[0022] (3)根据标定结果对输入图像进行处理，生成最终投影图像，输入至投影仪进行投 射，在透镜阵列另一侧恢复场景光照。
[0023] 与现有技术相比，本发明的有益效果是：
[0024] (1)本发明装置需求低，价格便宜，容易实现；
[0025] (2)本发明使用原始场景的光探测图作为光照数据来源，所恢复的光照具有较高 真实性；
[0026] (3)本发明利用光场的多维特性进行光照恢复，同单点的环境映照图作为光源驱 动数据相比，光照区域有较广阔的空间范围，光源具有较高的空间和角度分辨率。
【专利附图】
【附图说明】
[0027] 图1为本发明的光场投影系统投影原理图；
[0028] 图2为本发明的光测图序列到四维光场表示转换示意图；
[0029] 图3为本发明的光源聚类和投影子图生成原理示意图
[0030] 图4本发明的方法流程图
【具体实施方式】
[0031] 以下结合附图和实施例对本发明作进一步的描述。
[0032] 本方法所使用的光照采样数据为真实场景的光测图，光测图是高动态全景图，它 描述了光测图采样位置的入射光照情况，图上的每一个像素代表一条采样光线，像素值即 为光线强度，光线方向由光测图的全景模型所决定，通常采用角度图全景模型。一副光测图 记录了一个采样位置在一个时刻点的入射光照情况，针对原始场景选择若干个采样点，在 每个采样点都采样一组时间轴上的光测图序列，即可完成对原始场景的空间动态光场数据 米集。
[0033] 采样得到的光探测图为角度图，必需将每个像素的图像坐标转化为三维空间坐 标。根据全景相机成像模型，图像坐标到空间坐标的转换关系如公式（1)所示。
【权利要求】
1. 一种用于场景光照恢复的光场投影方法，其特征在于包括： (1) 设计一种包括投影仪和透镜阵列的光场投影装置； (2) 通过对包含场景光照数据的光测图序列进行光线重投影，建立空间光场的四维表 示结构； (3) 通过对四维光场中的光源平面进行划分和光源聚类，为每个光源生成投影子图像， 并经过畸变矫正和图像拼接得到最终投影图像； (4) 通过对投影装置进行几何标定和亮度标定，确定投影仪输入与输出的像素位置和 亮度关系，使用投影仪将投影图像投射到透镜阵列平面上，在透镜另一侧恢复原始场景光 场。
2. 根据权利要求1所述的方法，其特征在于：所述的光场投影装置由多个投影仪和一 个透镜阵列组成，透镜阵列是由凸透镜粘合在平面透光介质上而成；投影仪将合成的输入 图像投射到透镜阵列上，投影仪的光圈经各个凸透镜所成的像在透镜阵列另一侧组成了一 个各向异性点光源阵列，该平面模拟了光场的光源平面，从而在一定空间范围内恢复了输 入图像所表示的场景光照；各向异性点光源的空间分辨率由投影仪个数和透镜个数决定， 角度分辨率由投影图像像素数和透镜个数决定。
3. 根据权利要求1所述的方法，其特征在于：光探测图为对原始场景采样得到的高动 态范围全景图，光探测图上每一个像素是对原始场景某一方向光线的采样；对各个像素进 行图像空间到三维空间的坐标变换，然后对每个像素所代表的光线进行重新投射，并与虚 拟的光源平面和图像平面分别求交，交点分别记为（u，v)和（s，t)，两个交点共同记录了每 条光线的信息，这样就把原始场景的光照信息转化为了由图像平面和光源平面组成的四维 光场结构L(u, V，s, t)。
4. 根据权利要求1所述的方法，其特征在于：将光源平面均匀划分为正方形网格，每个 网格内包含了若干点光源，把同一个网格内的所有点光源聚类为一个代表点光源，网格内 所有点光源发出的光线经过差值由此代表点光源发出，从而将光源平面表示为均匀分布的 各向异性点光源阵列；每个代表点光源发出的光线与四维光场图像平面的交点组成一副子 图像，对所有子图进行反转和畸变校正，最后拼接完整的投影图像，畸变校正使用径向畸变 的除法模型，如以下公式所示：
其中ru和rd分别为畸变前和畸变后像素位置到畸变中心的距离，λ i为与透镜自身的 畸变系数。
5. 根据权利要求1所述的方法，其特征在于：对投影装置进行几何标定，借助一个固定 位置的相机，分别求解相机与投影仪和相机与透镜阵列的位置关系单应矩阵和氏。，进 而间接得到投影图像的像素坐标与透镜阵列平面上点的坐标的一一对应关系，即单应矩阵 Hlp，二者之间的关系为： Hip = HcpHlc 对投影仪进行亮度标定，包括建立高动态范围图像的像素值与投影仪可投射的像素值 的映射关系：
其中，c为RGB中的某一个通道，（X，y)为透镜阵列的平面坐标，Wjx，y)为c通道达到 最大值255、其它两通道值为0时，（X，y)位置的最大亮度值，B(x，y)为输入三通道均为0 时（X，y)位置的亮度值;Wjx，y)_B(x，y)为投影仪在c通道上的投影亮度范围，Ljx，y，i。） 为输入1。时（1，7)位置的输出亮度，亮度转移系数1'。(1，7，;[。）即定义为输入为;[。时（1，7) 位置的输出亮度在亮度范围的中比率； 以及建立投影仪输入图像像素亮度与输出图像像素亮度的关系：
其中W。^为c通道输入为最大值时输出亮度的最小值，BMax为三通道输入均为0时输 出亮度的最大值，则1Μη_ΒΜ3Χ为投影仪每个像素在c通道的输出范围； 根据几何和亮度标定的结果，确定理想的投影结果所对应的输入图像，将此图像投射 到透镜阵列平面上，实现原始场景的光照恢复。
【文档编号】G09F19/18GK104156916SQ201410374275
【公开日】2014年11月19日 申请日期:2014年7月31日 优先权日:2014年7月31日
【发明者】赵沁平, 周忠, 邱晓峰, 余涛 申请人:北京航空航天大学