一种基于稀疏光场基元的运动对象多视角光影合成方法
【技术领域】
[0001] 本发明涉及计算机视觉和虚拟现实领域，具体地说是一种基于稀疏光场基元的运 动对象多视角光影合成方法。
【背景技术】
[0002] 现有的光线追踪算法能够高效和逼真地对三维模型绘制，但是如果绘制出与真实 对象相似的图像或视频，需要对场景进行精确三维建模和准确提取场景中的材质属性，这 两项工作耗时耗力，在某些情况下不可能完成。针对该问题，基于图像的光照（IBL)被提 出，是逼真生成虚拟场景的一种重要方法。其基本原理是采集目标对象多光照与多视角光 场数据，通过视角差值和光影效果线性相加生成被采集对象在目标场景下的光照效果。但 是该技术需要超高速摄像机，完成在极短时间内完成一个对象"相对静止"下的各种视角和 光照条件的数据采集。超高速相机高昂的价格以及相机与灯光复杂的同步设备是得该技术 难以推广。
【发明内容】
[0003] 根据实际需求和关键问题，本发明的目的在于：提出了一种基于稀疏光场基元的 运动对象多视角光影合成方法。能够通过具有低速相机的光场采集系统采集的光场数据合 成被采集对象多视角的光影效果。
[0004] 为完成发明目的，本发明采用的技术方案是：一种基于稀疏光场基元的运动对象 多视角光影合成方法，通过对场景光场基元进行聚类，减少所需光源数量，从而能够使用低 速相机完成基于图像的光照。
[0005] 所述方法具体包括以下步骤：
[0006] (1. 1)从多张场景光球图像中获取场景光照辐射图，并分解为场景光场基元；
[0007] (1. 2)根据光场采集设备对光场基元聚类组合，得到稀疏光场基元；
[0008] (1. 3)根据稀疏光场基元，设置光场采集设备灯光和摄像机的工作方式；
[0009] (1. 4)在光场采集设备中采集运动对象的多视角和多光照光场数据；
[0010] (1. 5)根据稀疏光场基元，合成运动对象在不同视角下的光影效果。
[0011] 本发明与现有的技术相比，其有益的特点是：1、本发明不需要高速相机，使得光场 采集设备造价更加低廉；2、本发明针对多摄像机光场采集系统进行了光场采集单元的布局 组合精简优化，能够在保证采集数据的准确性的前提下，减少对于光照基元的采集时间和 贮存空间的需求。
【附图说明】
[0012] 图1是本发明的总体架构图。
[0013] 图2是本发明的高动态场景辐射图获取方法示意图。
[0014] 图3是本发明场景光场基元分解图。
[0015] 图4是本发明的光场基元聚类组合示意图。
[0016] 图5是本发明采集数据示意图。
[0017] 图6是本发明不同视角下的光影效果合成示意图。
【具体实施方式】
[0018] 下面结合附图对本发明作详细说明。
[0019] 参阅图1本发明的总体架构图，本发明包括5个步骤：
[0020] (1)场景光照辐射图获取。参阅图2高动态场景辐射图获取方法，首先，从1个主 视角和1个辅助视角，以3种不同的曝光时间拍摄置于场景中的光球列照片。选取每个视 角的曝光时间居中的图像作为基准图像，其他2个图像分别与基准图像进行比较，得到各 自的相对偏移，并对齐到基准图像。本发明利用图像金字塔提高配准的效果，定义两幅图像 1与1 2的差异度为：
[0022] 其中，X，y是图像坐标。从尺寸最小的末级金字塔图像开始比较，在大小为（wx，w y) 的窗口内平移移动需要配准的图像，并与基准图像计算差异度，取差异度最小的平移结果 为本层平移结果，并返回金字塔上一层，将平移后的需要配准的图像继续与基准图像进行 比较。得到平移配准结果后，再以一个小步长旋转搜索，找到使图像差异度最小的呃旋转偏 移量。迭代地执行平移配准和旋转配准，直到旋转偏移量为零时完成两幅图像的配准。
[0023] 主视角和辅视角的不同曝光度图像配准后，本发明分别合成主视角和辅视角的 HDR图像，HDR合成方法属于本领域公知算法，本发明不做介绍。本发明将主视角HDR图像 中的遮挡物去除，剩余的空洞使用辅视角HDR图像来填补，该填补过程手动完成。填补后的 HDR图像在本法明中称为场景光照辐射图（也称为环境贴图）。
[0024] (2)场景光场基元分解与聚类。上一步得到了场景光照辐射图，场景光照辐射图表 示了场景周围光照情况。为了进一步定量分析场景光照信息，需要按照入射光的方向将入 射光分为离散化的数个光照采样单元，在本发明中称为光场基元。如图2所示，本发明使用 球面经炜坐标系描述场景球面，为了对场景光照辐射图均匀划分，本发明将经炜坐标映射 到平面坐标。设球面坐标经度以u表示，维度以V表示，u e [0, 360]，V e [-90, 90]，矩阵 宽度以w表示，高度以h表示，则经炜坐标（u，v)与平面坐标（x，y)的映射关系如下：
[0026] 本发明在平面上将场景光照辐射图划分为26个区域，每个区域称为场景光场基 元划分方式，如图2所示。为了对场景光场基元进行聚类本发明按如下公式计算每个区域 的权值：
[0028] 其中，M代表区域i中的像素个数，i为区域索引，k为RGB颜色通道索引。通过该 公式可以得到一个26X3的权值向量W= Iwi,k|i = I. ·· 26, k= 1，2,3}。
[0029] 为了能够在低速相机条件下采集运动对象的多视角多光照光场数据，本发明根据 光场采集系统相机的帧率f对上述26个区域进行聚类，类中心数量C按如下公式计算：C = f/ffinai，其中ffinai为运动对象多视角光影合成后视频的帧率。本发明根据W使用K-means 算法将26个区域聚类成C个区域。
[0030] (3)光场采集设备灯光和摄像机工作方式设置。光场数据采集系统的摄像机和光 源安装在一个半圆形的铁笼子上。按照上一步对区域的聚类，对