一种基于图像的室外光照环境重建方法
【技术领域】
[0001] 本发明设及一种基于视频的室外光照环境重建方法，用于视频虚实融合声景，属 于图像处理和增强技术领域。
【背景技术】
[0002] 虚拟现实是近年来不断发展的研究领域，通过W计算机科学与技术为核屯、的高新 科技，生成与真实环境在视、听、触感等方面高度近似的逼真虚拟环境，使用户在虚拟环境 获得身临其境的感受和体验。传统的虚拟现实技术主要强调虚拟场景建模和虚拟场景表 现，较少将虚拟环境直接融入到客观存在的真实世界，运在一定程度上影响了虚拟现实技 术的发展和应用。增强现实是虚拟现实的进一步拓展，借助必要的硬件和软件设备，使计 算?机生成的虚拟景物与客观存在的真实环境共存于同一个增强现实系统中，从感官和体 验效果上给用户呈现出虚拟景物与真实环境融为一体的增强现实环境。增强现实是正在迅 速发展的新研究方向，该方向的关键问题包括虚拟对象与真实场景的有效融合。
[0003] 因此，基于视频的虚实融合场景，及其光照效果生成技术不仅成为虚拟现实和增 强现实方向的技术发展趋势，也是图形学、计算机视觉、视频处理、模拟仿真等相关领域方 向国际发展前沿的研究热点。在虚实融合场景中，影响虚实融合逼真效果的重要方面就是 虚拟对象光照效果与真实场景光照信息的逼近程度。为了使计算机生成的虚拟对象具有真 实感，达到与真实场景有效融合的效果，需要保持虚拟对象与真实场景间几何和光照的一 致性。其中光照一致性是指，根据真实环境中的光照分布和虚拟对象的表面材质，计算虚拟 对象的表面光照效果，W及虚拟对象在真实场景中生成的虚拟阴影效果。
[0004] 为了使虚拟对象的光照效果能够接近真实场景的光照效果，现有的基于视频的虚 实融合场景，及其光照效果生成技术主要通过人工在真实场景中设置一些光学标志物来采 集真实场景的光照信息，利用光学标识物采集得到的光照信息，表示真实场景的光照条件， 并且确定虚拟对象的光照参数，进而完成虚拟对象表面光照效果和虚拟阴影效果的计算。 近年来，一些基于场景理解的虚实融合方法，力求从真实场景素材本身的几何特征与光照 特征推断出真实场景的几何信息与光照信息，并建立光照模型表示真实场景的光照条件， 从而可W不借助任何光照信息采集设备，完成虚实融合场景及其光照效果的生成。但目前， 基于场景理解的虚实融合方法还不能满足虚实无缝融合视频处理的要求。在视频真实场景 中，场景对象与真实光照条件随时间发生变化，会影响基于单帖图像的光照条件估计，而现 有的虚实融合技术往往忽略了视频帖的虚实融合光照效果差异性，从而导致虚实融合场景 的光照效果抖动现象，大大降低了虚实融合光照效果的逼真性。 阳〇化]近年来，一些视频场景的虚实光照融合方法都力求从场景素材本身推断出其中蕴 含的光照信息，并建立光照模型，从而不借助任何光照信息采集设备，完成虚实光照融合。 2006年，丹麦奥尔堡大学的TommyJensen等人，提出了一种无标识物的增强现实虚实光照 融合方法，该方法基于户外场景，利用真实物体的表面图像获取真实环境的光照信息，针对 虚拟物体与真实光照条件的不一致现象，给出了虚拟物体表面光照效果的修正方法，能够 使虚拟物体的光照效果接近真实环境的光照条件，完成虚实光照融合。但该方法只能处理 单个真实场景光源，如太阳，且需要已知场景的粗略=维模型和高动态范围环境图。
[0006] 2009年，卡耐基梅隆大学的Jean-FrancoisLalonde等人，提出了一种基于视频 图像剪贴库的虚实光照融合方法。利用网络摄像头拍摄的延时视频序列，构建了拥有大量 图像数据的"视频图像剪贴库"，针对库中的每幅图像进行福射度和几何上的标定，并计算 出视频序列图像中每一帖的高动态范围环境图。基于已知几何信息及光照信息的"场景图 像剪贴库"，给定一副已具有光照效果的二维图像，可W在库中捜索出与其光照条件最匹配 的场景，进行场景与对象的融合；还可W用库中的场景重光照=维图形，即完成虚实融合的 效果。
[0007] 2009年，浙江大学的刘艳丽等人还提出了一种针对静态户外场景的虚实光照融合 方法，该方法的最大优势在于无需预知场景的几何、材质及纹理信息。对一个静态户外场 景，用固定视角的相机经过长时间拍摄得到了涵盖场景不同光照情况的图像数据集。通过 学习的方法从中得到分别依靠太阳光和天空光产生的阴影效果作为基图像来反映场景的 几何属性及材质属性进行光照估计，并完成虚实光照融合，但是该方法只能处理静态固定 视角的视频。
[0008] 2011年，伊利诺伊大学厄己纳一香横分校的KevinKarsch等人提出了一种需要 用户交互的虚实光照融合方法。该方法通过用户手工标注出场景中一些重要的几何信息W 及场景中光源的位置作为输入，能够恢复出场景基本的几何模型，建立场景的光照模型，并 能够计算出场景中反射表面的材质W及相机参数，进而可W完成虚实光照融合的处理。该 方法的虚实光照融合效果十分逼真，不但能够完成虚拟物体在真实场景中的光影绘制，并 且对于真实物体的阴影投射到虚拟物体上，W及虚拟物体的阴影投射到真实物体的情况也 能够完成很好的融合绘制效果。但该方法需要用户参与程度较大，影响了该方法的自动化 程度，并且针对的场景大部分为室内真实场景。
[0009] 综上所述，目前的虚实光照融合技术大多需要预先获取场景光照信息，或者需要 使用特殊设备来获取场景的高动态范围图像，并需要已知场景的部分几何信息甚至是全 部=维模型，对真实场景的光照参数及几何属性估算的正确与否直接影响到虚实融合的结 果。进一步地，从视频处理而言，现有的技术大多忽略了视频帖与帖之间的关联性，在逐帖 进行光照估计时，单帖的估算信息难免存在差异，从而造成生成视频场景中虚拟物体光影 效果的不连续性，即视频中相邻帖在虚实光照及虚实阴影一致上存在着差异。
【发明内容】
[0010] 针对上述现有技术，本发明的目的在于提供一种基于视频的室外光照环境重建方 法，旨在在保持视频帖间关联关系的前提下，完成对场景的光照估计W及虚实光照融合，能 在场景中绘制虚拟=维物体并生成一定的虚实光照无缝融合效果。
[0011] 为了解决上述技术问题，本发明采用如下技术方案：
[0012] 一种基于视频的室外光照环境重建方法，该方法包括W下步骤：
[0013] 一、从视频中按照相等的时间间隔抽取视频关键帖，然后分别W视频关键帖图像 中的天空、地面W及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的 概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帖 场景中太阳位置的概率分布图，生成视频场景关键帖的稀疏福射度图；
[0014] 二、通过光照参数滤波算法，利用视频关键帖的光照估计结果，修正视频非关键 帖的光照估计结果，实现视频场景的虚实光照融合。
[0015] 所述步骤一包括如下步骤：
[0016] 步骤S110,首先将输入视频，按照预设的时间间隔分为多段等时间间隔的视频区 间，对每一个视频区间从中抽取关键帖；
[0017] 步骤S120,利用图像分割的方法，分割出关键帖中天空、地面W及垂直建筑物部 分；
[0018] 步骤S130,将分割出关键帖图像中的天空部分，建立概率模型，由天空的明暗程度 推断出太阳所在位置的概率分布图；
[0019] 将分割出关键帖图像中的地面部分，并提取出地面部分的阴影轮廓线，建立概率 模型，由地面阴影线的走向推断出太阳所在位置的概率分布图；
[0020] 将分割出关键帖图像中的垂直建筑物部分，建立概率模型，由建筑物表面受太阳 光照的明暗程度推断出太阳所在位置的概率分布图；
[0021] 步骤S140,联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关 键帖场景中太阳位置的概率分布图，生成视频场景关键帖的稀疏福射度图。
[0022] 所述步骤S130包括如下步骤：
[0023] ①通过视频图像中的主体部分：天空像素S、地面像素G和垂直表面像素V来推断 出太阳位置的概率分布；
[0024] ②视频场景的光照情况I可W通过两个参数来表示：eg和&沒S，其中0g表示太 阳的天顶角，A0S表示太阳相对于相机的方位角；
[00巧]③对于天空区域，天空像素Si的明暗程度可W推断出太阳在天空区域可能出现的 位置；
[00%] ④天空像素Si符合W下产生式模型： W別⑥
[00測⑧其中g( ?)代表天空模型；N(y，0 2)代表均值为y、方差为0 2的正态分布；k为尺度因子；
[0029] ⑦建立如下概率模型来计算推断出太阳位置的概率分布P巧s，A0s|S):
[0030]
[0031] 所述步骤S200包括如下步骤：
[0032] 步骤S210,对于非关键帖，采用卡尔曼滤波算法，首先获取关键帖的稀疏福射度 图；
[0033] 步骤S220,由关键帖的稀疏福射度图作为滤波输入，对非关键帖的稀疏福射度图 进行优化，得到非关键帖的稀疏福射度图；
[0034] 步骤S230,最后生成视频每一帖的虚实融合效果。
[0035] 更进一步地，所述步骤S140包括如下步骤：
[0036] ①得到了由天空、地面、垂直表面分别推断的太阳位置概率正态分布后，计算出最 终视频场景关键帖的太阳位置概率分巧P巧S.A0 ):
[0037]
[0038] ②根据太阳位置概率分布计算出视频场景关键帖的稀疏福射度图。
[0039] 所述步骤S220中，对非关键帖的稀疏福射度图进行优化，得到非关键帖的稀疏福 射度图，包括如下步骤： W40] 首先，根据前k个关键帖的稀疏福射度图，建立卡尔曼更新预测方程： 阳 0川 Xw=AkXk+Wk
[00创 Xk为第k帖的光照模型参数取值，Wk为过程噪声，A为状态转移矩阵，取Ak为单位 矩阵；然后，计算得到协方差矩阵Pk及卡尔曼增益矩阵Kk:
[0043]
W44] Pk= (I-KkHk)Pk
[0045] 其后，对卡尔曼更新预测方程协方差矩阵Pk及卡尔曼增益矩阵Kk，进行迭代求 解，即对观测量更新