一种场景动态光照实时采集方法及装置与流程

本发明涉及混合现实和增强现实技术领域，更具体的是涉及一种场景动态光照实时采集方法及装置。

背景技术：

近年来，随着增强现实(ar)和混合现实(mr)技术的迅速发展，相关的应用越来越广泛，增强现实技术必须解决三大核心技术问题：几何一致性、光照一致性和合成一致性，其中光照一致性一直是ar研究领域的难题和挑战。光照一致性是指将虚拟世界的物体合成到现实环境中时，来自现实世界的光源与虚拟世界光照表达的一致性、现实物体与物体阴影的一致性、画面视觉效果的一致性。若光照无法保持一致，虚实融合后的效果则会产生不真实感，极大影响用户的体验。

为了解决光照一致性问题，直观地我们需要准确地恢复现实世界的光照环境，并将其作为虚拟世界的光照环境用于渲染虚拟物体。因此，面对变化万千的现实世界，如何准确实时地采集和计算现实世界的光照环境成为增强现实应用中亟待解决的问题，尤其在实时性增强应用中尤为重要，例如现场直播类ar电视节目、高成本的ar电影特效、ar演唱会等等，在混合现实、增强现实领域。

光照传感器是一种用来测量真实场景光照的仪器，但是该仪器仅能测量来自某一个方向的光照强度(例如太阳光的光强、某一个灯泡的光强等)，无法捕获整个场景的光照分布，然而在实际ar\vr应用中往往需要使用整个场景的光照分布信息对虚拟场景进行绘制，为此光照传感器无法采集到ar\vr应用所需要的光照。

在电影电视节目制作领域，可通过镜面球采集场景的光照，该技术主要通过将镜面球固定在三角架上再通过相机拍摄该镜面球从而实现对于场景静态光照的采集，但是该方法主要用来采集场景中某一时刻的光照(即静态光照)，当场景中光照发生变化时就需要重新采集，因此无法捕获场景动态光照；另一方面，该方法目前还没有形成特定的装置。

技术实现要素：

本发明的目的在于：为了解决通过镜面球采集场景光照时，只能采集场景静态光照，无法采集场景动态光照的问题，本发明提供一种场景动态光照实时采集方法及装置，实现对场景光照的动态实时捕获，使得用捕获的光照绘制虚拟物体，将虚拟物体融入真实场景以获得具备较高真实感的虚实融合效果。

本发明为了实现上述目的具体采用以下技术方案：

一种场景动态光照实时采集方法，包括如下步骤：

s1：调节用于支撑镜面球和多个不同拍摄角度的相机的竖直支架的长度，调节连接镜面球的竖直支架与各相机竖直支架的横杆的长度，使得镜面球整体清晰呈现在所有相机的拍摄画面中；

s2：利用各相机同时对镜面球进行拍摄，同时调节相机曝光度，得到各相机不同曝光度的图片；

s3：将各相机曝光度设置为一个特定的曝光度值，对镜面球进行在线实时拍摄，得到实时ldr图；

s4：将s2中拍摄得到的图片和s3中的实时ldr图传输至数据处理终端，通过数据处理终端对各图片和实时ldr图进行处理分析，解析得到场景动态光照信息。

进一步的，所述s3中，特定的曝光度值的选择条件为：拍摄得到的实时ldr图中所有光源清晰可见。

进一步的，所述s3中，对镜面球进行在线实时拍摄，具体为：保持各相机角度不变，以不小于50fps的速度，实时拍摄镜面球。

进一步的，所述s4中的处理分析，具体为：

s4.1：根据得到的图片生成各相机的高动态范围hdr图片序列；

s4.2：检测各高动态范围hdr图片序列中的共同特征点，依据共同特征点对各高动态范围hdr图片序列进行匹配，合成最初环境光照图；

s4.3：对最初环境光照图和各高动态范围hdr图片序列进行预处理以及图像分割，识别各图中光照的图像区域，并在最初环境光照图上进行标记；

s4.4：根据实时ldr图、最初环境光照图和高动态范围hdr图片序列，计算得到场景中的实时光照数据和环境光照数据，最终得到场景动态光照信息。

进一步的，所述4.1中的高动态范围hdr图片序列生成方法为：

将场景中所有灯光调整至最亮和最暗时分别进行拍摄，得到各相机的最亮图片和最暗图片，进而得到各相机的高动态范围hdr图片序列，记为：

(env_brightingness1,env_dark1)

(env_brightingness2,env_dark2)

……

(env_brightingnessn,env_darkn)

其中，n为相机个数，env_brightingnessn为最亮图片，env_darkn为最暗图片。

进一步的，所述s4.2中以场景中具有明显几何特征信息的点作为特征点，检测各高动态范围hdr图片序列中共有的特征点作为共同特征点。

进一步的，所述s4.2中合成最初环境光照图具体为：

s4.2.1：设定采用相机1和相机2，根据各相机放置的角度，制作合成现实场景掩膜图；

s4.2.2：根据现实场景掩膜图和匹配后的各高动态范围hdr图片序列，合成最初环境光照图，所述最初环境光照图为hdr图或立方体贴图，表示为：

c＝a*alpha+b(1-alpha)

其中，c表示最初环境光照图信息，alpha值来源于现实场景掩膜图，a、b分别为相机1和相机2的角度的环境光照图。

进一步的，所述s4.3中预处理后，对预处理的图像进行图像分割操作，识别各图中光照的图像区域，并在最初环境光照图上标记为dynamiclight_source。

进一步的，所述s4.4中，计算得到场景中的实时光照数据，具体为：

对实时ldr图进行亮度信息提取，获取其中的光源区域信息记为dynamiclight_current，对比该曝光度值下的最初环境光照图的dynamiclight_source，进行ldr-hdr光照信息的转换和分析，从而计算得到场景中的实时光照数据，包括光照位置、光照方向、光照颜色及光照强度。

进一步的，所述s4.4中，计算得到场景中的环境光照数据，具体为：

以高动态范围hdr图片序列中最亮图片为光照最亮值，最暗图片为光照最暗值，利用实时ldr图在光照最亮值和光照最暗值之间进行插值记为l，以l值动态实时更新场景中的环境光照数据。

一种场景动态光照实时采集装置，包括数据处理终端、镜面球和不少于两个曝光度可调的相机，所述镜面球和各相机分别设置于对应的竖直支架上，各相机的竖直支架与镜面球的支架之间分别通过横杆连接，所述各竖直支架和横杆均为可伸缩杆，调节竖直支架与横杆的长度，使得镜面球整体清晰呈现在所有相机的拍摄画面中，数据处理终端与各相机之间进行数据通信，数据处理终端用于对各相机拍摄画面进行处理分析，得到场景动态光照信息。

本发明的有益效果如下：

1、本发明在混合现实、增强现实领域可实现对于场景光照的动态实时捕获，并用捕获的光照绘制虚拟物体，将虚拟物体融入真实场景以获得具备较高真实感的虚实融合效果；在电影特效领域，可用以捕获拍摄场景的光照，以制作各种影视特效；在虚拟现实领域，可使用捕获的光照绘制虚拟场景以获得具备较高真实感的虚拟绘制场景。

2、本发明利用普通相机实现了场景动态变化的光照数据和环境光照数据的实时采集，不仅可实时更新环境光照数据，同时可实时计算更新场景中动态变化的光照数据，采用多视角普通相机拍摄多曝光图片序列，生成精确的环境光照图，从而提取精确的环境光照信息，实时在线采集更新特定曝光度的ldr图，用于实时计算场景中动态变化的实时光照数据和现实场景中环境光照数据，采集得到的动态光照信息可直接用于实时渲染虚拟场景中的物体，使得ar应用视觉效果更加逼真。

3、本发明不借助市场上专业的hdr摄像机(拍摄帧率大于50fps、高动态范围)，成本大大降低，应用更广泛，更容易推广。

附图说明

图1是本发明具体实施方式的方法流程示意图。

图2是本发明具体实施方式的采集装置示意图。

具体实施方式

为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。

实施例1

现实世界的光照环境是复杂多变的，从光照的变化与否可分为周围环境光照信息和场景中直接光照信息，环境光相对静态，也称为间接光照，如天空光；直接光照有动态，也有静态；如室外太阳光、室内面光源、聚光灯、点光源等。因此场景动态变化的光照包含至少两类光照的采集：环境光照和动态光照的实时采集。

如图1所示，本实施例提供一种场景动态光照实时采集方法，包括如下步骤：

s1：调节用于支撑镜面球和多个不同拍摄角度的相机的竖直支架的长度，调节连接镜面球的竖直支架与各相机竖直支架的横杆的长度，使得镜面球整体清晰呈现在所有相机的拍摄画面中，本实施例中采用相机1和相机2两个相机分别从两个不同的角度对镜面球进行拍摄；

s2：利用各相机同时对镜面球进行拍摄，并调节相机曝光度，得到各相机不同曝光度的图片；

s3：将各相机曝光度设置为一个特定的曝光度值，对镜面球进行在线实时拍摄，得到实时ldr图，本实施例中特定的曝光度值的选择条件为：拍摄得到的实时ldr图中所有光源清晰可见；对镜面球进行在线实时拍摄，具体为：保持各相机角度不变，以不小于50fps的速度，实时拍摄镜面球；

s4：将s2中拍摄得到的图片和s3中的实时ldr图传输至数据处理终端，通过数据处理终端对各图片和实时ldr图进行处理分析，解析得到场景动态光照信息。

所述s4中的处理分析，具体为：

s4.1：根据得到的图片生成各相机的高动态范围hdr图片序列，方法为：

将场景中所有灯光调整至最亮和最暗时分别进行拍摄，得到各相机的最亮图片和最暗图片，进而得到各相机的高动态范围hdr图片序列，记为：

(env_brightingness1,env_dark1)

(env_brightingness2,env_dark2)

……

(env_brightingnessn,env_darkn)

其中，n为相机个数，env_brightingnessn为最亮图片，env_darkn为最暗图片；

s4.2：以场景中具有明显几何特征信息的点作为特征点，检测各高动态范围hdr图片序列中的共同特征点，依据共同特征点对各高动态范围hdr图片序列进行匹配，合成最初环境光照图，具体为：

s4.2.1：根据各相机放置的角度，制作合成现实场景掩膜图；

s4.2.2：根据现实场景掩膜图和匹配后的各高动态范围hdr图片序列，合成最初环境光照图，所述最初环境光照图为hdr图或立方体贴图，表示为：

c＝a*alpha+b(1-alpha)

其中，c表示最初环境光照图信息，alpha值来源于现实场景掩膜图，a、b分别为相机1和相机2的拍摄角度的环境光照图；

s4.3：对最初环境光照图和各高动态范围hdr图片序列进行预处理以及图像分割，所述预处理包括图像色彩处理、空间变化，亮度调节以及二值化，预处理后，对预处理的图像基于像素值进行图像分割操作，识别各图中光照的图像区域，并在最初环境光照图上标记为dynamiclight_source；

s4.4：根据实时ldr图、最初环境光照图和高动态范围hdr图片序列，计算得到场景中的实时光照数据和环境光照数据，最终得到场景动态光照信息：

解析得到场景中的实时光照数据，具体为：

对实时ldr图进行亮度信息提取，获取其中的光源区域信息记为dynamiclight_current，对比该曝光度值下的最初环境光照图的dynamiclight_source，进行ldr-hdr光照信息(亮度、颜色)的转换和分析，从而解析得到场景中的实时光照数据，包括光照位置、光照方向、光照颜色及光照强度。

解析得到场景中的环境光照数据，具体为：

以高动态范围hdr图片序列中最亮图片为光照最亮值，最暗图片为光照最暗值，利用实时ldr图在光照最亮值和光照最暗值之间进行插值记为l，以l值动态实时更新场景中的环境光照数据。

如图2所示，基于上述方法，本实施例还提供一种场景动态光照实时采集装置，包括数据处理终端、镜面球和两个曝光度可调的相机1和相机2，所述镜面球和两相机分别设置于对应的竖直支架上，各相机的竖直支架与镜面球的支架之间分别通过横杆连接，所述各竖直支架和横杆均为可伸缩杆，调节竖直支架与横杆的长度，使得镜面球整体清晰呈现在两个相机的拍摄画面中，数据处理终端与两相机之间通过有线或无线的方式进行数据通信，数据处理终端用于对各相机拍摄画面进行处理分析，解析得到场景动态光照信息。

本实施例通过采集装置实现对于场景动态光照的实时准确采集，其中动态光照指采集到的光照随场景光照条件的变化而变化，本实施例的方法在混合现实、增强现实领域可实现对于场景光照的动态实时捕获，并用捕获的光照绘制虚拟物体，将虚拟物体融入真实场景以获得具备较高真实感的虚实融合效果；在电影特效领域，可用以捕获拍摄场景的光照，以制作各种影视特效；在虚拟现实领域，可使用捕获的光照绘制虚拟场景以获得具备较高真实感的虚拟绘制场景。

以上所述，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。