图像的光照分布估计与重现方法及装置与流程

本发明涉及图像处理、计算机视觉领域，尤其涉及图像的光照分布估计与重现。

背景技术：

随着生活水平的提高，人们越来越追求高质量的娱乐生活。为了获得更好的娱乐体验，人们会将自己的照片加入新的背景图像，以生成全新的照片，而为了得到高质量的合成图像，估计以及重现图像的光照分布非常重要。

图像的光照分布估计，顾名思义，是指根据一副图像估计拍摄该图像时的光照分布情况。

现有的一种图像的光照分布估计方法是，基于阴影的图像光照分布估计图像的光照分布。该方法用离散的平行光源模拟空间光照分布，在景物几何属性和材质属性已知的情况下，根据朗伯或其他更复杂的光照模型建立方程组。由于阴影的存在，图像中不同区域所受到的光照条件不同，因此对所得到的方程组求解，便可获取场景的光照分布。

然而，此种图像的光照分布估计方法需要场景中包含明显的阴影。对于不含有阴影或者阴影不明显的图像则无法估计其光照分布。并且此种图像的光照分布估计方法，还需要已知场景的准确几何属性和材质属性。然而，对于任意一幅图像准确重建其几何和材质是一项极为困难的工作，目前还缺乏实用、有效的技术。

现有的另一种图像的光照分布恢复方法是，基于用户交互的单幅图像光照分布估计方法。该方法是假设场景位于一个立方体内，场景中的物体均为理想漫反射几何体，用户通过交互方式重建场景的粗略几何并且指定场景内光源的位置。在此基础上，算法根据用户的交互信息恢复场景材质，并求解光源亮度。此种方法需要用户交互指定场景几何、光源位置等信息，而不能自动估计光源方向和光源位置。并且此种方法需要场景满足算法的假设，即需要场景位于一个立方体内，进而限定了该方法的应用范围。

综上所述，目前需要一种不依赖于图像是否存在阴影，也不需要用户指定场景的几何、光源位置信息的图像光照分布识别方法。

技术实现要素：

本发明提供了一种图像的光照分布估计与重现方法及装置，实现了自动估计图像的光照分布规律。

第一方面，本发明实施例提供了一种图像的光照分布估计方法。确定输入图像中多个像素分别对应的像素值，以及确定所述多个像素分别对应的法向信息，并确定所述多个像素分别对应的材质系数；以及确定所述输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度，从而得到所述输入图像所处场景的光照分布。

在一个示例中，所述确定所述多个像素分别对应的法向信息，具体为：对所述输入图像采用单幅图像几何重建算法，得到所述输入图像的多个像素分别对应的法向向量。

在一个示例中，所述确定所述多个像素分别对应的材质系数，具体为：对所述输入图像采用本征图像分解算法，得到所述输入图像的多个像素分别对应的材质系数。

在一个示例中，所述确定输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合，具体为：在三维空间中均匀采样多个方向，得到所述多个方向分别对应的方向向量，从而组成方向向量集合。

在一个示例中，所述根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度，具体为：所述多个像素分别对应的像素值为，相应像素在所述方向向量集合中的各方向分别对应的像素值之和；其中，所述各方向分别对应的像素值与所述相应像素在相应方向上对应的光照强度有关。

在一个示例中，所述根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度，具体为：对所述多个像素的第一像素，在所述方向向量集合的各方向上分别对应的像素值求和，将所述求和得到的值作为所述第一像素的像素值，从而建立一个以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程；采样所述输入图像的多个像素，从而得到一个以所述多个方向分别对应的光照强度为未知数的线性方程组，通过求所述线性方程组得到所述多个方向分别对应的光照强度。

在一个示例中，所述以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程为：

其中，所述p为所述第一像素；c为r、g、b通道；ip为所述第一像素的像素值；nd为所述方向向量集合；q为所述方向向量集合中的一个方向向量；lq为q方向向量对应的光照强度；ap为所述第一像素的材质系数；np为所述第一像素的法向向量；<q,np>为对q、np求内积运算。

在一个示例中，在所述确定所述多个方向分别对应的光照强度之后，包括：根据所述多个方向分别对应的光照强度以及所述图像的材质信息、所述图像的几何信息，构建图像；将所述构建的图像的各像素与所述输入图像的相应像素做比较，去掉差值绝对值大于阈值的像素，根据剩余像素重新确定所述输入图像在多个方向分别对应的光照强度。

第二方面，本发明实施例提供了一种图像的光照分布再现方法。确定输入图像中多个像素分别对应的像素值，以及确定所述多个像素分别对应的法向信息，并确定所述多个像素分别对应的材质系数；以及确定所述图像的多个方向分别对应的方向向量，得到相应的方向向量集合；根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述多个方向分别对应的光照强度；将所述多个方向分别对应的光照强度通过环境映照图表示；对所述环境映照图进行分割，并使所述各分割块与拍摄场景的一个光源相对应；根据所述环境映照图以及所述分割块，计算所述相应分割块的亮度和/或色温；根据所述分割块的亮度和/或色温，确定所述分割块对应的光源的亮度和/或色温。

在一个示例中，所述环境映照图为高动态范围图。

在一个示例中，根据所述拍摄场景的光源的数目和/或方位对所述环境映照图进行分割。

第三方面，本发明实施例提供了一种图像的光照分布估计装置。所述图像的光照分布估计装置包括场景分析模块和光照分布计算模块。所述场景分析模块用于确定输入图像中多个像素分别对应的法向信息，以及确定所述多个像素分别对应的材质系数。所述光照分布计算模块用于确定输入图像中多个像素分别对应的像素值，并确定所述输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；以及用于根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度。

在一个示例中，所述场景分析模块具体用于：对所述输入图像采用单幅图像几何重建算法，得到所述输入图像的多个像素分别对应的法向向量。

在一个示例中，所述场景分析模块具体用于：对所述输入图像采用本征图像分解算法，得到所述输入图像的多个像素分别对应的材质系数。

在一个示例中，所述光照分布计算模块具体用于：对所述多个像素的第一像素，在所述方向向量集合的各方向上分别对应的像素值求和，将所述求和得到的值作为所述第一像素的像素值，从而建立一个以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程；采样所述输入图像的多个像素，从而得到一个以所述多个方向分别对应的光照强度为未知数的线性方程组，通过求所述线性方程组得到所述多个方向分别对应的光照强度。

在一个示例中，所述以所述第一像素的多个方向分别对应的光照强度为未知数的线性方程为：

其中，所述p为所述第一像素；c为r、g、b通道；ip为所述第一像素的像素值；nd为所述方向向量集合；q为所述方向向量集合中的一个方向向量；lq为q方向向量对应的光照强度；ap为所述第一像素的材质系数；np为所述第一像素的法向向量；<q,np>为对q、np求内积运算。

在一个示例中，所述图像的光照分布估计装置还包括光照环境优化模块。所述光照环境优化模块用于：根据所述多个方向分别对应的光照强度以及所述图像的材质信息、所述图像的几何信息，构建图像；以及用于将所述构建的图像的各像素与所述输入图像的相应像素做比较，去掉差值绝对值大于阈值的像素，根据剩余像素重新确定所述输入图像在多个方向分别对应的光照强度。

第四方面，本发明实施例提供了一种图像的光照分布再现装置。所述图像的光照分布再现装置包括场景分析模块、光照分布计算模块、光照信息转化模块。所述场景分析模块用于确定输入图像中多个像素分别对应的法向信息，以及确定所述多个像素分别对应的材质系数。所述光照分布计算模块用于确定输入图像中多个像素分别对应的像素值，并确定所述输入图像的多个方向分别对应的方向向量，得到相应的方向向量集合；以及用于根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数，确定所述输入图像在所述多个方向上分别对应的光照强度。所述光照信息转化模块用于将所述多个方向分别对应的光照强度通过环境映照图表示；并用于对所述环境映照图进行分割，且得到的各分割块与拍摄场景的一个光源相对应；以及用于根据所述环境映照图及所述分割块，计算所述相应分割块的亮度和/或色温，根据所述分割块的亮度和/或色温，确定所述分割块对应的光源的亮度和/或色温。

在一个示例中，所述环境映照图为高动态范围图。

在一个示例中，所述光照信息转化模块根据所述拍摄场景的光源的数目和/或方位对所述环境映照图进行分割。

本发明实施例通过对输入图像采样多个方向得到方向向量集合，并将该多个方向分别对应的像素值之和作为相应像素的像素值，从而得到该多个方向分别对应的光照强度。以及根据该多个方向对应的光照强度重现拍摄所述图像的光照场景。本发明实施例能够从单幅图像中识别出图像中的光照分布规律，并能够通过所识别出的光照分布再现图像所处场景的光照分布，进而调节拍摄场景的灯光参数。

附图说明

图1为本发明实施例提供的一种图像的光照分布识别与再现系统框图；

图2为本发明实施例提供的一种图像的光照分布识别与再现的方法流程图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1是本发明实施例提供的一种图像的光照分布估计与再现系统框图。

图1中，图像接收模块110接收输入图像，例如，接收一副红绿蓝(redgreenblue，rgb)图像。

rgb图像是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各种颜色的图像。r、g、b分别代表红、绿、蓝三个通道的颜色。

光照分布估计装置120包括场景分析模块121、光照分布计算模块122、光照环境优化模块123。

场景分析模块121对该输入图像进行分析，得到该输入图像对应场景的几何信息，即得到该输入图像对应场景的三维属性。例如，该输入图像的三维属性为该输入图像的深度信息和法向信息。

在本发明的一个实施例中，场景分析模块121通过单幅图像的几何重建算法，得到该输入图像对应场景的几何信息。

此外，场景分析模块121还会根据该输入图像得到该输入图像的材质图像和光照图像。

在本发明的一个实施例中，场景分析模块121通过本征图像分解算法，将输入的图像分解为材质图像和光照图像。

材质图像又称为本征图像或者反射图像，其是指在变化的光照条件下能够维持不变的图像部分。也就是说，材质图像对应的是与光照无关的图像部分。光照图像又称为照射图或高光图，是反映原图像(即输入图像)光照情况的图像。

该输入图像的材质图像包含该输入图像的各像素对应的材质系数。该输入图像的光照图像包含该输入图像的各像素的光照强度。

光照分布计算模块122接收来自场景分析模块121的该输入图像的材质图像和该输入图像的三维属性。该输入图像的材质图像包含该输入图像的各像素的材质系数。该输入图像的三维属性包括该输入图像的各像素的法向向量。

光照分布计算模块122对该输入图像均匀采样多个像素，并根据该输入图像，得到该多个像素分别对应的像素值。

光照分析估计模块122根据该输入图像的材质图像，得到该采样的多个像素分别对应的材质系数。

光照分布计算模块122还会在三维空间中均匀采样多个方向，得到该多个方向的方向向量集合nd。

光照分布计算模块122根据该多个像素分别对应的像素值、该方向向量集合nd、该多个像素分别对应的法向向量、该多个像素分别对应的材质系数，确定该输入图像在该多个方向上分别对应的光照强度，从而得到该输入图像所处场景的光照分布。

具体地，光照分布计算模块122根据下面公式(1)，得到该输入图像所处场景的光照分布：

其中，p为对该输入图像采样的多个像素中的一个像素；c为r、g、b通道；ip为像素p的像素值；ip(c)为像素p在c通道上的像素值；nd为方向向量集合；q为方向向量集合中的一个方向向量；lq为q方向向量对应的光照强度；lq(c)为q方向向量在c通道上的光照强度；ap为p像素的材质系数，又称像素p的漫反射系数；ap(c)表示材质图像a中像素p在c通道的值；np为p像素的法向向量；<q,np>为对q、np求内积运算；。

在公式(1)中，max(0,<q,np>)取正数的目的是去除光照时的背光情况。lq(c)ap(c)·max(0,<q,np>)表示像素p在q方向向量的像素值。则表示像素p在采样的各方向上的像素值之和。因此，上述公式(1)的原理是，对于该输入图像中的任意像素的像素值，其等于均匀采样的各方向向量的像素值之和。

基于上述原理，将对该输入图像均匀采样得到的多个像素分别对应的像素值，代入公式(1)中得到一个以lq(c)为未知数的线性方程组；其中，lq(c)中的方向向量q取值为多个，并属于方向向量集合nd；q、nd均由光照分布计算模块122通过采样三维空间而得到；像素p的材质系数ap由场景分析模块121得到；像素p的法向向量np也由场景分析模块121得到；c分别取rgb通道的r、g、b。因此，通过求解该以lq(c)为未知数的线性方程组，能够得到该不同采样方向的光照强度，即获得该输入图像的场景光照分布。

在本发明的一个实施例中，为了计算求解公式(1)，光照分布计算模块122对该输入图像进行像素采样的数量大于等于其对三维空间采样方向的方向向量的数量，即采样像素的数量大于等于方向向量集合中方向向量的数量。

光照环境优化模块123接收来自光照分布计算模块122的该输入图像的多个不同采样方向的光照强度，以及接收来自光照分布计算模块122(或者来自光照分析模块121)的该输入图像的材质信息、三维属性信息。光照环境优化模块123根据该输入图像的多个不同采样方向的光照强度、该输入图像的材质信息、三维属性信息，重新构建一副图像。

光照环境优化模块123将该构建的图像的各像素与该输入图像的相应像素做比较，去除误差较大的像素，使用剩余的像素确定该输入图像在多个方向分别对应的光照强度；其中，该剩余的像素是指，光照分布计算模块122经采样得到的多个像素，去掉误差较大的像素，而得到的剩余像素。

例如，光照环境优化模块123将该构建图像的各像素的像素值与该输入图像的相应像素的像素值做差值，将差值绝对值大于阈值的像素剔除，使用剩余的像素确定输入图像在多个方向分别对应的光照强度。

本发明实施例通过该光照环境优化模块123去除误差较大的像素点，使用剩余像素得到该输入图像的多个采样方向的光照强度，更加精确。

光照环境优化模块123和/或光照分布计算模块122将该输入图像的多个方向的光照强度，用高动态范围(highdynamicrange，hdr)图像记录。

hdr图像是一种亮度范围很广的图像，它比其它格式的图像有着更大亮度的数据贮存。图像表面上任一点的入射光信息可通过查找hdr图而得到。hdr图的特点是其每个像素对应的值是一个浮点数，即传统图像中只能存储0,1,2，……255这样256个数值，传统图像没有办法存储567.2这样的像素值，而hdr图则可以存储像素值567.2。

光照信息转化模块130接收hdr图像，且该hdr图像记录了该输入图像的多个采样方向的光照强度。

光照信息转化模块130将该hdr图像进行分割，且该分割得到的各分割块与拍摄场景的一个光源相对应。

一个应用场景为，在拍摄影棚中，用户希望将该输入图像作为背景模板图像(以下简称为背景图像)，并使被摄者与作为背景的该输入图像无缝融合。那么，光照信息转化模块130将根据该影棚系统中光源布置的数目、位置等，对该hdr图像进行分割，使该分割得到的每一个分割块与该影棚中的一个光源相对应。例如，假设该影棚中有n个光源，根据该n个光源的入射方向，分别确定该n个光源在hdr图像中对应的像素位置。方便起见，将该n个像素称之为种子像素，之后根据hdr图像中的像素与该n个种子像素的距离实现对于hdr图像的分割。即，若像素p距离1号种子像素的距离在该n个种子像素中最近，则将该像素p就划分为该1号种子像素对应的分割块。

光照信息转化模块130根据该hdr图像以及该分割块，计算该分割块的亮度和/或色温。光照信息转化模块130根据该分割块的亮度和/或色温，确定该分割块对应的光源的亮度和/或色温。光照信息转化模块130将其计算得到的光源的亮度和/或色温发送给灯光控制系统，以便该灯光控制系统控制光源，如影棚中的灯。

具体地，光照信息转化模块130根据该hdr图像中的该分割块中所有像素，计算该分割块的亮度和/或色温。例如，该分割块的亮度的一种计算方法为：将该分割块中的每个像素的rgb三个通道按照0.3*r+0.6*g+0.1*b方式求加权平均值，得到相应像素的亮度值；然后再将该分割块中所有像素的亮度值求平均，从而得到该分割块的亮度值。该分割块的色度值的一种计算方法为：通过查询现有的rgb同色温转换关系表，得到该分割块中每个像素的rgb值对应的色度值，然后求该分割块中所有像素的色度的平均值，从而得到该分割块的色温。

图2是本发明实施例提供的一种图像的光照分布识别与再现的方法流程图。

步骤201，对输入图像进行分析，得到该输入图像对应场景的几何信息，以及该输入图像的材质图像和光照图像。

该输入图像对应场景的几何信息，即该输入图像对应场景的三维属性，例如，该输入图像的深度信息和法向信息。该输入图像的法向信息包括该输入图像各像素的法向向量。

材质图像对应的是与光照无关的图像部分，光照图像是反映该输入图像光照情况的图像。该材质图像包含该输入图像的各像素对应的材质系数。该光照图像包含该输入图像的各像素的光照强度。

在本发明的一个实施例中，通过图像的场景几何重建算法得到该输入图像对应场景的法向信息等三维属性；以及通过本征图像分解算法得到该输入图像的材质图像和光照图像。其中，该材质图像包含输入图像的各像素的材质信息。

步骤202，在三维空间中均匀采样多个方向，得到该多个方向的方向向量集合nd。

本领域技术人员可以理解，上述步骤201、步骤202没有先后顺序关系。也就是说，可以先执行步骤201再执行步骤202，也可以先执行步骤202再执行步骤201。

步骤203，根据该多个像素分别对应的像素值、该方向向量集合nd、该多个像素分别对应的法向向量、该多个像素分别对应的材质系数，确定该输入图像在该多个方向(即方向向量集合nd各方向向量)分别对应的光照强度，从而得到该输入图像所处场景的光照分布。

在本发明的一个实施例中，通过求解以lq(c)为未知数的方程得到不同采样方向的光照强度。

具体地，将对该输入图像均匀采样得到的多个像素分别对应的像素值，代入公式中，得到一个以lq(c)为未知数的线性方程组，通过求解该以lq(c)为未知数的线性方程组，得到该不同采样方向的光照强度，即获得该输入图像的场景光照分布。其中，lq(c)中的方向向量q取值为多个，并属于方向向量集合nd；q、nd通过采样三维空间而得到；像素p的材质系数ap通过对该输入图像分析(参见上述步骤201)而得到；像素p的法向向量np也通过对该输入图像的分析(参见上述步骤201)而得到；c分别取rgb通道的r、g、b。

步骤204，根据该输入图像的多个不同采样方向的光照强度、该输入图像的材质信息、三维属性信息，重新构建一副图像。

步骤205，将该构建的图像的各像素与该输入图像的相应像素做比较，去除误差较大的像素点，使用剩余的像素确定该输入图像在多个方向分别对应的光照强度；其中，该剩余的像素是指，对输入图像采样得到的多个像素，去掉误差较大的像素，从而得到的剩余像素。

例如，将该构建图像的各像素的像素值与该输入图像的相应像素的像素值做差值，将差值绝对值大于阈值的像素剔除，使用剩余的像素确定输入图像在多个方向分别对应的光照强度。

具体地，根据该剩余像素的像素值、法向信息、材质信息，并通过上述公式(1)，计算求解得到该输入图像的多个采样方向的光照强度，从而得到该输入图像对应场景的光照分布。

本领域技术人员可以理解，上述步骤204、步骤205是为了进一步提高该输入图像所处场景的光照分布的准确性，是本发明实施例的一个可选步骤。

步骤206，将该输入图像的多个采样方向的光照强度用hdr图像记录。hdr图像是一种亮度范围很广的图像，它比其它格式的图像有着更大亮度的数据贮存。图像表面上任一点的入射光信息可通过查找hdr图而得到。

步骤207，将该hdr图像进行分割，并使该分割得到的各分割块与拍摄场景的一个光源相对应。

一个应用场景为，在拍摄影棚中，用户希望将该输入图像作为背景图像，并使被摄者与作为背景的该输入图像无缝融合。那么，将根据该影棚系统中光源布置的数目、位置等，对该hdr图像进行分割，使该分割得到的每一个分割块与该影棚中的一个光源相对应。详细分割方法参见前面对光照信息转化模块130对hdr图像的分割方法。

步骤208，根据该hdr图像以及该分割块，计算该分割块的亮度和/或色温。根据该分割块的亮度和/或色温，确定该分割块对应的光源的亮度和/或色温。

具体地，根据该hdr图像中的该分割块中所有像素，计算该分割块的亮度和/或色温。例如，该分割块的亮度的一种计算方法为：将该分割块中的每个像素的rgb三个通道按照0.3*r+0.6*g+0.1*b方式求加权平均值，得到相应像素的亮度值；然后再将该分割块中所有像素的亮度值求平均，从而得到该分割块的亮度值。该分割块的色度值的一种计算方法为：通过查询现有的rgb同色温转换关系表，得到该分割块中每个像素的rgb值对应的色度值，然后求该分割块中所有像素的色度的平均值，从而得到该分割块的色温值。将该分割块的亮度值作为该分割块对应光源的亮度值，将该分割块的色温值作为该分割块对应光源的色温值。

步骤209，将计算得到的各光源的亮度和/或色温发送给灯光控制系统，以便灯光控制系统调节相应光源的亮度和/或色度。

一个应用场景为，在拍摄影棚中，用户希望将该输入图像作为背景图像，并使被摄者与作为背景的该输入图像无缝融合。那么，根据该拍摄影棚中的灯的数量、位置等，将该输入图像进行分割，且每个分割块对应该拍摄影棚中的一个灯。然后，计算该输入图像的各分割块的亮度值和/或色温值，并将各分割块的亮度值作为相应灯的亮度值，将个分割块的色温值作为相应灯的色温值。然后再将计算得到的各灯的亮度值和/或色温值，发送给灯光控制系统，以便该灯光控制系统控制该拍摄影棚的灯的亮度和/或色温。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。