一种基于球谐光照的RGBD图像环境光编辑方法和系统与流程

本发明涉及数字图像处理技术领域，尤其涉及一种基于球谐光照的rgbd图像环境光编辑方法和系统。

背景技术：

光照的分布是影响照片质量的重要因素，尤其是环境光。在专业摄影领域，摄影师往往通过外加的人工光源来改善环境的光照分布。然而现实情况较为复杂，人工灯源的调整不仅难以使得光照达到理想情况，而且会耗费大量的设备和人力。此外，已经拍摄的图像只能通过后期处理的方法进行编辑。用户需要一种便捷的图像处理方法，从而可以自由且方便地对其中的光照进行编辑和增强。

目前一些重加光照的方法虽然能够实现对图像中光照的调节，但是这些方法利用的是简单的光照模型，如直线光源、点光源或者聚光灯等，不适用于现实情况中复杂的光照情况。而且一张图像中的光源很难与场景中白色的物体区分出来，对光源的估计是一个较为困难的问题。一些交互式的重加光照的方法虽然能够克服这些缺点，但是由于没有用到三维信息作为输入，需要大量的交互式操作来确定场景的空间结构以及光源的位置、方向和强度等信息，且无法实现整体光照的增强。此外现有的重加光照方法由于缺乏场景中的物体遮挡关系，大都无法对场景中原有的阴影进行调整。

技术实现要素：

本申请实施例通过提供一种基于球谐光照的rgbd图像环境光编辑方法和系统，解决了现有技术中对图像的光照调节难以适用于环境光复杂的情况的问题。

本申请实施例提供一种基于球谐光照的rgbd图像环境光编辑方法，包括：

步骤1、对输入的rgbd图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图；

步骤2、将所述无阴影的明暗图分解为光照细节图、球谐光照图；

步骤3、通过交互编辑得到调节后的球谐光照图；

步骤4、根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图；

步骤5、根据所述无阴影的反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的rgb图像并输出。

优选的，所述步骤1包括以下子步骤：

步骤1.1、将原始rgb图像转化成灰度图，并利用基于相对全变分模型的纹理结构提取方法对灰度图进行滤波，得到纹理去除后的图像；

步骤1.2、利用rgbd-fusion方法结合纹理去除后的图像对原始深度图进行优化，得到精细深度图；

步骤1.3、利用单张rgbd图像的阴影移除方法结合精细深度图对原始rgb图像的阴影进行移除，得到阴影图、无阴影图像；

步骤1.4、利用基于结构纹理分离与表面法线的本征图像分解方法对无阴影图像进行分解，得到无阴影的反射率图、无阴影的明暗图。

优选的，所述步骤2包括以下子步骤：

步骤2.1、利用所述精细深度图计算出法线图，并归一化；

步骤2.2、所述法线图按照行主序的顺序构造成大小为n×3的法向量矩阵，其中n为法线图像素个数；

步骤2.3、利用度数为2的实数域球谐基函数计算出所述法向量矩阵对应的球谐基矩阵，所述球谐基矩阵大小为n×9；

步骤2.4、将所述无阴影的明暗图按照行主序的顺序构造成长度为n的列向量；

步骤2.5、利用最小二乘的方法获得球谐系数向量：

h＝(a^ta)^-1a^ts

其中，h为长度为9的球谐系数向量，a为球谐基矩阵，s为无阴影的明暗图的列向量；

步骤2.6、利用所述球谐系数向量获得球谐光照图、光照细节图，计算方法为：

l＝a·h

其中，l、d分别为所述球谐光照图、所述光照细节图，∈＝10^-6。

优选的，所述步骤3包括以下子步骤：

步骤3.1、将所述球谐光照图对应的球谐系数向量在立方体上渲染并展开，得到环境光分布图；

步骤3.2、在所述环境光分布图上使用笔刷进行绘制，以调整光照的强度和分布，得到编辑后的环境光分布图；

步骤3.3、获得编辑后的环境光分布图的球谐系数向量，根据球谐系数向量进行重新渲染，得到调节后的球谐光照图。

优选的，所述步骤3.3中，通过以下步骤获得编辑后的环境光分布图的球谐系数：

步骤3.3.1、利用所述精细深度图计算出法线图，并归一化；

步骤3.3.2、所述法线图按照行主序的顺序构造成大小为n×3的法向量矩阵，其中n为图像像素个数；

步骤3.3.3、利用度数为2的实数域球谐基函数计算出所述法向量矩阵对应的球谐基矩阵，所述球谐基矩阵大小为n×9；

步骤3.3.4、将所述编辑后的环境光分布图按照行主序的顺序构造成长度为n的列向量；

步骤3.3.5、利用最小二乘的方法获得球谐参数向量：

h＝(a^ta)^-1a^ts

其中，h为长度为9的球谐系数向量，a为球谐基矩阵，s为编辑后的环境光分布图向量。

优选的，所述步骤4包括以下子步骤：

步骤4.1，将所述精细深度图转换成点云，并进行下采样；

步骤4.2，将下采样后的点云建立k-d树，对于点云中的每一个点p，利用k-d树得到其半径为r的领域内的所有点的集合ω(p)；

步骤4.3，结合所述球谐光照图计算出点云每一个点对应的环境光遮罩阴影密度图，计算方法为：

其中，υ(p，q)为点p到点q的向量，h为球谐光照渲染函数，c为环境光遮罩阴影密度图；

步骤4.4，利用4.3中环境光遮罩阴影密度图的计算方法，结合所述调节后的球谐光照图，计算出调节后的环境光遮罩阴影密度图；

步骤4.5，根据所述环境光遮罩阴影密度图、所述调节后的环境光遮罩阴影密度图、所述阴影图计算得到调节后的阴影图，计算方法为：

ρ′＝ρ·exp(c′-c)

其中，c′为所述调节后的环境光遮罩阴影密度图，ρ和ρ′分别为所述阴影图和所述调节后的阴影图。

优选的，所述步骤5中合成得到环境光编辑后的rgb图像的计算方法为：

i＝ρ′l′dr

其中，l′为所述调节后的球谐光照图，r为所述无阴影的反射率图，i为所述环境光编辑后的rgb图像。

另一方面，本申请实施例提供一种基于球谐光照的rgbd图像环境光编辑系统，包括：

预处理单元，用于对输入的rgbd图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图；

明暗图分解单元，用于将所述无阴影的明暗图分解为光照细节图、球谐光照图；

交互编辑单元，用于通过交互编辑得到调节后的球谐光照图；

阴影图调节单元，用于根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图；

图像合成单元，用于根据所述反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的rgb图像并输出。

优选的，所述预处理单元包括：

纹理滤波子单元，用于将原始rgb图像中的纹理进行滤除，得到纹理去除后的图像；

深度图优化子单元，用于对原始深度图进行优化，得到精细深度图；

阴影移除子单元，用于将原始rgb图像中的阴影进行移除，得到无阴影图像；

本征图像分解子单元，用于将原始rgb图像进行分解，得到无阴影的反射率图、无阴影的明暗图、阴影图。

优选的，所属交互编辑单元包括：

环境光渲染子单元，用于将球谐系数向量在立方体上进行渲染并展开，得到环境光分布图；

用户绘制子单元，用于通过笔刷绘制对环境光分布图中的光照进行调节，得到编辑后的环境光分布图；

球谐系数向量估计子单元，用于对编辑后的环境光分布图进行球谐系数向量估计，得到编辑后的环境光分布图的球谐系数向量；

球谐光照图渲染子单元，用于根据编辑后的环境光分布图的球谐系数进行渲染，得到调节后的球谐光照图。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本申请实施例中，对输入的rgbd图像进行预处理得到无阴影的反射率图、无阴影的明暗图以及阴影图，将无阴影的明暗图分解成光照细节图和球谐光照图，通过交互编辑得到调节后的球谐光照图，根据球谐光照图、调节后的球谐光照图对阴影图进行调整得到调节后的阴影图，根据无阴影的反射率图、调节后的球谐光照图、调节后的阴影图合成得到环境光编辑后的rgb图像并输出。即本发明对输入的图像进行预处理，并将明暗图分解成光照细节图和球谐光照图，再以用户交互的方式调整球谐光照图，并相应地调整阴影，最后进行重新合成，得到环境光编辑后的图像。本发明结合深度图对图像中的环境光进行估计，通过用户交互的方式编辑环境光并重新合成，从而使得图像的环境光照情况达到预期效果。本发明建立的光照模型适用于各种环境光复杂的情况，能够自动对图像中的环境光进行估计，光照编辑的交互过程直观方便，对于用户输入具有较好的鲁棒性。

附图说明

为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于球谐光照的rgbd图像环境光编辑方法的总体数据流图；

图2为本发明实施例提供的一种基于球谐光照的rgbd图像环境光编辑方法的光照编辑数据流图；

图3为本发明实施例提供的一种基于球谐光照的rgbd图像环境光编辑方法的球谐光照分解过程数据流图；

图4为本发明实施例提供的一种基于球谐光照的rgbd图像环境光编辑方法的用户交互数据流图；

图5为本发明实施例提供的一种基于球谐光照的rgbd图像环境光编辑方法的阴影调整数据流图；

图6为利用本发明实施例提供的一种基于球谐光照的rgbd图像环境光编辑方法对图像进行环境光编辑的示例图；

图7为本发明实施例提供的一种基于球谐光照的rgbd图像环境光编辑方法与现有交互式光照编辑方法的效果对比图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本发明提供一种基于球谐光照的rgbd图像环境光编辑方法，主要包括以下步骤：

步骤1、对输入的rgbd图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图；

步骤2、将所述无阴影的明暗图分解为光照细节图、球谐光照图；

步骤3、通过交互编辑得到调节后的球谐光照图；

步骤4、根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图；

步骤5、根据所述无阴影的反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的rgb图像并输出。

下面结合附图，对本发明做进一步的说明。

参看图1-图5，本实施例提供的一种基于球谐光照的rgbd图像环境光编辑方法，主要包括如下步骤：

步骤1，将原始rgb图像(例如一张分辨率为640×480的rgb图像)作为输入，将其转化成灰度图，并利用基于相对全变分模型的纹理结构提取方法对灰度图进行滤波，得到纹理去除后的图像(纹理去除后的图像即为结构图)。

步骤2，利用rgbd-fusion方法结合纹理去除后的图像对原始深度图进行优化，得到精细深度图。

步骤3，利用单张rgbd图像的阴影移除方法结合精细深度图对原始rgb图像的阴影进行移除，得到阴影图、无阴影图像。

步骤4，利用基于结构纹理分离与表面法线的本征图像分解方法对无阴影图像进行分解，得到无阴影的反射率图和无阴影的明暗图。

步骤5，基于球谐光照将明暗图分解成光照细节图和球谐光照图。

步骤5.1，利用精细深度图计算出法线图，并归一化。

步骤5.2，法线图按照行主序的顺序构造成大小为n×3的法向量矩阵(例如307200×3的法向量矩阵)，其中n为图像像素个数。

步骤5.3，利用度数为2的实数域球谐基函数计算出法向量矩阵对应的球谐基矩阵，其大小为n×9(例如307200×9)。

步骤5.4，将无阴影的明暗图按照行主序的顺序构造成长度为n(例如307200)的列向量。

步骤5.5，利用最小二乘的方法估计出球谐参数向量，也即：

h＝(a^ta)^-1a^ts

其中，h为长度为9的球谐系数向量，a为球谐基矩阵，s为无阴影的明暗图的列向量。

步骤5.6，利用球谐系数向量计算球谐光照图和光照细节图，计算方法为：

l＝a·h

其中，l和d分别为球谐光照图和光照细节图，∈＝10^-6。

步骤6，使用用户交互的方法对球谐光照图进行编辑，得到环境光照调整后的球谐光照图。

步骤6.1，将球谐光照图对应的球谐系数在立方体上渲染并展开，得到环境光分布图。

步骤6.2，在环境光分布图上使用笔刷进行绘制，以调整光照的强度和分布，从而得到编辑后的环境光分布图。

步骤6.3，类似于步骤5.1到步骤5.5的方法，对编辑后的环境光照分布图估计球谐系数，然后重新渲染成球谐光照图l′。

步骤7，根据调整前后的球谐光照图相应地调整阴影图。

步骤7.1，将精细深度图转换成点云，并进行下采样。

步骤7.2，将下采样后的点云建立k-d树，对于点云中的每一个点p，利用k-d树得到其半径为r的领域内的所有点的集合ω(p)。

步骤7.3，结合初始的球谐光照图计算出点云每一个点对应的环境光遮罩阴影密度图c，计算方法为：

其中，v(p，q)为点p到点q的向量，h为球谐光照渲染函数。

步骤7.4，结合编辑后的球谐光照图计算出新的环境光遮罩阴影密度图c′。

步骤7.5，根据c和c′计算新的阴影图像，计算方法为：

ρ′＝ρ·exp(c′-c)

其中，ρ和ρ′分别为编辑前后的阴影图像。

步骤8，合成无阴影的反射率图、调整后的球谐光照图、调节后的阴影图，得到环境光编辑后的结果图像，合成图像的计算方法为：

i＝ρ′l′dr

其中，r为反射率图，i为最终合成的结果。

图6为本发明对图像进行环境光编辑的两组结果，其中奇数行为rgb图像，偶数行为对应的环境光编辑过程，图像列(a)为原始图像，(b)和(c)为添加光源后的结果，(d)为总体光照增强后的结果。

从图6中可以看出，用户对环境光分布图进行编辑后，场景的光照能够对应地实现调整，其中不论是局部光源的添加还是整体光照的增强，都能达到较为自然的结果。

图7为本发明与现有交互式光照编辑方法结果对比，其中(a)为原始图像；(b)和(c)为interactiverelightinginsinglelow-dynamicrangeimages方法光照编辑后的结果(以下简称irsi方法)；(e)和(f)为本发明的结果；(d)和(g)分别为(c)和(f)中的局部细节。

从图7中可以看出，本发明相对于irsi方法在整体上取得了更好的效果。其中，从中部箭头可以看出，irsi方法的结果在沙发等平面交界处存在不自然的亮度突变，而本发明在这些地方过渡自然。从左上部箭头可以看出，竖直光照在irsi方法中没有很好地体现出来，从右下部箭头可以看出irsi的着色没有随着竖直光照的添加而发生改变，相对而言，本发明在这两个地方都能较好得符合真实的光照效果。

相应的，本发明提供一种基于球谐光照的rgbd图像环境光编辑系统，包括：

(1)预处理单元，用于对输入的rgbd图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图。

其中，所述预处理单元包括：

(1.1)纹理滤波子单元，用于将原始rgb图像中的纹理进行滤除，得到纹理去除后的图像。

(1.2)深度图优化子单元，用于对原始深度图进行优化，得到精细深度图。

(1.3)阴影移除子单元，用于将原始rgb图像中的阴影进行移除，得到无阴影图像。

(1.4)本征图像分解子单元，用于将原始rgb图像进行分解，得到无阴影的反射率图、无阴影的明暗图、阴影图。

(2)明暗图分解单元，用于将所述无阴影的明暗图分解为光照细节图、球谐光照图。

(3)交互编辑单元，用于通过交互编辑得到调节后的球谐光照图。

其中，所属交互编辑单元包括：

(3.1)环境光渲染子单元，用于将球谐系数向量在立方体上进行渲染并展开，得到环境光分布图；

(3.2)用户绘制子单元，用于通过笔刷绘制对环境光分布图中的光照进行调节，得到编辑后的环境光分布图；

(3.3)球谐系数向量估计子单元，用于对编辑后的环境光分布图进行球谐系数向量估计，得到编辑后的环境光分布图的球谐系数向量；

(3.4)球谐光照图渲染子单元，用于根据编辑后的环境光分布图的球谐系数进行渲染，得到调节后的球谐光照图。

(4)阴影图调节单元，用于根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图。

(5)图像合成单元，用于根据所述反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的rgb图像并输出。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。