一种基于模型驱动的图像阴影去除方法

1.本发明属于图像处理技术领域，尤其涉及图像阴影去除，提出了一个基于阴影图像光照 模型驱动的去除图像阴影的迭代算法，针对提出的迭代优化算法再展开成神经网络的形式来 高效地完成图像阴影去除。


背景技术：

2.阴影现象是光源被物体遮挡所造成的，也广泛存在于日常场景中。阴影往往会给其他的 计算机视觉任务带来很大的挑战，例如：目标跟踪，目标检测等。阴影去除已经是一个很重 要的预处理环节在这些计算机视觉任务之中。
3.该领域目前也有大量研究工作在进行中，早期的传统阴影去除的方法侧重于手工设计阴 影图像的相关先验，通过构建优化迭代的算法来获取无阴影图片，这类方法的优势在于很好 的可解释性，也就是说传统迭代优化求解的过程是透明而可解释的。不过当阴影场景比较复 杂时而与设计的手工先验不一致时，这类方法的阴影去除效果往往是差强人意的。同时由于 这类算法是需要迭代优化求解，那么往往计算所消耗时间会比较长。
4.目前主流的阴影去除的研究方法都是基于深度学习来进行的，这类方法在借助gpu等设 备的加速中可以比较又快又好去除阴影。但是这些方法也仍然存在一些问题亟待解决。(1) 过于简化的阴影光照模型。le and samaras(param+m+d-net)等人(le h,samaras d.fromshadow segmentation to shadow removal[c]//european conference on computer vision.springer, cham,2020:264-281.)提出了一个简化的阴影光照模型：通过设计的回归神经网络预测6个线 性系数来完成对于阴影区域内容的提亮，从而完成对于图片中阴影的去除。该方法处理时假 定了阴影区域的所有像素点受到阴影的退化影响是均匀的，这样并没有能做到对于每个像素 点的自适应处理，这也就会导致了他们方法有限的性能表现。(2)目前主流的方法是深度学 习处理的方式，这类方法是借助于神经网络强大的学习能力通过对于大量训练数据的学习， 从而使网络学习到从阴影图像到无阴影图像的非线性映射映射规律。但是这样处理时，神经 网络往往成为一个黑盒子，对于用户而言是缺乏可解释性的，这个也是这类方法的局限所在。
[0005]
目前的主流的阴影去除方法中所的阴影光照模型基于简化的假设，相关物理模型设计相 对比较简单，同时采取深度学习方法的时是缺乏可解释性的，因此这些方法往往产生次优的 结果。


技术实现要素：

[0006]
本发明是为了解决上述现有技术存在的不足之处，提出一种基于模型驱动的图像阴影去 除方法，以期能实现运行高效、去除效果好、可解释性强的图像阴影去除。
[0007]
本发明为解决上述技术问题，采用如下技术方案：
[0008]
本发明一种基于模型驱动的图像阴影去除方法的特点是按如下步骤进行：
[0009]
步骤1、获取一张待处理的阴影图像及其对应的阴影掩膜图像并进行预处理，得到
预处理 后的阴影图像和预处理后的阴影掩膜图像其中，c表示图像的通道 数，h和w分别表示图像的高度及宽度；
[0010]
步骤2、利用式(1)构建自适应变换的阴影光照模型，用于描述所述阴影图像与 待求解的无阴影图像之间的变换关系：
[0011][0012]
式(1)中，a是自适应变换矩阵；||(1-m)
×
a||2＝0是一个正则化条件；
[0013]
步骤3、根据所述阴影光照模型，利用式(2)构建求解无阴影图像的最小化变分模型：
[0014][0015]
式(2)中，d(is,i
ns
,a)为数据保真项，g(a)表示引入的惩罚项；是变分模型中与阴影 图片相关的先验项；β和λ是两个超参数；
[0016]
步骤4、求解所述变分模型中的两个待求解变量，包括：无阴影图像i
ns
和自适应变换矩 阵a；
[0017]
步骤4.1、定义当前迭代次数为k，最大迭代次数为k；构建一个网络模型并获取迭代初始 化值；初始化k＝0；
[0018]
步骤4.2、将所述预处理后的阴影图像和预处理后阴影掩膜图像输 入初始化后的网络模型n
init
(
·
)进行处理，从而获得第k次迭代的无阴影图像和自适应变换 矩阵ak；
[0019]
步骤4.2、利用式(3)对第k次迭代的无阴影图像和自适应变换矩阵ak进行更新，从而获 得第k+1次迭代的无阴影图像和自适应变换矩阵a
k+1
：
[0020][0021]
式(3)中，ηk是梯度下降法中第k次更新的步长；是数据保真项对 变量ak进行求导的操作；na(
·
)表示神经网络，用于拟合先验项对于变量ak的求导操 作，表示惩罚项g(ak)对变量ak进行求导的操作；
[0022]
步骤4.3、将k+1赋值给k后，判断k》k是否成立，若成立，则将第k次的迭代的无阴影图 像作为最终的无阴影图像输出；否则，返回步骤4.2顺序执行；
[0023]
步骤4.4、利用式(4)建立目标损失函数l：
[0024]
[0025]
式(4)中，λd、λ
reg
分别表示目标损失函数l中的超参数；
[0026]
步骤4.5、按照步骤4的过程对一批数量为batch_size的阴影图片集进行处理，并利用adam 优化器进行优化的同时，利用式(7)进行有监督训练，直到训练次数达到所设定的阈值为止， 从而得到全局最优网络用于实现对任一图像的阴影去除。
[0027]
与现有技术相比，本发明的有益效果在于：
[0028]
1、本发明提出一个新的阴影光照模型，在阴影掩膜的引导下，可以自适应的恢复阴影区 域的内容，颜色等信息，同时能很好地保持图像非阴影区域的内容。与之前模型相比，本发 明中提出的阴影光照模型考虑到了阴影区域的所有像素点受到阴影的退化影响是非均匀的， 从而能提升去阴影效果。
[0029]
2、本发明提出的基于模型驱动的图像阴影去除方法是结合传统迭代和深度学习网络优势 的高效算法，能高效且准确重建出无阴影图片。相比于现有的方法，本方法在计算效率，网 络复杂度，可解释性，重建结果以及系统的实用性上达到了综合最优的效果。本发明相对于 其他的图像阴影去除方法，网络结构轻便且具有较小的计算复杂度，同时因为整合了传统阴 影去除方法中的模型驱动的技术，相比于其他方法，本发明的方法也具有更好的可解释性， 从而为未来阴影去除的场景应用提供了更可行的解决思路。
附图说明
[0030]
图1是本发明基于阴影光照模型进行阴影去除迭代算法的流程图；
[0031]
图2a是本发明中的使用的卷积神经网络n
init
(
·
)的结构；
[0032]
图2b是本发明中的使用的卷积神经网络na(
·
)的结构；
[0033]
图3a是本发明的中使用的经典残差模块结构图；
[0034]
图3b是本发明的基于阴影模型启发的特征变换模块的结构图；
[0035]
图4是本发明在测试集的视觉对比效果图；
[0036]
图5是本发明对比其他不同方法性能与模型参数量、计算代价的对比效果图；
[0037]
图6是本发明的阴影去除方法在istd数据集上的对比性能结果图；
[0038]
图7是本发明的阴影去除方法在srd数据集上的对比性能结果图；
[0039]
图8是本发明的阴影去除方法与其他方法的运行时间对比结果图。
具体实施方式
[0040]
本实施例中，一种模型驱动的神经网络去阴影方法，是基于新提出的阴影光照模型，结 合了传统迭代优化方法和深度学习方法的优势，并充分结合传统模型驱动方案的可解释性和 数据驱动方案的高效性的优势，构建基于阴影图像光照模型驱动的去除图像阴影的算法，并 对于算法中部分步骤使用卷积神经网络代替，从而在去除任务中能够达到一个运行高效且去 除效果好的性能表现，具体的说，包括如下步骤：
[0041]
步骤1、获取一张待处理的阴影图像及其对应的阴影掩膜图像并进行预处理，得到预处理 后的阴影图像和预处理后的阴影掩膜图像其中，c表示图像的通道 数，h和w分别表示图像的高度及宽度；预处理中，对输入的阴影图像数据和阴影掩膜图像 数据进行相同的预处理过程，包括裁剪、翻转、旋转等操作。
[0042]
步骤2、利用式(1)构建自适应变换的阴影光照模型，用于描述阴影图像
与待求 解的无阴影图像之间的变换关系：
[0043][0044]
式(1)中，a是自适应变换矩阵，目的是完成对于阴影图像的全局自适应变换；m是阴影 掩膜图像，可以提供阴影位置信息；||(1-m)
×
a||2＝0是一个正则化条件，是对于变换矩阵的 显式约束，该约束要求对阴影图像进行变换时，对阴影区域可以自适应的变换来去除阴影， 也要减少对于非阴影区域的处理，这样也就很好的保持了非阴影区域的内容和颜色信息。
[0045]
步骤3、根据阴影光照模型，本发明将阴影去除问题转换为无约束的最小化变分问题，利 用式(2)构建求解无阴影图像的最小化变分模型：
[0046][0047]
式(2)中，d(is,i
ns
,a)为数据保真项，旨在约束目标输出满足本发明中所构建的阴影光照 模型，g(a)表示引入的惩罚项，可以把原带约束的光照模型转化成无约束的优化问题；是变分模型的阴影图片相关的先验项；β和λ是两个超参数；
[0048]
步骤4、求解变分模型中的两个待求解变量，包括：无阴影图像i
ns
和自适应变换矩阵a； 图1是给出了本发明中基于模型驱动的图像阴影去除方法的原理流程图；
[0049]
步骤4.1、定义当前迭代次数为k，最大迭代次数为k；构建一个网络模型获取迭代初始化 值；初始化k＝0；
[0050]
步骤4.2、将预处理后的阴影图像和预处理后阴影掩膜图像输入初 始化后的网络模型n
init
(
·
)进行处理，从而获得第k次迭代的无阴影图像和自适应变换矩阵 ak；对于初始化网络n
init
(
·
)的结构的是如图2a所示的经典的u-net网络,网络中间的基础模块 是图3a，图3a是经典的残差网络模型。
[0051]
步骤4.2、利用式(3)对第k次迭代的无阴影图像和自适应变换矩阵ak进行更新，本发明 利用梯度下降法来更新自适应变换矩阵ak、利用构建的阴影光照模型式(1)来更新无阴影 图像从而获得第k+1次迭代的无阴影图像和自适应变换矩阵a
k+1
：
[0052][0053]
式(3)中，ηk是梯度下降法中第k次更新的步长；是数据保真项对变 量ak进行求导的操作；na(
·
)表示神经网络，用于拟合先验项对于变量ak的求导操作， 在k＝1到k＝k迭代时神经网络na(
·
)的参数一直是保持共享的，对于网络na(
·
)的结构的是如图 2b所示的经典的u-net网络,网络中间的基础模块是图3b，是基
于上述阴影模型启发的一个网 络模块；表示惩罚项g(ak)对变量ak进行求导的操作；
[0054]
步骤4.3、将k+1赋值给k后，判断k》k是否成立，若成立，则将第k次的迭代的无阴影图 像作为最终的无阴影图像输出；否则，返回步骤4.2顺序执行；
[0055]
步骤4.4、利用式(4)建立目标损失函数l：
[0056][0057]
式(4)中，λd、λ
reg
分别表示目标损失函数l中的超参数，在本实施例中，固定λd＝1、 λ
reg
＝1
×
10-6
；
[0058]
步骤5、步骤4的过程是对单张的阴影图片集进行处理过程；
[0059]
步骤5.1、设置当前训练周期为t、最高迭代周期为n
max
和批处理图像数量为batch_size； 初始化t＝1；
[0060]
步骤5.2、在第t个周期中，依次向步骤4的阴影去除算法输入批次大小为batch_size的训 练集，接下来借助利用adam优化器对于步骤4中去阴影算法进行优化，本实施例中学习率取 2e-5，batch_size取6，利用式(4)的目标函数来进行有监督训练。
[0061]
步骤5.3、将t+1赋值给t后，判断t》n
max
是否成立，若成立，则表示完成网络训练，并 得到全局最优网络，从而得到阴影去除迭代算法中最优的网络模型。否则，返回步骤5.2。
[0062]
为了量化评估本发明的效果并验证本发明的有效性，为此将本发明方法与 st-cgan,sp-m-net等十二种算法在2个公开真实世界数据集相比较。选择psnr(peaksignal-to-noise ratio)峰值信噪比,ssim(structural similarity index metric)结构相 似性距离以及rmse(root mean square error)均方根误差三个性能指标作为评价指标。
[0063]
数值指标评估分为三个部分：
[0064]
第一部分是基于误差敏感的图像质量评估，评价标准为psnr：
[0065][0066]
式(5)中，x与y分别为网络输出图像与目标图像，maxvalue表示该图像所能取到的最大 动态范围的数值，h和w为图像的高度和宽度。
[0067]
第二部分是基于结构相似的图像质量评估，评价标准为ssim：
[0068][0069]
式(6)中，x与y分别为网络输出图像与目标图像，μ
x
为x的均值，μy为y的均值,为x 的方差,为y的方差，σ
xy
为x与y的协方差，c1与c2为常数。
[0070]
第三部分是使用在lab颜色空间下的rmse指标来评价颜色恢复误差,
[0071][0072]
式(7)中，x与y分别为网络输出图像与目标图像,lab(
·
)指的是将图像x或者y转换到lab 颜色空间下,h和w为图像的高度和宽度。
[0073]
图4展示了本发明在测试集的视觉对比效果。param+m+d-net因为其简化的阴影建模方 式，其并没有成功恢复出阴影中原始的背景内容和颜色信息。其他的方法与param+m+d-net 一样，在处理完的结果中在阴影边缘位置还存在非常明显的阴影残差伪迹。相比之下，本申 请的方法可以成功的去除阴影，并恢复原来阴影区域中的内容和颜色信息，更重要的是，本 申请的方法能在处理阴影退化的同时，能尽可能保持非阴影区域的内容和颜色，这也说明本 发明的阴影去除方法比其他方法性能更加优越。
[0074]
图5和图6展示了本发明中图像阴影去除方法与其他方法在istd和srd数据集进行重 建无阴影图像的定量指标性能比较结果。每个数据集下都划分了三部分利用上述三个评估指 标进行衡量方法的去阴影效果表现：图片的阴影区域(s)，图片的非阴影区域(ns)和整个 图像区域(all)。阴影区域指标可以衡量对阴影区域的恢复效果；非阴影区域的指标可以衡 量网络对非阴影区域的内容保持；整个图像区域的指标衡量的是一个综合去除阴影的表现。 从两个表的结果来看，在psnr指标上，本技术的方法取得全面最优的表现结果，甚至大幅 度超越第二名方法；在rmse指标上，本技术方法除阴影区域外，在非阴影区域(ns)和整 个图像区域(all)都是获得了更优异的结果。
[0075]
图7为本发明对比其他不同方法性能与模型参数量、计算代价的对比效果。本发明的方 法是以相对比较小的参数量和比较小的计算量达到了最佳的性能表现。
[0076]
图8展示了本发明中图像阴影去除方法与其他方法在分辨率为640
×
480
×
3的阴影图像作 为输入时时英伟达1080ti gpu上平均运行时间，可以看出本发明方法比性能次优的dhan 方法快近17.5倍。这也说明本技术方法是为未来阴影去除的场景应用提供了可行的解决思路。