一种结合注意力机制和Retinex模型的低光图像增强方法

一种结合注意力机制和retinex模型的低光图像增强方法
技术领域
1.本发明属于低光图像技术领域，特别是涉及一种结合注意力机制和retinex模型的低光图像增强方法。


背景技术：

2.低光图像增强一直是学术界研究的热门课题，因为这些图像不仅能见度低，无法满足人们理想的视觉效果和需求，而且对图像分割、目标检测和跟踪等传统计算机视觉任务也带来了很大的挑战。早期的研究采用频域方法来增强图像，通过对小波系数的增强，可以有效地突出图像细节，但同时也会放大隐藏在图像中的噪声，且该类算法需要大量计算，变换参数的选取无法做到自动选择；图像融合方法通过图像处理和计算机视觉技术，在不需要物理模型的情况下，从采集到的同一目标的不同图像中提取有用信息，合成高质量图像，它们的增强效果良好，但当面临实时监控需求场景时，很难在短时间内实现增强；去雾模型具有良好的性能，也能在一定程度上增强图像的可见度，但它们缺乏基本模型的物理解释，且需要一些额外的降噪处理来消除噪声，这将不可避免导致细节模糊；基于传统retinex模型的方法不仅在提高图像的对比度和亮度方面取得了良好的效果，而且在彩色图像增强方面也有明显的优势，但这类算法仅在手工约束的条件下构建，不足以适应各种自然图像的复杂信号特征。
3.近年来，深度学习在底层图像处理领域取得了巨大的成功，为底层图像处理任务带来巨大变化的同时，也为低光图像增强的性能带来了显著的提升。lore等人创建了一个深度自动编码器来增强低光图像，以实现自适应亮度调整和去噪；chen等人引入了raw格式的短曝光低光图像数据集sid，并提出一种基于完全卷积网络的方法来处理这些图像；wei等人构建了一个包含低光图像和正常光图像的成对数据集，并提出了一个名为retinex-net的深度网络；zhang等人建立了一个简单而有效的点燃黑暗(kind)的网络，该网络由层分解、反射率恢复和光照调节三个子网组成，并利用成对的数据集进行测试；lv等人提出了一种新的基于多分支卷积神经网络的端到端注意力引导方法，该方法同时学习两个注意力图来分别指导亮度增强和去噪任务，可以同时实现低光增强和去噪；xu等人提出了一种基于频率的分解和增强模型，该模型首先利用注意力上下文编码模块来恢复低频层图像内容并去噪，然后利用恢复的图像增强高频细节；fan等人整合了retinex分解和语义信息感知的思想，将语义信息引入retinex模型中，指导两个组件的增强；jiang等人应用非配对学习来测试低光增强模型，该模型摆脱了成对数据集的构造，解决了测试数据集与实际测试应用之间的域转移问题，但是在使用时容易导致图像的部分区域产生曝光不足和失真。


技术实现要素：

4.本发明的目的在于提供一种结合注意力机制和retinex模型的低光图像增强方法，以解决了现有的问题：现有的图像增强技术在进行使用时容易导致图像的部分区域产生曝光不足和失真。
5.为解决上述技术问题，本发明是通过以下技术方案实现的：
6.本发明为一种结合注意力机制和retinex模型的低光图像增强方法，包括以下步骤：
7.建立信息提取网络、反射率恢复网络和光照调节网络；
8.建立三个子网分别对f
decom
(
·
)，f
restore
(
·
)和f
adjust
(
·
)进行建模；
9.通过decomposition-net将成对的低光图像和正常光图像分解为反射率r
low
/r
high
和光照i
low
/i
high
。
10.进一步的，所述信息提取网络包括：
11.图像分解网络：用于从图像中同时提取反射率和光照；
12.注意力网络：通过attention-net来提取图像的注意力图a
map
，a
map
来检测曝光不足的程度，并在restore-net阶段用其引导反射率恢复网络。
13.进一步的，其中，所述图像分解网络包括用于约束的损失函数；
14.所述损失函数由反射率相似性损失、光照平滑度损失、相互一致性损失、重建损失组成
15.进一步的，所述反射率相似性损失的计算公式为：
16.l
rs
＝||r
low-r
high
||217.其中，l
rs
表示反射率相似性，||
·
||2表示2范数
18.所述光照平滑度损失的计算公式为：
[0019][0020]
其中，l
is
表示光照平滑度，表示一阶导数算子(包括x方向和y方向的一阶导数)，||
·
||1表示1范数，|
·
|表示绝对值算子；
[0021]
所述相互一致性损失的计算公式为：
[0022][0023][0024]
其中，l
mc
表示相互一致性，c为参数
[0025]
所述重建损失的计算公式为：
[0026][0027]
decomposition-net将输入图像分解成反射率和光照，对这两部分分量进行重建时也应该得到输入图像，我们用l
rec
进行表示；
[0028]
因此，图像分解网络的总损失函数表示为：
[0029]
l
decom
＝l
rec
+λ
rs
l
rs
+λ
is
l
is
+λ
mc
l
mc
[0030]
其中，λ
rs
，λ
is
，λ
mc
分别是反射率相似性损失、光照平滑度损失、相互一致性损失的权重系数。
[0031]
进一步的，所述反射率恢复网络包括：
[0032]
residual in residual(rir)模块，rir模块利用深度残差为反射率恢复网络提供了强大的像素调整能力，可以有效地抑制噪声和进行色彩校正；
[0033]
attention residual in residual(arir)模块，该模块首先利用两个两层卷积从amap
中提取特征f1和f2，然后利用几个卷积层通过rir模块从r
low
中提取特征f3，最后通过f3先乘以f2再加上f1的方式对f1、f2、f3这三个特征进行融合，融合后再通过卷积操作得到arir模块的输出；
[0034]
损失函数可以表示为如下：
[0035][0036]
其中λi为权重系数，mse为均方误差，ssim为结构相似性指数，grad为梯度损失。
[0037]
进一步的，所述光照调节网络阶段的损失函数可以表示为：
[0038][0039]
其中λi为权重系数。
[0040]
本发明具有以下有益效果：
[0041]
1、本发明提出了一种结合注意力机制和retinex模型的技术ca&r net来增强低光图像，在注意力信息的指导下，ca&r net可以成功处理噪声、颜色失真和多种类型的退化。
[0042]
2、本发明制定了一个注意力图来以区域自适应的方式引导反射率恢复，以便在增强过程中更加关注曝光不足的区域，并避免过度增强正常曝光区域。
[0043]
3、本发明使用重建的反射率和低照度进行联合预测，这种联合预测利用了注意力信息，同时也为光照调节网络引入了更多上下文信息，打破了光照调节网络设计单一的局限，可以使光照调整达到更好的效果。
附图说明
[0044]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]
图1为本发明整体网络框架图；
[0046]
图2为本发明网络结构图模块；
[0047]
图3为本发明与其他低光图像增强方法的第一种视觉比较；
[0048]
图4为本发明与其他低光图像增强方法的第二种视觉比较；
[0049]
图5为本发明与其他低光图像增强方法的第三种视觉比较；
[0050]
图6为本发明的消融实验。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0052]
本发明为一种结合注意力机制和retinex模型的低光图像增强方法，包括以下步骤：
[0053]
建立信息提取网络、反射率恢复网络和光照调节网络；
[0054]
建立三个子网分别对f
decom
(
·
)，f
restore
(
·
)和f
adjust
(
·
)进行建模；
[0055]
在分解阶段，通过decomposition-net将成对的低光图像和正常光图像分解为反射率r
low
/r
high
和光照i
low
/i
high
(表示为f
decom
(
·
))，该阶段在低光图像和正常光图像共享相同的反射率和光照平滑的约束下，以数据驱动的方式进行自主学习；
[0056]
在反射率恢复阶段，通过restore-net来恢复反射率和抑制隐藏的噪声，并在的引导下以区域自适应的方式实现反射率恢复(表示为f
restore
(
·
))；
[0057]
在光照调节阶段，使用adjust-net来对光照进行调节，并使用重建的反射率和低照度共同联合预测图像的照度层，这种联合预测利用了注意力信息，可以使光照调整达到更好的效果(表示为f
adjust
(
·
))。
[0058]
其中信息提取网络，包括：
[0059]
1.1.图像分解网络：从图像中同时提取反射率和光照两个分量是一项具有挑战性的任务，并且ground-truth需要摄影技术精湛的专业人员进行拍摄，并经过大量加工，通常情况下这样的图像数据是很难获取的，因此在没有ground-truth做指导的情况下，设计合理的损失函数来约束网络测试显得尤为重要。在网络中，使用曝光程度不同的低光图像和正常光图像对[s
low
,s
high
]进行测试，并根据低光图像和正常光图像共享相同的反射率，以及光照图分段平滑且相互一致的性质，设计了用于约束的损失函数，共包含四个部分：反射率相似性损失、光照平滑度损失、相互一致性损失、重建损失。
[0060]
反射率相似性损失：
[0061]
l
rs
＝||r
low-r
high
||2[0062]
用l
rs
来规范反射率相似性，其中||
·
||2表示2范数。
[0063]
光照平滑度损失：
[0064][0065]
光照平滑度由l
is
来进行约束，其中表示一阶导数算子(包括x方向和y方向的一阶导数)，||
·
||1表示1范数，|
·
|表示绝对值算子。此外，为了避免分母为0，在分母加上了一个很小的正常数ε；
[0066]
在此，此处提出的加上并不是数学意义上的加，而是用max()函数实现，使得，如果不为0，分母则是它，如果出现分母为0的情况，则用所给的很小的正常数进行代替，从而避免分母为0，保证整个公式可以正常计算。
[0067]
相互一致性损失：
[0068]
l
mc
＝||x
·
exp(-c
·
x)||1[0069][0070]
相互一致性用l
mc
表示，其中c为参数。
[0071]
重建损失：
[0072]
l
rec
＝||s
low-r
low
·ilow
||1+||s
high-r
high
·ihigh
||1[0073]
decomposition-net将输入图像分解成反射率和光照，对这两部分分量进行重建时也应该得到输入图像，用l
rec
来对其进行约束。
[0074]
因此，图像分解网络的总损失函数表示为：
[0075]
l
decom
＝l
rec
+λ
rs
l
rs
+λ
is
l
is
+λ
mc
l
mc
[0076]
其中λ
rs
，λ
is
，λ
mc
分别是反射率相似性损失、光照平滑度损失、相互一致性损失的权重系数。
[0077]
1.2.注意力网络：通过attention-net来提取图像的注意力图a
map
，并在restore-net阶段用其引导反射率恢复。观察到图像曝光不足区域的噪声比正常曝光区域更严重，想要有效地增强图像的对比度并抑制噪声，关键是以一种区域感知的自适应方式来解决问题。为此，本发明设计了一个a
map
来检测曝光不足的程度，并以区域自适应的方式引导增强，从而更好的增强曝光不足区域并避免过度增强正常曝光区域。采用u-net来实现这一目标，目的是为后续增强曝光不足区域提供指导，避免过度增强正常曝光区域。输出是一个注意力图，用来表示曝光不足的程度。可以用以下公式来表示：
[0078][0079]
其中maxc(
·
)表示返回三个颜色通道中的最大值，s
high
表示正常光图像，s
low
表示低光图像。为了得到a
map
，使用以下公式对其进行约束：
[0080]
l
attention
＝||fa(s)-a||2[0081]
其中s表示低光图像，fa(
·
)和a分别是预测和预期的结果。
[0082]
反射率恢复网络：
[0083]
由于decomposition-net分解出的反射率r
low
存在强烈的噪声和颜色偏差，本发明在注意力信息的指导下使用restore-net来恢复r
low
。
[0084]
在反射率恢复阶段，受fan等人的启发，引入了residual in residual(rir)模块，rir模块利用深度残差学习为反射率恢复网络提供了强大的像素调整能力，可以有效地抑制噪声和进行色彩校正。为了引入注意力信息，设计了一个attention residual in residual(arir)模块，该模块首先利用两个两层卷积从a
map
中提取特征f1和f2，然后利用几个卷积层通过rir模块从r
low
中提取特征f3，最后通过f3先乘以f2再加上f1的方式对f1、f2、f3这三个特征进行融合，融合后再通过卷积操作得到arir模块的输出。在这个阶段，首先利用卷积操作提取特征，然后通过一系列rir和arir模块对特征进行融合，最后再通过卷积和sigmoid层得到输出结果该阶段的损失函数可以表示为如下：
[0085][0086]
其中λi为权重系数，mse为均方误差，ssim为结构相似性指数，grad为梯度损失。
[0087]
光照调节网络：
[0088]
decomposition-net分解出的光照分量i
low
通常可见度较低，为了调整i
low
，本发明设计了一个adjust-net，并利用恢复的反射率和低照度i
low
来联合预测图像的照度层。
[0089]
首先利用u-net从中提取特征，这样，a
map
的信息就会被引入到adjust-net。其次，利用两层卷积从增强比率α和i
low
中提取特征，将此特征与u-net提取的特征进行融合后再进行卷积得到调整后的光照，并通过sigmoid层将光照调节网络的结果限制在[0,1]之间。最后，利用恢复的反射率和调整的光照按照逐元素倍乘来进行重建，最终的预测结果
[0090]
由于不存在图像的真实光照水平，因此，需要设计一种光照条件转换机制来满足不同场景的需求。在我们的数据集中，使用的是成对的低光图像和正常光图像，即我们有成对的光照图；
[0091]
即使不知道配对的光照图之间的确切关系，也可以通过α＝i
high
/i
low
来计算它们的强度比；
[0092]
该比率参数可以用来指导光照调整过程，在测试阶段，α可以由用户提供；
[0093]
我们使用正常光图像的光照i
high
来引导调节网络，它为模型测试引入了更多的上下文信息，该阶段的损失函数可以表示为：
[0094][0095]
其中λi为权重系数。
[0096]
对于光图像增强技术进行检测实验，包括以下步骤：
[0097]
1.定量测量检测
[0098]
由于检测增强图像的质量不是一项简单的任务，在本发明中，采用图像增强领域常用的峰值信噪比(psnr)和结构相似性(ssim)来作为检测结果(psnr值越大越好，ssim值越接近1越好)。从表1可以看出，本发明在这两项指标上都优于其他先进方法，从定量方面证明了本发明的合理性和有效性。
[0099]
其中参与对比的retinex-net、retinex-net-tip、kind都是基于retinex模型。retinex-net在后续增强网络中，只设计了一个relight-net来重新估计图像的亮度，而没有同时考虑反射率和光照两个分量对图像的影响，因此无法实现理想的增强。kind的图像分解网设计得很好，但是在后续的增强网络中，反射恢复网络只使用了u-net结构，光照调节网络的设计也比较简单，没有为后续两个分量的增强引入更多上下文信息。本发明提取注意力图作为反射恢复阶段的指导，注意图可以用来检测图像曝光不足的程度，使其在反射率恢复阶段可以更多关注曝光不足的区域，从而更好地增强该分量。此外，由于低光图像曝光不足区域的噪点比正常曝光区域的噪点更严重，如果直接对整个分量进行增强，会导致隐藏在暗区的噪点被放大。因此，本发明制定了一个注意力图作为反射率恢复的指导，可以有效抑制增强过程中的噪声。在光照调整阶段，除了增强率外，还利用恢复后的反射率作为输入，从而引入注意力信息，使光照调整可以关注更多的上下文信息，达到更好的效果。实验的定量结果也证明了本发明的有效性和优越性。
[0100]
表1 lol数据集上的定量测量结果
[0101][0102]
2.定性检测实验
[0103]
图3、图4、图5展示了本发明与其余几种方法在视觉效果上的对比。实验结果显示，bimef、srie、crm、dong这四种方法在提升图像亮度方面存在不足，即使对图像进行了增强，仍然存在光线较暗的问题。glad、lime、mf、npe这四种方法虽然在一定程度上提高了图像的亮度，但增强后的图像存在明显的噪点，且颜色失真较为严重。retinex-net增强后的图像较为模糊，这是因为该网络结构只设计了一个relight-net来重新估计图像的照度，而没有考虑反射率分量和光照分量分别对图像的影响。kind的增强效果较为良好，不仅在亮度上得到了较好的提升，而且噪声也处理得较好，图像的保真度也较为可观，但增强后的图像仍然存在亮度偏低的问题。本发明不仅能够有效提高低光图像的亮度，而且增强后的图像的噪声和颜色失真都很小。这再次证明了可以用注意力图来检测图像曝光不足的程度，并用其作为后续增强网的指导，可以使其在增强过程中更多地关注曝光不足区域，并避免过度增强正常曝光区域，使增强的图像取得较好的结果。
[0104]
3.消融实验
[0105]
通过消融实验以检测本发明中每个组件的有效性，消融实验的设置见表2，psnr和ssim的定量消融实验结果见表3。本发明基于retinex-net，kind为baseline，w/o ag w/o jp是在我们的条件下对kind进行重新训练的结果；
[0106]
定量检测结果表明，与retinex-net相比，本发明在整体性能上有较大提升，psnr提升了5.38，ssim提升了26.86％。对于baseline，联合预测的注入(w/o ag,with jp)将psnr提高了0.80，ssim提高了1.62％；注意力信息的注入(with ag，w/o jp)将psnr提高了0.97，ssim提高了4.15％；注意力信息和联合预测(ours)的注入将psnr提高了1.95，ssim提高了5.25％。
[0107]
定性检测结果如图6所示。对于(a2)，增强照片(b2)的阴影区域有明显的噪声。联合预测的注入(w/o ag，with jp)消除了阴影区域的噪声，但背景有可见的颜色失真(c2)。这是因为联合预测可以为adjust-net提供更多的上下文信息。注意信息的注入(with ag，
w/o jp)解决了背景颜色失真的问题，但阴影部分的噪点仍然存在(d2)。这是因为注意力信息可以区分不同曝光的区域并成功处理这些区域。本发明的增强效果相当可观，成功解决了现有的噪声和色彩失真问题(e2)。对于(a3)，增强的结果遭受严重的伪影和退化(b3)。即使是联合预测的注入也无法解决严重曝光不足区域的伪像和退化问题(c3)。然而，在注入注意力信息之后，这些缺陷就被消除了(d3)。再次证明了注意力信息可以区分曝光不同的区域，使其在增强过程中更加关注这些区域，从而达到更好的增强效果。
[0108]
表2 本发明消融实验的设置
[0109][0110]
表3 本发明的消融实验结果
[0111][0112][0113]
综上所述，达成以下效果：
[0114]
1.本发明提出了一种结合注意力机制和retinex模型的技术ca&r net来增强低光图像，用于提取图像的注意力图，用作后续增强的指导。在注意力信息的指导下，ca&r net可以成功处理噪声、颜色失真和多种类型的退化。
[0115]
2.本发明制定了一个注意力图，并以区域自适应的方式引导反射率恢复，以便在增强过程中更加关注曝光不足的区域，并避免过度增强正常曝光区域。
[0116]
3.本发明使用重建的反射率和低照度进行联合预测。这种联合预测利用了注意力信息，同时也为光照调节网络引入了更多上下文信息，打破了光照调节网络设计单一的局限，可以使光照调整达到更好的效果。
[0117]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0118]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽
叙述所有的细节，也不限制该本发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。