基于渐进式生成对抗网络的低光图像增强方法及装置

本发明涉及图像处理的，尤其涉及一种基于渐进式生成对抗网络的低光图像增强方法，以及基于渐进式生成对抗网络的低光图像增强装置。

背景技术：

1、随着采集设备的不断普及，低光增强技术在图像处理的领域中起着越来越重要的作用。由于在采集图像的过程中无法避免一些极端的环境，例如背光，夜晚等情况，采集到的图像由于光线、视角等问题会导致采集到的图像曝光不足，图像内容难以识别，影响视觉效果。因此，如何将低光照图像进行增强，得到对应的正常光照图像是一项十分重要的研究。低光增强技术指在保留原始图像的内容不变的情况下，增强图像的光照，使图像的暗区域变为亮区域，图像的内容可以清晰展现。低光增强技术在目标识别，无人驾驶，人脸监测等任务中应用广泛，为图像视频数据采集、处理以及分析提供便利，从而进一步提高数据的利用率。

2、在过去的几十年里，低光图像增强一直受到研究人员的关注。传统的弱光增强算法可分为基于直方图均衡化(he)的方法和基于retinex理论的方法。基于he的方法通过拉伸图像的动态范围并应用若干约束使暗图像可见。该方法具有更多的边缘信息和约束条件，提高了增强过程的局部自适应能力。但是，局部区域的调整仍然不够灵活，导致光斑，曝光不足，噪声放大。retinex模型可以将图像分解为反射分量和光照分量,并在图像分解后将两个分量结合完成弱光增强。然而，这种方法的性能与先前使用的方法密切相关，在大范围的测试数据上产生不满意的结果。

3、近年来，基于深度学习的弱光增强方法以其优异的性能和较强的灵活性受到研究人员的青睐。深度学习方法最初由llnet提出，然后msr-net结合cnn和retinex模型进行图像增强。如今，包括zero-dce在内的无参考方法已经取得了巨大的成功，证明了基于深度学习的弱光增强的可行性。gan是一种由生成器和鉴别器组成的新型网络,随着gan技术的不断改进，它逐渐被用于图像处理任务中。enlightengan和low-light gan利用局部信息和gan成功实现了低光增强。尽管近年来基于深度学习的弱光增强方法取得了显著的成功，但许多方法增强图像后的暗区处理得不好，模型没有充分利用先验数据。

技术实现思路

1、为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于渐进式生成对抗网络的低光图像增强方法，其能够实现光照均匀的增强结果，提供了最佳的主观性能。

2、本发明的技术方案是：这种基于渐进式生成对抗网络的低光图像增强方法，其包括以下步骤：

3、(1)输入低光图像和正常光照图像对；

4、(2)通过基于retinex模型的图像分解模块p1和图像亮度区域感知模块p2得到反射图和遮罩图，并输入网络中；

5、(3)通过信号驱动模型生成低光图像的反射图；

6、(4)将生成的反射图输入注意力启发模型；

7、(5)通过显著性网络和生成器生成二者的特征图像并进行融合；

8、(6)通过注意力启发模型生成显著图和增强图像。

9、本发明将模型先验与数据驱动相结合，通过网络学习低光图像与正常光照图像的反射分量之间的关系，通过信号驱动模型生成低光图像的反射图，引入生成显著图网络，将生成特征图与迁移光照网络的特征图融合，通过确保输入输出图像的显著图具有一致性的方法保留完整的图像结构，通过注意力启发模型生成显著图和增强图像，因此能够实现光照均匀的增强结果，提供了最佳的主观性能。

10、还提供了基于渐进式生成对抗网络的低光图像增强装置，该装置包括：

11、第一输入模块，其配置来输入低光图像和正常光照图像对；

12、图像处理模块，其配置来通过图像分解模块p1和图像亮度区域感知模块p2得到反射图和遮罩图，并输入网络中；

13、第一生成模块，其配置来通过信号驱动模型生成低光图像的反射图；

14、第二输入模块，其配置来将生成的反射图输入注意力启发模型；

15、融合模块，其配置来通过显著性网络生成特征图像与生成器生成的特征图像进行融合；

16、第二生成模块，其配置来通过注意力启发模型生成显著图和增强图像。

技术特征：

1.基于渐进式生成对抗网络的低光图像增强方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的基于渐进式生成对抗网络的低光图像增强方法，其特征在于：所述步骤(3)中，信号驱动模型利用反射分解网络生成反射图像，为了有效地估计低光和正常光图像的反射，将p1集成到以下架构中进行图像分解；图像对输入生成器中生成具有完整内容、纹理和准确颜色的反射分量；然后将真实p1生成的反射图像和生成的反射图像都输入判别器中进行判别；采用对称编码器-解码器网络结构作为生成器和判别器；该生成器包括标准卷积块、dsconv、残差块、下采样和上采样模块，生成器遵循对称的u-net架构。

3.根据权利要求2所述的基于渐进式生成对抗网络的低光图像增强方法，其特征在于：所述步骤(3)中，为了有效地利用反射先验，将全局和区域图像信息纳入到损失函数的建立中，引入基于全局和局部色彩一致性损失以及区域正则化损失；损失函数表示为：

4.根据权利要求3所述的基于渐进式生成对抗网络的低光图像增强方法，其特征在于：所述步骤(3)中，为了捕获图像的区域特征，使用p2生成遮罩图像；首先提取图像的亮度通道，然后将这些亮度图二值化，生成遮罩图像；

5.根据权利要求4所述的基于渐进式生成对抗网络的低光图像增强方法，其特征在于：所述步骤(3)中，颜色一致性损失分为两部分:基于全局色彩一致性损失和局部色彩一致性损失，全局色彩一致性损失保持正常光图像中反射与生成反射之间的颜色一致性，公式如下:

6.根据权利要求5所述的基于渐进式生成对抗网络的低光图像增强方法，其特征在于：所述步骤(6)中，引入显著性网络生成显著性图作为注意图，以确保输入和输出图像之间的结构一致性；将显著性网络的前几个卷积块的特征与生成网络中的相应层生成的特征相结合；显著性网络通过调整特征图中通道的大小和数量使每个块的输出特征图与生成器的特征图相融合。

7.根据权利要求6所述的基于渐进式生成对抗网络的低光图像增强方法，其特征在于：所述步骤(6)中，为生成光照均匀的增强图像，在模型中加入光照损失和显著性引导内容损失，利用如下损失函数训练模型：

8.根据权利要求7所述的基于渐进式生成对抗网络的低光图像增强方法，其特征在于：所述步骤(6)中，引入显著性网络生成显著性图作为注意图，以确保输入和输出图像之间的结构一致性；将显著性网络的前几个卷积块的特征与生成网络中的相应层生成的特征相结合；显著性网络通过调整特征图中通道的大小和数量使每个块的输出特征图与生成器的特征图相融合。

9.根据权利要求8所述的基于渐进式生成对抗网络的低光图像增强方法，其特征在于：所述步骤(6)中，判别器的损失函数如下：

10.基于渐进式生成对抗网络的低光图像增强装置，其特征在于：其包括：

技术总结
公开了基于渐进式生成对抗网络的低光图像增强方法及装置，能够实现光照均匀的增强结果，提供了最佳的主观性能。方法包括：(1)输入低光图像和正常光照图像对；(2)通过基于Retinex模型的图像分解模块P<subgt;1</subgt;和图像亮度区域感知模块P<subgt;2</subgt;得到反射图和遮罩图，并输入网络中；(3)通过信号驱动模型生成低光图像的反射图；(4)将生成的反射图输入注意力启发模型；(5)通过显著性网络生成特征图像与生成器生成的特征图像进行融合；(6)通过注意力启发模型生成显著图和增强图像。

技术研发人员：齐娜,金爽,朱青,赵溪源,齐景仲
受保护的技术使用者：北京工业大学
技术研发日：
技术公布日：2024/3/12