一种基于注意力机制的暗光图像增强方法

1.本发明涉及一种暗光图像增强方法，具体涉及一种基于注意力机制的暗光图像增强方法，属于计算机视觉技术领域。


背景技术：

2.在暗光环境下，由于光照条件的限制，图像传感器在既定曝光时间内接收到的光子较少。受限于图像传感器的物理特性与成像原理，会导致所拍摄图像质量下降严重，包括亮度低、噪声明显、细节退化和信噪比低等问题，进而明显影响图像的视觉效果和信息含量，并极大地降低下游计算机视觉算法(如目标检测、分割等)在其上的效果。尽管通过增大光圈、增加曝光时间或使用闪光灯等物理方法增加采集的光子数能在一定程度上提高获取图像质量，但是，依然会受到偏色、噪声等问题的影响，无法有效解决暗光环境下的成像问题。
3.暗光增强技术，是指利用后处理算法，将暗光图像转变成正常光照图像，并去除噪声，从而提高图像信噪比的计算成像技术。该技术可以有效提高图像视觉质量，增强图像细节，并提升下游视觉任务算法性能。
4.传统的暗光增强技术，主要利用统计学原理以及人工先验模型，对暗光图像进行处理，并借助优化策略和规则来提高图像质量，改变其对比度，增加亮度和信噪比，被广泛用于图像采集设备的底层处理流程中。然而，传统暗光增强方法在很大程度上取决于其手工制作先验假设的精度，且很难在暗度程度较高的真实图像上实现令人满意的性能，甚至可能生成额外的伪影破坏视觉效果。
5.随着深度学习方法的快速发展，利用卷积神经网络解决暗光增强问题，逐渐成为主流，其效果远超基于人工先验模型的传统方法。根据其是否使用具有标记的训练样本，利用卷积神经网络的方法可以进一步划分为有监督和无监督方法。目前，大部分的研究集中在有监督方法上，需要通过利用场景和内容上完全匹配对应的成对暗光/正常亮度图像来训练深度卷积神经网络。由于该类方法的性能高度受限于训练配对数据，且实际情况下采集成对的暗光图像和对应正常光照图像又难度较大且成本过高，因此，现有研究一般通过采用伽马变换或线性变化来调低自然光照图像亮度的方式合成训练数据，但这导致实验数据和真实暗光数据情况差异较大。
6.因此，尽管现有的监督方法在合成数据上可以取得较好结果，但通常难以很好地泛化到真实暗光图像上，会出现伪影或颜色失真等问题。相较之下，数据要求更低的无监督方法目前尚未得到充分研究，仅有的一些相关研究，也未能充分挖掘暗光图像的隐藏信息，且没有很好地考虑到真实暗光图像不同区域间的亮度水平差异，因此，这类图像增强网络在直接处理暗光图像时会出现噪声严重、颜色偏差、过曝光等问题，进而导致增强结果视觉质量较差，难以支持后续应用。
7.为了获得稳定且高质量的真实暗光图像增强结果，并且克服现有技术在配对图像数据集采集困难的问题，迫切需要有一种鲁棒且泛化能力强的暗光图像增强方法，能够利
用无需配对的暗光/正常光照图像数据，解决噪声、颜色偏差和过曝光现象的问题。


技术实现要素：

8.本发明的目的是针对现有技术在配对暗光/正常光训练数据不足的缺陷，为解决现有的无监督图像增强方法在进行暗光图像增强时存在的噪声严重、颜色偏差、过曝光等技术问题，创造性地提出一种基于注意力机制的暗光图像增强方法。
9.注意力机制，是一种基于原有数据找到其间关联性，然后根据输入重要程度自适应加权特征的资源分配的机制，可以引导算法将注意力转移到图像中最重要的区域并忽略不相关部分。将注意力机制引入计算机视觉，目的是模仿人类视觉系统，实现自然有效地在复杂场景中找到显著区域的特性。结合深度卷积神经网络(cnn)，使用注意力机制能够充分利用图像各级特征的分层多尺度信息，对更广泛的全局上下文信息进行编码，挖掘出更具辨别力的图像特征，并提高其间的相关性，从而增强网络特征提取能力，显著提高了视觉任务的完成质量。
10.本方法，通过对常规图像传感器采集的低弱光图像数据进行处理，深入挖掘更多的图像特征信息，在不使用成对图像数据集的情况下，解决了现有暗光图像增强模型对于训练数据要求严格，以及难以有效处理噪声、颜色偏差和过曝光现象等问题。
11.本方法使用非监督式循环对抗生成网络，通过内容完全无关联的暗光/正常亮度图像对，得到视觉效果明显改善的预测结果，并进一步利用身份不变损失对其施加亮度约束，将自适应真实暗光图像不同亮度水平区域的过程整合到网络训练学习阶段中，提高了网络模型的鲁棒性和泛化能力。同时，采用编解码结构网络模型作为主干生成器网络，通过施加光照感知注意力机制的方式，提高网络对空间和全局特征信息的敏感度和学习能力，能够充分利用有限的多尺度特征信息选择性强调真实暗光图像中有益的特征响应并抑制用处不大的响应，以获取噪声抑制明显、颜色估计正确、亮度水平合理且视觉效果良好的高质量增强结果，满足实际应用中对性能与泛化性的需求。
12.此外，为了从主客观两个角度合理评判所提方法在真实暗光数据上的增强效果，本方法还提出了一种配对暗光/正常光数据的采集方案，以便于判断对比与现有模型的效果优劣。
13.有益效果
14.本发明能够在不需要场景和内容上完全匹配的成对暗光/正常亮度图像的前提下，提高无监督卷积神经网络处理暗光图像的鲁棒性和泛化性，并解决了噪声、颜色偏差和过曝光现象等问题，显著提高了处理图像的视觉质量。
15.与现有技术相比，具有以下优点：
16.1.本发明，采用非监督式循环对抗生成网络，通过内容完全无关联的暗光/正常亮度图像对得到视觉效果明显改善的预测结果，突破有监督暗光增强算法需要严格成对图像、性能严重依赖于训练数据质量的训练学习层面的瓶颈；同时进一步利用身份不变损失对网络施加亮度约束，将自适应真实暗光图像不同亮度水平区域的过程整合到网络训练学习阶段中，解决了无监督方法常见的过曝光问题，提高了网络模型的鲁棒性和泛化能力，其生成增强结果的质量明显高于已有技术中的无监督方法。
17.2.本发明，使用编解码结构网络模型作为主干生成器网络，并创造性地通过施加
光照感知注意力机制的方式，提高网络对空间和全局特征信息的敏感度和学习能力，能够对更广泛的全局上下文信息进行编码，充分利用有限的多尺度特征信息选择性强调真实暗光图像中有益的特征响应并抑制用处不大的响应，显著提升网络特征提取能力，进而有效获取噪声抑制明显、颜色估计正确、亮度水平合理且视觉效果良好的高质量增强结果。
18.3.本发明提出的一种数据采集方案，能够有效获取场景和内容上完全匹配的成对暗光/正常亮度图像，同时允许与现有真实暗光/正常光配对数据相结合，支持现有有监督和无监督暗光增强方法进行训练学习和评估，有助于进一步提高暗光图像处理效果，可以作为规范化标准流程。
19.4.本发明方法数据限制小、增强质量高，适用于自动驾驶、视频监控、安防巡检、夜视成像等多个领域。
附图说明
20.图1为本发明方法的流程图；
21.图2为本发明方法所述核心暗光图像增强算法模型的网络架构示意图；
22.图3为本发明方法的暗光图像增强网络结构中所添加的光照感知注意力机制模块的内部结构示意图。
具体实施方式
23.下面结合附图对本发明方法做进一步详细说明。
24.如图1所示，一种基于注意力机制的暗光图像增强方法，包括以下步骤：
25.步骤1：数据采集阶段，利用图像采集设备(如单反相机、手机等)，采集真实的配对暗光/正常光图像数据。
26.对于每一对数据，首先利用图像采集设备采集正常光图像，可以通过改变曝光时间和iso模拟暗光条件，获取场景和内容上与之前正常光图像相匹配的暗光图像。
27.由于暗光图像需要与其对应的正常光对照图像的场景内容几乎完全一致，因此，在选取目标场景时，尽可能保证场景内目标与周围环境静止，在配对采集图像时，要注意避免微风或多余目标与干扰物等对采集场景的影响。
28.进一步地，为了从主客观两个角度合理评判所提方法在真实暗光数据上的增强效果，本方法提出了一种配对暗光/正常光数据的采集方法，以便于判断对比与现有模型的效果优劣。但本领域技术人员不限于使用该采集方法采集数据。
29.一种配对暗光/正常光数据的采集方法，包括以下步骤：
30.步骤1.1：选定预拍摄场景，确保无环境或人为因素干扰，同时保证所采集图像数据的场景和内容的丰富度，如尽可能覆盖如屋内、城市、郊外、山区等常见室内外场景，囊括车辆、植物、建筑、家具、艺术品等常见静态对象。
31.其中，所选场景可以是室外夜间、室内微光环境等。令图像采集设备(如相机)采集到符合标准的正常光图像及其对应的暗光图像，避免局部过曝光。
32.步骤1.2：设置图像采集设备(如相机)的参数，确保所采集暗光数据的质量与真实性。
33.例如，在采集前，将图像采集设备(如相机)的分辨率设置为最高分辨率，将拍摄模
式设置为手动挡，其他拍摄相关设置均使用自动或默认参数。同时，可以通过有线或无线方式(例如打开设备内置的蓝牙或wifi等)，将采集设备与远程控制设备之间进行连接。
34.步骤1.3：借助辅助设备，配合高性能拍摄设备进行配对拍摄，确保获取可以获取场景和内容上完全匹配的成对暗光/正常亮度图像。
35.具体如下：
36.将设置好的设备固定(如设置在稳固的三脚架上)，并通过程控制设备对图像采集设备进行控制操作，从而避免因直接操作图像采集设备(如按快门等)动作导致的设备抖动。同时，图像采集设备在正常光和暗光光图像拍摄之间不会被接触或移动，从而尽可能确保对应场景的成对暗光/正常光图像目标信息像素级对应。
37.在每个含目标对象的场景中，通过调整曝光时间和iso这两个参数并固定其他参数来获取正常光图像及其对应的暗光图像。在具体采集时，在既定iso设置下，仅调整图像采集设备的曝光时间参数，以尽可能保证正常光图像的视觉质量(可以肉眼清晰辨明目标细节信息)。每次采集在先获取目标场景的正常光参考图像，然后通过远程控制设备，将图像采集设备的曝光时间缩短10至100倍，从而实现实际暗光条件的图像拍摄。
38.优选地，为更好地实现暗光图像采集，可以选用以下四个iso参数：800、1600、3200、6400，以及6个曝光时间倍数：10、20、30、40、50、100，来捕获真实的暗光/正常光图像。
39.步骤1.4：对采集的图像进行校对检查，确保符合预期设定，能够正常输入网络进行训练与学习，且无敏感信息。
40.具体方法如下：
41.对采集所得的每对暗光/正常光图像进行校对检查，每次配对采集后，需要校对两点：
42.①
正常光图像中的目标是否清晰可见，要求没有出现影响图像视觉质量的现象，包括模糊、抖动或过曝光；
43.②
该场景下的暗光/正常光图像的iso和曝光时间比是否符合预期设定。
44.当检查均无误后，确定完成一对数据的采集，并保存备用。重复上述操作，直至确认所有采集数据无误。
45.步骤2：模型学习阶段，对暗光图像增强模型进行训练。
46.如图2所示，利用步骤1获取的真实的暗光/正常光图像数据，结合已有的真实暗光图像数据集，对原本配对的数据进行随机打乱，使图像对内容上不配对。在划分训练集与测试集后，以无监督的方式对暗光图像增强模型，即基于注意力机制的循环对抗生成网络(一种卷积神经网络)进行训练，直至模型训练完成。
47.进一步地，本发明给出了步骤2的一种具体实现方法。本领域技术人员也可以采用其他方式实现。
48.包括以下步骤：
49.步骤2.1：对划分为训练集的暗光/正常光图像数据进行预处理，包括旋转、翻转、随机裁剪，进行数据增广，目的是提高网络训练数据的规模和丰富程度，充分利用有限的真实数据训练资源。
50.步骤2.2：以无监督的方式，对暗光图像增强模型进行训练。
51.具体地，循环交替地让两对生成器和判别器：g
x
→y和d
x
→y、gy→
x
和dy→
x
，进行互相博弈
和对抗学习。生成器结构如图3所示。对输入的暗光、正常光图像进行处理，循环得到相应生成结果。然后，将其与真实的暗光/正常光照图像进行对比判别，计算暗光增强任务的损失函数及亮度约束的损失函数，并据此更新模型中的参数。优选地，可以采用以下方法：
52.从步骤2.1预处理过后的训练数据中，首先随机选取一张暗光图像，输入至暗光图像增强模型。
53.设输入暗光图像为x，设通过网络模型中的生成器g
x
→y生成的正常亮图像为此时，生成器g
x
→y的作用是利用光照感知注意力机制充分挖掘图像x中的特征信息，学习全局特征关系，再通过编解码结构利用所得特征图，生成逼真的正常亮图像。然后，将图像和一张随机的真实正常光图像n分别输入判别器d
x
→y，对图像进行判断，可以通过是否在阈值范围内接近真实正常光图的分布的方式，区分输入是真的正常光图还是假的正常光图。
54.在上述过程中，生成器g
x
→y所计算的损失函数为对抗损失表示为：
[0055][0056]
其中，g
x
→y(x)表示用于生成正常光图像的生成器g
x
→y对于暗光图像x的处理生成结果。
[0057]
判别器d
x
→y所计算的损失函数表示为：
[0058][0059]
其中，d
x
→y(n)表示根据输入的真实正常光图像n所得的判别结果。
[0060]
为了令生成器g
x
→y所输出的生成正常光图(与输入的真实正常光图像n对应)达到更好的生成效果，要添加一个循环一致性损失函数形成循环生成过程。具体如下：
[0061]
图像x经过对应的生成器g
x
→y和gy→
x
的循环，生成得到图像在x与间通过计算一个损失l1，表示为：
[0062][0063][0064]
为保证网络循环成立，当网络初始输入正常亮图像y时，循环生成的图像与y的过程及其循环一致性损失函数和上述过程同理，均是为了令生成器能够通过迭代学习，确保生成图像同原始输入间的一致性：
[0065][0066]
则网络中整体的循环一致性损失表示为：
[0067][0068]
此外，为防止在测试过程中发生图片过曝光的现象，在训练生成器的过程中，添加
一个计算亮度约束的身份不变损失函数
[0069]
对于生成器g
x
→y，其目标是要将暗图转换为正常光图，此处为g
x
→y再额外输入n个随机的真实正常光图，使其输出保持为正常光图，表示为：
[0070][0071]
其中，表示循环网络中正常光图生成流程中亮度约束过程所用的身份不变损失函数，xn表示额外输入给g
x
→y的随机真实正常光图，x为目标转换的初始输入暗图。
[0072]
对于生成器gy→
x
，额外输入l个随机的真实暗图，表示为：
[0073][0074]
其中，表示循环网络中暗图生成流程中亮度约束过程所用的身份不变损失函数，y
l
表示额外输入给g
x
→y的随机真实暗图，y为目标转换的初始输入正常光图。
[0075]
网络中整体的身份不变损失函数表示为：
[0076][0077]
则训练网络所使用的完整生成器部分损失函数表示为：
[0078][0079]
其中，λ1、λ2分别为调节亮度约束和循环一致性约束强度的超参数，其根据任务情况进行调节。
[0080]
完整判别器部分损失函数表示为：
[0081][0082]
步骤2.3：重复步骤2.2，直到满足设定的终止条件。当达到预期的平衡点后，将网络的结构与暗光图像增强网络模型参数进行保存。
[0083]
具体地，在训练过程中，不断重复向暗光图像增强网络模型随机输入暗光图像和正常光图像，并根据损失函数动态调整模型中的参数，直到满足预设条件。如：训练轮次达到一定量或某个评估指标优于某个预设值。
[0084]
当生成器与判别器互相达到平衡点后，训练过程停止，并将暗光图像增强网络模型参数进行储存。
[0085]
步骤3：模型使用阶段，利用步骤2训练好的暗光图像增强网络模型，对需要处理的暗光图像进行增强。
[0086]
具体地，将需要处理的暗光图像逐张输入暗光图像增强网络模型，模型将逐张获得增强结果，得到噪声抑制明显、颜色估计正确、亮度水平合理的高质量增强结果。
[0087]
作为优选，可以使用gpu完成步骤2网络的训练阶段和步骤3网络的使用阶段，并利用cudnn库加快卷积神经网络的运行速度。
[0088]
实验验证
[0089]
为说明本发明的效果，本实施例将在实验条件相同的情况下对多种方法进行对比。
[0090]
1.实验条件
[0091]
本实验的硬件测试条件为：gpu为nvidia 3090ti gpus，显存24g，cuda11.0。测试所用暗光图片为真实成对暗光/正常光数据集。
[0092]
2.实验结果
[0093]
对比不同的暗光图像增强方案，多角度、全方位验证本发明公开的增强方法的有效性。
[0094]
表1在三种不同数据集上的暗光图像增强算法性能对比
[0095][0096]
从表1的结果可以看出，本发明方法基于注意力机制，通过无监督的训练方式达到非常好的增强效果，无论是在真实(pnli、lol)还是合成(syn)图像数据集上，对于暗光图像的增强效果均明显优于其他最先进的方法。
[0097]
值得注意的是，虽然本发方法是一种无监督方法，但优于目前的有监督增强方法，如gladnet和retinex-net。psnr和ssim是当前最被广泛使用和认可的图像质量评价指标。因此，结果有力地证明了本发明公开的方法的有效性，显著优于其他方法。