一种基于深度卷积神经网络的无参考低照度图像增强方法

1.本发明属于图像处理领域，涉及一种基于深度卷积神经网络的无参考低照度图像增强方法。


背景技术：

2.低照度环境通常指较差的照明条件，例如多云、夜间和室内等场景。此外，由于拍摄设备成像过程中，不可避免地引入成像噪声。而这些噪声又会由于低照度情况而进一步加剧，因此，对低照度图像进行适当的增强和去噪显得十分必要。
3.目前低照度图像增强方法主要可以分为传统方法和深度学习方法。传统方法中具有代表性的有基于直方图均衡化的方法和基于retinex理论的方法，其中直方图均衡化方法通过将图像的灰度范围调整为平均分布在整个灰度等级中，实现对图像的动态范围的拉伸。而基于retinex理论的方法主要从retinex理论出发，依据这一理论从低照度图像中提取照射分量和反射分量，因在retinex理论中认为图像的反射分量代表所拍摄场景的本质属性，不受光照变化的影响，所以通常将提取到的反射分量作为增强的结果。传统方法往往受限于先验知识的约束，其增强效果并不总是很好。
4.得益于近年来深度学习在众多领域中都取得了不俗的成就，采用深度学习方法实现低照度图像增强已成为一个重要的趋势，其中又以卷积神经网络最为突出。该类方法，在损失函数的约束下，通过大量数据的训练使得构建的深度神经网络实现输入到输出的映射。依据训练方式的区别，可以分为有参考训练和无参考训练。现有的大部分采用深度学习方法实现低照度图像增强的论文中多采用有参考图像的训练方式，这样可以为网络树立一个明确的优化方向，在训练难度上较低，但增强结果将较大地受限于参考图像的质量，且成对的图像在收集和制作上也存在诸多困难。无参考训练方式尚处于研究的初步阶段，但无参考训练方式具有着数据集制作简单且样本量足够和丰富、增强结果的限制更小，可能取得超越有参考图像时的效果等优势，有学者提出可以研究低照度图像和正常光照图像在色彩、曝光和空间结构上的先验知识作为无参考训练方式的指导。低照度图像增强面临的另一大问题是如何避免原图像中的噪声不会因为增强而被同步放大。对此，有方法将图像去噪技术作为增强的预处理过程或后处理过程，这样可能会导致图像中细节信息的丢失。另一种思路是将去噪融合进图像增强的过程中，但这样又给网络和损失函数的设计带来新的难题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于深度卷积神经网络的无参考低照度图像增强方法。为了在提升增强结果中细节信息的保持能力和对原图像中噪声的抑制能力，该方法利用卷积神经网络从输入的低照度图像中提取照射分量和反射分量，在反射分量的调整过程中加入去噪算法的去噪效果，使得网络具有抑制噪声的能力，同时在损失函数中对输出结果的纹理结构进行适当的约束，并配合无参考训练方式更好地保留输入图像中的
细节信息。
6.为达到上述目的，本发明提供如下技术方案：
7.一种基于深度卷积神经网络的无参考低照度图像增强方法，该方法包括以下步骤：
8.s1：根据对低照度图像的要求，构建用于网络训练的数据集，并进行一定的预处理；
9.s2：构建基于深度卷积神经网络的分解网络实现对输入图像的反射分量和照射分量的提取；
10.s3：构建用于处理反射分量的优化网络，实现对反射分量的精细化同时抑制噪声；
11.s4：构建用于处理照射分量的优化网络，实现对照射分量的进一步优化；
12.s5：将优化后的反射分量和优化后的照射分量相乘得到增强后的图像，使用优化器调整训练过程，根据损失函数的计算值对网络进行训练使得其收敛于最佳效果。
13.可选的，所述s1具体包含以下步骤：
14.s11：对输入图像进行颜色空间转换，对平均亮度值小于所设阈值的图像予以保留以此构建训练图像库；
15.s12：对图像库中尺寸与预设大小不一致的图像进行一定比例的缩放；
16.s13：从图像库中随机选取图像进行随机的翻转形成最终的训练图像库。
17.可选的，所述s2具体包含以下步骤：
18.s21：基于深度卷积神经网络构建分解网络，同时对输入图像进行反射分量和照射分量的提取并获得相应的特征图；
19.s22：使用尺寸不变卷积模块调整特征图激活程度。
20.可选的，所述s3具体包含以下步骤：
21.s31：对输入的反射分量进行下采样操作，之后通过尺度不变特征变换以及上采样操作；
22.s32：使用去噪算法对反射分量进行调整并对其尺度进行缩放，同时改变其大小使得其与经过不同操作的反射分量大小保持一致。
23.可选的，所述s4具体包含以下步骤：
24.s41：基于尺寸不变卷积构建照射分量优化网络；
25.s42：将图像的照射分量特征图输入优化网络调整相关参数。
26.可选的，所述s5具体包含以下步骤：
27.s51：将优化后的照射分量和优化后的反射分量相乘得到增强结果；
28.s52：依据低照度图像和正常光照图像在色彩、空间结构和曝光程度上的先验知识，构建无参考损失；
29.s53：将增强结果输入到构建好的无参考损失中，计算损失值；
30.s54：使用优化器并采用梯度反向传播算法对网路参数进行更新；
31.s55：对模型进行多轮训练直至效果达到要求，以实现对低照度图像的增强。
32.本发明的有益效果在于：本发明考虑到低照度图像和正常光照图像在纹理结构变化趋势上的一致性并结合反射分量自身的特点，使得增强结果中的纹理细节信息更加丰富。此外，通过将去噪算法的去噪效果融入进网络中，使得网络具有良好的细节提升能力的
同时也能够对噪声进行较好的抑制。另外，本发明采用的无参考训练方式，可以在一定程度上减轻构建训练数据集的困难，便于实施。
33.本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
34.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
35.图1为本发明的网络模型结构；
36.图2为分解网络的模型结构；
37.图3为反射分量优化网络的模型结构；
38.图4为照射分量优化网络的模型结构；
39.图5为本发明的增强效果示意图；(a)为低照度图像；(b)为本发明图像。
具体实施方式
40.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
41.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
42.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
43.一种基于深度卷积神经网络的无参考低照度图像增强方法，基于retinex理论实现低照度图像增强。首先，使用分解网络从输入的低照度图像中提取照射分量和反射分量。然后，利用优化网络对照射分量和反射分量的分别优化。最后，将优化后的两个分量相乘得到结果。
44.分解网络提取到输入图像的照射分量和反射分量的特征图，对反射分量使用去噪算法进行去噪处理得到去噪后的反射分量，之后对去噪后的反射分量进行尺度缩放，使得
其能够与输入的反射分量特征图尺度保持一致，一起出入到反射分量优化网络中得到优化后的反射分量，与此同时将照射分量输入到尺寸不变卷积的照射分量优化网络中得倒优化后的照射分量。最后，将优化后得照射分量和反射分量相乘得到增强后的图像。
45.本发明提供的一种基于深度卷积神经网络的无参考图像增强方法的网络模型结构如图1所示，具体包括以下步骤：
46.1、训练图像数据集的构建
47.(1)对输入图像进行颜色空间转换，将平均亮度低于所设阈值的图像列为低照度图像。
48.(2)使用缩放、旋转和水平翻转等方式扩充训练图像，提升模型学习到的特征的有效性。
49.2、分量提取
50.本发明的分量提取网络如图2所示，使用基于深度卷积神经网络构建的分解网络，对输入图像中的照射分量和反射分量进行提取并获得相应的特征图。
51.3、反射分量优化
52.(1)本发明的反射分量优化网络如图3所示，对反射分量进行下采样操作，之后进行尺度不变特征变换以及上采样操作。
53.(2)使用去噪算法对反射分量进行调整并对其尺度进行缩放，改变其大小使其与不同操作后的反射分量大小保持一致。
54.4、照射分量优化
55.本发明的照射分量优化网络如图4所示，将照射分量经过几个尺寸不变卷积处理得到优化后的照射分量。
56.5、增强结果的确定
57.图5中展示的是本发明的增强结果示意图。将优化后的照射分量和反射分量相乘即可得增强后的结果。(a)为低照度图像；(b)为本发明图像。
58.本发明所设计的一种结合头部和整体信息的行人检测方法主要包含训练和测试两个阶段。
59.(1)训练阶段
60.训练阶段主要包括特征提取以及模型权重参数的更新。通过使用经过预处理的图像对模型进行训练，将模型计算得到的结果代入到损失函数中计算得到各项损失值，同时依据总损失值并使用梯度反向传播算法更新模型的权重参数。当模型迭代次数达到预设值后终止其训练过程并保存权重参数。
61.(2)测试阶段
62.测试阶段需要加载经过训练的模型权重参数，对于输入图像仅使用缩放的方式使其尺寸符合模型的输入所需。此时模型不再进行梯度反向传播而是直接将增强结果进行输出从而对输入的低照度图像实现增强。
63.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。