基于灰度提升的双路卷积低光照图像增强方法

1.本发明属于低光照图像增强技术领域，尤其涉及一种基于灰度提升的双路卷积低光照图像增强方法。


背景技术：

2.近年来，相机或手机等数字化拍照设备，当其处于弱光，例如夜晚，室内等环境下时，为提高所拍摄图片的视觉质量，通常会采用增加曝光时间和提高iso（对光的敏感性）参数等手段。然而，这样的操作在一定条件下能够记录到黑暗中的物体，但是长的曝光时间会导致所拍摄图片中因为物体运动而造成的模糊和鬼影，而高iso则会放大图像中的噪点，给图像带来不可避免地视觉质量损失。相机的闪光灯虽然能够在光线不足的情况下提供曝光补偿，但不适合对远距离的物体和场景进行拍摄，使用不当还会引入色彩失真和伪像。
3.深度学习在计算机视觉领域发挥着重要的作用，在诸如图像超分，图像去噪，低光照增强等这类的底层视觉增强任务中尤为重要，近年来的各种算法也证明了深度学习在图像恢复领域的可行性。基于监督学习的图像恢复任务中，数据起着主导作用，一个准确的数据集使得学习到输入与输出图像之间的映射成为可能。


技术实现要素：

4.针对现有技术的缺陷和不足，本发明的目的在于提供一种基于灰度提升的双路卷积低光照图像增强方法，该方法在监督学习条件下，首先通过单路灰度增强网络将输入的低光照raw图像转换为增强后的单通道灰度图。将长曝光条件下raw图通过后处理得到彩色rgb图像以及转换后的灰度图像作为单路灰度增强网络的参考图。根据retinex理论对低光照图像的光照信息进行增强再将其与物体反射的颜色信息进行融合，将增强后的单通道灰度图像与原始输入低光照单通道raw图作为双路u-net融合增强网络输入，最后生成增强后的彩色三通道rgb图像。
5.本发明主要研究低光照条件下所获得的图片通过算法后处理以增强其可见性和视觉效果。利用深度学习方法，对未经算法后处理的低光照单通道raw图进行增强，通过去拜尔阵列网络生成亮度提升后的单色图，最后经过融合增强网络生成视觉效果增强后的rgb三通道图像。
6.本发明具体采用以下技术方案：一种基于灰度提升的双路卷积低光照图像增强方法，其特征在于，包括以下步骤：步骤s1：选择弱光环境下拍摄得到基于rggb阵列模式排列的raw图像作为输入；步骤s2：通过单路灰度增强网络将输入的低光照raw图像转换为增强后的单通道灰度图；步骤s3：将增强后的单通道灰度图像与原始输入低光照单通道raw图作为双路u-net融合增强网络输入，并以长曝光条件下的raw图处理后得到的彩色rgb图和灰度图作为监督学习中训练神经网络的参考图像，生成增强后的彩色三通道rgb图像。
7.进一步地，在步骤s3中，根据retinex理论对低光照图像的光照信息进行增强再将其与物体反射的颜色信息进行融合，将增强后的单通道灰度图像与原始输入低光照单通道raw图作为双路u-net融合增强网络输入。
8.进一步地，在步骤s3中，根据retinex理论，将普通低光照图像分别从与环境有关的光照信息以及物体自身属性有关的反射信息两方面进行低光照增强和融合；先将参考的彩色图像通过对rgb三种分量的加权平均获得灰度图像，利用单路灰度增强网络对低光照raw图到增强后灰度图之间的映射关系进行学习，并将网络学习到的灰度图进行输出，通过单路卷积网络，得到光照信息增强后的灰度图。
9.进一步地，在步骤s3中，将获得的增强后的灰度图与原始输入低光照raw图融合，通过双路卷积神经网络，获得增强后的彩色图像；通过双路u-net神经网络结构，以增强后灰度图与原始低光照raw图像作为输入，进行融合增强，以提升图像的光照并且保留原始的色彩信息。
10.进一步地，在步骤s3中，所述长曝光条件下的raw图的处理过程具体为，利用rawpy库函数依次经过自动白平衡，去马赛克，色彩空间转换，伽马矫正得到rgb参考图像，再对三通道进行加权平均得到灰度参考图像，用于灰度增强网络和双路融合增强网络的监督学习训练，对网络进行优化。
11.进一步地，在步骤s2中，所述单路灰度增强网络为单路u-net卷积神经网络，利用平均绝对误差对输出灰度图像进行约束，用于利用监督学习的方式对网络进行训练优化。
12.进一步地，在步骤s3中，通将原始低光照raw图像与处理后的灰度图作为网络输入，利用平均绝对误差对最终输出彩色图像进行约束；在监督学习的过程中，通过adam优化器对双路卷积神经网络进行训练优化；其中，灰度图作为监督学习参考图像，用于在有参考灰度图的条件下输出psnr与ssim高，人眼视觉效果好的灰度图。
13.进一步地，在步骤s1中，训练时输入图像经过裁剪，分辨率为512
×
512。
14.相比于现有技术，本发明及其优选方案具有以下区别和优势：在低光照情况下，针对图像受到低信噪比和低亮度的影响而出现噪声，模糊等视觉质量降低的情况，提出和设计能够在极端情况下快速恢复出清晰图像的基于深度学习的低光照图像增强算法。
15.直接对摄像头传感器输出的raw图进行处理，其包含了未经传统算法处理的图像信息，能够减少传统算法对此类低光照图像处理后所带来的噪声增加，变模糊等现象，最大程度上保留图像所包含的信息。通过监督学习方式对去灰度增强网络输出进行约束，利用网络模仿出低光照raw图到单色灰度图的映射，从而达到在低光照情况下能够获得环境更多的光照信息。
16.长曝光raw图经过rawpy库函数后处理，先后经过自动白平衡，去马赛克，色彩空间转换，伽马矫正等步骤，最终输出彩色rgb图像。
17.长曝光条件下的彩色rgb图像经过对三个通道按照一定比例加权平均后生成单色的灰度图像。
18.将灰度增强网络输出的图像与原始单通道raw图输入双路融合增强网络，利用监督学习方式，通过绝对平均误差对最后输入与长曝光彩色rgb图像进行优化，最终输出亮度增强后的彩色rgb图。
19.灰度增强网络与双路融合增强网络是同时训练，所用损失函数均为绝对平均误差损失函数。
20.训练时输入图像经过裁剪，分辨率为512
×
512，能够在达到训练效果的同时减少训练开销。
附图说明
21.下面结合附图和具体实施方式对本发明进一步详细的说明：图1为本发明实施例基于灰度提升的双路卷积低光照图像增强方法流程图；图2为本发明实施例retinex理论示意图；图3为本发明实施例摄像机内拜尔阵列排列示意图；图4为本发明实施例实现监督学习所生成的长曝光灰度图像与彩色图像流程图；图5为本发明实施例整体方案示意图。
具体实施方式
22.下面将对通过实施例对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅为本发明的一部分实施例，而不是全面的实施例。基于本发明中的实施例，本领域普遍技术人员在没有做出创造性劳动的前提下所获得的的其他所有实施例，都属于本发明保护的范围。
23.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
24.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
25.根据本发明的实施例，如图1所示的基于灰度提升的双路卷积低光照图像增强方法，包括以下步骤：步骤 1：根据retinex理论可将输入图像分解为与光照无关的反射图和光照图，通过监督学习方式，利用网络输出光照信息增强后的单色灰度图像，从而达到在低光照情况下能够获得环境更多的光照信息。
26.步骤 2：将步骤1中灰度增强网络输出的单色灰度图和原始输入raw图相结合，通过将两者一起输入到双路融合增强网络中，使原始图像的彩色信息以及增强后的光照信息相结合，最终生成增强后的彩色rgb图像，达到基于灰度提升的双路卷积低光照图像增强效果。
27.图2是retine模型，其基本思想是人感知到某点的颜色和亮度并不仅仅取决于该点进入人眼的绝对光线，还和其周围的颜色和亮度有关，观察者所看到的物体的图像s是由物体表面对入射光l反射得到的，反射率r由物体本身决定，不受入射光l变化。具体关系可表示为公式(1)：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
图3是摄像头拜尔阵列示意图，拜尔阵列在每个像素位置上有一层单一颜色的滤镜，每种滤镜能够通过特定波长的光。直接处理摄像头传感器输出的raw图，其包含了未经传统算法处理的图像信息，能够减少传统算法对此类低光照图像处理后所带来的噪声增加，变模糊等现象，最大程度上保留图像所包含的信息。针对摄像头传感器中拜尔阵列在彩色图像成像过程中的优缺点，利用深度学习的方法模仿摄像头从物理层面上去除拜尔阵列后所拍摄的进光量增大后的单色灰度图，提升所拍摄图像亮度的过程。
28.步骤s1之前，需要预先得到监督学习所需要的ground truth图像，图4是对长曝光raw图进行后处理，利用python中的rawpy库函数，依次进行自动白平衡，去马赛克，色彩空间转换，伽马矫正等操作，最终生成长曝光条件下的rgb图像，再将其通过加权平均生成单色灰度图像，两者用于监督学习训练过程，优化网络中的参数使其能够学习到输入与输出之间的映射。
29.基于以上设计，如图5所示，可以获得基于灰度提升的双路卷积低光照图像增强方法的具体实施过程，包括以下步骤：步骤s1：选择弱光环境下拍摄得到基于rggb阵列模式排列的raw图像作为输入；步骤s2：通过单路灰度增强网络将输入的低光照raw图像转换为增强后的单通道灰度图；步骤s3：将增强后的单通道灰度图像与原始输入低光照单通道raw图作为双路u-net融合增强网络输入，并以长曝光条件下的raw图处理后得到的彩色rgb图和灰度图作为监督学习中训练神经网络的参考图像，生成增强后的彩色三通道rgb图像。
30.作为优选，在步骤s3中，根据retinex理论，将普通低光照图像分别从与环境有关的光照信息以及物体自身属性有关的反射信息两方面进行低光照增强和融合；先将参考的彩色图像通过对rgb三种分量的加权平均获得灰度图像，利用单路灰度增强网络对低光照raw图到增强后灰度图之间的映射关系进行学习，并将网络学习到的灰度图进行输出，通过单路卷积网络，得到光照信息增强后的灰度图。
31.在步骤s3中，将获得的增强后的灰度图与原始输入低光照raw图融合，通过双路卷积神经网络，获得增强后的彩色图像；通过双路u-net神经网络结构，以增强后灰度图与原始低光照raw图像作为输入，进行融合增强，以提升图像的光照并且保留原始的色彩信息。
32.在步骤s3中，长曝光条件下的raw图的处理过程具体为，利用rawpy库函数依次经过自动白平衡，去马赛克，色彩空间转换，伽马矫正得到rgb参考图像，再对三通道进行加权平均得到灰度参考图像，用于灰度增强网络和双路融合增强网络的监督学习训练，对网络进行优化。
33.在步骤s2中，单路灰度增强网络为单路u-net卷积神经网络，利用平均绝对误差对输出灰度图像进行约束，用于利用监督学习的方式对网络进行训练优化。
34.在步骤s3中，通将原始低光照raw图像与处理后的灰度图作为网络输入，利用平均绝对误差对最终输出彩色图像进行约束；在监督学习的过程中，通过adam优化器对双路卷积神经网络进行训练优化；其中，灰度图作为监督学习参考图像，用于在有参考灰度图的条件下输出psnr与ssim高，人眼视觉效果好的灰度图。
35.在步骤s1中，训练时输入图像经过裁剪，分辨率为512
×
512。
36.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
37.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
38.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
39.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
40.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于灰度提升的双路卷积低光照图像增强方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。