基于逐像素伽马矫正的实时低光照图像增强方法及系统

本发明涉及图像增强领域，具体涉及一种基于逐像素伽马矫正的实时低光照图像增强方法及系统。

背景技术：

1、拍摄时影响成像效果的一大重要因素是光照条件。然而，不理想的光照环境在现实中十分常见，进一步地受限于缺乏拍摄技巧和低质量的成像设备，在这些条件下拍摄的图像常常不能包含清晰的图像内容、清晰的颜色和高对比度。低光照图像增强任务旨在恢复这些低光照图像，使其拥有与在正常光条件下拍摄的图像想当的质量水平。然而，高效地完成这一任务有着诸多挑战，如需要处理成像中不均匀的光照、颜色偏差和大量的噪声，完成精细的细节恢复，以及达到高实时性的要求。

2、低光照增强方法在实际中有着非常广泛的应用。除了用于改善图像质量以符合人类审美之外，它还能辅助计算机视觉相关的下游任务，如夜间自动驾驶系统，以提升它们对低光照环境的适应性。现有的基于深度学习的方法，很难在高质量增强的同时，保持优秀的实时性。然而，高实时性在实际部署中是不可或缺的特性，因为用户通常难以忍受高时延，以及计算机视觉系统通常涉及高帧率视频的处理。因此，实现高质高效的增强方法，在实际使用中具有极其重要的意义。

3、传统的低光照图像增强方法包括直方图均衡化、伽马矫正、和基于retinex理论的分解模型。直方图均衡化通过拉伸图像的直方图来达到提升图像对比度的目的；伽马矫正旨在通过非线性的函数来改变图像的像素强度；retinex理论则认为一张图像可以被分解成光照分量和反射分量，围绕它们进行优化处理可以得到增强结果。尽管研究者们对这些方法做出了多样的改进，它们通常表现出低泛化性，即它们不能鲁棒地地处理多样的复杂低光照环境下拍摄的图片。对于这些图片，这些方法容易呈现局部过曝或欠曝的结果，或是不良的人工伪影，从而影响最终的视觉效果。

4、近年来，由于卷积神经网络强大的学习能力，基于深度学习技术的低光照图像增强方法成为当前的主流。这些基于深度学习的方法可以大致分成两类：监督学习方法和非监督学习方法。二者的主要区别在于是否依赖于“低光照-正常光”一一配对的数据集的监督信息。监督学习方法通常需要精心设计网络结构，然后使用低光照-正常光配对的图像对来训练网络，以获得良好的增强性能。许多监督学习方法还利用传统的retinex理论来指导设计方法。kind设计三个子网络，分别执行retinex分解、移除图像退化、以及调整图像的光照度。考虑到低光照图片到正常光图片的映射关系是一对多的，llflow引入归一化流来建模正常光图像复杂的条件分布，缓解了逐像素的重建损失存在的确定性映射问题。uretinex将retinex分解这一优化问题转化成一个可学习问题，并通过若干网络来同时提亮图像、抑制噪声、以及保留细节。尽管复杂的模型带了性能上的提升，但也引入了严重的计算负担，即高内存占用、高计算量和长运行时间，影响了它们在实际中的应用。另外，对训练数据过拟合也是这些方法潜在的风险，从而导致它们无法灵活地处理多样的低光照图像。

5、近年来，无监督学习方法被陆续提出，这些方法只需要不配对的数据集或是仅需低光照图片来训练，因此对数据集的要求更低。zerodce通过一个轻量化的网络结构来学习调整曲线的参数，来调整低光照图片。enlightengan引入了对抗生成网络模型，因此不配对的数据集可以被用于训练该模型，提升了模型的灵活性。ruas借助神经架构搜索来自动搜索最优的网络结构以获得轻量化的模型来执行增强。然而，尽管这些方法相较监督学习方法更轻量化，它们在处理复杂多样的低光照图片时，可能产生过曝、欠曝、或是偏色的视觉效果，因此需要得到进一步的改进。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于逐像素伽马矫正的实时低光照图像增强方法及系统。

2、本发明技术解决方案为：一种基于逐像素伽马矫正的实时低光照图像增强方法，包括：

3、步骤s1：输入待增强的低光照图片，将其归一化到0到1之间，得到归一化的低光照图片；

4、步骤s2：将所述归一化的低光照图片输入训练好的轻量级卷积神经网络中，输出一系列与输入图像尺寸一致的伽马矫正参数图；

5、步骤s3：基于所述伽马矫正参数图，对所述待增强的低光照输入图像使用迭代增强策略进行逐像素伽马矫正，得到初步增强结果；

6、步骤s4：对所述初步增强结果使用自适应对比度增强算法增强对比度，输出对比度增强的最终增强结果。

7、本发明与现有技术相比，具有以下优点：

8、1、传统的伽马矫正应用单个的全局参数于图像中所有的像素，这种方式不能进行细节的局部调整，因此处理多样的现实的低光照图片时，容易产生过曝或欠曝的结果，展现出较差的鲁棒性和泛化性；同时，不同低光照的最优伽马矫正参数也是不同的，手动设置这些参数需要依赖大量的经验性实验，引入了大量工作量。为了解决上述问题，本发明公开了一种基于逐像素伽马矫正的实时低光照图像增强方法，可以对图像的不同区域执行不同的增强，因此增强效果更优秀；同时，通过结合深度学习，这些伽马矫正参数由卷积神经网络学习得到，因此具有更强的自适应性。

9、2、目前的大多数深度学习方法通过复杂的模型设计提高了增强性能，但也引入了繁重的计算负担，无法达到优秀的实时处理性能。本发明结合了伽马矫正和深度学习，高质量增强可以通过一个极其轻量化的卷积神经网络完成。因此，本发明占用的内存资源更少，需要更少的计算量，处理低光照图片的速度更快，因此在实际部署中更占优势。

技术特征：

1.一种基于逐像素伽马矫正的实时低光照图像增强方法，其特征在于，包括：

2.根据权利要求1所述的基于逐像素伽马矫正的实时低光照图像增强方法，其特征在于，所述步骤s2：将所述归一化的低光照图片输入训练好的轻量级卷积神经网络中，输出一系列与输入图像尺寸一致的伽马矫正参数图，具体包括：

3.根据权利要求1所述的基于逐像素伽马矫正的实时低光照图像增强方法，其特征在于，所述步骤s3：基于所述伽马矫正参数图，对所述待增强的低光照图片使用迭代增强策略进行逐像素伽马矫正，得到初步增强结果，具体包括：

4.根据权利要求1所述的基于逐像素伽马矫正的实时低光照图像增强方法，其特征在于，所述步骤s4：对所述初步增强结果使用自适应对比度增强算法增强对比度，输出对比度增强的最终增强结果，具体包括：

5.一种基于逐像素伽马矫正的实时低光照图像增强系统，其特征在于，包括下述模块：

技术总结
本发明涉及一种基于逐像素伽马矫正的实时低光照图像增强方法及系统，其方法包括：步骤S1：输入待增强的低光照图片，将其归一化到0到1之间，得到归一化的低光照图片；步骤S2：将归一化的低光照图片输入训练好的轻量级卷积神经网络中，输出一系列与输入图像尺寸一致的伽马矫正参数图；步骤S3：基于伽马矫正参数图，对待增强的低光照图片使用迭代增强策略进行逐像素伽马矫正，得到初步增强结果；步骤S4：对初步增强结果使用自适应对比度增强算法增强对比度，输出对比度增强的最终增强结果。本发明提供的方法，可以对图像的不同区域执行不同的增强，增强效果更优秀，并结合深度学习，具有更强的自适应性。

技术研发人员：凌强,李湘生,刘满禄
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/1/12