一种暗光图像增强方法与流程

本发明属于图像处理技术领域，尤其涉及一种暗光图像增强方法。

背景技术：

现在，随着多媒体技术和人工智能的飞速发展和广泛应用，人们在日常生活中大量使用图像信息。然而目前的成像技术，暗光条件下，受到低信噪比和低亮度的影响，图像的质量会受到很大的影响，需要进行图像提亮，图像修复和图像增强，改善图像的视觉效果。较之目前的图像增强方法对暗光图像的处理存在的欠曝，过曝，边缘变化生硬，不连续，噪声严重，颜色偏差严重等问题，

综上，现亟需一种能够解决上述技术问题，能够经过训练得到的模型应用于暗光图像上得到增强图像的方法来对暗光环境的图像进行增强。

技术实现要素：

鉴于上述现有技术的不足之处，本发明的目的在于提供一种暗光图像增强方法，旨在解决现有技术欠曝，过曝，边缘变化生硬，不连续，噪声严重，颜色偏差严重的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种暗光图像增强方法，其特征在于，包括以下步骤：

采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像；

对所述数据集中的短曝光图像和长曝光图像进行预处理；

构建cnn网络模型；

对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练；

使用经过训练的所述模型对暗光图像进行增强。

优选的，在所述采集数据集的过程中，根据环境亮度拍摄多张短曝光图像，对所述长曝光图像采集多帧数据。

优选的，所述预处理包括：

去除所述短曝光图像坏点，并在有多张短曝光图像时进行合并和对齐；

对所述长曝光图像进行边缘增强、曝光融合、降噪融合及人工图像增强处理。

优选的，所述cnn网络包括：

输入层：引入注意力机制；

编码过程：采用卷积和下采样相结合的方法进行特征提取；

解码过程：采用反卷积和上采样相结合的方法进行重建；

图像信息恢复：在所述编码过程和所述解码过程的对称层之间引入用于图像信息恢复的连接结构，所述结构包含卷积过程和可学习参数；

输出层：预设输出层的通道数，所述通道数为单一通道或三通道。

优选的，所述迭代训练为根据设定的loss函数计算所述模型输出与目标数据之间的差异，在所述模型的参数上以一定的学习率进行参数更新，实现所述模型对任务地学习。

优选的，所述达到一定的收敛条件完成训练包括：

将loss收敛作为训练过程的收敛条件；

验证输出效果；

量化衡量所述模型性能。

优选的，所述使用经过训练的所述模型对暗光图像进行增强包括：

使用基于直方图的亮度增益方法得到对应的长曝光图像的估计结果，然后以估计结果的亮度平均值与输入数据的亮度平均值的比值作为ratio；

计算每个像素的增强比map。

优选的，所述方法还包括衡量模型中同一层卷积核之间的相似度，去除和同层其它结点有高相似度的部分结点，相应调整每一层的输入输出channel，量化、微调进行进一步的适应性训练。

与现有技术相比，本发明的有益效果：

本发明提供的一种暗光图像增强方法，其包括以下步骤：采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像；对所述数据集中的短曝光图像和长曝光图像进行预处理；构建cnn网络模型；对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练；使用经过训练的所述模型对暗光图像进行增强。能够经过训练得到的模型应用于暗光图像上得到增强图像的方法来对暗光环境的图像进行增强。

附图说明

图1为本发明的暗光图像增强方法的流程框图；

图2为本发明的暗光图像增强方法的处理步骤效果图；

图3为本发明的暗光图像增强方法的输入层的示意框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如附图1-3所示，本发明提供的一种暗光图像增强方法，其特征在于，包括以下步骤：

采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像。其中场景设定具体是指：室内外多种景观景像；室内场景的多种亮度设定；室内场景根据不同亮度的短曝光时间和长曝光时间具体的不同设定；室外场景的不同照明条件的选择(如月光或街道灯光)；室外场景根据不同亮度的短曝光时间和长曝光时间具体的不同设定。特别地，为了使得同一组数据拍摄到的信息最大可能相似，避免拍照过程中的抖动，使用蓝牙连接遥控采集设备、三角架固定的方式进行拍摄。

对所述数据集中的短曝光图像和长曝光图像进行预处理，使用短曝光图像作为暗光图像，预处理后作为模型的训练输入数据；长时曝光图像作为参考图像，预处理后模型的训练目标数据(groundtruth,gt)。得到训练数据集，和不相交的验证数据集。在光线不足条件下获得的图像，不管是短曝光图像还是长曝光图像都会存在很多的噪声，坏像素，模糊等问题，首先对这些图像进行一定的预处理，能够有效的提高图像的感知质量，为后续进一步的增强处理提供前提。

构建cnn网络模型；

对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练。其中在对模型进行训练时需准备数据，包括：加载数据：训练集中的数据为电子设备采集到的原始数据格式dng格式。模型训练的输入采用raw数据，将读取拍摄信息和图像数据，其中，为了方便处理，还可以将后续使用的图像数据和iso等信息单独保存为npy格式。网络输入时以batch的方式一次输入多张图，也可以根据效果和运算环境调整，例如4张图为1个batch。对训练数据(短曝光图像)进行提亮：对于短曝光的暗光图像的初步提亮采用数字增益的方法，分别读取短曝光图像和同组长曝光图像的曝光时间和iso计算得到差异比例，作为对短曝光图像的数字增益，将短曝光图像提亮至和同组长曝光图像的相当亮度水平。增益a＝(expt_long/expt_short)*(iso_long/iso_short)。crop：在训练过程中将训练输入数据分割为多个训练输入图像块，切割大小为512像素x512像素。相应的，目标数据进行相同位置上的分割作为输出的参考。

使用经过训练的所述模型对暗光图像进行增强。

在一些实施例中，在所述采集数据集的过程中，根据环境亮度拍摄多张短曝光图像，对所述长曝光图像采集多帧数据。其中对长曝光图像的感知质量要求比较高，在光线不足的条件下，为了获得更好的感知图像，会对长曝光图像采集多帧数据。对于短曝光图像，可以根据环境亮度拍摄多数，目的是便于后续对短曝光图片进行对齐和合并。

在一些实施例中，所述预处理包括：

去除所述短曝光图像坏点，并在有多张短曝光图像时进行合并和对齐。具体为，短曝光数据去除坏点，对于一组中有多张短曝光图像的进行对齐和合并。也可以是单张的短曝光数据，则只用去除坏点，不需要进行合并与对齐。

对所述长曝光图像进行边缘增强、曝光融合、降噪融合及人工图像增强处理。具体为，通过边缘增强的方法，增强图像的边缘信息。为了防止参考图像存在过曝情况，影响图像的感知质量，采用曝光融合的方式进行处理。在光线不足条件下获得的图像，即使采用了长时曝光，也会存在比较多的噪声，对经过边缘增强和曝光融合后的图像进行降噪融合。为了提高图像感知质量，人工地对上述处理后的图像进行进一步的差异化的图像增强处理。

其中，边缘增强是对长曝光图像进行高反差保留处理；曝光融合为同一组中不同曝光时间的长曝光图像；降噪采用多帧融合；图像增强处理为采用例如photoshop处理等，包括亮度调整，对比度调整，饱和度调整。

在一些实施例中，所述cnn网络包括：

输入层：引入注意力机制。对于特定的目标增强效果，引入注意力机制，在输入层引用边缘map，光照强度map等进行带注意力机制且权重可学习的网络模型训练方法，具体地，将这些map与输入进行拼接或叠加。

编码过程：采用卷积和下采样相结合的方法进行特征提取；

解码过程：采用反卷积和上采样相结合的方法进行重建；

图像信息恢复：在所述编码过程和所述解码过程的对称层之间引入用于图像信息恢复的连接结构，所述结构包含卷积过程和可学习参数；

输出层：预设输出层的通道数，所述通道数为单一通道或三通道。预设输出层的通道数，对应的，对于目标数据做一定的处理，可以是单一通道raw数据，也可以是三通道rgb数据。如果目标图像是三通道rgb数据，则是由网络学习得到的自动isp(图像信号处理)使输入数据经网络后能得到rgb图像。

其中，所述cnn网络还可包括多任务训练，对于注意力机制中的map使用特定任务的网络模型训练得到。

在一些实施例中，所述迭代训练为根据设定的loss函数计算所述模型输出与目标数据之间的差异，在所述模型的参数上以一定的学习率进行参数更新，实现所述模型对任务地学习。其中，可采用adam优化器，具有适应性梯度和均方根传播的优点，相较其他优化器效果更好。学习率的调整参数：起始0.001，每300个epoch下降一次。batchnorm进行正则化，可以加速网络训练，避免学习陷入梯度饱和区。通过不同的loss函数衡量模型输出与目标数据之间的差异。mae模型输出与目标数据像素值之间的差异；color_loss根据三个颜色通道上的比值取得模型输出与目标数据颜色上的差异；ssim_loss根据ssim中亮度、对比度和结构三个不同衡量指标计算；tv_loss总变差损失，降低输出图片中相邻像素值的差异,促进了生成图像中的空间平滑性；unalignloss减小训练数据和目标数据之间的不对齐带来的影响；vgg_loss用特征提取再计算距离的方法衡量结构化差异。

在一些实施例中，所述达到一定的收敛条件完成训练包括：

将loss收敛作为训练过程的收敛条件；

验证输出效果；训练过程中，每一定数量的(例如50)个轮次进行一次验证，使用验证集中的输入数据输入当前状态下的网络，显示出输出。则可以人工的和验证集中的目标数据进行对比，当达到视觉上的可观条件，也可作为收敛条件。

量化衡量所述模型性能，采用两种方法进行，pnsr：计算pnsr量化指标，基于对应像素点间的误差，即基于误差敏感的图像质量评价。ssim：计算ssim量化指标，分别从亮度、对比度、结构三方面度量图像相似性。

在一些实施例中，所述使用经过训练的所述模型对暗光图像进行增强包括：

使用基于直方图的亮度增益方法得到对应的长曝光图像的估计结果，然后以估计结果的亮度平均值与输入数据的亮度平均值的比值作为ratio；

计算每个像素的增强比map。

具体为，对应训练过程中计算ratio的方法，使用基于直方图的亮度增益方法得到对应的长曝光数据的估计结果，然后以估计结果的亮度平均值与输入数据的亮度平均值的比值作为ratio。不同于对全图进行亮度增益的方法，能够根据输入图片的各部分亮度，适应性地在像素级上做不同的亮度增益。可以有效的防止过曝和没有层次感的问题。具体来说，a＝|long-short|/long,其中long为直方图的亮度增益方法得到对应的长曝光数据的估计结果。

最后，使用一些传统自动化的后处理方法使输出看起来更加美观，例如增强对比度，增强饱和度等。其中增强对比度采用sigmoid曲线，能够保持图片信息，相较于gamma有更好的抑制过曝的效果，且整体亮度不会有太大的损失。增强饱和度的方法是转到hsv空间进行调节。

在一些实施例中，所述方法还包括衡量模型中同一层卷积核之间的相似度，去除和同层其它结点有高相似度的部分结点，相应调整每一层的输入输出channel，量化、微调进行进一步的适应性训练。即额外地使用了模型压缩方法，使得本模型具有更广泛的应用场景。包含衡量模型中同一层卷积核之间的相似度，去除和同层其它结点有高相似度的部分结点，相应调整每一层的输入输出channel，量化、微调进行进一步的适应性训练。这个过程可以迭代地进行。

综上，本发明的工作原理如下：

本发明提供的一种暗光图像增强方法，其包括以下步骤：采集数据集，所述数据集的数据单元包含在具有同一场景设定下的多张短曝光图像和相应的长曝光图像；对所述数据集中的短曝光图像和长曝光图像进行预处理；构建cnn网络模型；对于所述模型进行迭代训练，并在所述迭代训练中更新网络参数使其达到一定的收敛条件完成训练；使用经过训练的所述模型对暗光图像进行增强。能够经过训练得到的模型应用于暗光图像上得到增强图像的方法来对暗光环境的图像进行增强。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。