一种Raw到Raw的暗光图像增强方法与流程

本发明属于图像处理技术领域，尤其涉及一种raw到raw的暗光图像增强方法。

背景技术：

现在，随着多媒体技术和人工智能的飞速发展和广泛应用，人们在日常生活中大量使用图像信息。然而目前的成像技术，暗光条件下，受到低信噪比和低亮度的影响，图像的质量会受到很大的影响，需要进行图像提亮，图像修复和图像增强，改善图像的视觉效果。较之目前的图像增强方法对暗光图像的处理存在的欠曝，过曝，边缘变化生硬，不连续，噪声严重，颜色偏差严重等问题，同时对于raw格式图像处理也相对存在效率低下效果不佳的问题。

综上，现亟需一种能够解决上述技术问题，通过构建数据集和模型并对其训练得出能智能处理raw格式图像的暗光图像增强模型，从而实现raw到raw的暗光图像增强。

技术实现要素：

鉴于上述现有技术的不足之处，本发明的目的在于提供一种raw到raw的暗光图像增强方法，旨在解决现有技术在暗光条件下对raw格式图像进行增强效果不佳的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种raw到raw的暗光图像增强方法，其特征在于，包括以下步骤：

采集raw数据作为构建的训练数据集，并对所述训练数据集进行合并与扩充；

根据所述训练数据集搭建图像增强cnn网络模型，所述cnn网络模型包括多任务训练、输入层、编码过程、解码过程、跳跃连接和输出层；

对所述cnn网络模型进行迭代训练，更新所述cnn网络模型的各可学习参数使其达到一定的收敛条件并完成训练；

根据完成训练的所述cnn网络模型进行模型推断最终得到暗光图像增强网络模型，并通过此模型对所述raw数据进行图像增强。

优选的，所述训练数据集分为输入数据和目标数据，所述输入数据为一个拍摄条件下的多张短曝光图像进行合并后的数据，所述目标数据为同一拍摄条件下的长曝光图像。

优选的，所述多张短曝光图像进行对齐合并得到高动态范围图像(hdr)。

优选的，所述扩充包括翻转、缩放，且在翻转缩放时进行保列增广。

优选的，所述多任务训练包括边缘网络模型对图像的边缘进行模型训练，学习得到图像的边缘map；去噪网络模型对图像进行去噪，学习得到去噪且恢复信息的图像。

优选的，所述编码过程采用卷积和下采样相结合的方法进行特征提取。

优选的，所述解码过程采用反卷积和上采样相结合的方法进行重建。

优选的，所述跳跃连接是在编码过程和解码过程的对称层之间引入，其包含了卷积过程和可学习参数。

优选的，所述迭代训练包括：准备数据；根据所述数据进行训练；根据所述训练获取收敛条件并完成训练。

优选的，所述模型推断对所述长曝光图像进行亮度增益并相乘得出最终的增强结果。

与现有技术相比，本发明的有益效果：

本发明提供的一种raw到raw的暗光图像增强方法，包括以下步骤：采集raw数据作为构建的训练数据集，并对所述训练数据集进行合并与扩充；根据所述训练数据集搭建图像增强cnn网络模型，所述cnn网络模型包括多任务训练、输入层、编码过程、解码过程、跳跃连接和输出层；对所述cnn网络模型进行迭代训练，更新所述cnn网络模型的各可学习参数使其达到一定的收敛条件并完成训练；根据完成训练的所述cnn网络模型进行模型推断最终得到暗光图像增强网络模型，并通过此模型对所述raw数据进行图像增强。通过构建数据集和模型并对其训练得出能智能处理raw格式图像的暗光图像增强模型，从而实现raw到raw的暗光图像增强。

附图说明

图1为本发明raw到raw的暗光图像增强方法的流程框图；

图2为本发明的多任务训练的示意框图；

图3为本发明的跳跃连接结构的示意框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如附图1-3所示，本发明提供的一种raw到raw的暗光图像增强方法，其特征在于，包括以下步骤：

采集raw数据作为构建的训练数据集，并对所述训练数据集进行合并与扩充。

根据所述训练数据集搭建图像增强cnn网络模型，所述cnn网络模型包括多任务训练、输入层、编码过程、解码过程、跳跃连接和输出层；其中输入层为引入注意力机制，在输入层引用边缘map进行带注意力机制且权重可学习的网络模型训练方法。具体地，将这些map与输入进行拼接或叠加。输出层对于多任学习的结果进行叠加，得到图像增强且边缘保留的输出结果。

其中，编码过程、解码过程、跳跃连接过程如下表所示：

对所述cnn网络模型进行迭代训练，更新所述cnn网络模型的各可学习参数使其达到一定的收敛条件并完成训练。

根据完成训练的所述cnn网络模型进行模型推断最终得到暗光图像增强网络模型，并通过此模型对所述raw数据进行图像增强。

在一些实施例中，所述训练数据集分为输入数据和目标数据，所述输入数据为一个拍摄条件下的多张短曝光图像进行合并后的数据，所述目标数据为同一拍摄条件下的长曝光图像。训练数据分为输入数据(input)和目标数据(groundtruth,gt)。对于一组数据，有input和对应的gt。其中input为一个拍摄条件下的多张短曝光图片进行合并后的结果,其对应的gt为在同一拍摄条件下的长曝光图片。

在一些实施例中，所述多张短曝光图像进行对齐合并得到高动态范围图像(hdr)。即采用fft配准算法进行对齐，合并时采用一种平均的算法，具有一定的初步的降噪效果。

在一些实施例中，所述扩充包括翻转、缩放，且在翻转缩放时进行保列增广。图像扩充包括方法翻转、缩放等。区别于rgb图像，raw格式图像为单通道，排列为bayer阵列。因此，为了避免扩充方法带来的对raw格式的破坏，在翻转，切割等操作时进行保列增广。例如，对于rggb排列，翻转后为grbg，则需要在图像最左最右两列像素进行裁减，保持rggb排列。

在一些实施例中，所述多任务训练包括边缘网络模型对图像的边缘进行模型训练，学习得到图像的边缘map；去噪网络模型对图像进行去噪，学习得到去噪且恢复信息的图像。其中对于边缘网络模型，该模型的input为整体模型(图像增强cnn网络模型)的input，该模型的gt为对input的边缘提取，提取方法为高斯滤波边缘提取；对于去噪网络模型，该模型的input为整体模型(图像增强cnn网络模型)的input，该模型的gt为整体模型(图像增强cnn网络模型)的gt.

在一些实施例中，所述编码过程采用卷积和下采样相结合的方法进行特征提取。

在一些实施例中，所述解码过程采用反卷积和上采样相结合的方法进行重建。

在一些实施例中，所述跳跃连接是在编码过程和解码过程的对称层之间引入，其包含了卷积过程和可学习参数，这个跳跃连接结构称为resblock。

在一些实施例中，所述迭代训练包括：准备数据，raw数据包含图像信息和拍摄信息，如img,曝光时间,iso等。为了方便处理，将img和曝光时间等信息单独保存为不同的npy格式数据。网络输入时以batch的方式一次输入多张图进行批处理。根据gt亮度进行初步提亮，方法是：对于短曝光的暗光图像的初步提亮采用数字增益的方法：分别读取短曝光图像和同组长曝光图像的曝光时间和iso计算得到差异比例，作为对短曝光图像的数字增益，将短曝光图像提亮至和同组长曝光图像的相当亮度水平。增益a＝(expt_long/expt_short)*(iso_long/iso_short)。在训练过程中将训练输入数据分割为多个训练输入图像块，切割大小为512像素x512像素。相应的，目标数据进行相同位置上的分割作为输出的参考；根据所述数据进行训练，采用adam优化器，具有适应性梯度和均方根传播的优点，相较其他优化器效果更好。学习率的调整参数：起始0.001，每300个epoch下降一次。正则化方法：batchnorm进行正则化，可以加速网络训练，避免学习陷入梯度饱和区。loss函数：通过不同的loss函数衡量模型输出与目标数据之间的差异。mae模型输出与目标数据像素值之间的差异；color_loss根据三个颜色通道上的比值取得模型输出与目标数据颜色上的差异；ssim_loss根据ssim中亮度、对比度和结构三个不同衡量指标计算；tv_loss总变差损失，降低输出图片中相邻像素值的差异,促进了生成图像中的空间平滑性；unalignloss减小训练数据和目标数据之间的不对齐带来的影响；vgg_loss用特征提取再计算距离的方法衡量结构化差异；根据所述训练获取收敛条件并完成训练，loss的计算结果在训练过程中有明显下降然后不再有明显下降，loss收敛，作为该训练过程的收敛条件，训练过程中，每一定数量的(例如50)个轮次进行一次验证，使用验证集中的输入数据输入当前状态下的网络，显示出输出。则可以人工的和验证集中的目标数据进行对比，当达到视觉上的可观条件，也可作为收敛条件。

在一些实施例中，所述模型推断对所述长曝光图像进行亮度增益并相乘得出最终的增强结果。由于没有对应的长曝光数据可以计算亮度增益(a)，按照下述步骤进行亮度增益，对应训练过程中计算(a)的方法，使用基于直方图的亮度增益方法得到对应的长曝光数据的估计结果，然后以估计结果的亮度平均值与输入数据的亮度平均值的比值作为(a)。去噪网络模型的输出叠加边缘map模型的输出,然后乘以亮度增益a得到最终的增强结果。

需要说明的是，增强后的raw数据还需经过isp能转化成rgb格式数据。

综上，本发明的工作原理如下：

本发明提供的一种raw到raw的暗光图像增强方法，包括以下步骤：采集raw数据作为构建的训练数据集，并对所述训练数据集进行合并与扩充；根据所述训练数据集搭建图像增强cnn网络模型，所述cnn网络模型包括多任务训练、输入层、编码过程、解码过程、跳跃连接和输出层；对所述cnn网络模型进行迭代训练，更新所述cnn网络模型的各可学习参数使其达到一定的收敛条件并完成训练；根据完成训练的所述cnn网络模型进行模型推断最终得到暗光图像增强网络模型，并通过此模型对所述raw数据进行图像增强。通过构建数据集和模型并对其训练得出能智能处理raw格式图像的暗光图像增强模型，从而实现raw到raw的暗光图像增强。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。