一种基于深度学习的自监督低照度图像增强及去噪方法与流程

[0001]
本发明属于数字图像处理领域，涉及低照度图像的增强及去噪方法。


背景技术：

[0002]
在夜间或较暗的室内等低照度环境下获取的图像低往往存在低对比度，低亮度，高噪声等问题。近些年来，研究人员提出了多种不同的图像增强方法，包括传统方法和基于深度学习的方法。
[0003]
传统方法包括直方图均衡化、gamma变换，基于retinex理论的方法及基于这些方法的改进方法等，这些方法往往集中在提高图像的对比度和亮度上，无法很好的抑制噪声，甚至会带来噪声放大和颜色失真等问题。
[0004]
基于深度学习的方法可分为基于无监督和有监督两类，自监督方法属于无监督的一种。在基于深度学习的有监督方法中，往往需要成对的低照度图像和正常照度图像进行训练，该类方法一般可以很好的抑制增强结果中的噪声。但是由于同一个场景下的低照度图像可以对应多张正常照度图像，我们需要人工精心筛选以获得其中较好的图像，且在很多场景中，如同时存在高亮度和低亮度的场景中，我们无法保证获得的正常照度图像的各个局部区域均具有较好的对比度。且在实际应用中，我们无法保证该类方法对不同环境、不同相机的适应能力。
[0005]
基于深度学习的无监督方法中，不需要成对的低照度图像和正常照度图像，仅需要未配对低照度图像和正常照度图像或者仅需要低照度图像就可以完成训练，可以极大的节省人力和物力。但目前的各种无监督方法中往往存在噪声难以抑制的问题，且由于无法直接调节增强图像对比度，增强后的结果往往无法保证各个局部区域均具有较好的对比度和亮度。
[0006]
申请号为cn202010097457.4的一种基于深度学习的自监督低照度图像增强方法提出了一种自监督图像增强方法，以解决现有的低照度图像增强方法存在的效果差、泛化能力差以及现有深度学习方法中对低照度-正常照度数据集依赖程度高等问题，取得了良好的效果。但是该方法无法显式的约束增强后图像的对比度，其增强结果完全依赖于训练数据，导致了增强结果具有不确定性；同时当增强后图像效果不佳时，该方法无法改善增强结果；此外该方法并没有给出额外的噪声抑制手段，因此增强后图像仍然存在较为明显的噪声，如附图说明中图6所示，该图为cn202010097457.4增强后所得到图像，可以看到增强后图像仍存在部分噪声信息。
[0007]
综上所述，尽管研究人员提出了各类不同的低照度图像增强方法，但是仍然存在很多问题：传统方法很难抑制噪声，甚至会带来噪声放大和颜色失真问题；有监督的训练方法尽管可以很好的抑制噪声，但是存在对应正常照度图像难以获取，且无法保证获取的正常照度图像能具有良好局部对比度，无法保证其对新设备、新环境适应性等问题；无监督方法存在难以抑制噪声，无法保证增强后结果具有良好对比度等问题。


技术实现要素：

[0008]
本发明为解决现有的自监督低照度图像增强方法中存在的无法保证增强后结果具有良好对比度、难以抑制噪声等问题，提出了一种基于深度学习的自监督低照度图像增强及去噪方法。
[0009]
一种基于深度学习的自监督低照度图像增强及去噪方法，包括以下步骤：
[0010]
将待增强低照度图像s
′
及其最大值通道图像s
′
max
和其期望最大值通道图像s
′
expect_max
合并为m*n*5的矩阵作为自监督低照度图像增强网络的输入，利用自监督低照度图像增强网络进行增强及去噪处理，输出为反射图像r和照度图像i；自监督低照度图像增强网络输出的反射图像r即为增强后图像；
[0011]
所述待增强低照度图像s
′
为m*n*3的矩阵，m为行数，n为列数，3为{r，g，b}三个颜色通道；s
′
max
通过取三个颜色通道中的最大值得到，为m*n*1的矩阵；s
′
expect_max
可利用任意图像增强方法对s
′
max
进行增强后得到，或通过任意图像增强方法对s
′
做增强处理后取最大值通道图像得到，为m*n*1的矩阵；所获得的最终增强图像r为m*n*3的矩阵；
[0012]
所述的图像增强网络为训练好的图像增强网络，训练过程如下：
[0013]
a1、采集任意n张低照度图像，n＞＝1，构建训练数据集；
[0014]
a2、对于训练数据集中每一张低照度图像s，提取其对应的最大值通道图像s
max
，利用任意对比度增强方法对s
max
进行处理，得到期望最大值通道图像s
expect_max
；
[0015]
a3、以期望最大值通道图像s
expect_max
作为额外输入和监督，结合retinex理论、噪声分布符合泊松分布的假设、照度图像i平滑和噪声抑制正则项构建损失函数，训练图像增强网络，损失函数为：
[0016][0017]
其中，第一项为重建损失，第二项为期望增强损失，第三项为照度平滑正则项，第四项为噪声抑制正则项；λ1、λ2和λ4分别为期望增强损失、照度平滑正则项和噪声抑制正则项在整体损失函数中的权重参数，λ3为和在照度平滑和噪声抑制正则项中的权重参数；s代表获取的图像，r代表反射图，i代表照度图；代表矩阵中的对应位置元素相乘；r
max
表示反射图r所对应中最大值通道图像，代表反射图r的梯度图，代表求梯度；代表照度图i的梯度图；w表示在噪声抑制正则项中各个像素点的权重，w
i
和w
r
分别表示和在照度平滑正则项中各个像素点的权重；和分别代表对和取绝对值后做归一化操作，f表示归一化算子。进一步地，步骤a2的具体过程包括以下步骤：
[0018]
步骤三一、提取低照度图像s的最大值通道图像s
max
：
[0019][0020]
其中，s
max
(i,j)为最大值通道图像s
max
中第i行、第j列元素；max代表取最大值操作；c取r、g、b，对应rgb颜色空间下红绿蓝三个颜色通道，s
c
(i,j)为低照度图像s在rgb颜色空间下某一个通道第i行、第j列元素；
[0021]
步骤三二、利用任意对比度增强方法如gamma变换对最大值通道图像s
max
做对比度
增强操作，得到期望最大值通道图像s
expect_max
。
[0022]
进一步地，a3所述训练图像增强网络的具体过程包括以下步骤：
[0023]
(a31)使用随机裁剪的低照度图像块进行训练，图像块的大小为48*48；
[0024]
(a32)每次训练中随机取16个小块；
[0025]
(a33)使用adam随机优化算法对网络进行训练，更新率设置为0.001。
[0026]
进一步地，所述的w的获取方法包括以下步骤：
[0027]
(1)利用大小为a*a均值滤波器对反射图r做平滑操作，得到平滑后反射图r
s
；
[0028]
(2)求解r
s
的梯度，得到r
s
的梯度图并对取绝对值后做局部归一化操作得到w，其具体公式为：
[0029][0030]
其中，w(i,j)，分别为w和中第i行、第j列元素；为中第k行、第l列元素；ω(i,j)表示以(i,j)为中心的，大小为b*b的局部区域。
[0031]
进一步地，所述的w
i
和w
r
的获取方法包括以下步骤：
[0032]
(1)求解r和i的梯度，得到r和i的梯度图和利用大小为a*a均值滤波器对和做平滑操作，得到反射图的平滑后梯度图和照度图的平滑后梯度图
[0033]
(2)对和取绝对值后做局部归一化操作得到w
r
和w
i
，其具体公式为：
[0034][0035][0036]
其中，w
r
(i,j)，w
i
(i,j)，和分别为w
r
，w
i
，和中第i行、第j列元素；和为和中第k行、第l列元素；ω(i,j)表示以(i,j)为中心的，大小为b*b的局部区域。
[0037]
进一步地，所述的a，b的取值分别为5，7。
[0038]
进一步地，所述和的具体公式为：
[0039][0040][0041]
进一步地，所述的λ1，λ2，λ3，λ4的取值分别为0.01，0.1，10，0.05。
[0042]
进一步地，所述图像增强网络结构如下：
[0043]
输入分别输入第一卷积层和第二卷积层，第一卷积层、第二卷积层分别为9*9的卷积层后连接一个lrelu层和3*3的卷积层后连接一个lrelu层；
[0044]
第一卷积层连接第三卷积单元，所述第三卷积单元为3*3的卷积层后连接一个lrelu层；
[0045]
第三卷积单元连接第四卷积单元，第四卷积单元连接第五卷积单元，第五卷积单元连接第六卷积单元，第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个lrelu层；
[0046]
第六卷积单元的输出与第三卷积单元的输出进行concat操作后输入第七卷积单
元，第七卷积单元为3*3的卷积层后连接一个lrelu层；
[0047]
第七卷积单元的输出与第二卷积单元的输出进行concat操作后输入第八卷积层，第八卷积层连接第九卷积层，第九卷积层连接第十卷积层，第八卷积层为3*3的卷积层后连接一个lrelu层，第九卷积层和第十卷积层均为3*3的卷积层；
[0048]
第十卷积层连接一个sigmoid激活函数层；
[0049]
sigmoid激活函数层连接输出层，输出为反射图像r和照度图像i。
[0050]
本发明的有益效果：
[0051]
本发明提出了一种基于深度学习的自监督低照度图像增强及去噪方法，可以通过与现有的任意低照度对比度增强方法结合，在仅使用低照度图像的情况下完成网络的训练，且具有良好的噪声抑制能力。解决了现有基于深度学习的自监督方法中无法直接调节增强图像对比度和难以抑制噪声等问题。且由于所提方法是基于自监督方法，仅需要低照度图像就可以完成训练，因此对各类设备和环境具有良好的适应性。
[0052]
同时本发明可以与任意的图像增强方法进行结合，以显式的调节图像的对比度；同时本发明通过对损失函数的精心设计，可以在增强过程中显著抑制噪声信息，实现了图像增强与去噪过程的良好结合；相比cn202010097457.4，本发明能够有效地改善增强结果且具有非常好的噪声抑制效果，而且还能够控制现有方法增强结果不确定性。本发明也可以与cn202010097457.4相结合，以cn202010097457.4增强后图像的最大值通道图像为期望最大值通道图像，在实现与cn202010097457.4相同对比度增强结果的同时显著抑制噪声。
附图说明
[0053]
图1为具体实施方式一中的低照度图像增强的流程图；
[0054]
图2为图像增强网络结构示意图；
[0055]
图3为增强前的原始低照度图像；
[0056]
图4为实施例1利用gamma变换增强后所得到图像；
[0057]
图5为实施例1增强后所得到图像；
[0058]
图6为cn202010097457.4增强后所得到图像。
具体实施方式
[0059]
具体实施方式一：结合图1说明本实施方式，
[0060]
一种基于深度学习的自监督低照度图像增强及去噪方法，包括以下步骤：
[0061]
步骤一、基于深度学习设计图像增强网络，该网络可以将低照度图像分解为反射图像r和照度图像i；
[0062]
将待增强低照度图像s
′
及其最大值通道图像s
′
max
和其期望最大值通道图像s
′
expect_max
合并为m*n*5的矩阵作为自监督低照度图像增强网络的输入，利用训练好的自监督低照度图像增强网络对低照度图像进行增强及去噪处理，输出为反射图像r和照度图像i。自监督低照度图像增强网络输出的反射图像r即为增强后图像。
[0063]
所述待增强低照度图像s
′
为m*n*3的矩阵，m为行数，n为列数，3为{r，g，b}三个颜色通道；s
′
max
通过取三个颜色通道中的最大值得到，为m*n*1的矩阵；s
′
expect_max
可利用任意图像增强方法对s
′
max
进行增强后得到，或通过任意图像增强方法对s
′
做增强处理后取最大
值通道图像得到，为m*n*1的矩阵；所获得的最终增强图像r为m*n*3的矩阵。
[0064]
步骤二、采集任意n张低照度图像，n＞＝1，构建训练数据集，训练数据集中可以仅包含低照度图像；
[0065]
步骤三、对于训练数据集中每一张低照度图像s，提取其对应的最大值通道图像s
max
，利用任意对比度增强方法如gamma变换对s
max
进行处理，得到期望最大值通道图像s
expect_max
；
[0066]
步骤四、以期望最大值通道图像s
expect_max
作为额外输入和监督，结合retinex理论和噪声抑制正则项构建损失函数，训练图像增强网络；包括以下步骤：
[0067]
步骤四一、以期望最大值通道图像s
expect_max
作为额外输入和监督，结合retinex理论、噪声分布符合泊松分布的假设、照度图像i平滑和噪声抑制正则项构建损失函数，训练图像增强网络，损失函数为：
[0068][0069]
其中，第一项为重建损失，第二项为期望增强损失，第三项为照度平滑正则项，第四项为噪声抑制正则项；λ1、λ2和λ4分别为期望增强损失、照度平滑正则项和噪声抑制正则项在整体损失函数中的权重参数，λ3为和在照度平滑和噪声抑制正则项中的权重参数；s代表获取的图像，r代表反射图，i代表照度图；代表矩阵中的对应位置元素相乘；r
max
表示反射图r所对应中最大值通道图像，代表反射图r的梯度图，代表求梯度；代表照度图i的梯度图；w表示在噪声抑制正则项中各个像素点的权重，w
i
和w
r
分别表示和在照度平滑正则项中各个像素点的权重；和分别代表对和取绝对值后做归一化操作，f表示归一化算子。
[0070]
第一项重建损失，来源于噪声分布为泊松分布的假设，相对于常用的噪声分布为高斯分布的假设，该假设更加符合真实夜间拍摄图像的噪声特点，有助于更准确的描述噪声信息，重建真实无噪声图像。第二项期望增强损失中，同样采用了噪声分布为高斯分布的假设，利用期望最大值通道图像与反射图r的最大值通道图像r
max
之间的损失最小来约束反射图r的对比度信息，以保证反射图r具有良好的对比度信息，实现对低照度图像的增强；第三项照度平滑正则项，该正则项是为了保留照度图中的结构信息，对细节和噪声部分进行平滑，该正则项利用了在局部区域内细节信息和噪声信息的梯度信息中可能存在相反梯度的假设，以平滑滤波器对照度图的梯度图、反射图的梯度图分别进行处理后生成权重w
i
和w
r
，使得训练的网络在实现保留照度图结构的同时，去除细节信息和噪声信息；第四项噪声抑制正则项，该正则项是利用了细节信息比噪声信息更能抵抗平滑滤波器的假设，以滤波器处理后的反射图生成权重w，用以区分细节信息和噪声信息，使得训练的网络在实现去噪的过程中实现对图像细节信息的保存。通过四项损失函数的组合，可以更好的模拟真实噪声分布，实现增强与去噪的良好结合，可以在增强同时自监督的去除噪声信息，并保留细节信息，同时减少了现有的一些先增强后去噪方法带来的信息损失和模糊等问题。
[0071]
所述的r
max
的获取公式为：
[0072][0073]
其中，r
max
(i,j)为反射图r的最大值通道图像r
max
中第i行、第j列元素；max代表取最大值操作；c取r、g、b，对应rgb颜色空间下红绿蓝三个颜色通道，r
c
(i,j)为反射图r在rgb颜色空间下某一个通道第i行、第j列元素。
[0074]
所述和的具体公式为：
[0075][0076][0077]
所述的w的获取方法包括以下步骤：
[0078]
(1)利用大小为a*a均值滤波器对反射图r做平滑操作，得到平滑后反射图r
s
；
[0079]
(2)求解r
s
的梯度，得到r
s
的梯度图并对取绝对值后做局部归一化操作得到w，其具体公式为：
[0080][0081]
其中，w(i,j)，分别为w和中第i行、第j列元素；为中第k行、第l列元素；ω(i,j)表示以(i,j)为中心的，大小为b*b的局部区域。
[0082]
所述的w
i
和w
r
的获取方法包括以下步骤：
[0083]
(1)求解r和i的梯度，得到r和i的梯度图和利用大小为a*a均值滤波器对和做平滑操作，得到反射图的平滑后梯度图和照度图的平滑后梯度图
[0084]
(2)对和取绝对值后做局部归一化操作得到w
r
和w
i
，其具体公式为：
[0085][0086][0087]
其中，w
r
(i,j)，w
i
(i,j)，和分别为w
r
，w
i
，和中第i行、第j列元素；和为和中第k行、第l列元素；ω(i,j)表示以(i,j)为中心的，大小为b*b的局部区域。
[0088]
经过对反射图r的梯度图研究和实验发现，在此w
i
，w
r
和w获取方式下，所建立的损失函数，训练速度快，可以在增强图像、保留细节信息的同时显著抑制噪声。
[0089]
经过反复研究并实验，各个区域大小参数a，b的取值分别为5，7；
[0090]
经过反复研究并实验，各个权重参数λ，λ1，λ2，λ3，λ4的取值分别为0.01，0.1，10，0.05。
[0091]
步骤四二、利用步骤四一所提损失函数，对图像增强网络进行训练。
[0092]
(1)在训练过程中，使用随机裁剪的低照度图像块进行训练，图像块的大小为48*48；
[0093]
(2)每次训练中随机取16个小块；
[0094]
(3)使用adam随机优化算法对网络进行训练，更新率设置为0.001。此时能够在保
证增强网络的增强效果的基础上，进一步提高训练效率和增强网络的效率。
[0095]
步骤五、将待增强低照度图像和其他任意对比度增强方法处理后获取的期望最大值通道图像输入图像增强网络，网络输出的反射图像r即为增强后图像。
[0096]
实际上，本发明可使用预先准备的低照度图像训练数据训练网络，然后直接利用训练好的网络进行图像增强。
[0097]
本发明提出了一种基于深度学习的自监督低照度图像增强及去噪方法，可以通过与现有的任意低照度对比度增强方法结合，在仅使用低照度图像的情况下完成网络的训练，且具有良好的噪声抑制能力。解决了现有基于深度学习的自监督方法中无法直接调节增强图像对比度和难以抑制噪声等问题。且由于所提方法是基于自监督方法，仅需要低照度图像就可以完成训练，因此对各类设备和环境具有良好的适应性。
[0098]
具体地说，在图像采集设备敏感度较低或夜间等光照较低情况下，可以应用本方法显著提高所获取图像的对比度和亮度，并在保留图像的细节信息的基础上显著抑制噪声。本方法可以仅利用低照度图像进行训练，并且由于不依赖成对的低照度和正常照度图像，因此具有良好的适应性，可以实现在线训练。本发明可应用在民用的照相摄像、智能视频监控、智能安防、智能交通和光学成像制导等领域。
[0099]
具体实施方式二：
[0100]
本实施方式所述一种基于深度学习的自监督低照度图像增强及去噪方法，所述步骤三的具体过程包括以下步骤：
[0101]
步骤三一、提取低照度图像s的最大值通道图像s
max
[0102][0103]
其中，s
max
(i,j)为最大值通道图像s
max
中第i行、第j列元素；max代表取最大值操作；c取r、g、b，对应rgb颜色空间下红绿蓝三个颜色通道，s
c
(i,j)为低照度图像s在rgb颜色空间下某一个通道第i行、第j列元素；
[0104]
步骤三二、利用任意对比度增强方法如gamma变换对最大值通道图像s
max
做对比度增强操作，得到期望最大值通道图像s
expect_max
。
[0105]
其他步骤和参数与具体实施方式一相同。
[0106]
具体实施方式三：结合图2说明本实施方式，
[0107]
本实施方式所述一种基于深度学习的自监督低照度图像增强及去噪方法，所述图像增强网络具体如下：
[0108]
输入分别输入第一卷积层和第二卷积层，第一卷积层、第二卷积层分别为9*9的卷积层后连接一个lrelu层和3*3的卷积层后连接一个lrelu层；
[0109]
第一卷积层连接第三卷积单元，所述第三卷积单元为3*3的卷积层后连接一个lrelu层；
[0110]
第三卷积单元连接第四卷积单元，第四卷积单元连接第五卷积单元，第五卷积单元连接第六卷积单元，第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个lrelu层；
[0111]
第六卷积单元的输出与第三卷积单元的输出进行concat操作后输入第七卷积单元，第七卷积单元为3*3的卷积层后连接一个lrelu层；
[0112]
第七卷积单元的输出与第二卷积单元的输出进行concat操作后输入第八卷积层，第八卷积层连接第九卷积层，第九卷积层连接第十卷积层，第八卷积层为3*3的卷积层后连接一个lrelu层，第九卷积层和第十卷积层均为3*3的卷积层；
[0113]
第十卷积层连接一个sigmoid激活函数层；
[0114]
sigmoid激活函数层连接输出层，输出为反射图像r和照度图像i。
[0115]
其他步骤和参数与具体实施方式一至二之一相同。
[0116]
实施例
[0117]
按照本发明进行低照度图像增强，增强前的原始低照度图像如图3所示。
[0118]
实施例1、本发明实施例预先准备的低照度图像训练数据训练网络，然后直接利用训练好的网络，结合gamma变换对图像进行图像增强。仅利用gamma变换的增强效果如图4所示，本方法增强效果如图5所示，cn202010097457.4方法增强效果如图6所示，显然相比cn202010097457.4，本发明能够有效地改善增强结果且具有非常好的噪声抑制效果。
[0119]
通过增强后的图像能够看出：本发明的自监督低照度图像增强网络可以显著增强图像的亮度、对比度、在保留图像的细节信息的基础上显著降低噪声。
[0120]
通过实验也能够明确本发明所提方法具有很好的实时性。
[0121]
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。