基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置

本发明涉及水下图像增强，尤其涉及一种基于深度cnn去噪先验的retinex变分水下图像增强方法和装置。

背景技术：

1、由于水下环境的复杂物理特性，很容易导致水下成像设备获取到能见度低且颜色失真的水下降质图像。根据水下光学成像机理，其中水下成像设备所捕获的光量主要由三个分量构成: 直接分量(由物体反射且未被散射的光)，前向散射分量(物体反射且被小角度散射的光)，后向散射分量(非目标物体反射的光，而是漂浮颗粒等反射的光)。 其中，获取的水下图像被认为是这三个部分的线性组合。前向散射分量容易产生模糊的图像结构，而后向散射分量则掩盖图像边及细节。同时，不同波长的光在水中以不同的速率进行衰减，红光具有最长的波长或最小的能量，其最先消失，然而蓝光和绿光则具有相对短的波长或相对大的能量，呈现相反的情况，这一特性导致获取的水下图像通常呈现出蓝或绿色调。

2、现有水下图像增强方法需要对水下图像的反射率分量和光照分量分别进行手工设计的稀疏先验建模，而这种先验约束求解非常耗时；同时，在实际复杂的水下环境中很难对反射率分量和光照分量进行准确先验建模，直接影响到水下图像的细节与结构的增强性能。

技术实现思路

1、本发明提供了一种基于深度cnn去噪先验的retinex变分水下图像增强方法和装置，用以解决现有技术存在的问题，本发明提供的技术方案如下：

2、一方面，提供了一种基于深度cnn去噪先验的retinex变分水下图像增强

3、方法，所述方法包括：

4、s1、输入水下降质图像；

5、s2、利用归一化颜色修正方法，对所述水下降质图像进行颜色修正；

6、s3、将颜色修正后的水下图像从rgb颜色空间转换到hsv颜色空间，得到hsv颜色空间的亮度通道、色度通道和饱和度通道；

7、s4、根据retinex理论，将hsv颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度cnn去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；

8、s5、利用伽马修正方法，修正光照分量的增强结果；

9、s6、将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、hsv颜色空间的色度通道和饱和度通道，再把合并后的图像从hsv空间转换到rgb空间，得到并输出最终的水下增强图像。

10、可选地，所述s2的利用归一化颜色修正方法，对所述水下降质图像进行颜色修正，具体包括：

11、使用归一化颜色修正方法分别对水下降质图像ic的红通道、绿通道和蓝通道进行颜色修正操作，具体运算如下：

12、(1)

13、 (2)

14、其中，上标符号c = {r, g, b}是指颜色通道，r是红通道、g是绿通道、b是蓝通道，ic为输入的水下降质图像，其包含红通道ir、绿通道ig和蓝通道ib，为颜色修正后的水下图像，其包含红通道绿通道和蓝通道，为ic的最大值，为ic的最小值，为ic的均值，为ic的方差，为调节图像动态范围的参数。

15、可选地，所述s4，具体包括：

16、构建一种基于深度cnn去噪先验的retinex变分水下图像增强模型，具体优化目标函数如下：

17、 (3)

18、其中，第一项为数据保真项，用l2范数约束所求解的光照分量l与反射率分量r的乘积和亮度通道v一致，第二项是正则化项，表示反射率分量r的隐式先验，第三项是正则化项，表示光照分量l的隐式先验，和是两种隐式先验表示函数，无需设定具体的显式约束形式，采用深度cnn去噪器学习，为第一权重参数，为第二权重参数，和分别依据r和l分量中的各自噪声方差大小进行经验性设置，为图像像素点之间的点乘运算，利用变量分裂方法解耦数据保真项和正则化项，引入两个辅助变量p和q分别来逼近求解r和l，将公式 (3) 转变为对应的增广拉格朗日目标函数形式：

19、(4)

20、其中，为第三权重参数，为第四权重参数，p是r的逼近辅助变量，q是l的逼近辅助变量，采用交替迭代优化算法求解公式(4)。

21、可选地，所述采用交替迭代优化算法求解公式(4)，具体包括：

22、1）固定当前的光照分量l和两个逼近辅助变量p、q，求解反射率分量r的目标函数表示为

23、 (5)

24、其中，下标符号k是第k次迭代的次数，lk是l的第k次迭代结果，pk是p的第k次迭代结果，公式(5)中的除法是图像像素之间的点除运算，对公式(5)进行一阶梯度求导并置为0，得到反射率分量r的闭合解：

25、 (6)

26、其中，rk+1是r的第k+1次迭代结果，公式(6)中的除法是图像像素之间的点除运算；

27、2）固定当前的反射率分量r和两个逼近辅助变量p、q，求解光照分量l的目标函数表示为

28、(7)

29、其中，qk是q的第k次迭代结果，公式(7)中的除法是图像像素之间的点除运算，对公式 (7) 进行一阶梯度求导并置为0，得到光照分量l的闭合解：

30、 (8)

31、其中，lk+1是l的第k+1次迭代结果，公式 (8) 中的除法是图像像素之间的点除运算；

32、3）固定当前的反射率分量r和光照分量l，求解两个逼近辅助变量p和q的目标函数分别表示为

33、 (9)

34、 (10)

35、根据贝叶斯概率理论，看出公式(9)和(10)均是典型的图像高斯噪声去除问题，采用深度cnn去噪器求解这两个问题，具体计算如下：

36、 (11)

37、 (12)

38、其中，pk+1和qk+1分别是p和q的第k+1次迭代结果，是深度cnn去噪器，通过深度残差去噪网络求解；

39、4）重复上述步骤 1)–3)直至收敛，获得增强后的反射率分量re和光照分量le。

40、可选地，所述深度cnn去噪器由五个层组成，第一层包括一个dconv+relu块，中间三个层包括三个dconv +bnorm+relu块，以及最后一层包括一个dconv块，其中，dconv表示扩张卷积，relu表示修正线性单元，bnorm表示批量归一化，从第一层到最后一层的扩张卷积的膨胀因子s分别设置为1、2、4、2和1，分别输入带噪图像rk+1和lk+1，经过五个层后转化为残差噪声图像，最后将输入带噪图像减去残差噪声图像，分别输出去噪图像pk+1和qk+1。

41、可选地，所述cnn去噪器的残差网络训练过程，包括：

42、收集干净图像数据集；

43、通过对干净图像数据集中的干净图像中添加高斯白噪声，得到带噪声图像；

44、将每张带噪声图像裁剪成小块，随机选择若干个图像块进行训练，采用残差学习策略，用l2范数约束损失函数:

45、

46、其中, yi是第i个带噪声图像，xi是第i个干净图像，i = 1,…, n，n是带噪声图像或者干净图像的个数，表示深度神经网络函数，是网络参数，并用adam优化器来优化。

47、可选地，所述s5，具体包括：

48、伽马修正后的光照分量l'e的计算公式如下式（13）：

49、(13)

50、其中，le是增强后的光照分量，w是图像的最大亮度范围，为修正参数，l'e为伽马修正后的光照分量。

51、另一方面，提供了一种基于深度cnn去噪先验的retinex变分水下图像增强装置，所述装置包括：

52、输入模块，用于输入水下降质图像；

53、颜色修正模块，用于利用归一化颜色修正方法对所述水下降质图像进行颜色修正；

54、转换模块，用于将颜色修正后的水下图像从rgb颜色空间转换到hsv颜色空间，得到hsv颜色空间的亮度通道、色度通道和饱和度通道；

55、第一处理模块，用于根据retinex理论，将hsv颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度cnn去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；

56、修正模块，用于利用伽马修正方法修正光照分量的增强结果；

57、第二处理模块，用于将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、hsv颜色空间的色度通道和饱和度通道，再把合并后的图像从hsv空间转换到rgb空间，得到并输出最终的水下增强图像。

58、另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有指令，所述指令由所述处理器加载并执行以实现上述基于深度cnn去噪先验的retinex变分水下图像增强方法。

59、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有指令，所述指令由处理器加载并执行以实现上述基于深度cnn去噪先验的retinex变分水下图像增强方法。

60、上述技术方案，与现有技术相比至少具有如下有益效果：

61、本发明提出了一种基于深度cnn去噪先验的retinex变分水下图像增强方法和装置，相比于现有水下图像增强方法，本发明的主要优势是采用深度cnn去噪先验，代替反射率分量和光照分量的显式表示先验，有效地克服复杂水下环境中各自先验难以准确建模的缺陷；同时利用端到端的深度学习训练具有快速的运算速度，高效解决显式表示先验的求解耗时问题，此外，对水下降质图像进行归一化颜色修正操作，有效复原水下图像的颜色及自然性。