一种基于去水模型和自然度细节融合的水下图像增强方法

本发明涉及了一种水下图像增强方法，涉及水下图像处理，具体涉及一种基于去水模型和自然度细节融合的水下图像增强方法。

背景技术：

1、高清晰度和高质量的图像在提供船上操作人员身临其境的视觉体验上至关重要。在海洋环境中，需要具备先进成像系统的无人水下设备，满足替代人类潜水员冒险进入海洋深处获取信息的需求。这些成像系统通常配备声纳和视觉传感器，其中声纳传感器擅长轮廓检测和目标识别，提供宏观检测能力。而视觉传感器则有助于获取内容丰富的图像，包括颜色、轮廓和其他相关信息，从而实现近距离的精准感知。作为感知水下环境复杂细节的关键工具，视觉传感器在海洋资源勘探、海洋生态研究和海洋自主监测等领域中被广泛应用。由于水介质的固有特性以及悬浮颗粒的存在，导致深海图像存在亮度降低、颜色失真、对比度减弱和模糊不清等退化现象，极大影响了捕获图像的质量和视觉保真度。

2、在针对水下图像处理的深度学习方案中，通常缺乏高质量的水下数据集来训练监督学习方法。而基于生成对抗网络的样式迁移方法所生成的水下数据集在实际应用中可靠性得不到保障。在增强水下图像处理方面，传统方法其实是奏效的，许多基于像素和模型的方法已经存在。然而，现有的大多数传统水下图像增强方法往往没有从光在水中传播的衰减率这一重要属性出发，而那些提及衰减依赖性的方法又缺乏波长依赖性。

技术实现思路

1、为了解决背景技术中存在的问题，本发明所提供一种基于去水模型和自然度细节融合的水下图像增强方法。

2、本发明采用的技术方案是：

3、本发明的基于去水模型和自然度细节融合的水下图像增强方法，包括：

4、1)建立水下图像的通道间衰减差模型，将rgb三通道下的水下图像输入通道间衰减差模型，通道间衰减差模型输出通道间衰减差。

5、2)建立水下图像的水下环境光照模型，将rgb三通道下的水下图像输入水下环境光照模型中，水下环境光照模型输出水环境背景光值。

6、3)建立水下图像的去水模型，将rgb三通道下的水下图像、通道间衰减差和水环境背景光值输入去水模型中，去水模型输出初步去除水下效应的水下图像。

7、4)对初步去除水下效应的水下图像的对比度进行增强，获得水下图像的hsl颜色空间l通道经增强后的hsl颜色空间l*通道。

8、5)建立水下图像的融合权重模型，将水下图像的hsb颜色空间s通道、hsl颜色空间l通道及其增强后的hsl颜色空间l*通道输入融合权重模型中，融合权重模型输出增加自然度融合权重；根据水下图像和去除水下效应的水下图像，使用增加自然度融合权重进行图像融合获得权重融合水下图像。

9、6)将权重融合水下图像进行两次卷积融合后获得增强水下图像，实现水下图像的增强。

10、所述的rgb三通道由红色red、绿色green和蓝色blue为基础的三基色模式表示；hsl颜色空间l通道由色相hue、饱和度saturation和明度brightness表示；hsb颜色空间s通道由色相hue、饱和度saturation和亮度lightness表示。

11、所述的步骤1)中，水下图像的通道间衰减差模型具体如下：

12、sc＝(ic-z)·z

13、其中，c表示rgb三通道，sc表示c通道的通道间衰减差；ic表示c通道下的水下图像；z表示最佳颜色通道，对初始差值通过乘以最佳颜色通道z针对该图片做衰减差实例化；

14、从c通道的蓝色通道b和绿色通道g中选取通道均值较高的一个通道作为最佳颜色通道z。

15、通道间衰减差模型用于反映衰减系数与海水中可见波长之间的关系，定义为用于捕捉各个通道与最少衰减通道之间的像素值差异的一个大小为h×w×3的三维矩阵，其中h代表图像的高，w代表图像的宽。

16、所述的步骤2)中，水下图像的水下环境光照模型具体如下：

17、a＝max(bmean,gmean)

18、

19、

20、其中，a表示水环境背景光值；p和|p|分别表示暗通道数值前千分之一的像素点集及其大小，bmean与gmean分别表示像素点集p内像素点x的蓝色通道b和绿色通道g均值；b(x)和g(x)分别表示像素点x的蓝色通道b和绿色通道g。

21、从图像暗通道数值前千分之一的点集取出其蓝绿通道b的最大值作为该水下图像的水环境背景光值。

22、所述的暗通道数值前千分之一的像素点集p具体如下：

23、p＝{x|cdf(d(x))>0.999}

24、

25、其中，cdf()表示累积分布函数；d(x)表示像素点x的暗通道值；ω(x)表示一个以像素点x为中心的最小运算区域；ic()表示c通道下的水下图像；y表示ω(x)中所有像素。

26、累积分布函数cdf能够得到x像素点对应暗通道值的分布概率，取出累计分布概率大于0.999的值加入点集p。暗通道矩阵d(x)是一个大小为h×w的二维矩阵，其中h代表图像的高，w代表图像的宽。对图像每一像素位置x进行以上运算得到暗通道矩阵。ω(x)是一个最小运算区域，区域大小的选择会影响暗通道结果，选择较大区域能得到更暗的暗通道，但是为了避免全图采用同一数值我们的选择也不能过大，由于水下原本照度低，为了保留一些细节，我们具体选用patch size 7×7。

27、所述的步骤3)中，水下图像的去水模型具体如下：

28、

29、其中，c表示rgb三通道，ec(x)表示像素点x所在的c通道下的水下图像经去水模型处理后的初步去除水下效应的水下图像；ic(x)表示像素点x所在的c通道下的水下图像；sc表示c通道的通道间衰减差；d(x)表示像素点x的暗通道值；a表示水环境背景光值；α表示预设系数。

30、rgb图像在处理过程中各个通道值会被归一化，即e∈[0,1]，与衰减差处同一数量级，可选取α的数值为1简化运算，计算高效且能取得不错的视觉效果。

31、所述的步骤4)中，对初步去除水下效应的水下图像的对比度进行增强具体为采用限制对比度的自适应直方图方法进行图像增强，具体为对初步去水处理后输出图像e进行限制对比度自适应直方图均衡化得到e′，将e′转换到hsl空间获得l*通道。

32、所述的步骤5)中，水下图像的融合权重模型具体如下：

33、weight＝ω1·weighthsl+ω2·weighthsb

34、其中，weight表示增加自然度融合权重；ω1和ω2分别表示第一和第二权重系数，具体实施时，ω1＝1，ω2＝0.875；weighthsl表示hsl空间权重分量；weighthsb表示hsb空间权重分量。

35、所述的hsl空间权重分量weighthsl具体如下：

36、weighthsl＝|l-l*|

37、其中，l和l*分别表示水下图像的hsl颜色空间l通道矩阵及其增强后的hsl颜色空间l*通道矩阵。

38、所述的hsb空间权重分量weighthsb具体如下：

39、

40、其中，s表示水下图像的hsb颜色空间s通道矩阵。

41、所述的步骤6)中，进行两次卷积融合具体为使用两个卷积层对权重融合水下图像，具体实施时，两个卷积层的卷积核具体如下：

42、

43、

44、其中，c1卷积核主要用于图像锐化，c2卷积核主要用于增强图像细节。

45、本发明提出的新颖的去水模型，通过引入通道间的衰减差异，以更好地适应水下光的衰减特性。本发明方法可以改善深海图像亮度降低、颜色失真、对比度减弱和模糊不清等退化现象，能够持续生成稳定的增强结果、调整为舒适自然的色调并针对不同程度的色彩偏移和质量退化的图像具有高鲁棒性的深海图像增强。

46、本发明的有益效果是：

47、本发明增强方法在改善水下图像的多个特性方面具有显著有效性，能够持续产生稳定的增强结果，有效地改善水下图像的各种特性，包括饱和度、色度、色彩平衡、对比度和锐度等。方法能够持续产生稳定的增强结果，使生成的图像呈现出舒适和自然的色调，改善船上遥操作者对水下操作的视觉观感。此外，该方法对于具有不同程度的色彩偏移和质量衰减的图像表现出良好的适应性。且本发明中的去水模型从形式来看比较简洁，有利于实时处理和可扩展性，为深海图像的去水处理提供了一种创新的解决方案。