一种基于水下注意力生成对抗网络的图像增强方法

本发明属于水下视觉智能感知领域，涉及一种基于水下注意力生成对抗网络的图像增强方法。

背景技术：

1、水下光学成像技术能够提供符合人类视觉感知的高分辨率图像，目前已经成为探索海洋、认知海洋的有效手段。注意到，复杂海洋环境中存在大量的溶解物、悬浮物和颗粒物等，悬浮粒子对光线吸收、散射和折射，从而导致捕获到的图像表现为颜色失真、细节模糊和低对比度等，严重降低水下图像成像质量，这不可避免地给基于视觉的水下作业任务带来严峻挑战。

2、目前而言，瞄准水下图像所独有的对比度低、细节模糊、噪声问题，主流的水下图像增强方法包括：基于非物理模型的图像增强方法、基于物理模型的水下图像恢复方法和基于数据驱动的图像到图像转换方法。

3、(1)基于非物理模型的水下图像增强方法；

4、通常而言，基于非物理模型的水下图像增强方法通过直接调整像素值而实现图像的清晰化，其包括直方图均衡化及其演变方法、白平衡系列算法、域变换方法。直方图均衡化框架主要是解决像素分布动态范围小、分布集中的难题，其主要是利用灰度变换函数使得直方图的分布范围更广，从而有效提高水下图像的对比度；限制对比度自适应直方图均衡化方法将水下图像分为多个区域，针对不同的图像区域应用不同的灰度映射函数，从而有效解决图像局部区域过增强或者欠增强的问题；另外，白平衡系列算法主要是基于色温的思想来调整图像对比度和校正颜色；此外，研究人员也通过将水下光学图像从空间域转为变换域，充分利用变换域的相关特性进行处理，进而将水下光学图像从变换域转换至空间域，从而实现水下光学图像的增强。

5、(2)基于物理模型的水下图像恢复方法；

6、通过探索无雾图像中局部区域存在一定量的暗像素(即三个通道中，某个通道的像素值接近于0)，提出了暗通道先验方法，其能够有效的恢复图像颜色和提高图像对比度；结合水下光学图像红色通道衰减最为严重的信息，提出了水下暗通道增强框架，该方法在求解暗通道的过程中主要是利用绿色通道和蓝色通道信息。利用与场景深度变化相关的颜色信息来估计背景光，提出了泛化暗通道算法，其能够有效地调整图像的色彩。通过在后向散射光估计的过程中融合多先验知识的评分机制，提出了一种泛化水下暗通道先验方法，该方法可以更加有效的估计透射图，从而有助于提高水下图像的增强。

7、(3)基于数据驱动的图像到图像转换方法

8、u-net网络结构在图像增强领域已经被证实极其有效，借助于编码和解码结构，利用卷积和反卷积的模式，结合跳跃连接操作可有效保存图像低层信息，同时防止梯度消失；ugan框架通过借助于生成对抗机制，使得判别器能够有效地指导生成器生成符合真实图像分布的图像，从而可有效地避免繁琐的损失函数设计；wasserstein gan方法通过借助于感知损失，使得生成的图像能够具有与人类感知相一致的特性。gan-rs方法通过利用对抗分支和评价分支分别实现图像内容保持和噪声滤除，其真样本的形成主要是基于滤波的方法。

9、复杂多域场景下水下图像增强技术主要存在如下缺陷：(1)通过直接调整像素值实现水下图像增强的方式不具备泛化性，通过基于水下成像模型实现图像增强的方式存在建模困难、传输图难以获取、吸收散射系数难以准确估计等；(2)在特征提取的过程中不可避免地引入散斑噪声、高斯噪声和脉冲噪声，从通道层面而言，已有的方法未有效的对前述混合噪声进行抑制，从而导致难以产生符合人类视觉感知的图像；(3)仅仅依赖于最后全连接层的单个激活值或卷积层补块激活值来判断生成器生成水下样本的策略极易使得生成器产生过增强或欠增强现象。

技术实现思路

1、为了解决上述问题，本发明提供本发明采用的技术方案是：一种基于水下注意力生成对抗网络的图像增强方法，包括以下步骤：

2、获取待增强的水下图像；

3、通过监督学习模式，借助于卷积神经网络提取底层和高层语义信息构建注意力生成对抗网络；

4、将待增强的水下图像作为输入，使用生成对抗损失、损失和结构相似性损失对注意力生成对抗网络进行训练，得到训练好的构建注意力生成对抗网络，输出增强后的水下图像。

5、进一步地：所述注意力生成对抗网络借助全局最大池化和平均池化操作，结合单隐层神经网络架构，形成级联密集通道注意力模块，实现通道权重重分配。

6、进一步地：所述注意力生成对抗网络通过结合位置注意力和patchgan技术，捕获长距离依赖信息。

7、进一步地：所述级联密集通道注意力模块的输出的得到过程如下：

8、使用密集连接网络来提取判别性噪声特征和增强特征流动，其可以表述为：

9、

10、其中：代表密集网络中第l个基础模块输出，代表原始输入特征，代表密集网络的输出，tl(·)是包括批次归一化、leakyrelu和卷积操作的非线性转换，o(·)表示1×1卷积操作；

11、通过利用全局平均池化和全局最大池化操作来获得每个特征图的统计信息，其可以表示为：

12、

13、

14、其中，h,w和c分别表示通道特征图的高度、宽度和层数，k＝1,2,…,c,代表第k个通道特征图，和分别代表全局平均池化和全局最大池化的输出；

15、使用两个完全独立的全连接层来计算通道权重，其可以表示为：

16、

17、其中，*∈{gap,gmp}，和是可学习的全连接权重参数，r(·)和s(·)分别是relu和sigmoid激活函数。明显地，通道权重被限制在(0,1)之间；

18、整个级联密集通道注意力模块的输出可以表示为：

19、

20、其中，是整个级联密集通道注意力模块输出。

21、进一步地：所述所述注意力生成对抗网络通过位置注意力来计算任意两个非局部空间位置的交互性，其可以表示为：

22、

23、其中，i＝1,2,…,n和j＝1,2,…,n，和分别表示来源于判别特征的重塑特征图，n＝hw是特征的总个数，代表位置注意力图，βj,i用来测量相同特征图中第i个和第j个位置之间的位置权重；

24、位置注意力可以表示为：

25、

26、其中：代表所预测的第j个位置处的位置注意力特征，代表位置注意力特征图，γ是权重因子，hi和aj分别是重塑特征图和的第i和j个元素。

27、进一步地：所述注意力生成对抗网络的优化函数得到过程如下如下：

28、为了使训练过程避免出现梯度消失和模式崩塌，使用经典的优化函数wgan-gp，其描述为：

29、

30、其中和分别代表真实图片和生成图片的概率分布，是惩罚域，λgp代表权重因子，g(·)和d(·)分别是生成器和判别器；

31、其次，l1损失用来捕获参考图像和生成图像之间的低频信息，其可以表示为：

32、

33、使用结构相似性损失从亮度、对比度和结构三个方面来计算参考图像和生成图像之间的距离，其表示为：

34、

35、其中μr和σr是参考图像的均值和标准差，μg和σg是生成图片的均值和标准差，σrg代表参考图片和生成图片之间的协方差，c1和c2是常数。

36、最后，结合上述的损失函数，最终的优化函数可表述为：

37、

38、其中，λl1和λssim是权重因子，lt代表最终的优化损失。

39、一种基于水下注意力生成对抗网络的图像增强装置，包括：

40、获取模块：用于获取待增强的水下图像；

41、建立模块：用于通过监督学习模式，借助于卷积神经网络提取底层和高层语义信息构建注意力生成对抗网络；

42、训练模块：将待增强的水下图像作为输入，使用生成对抗损失、损失和结构相似性损失对注意力生成对抗网络进行训练，对注意力生成对抗网络进行训练，得到训练好的构建注意力生成对抗网络，输出增强后的水下图像。

43、本发明提供的一种基于水下注意力生成对抗网络的图像增强方法，具有以下优点：

44、通过监督学习模式，借助于卷积神经网络提取底层和高层语义信息，使得所设计的uagan框架具备更强的泛化性；同时，所提出的uagan框架可避免参数估计(全局大气光值、吸收系数、散射系数、传输图等)和水下成像建模的问题；

45、借助全局最大池化和平均池化操作，结合单隐层神经网络架构，形成级联密集通道注意力模块，实现通道权重重分配，有助于抑制水下噪声特征和提高低级-高级特征堆叠灵活性。

46、结合位置注意力和patchgan技术，有助于捕获长距离依赖信息，从而可避免所生成的水下图片产生过增强现象。