基于生成对抗网络的水下声纳图像超分辨率重构方法

本发明属于计算机视觉技术和遥感图像领域，具体涉及水下声纳图像的超分辨率重构方法。

背景技术：

1、随着海洋资源的利用变得更加重要，为了合理开发和利用海洋资源，声纳作为遥感领域不可缺少的传感器，可以提供水下丰富的观测信息。然而，由于声纳原理的限制，声纳声波的能量在水中会衰减，从而导致声纳图像的失真，使采集到的水下声纳图像不够清晰，分辨率较低。所以对声纳图像做增强和超分辨是十分必要的；超分辨不仅可以提高水下声纳图像的质量，更重要的是，可以帮助进一步处理对于声纳图像的水下分类，物体检测，实例分割等应用场景。

2、超分辨率重构是从一个或多个低分辨率图像中重建高分辨率图像的方法。根据输入低分辨率图像的数量，超分辨率重构算法可分为单图像超分辨率重构和多图像超分辨率重构。单图像超分辨率重构是一个迅速发展的研究课题。它被广泛的应用到计算机视觉中，对现实世界的影响至关重要，例如环境监测，医学图像处理,以及监视和安全等。然而，超分辨率重构是一个典型的不适定问题，对于任何一个低分辨率图像都可以生成多个高分辨率图像。因此，掌握高分辨率和低分辨率图像之间的映射关系是解决这个问题的关键。深度学习已经成为超分辨率重构的一项基本技术，因为它能够学习复杂的图像映射关系。

技术实现思路

1、有鉴于此，本发明的目的是提出一种基于生成对抗网络(gan)的水下声纳图像的超分辨率重构方法，用以生成带有丰富细节纹理信息的超分辨率水下声纳图像。

2、本发明提供的基于生成对抗网络的水下声纳图像的超分辨率重构方法，参见图1、图2所示。包括：构建gan的框架，设计生成器和判别器两个主体网络，通过损失函数来指导生成器和判别器的输出，使得gan生成带有水下声纳纹理信息的超分辨率图像；其中，生成器的目标是产生尽可能与真实高分辨率图像样本相同的超分辨率图像样本，并且使判别器为生成的超分辨率图像样本提供更高的概率值；而判别器的目标是对真实的高分辨率图像样本给出较高的概率值，对生成器生成的超分辨率图像样本给出较低的概率值。

3、本发明中，所述生成器中包括一个浅层特征提取模块，多个纹理特征提取模块和一个特征重构模块；其中，多个纹理特征提取模块用于多次提取水下声纳图像纹理特征的细节信息，特征重构模块通过利用提取到的丰富的图像纹理细节和全局信息，生成超分辨率图像，使所述生成器模型能够高效的生成水下声纳图像的纹理细节信息；在判别器中也对应加入了针对纹理特征细节的判断模块，以针对性的指导生成器生成超分辨率水下声纳图像的纹理细节信息，从而增加生成信息的丰富性并提高生成超分辨率图像样本的准确性和高效性。

4、本发明中，所述纹理特征提取模块包括：多个由单个卷积层和lrelu激活层组成的双层神经网络，一个由平均池化层、单个卷积层、像素混合层和sigmoid激活层组成的四层神经网络，单个卷积层和多次矢量拼接操作；所述特征重构模块包括：两个由卷积层、lrelu激活层和像素混合层组成的三层神经网络结构，一个由单个卷积层和lrelu组成的两层神经网络，和单个卷积层。

5、所述判别器主要包括：单个卷积层，由单个卷积层和lrelu激活层组成的两层神经网络结构，由单个卷积层、批标准化层和sigmoid激活层组成的三层神经网络结构。

6、本发明提供的基于生成对抗网络的水下声纳图像的超分辨率重构方法，具体步骤为：

7、步骤1：对生成器首先输入一组低分辨率图像ilr，先对低分辨率图像进行浅层特征提取,输入层是由单个卷积层组成，用于拓宽输入图像的通道数，提取低分辨率图像的浅层特征f0，得到浅层特征提取结果，用于后续的纹理特征提取模块；

8、步骤2：提取到的浅层特征经过两层神经网络结构(单个卷积层和lrelu激活层组成)，将得到的输出向量与原浅层特征提取结果进行第一次向量拼接；而后使用三个相同的两层神经网络(两层神经网络包括单个卷积层和lrelu激活层)，输出的结果和对应两层神经网络的输入分别进行三次向量拼接；三次向量拼接后输出的结果分别通过单个卷积层和通过四层神经网络结构(包含平均池化层，单个卷积层，像素混合层和sigmoid激活层)，将得到的向量结果相乘；通过单个卷积层输出第一个纹理特征提取模块的特征提取结果f1；该纹理特征提取模块通过多次拼接前一层特征，保存一定的纹理结构，同时不增加模型的参数量；采用lrelu激活层进行处理，与传统的relu不同，lrelu保证即使对于负输入值，梯度仍然会流动，从而在反向传播过程中实现更好和更稳定的梯度传播；同时，在每个纹理特征细节提取模块中使用的四层神经网络结构(包含平均池化层，单个卷积层，像素混合层和sigmoid激活层)生成下采样后的特征图，通过使用平均池化层增大感受野，使空间中的任何位置都能自适应地编码远距离区域的上下文信息，不再局限于核范围内的小区域的信息；再经过单个卷积层、像素混合层，使向量恢复到之前的空间大小，再经过sigmoid；将输入的特征图经过单层卷积与sigmoid的输出值相乘，再经过单个卷积层；通过这种方式，最终得到生成后的特征图拥有丰富的上下文信息和更好的特征表示；

9、步骤3：将步骤2中输出的向量作为输入，然后通过与步骤2相同的纹理细节特征提取模块11次，随着神经网络深度的增加，整个生成器模型变得更加非线性，使整个模型拥有更强的拟合能力；输出为最终提取到的水下声纳图像的纹理特征f12；通过每个纹理特征提取模块中的向量拼接保存了之前的特征，同时多次使用四层神经网络结构(包含平均池化层，单个卷积层，像素混合层和sigmoid激活层)在更大的感受野内提取纹理的信息，增加生成信息的丰富度；

10、步骤4：将纹理特征f12经过特征重构模块生成超分辨率图像；其中，通过两个三层神经网络结构(包含单个卷积层，lrelu激活层和像素混合层)；而后使用两层神经网络结构(包含单个卷积层和lrelu激活层)和单个卷积层最终的得到超分辨率图像；其中，特征重构模块是基于提取到的丰富的细节和全局信息，进行生成超分辨率图像；利用像素混合层可以将低分辨率图像中的信息重新排列，从而在恢复超分辨率图像时减少信息丢失，有助于保留图像细节和纹理，同时避免由于简单的插值或上采样导致的图像模糊问题，从而提供更清晰的重构图像；

11、步骤5：将真实的高分辨率图像和生成的超分辨率图像分别作为判别器的输入，先经过一个两层神经网络结构(包括单个卷积层和lrelu激活层)，之后经过五个相同的三层神经网络结构(卷积层、批标准化层、lrelu层)，最后通过单个卷积层，输出结果为对每张输入图像的多个概率值；

12、在判别器网络架构中，多次使用批标准化层，将网络中的数据转换到均值为零，方差为1的状态下，保持每层数据的分布的一致性；该判别器对每个输入图像生成多个概率值，通过对局部特征进行判断；而传统方法过于粗糙的对整张图片做出判断，忽略了对输入图像局部特征的判断，最后的结果很难保证在局部特征和整体特征上保持判断的一致性；同时，水下声纳图像背景丰富，通过对局部特征进行判断可以如实恢复纹理细节。

13、本发明提出的基于gan的水下声纳图像的超分辨率重构方法，与现有方法相比，具有如下特点和优点：

14、(1)设计了纹理特征提取模块，并加入同时多次使用四层神经网络结构(包含平均池化层，单个卷积层，像素混合层和sigmoid激活层)在更大的感受野内提取图像的纹理信息，使得到的特征图中包含丰富的上下文信息和更好的特征表示；

15、(2)设计了特征重构模块，用像素混合层取代现有方法中使用的简单的插值或上采样，通过将低分辨率图像中的信息重新排列，从而在重构超分辨率图像时减少了信息丢失，同时保留更多的图像细节和纹理信息，避免由于简单的插值或上采样导致的图像模糊问题，使生成的重构后的超分辨图像更加清晰；

16、(3)设计了面向水下声纳图像的判别器，该判别器针对每个输入图像生成对应多个概率值，分别对其局部特征进行判断；然而，现有方法过于粗糙的对整张图片做出判断，输出对整张图片的概率值，忽略了对输入图像局部特征的判断，输出的判断结果很难在局部特征和整体特征上保持一致性；而本发明提出的判别器通过对局部特征进行判断可以帮助生成器恢复更为真实的水下声纳图像纹理细节。