低采样率下高浊度水下目标成像方法

本发明涉及一种基于带有双倍注意力机制与u-net的生成对抗网络的高浊度水下主动单像素成像方法，属于计算成像。

背景技术：

1、水下光学成像技术利用光波作为成像媒介，具有成像分辨率高、图像质量好、体积小等优点。该技术在目标识别、海洋科学和资源勘探、水下安全探测等领域具有重要作用。然而，由于水中光的吸收和散射效应，水下光学成像的质量也会不同程度地降低。为提高水下成像的质量，也已经提出了各种解决方法。例如，结合飞行时间技术和偏振成像的距离门控成像被开发出来，以减少反向散射效应，从而提高图像对比度。然而，由于操作的复杂性和设备的高成本，上述方法可能使水下成像问题复杂化。近年来，单像素成像(singlepixel imaging,spi)作为一种新的成像测量技术受到了广泛的关注。与传统的成像方法相比，它不需要光电探测器来检测光信号，只使用单点探测器来测量物体被照射后的综合强度，从而简化了实验系统的复杂性，具有无端流和后向散射影响小等特点。同时，在spi中引入压缩感知(compressed sensing,cs)可以在较少的测量次数下重构目标。但是当处于较低采样率时，重建图像质量并不理想。因此，对于水下spi，需要采用一种相比于压缩感知单像素成像(compressive sensing single pixel imaging,csspi)等方法更为有效的恢复算法。

2、深度学习作为一种新兴的研究方法，已被广泛应用于求解逆问题。随着深度学习在图像处理等领域中得到了广泛的应用，其具有强大的计算与拟合能力，适用于解决水下散射成像问题。但是，对于现有的水下spi恢复算法而言，在高浊度水环境中以低采样率下清晰地恢复目标图像依旧缺乏较好的解决办法。

技术实现思路

1、本发明的目的是提供一种低采样率下基于带有双倍attention u-net的生成对抗网络的高浊度水下主动单像素成像方法，有效解决高浊度水下目标的成像质量问题。

2、本发明采用的技术方案是：首先设计并实现了水下主动单像素成像系统(uaspi)。激光发出的光经扩束准直系统后，照亮由计算机控制的数字微镜器件(digitalmicromirror device,dmd)。其中，照明编码是利用随机哈达玛(hadamard)变换生成的图案对dmd进行调制。调制后的激光通过水下目标，最后由无空间分辨率的单像素探测器收集反馈的光强信号。单像素探测器与数字采集卡相连接，用于记录所收集的探测光强并传送到计算机。dmd投影速率与数字采集卡的daq系统通过信号触发以保持同步。然后，将采样得到的一维探测数据输入到已经提前训练好的网络中，以用低采样率重建高浊度水下环境中的目标图像。

3、为达到上述目的，本发明提供的技术方案是：低采样率下基于带有双倍attentionu-net的生成对抗网络的高浊度水下主动单像素成像方法，包括如下步骤：

4、步骤1：搭建水下主动单像素光学成像系统，以获取在高浊度水下环境中不同采样率下的一维探测信号，作为测试集。

5、步骤2：将模拟数据集与不同数目的hadamard图案相乘，并将所有像素归一化为一列一维探测值以模拟在物理实验中单像素探测器在不同采样率下的测量值，并将模拟测量值与所对应的真实图像配对，作为训练集。

6、步骤3：构建一种带有双倍attention u-net的生成对抗网络的高浊度水下主动单像素成像模型uaspi-daugan。

7、步骤4：将训练集输入到uaspi-daugan中，并将最小二乘损失、像素损失、感知损失和平均结构相似性损失作为总损失函数以用来训练该网络，以避免梯度消失等问题。生成器的作用是通过生成与真实图像非常接近的虚假图像来欺骗判别器，而判别器则试图区分真实图像以及生成图像。两个网络相互对抗，通过反向传播算法计算实际输出与理想输出之间的误差，共同优化网络相关参数，得到优化后的生成器模型。

8、步骤5：利用所述uaspi-daugan模型对不同浊度条件下不同采样率下的测试集进行目标图像重构。

9、步骤1中所述水下主动单像素光学成像系统包括he-ne激光器、dmd、数据采集卡、单像素探测器、光束终止器、水箱、被测目标、各类透镜和支撑件；该系统成像原理是：由he-ne激光器发出的光经过由平凹凸透镜组合而成的扩束准直系统后，照亮由计算机控制调制的dmd；其中，照明编码是利用随机哈达玛变换生成的图案对dmd进行调制，调制后的激光通过水箱中的被测目标，最后由无空间分辨率的单像素探测器收集反馈的光强信号，单像素探测器与数据采集卡相连接，用于记录所收集的探测光强并传送到计算机，dmd投影速率与数据采集卡的daq系统通过同步触发以保持信号同步，光束终止器放在dmd前，用于收集无用的杂散光。

10、进一步的，步骤2中所使用的模拟数据集来自gtsrb德国交通标志数据集和emnist手写数据集，所有图像大小被调整到32×32像素，然后，通过将每幅图像与32×32像素的hadamard图案相乘，并将所有像素归一化为一维检测列，来模拟单像素检测器收集的测量信号，测量的信号值及其对应的真实图像被送入网络进行训练，在采样率为19.14％、9.77％、6.25％和3.52％时得到了优化的网络模型。

11、进一步的，uaspi-daugan模型中生成器g的功能是利用单像素探测器所测结果生成高浊度水下目标的重建图像，g是基于doubleu-net的进一步拓展，g的主体结构由两个改进的attention u-net组成，将其称为network1和network2，network1和network2的主体结构均由4个下采样卷积模块组成的编码模块，4个上采样卷积模块组成的解码模块，以及添加在编码模块与解码模块之间的空洞卷积金字塔aspp组成；

12、判别器d采用pathgan结构，用于引导以及优化g重构高浊度水下目标图像。

13、进一步的，network1和network2的编码模块中，network1的输入是单像素探测器的m个实测信号值，尺寸为m×1的一维向量首先通过尺寸为1024×1的全连接层来提取信号特征，然后将1024×1的向量重塑为32×32的特征图，作为编码器的输入，而network 2的输入是由network 1中输入特征图和输出的预测掩码相乘后的结果；在network1中，首先执行两次3×3卷积运算以提取图像特征，每次运算后经过一次批处理归一化以及整流线性单元relu激活函数，接着用空间挤压和通道激励模块cse提升特征图质量以减少冗余信息，然后，通过2×2窗口和2步幅的最大池化层对图像进行空间降维；

14、解码模块为上采样过程，解码模块中，先经过2×2的双线性插值和卷积运算，以恢复图像尺寸，随后再通过带有注意门ag的跳跃连接将同层次的编码结果连接到解码的输出特征映射上，最后再利用cse块去除多余的冗余信息。

15、进一步的，判别器d的输入有两组类别，将输入的二维特征图像分别与目标真实图像连接成第一组，与g生成的输出图像连接成第二组，随后，将两组类别进行连接后，再经过5次卷积模块，最后输出得到2×2大小特征图，以用于得到d损耗和优化g的网络参数，在卷积模块中，卷积层实现不同尺度的特征提取；批量归一化层作为正则化器，以加快网络的特征映射能力；带泄露修正线性单元leaky relu替代传统的整流线性单元relu，防止训练过程中梯度消失。

16、进一步的，最小二乘损失函数描述为：

17、

18、其中，e表示分布函数的期望值，p和t分别为网络的输入信号图像和目标图像，qp表示p的样本分布，并且qt表示t的样本分布，g(p)表示g的输出图像，设置a＝0,b＝1和c＝0分别表示假数据，真实数据和欺骗判别器d；用最小二乘损失函数代替原判别器d使用的交叉熵函数，使d的梯度不降为0，并且在决策边界处的数据也得到与距离成正比的惩罚，以保证网络服从更多的梯度信息。

19、进一步的，像素损失使重建图像更接近真实图像，并使它们之间的像素值之差最小，损失函数描述为：

20、

21、其中||·||2表示l2范数。

22、进一步的，感知损失作为先验，表示为；

23、

24、其中，fvgg代表vgg16网络。

25、进一步的，平均结构相似性是局部应用ssim的结果，其中，ssim是一种质量评价方法，在亮度、对比度和结构的基础上量化了两幅图像局部斑块之间的相似性，这里的ssim用来比较真实目标图像与g的生成图像之间的感知相似性，因此被定义为：

26、

27、其中ut和ug(p)分别是真实图像和重建图像中总像素的平均值，σt2和σg(p)2是真实图像和重建图像的方差，σtg(p)是真实图像和重建图像的协方差，c1和c2是小正数，用于避免除以0；局部统计量ut、σt和σtg(p)使用标准偏差为1.5的11×11单位的圆形对称高斯加权矩阵窗口来计算；

28、在训练生成器时引入了mssim损失以得到更高质量的重建图像，mssim损失描述为：

29、

30、其中，v为滑动窗口的总数；

31、最后，将最小二乘损失luaspi-daugan_g、像素损失lpixel、感知损lperceptual失和mssim损失lperceptual结合起来，形成g的联合损失函数，表达式如下：

32、lg＝λ1luaspi-daugan_g+λ2lperceptual+[λ3lmssim+(1-λ3)lpixel]λ4

33、在该损失函数中，λ1、λ2、λ3、λ4均为常数。

34、与现有技术相比，本发明的优点和有益效果：

35、(1)本发明公开的一种低采样率下基于带有双倍attention u-net的生成对抗网络的高浊度水下主动单像素成像方法。所提网络的生成器采用两个改进的attention u-net包含层间的双跳跃连接。另外，空洞卷积金字塔和空间挤压和通道激励模块也集成在网络中以用来获取多尺度信息并去除冗余信息。还将最小二乘损失，像素损失，感知损失和平均结构相似性损失构成总损失函数，取代传统网络损失函数，以稳定训练过程，避免梯度消失，可显著提高高浊度水下、低采样率下的重建目标图像的感知质量。该项工作为高浊度水下单像素成像提供了新的见解，促进了水下光学成像的进一步发展。

36、(2)本发明公开的一种低采样率下基于带有双倍attention u-net的生成对抗网络的高浊度水下主动单像素成像方法。从数值仿真和物理实验的角度，具体分析了在低散射条件下和高散射条件下，不同方法在不同采样率下的目标重构结果。表明，所提方法与csspi、u-net和egan方法相比，可以在水下浊度128ntu下以低采样率3.52％重建更具感知质量的水下目标图像，并且图像的psnr和ssim均有明显提升，大大提高了水下单像素成像的能力。

37、(3)本发明公开的一种低采样率下基于带有双倍attention u-net的生成对抗网络的高浊度水下主动单像素成像方法。设计并构建了水下主动单像素成像系统，实现了低采样率下的高浊度水下成像。在实际应用时，仅需要将物理实验中一组一维桶探测器信号输入已经训练好的网络中，即可重建目标图像，无需增加额外处理以及器件，适用于目前的水下单像素成像系统，具有较强的通用性与实用性。

38、(4)本发明公开的一种低采样率下基于带有双倍attention u-net的生成对抗网络的高浊度水下主动单像素成像方法。利用gpu多核并行运算的高效率，能同时极大地缩短神经网络的训练时间和目标物体重建时间，对工程应用具有重要意义。