基于多尺度生成对抗网络的大气湍流图像复原方法及系统

本发明属于大气湍流退化图像复原，尤其基于多尺度生成对抗网络的大气湍流图像复原方法及系统。

背景技术：

1、人类活动和太阳辐射导致了大气中混合介质不规则热运动的增加，造成了高度随机和非稳态的大气湍流。大气层湍流的存在导致光束相位的随机扰动，进而引起各种与湍流有关的现象，例如光斑扩大、光束漂移和光强闪烁，这些现象会对依赖光传播的应用造成影响。因此减轻大气湍流引起的图像退化已成为图像处理中一项重要的任务，对遥感和天文图像增强等应用具有实际意义。

2、传统的大气湍流复原方法包括交替方向最小化算法、“幸运区”算法、多通道分离方法等，这些方法大多对模糊内核的精度和视频序列中的帧数有严格的要求，因此在实践中有效帧数有限时，会限制恢复图像的清晰度并增加对噪声的敏感性。

3、近年来，基于深度学习的图像修复技术因其在解决各种计算机视觉任务方面的有效性而获得了极大关注。卷积神经网络在从图像中提取特征方面表现出优越性。这一趋势已经延伸到大气湍流退化图像的处理。nah等学者提出了一个分层网络级联，利用深度卷积神经网络的多尺度特征表示，lau等学者提出了一种生成式单帧图像复原的方法，通过大气湍流模型恢复模糊的图像并进行识别，采用了一个失真校正网络和一个去模糊网络来处理湍流引起的图像失真和图像模糊的单帧，最后通过融合函数输出复原图像。然而，该方法在模型训练期间必须建立复杂的训练数据，并在模糊分解和特征融合期间引入额外的损失。

4、以上的方法大多会存在一些限制条件：经典的基于数字图像处理的湍流消除算法需要多帧静态退化图像来重建一幅高质量图像，这对采集设备和目标场景提出了较为严格的要求；基于深度学习的方法需要准备复杂的的训练数据，且部分网络模型对不同尺度的图像适应性处理有限。

5、本发明针对现有技术的不足，现提出基于多尺度生成对抗网络的大气湍流图像复原方法及系统，采用了级联空洞卷积和注意力机制相结合的生成对抗网络深度模型，有效改善大气湍流造成的图像的模糊和几何畸变问题，提高图像的视觉质量。

技术实现思路

1、本发明的目的在于提供基于多尺度生成对抗网络的大气湍流图像复原方法及系统，以解决上述背景技术中提出的现有技术中需要多帧静态退化图像来重建一幅高质量图像，或需要复杂的的训练数据等问题。

2、为实现上述目的，本发明采用以下技术方案实现：

3、基于多尺度生成对抗网络的大气湍流图像复原方法，包括以下步骤：

4、s1、建立数据集；采集清晰图像数据集，结合大气湍流成像退化模型建立大气湍流退化图像数据集；

5、s2、训练大气湍流图像复原网络模型；以deblurgan网络模型作为基础网络模型利用数据集进行训练，得到大气湍流图像复原网络模型，大气湍流图像复原网络模型包括生成器和判别器；

6、s3、优化大气湍流图像复原网络模型；在生成器的网络结构中引入级联空洞卷积模块，且引入注意力机制模块，用于对生成器进行优化；判别器的网络结构采用马尔科夫鉴别器，且网络结构中增加全连接层数，用于对判别器进行优化；

7、s4、建立损失函数修复复原图像边缘；损失函数包括对抗损失项和内容损失项，对生成器输出的复原图像利用损失函数作为图像去模糊的正则约束，用于修复生成器输出的复原图像的图像边缘扭曲现象；

8、s5、验证大气湍流图像复原模型。

9、优选地，所述s1中建立大气湍流退化图像数据集，包括如下步骤：

10、s101、对清晰图像数据集进行数据扩充；采用图像旋转不同角度、图像进行水平和垂直翻转的数据增强技术进行数据扩充；

11、s102、基于大气湍流成像退化模型模拟大气湍流对图像产生的影响；

12、大气湍流退化效果主要包括湍流畸变算子和传感器光学模糊，假设点扩散函数h(x,y)具有空间线性不变性，大气湍流成像退化模型表示为：

13、g(x,y)＝h(f(x,y))+n(x,y)

14、其中：g(x,y)为经过大气湍流退化后的图像，f(x,y)为初始图像，h(x,y)为大气湍流的点扩散函数，反映光源成像系统对点源的分辨率,n(x,y)代表加性噪声，一般使用高斯噪声来表示；

15、当光源成像系统的曝光时间达到几秒到几十秒时，则记录的为一个时间平均像，即为长曝光大气湍流退化图像，其传递函数可表示为：

16、

17、其中，k代表大气湍流退化模型中的湍流强度因子，u2+v2代表频率；

18、s103、基于数据扩充后的清晰图像数据集，利用设置逐渐增大的湍流强度因子获取不同图像模糊程度，得到大气湍流退化图像数据集。

19、优选地，所述s2中训练大气湍流图像复原网络模型，包括如下步骤：

20、s201、以deblurgan网络作为基础网络模型，deblurgan网络包括生成器和判别器；

21、s202、采用大气湍流退化图像数据集及相应的清晰图像数据集对deblurgan网络进行训练，生成器和判别器以对抗方式进行训练；

22、s203、生成器通过学习数据分布的方式，将输入的大气湍流退化图像转换为复原图像进行输出，判别器通过判别所输出复原图像的真实性来不断优化生成器；训练结束后得到大气湍流图像复原网络模型。

23、优选地，所述s3中优化大气湍流图像复原网络模型，所得到优化后的大气湍流图像复原网络模型，具体如下：

24、生成器的网络结构包括1个级联空洞卷积模块、2个卷积模块、9个残差模块和2个反卷积模块；每个残差模块包括1个卷积层、1个实例归一化层、1个relu激活层和1个注意力机制模块；

25、判别器的网络结构采用patchgan的形式，使用leakyrelu激活层代替patchgan中relu激活层；判别器是将整张图像的每个图像块作为输入判断真实性，最后将所有图像块真实性的平均值作为输出。

26、优选地，所述s4中建立损失函数，总的损失函数如下：

27、lg＝αlmse+βlpers+γlgan

28、其中，lmse是均方差损失，lpers感知损失，lgan对抗损失，α、β、γ为损失函数的超参数；

29、

30、

31、

32、其中，h和w代表图像的长度和宽度，r代表通道数，ih(x，y)表示真实图像，il(x，y)表示生成图像，φ(i，j)代表预训练的vgg19网络模型中经过第i个最大池化层，并进行第j次卷积后得到的特征图，is表示清晰图像，ib表示模糊图像，g(ib)表示生成器生成的图像，λgp是梯度惩罚项的正则化系数。

33、优选地，所述s5中验证大气湍流图像复原模型，分别对仿真和真实获取的单帧大气湍流退化图像进行复原，并对复原结果进行定量评估；具体如下：

34、采用峰值信噪比psnr和结构相似度ssim作为评价指标；psnr反映2幅图像对应像素点间的误差，psnr越大，表明复原图像失真越少；ssim表示2幅图像的相似度，其值越接近1，表明复原图像越接近原始图像；

35、psnr计算公式如下：

36、

37、

38、其中，mse表示生成的图像x与真实值y之间的均方误差，fi，j表示原始图像信息的像素点，f′i，j表示待测量图像信息的像素点；

39、ssim计算公式如下：

40、

41、其中，μx、μy分别代表着x和y的均值，分别代表着x和y的方差，σxy表示x和y的协方差，c1、c2是辅助参数。

42、本发明第二方面提供了基于多尺度生成对抗网络的大气湍流图像复原系统，包括如下步骤：

43、图像仿真模块，，采用大气湍流成像退化模型将清晰图像处理为大气湍流退化图像；

44、大气湍流图像复原模块，用于训练大气湍流图像复原网络模型，且对大气湍流图像复原网络模型进行优化，大气湍流图像复原网络模型包括生成器和判别器；

45、大气湍流图像边缘修复模块，用于基于损失函数对生成器输出的复原图像进行图像边缘扭曲现象修复；

46、图像复原评估模块，用于评估大气湍流图像的复原效果。

47、本发明第三方面提供了一种计算机设备，包括存储器、处理器，

48、所述存储器中存储有在处理器上运行的可执行程序；

49、所述处理器运行可执行程序时实现上述基于多尺度生成对抗网络的大气湍流图像复原方法。

50、与现有技术相比，本发明的有益效果是：

51、(1)、本发明首先在生成器部分引入空洞卷积层扩大感受野，并添加集成注意力机制模块，在通道和空间两个维度增强重要特征的指导作用；其次，采用马尔科夫判别器，在判别器部分增加全连接层数提升网络解决非线性问题的能力；最后，设计了联合对抗损失函数，在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现大气湍流图像复原。本发明方法改进了单图像盲去模糊方法，解决了图像边缘细节恢复不足以及鲁棒性不高的问题，能够有效的恢复出细节清晰的图像，具有更好的视觉效果。

52、(2)、本发明针对复原过程中的局部重要特征提取，从而优化生成对抗网络的生成器部分；其中，引入空洞卷积操作扩大感受野，获取更多的特征信息，充分理解图像整体语义并获取图像更多细节信息；引入集成注意力机制模块来关注重要特征所在的区域，使复原得到的湍流图像既能够还原出破损图像的整体结构，又能强调其中重要的特征细节；且采用梯度图像损失，结合对抗损失和感知损失作为图像去模糊的正则约束，以进一步修复大气湍流所引起的图像边缘扭曲现象，提高复原图像的修复效果。

53、(3)、本发明为增强训练数据的多样性，通过采用湍流合成方法，使用模糊算子和变形算子来合成湍流效应，选择不同的参数来生成具有不同严重程度的湍流退化图像，实现基于少量数据集生成全面数据集进行应用。