一种基于生成对抗网络的气体湍流模糊图像重建方法与流程

1.本发明涉及图像处理的技术领域，具体而言，涉及一种基于生成对抗网络的气体湍流模糊图像重建方法。


背景技术：

2.由于气体温度的变化引起的气体湍流运动会使大气的密度发生变化，进而导致大气折射率的变化。这种变化会对光学系统的远距离成像的成像质量造成严重的影响。针对成像质量的下降，传统图像复原技术主要是通过确定图像退化模型，即先确定点扩散函数等参数，然后利用维纳滤波、反卷积等方式进行复原。但是由于气体湍流造成的影响复杂多变且标定困难，确定其退化模型十分困难。通过上述可知，现有技术的大气湍流模糊图像的复原方法依赖求解多帧图像的偏位方程来对图像进行重建，但此类方法受方程精度和多帧图像质量影响，重建图像效果不稳定。


技术实现要素：

3.本发明目的在于提供一种基于生成对抗网络的气体湍流模糊图像重建方法，解决由于气体湍流造成的图像模糊的问题。
4.有鉴于此，本发明提供一种基于生成对抗网络的气体湍流模糊图像重建方法，包括以下步骤：s101构建试验装置：试验装置包括加热设备、图形采集设备和图像处理设备，图像采集设备用于采集目标图像，图像处理设备与图像采集设备电连接，加热设备用于对图像采集设备至目标图像的路径上产生加热空气的湍流；s102将采集到的受加热空气的湍流影响的模糊图像与清晰图像进行比对，以判别模糊图像的真伪；s103当判断模糊图像为真时，根据清晰图像对模糊图像进行优化，直至图像处理设备对模糊图像与清晰图像无法区分为止。
5.进一步地，在s103步骤中，使用神经网络根据清晰图像对模糊图像进行优化，神经网络包括一个普通卷积模块，两个步长为1/2的卷积单元、9个残差模块、两个反卷积单元以及一个普通卷积模块；前14个模块都由一个卷积层、实例归一化层和relu激活函数组成，最后一个模块由卷积层和tanh激活函数构成。
6.进一步地，神经网络还包括损失函数，损失函数包括对抗损失和内容损失，λ取100；
7.l
total
＝l
adv
+，λl
cont
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)。
8.进一步地，在s103步骤中，优化的具体过程为：采用nvidia2080ti来训练模型，mini
‑
batch大小设置为128；训练批次设为100次，学习率0.001，衰减0.0005；训练时交替更新生成器和鉴别器网络，即更新比率设置为1。
9.本发明实现了以下显著的有益效果：
10.本发明的技术方案，提出一种基于生成对抗网络的大气湍流模糊图像的重建方法，解决由于气体湍流造成的图像模糊的问题。
附图说明
11.图1是本发明的基于生成对抗网络的气体湍流模糊图像重建方法的数据集采集装置的结构示意图；
12.图2是图1的基于生成对抗网络的气体湍流模糊图像重建方法的生成对抗网络的示意图；
13.图3是图1的基于生成对抗网络的气体湍流模糊图像重建方法的生成器网络的示意图；
14.图4是图1的基于生成对抗网络的气体湍流模糊图像重建方法的判别器网络的示意图；
具体实施方式
15.需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
16.应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
17.为了便于描述，在这里可以使用空间相对术语，如“在
……
之上”、“在
……
上方”、“在
……
上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在
……
上方”可以包括“在
……
上方”和“在
……
下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
18.现在，将参照附图更详细地描述根据本申请的示例性实施方式。然而，这些示例性实施方式可以由多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施方式。应当理解的是，提供这些实施方式是为了使得本申请的公开彻底且完整，并且将这些示例性实施方式的构思充分传达给本领域普通技术人员，在附图中，为了清楚起见，扩大了层和区域的厚度，并且使用相同的附图标记表示相同的器件，因而将省略对它们的描述。
19.请参照图1至图4，本实施例的大气湍流图像的采集：
20.为保证图像重建结果的准确性，需要采集大气湍流图像数据集。数据集需要同时获取统一目标场景在有大气湍流和无大气湍流情况下的图像，其中无大气湍流情况下的图像作为重建的真值。搭建如图1所示的模拟大气湍流的实验系统。为了模拟大气湍流，使用四个加热器，加热空气产生湍流。通过相机采集开启和关闭加热器时的目标图像，通过搭建不同的目标场景来丰富数据集。
21.生成对抗网络：
22.生成对抗网络模型基本框架如图2所示，将由大气湍流的模糊图像输入到生成器得到生成图像，生成图像与清晰图像一同输入判别器中，分别将其映射为一个判别器，以判别为真的概率值。生成对抗网络是一个互相博弈的过程，生成器依据判别器的判别结果进
行优化，而判别器则努力去判别清晰图像与生成图像，直到判别器无法区分清晰图像与生成图像为止，时生成器的去模糊效果达到最好。
23.生成器网络主要由空间特征提取与融合模块，它的主要功能是浅层特征提取，基于深度残差网络的深层特征提取，空间信息的融合，以及图像重建。完整生成器网络结构包含一个普通卷积模块，两个步长为1/2的卷积单元(conv)、9个残差模块(residual)、两个反卷积单元(convtrans)以及一个普通卷积模块(conv3d)。前14个模块都由一个卷积层、实例归一化层和relu激活函数组成，最后一个模块由卷积层和tanh激活函数构成。在输入图像的后端引入全局跳跃连接使生成器可从模糊图像学习到残差校正。它的网络结构图如下：
24.判别器是在生成器训练完毕后对生成器生成的图像判定为真的概率。当概率大于0.5时，将输入图像判为清晰图像，反之将其判定为生成图像。判别器网络前面由5个卷积块组成，卷积层、实例归一化层和relu激活函数组成。
25.此神经网络的损失函数主要包括两个部分，对抗损失(adversarial loss)和内容损失(content loss),λ取100。
26.ltotal＝ladv+λlcont
27.实验设置
28.网络基于pytorch框架搭建，采用nvidia2080ti来训练模型，mini
‑
batch大小设置为128。训练批次设为100次，学习率0.001，衰减0.0005。训练时交替更新生成器和鉴别器网络，即更新比率设置为1。
29.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
30.需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。