一种基于高低频合成重建湍流退化图像的复原方法

本发明涉及光学系统成像、计算机领域和大气光学领域，具体涉及一种基于高低频合成重建湍流退化图像的复原方法，主要是通过将图片的高、低频信息分开再结合神经网络实现对湍流退化图像的复原，提高了复原效果。

背景技术：

1、当使用地基光学光学望远镜系统对远距离目标进行观测时，由于大气湍流的存在，导致观测的目标出现一定的模糊，抖动和畸变。目前，学者可通过各种不同的方式对大气进行补偿，如波前传感器探测出波前相位，再利用变形镜进行补偿波前相位，得到湍流相位补偿以后的观测图像，但是此方法并不能完全消除大气湍流对成像质量的影响；或可通过图像后处理方式，例如单帧盲卷积复原方法以及多帧盲卷积复原方法，盲卷积图像复原方法的关键在于复原过程中如何合理的引入先验信息，但其需要多次迭代，复原时间较长。

2、近几年，深度学习技术正处在高速发展阶段，它是一门以数据作为驱动的技术，目前己经在目标跟踪、自动驾驶等方面己经取得巨大进展，具有很大的前景与用途。深度学习的最大特点是端到端，使其在解决各种逆问题方面比其他方法更具备优势。与此同时，深度学习在光学信息处理领域也得到了广泛地应用，例如全息重建、超分辨成像、图像去噪以及相位提取等诸多方面。在这些应用中，都是采用神经网络经过大量数据的训练后，建立起输入与输出之间的非线性映射关系，最大限度的拟合出相关或近似逆问题间的隐藏关系。大气湍流导致图像发生退化时，主要引起图像的边缘信息等高频部分丢失，极大地降低了像质，因此可考虑通过神经网络对高频部分信息单独处理。

3、针对上述问题本发明提出一种基于高低频合成重建湍流退化图像的复原方法，首先利用matlab仿真平台仿真得到一光学成像系统在湍流强度d/r0＝8,zernike多项式阶数为4-60阶的退化图像，之后将退化图像以及清晰图像通过高通滤波器实现高低频信息分离，再通过神经网络训练实现对湍流退化图像的复原，在实际系统使用时，不需要昂贵的波前传感器器件，并可以保证实时性。

技术实现思路

1、为了克服上述现有技术的不足，本发明提供了一种高低频合成重建湍流退化图像的复原方法来实现对大气湍流退化图像的复原。

2、本发明采用的技术方案为：一种基于高低频合成重建湍流退化图像的复原方法，该方法利用的系统包括：湍流导致图像退化分析模块1，神经网络结构设计模块2和高低频信息分离模块3和神经网络去湍流模块4，该方法包括以下步骤：

3、步骤1：利用湍流导致图像退化分析模块1得到光学成像系统在任一湍流强度下的退化图片；

4、步骤2：神经网络结构设计模块2设计出双网络模式，分别作为高频信息的训练网络和高低频合成信息的训练网路；

5、其中，双网络模式的第一个网络负责重建高频信息，第二个网络负责重建清晰图片，这里采用双u-net；

6、步骤3：利用高低频信息分离模块3实现图像的高频信息和低频信息分离的工作；

7、其中，高低频信息分离模块3采用高通滤波器，将图片的高频信息与低频信息分离，得到高频图像信息；

8、步骤4：神经网络去湍流模块4将湍流退化图像的高频信息作为cnn1的输入，其输出与退化图像进行相加得到合成图像，并作为cnn2的输入，其输出为重建后的清晰图像；

9、其中，利用神经网络去湍流模块4将退化图像的高频信息作为cnn1的输入，清晰图像的高频信息作为其label，cnn1的输出与退化图像相加合成后作为cnn2的输入，输出重建后的图像。

10、进一步地，建立湍流导致图像退化分析模块1包括：对实际需求建立完整的成像系仿真模型，根据物距、视场大小和分辨率得到实际的靶面大小以及焦距，在matlab里建立光学系统模型，得到f＝16的成像系统模型，之后根据湍流理论，计算出湍流导致的波前相位，这里模拟了湍流强度d/r0＝8，zernike多项式阶数4-60阶的湍流相位屏，获取该湍流强度下的退化图片。

11、进一步地，神经网络结构设计模块2包括：根据任务需求，需要设计双网络的网络结构，每一个网络都是一个u-net。

12、进一步地，高低频信息分离模块3通过高通滤波器将图片信息的高低频信息分离开来，作为网络的输入和label。

13、其中，利用高低频信息分离模块3可将图像的高频信息和低频信息分离开来，便于实现针对不同频率的高频图像信息提高重建效果。

14、进一步地，神经网络去湍流模块4将退化图片的高频信息作为cnn 1的输入，清晰图像的高频信息作为label，cnn1的输出与退化图像相加合成后作为cnn2的输入，将清晰图片作为cnn2的label，并进行若干轮训练，直至网络收敛获得良好的结果。

15、其中，神经网络去湍流模块4需将根据前面准备好的数据喂给设计好的神经网络，cnn1的输出与退化图片进行相加后作为cnn2的输入，cnn2的输出为重建后的图像，两个网络各有一个损失函数，两个损失函数相加后再进行反向传播。并对其进行若干epoch训练，直至网络损失函数收敛并得到良好的恢复效果。

16、本发明原理在于：从对光学成像系统分析来看，当对远距离的目标进行观测时，大气湍流的存在会导致我们观测的目标出现一定的模糊、抖动和畸变。近几年，深度学习技术正处在高速发展阶段，它是一门以数据作为驱动的技术，目前己经在目标跟踪、自动驾驶等方面己经取得巨大进展，具有很大的前景与用途。深度学习的最大特点是端到端，使其在解决各种逆问题方面比其他方法更具备优势。与此同时，深度学习在光学信息处理领域也得到了广泛地应用，例如全息重建、超分辨成像、图像去噪以及相位提取等诸多方面。在这些应用中，都是采用神经网络经过大量数据的训练后，建立起输入与输出之间的非线性映射关系，最大限度的拟合出相关或近似逆问题间的隐藏关系。由于图像中的低频信息占主要信息，高频信息往往处于影像与背景的边缘部分，但湍流却对边缘信息影响最为严重，因此可以通过神经网络先重建出高频信息，再将高、低频图像信息合成后经过神经网络再重建出清晰图像。具体的，一种基于高低频合成的重建湍流退化图像的复原方法，该方法包括如下步骤：步骤1：在maltlab建模一光学成像系统，根据湍流理论计算出某一强度湍流的相位屏，并获得湍流退化图像数据集；步骤2：根据任务需求，设计双网络结构，一个网络负责重建高频信息，一个网络负责高、低频图像信息合成后重建原始图像；步骤3：高通滤波器将数据集的高、低频图像信息分离，得到高频图像；步骤4：将准备好的图像数据集输入到网络当中进行若干轮训练，直至网络收敛并得到良好的训练结果。

17、本发明与现有方法相比具有如下优点：

18、(1)本发明同自适应光学系统相比，无需波前传感器以及变形镜等探测和补偿波前器件，简化了实验光路，降低了实验成本。

19、(2)本发明同传统图像后处理相比，无需进行多次迭代，复原时间快速，复原效果有较大的提升。

20、(3)本发明将图像的高频信息做单独复原处理，增强了其对噪声的抑制能力，提高了方法的鲁棒性。

21、(4)本发明与多帧复原方法相比，只需一帧湍流退化图像可实现复原工作，降低了获取实验数据集的难度。