一种适应于多种天气类型的图像复原方法和系统

本发明涉及图像生成和恢复，特别涉及一种利用特征解耦和域鉴别器来设计基于编码器、解码器和生成器结构的图像复原方法和系统。

背景技术：

1、恶劣天气图像恢复作为一种经典的图像增强技术，旨在从恶劣天气图像还原成清晰的背景图像。目前，该领域中已经出现了许多非常成熟的研究，例如：去雨、去雪、去雨滴等。然而，尽管这些方法大都能取得不俗的成绩，但是也仍然存在着一些局限性，使得难以将其应用在工业系统中：(1)大多数方法只针对某一种特定的天气类型，由于不同的天气类型图像物理特征不同，使得这些方法对于其他天气类型图像的泛化能力较弱，从而导致当在户外视觉系统中进行部署时，需要根据不同的天气类型部署不同的恢复算法，使得整个系统过于庞大、耦合度过高；(2)大多数方法都是采用监督学习的方式在人工合成的数据集上进行训练的，而又由于真实的数据集和人工合成的数据集之间往往存在着一定的差距，从而导致这些算法对于真实的图像泛化能力较弱。

技术实现思路

1、本发明针对现有技术的缺陷，提供了一种适应于多种天气类型的图像复原方法和系统。

2、为了实现以上发明目的，本发明采取的技术方案如下：

3、一种适应于多种天气类型的图像复原方法，包括以下步骤：

4、s1：设一个公共的背景信息特征空间，将背景图像域和恶劣天气图像域映射到背景信息特征空间中。

5、根据天气类型的不同，将恶劣天气图像域划分为雨、雪、雨滴三个子天气图像域，并将每个子天气图像域映射到相应的天气特征空间中。

6、s2：网络结构设计：采用多编码器-解码器的网络结构，网络结构中包括恶劣天气图像编码器、背景图像编码器、天气特征解码器和背景图像解码器。编码器和解码器分别用于提取恶劣天气图像中的天气特征和背景信息，并将天气特征和背景信息应用于恶劣天气图像和背景图像的生成过程中。

7、设计的网络结构通过将恶劣天气图像抽象为背景信息和天气特征，并使用各自对应的编码器进行提取，其中背景信息用于背景图像的恢复，而天气特征则用于指引特定天气类型下指定场景图像的重建。

8、s3：训练网络：每次迭代选择一个恶劣天气类型图像域和背景图像域进行训练。前向传播和反向传播过程中，使用恶劣天气类型图像域和背景图像域各自对应的编码器、解码器和判别器。

9、s5：目标函数及约束：在网络训练过程中，利用域判别器和相关的目标函数对背景信息和天气特征提取进行约束和优化，以实现解耦。

10、s6：测试阶段：保留恶劣天气图像的背景信息编码器和背景图像的解码器组成的生成器。生成器用于多种恶劣天气类型的无监督图像恢复任务。

11、s7：评估结果：通过与真实数据进行对比，评估生成器的效果和恢复图像的质量。

12、s8：模型优化：根据评估结果，对模型进行优化和调整，提高图像恢复的性能和效果。

13、s9：应用场景：将优化后的模型应用于不同的实际场景中，实现多种恶劣天气类型图像恢复。

14、进一步地，s2中网络结构包括生成器和判别器。针对背景图像域和恶劣天气图像域，生成器包括编码器和解码器。每个图像域都有对应的编码器和解码器。编码器负责将图像投影到特征空间，解码器负责将特征空间的特征还原回图像。

15、对于背景图像域，有一个背景信息编码器和一个解码器。背景信息编码器从背景图像域中提取背景信息，解码器则根据输入的背景信息生成背景图像。

16、对于恶劣天气图像，有一个共用的背景信息编码器用于提取图像中的背景信息，三个子天气图像域都有分别具有一个天气特征编码器和一个解码器。天气特征编码器负责提取对应天气类型图像域中的天气特征，解码器根据输入的背景信息和天气特征生成指定天气类型下的场景图像。

17、所述判别器包括四个图像域对应的判别器以及一个域判别器。域判别器通过对抗训练的方式与两个背景信息编码器进行交互，从而辅助特征解耦的过程，减少背景信息中包含的天气特征。

18、进一步地，所述网络的总目标函数如下：

19、l＝lgan+λcyclelcycle+λidentitylidentity+λdomainldomain+λlatentllatent

20、总目标函数由五部分损失函数组成：

21、生成对抗损失用于训练生成器和判别器之间的对抗性关系，促使生成器生成更逼真的图像，判别器能够准确区分真实图像和生成图像。

22、循环一致性损失用于确保恢复的图像经过生成器再次输入到对应的编码器和解码器后能够还原回原始图像。这个损失函数有助于保持图像内容的一致性。

23、恒等映射损失确保输入恶劣天气图像经过生成器和解码器后能够保持原始图像的恒等性(即与输入图像相似，内容不会发生变化)。

24、域对抗损失用于辅助特征解耦的过程，确保生成器提取到的背景信息中尽量减少包含恶劣天气图像的特征。

25、隐藏特征空间一致性损失用于确保编码器和解码器在隐藏特征空间上的一致性，以使生成器能够更准确地还原图像。

26、λcycle、λidentity、λdomain、λlatent分别代表各自损失函数在总目标函数当中所占的权重。

27、本发明还公开了一种图像复原系统，该系统能够用于实施上述的图像复原方法，具体的，包括以下模块：

28、图像获取模块：该模块用于获取输入图像，并形成图像域，获取方式如下：

29、本地图像：允许用户上传本地存储的图像文件。

30、网络图像：允许用户通过输入图像的url链接来获取网络上的图像。

31、摄像头图像：允许用户通过摄像头输入实时的图像数据。

32、天气图像划分模块：将恶劣天气图像域划分为不同的子天气图像域。

33、特征映射模块：将背景图像域和恶劣天气图像域分别映射到公共背景信息特征空间和相应的天气特征空间中。

34、编码器模块：包含恶劣天气图像编码器和背景图像编码器，用于提取恶劣天气图像中的天气特征和背景信息。

35、解码器模块：包含天气特征解码器和背景图像解码器，用于将天气特征和背景信息应用于恶劣天气图像和背景图像的生成过程中。

36、迭代训练模块：每次迭代选择一个恶劣天气类型图像域和背景图像域进行训练，使用对应的编码器、解码器和判别器进行前向传播和反向传播。

37、损失函数模块：包括生成对抗损失、循环一致性损失、恒等映射损失、域对抗损失和隐藏特征空间一致性损失。

38、目标函数优化模块：根据损失函数的权重调整，对网络进行优化和调整，提高恢复图像的质量和准确性。

39、生成器模块：保留恶劣天气图像的背景信息编码器和背景图像的解码器所构成的生成器，用于多种天气类型的无监督图像恢复任务。

40、应用场景模块：将优化后的模型应用于不同的实际场景中，满足多种恶劣天气类型图像恢复的应用需求。

41、图像结果生成模块：该模块用于生成处理后的图像结果。包括以下功能：

42、图像展示：将处理后的图像显示在用户界面上，以供用户查看。

43、图像下载：提供一个下载按钮，允许用户将处理后的图像保存到本地。

44、图像分享：将处理后的图像生成一个分享链接，用户可以通过该链接分享给他人。

45、本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种图像复原方法。

46、本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述一种图像复原方法。

47、与现有技术相比，本发明的优点在于：

48、1、通过使用多编码器-解码器的网络结构来分别提取恶劣天气图像中的天气特征和背景信息，并将其分别应用在恶劣天气图像和背景图像的生成中，从而减少恢复背景图像中由于不同天气类型(同种天气类型的不同场景)图像之间存在差异而导致的耦合天气特征；

49、2、引入域判别器和隐藏特征空间一致性损失来分别约束提取到的背景信息和天气特征，辅助特征解耦的过程，进一步地减少恢复背景图像中残留的天气特征和高频信号。