一种多种恶劣天气条件下的图像恢复方法与流程

本发明涉及人工智能中的计算机视觉领域，尤其涉及一种多种恶劣天气条件下的图像恢复方法。

背景技术：

1、下雨、雾霾、下雪等恶劣天气是日常生活中常见的气候现象，它们通常会导致拍摄图像的视觉质量不佳，并且恶化许多户外视觉系统，例如户外安全摄像头、自动驾驶系统等。因为部署、储存等要求，多种恶劣天气条件下的图像恢复方法通常只使用一组网络参数来消除多种天气下拍摄时带来的图像降质(参见图1中的第一行图片)，这大大增加了恶劣天气下拍摄的图像的恢复难度。

2、随着深度学习技术的发展，目前已经有很多针对单一天气情况下处理的方法，最直接的思路是利用多个应对特定天气的模型组合来处理各种天气情况，比如：当需要去除雾霾时，采用特定去除图像雾霾降质的算法，当需要去除雨线干扰时，采用特定去除图像雨线降质的算法，针对不同天气类型，使用多个模型组合方式对图片进行处理。多个模型组合式的方案虽然能够有效的处理不同的恶劣天气降质，但是这种方案范式会额外给系统带来计算和存储负担。

3、此外，还有采用统一模型处理方式，使得在多种天气条件下采用一组网络参数恢复清晰图像。比如，考虑不同恶劣天气下的失真异同，设计基于多个编码器和单一解码器的一体化网络架构。这类方法虽然考虑到了不同恶劣天气下的失真异同而设计了基于多个编码器和单一解码器的一体化网络架构，但是对于不同的天气下的差异使用的是固定的特定编码器，当需要处理的天气场景增加时，往往也会带来模型参数的大量增加，影响了模型处理的高效性。比如：利用同一套网络结构并结合两阶段知识蒸馏技术和对比学习策略，处理多种天气造成的图像降质问题。或者提出了一个具有可学习的特定天气表征的基于transformer的统一网络来处理多种天气造成的图像降质问题。这类方法仅仅考虑不同天气之间的共性特点，即应对不同恶劣天气情况下时均使用的相同参数，容易受到不同天气复原任务下的互相干扰，从而影响其模型在于单一特定天气失真情况下的复原表现。与此同时，统一模型处理式的方法往往都是在拟合数据集上进行训练，由于拟合域和真实域之间的差异，当应用在真实世界中的多种天气降质场景中时，往往会存在模型泛化能力不足的问题。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明的目的在于提出一种多种恶劣天气条件下的图像恢复方法，采用高效的统一框架来实现多种恶劣天气条件下进行图像恢复。

2、为实现上述技术目的，本发明的技术方案如下。

3、第一方面，本发明提出一种多恶劣天气条件下的图像恢复方法，所述方法使用真实天气数据集，采用两阶段训练策略来获取图像恢复模型，该图像恢复模型能够对多种恶劣天气条件下的图像进行恢复；

4、所述两阶段训练策略如下：

5、在第一个训练阶段，利用第一深度学习模型学习不同天气类型下的共性特征；

6、在第二个训练阶段，在固定第一深度学习模型的参数后，在第一深度学习模型中引入表征不同天气类型的特定参数，得到第二深度学习模型，第二深度学习模型用于学习不同天气类型下的特定特征；

7、训练好的第二深度学习模型即为图像恢复模型。

8、在上述技术方法的一种实施方式中，第一深度学习模型为一个由n个卷积层组成的unet网络模型，训练过程表达式如下：

9、

10、式中：

11、iρ指的不同天气失真下的输入图片，ρ为天气类型集合，f1(·)为第一深度学习模型，θshare为第一深度学习模型中在不同天气下的共享参数，共享参数为第一深度学习模型f1(·)隐式学习到的不同天气下的共性特征。

12、在上述技术方案中，第一深度学习模型对共性特征的学习中的优化目标如下：

13、

14、式中：

15、为不同天气失真下的输入图片对应的输出图片，yρ指的是与天气类型一致的无失真参考图，ρ为天气类型。

16、在上述技术方法的一种实施方式中，第二深度学习模型通过下述方式获得：

17、对于第一深度学习模型的第i特征提取层，在其上增加天气类型ρ的对应的特定参数则第i特征提取层参数被重组织为

18、

19、式中：

20、指的是第一深度学习模型第i特征提取层中的共享参数，i∈[1，2，...，n]，n为最大卷积层的数目；

21、是天气类型ρ的对应的特定参数；

22、tτ的取值为0或1，用于指示在第i特征提取层中是否增加特定参数

23、在上述技术方案的一种具体实施方式中，tτ的取值原则如下：

24、对第i特征提取层中天气类型ρ的新增特定参数进行重要性评估，将评估结果记作

25、若大于等于设定阈值τ，则对应的tτ取值为1，否则对应的tτ取值为0。

26、在上述技术方案中的一种实施方式中，第二深度学习模型的优化目标表达如下：

27、

28、式中：

29、为不同天气失真下的输入图片对应的输出图片，yρ指的是与天气类型一致的无失真参考图，ρ为天气类型，αreg为超参数系数，为评估每一层中增加的特定参数重要性的变量，为正则项约束。

30、在上述技术方案中的一种实施方式中，第一深度学习模型、第二深度学习模型在训练过程中使用余弦退火方案进行优化调整。

31、第二方面，本发明提出一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种方法的计算机程序。

32、第三方面，根据上述方法，本发明提出了相应的系统，即：一种多种恶劣天气条件下的图像恢复系统，所述系统使用真实天气数据集，采用两阶段训练策略来获取图像恢复模型，该图像恢复模型能够对多种恶劣天气条件下的图像进行恢复；

33、所述系统包括共性特征获取模块、特定特征获取模块；其中：

34、共性特征获取模块，被配置用于利用第一深度学习模型学习不同天气类型下的共性特征；

35、特定特征获取模块，被配置用于在固定第一深度学习模型的参数后，在第一深度学习模型中引入表征不同天气类型的特定参数，得到第二深度学习模型，第二深度学习模型用于学习不同天气类型下的特定特征；

36、训练好的第二深度学习模型作为图像恢复模型。

技术特征：

1.一种多种恶劣天气条件下的图像恢复方法，其特征在于：

2.根据权利要求1所述的方法，其特征在于，第一深度学习模型为一个由n个卷积层组成的unet网络模型，训练过程表达式如下：

3.根据权利要求1所述的方法，其特征在于，第一深度学习模型对共性特征的学习中的优化目标如下：

4.根据权利要求1所述的方法，其特征在于，第二深度学习模型通过下述方式获得：

5.根据权利要求4所述的方法，其特征在于：

6.根据权利要求1所述的方法，其特征在于，第二深度学习模型的优化目标表达如下：

7.根据权利要求1所述的方法，其特征在于，第一深度学习模型、第二深度学习模型在训练过程中使用余弦退火方案进行优化调整。

8.一种计算机可读存储介质，其特征在于：存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

9.一种多种恶劣天气条件下的图像恢复系统，其特征在于，所述系统使用真实天气数据集，采用两阶段训练策略来获取图像恢复模型，该图像恢复模型能够对多种恶劣天气条件下的图像进行恢复；

10.根据权利要求9所述的系统，其特征在于，第二深度学习模型通过下述方式获得：

技术总结
本发明涉及一种多种恶劣天气条件下的图像恢复方法，用于解决现有统一模型处理方法均是在拟合数据集上进行训练，训练得到的模型存在泛化能力不足的问题。本发明技术方案用真实天气数据集，采用两阶段训练策略来获取图像恢复模型，在第一个训练阶段，利用第一深度学习模型学习不同天气类型下的共性特征；在第二个训练阶段，在固定第一深度学习模型的参数后，在第一深度学习模型中引入表征不同天气类型的特定参数，得到第二深度学习模型，第二深度学习模型用于学习不同天气类型下的特定特征；训练好的第二深度学习模型即为图像恢复模型，能去除各种天气带来地失真干扰，更好地恢复图像细节信息。

技术研发人员：朱禹睿,胡枭玮,王天宇,代季峰,乔宇
受保护的技术使用者：上海人工智能创新中心
技术研发日：
技术公布日：2024/1/15