一种基于方向感知频域滤波的图像去雨方法与系统

本发明涉及图像处理领域，具体涉及一种基于方向感知频域滤波的图像去雨方法与系统。

背景技术：

1、在计算机视觉领域，图像去雨是指基于已有的硬件设备，设计各种可行的算法实现将雨水以及雨水带来的各种影响比如模糊、遮挡等从图像中去除，从而恢复出干净无雨的清晰图像。图像去雨作为一种底层的视觉任务，通常以预处理的方式为其他高层视觉任务比如图像分割、目标检测等提供一定的性能支撑。

2、图像去雨的难点在于雨水天气的复杂多样以及高质量雨水数据集的稀缺。复杂多样的雨水天气给图像去雨工作带来了两大挑战，一是现有的去雨方法大部分仅针对单一的雨水类型比如雨线、雨滴或雨雾等进行处理，这些方法在面对未处理过的雨水类型时性能急剧下降。此外在现实的雨水天气中还往往会出现多种雨水类型叠加出现的情况。第二个挑战是由于降雨天气的不可控性和大范围性，这使得收集带有干净无雨标签的真实有雨数据集几无可能。这造成了现有的方法通常是基于人工合成的雨水数据集开展研究工作。

3、现有的图像去雨方法大致可以分为两类，一类是基于模型的方法，一类是基于数据的方法。基于模型的方法通常首先利用各种先验知识来补全完善雨图的构成模型，然后再设计有效的优化算法来使得提出的模型不断地逼近真实雨图的构成。基于数据的方法通过对大量有雨数据的学习来提取图像中的深层特征，接着通过剔除图像中的雨水特征、保留干净的背景特征实现图像去雨。

4、目前的现有技术之一为论文“direction-aware feature-level frequencydecomposition for single image deraining”的一种基于方向感知特征级频域分解的单幅图像去雨方法。该方法首先使用一个卷积操作来提取图像的浅层特征，接着使用全新的方向感知的交叉均值滤波器来显式地提取特征中的高频和低频信息，然后结合交互适配器，通过交互式连接来隐式地增强高频和低频信息的分解，最后将提取到的高频和低频信息分别使用一个卷积操作进行处理，将结果相加得到最终的去雨图像。该方法的缺点是，主要考虑了图像的频域特征提取，对于空间域特征较少涉及，这造成了去雨结果在空间上不够一致和精细；并且该发明直接用提取到的高低频信息简单的还原去雨图像，没有考虑到信息中仍可能存在部分的噪声干扰，这造成了去雨性能的不足。

5、目前的现有技术之二为论文“neural compression-based feature learningfor video restoration”的一种基于神经压缩进行特征学习的视频复原方法。该方法首先使用经过预训练的光流估计网络进行运动向量的估计，接着使用一个轻量化的编解码网络对得到的运动向量进行优化，利用优化后的运动向量生成对齐后的时序特征；然后使用注意力模块和神经压缩模块对时序特征进行增强和去噪；最后通过复原模块生成最终的清晰视频。该方法的缺点是，专注于视频中时序特征的处理，而忽略了噪声在单个视频帧上的分布特征，缺乏对单帧在空间域和频域上的处理，造成最终视频复原结果在单帧上效果一般。

6、目前的现有技术之三为专利“基于图像滤波和cnn的有雨图像雨条纹去除方法及系统(cn111815526a)”。该发明首先使用与图像数据集增强方法扩充训练雨图像数据集，接着通过图像滤波得到有雨图像高频部分，然后将图像的高频部分作为去雨网络输入，并使用ssim损失函数优化网络，最后将去雨图像输入h-g判别网络，使用判别结果进一步优化去雨网络。该技术的缺点是，舍弃了图像中的低频部分，造成图像结构信息的丢失、去雨性能的下降，并且发明中仅使用ssim作为网络的损失函数，造成无法保证图像的光滑性、连续性等性质。

技术实现思路

1、本发明的目的是克服现有方法的不足，提出了一种基于方向感知频域滤波的图像去雨方法与系统。本发明解决的主要问题，是如何通过对图像高频特征和低频特征的双分支交互并行处理，进而对高低频融合特征的降噪优化以及对优化特征的图像复原，从而实现高质量去雨图像的复原。

2、为了解决上述问题，本发明提出了一种基于方向感知频域滤波的图像去雨方法，所述方法包括：

3、对合成雨水数据集中的每对雨图和对应无雨图进行数据增广预处理，得到增广数据集；

4、利用方向感知的频域滤波器结合resnet50网络共同对所述增广数据集里面的雨图进行频域融合特征图的提取；

5、把所述频域融合特征图输入到基于神经压缩的特征优化器中，得到噪声鲁棒的融合特征图；

6、对所述噪声鲁棒的融合特征图进行上采样，直至该噪声鲁棒的融合特征图逐步还原到原始图像大小，所得到的最终特征图作为生成的去雨图像；

7、构建损失函数计算所述生成的去雨图像与所述增广数据集里面对应的无雨图之间的差异，将差异作为全局损失训练并形成去雨模型；

8、用户输入待处理的有雨图到所述去雨模型中，得到生成的去雨图。

9、优选地，所述对合成雨水数据集中的每对雨图和对应无雨图进行数据增广预处理，得到增广数据集，具体为：

10、对合成雨水数据集中的每对配对的雨图-无雨图分别依次进行相同的随机翻转、随机旋转和固定大小裁剪的预处理操作，得到的单张图像大小为512×512，输出增广数据集。

11、优选地，所述利用方向感知的频域滤波器结合resnet50网络共同对所述增广数据集里面的雨图进行频域融合特征图的提取，具体为：

12、利用方向感知的频域滤波器把所述增广数据集里面的雨图分解为高频部分和低频部分；

13、高频部分输入高频特征处理分支，低频部分输入低频特征处理分支，两个分支分别使用resnet50网络中的模块block1提取并输出初始高频特征和初始低频特征；

14、所述低频特征处理分支首先使用方向感知的频域滤波器将所述初始低频特征分解为高频部分lh1和低频部分ll1，然后将ll1组成低频分支下一阶段的输入，lh1传递到高频特征处理分支中；所述高频特征处理分支的操作与所述低频特征处理分支相对应，首先使用方向感知的频域滤波器将所述初始高频特征分解为高频部分hh1和低频部分hl1，然后将hh1组成高频分支下一阶段的输入，hl1传递到低频特征处理分支，输出ll1、lh1、hl1、hh1；

15、将ll1与hl1、lh1与hh1分别进行拼接，得到低频处理分支和高频处理分支的下一阶段输入，重复以上操作3次，得到第三阶段的输出分别为ll3、lh3、hl3、hh3，将ll3与hl3、lh3与hh3分别进行拼接得到所述低频特征处理分支和所述高频处理分支的最终提取到的低频特征和高频特征，将低频特征与高频特征之和得到的频域融合特征图，作为结果输出。

16、优选地，所述把所述频域融合特征图输入到基于神经压缩的特征优化器中，得到噪声鲁棒的融合特征图，具体为：

17、把所述频域融合特征图输入到特征编码器中，该特征编码器交替使用两个卷积核大小为3×3，stride为2的卷积层，以及一个可减少特征依赖性的gdn模块，来生成隐式特征表示e；

18、把所述频域融合特征图输入到先验模块中，该先验模块交替使用三个卷积核大小为3×3，stride为2的卷积层，以及两个leakyrelu激活层，来生成数据分布[μ,σ,q]，μ表示均值，σ表示方差，q表示步长输出；

19、把所述隐式表示e和所述数据分布[μ,σ,q]输入到量化处理模块中，得到噪声鲁棒特征量化结果；该量化处理模块的具体工作原理如下式所示：

20、

21、其中表示噪声鲁棒特征量化结果，「·」表示整数近似操作；

22、把所述噪声鲁棒特征量化结果输入到特征解码器中，该特征解码器的结构与所述特征编码器的相对应，交替使用了两个卷积核大小为3×3，stride为2的反卷积层，以及一个逆gdn模块；该特征解码器将所述噪声鲁棒特征量化结果还原到所述频域融合特征图的大小，得到噪声鲁棒的融合特征图。

23、优选地，所述对所述噪声鲁棒的融合特征图进行上采样，直至该噪声鲁棒的融合特征图逐步还原到原始图像大小，所得到的最终特征图作为生成的去雨图像，具体为：

24、使用4个串行连接的上采样层对输入的所述噪声鲁棒的融合特征图逐步进行上采样直至逐步还原到原始图像大小；其中每个上采样层中均包括一个反卷积操作和一个正则化操作，所述噪声鲁棒的融合特征图在所述4个串行连接的上采样层中以及最后输出的大小分别为32×32、64×64、128×128、256×256和512×512，最终得到的特征图与所述增广数据集里面的雨图具有相同大小，此最终得到的特征图即为生成的去雨图像。

25、优选地，所述构建损失函数计算所述生成的去雨图像与所述增广数据集里面对应的无雨图之间的差异，将差异作为全局损失训练并形成去雨模型，具体为：

26、使用下式所示的l1损失计算所述生成的去雨图像与所述增广数据集里面对应的无雨图之间的差异，将差异作为全局损失指导模型的训练，直到模型收敛：

27、

28、其中h和w分别表示图像的长和宽，x表示输入去雨图像，f(x)表示网络输出的无雨图像，y表示输入去雨图像对应的干净标签，i、j表示图像中各像素点的下标。

29、相应地，本发明还提供了一种基于方向感知频域滤波的图像去雨系统，包括：

30、数据预处理单元，用于对合成雨水数据集中的每对雨图和对应无雨图进行数据增广预处理，得到增广数据集；

31、频域融合特征图提取单元，用于利用方向感知的频域滤波器结合resnet50网络共同对所述增广数据集里面的雨图进行频域融合特征图的提取；

32、噪声鲁棒的融合特征图提取单元，用于把所述频域融合特征图输入到基于神经压缩的特征优化器中，得到噪声鲁棒的融合特征图；

33、上采样图像生成单元，用于对所述噪声鲁棒的融合特征图进行上采样，直至该噪声鲁棒的融合特征图逐步还原到原始图像大小，所得到的最终特征图作为生成的去雨图像；

34、模型训练单元，用于构建损失函数计算所述生成的去雨图像与所述增广数据集里面对应的无雨图之间的差异，将差异作为全局损失训练并形成去雨模型；

35、图像去雨单元，用于用户输入待处理的有雨图到所述去雨模型中，得到生成的去雨图。

36、实施本发明，具有如下有益效果：

37、本发明提出的去雨方法结合了雨水在图像中的分布特点，即雨线、雨滴等通常分布在图像的高频部分，对图像的不同频率部分进行了区分处理，可以在有效去除雨水干扰的同时保留图像的结构和细节信息。发明引入了基于神经压缩的特征优化模块，避免了特征中可能存在的噪声的干扰，使得优化后的特征具有一定的噪声鲁棒性。发明进行了特征的有效提取和整合，提高了效率，使得到的去雨结果更加符合生活实际。