基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置与流程

本发明涉及图像噪声处理技术领域，特别涉及一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置。

背景技术：

随着人工智能技术的飞速发展，户外视觉系统的应用越来越广泛。它在目标识别与跟踪、交通监控、遥感监测、军事监控等领域发挥着重要作用。然而，在恶劣的天气条件下，户外视觉系统的鲁棒性和实用性将受到很大影响。下雨是最常见的动态天气，在成像系统中，雨滴主要以雨条纹的形式显示，这极大地影响图像的视觉效果。因此，研究如何从含有雨噪声的图像中恢复出高质量的图像也具有极大的使用价值。

图像去雨技术的研究主要分为两大类，一类是基于视频的图像去雨研究；另一类是基于单幅图像的图像去雨研究。目前，大多数图像去除雨噪声算法都侧重于视频去噪。视频雨去除算法通常采用时域信息去除雨噪声，但如果相机移动或场景中含有动态信息，时域信息则不可靠。因此，在某些情况下，只能使用单幅图像。基于此，单幅图像雨噪声去除算法研究具有十分广泛的应用价值和重要的研究意义。

针对单幅图像的去雨研究，国内外的方法大致可以分为两类：1)基于模型的去雨方法；2)基于机器学习的去雨方法。单幅图像的去雨方法取得了一些成果，但仍然存在一些问题，主要表现为：1)图像去雨后仍然残留雨痕或者图像去雨后变得较模糊；2)由于图像去雨算法较复杂，使算法的实时性不高。

技术实现要素：

为了得到更好的单幅图像去雨效果同时不增加算法的复杂度，本发明的目的在于提供一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置，能够提高去雨后图像质量，达到理想的实用效果。

本发明采用的技术解决方案是：一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法，所述的方法由以下步骤组成：

(1)小波变换：对含有雨噪声的图像进行小波变换操作，通过小波变换，可以得到一个近似分量和三个细节分量，分别表示为a1,h1,v1,d1，所述的三个细节分量分别为水平、垂直和对角的细节分量，雨噪声信息以不同的分辨率包含在垂直细节分量和近似分量中，从而实现雨噪声分离；

(2)构建双保真单变分正则去雨模型：构建该模型的目的是在约束图像水平梯度信息的同时尽可能地保持图像的垂直梯度信息，考虑到雨噪声偶尔偏离垂直方向，在构造能量函数时使用了双保真项，构建模型，如下式所示：

其中，和是双保真项。τ和λ是正参数，用来合理平衡三项，a1为近似分量或可为细节分量v1；

(3)将近似分量或细节分量a1,v1，分别代入去雨模型，求出去雨模型式中的最小分量，即雨噪声去除后的分量

(4)图像重构：利用小波变换将图像从小波域变换到空域，得到去雨图像。

所述的双保真单变分正则去雨模型通过构建增广拉格朗日方程进行求解：

其中，x，y，z是三个等价变量。λx,λy,λz代表三个拉格朗日乘子，a1,a2,a3是正罚参数。

所述的增广拉格朗日方程通过admm方法优化，该优化问题可以分解为四个子问题，即x，y，z；

其中，

并通过以下方式更新拉格朗日乘子，得到雨噪声去除后的分量

一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除装置，所述的装置由小波变换模块、双保真单变分正则去雨模型、图像重构模块组成，

小波变换模块：对含有雨噪声的图像进行小波变换操作，通过小波变换，可以得到一个近似分量和三个细节分量，分别表示为a1,h1,v1,d1，所述的三个细节分量分别为水平、垂直和对角的细节分量，雨噪声信息以不同的分辨率包含在垂直细节分量和近似分量中；

双保真单变分正则去雨模型：通过将近似分量和细节分量a1,v1,分别代入去雨模型，求出去雨模型中的最小分量，即雨噪声去除后的分量

图像重构模块:利用小波变换将图像从小波域变换到空域，得到去雨图像。

所述的双保真单变分正则去雨模型如下式所示：

其中，和是双保真项。τ和λ是正参数，用来合理平衡三项，a1为近似分量或可为细节分量v1,。

本发明的有益效果是：本发明提供了一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置，对含有雨噪声的图像进行小波变换，因为雨通常自上而下下降，因此雨噪声信息通常以不同的分辨率包含在垂直细节分量和近似分量中，从而实现雨噪声分离；然后采用双保真项单变分正则模型对含有雨噪声的分量进行雨噪声抑制处理，其中数值算法通过增广拉格朗日算法实现，与现有方法不同，该方法考虑了双保真项和单向变分的优点，同时，本发明将提出的模型与小波变换相结合，在进行雨噪声抑制处理时不仅很好地去除了雨噪声，而且保留了图像的更多细节。实验表明该方法计算所需时间较短，计算量较小，将该发明提出的去雨方法应用于受雨天气影响下的图像中可以明显提高视觉质量，并能提高后续许多计算机视觉算法的性能。

附图说明

图1为本发明方法的基本流程图。

图2为本发明小波变换结果图。

图3为使用本发明方法完成雨噪声图像噪声去除的例子；其中(a)为仿真图像数据集中彩色图像雨噪声处理结果；(b)为仿真图像数据集中灰度图像雨噪声处理结果；(c)为真实场景图像雨噪声去除结果。

具体实施方式

为了更清楚地说明本发明内容，用具体实施例说明如下，具体实施例不限定本发明内容范围。

用于实施的硬件环境是：cpu：intel(r)core(tm)i7-5820k3.30ghz；显卡：nvidiatitanxgpu1g显存；内存：4g；硬盘：希捷500g，运行的软件环境是：matlab(r2015b)。

本发明的基本流程如附图1所示，具体实施如下：

1、小波变换：对含有雨噪声的图像进行小波变换操作，通过小波变换，可以得到一个近似分量和三个细节分量，即水平、垂直和对角的细节分量。分别表示为a1,h1,v1,d1。雨噪声信息以不同的分辨率包含在垂直细节分量和近似分量中，从而实现雨噪声分离，如附图2所示。

2、构建双保真单变分正则去雨模型：构建该模型的目的是在约束图像水平梯度信息的同时尽可能地保持图像的垂直梯度信息。考虑到雨噪声偶尔偏离垂直方向，在构造能量函数时使用了双保真项，以近似分量为例，构建模型如下式所示：

其中，和是双保真项。τ和λ是正参数，用来合理平衡三项。

3、雨噪声抑制处理：采用双保真单变分正则模型对经过小波变换后的垂直细节分量和近似分量进行雨噪声抑制处理。求出(1)式的最小分量，得到近似的分量即雨噪声去除后分量。对于(1)式可以构建增广拉格朗日方程进行求解，如下所示：

其中，x，y，z是三个等价变量。λx,λy,λz代表三个拉格朗日乘子，a1,a2,a3是正罚参数。采用admm方法解决式(2)的优化问题，该优化问题可以分解为四个子问题，即x，y，z。

其中，

通过以下方式更新拉格朗日乘子：

类似地，也可以获得去除雨噪声后的垂直细节分量。

4、图像重构：利用小波变换将图像从小波域变换到空域，得到去雨图像。

附图3为使用本发明方法实现的雨噪声图像处理结果图。图3a为仿真图像数据集中彩色图像雨噪声处理结果；图3b为仿真图像数据集中灰度图像雨噪声处理结果；图3c为真实场景图像雨噪声去除结果。

将本发明方法所得到的噪声去除结果与其他去噪方法所得到的的结果进行对比，选用的对比方法为基于混合模型的方法、稀疏表示法、rof模型法，分别记为方法1、方法2、方法3。评价结果如表1所示，采用峰值信噪比(psnr)、结构相似度(ssim)、运行时间(t)对本发明方法进行评价。

表1性能比较结果

本发明的基本思想在于：首先对含有雨噪声的图像进行小波变换，因为雨通常自上而下下降，因此雨噪声信息通常以不同的分辨率包含在垂直细节分量和近似分量中，从而实现雨噪声分离；然后采用双保真项单变分正则模型对含有雨噪声的分量进行雨噪声抑制处理，其中数值算法通过增广拉格朗日算法实现。

各位技术人员须知：虽然本发明已按照上述具体实施方式做了描述，但是本发明的发明思想并不仅限于此发明，任何运用本发明思想的改装，都将纳入本专利专利权保护范围内。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。