一种图像去雾方法、系统及电子设备和存储介质与流程

本申请涉及图像处理技术领域，更具体地说，涉及一种图像去雾方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术：

在雾霾天气条件下，大气中含有大量的微小粒子或者悬浮的水滴，使光线在传播的过程中发生散射、折射、吸收等反应,导致设备在户外场景中所采集到的图像对比度降低、细节信息丢失,导致图像质量下降，严重影响了道路监控、环境监测、目标识别等户外计算机视觉系统的应用。因此，图像去雾技术具有重要的应用价值。

he(暗通道先验结合引导滤波去雾)算法作为目前常用的去雾算法，能够对不同场景下的有雾图像进行有效的去雾处理，与以往的去雾算法相比得到的无雾图像更加自然，但去雾后图像中的噪声也随之增加，为了克服这个缺点，可以将一阶全变分tv(totalvariation)模型与暗原色先验进行结合。但tv模型存在一些缺点，如阶梯效应、拐角模糊、图像对比度低等，另外由于不同通道之间的扩散效果不一致，使得处理后的图像会出现边缘模糊的现象，边缘保持效果不好。

因此，如何提高去雾效果是本领域技术人员需要解决的技术问题。

技术实现要素：

本申请的目的在于提供一种图像去雾方法、系统及一种电子设备和一种计算机可读存储介质，提高了去雾效果。

为实现上述目的，本申请提供了一种图像去雾方法，包括：

获取原始图像，并利用暗原色先验原理计算所述原始图像的大气光值和透射率；

将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中，得到去雾图像。

其中，将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中之前，还包括：

利用非线性扩散模型更新所述透射率。

其中，所述二阶变分模型包括h-lv模型、h-hmv模型、h-tgh模型和h-tcv模型中的任一项。

其中，将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中，得到去雾图像，包括：

将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中；

利用admm算法对所述原始图像进行处理，得到所述去雾图像。

为实现上述目的，本申请提供了一种图像去雾系统，包括：

计算模块，用于获取原始图像，并利用暗原色先验原理计算所述原始图像的大气光值和透射率；

输入模块，用于将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中，得到去雾图像。

其中，还包括：

更新模块，用于利用非线性扩散模型更新所述透射率。

其中，所述二阶变分模型包括h-lv模型、h-hmv模型、h-tgh模型和h-tcv模型中的任一项。

其中，所述输入模块包括：

输入单元，用于将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中；

处理单元，用于利用admm算法对所述原始图像进行处理，得到所述去雾图像。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述图像去雾方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像去雾方法的步骤。

通过以上方案可知，本申请提供的一种图像去雾方法，包括：获取原始图像，并利用暗原色先验原理计算所述原始图像的大气光值和透射率；将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中，得到去雾图像。

本申请提供的图像去雾方法，结合了暗原色先验与二阶变分模型，既克服了暗原色先验算法去雾后存在部分噪声问题，又克服了一阶变分去雾模型存在的阶梯效应、边缘模糊的现象。由此可见，本申请提供的图像去雾方法，可以有效修复有雾图像，而且在得到清晰图像的同时，能有效减轻去雾处理后存在的噪声问题，同时也能保持场景原有的边缘特征。本申请还公开了一种图像去雾系统及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1为根据一示例性实施例示出的一种图像去雾方法的流程图；

图2为根据一示例性实施例示出的另一种图像去雾方法的流程图；

图3为根据一示例性实施例示出的一种图像去雾系统的结构图；

图4为根据一示例性实施例示出的一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种图像去雾方法，提高了去雾效果。

参见图1，根据一示例性实施例示出的一种图像去雾方法的流程图，如图1所示，包括：

s101：获取原始图像，并利用暗原色先验原理计算所述原始图像的大气光值和透射率；

本实施例的执行主体为图像去雾系统的处理器，目的为对有雾的原始图像进行去雾处理。在本步骤中，首先利用暗原色先验原理计算原始图像的大气光值和透射率。

雾天环境下，由于大气中悬浮粒子对光照反射的影响，导致物体在成像过程中质量下降。根据大气散射理论，大气粒子的散射主要分为两部分：一部分是由于从物体表面到相机的反射光的衰减，另一部分是空气光到相机的散射。因此大气散射模型：

i(x)＝j(x)t(x)+a[1-t(x)]；

其中，i(x)为结构层图像，j(x)为去雾结构层图像，a为大气光值，t(x)为透射率。利用暗原色先验原理对上式进行求解。在绝大多数非天空区域的无雾图像中，其r、g、b三通道内至少一个颜色通道具有很低的值。也就是说，该局部区域亮度值的最小值很低甚至趋向于零.对此,其暗通道可表示为：

其中，x为输入图像像素点的坐标，ω(x)为x为中心的正方形邻域，c为r、g、b通道中的任意通道，j^c表示图像r、g、b三个颜色通道中的任意一个通道，j^dark为图像的暗原色。

将上式变形得到：

假设在每一个局部窗口内的透射率t(x)为常数，定义为并且a值已经给定，对上式两边求两次最小值运算，可得到：

初始透射率

其中，ω∈[0,1]，是一个常数，引入该参数的作用是为了在去雾的时候保留一定程度的雾，使图片呈现出景深效果，更加真实的还原场景，其取值越小，去雾效果越不明显。

s102：将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中，得到去雾图像。

在本步骤中，将原始图像、上一步骤中计算的大气光值和透射率输入二阶变分模型中，对原始图像进行去雾处理，得到去雾图像。此处的二阶变分模型可以包括h-lv模型、h-hmv模型、h-tgh模型和h-tcv模型等。它们的数据项都相同，但正则项不同，数据项对图像起到保真的作用，而正则项可以去除噪声和保持边缘.

在lv(laplacianvariation)模型中，laplacian算子是n维欧几里德空间中的一个二阶微分算子，基于laplacian算子的变分模型具有一定的噪声抑制能力，该模型在抑制噪声的同时，能较好地保持图像中的细节。该模型如下式所示：

其中，δu＝▽·▽u,f为原始图像,u为去雾图像，i代表原始图像的r、g、b通道，等式右边的第一项为正则项，它把彩色图像的各个颜色通道考虑为一个整体，统一控制不同颜色通道的扩散，这样保证了彩色图像的耦合，从而不会造成图像边缘过度扩散，λ是调节参数，表达恢复后图像光滑程度的先验知识，第二项是数据项，表示观测图像与恢复后图像的接近程度。

本实施例中的h-lv模型为：

其中，t为待求解的透射率图，为原始透射率，是透射率图的数据项，作用是在其他项的约束下，最小化该项使得透射率t在同质区域内其值逐步逼近于的值，从而保证在同质区域内待求解透射率的精确性和同质性；是透射率图的正则项，最小化该项可以使得在整幅有雾图像的定义域内透射率的梯度值最小，从而实现透射率的全局平滑；∫ω|δu|dx为去雾图像正则项，δu的离散形式表示∫ω(f-u.t-(1-t)a)²dx项保证了被恢复图像与原图像的逼近，λ1为透射率图扩散项参数，控制着透射率图像的光滑程度，λ2为去雾图像扩散项参数，控制着去雾后图像的光滑程度，a为大气光值。

在hmv(hessianmatrixvariation)模型中，hessian矩阵描述图像二阶导数的特性，可以增强图像线状结构。hessian矩阵变分模型在对图像进行平滑处理的同时，能够检测到图像的振荡等特征，在消除噪声的同时较好地保持了图像的细节特征，得到了较为满意的结果。该模型如下式所示：

其中，等式右边的第一项为hmv模型的正则，λ是调节参数。

本实施例中的h-hmv模型为：

为方便运算处理，可以将hessian矩阵的正则项|▽²u|表示为

tgv(totalgeneralizedvariation)模型不仅能抑制噪声，还能有效地抑制tv正则化方法产生的阶梯伪影，从而取得较好的图像处理效果。该模型如下式所示：

其中,p＝[prpgpb]^t，pi＝[p1p2]^t，i∈{r,g,b}；

α1∫ω|p-u|dx+α2∫ω|ε(p)|dx为正则项，其中，α1和α2为调节参数。

本实施例中的h-tgv模型为：

其中，p＝(p1p2)是形变场的对称梯度。

在tcv(totalcurvaturevariation)模型中，基于曲率的变分模型不仅能够去除噪声、保持物体的边缘和轮廓，还能增强图像的对比度，保持物体光滑和细小拐角。该模型如下式所示：

其中，等式右边的第一项为tcv模型的正则项，λ是调节参数。

本实施例中的h-tcv模型为：

上述四种二阶变分模型相较于一阶变分模型，去噪后的图像更加光滑，缓解了阶梯效应，边缘保持效果更好。

本申请实施例提供的图像去雾方法，结合了暗原色先验与二阶变分模型，既克服了暗原色先验算法去雾后存在部分噪声问题，又克服了一阶变分去雾模型存在的阶梯效应、边缘模糊的现象。由此可见，本申请实施例提供的图像去雾方法，可以有效修复有雾图像，而且在得到清晰图像的同时，能有效减轻去雾处理后存在的噪声问题，同时也能保持场景原有的边缘特征。

本申请实施例公开了一种图像去雾方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图2，根据一示例性实施例示出的另一种图像去雾方法的流程图，如图2所示，包括：

s201：获取原始图像，并利用暗原色先验原理计算所述原始图像的大气光值和透射率；

s202：利用非线性扩散模型更新所述透射率。

在本实施例中，利用非线性扩散模型更新透射率，使得最终的去雾图像具有更好的去噪平滑效果，此处的非线性扩散模型可以如下式所示：

其中，为模型的正则项，对于图像有去噪和保持边界的作用。

s203：将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中；

s204：利用admm算法对所述原始图像进行处理，得到所述去雾图像。

在本实施例中，为了提高模型的计算效率，为各模型设计了admm算法。具体的，

初始化设置各模型调节参数、拉格朗日乘子、惩罚参数，根据欧拉-拉格朗日方程与软阈值公式求得各模型参数，更新迭代拉格朗日乘子，直到t和u均收敛，输出t和u。

对于h-lv模型，引入3个辅助变量：x,w,v，令

x＝▽t,w＝▽u,v＝δu＝▽.(▽u)＝▽w，如下式所示：

其中，θ1,θ2,θ3是惩罚参数，σ1,σ2,σ3是拉格朗日乘子。

具体迭代方式如下：

通过上述迭代过程可以分别求出t^k+1和u^k+1。

对于h-hmv模型，引入3个辅助变量：x,p,w，其中，w＝▽²u，代表矩阵w的弗罗比尼斯范数。令x＝▽t，设p＝[prpgpb]，pi＝[p1p2]^t，i∈{r,g,b}；令pi＝▽u，p＝▽u；令其中，θ1,β1,βp是惩罚参数，σ1,α1,αp是拉格朗日乘子。

令则上可以简化为：

具体迭代方式如下：

通过上述迭代过程可以分别求出t^k+1和u^k+1。

对于h-tgv模型，引入3个辅助变量：x,q,s，s是与向量域▽u-p有关的二维函数，q是与对称导数ε(p)相关的四维向量函数。令x＝▽t，

q＝ε(p)，s＝p-▽u，其中，θ1,θ2,θ3是惩罚参数，σ1,σ2,σ3是拉格朗日乘子。如下式所示：

具体迭代方式如下：

通过上述迭代过程可以分别求出t^k+1和u^k+1。

对于h-tcv，引入5个辅助变量：x,p,n,q,m。令x＝▽t，又设p＝[prpgpb]，pi＝[p1p2]^t，i∈{r,g,b}；令pi＝▽u，设根据holder不等式，约束与下列两个约束相同：|p|＝n·p，且|n|≤1；令即即p＝▽u，|p|＝n·p，然后引入一个新的辅助向量m来代替中的变量n，这一做法可以看作是对n的松弛，即n≈m,且|m|≤1。其中，θ1,θ2,θ3,θ4,θ5是惩罚参数，σ1,σ2,σ3,σ4,σ5是拉格朗日乘子。

具体迭代方式如下:

通过上述迭代过程可以分别求出t^k+1和u^k+1。

下面对本申请实施例提供的一种图像去雾系统进行介绍，下文描述的一种图像去雾系统与上文描述的一种图像去雾方法可以相互参照。

参见图3，根据一示例性实施例示出的一种图像去雾系统的结构图，如图3所示，包括：

计算模块301，用于获取原始图像，并利用暗原色先验原理计算所述原始图像的大气光值和透射率；

输入模块302，用于将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中，得到去雾图像。

本申请实施例提供的图像去雾系统，结合了暗原色先验与二阶变分模型，既克服了暗原色先验算法去雾后存在部分噪声问题，又克服了一阶变分去雾模型存在的阶梯效应、边缘模糊的现象。由此可见，本申请实施例提供的图像去雾系统，可以有效修复有雾图像，而且在得到清晰图像的同时，能有效减轻去雾处理后存在的噪声问题，同时也能保持场景原有的边缘特征。

在上述实施例的基础上，作为一种优选实施方式，还包括：

更新模块，用于利用非线性扩散模型更新所述透射率。

在上述实施例的基础上，作为一种优选实施方式，所述二阶变分模型包括h-lv模型、h-hmv模型、h-tgh模型和h-tcv模型中的任一项。

在上述实施例的基础上，作为一种优选实施方式，，所述输入模块包括：

输入单元，用于将所述原始图像、所述大气光值和所述透射率输入二阶变分模型中；

处理单元，用于利用admm算法对所述原始图像进行处理，得到所述去雾图像。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请还提供了一种电子设备，参见图4，本申请实施例提供的一种电子设备400的结构图，如图4所示，可以包括处理器11和存储器12。该电子设备400还可以包括多媒体组件13，输入/输出(i/o)接口14，以及通信组件15中的一者或多者。

其中，处理器11用于控制该电子设备400的整体操作，以完成上述的图像去雾方法中的全部或部分步骤。存储器12用于存储各种类型的数据以支持在该电子设备400的操作，这些数据例如可以包括用于在该电子设备400上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(staticrandomaccessmemory，简称sram)，电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，简称eeprom)，可擦除可编程只读存储器(erasableprogrammableread-onlymemory，简称eprom)，可编程只读存储器(programmableread-onlymemory，简称prom)，只读存储器(read-onlymemory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件13可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器12或通过通信组件15发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口14为处理器11和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件15用于该电子设备400与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(nearfieldcommunication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件15可以包括：wi-fi模块，蓝牙模块，nfc模块。

在一示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(applicationspecificintegratedcircuit，简称asic)、数字信号处理器(digitalsignalprocessor，简称dsp)、数字信号处理设备(digitalsignalprocessingdevice，简称dspd)、可编程逻辑器件(programmablelogicdevice，简称pld)、现场可编程门阵列(fieldprogrammablegatearray，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像去雾方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述图像去雾方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器12，上述程序指令可由电子设备400的处理器11执行以完成上述的图像去雾方法。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。