一种图像去雾方法、装置及电子设备和存储介质

本申请涉及图像处理技术领域，更具体地说，涉及一种图像去雾方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术：

近年来，随着空气质量的变化，雾霾天气已成为一种常见的自然现象。由于雾中微小的大气颗粒对自然光线的散射和吸收，室外图像的可见性会降低，在雾霾环境中拍摄的户外图像显示出较低的对比度和饱和度。可见，对于计算机视觉等领域，图像去雾非常重要。

在相关技术中，没有考虑到环境中的噪声影响，导致图像的去雾效果较差。因此，如何提高图像去雾效果是本领域技术人员需要解决的技术问题。

技术实现要素：

本申请的目的在于提供一种图像去雾方法、装置及一种电子设备和一种计算机可读存储介质，提高了图像去雾效果。

为实现上述目的，本申请提供了一种图像去雾方法，包括：

采集原始图像，并构建包含所述原始图像、无雾图像、透射率、全局大气光和噪声的大气散射模型；

基于暗通道先验算法计算所述原始图像的初始透射率和所述全局大气光；

基于所述大气散射模型、所述透射率、所述无雾图像和所述噪声构建加权变分正则化模型；

利用所述初始透射率和所述全局大气光对所述加权变分正则化模型进行求解，得到所述无雾图像。

其中，所述基于暗通道先验算法计算所述原始图像的初始透射率和所述全局大气光，包括：

基于暗通道先验算法计算所述原始图像中天空区域的第一初始透射率和所述全局大气光；

基于亮度模型计算所述原始图像中除所述天空区域之外的其他区域的第二初始透射率；

对所述第一初始透射率和所述第二初始透射率进行融合得到所述原始图像的初始透射率。

其中，对所述第一初始透射率和所述第二初始透射率进行融合得到所述原始图像的初始透射率，包括：

利用融合公式对所述第一初始透射率td(x)和所述第二初始透射率进行融合得到所述原始图像的初始透射率

其中，所述融合公式具体为：

其中，x为所述原始图像中的像素点，χ(x)为sigmoid模型。

其中，所述基于所述大气散射模型、所述透射率、所述无雾图像和所述噪声构建加权变分正则化模型，包括：

基于所述大气散射模型构建保真项；其中，所述保真项用于约束所述无雾图像与所述原始图像之间的距离；

基于所述透射率和权重函数构建加权正则化项；其中，所述加权正则化项用于约束所述透射率的梯度；

基于所述无雾图像构建全变分项；其中，所述全变分项用于稳定估计过程；

基于所述噪声构建正则化项；

基于所述保真项、所述加权正则化项、所述全变分项和所述正则化项构建加权变分正则化模型。

其中，在所述权重函数中，像素点的权重与所述像素点的透射率的梯度呈正相关。

其中，所述加权变分正则化模型具体为：

其中，j为所述无雾图像、t为所述透射率，a为所述全局大气光，n为所述噪声，i为所述原始图像，w为所述权值函数，α，β和δ为超参数，||||1为一范数，||||2为二范数，为点积运算符，为一阶微分算子。

其中，所述利用所述初始透射率和所述全局大气光对所述加权变分正则化模型进行求解，得到所述无雾图像，包括：

将所述加权变分正则化模型转换为增广的拉格朗日函数；

根据所述初始透射率和所述全局大气光采用交替方向最小化方法对所述增广的拉格朗日函数进行求解，得到所述无雾图像。

为实现上述目的，本申请提供了一种图像去雾装置，包括：

第一构建模块，用于采集原始图像，并构建包含所述原始图像、无雾图像、透射率、全局大气光和噪声的大气散射模型；

计算模块，用于基于暗通道先验算法计算所述原始图像的初始透射率和所述全局大气光；

第二构建模块，用于基于所述大气散射模型、所述透射率、所述无雾图像和所述噪声构建加权变分正则化模型；

求解模块，用于利用所述初始透射率和所述全局大气光对所述加权变分正则化模型进行求解，得到所述无雾图像。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述图像去雾方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像去雾方法的步骤。

通过以上方案可知，本申请提供的一种图像去雾方法，包括：采集原始图像，并构建包含所述原始图像、无雾图像、透射率、全局大气光和噪声的大气散射模型；基于暗通道先验算法计算所述原始图像的初始透射率和所述全局大气光；基于所述大气散射模型、所述透射率、所述无雾图像和所述噪声构建加权变分正则化模型；利用所述初始透射率和所述全局大气光对所述加权变分正则化模型进行求解，得到所述无雾图像。

本申请提供的图像去雾方法，基于环境中的噪声对传统的大气散射模型进行改进，并基于改进的大气散射模型构建加权变分正则化模型，该加权变分正则化模型用于估计无雾图像。由此可见，本申请提供的图像去雾方法，考虑到了环境中的噪声影响，提高了图像去雾效果。本申请还公开了一种图像去雾装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1为根据一示例性实施例示出的一种图像去雾方法的流程图；

图2为根据一示例性实施例示出的一种图像去雾装置的结构图；

图3为根据一示例性实施例示出的一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例公开了一种图像去雾方法，提高了图像去雾效果。

参见图1，根据一示例性实施例示出的一种图像去雾方法的流程图，如图1所示，包括：

s101：采集原始图像，并构建包含所述原始图像、无雾图像、透射率、全局大气光和噪声的大气散射模型；

本实施例的目的为对雾霾环境中采集到的原始图像进行去雾处理得到对应的无雾图像。传统的大气散射模型可以表示为：i(x)＝j(x)t(x)+a(1-t(x))，其中，x表示图像的像素坐标，i(x)是雾霾环境中电子设备采集到的图像，即原始图像。j(x)表示场景辐射，即需要还原的无雾图像，a为全局大气光，t(x)为透射率。本实施例在上述传统的大气散射模型的基础上，基于噪声进行改进，改进后的大气散射模型可以表示为：i(x)＝j(x)t(x)+a(1-t(x))+n(x)，其中，n(x)为噪声。

s102：基于暗通道先验算法计算所述原始图像的初始透射率和所述全局大气光；

在本步骤中，基于暗通道先验算法计算原始图像的初始透射率和全局大气光。暗通道先验算法的原理为：将暗通道图像定义为彩色图像rgb三通道中的最小值，并在滤波窗口中进行最小值滤波，得到：

其中，ω(x)表示以x为中心的滤波窗口，j^dark(x)表示暗通道值，通过统计后非常接近零，被称为暗通道先验，j^dark(x)可以近似如下：j^dark(x)≈0。

作为一种可行的实施方式，本步骤可以包括：基于暗通道先验算法计算所述原始图像中天空区域的第一初始透射率和所述全局大气光；基于亮度模型计算所述原始图像中除所述天空区域之外的其他区域的第二初始透射率；对所述第一初始透射率和所述第二初始透射率进行融合得到所述原始图像的初始透射率。

在具体实施中，基于暗通道先验算法计算得到的第一初始透射率td(x)可以表示为：

其中，ω可以为0.95。

但是，当图像结束天空区域时，暗通道先验算法将无效。因此，可以使用亮度模型计算所述原始图像中除所述天空区域之外的其他区域的第二初始透射率其中，β为rgb通道选择的散射系数0.3324、0.3433、0.3502，l(x)代表修改后的亮度值，可以表示为：

其中，l(i(x))表示图像的亮度，τ表示实际深度范围，l^*表示亮度l(i(x))的95％。

进一步的，利用融合公式对所述第一初始透射率td(x)和所述第二初始透射率进行融合得到所述原始图像的初始透射率其中，所述融合公式具体为：其中，x为所述原始图像中的像素点，χ(x)为sigmoid模型，其公式为：

θ1和θ2为控制参数。

s103：基于所述大气散射模型、所述透射率、所述无雾图像和所述噪声构建加权变分正则化模型；

在本步骤中，基于上述改进的大气散射模型、透射率、无雾图像和噪声构建加权变分正则化模型，该加权变分正则化模型可以同时计算透射率，无雾图像和噪声。

作为一种优选实施方式，本步骤可以包括：基于所述大气散射模型构建保真项；其中，所述保真项用于约束所述无雾图像与所述原始图像之间的距离；基于所述透射率和权重函数构建加权正则化项；其中，所述加权正则化项用于约束所述透射率的梯度；基于所述无雾图像构建全变分项；其中，所述全变分项用于稳定估计过程；基于所述噪声构建正则化项；基于所述保真项、所述加权正则化项、所述全变分项和所述正则化项构建加权变分正则化模型。

在具体实施中，加权变分正则化模型具体为：

其中，j为所述无雾图像、t为所述透射率，a为所述全局大气光，n为所述噪声，i为所述原始图像，w为所述权值函数，α，β和δ为超参数，||||1为一范数，||||2为二范数，为点积运算符，为一阶微分算子。

具体的，为是保真项，用于约束无雾图像与原始图像之间的距离，不会偏离太远，保证了数据的真实性。是加权的l1-norm正则项，用于约束透射率的梯度，l1-norm为一范数，对于一个矩阵b，其l1-norm的计算公式为：即所有矩阵列向量绝对值之和的最大值。w为权重函数，在该权重函数中，像素点的权重与该像素点的透射率的梯度呈正相关，可以表示为：其中，σ和c为控制参数，可以达到边缘保留和平滑的效果。为稳定估计过程的全变分项，是加权的l2-norm正则项，限制了噪声的整体强度，对于一个矩阵b，其l2-norm的计算公式为：即矩阵a^ta的最大特征值的开平方。

s104：利用所述初始透射率和所述全局大气光对所述加权变分正则化模型进行求解，得到所述无雾图像。

在本步骤中，基于上述步骤求得的初始透射率和全局大气光对构建的加权变分正则化模型进行求解，得到需要还原的无雾图像。作为一种可行的实施方式，本步骤可以包括：将所述加权变分正则化模型转换为增广的拉格朗日函数；根据所述初始透射率和所述全局大气光采用交替方向最小化方法对所述增广的拉格朗日函数进行求解，得到所述无雾图像。

在具体实施中，定义i^*和j^*如下：i^*＝a-i，j^*＝a-j，代入改进的大气散射模型，得到：t0为一个较小的常数，将i^*＝a-i和j^*＝a-j代入加权变分正则化模型中，并引入两个变量得到：

其增广的拉格朗日函数表示为：

其中，ε和η代表拉格朗日乘子，λ1和λ2是正参数。采用交替方向最小化方法进行求解得到x、y、i^*、j^*、t、n，具体求解过程如下：

(1)x、y子问题：

假设j^*、t在增广的拉格朗日函数中固定不变，x、y子问题可以通过求解以下公式求解：

然后可以通过shrinkage算子可以得到：

(2)j^*、t子问题：

假设x、y在增广的拉格朗日函数中固定不变，j^*、t子问题可以通过求解以下公式求解：

然后可以通过快速傅里叶变换可以得到：

其中代表快速傅里叶变换(fft)算子，是fft的逆运算算子,代表复共轭算子，e是单位矩阵。

(3)n子问题：

在增广的拉格朗日函数中去除与n无关的项，n可以表达为：

最后可以得到n：

(4)拉格朗日乘子ε和η更新方法：

其中s是控制更新幅度的步长。

最后根据j^*＝a-j可以得到复原后的无雾图像j。

本申请实施例提供的图像去雾方法，基于环境中的噪声对传统的大气散射模型进行改进，并基于改进的大气散射模型构建加权变分正则化模型，该加权变分正则化模型用于估计无雾图像。由此可见，本申请实施例提供的图像去雾方法，考虑到了环境中的噪声影响，提高了图像去雾效果。

下面对本申请实施例提供的一种图像去雾装置进行介绍，下文描述的一种图像去雾装置与上文描述的一种图像去雾方法可以相互参照。

参见图2，根据一示例性实施例示出的一种图像去雾装置的结构图，如图2所示，包括：

第一构建模块201，用于采集原始图像，并构建包含所述原始图像、无雾图像、透射率、全局大气光和噪声的大气散射模型；

计算模块202，用于基于暗通道先验算法计算所述原始图像的初始透射率和所述全局大气光；

第二构建模块203，用于基于所述大气散射模型、所述透射率、所述无雾图像和所述噪声构建加权变分正则化模型；

求解模块204，用于利用所述初始透射率和所述全局大气光对所述加权变分正则化模型进行求解，得到所述无雾图像。

本申请实施例提供的图像去雾装置，基于环境中的噪声对传统的大气散射模型进行改进，并基于改进的大气散射模型构建加权变分正则化模型，该加权变分正则化模型用于估计无雾图像。由此可见，本申请实施例提供的图像去雾装置，考虑到了环境中的噪声影响，提高了图像去雾效果。

在上述实施例的基础上，作为一种优选实施方式，所述计算模块202包括：

第一计算单元，用于基于暗通道先验算法计算所述原始图像中天空区域的第一初始透射率和所述全局大气光；

第二计算单元，用于基于亮度模型计算所述原始图像中除所述天空区域之外的其他区域的第二初始透射率；

融合单元，用于对所述第一初始透射率和所述第二初始透射率进行融合得到所述原始图像的初始透射率。

在上述实施例的基础上，作为一种优选实施方式，所述融合单元具体为利用融合公式对所述第一初始透射率td(x)和所述第二初始透射率进行融合得到所述原始图像的初始透射率的单元；

其中，所述融合公式具体为：

其中，x为所述原始图像中的像素点，χ(x)为sigmoid模型。

在上述实施例的基础上，作为一种优选实施方式，所述第二构建模块203包括：

第一构建单元，用于基于所述大气散射模型构建保真项；其中，所述保真项用于约束所述无雾图像与所述原始图像之间的距离；

第二构建单元，用于基于所述透射率和权重函数构建加权正则化项；其中，所述加权正则化项用于约束所述透射率的梯度；

第三构建单元，用于基于所述无雾图像构建全变分项；其中，所述全变分项用于稳定估计过程；

第四构建单元，用于基于所述噪声构建正则化项；

第五构建单元，用于基于所述保真项、所述加权正则化项、所述全变分项和所述正则化项构建加权变分正则化模型。

在上述实施例的基础上，作为一种优选实施方式，在所述权重函数中，像素点的权重与所述像素点的透射率的梯度呈正相关。

在上述实施例的基础上，作为一种优选实施方式，所述加权变分正则化模型具体为：

其中，j为所述无雾图像、t为所述透射率，a为所述全局大气光，n为所述噪声，i为所述原始图像，w为所述权值函数，α，β和δ为超参数，||||1为一范数，||||2为二范数，为点积运算符，为一阶微分算子。

在上述实施例的基础上，作为一种优选实施方式，所述求解模块204包括：

转换单元，用于将所述加权变分正则化模型转换为增广的拉格朗日函数；

求解单元，用于根据所述初始透射率和所述全局大气光采用交替方向最小化方法对所述增广的拉格朗日函数进行求解，得到所述无雾图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图3为根据一示例性实施例示出的一种电子设备的结构图，如图3所示，电子设备包括：

通信接口1，能够与其它设备比如网络设备等进行信息交互；

处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的图像去雾方法。而所述计算机程序存储在存储器3上。

当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统4。

本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。

可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmableread-onlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom，electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram，ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom，compactdiscread-onlymemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，randomaccessmemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，staticrandomaccessmemory)、同步静态随机存取存储器(ssram，synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram，dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram，synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram，doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram，enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram，synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram，directrambusrandomaccessmemory)。本申请实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。

上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。

处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。

在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flashmemory、磁表面存储器、光盘、或cd-rom等存储器。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。