基于引导函数和自适应数目超像素的图像去雾方法

1.本发明属于图像处理技术领域，更进一步涉及光学图像处理技术领域中的一种基于引导函数和自适应数目超像素的图像去雾方法。本发明可通过消除光学图像或视频中的雾和云，减少光学图像失真的程度，增强图像中物体的可见度，便于后续光学图像的分割、目标检测等应用场景。


背景技术：

2.当空气多云或多雾时，获取的光学图像通常具有低对比度和较差的可见度，这不仅降低了视觉效果，而且还阻碍了计算机视觉系统中的后续处理。针对这一问题，大量的图像去雾方法和技术被提出，用于对光学图像进行增强和恢复。常见的方法包括以retinex算法为代表所衍生的一系列算法、直方图均衡化以及小波变换等，但这些方法在对图像进行增强时易造成细节信息丢失、添加噪声，以及出现过饱和和图像细节信息丢失严重等失真问题。随着深度学习的发展，很多基于各种神经网络的去雾方法被提出。然而，图像去雾属于图像预处理中的一步，往往并不是最终需要的结果，花大量的时间用于对去雾神经网络模型进行训练是一种浪费。
3.南京工程学院在其申请的专利文献“一种图像去雾方法”(申请号：cn 201911234421.x，申请公布号：cn 111127340 a)中公开了一种基于频域处理的光学图像去雾方法。该方法的实现步骤是，第一，通过图像采集设备获取一幅室外有雾的彩色光学图像，从该彩色光学图像中分离出rgb三通道值；第二，对三通道中的g通道进行直方图均衡化，确定滤波系数后，对r、b通道再进行均衡化，得到均衡化后的图像；第三，分别将rgb三个通道的独立图像，经过傅里叶变换到频域，再经过巴特沃斯高通滤波器，得到经过傅里叶反变换和滤波后的图像；第四，将均衡化后的图像和滤波后的图像相加，得到去雾图像并计算灰度值；第五，改变滤波器参数直到输出去雾图像的灰度熵最大，即为最后结果。该方法较为简单的实现了图像去雾，可用于日间光学图像的处理。但是，该方法仍然存在的不足之处是，由于需要手动调节滤波器参数，时间和人力的成本较高，不便于方法的推广和使用。
4.武汉大学在其申请的专利文献“一种图像去雾方法”(申请号：cn 202010446951.7，申请公布号：cn 1113667421 a)中公开了一种基于去雾网络模型的光学图像去雾方法。该方法的实现步骤包括：第一，生成训练集，训练集中包括多对训练样本对，每对训练样本对中又包括无雾图像和对应的含雾图像；第二，构建去雾网络模型，去雾网络模型基于隐式欧拉逼近的隐式结构进行构造，用于实现单幅图像去雾；第三，利用训练集对去雾网络模型进行训练，获得训练好的去雾网络模型；第四，将待测试的含雾图像输入到训练好的去雾网络模型中，获得去雾网络模型输出的去雾图像结果。本发明虽然解决了现有技术图像去雾方法中的稳定性和精度较差的问题，能够有效提高图像去雾的效果。但是，该方法仍然存在的不足之处是，由于夜间有雾图像的样本过少，容易出现伪影且丢失图像中的边缘，夜间光学图像的去雾质量不高。


技术实现要素：

5.本发明的目的在于针对上述已有技术的不足，提出一种基于引导函数和自适应数目超像素的图像去雾方法，用于解决现有技术在低照度下图像中物体边缘丢失；以及由于需要人工调参，处理效率低无法实时去雾的问题。
6.实现本发明目的的技术思路是：本发明利用引导函数替换retinex方法中的高斯函数对图像进行增强，使计算出的每个像素的反射分量与该像素的邻域联系更紧密，以此解决现有方法在增强光学图像时会产生伪影、光晕等问题。使用引导函数获得光学图像的反射分量，达到增强光学图像的效果，使包括夜间图像在内的所有光学图像内部的边缘更加自然真实，以此解决现有方法在夜间图像中去雾质量差，无法保留边缘的问题。本发明使用自适应超像素技术分割图像，每个图像会根据自身的亮度情况自适应分割数量，以此解决现有方法需要手动调参，效率低下的问题。超像素内部的每个像素的特征相似，以每一个超像素作为暗通道先验原理的窗口可以比现有的以固定大小区域作为窗口会更为准确。每一个窗口通过暗通道先验原理，可以获得每个像素的透射率。结合透射率与大气强度，可以准确地将含雾图像恢复至无雾图像。
7.为实现上述目的，发明采用的技术方案包括如下步骤：
8.步骤1，构建有雾光学图像i中每个像素的引导函数如下：
[0009][0010]
其中，hf表示有雾光学图像i中以第f个像素为中心的窗口的引导函数，f＝1...f,f表示有雾光学图像i中像素的总数，l表示窗口的边长，l＝3或l＝5，∑表示求和操作，μ
2,f
表示有雾光学图像i中以第f个像素为中心的窗口中所有像素的强度系数，μf和分别表示有雾光学图像i中以第f个像素为中心的窗口中所有像素强度的均值和方差，i(f)表示有雾光学图像i中第f个像素的强度，ω
i,j
表示有雾光学图像i中以第f个像素为中心的窗口中第j个像素的强度，j＝1...j，j表示窗口内像素的总数，j＝l2；
[0011]
步骤2，利用有雾光学图像i中每个引导函数，计算其对应像素的反射分量，将所有像素的反射分量构成增强后的有雾光学图像ir；
[0012]
步骤3，计算增强后的有雾光学图像ir的大气强度值；
[0013]
步骤4，将增强后有雾光学图像ir分割为与自适应数目相等的超像素：
[0014]
步骤4.1，将增强后的有雾光学图像ir由rgb颜色空间转为lab颜色空间的图像
[0015]
步骤4.2，提取图像中的亮度分量l，并绘制l分量的直方图；
[0016]
步骤4.3，用l分量直方图中波峰的总数与比例系数α相乘，得到自适应数目，1≤α≤15；
[0017]
步骤4.4，使用简单线性迭代聚类slic技术，将图像分割为k个超像素，得到有雾光学图像的超像素图像k的取值等于自适应数目；
[0018]
步骤5，按照下式，计算超像素图像中每个像素的透射率：
[0019][0020]
其中，t
slic
(f)表示超像素图像中第f个像素的透射率，min(
·
)表示取最小值操作，y
slic
表示超像素图像中第f个像素所属于超像素ω
slic
(f)中的像素，分别表示像素y
slic
在r,g,b三个通道上的分量，ar,ag,ab分别表示增强后的有雾光学图像ir在r,g,b三个通道上的大气强度；
[0021]
步骤6，获得去雾图像：
[0022]
利用去雾公式，计算无雾光学图像每个像素的强度值，获得去雾图像。
[0023]
本发明与现有技术相比具有以下优点：
[0024]
第1，由于本发明使用引导函数代替retinex中的高斯函数对光学有雾图像中的每个像素进行增强，克服了现有技术不能满足夜间图像去雾以及会造成伪影的缺陷，使得本发明可以对包括夜间图像在内的所有光学图像去雾，并能保留图像中的边缘，不会造成伪影，提高了图像恢复的质量。
[0025]
第2，由于本发明使用自适应超像素进行图像分割，克服了现有技术需要不断调参的问题，使得本发明提高了图像恢复的处理效率，可以实现对视频进行去雾。
[0026]
第3，由于本发明使用超像素去计算每个像素的透射率，克服了现有技术在局部区域透射率计算不准确的问题，使得本发明提高恢复图像的精度。
附图说明
[0027]
图1是本发明的流程图；
[0028]
图2是本发明的仿真图，其中，图2(a)为含有雾的原始图像，图2(b)为采用现有技术的方法对原始图像2(a)的去雾后的图像，图2(c)为采用本发明的方法对原始图像2(a)的去雾后的图像；
[0029]
图3是本发明的仿真图。
具体实施方式
[0030]
步骤1，对有雾的光学图像进行增强。
[0031]
一张光学图像中每个像素的强度是该像素的入射分量和反射分量的乘积。现有算法中效果最好的是根据retinex原理，每一个像素的入射分量是通过反解高斯函数和未增强的有雾光学图像中的像素卷得到，由于高斯函数会给增强后的图像带来伪影和光晕。因此，本发明使用引导函数替代高斯函数对未增强图像进行卷积，卷积得到的结果作为每个像素的入射分量被带入到增强公式中。对增强公式进行取对数操作，可以解出每个像素的反射分量。构建有雾光学图像中以每个像素为中心的窗口的引导函数如下：
[0032][0033]
其中，hf表示有雾光学图像i中以第f个像素为中心的窗口的引导函数，f＝1...f,f表示有雾光学图像i中像素的总数，l表示窗口的边长，l的取值是根据窗口中像素决定的，
通常，窗口中像素不可能只包含一个像素，窗口边长大于5时会因像素间空间距离变大使窗口内的像素的相关性变小，从而导致引导函数不准确、且为使第f个像素恰好位于窗口的中心，窗口边长取值只能为奇数，因此l＝3或l＝5，在本发明实例中l＝3，∑表示求和操作，μ
2,f
表示有雾光学图像i中以第f个像素为中心的窗口中所有像素的强度系数，μf和分别表示有雾光学图像i中以第f个像素为中心的窗口中所有像素强度的均值和方差，i(f)表示有雾光学图像i中第f个像素的强度，ω
i,j
表示有雾光学图像i中以第f个像素为中心的窗口中第j个像素的强度，j＝1...j，j表示窗口内像素的总数，j＝l2；
[0034]
步骤2，按照下式，计算有雾光学图像中每个像素的反射分量：
[0035]
rf＝e
ln[i(f)]-ln[i(f)
·
h(f)]
[0036]
其中，rf表示有雾光学图像中第f个像素的反射分量，e
(
·
)
表示以自然常数e为底的指数操作，ln(
·
)表示以自然常数e为底的对数操作，
[0037]
用有雾光学图像中每一个像素的反射分量更新该像素的强度值，所有更新后的像素组成了有雾光学图像的增强图像。
[0038]
步骤3，计算增强后有雾光学图像的大气强度值。
[0039]
步骤3.1，将增强后的有雾光学图像的灰度图像中所有的像素按强度从大到小排序，组成强度像素集合n1；从强度像素集合n1中选取前1％的像素构成强度像素集合n2。
[0040]
步骤3.2，分别计算强度像素集合n2中所有像素在r,g,b三个通道上的平均值。r,g,b三个通道上的大气强度值ar,ag,ab分别等于三个平均值，ar,ag,ab组成了大气强度
[0041]
步骤4，使用自适应数目超像素方法生成分割图像
[0042]
步骤4.1，将增强后的有雾光学图像由rgb模式转为lab模式。
[0043]
步骤4.2，绘制lab模式下有雾光学图像中所有像素的l分量直方图。统计直方图中的波峰个数pk。
[0044]
步骤4.3，将有雾的光学图像均分成边长为s的正方形超像素块，如果该图像恰好可以被均分，则此步骤到此结束；若该图像未能均分，则将该有雾的光学图像先按照边长为s进行分割，直至该图像最下端剩余区域的列长不足s或该图像最右端剩余区域的行宽不足s，对该图像最下端的剩余区域按行宽为s，列长为图像最下端的剩余区域的列长进行分割；对该图像最右端的剩余区域按列长为s，行宽为该图像最右端的区域的行宽进行分割，k＝10
×
pk。记分割后每一个区域的中心像素为一个种子点。
[0045]
步骤4.4，按照下述简单线性迭代聚类slic技术(simple linear iterative clustering)，逐一计算分割后的有雾光学图像中每一个像素与距离该像素不足2s的每一个种子点的差异值：
[0046][0047]
其中，d(i,k)表示分割后的有雾光学图像中第i个像素与距离该像素不足2s的第k个种子点的差异值，i表示分割后的有雾光学图像中的像素，k表示分割后的有雾光学图像中距离像素i不足2s的种子点，lk和li分别表示像素点i和种子点k在l通道上的分量，ak和ai分别表示像素i和种子点k在a通道上的分量，bk和bi分别表示像素i和种子点k在b通道上的分量，m表示权重系数，m取值范围为(1,40)，在本发明实施例中m＝10，xk和yk表示像素点i在
分割后的有雾光学图像上的空间坐标，xi和yi表示种子点k在分割后的有雾光学图像上的空间坐标。
[0048]
步骤4.5，将有雾的光学图像中每一个像素分配给与该像素差异值最小的种子点，并将它们定义为同一个标签，同一个标签的像素属于一个超像素块。记每一个超像素块的中心像素为一个新的种子点。
[0049]
步骤4.6，重复3.4和3.5直至所有像素的标签不再发生改变。
[0050]
步骤4.7，每一个标签即为一个超像素，所有的超像素块组成了分割图像
[0051]
步骤5，将有雾的光学超像素图像i
slic
由lab模式转为rgb模式，记作并根据下式，计算图像中每个像素的透射率。
[0052][0053]
其中，t
slic
(f)表示超像素图像中第f个像素的透射率，min(
·
)表示取最小值操作，y
slic
表示超像素图像中第f个像素所属于超像素ω
slic
(f)中的像素，分别表示像素y
slic
在r,g,b三个通道上的分量。
[0054]
步骤5，计算无雾图像中每个像素的强度值。
[0055][0056]
其中，jc(x)表示jc(f)表示无雾光学图像中第f个像素的强度值，这些像素构成了去雾后的无雾图像。
[0057]
下面结合仿真实验对本发明的效果做进一步的说明：
[0058]
1.仿真实验条件：
[0059]
本发明的仿真实验的实验的硬件平台为：处理器为core i5-10400f,主频为2.9ghz,16g运行内存。
[0060]
本发明的仿真实验平台的软件平台为：windows10操作系统和visual studio 2017软件。
[0061]
本发明仿真实验所使用的图像来自于论文“nighttime single image dehazing via pixel-wisealpha blending”(ieeeaccess,vol.7,pp.114619-114630)。
[0062]
2.仿真内容及其结果分析：
[0063]
本发明仿真实验是采用本发明和一个现有技术(基于大气散射模型的图像去雾方法)，分别对一张有雾光学图像进行去雾处理，其结果如图2所示。
[0064]
在仿真实验中，采用的一个现有技术是指：
[0065]
yonggang wen等人在其发表论文“efficient image dehazing with boundary constraint and contextual regularization”(ieee international conference on computer vision,2013,pp.617-624)中提出的基于大气散射模型的图像去雾方法。
[0066]
下面结合图2、图3对本发明的仿真效果做进一步的描述。
[0067]
图2(a)为含有雾的原始图像，图2(b)为采用现有技术的方法对原始图像2(a)的去
雾后的图像，图2(c)为采用本发明的方法对原始图像2(a)的去雾后的图像。
[0068]
由图2(b)可以看出，现有方法去雾后图像中的天空区域仍有残雾的存在，天空区域不明晰，且图2(b)中植物的边缘模糊，植物与背景的对比度差，因此现有方法的去雾质量不高，且细节恢复较差。与现有方法相比较。图2(c)在景深突变处消除了残雾，且抑制了天空区域偏色现象，同时可以保留植物细节信息，去雾效果更加突出。因此图2(c)的去雾效果好，整体色彩比较自然，可以很好的去除图像中的雾霾，提高图像对比度和饱和度。
[0069]
图3为本发明与现有技术的运行时间的对比图。图3中的横坐标代表了图像的不同大小，分别为200*200，512*512，1024*1024三种大小不同的图像。图3中的纵坐标代表了仿真去雾的运行时间，单位是秒。图3中以方形标示的折线代表了现有发明的运行时间，图3中以菱形标示的折线代表了本发明的运行时间。
[0070]
由图3可以看出，现有方法的去雾时间远大于本发明的去雾时间，且本发明的运行时间对图像的大小不敏感，可以快速处理不同大小的图像。
[0071]
以上仿真实验结果表明，对于含有雾的光学图像，本发明可以增强图像，对夜间图像也有着好的去雾能力；本发明便于操作，运行效率高，可以对视频实时去雾；本发明可以准确地恢复图像，去雾质量高。