本发明属于图像信息处理技术领域，特别是涉及基于图像融合的单幅图像去雾方法。
背景技术：
目前，有雾图像的清晰化处理算法主要分为两大类：基于图像增强的方法以及基于物理模型的方法。
基于图像增强的方法通常是采用伽马校正，直方图均衡化等方法，通过提高图像的对比度达到去雾的目的。基于图像增强的方法计算简单，但容易造成图像信息的损失。
基于物理模型的方法从本质上分析了雾天图像降质的原因，能够较好地复原无雾图像。基于物理模型的方法通常是建立在大气散射模型的基础上，根据雾化图像的成因进行反向推导，获得无雾图像。根据算法的输入，此类算法可以进一步划分为以下四类：(1)基于多幅图像的去雾算法；(2)基于偏振滤波器的去雾算法；(3)基于场景深度的去雾算法；(4)基于单幅图像的去雾算法。
上述的四类方法中，基于单幅图像的去雾方法是目前的研究热点，此类算法主要基于各种先验假设。何凯明等人在文献《singleimagehazeremovalusingdarkchannelprior》当中提出了一种基于暗通道先验的去雾方法，暗通道先验假设在无雾图像的非天空区域，某些像素点的rgb三通道中至少有一个颜色通道具有极低的值。基于暗通道先验可以对图像的透射率进行初始估计，但是当有雾图像当中存在大面积的天空区域时，会导致透射率估计不准确，去雾效果不理想。tarel等人在文献《fastvisibilityrestorationfromasinglecolororgraylevelimage》当中提出了一种单幅图像去雾算法，算法假设大气耗散函数局部变化平缓并利用中值滤波的变形形式估计大气耗散函数。但是，算法不能很好地保持图像当中物体的边缘信息，同时算法参数多，调整困难。上述的先验大都假设图像局部块当中的透射率是一致的，极易导致去雾后图像的块效应，对此berman等人在文献《non-localimagedehazing》当中提出一种基于非局部先验的去雾方法，该方法首先利用非局部先验估计图像的透射率，然后采用正则化的方法对透射率进行优化。由于该算法是基于图像像素点的，因而不会产生块效应，而且算法的运行速度快，能够满足实时性的要求。但是基于非局部先验的算法存在去雾不完全、天空区域失真等问题。
近年来基于图像融合的单幅图像去雾算法取得了快速发展。基于融合的去雾算法通过选用合适的融合策略，将有雾图像经过不同处理后得到的多幅图像进行融合，以实现去雾的目的。ancuti等人在文献《enhancingunderwaterimagesandvideosbyfusion》当中提出了一种基于图像融合的水下图像视频增强方法，该方法将有雾图像经过白平衡处理得到的图像作为第一幅待融合图像，将有雾图像经过去噪、颜色校正、直方图均衡化处理得到的图像作为第二幅待融合图像，然后根据图像的全局对比度、局部对比度、显著性和曝光度四个特征计算融合权重图像。算法增强效果好，但是应用场景受限。郭璠等人在文献《基于融合策略的单幅图像去雾算法》当中提出了一种基于图像融合的去雾方法，该方法仅依靠单幅有雾图像即可估算出相关的输入图与权重图，算法操作简单，并且去雾后图像清晰度和色彩自然度较好，但是算法假设图像当中存在天空区域而采用白平衡处理，当假设不成立时，去雾后的图像颜色会过饱和。
技术实现要素：
基于以上所述现有技术的缺点，本文提出了一种基于图像融合的单幅图像去雾方法及系统。
一种基于图像融合的单幅图像去雾方法，步骤如下：
(1)采用改进的非局部先验算法求取第一幅融合图像
1)求取有雾图像的暗通道图像
对于任意的输入图像i，其暗通道图像可以采用下面的表达式求解：
其中，i表示有雾图像；ic表示i的某一个颜色通道；ω(x)是以像素点x为中心的一个滤波窗口；idark即为i的暗通道图像。
2)根据暗通道图像计算图像的大气光值
计算根据表达式(1-1)得到的暗通道图像当中像素值前0.1％的像素点的位置，然后求取有雾图像中对应位置的像素值的平均值作为图像的大气光值。
3)采用非局部先验估计图像的透射率
一幅彩色图像的rgb颜色值可以用几百个rgb值来替代表示，替代的过程相当于对图像的颜色进行了量化。一幅无雾的彩色图像的像素值在rgb颜色空间坐标系中呈团状分布，在有雾的情况下则呈线状分布，称之为雾线，位于同一条雾线上的像素点的分布是非局部的，也就是这些像素点在有雾图像当中分布在图像的不同位置，场景深度各不相同。采用kd-tree的方法对有雾图像当中的像素点进行聚类，聚类后会得到多条雾线。假设图像整体的大气光值是一致的，依据非局部先验，位于同一条雾线上的像素点对应的无雾时的像素值是相同的，然后假设雾线上半径最大的像素点对应的是无雾的像素点，即其透射率是1，然后根据这条雾线上其他像素点的半径与最大半径之间的关系即可求得其他像素点的透射率。
4)非局部先验去雾算法是基于大气散射模型的去雾算法，大气散射模型的表达式为：
i(x)＝j(x)t(x)+a(1-t(x))(1-2)
其中：i(x)是有雾图像；j(x)是无雾图像；t(x)是透射率，描述物体反射光线能够经过衰减到达观测点的比例；a是大气光(包括直射的阳光、天空漫射的光线和地面反射的光线等)。
求得大气光值和透射率后利用大气散射模型复原无雾图像，表达式如下：
采用非局部先验算法可以取得较好的去雾效果，但是当有雾图像当中含有大面积天空、白色物体等明亮区域时，去雾后的图像会产生明显的失真这是由于明亮区域的透射率的值比较小，采用表达式(1-3)进行去雾时，由于明亮区域的像素值i(x)与大气光值a接近，与较小的t(x)相除后会将差值扩大，这与明亮区域平坦光滑的特点是不相符的，因而会导致去雾后图像的明亮区域产生噪声放大与颜色失真现象，所以我们在实际应用当中需要对明亮区域的透射率进行纠正。第一步需要做的是要确定这些明亮区域，本发明当中根据明亮区域的像素点的最小颜色通道的像素值较大且饱和度低的特点进行检测，分别设置最小颜色通道阈值v与饱和度阈值η，然后比较图像当中的像素点的上述特征与阈值的关系，对于满足式(1-4)条件的区域确定为明亮区域：
明亮区域透射率的改进：根据明亮区域的亮度与大气光值a接近的特点，引进弱化因子r对明亮区域的透射率进行调整：
其中，
ω是去雾的控制参数，取值范围为[0,1]，ω的值越大，去雾效果越明显，α和r0是可调系数，根据图像合理选择可以保证透射率取得合理值。
5)采用表达式(1-7)复原无雾图像：
设置t0可以防止透射率过小造成图像失真；
(2)采用自适应自动色阶算法求取第二幅融合图像
自动色阶算法首先将图像的rgb三通道一定比例的较低像素和较高像素分别映射为0和255，然后将其余的像素值线性映射或者伽马校正至[0，255]区间。自动色阶算法当中的比例值是人为设置的，无法根据输入图像进行自适应调节。本文对原始的自动色阶算法进行改进得到自适应自动色阶算法，能够根据输入图像自适应设置剪切比例。改进后的计算过程如下：
1)分别计算图像rgb颜色通道的平均值：
其中，m×n代表图像的长度乘上宽度。
2)计算三个颜色通道的平均值的最大值：
3)分别计算最大值与三个颜色通道的平均值的比值并除上1000作为每个通道的剪切比例：
4)与自动色阶算法的步骤一致：根据每个通道的剪切比例，分别计算各通道的上下限值。例如：对于红色通道，我们从色阶0开始向上累加统计直方图，当累加值大于kr×m×n时，以此时的色阶值为minr。然后从色阶255开始向下累计直方图，当累加值大于kr×m×n时，以此时的色阶值为maxr。
5)根据步骤4)计算得到的minr和maxr构建一个伽马变换映射表，映射表的规则是，对于小于minr的值，则映射为minr，对于大于maxr的值，则映射为maxr，对于介于minr和maxr之间的值，进行伽马变换映射。
(3)计算两幅待融合图像的结构权重图，显著性权重图和饱和度权重图来衡量和提取待融合图像更多的细节信息。
1)计算图像的结构权重图
图像的结构特征与图像的局部梯度协方差矩阵相关性较大，假设输入图像的灰度图像为igray(x,y)，灰度图像在局部窗口wi当中的梯度协方差矩阵的表达式为
其中ix(x)和iy(x)分别表示了图像在x轴方向和y轴方向的梯度，为了得到图像局部结构的表示，将上述的协方差矩阵c进行特征值分解，分解后的表达式为
其中，
由上式可知图像的局部特征值的和等于梯度幅值平方和，因此图像的局部结构与矩阵的特征值相关，如果s1和s2的值都较小，则表明图像的局部区域结构没有明显的变化，即图像的局部区域是平坦的，反之则表明图像的局部区域当中包含了结构变化。例如：当s1和s2某一个值较大而另一个值较小，表明仅仅在较大的特征值的方向上有明显的结构变换，这种单方向的结构极有可能是图像的边缘。如果s1和s2的值均较大表明图像的局部区域当中存在类似拐角的多方向的结构。定义图像的结构显著性的计算表达式为：
参数α控制了单方向结构(例如：图像的边缘)与多方向结构(例如：拐角)的比重大小。当α<1时多方向结构的比重大，当α>1时单方向结构的比重大，为了提高多方向结构的比重，我们选择α＝0.5。采用上述的方法能够检测出图像当中所有的结构信息，对于结构信息丰富的区域给予较高的权重，使得最终复原的图像包含更丰富的结构信息，而且该方法对于模糊和噪声具有鲁棒性。
2)计算图像的显著性权重图
显著性加权可以突显在雾天场景中失去原本显著性的可识别对象，是图像的重要特征。显著性的计算表达式为：
其中k表示的是待融合的图像，
3)计算图像的饱和度权重图
雾的存在会降低图像的饱和度，因此饱和度高的像素点，雾的浓度通常较低，应该赋予较高的权重，图像的饱和度加权图的计算表达式为：
具体的，首先将图像进行色彩空间转换，转化到hsv色彩空间，然后计算每个像素点的饱和度分量与最大饱和度之间的差异，smax设置为1，σ的值设置为0.3。
算法当中根据权重图像的最大最小值对权重图像进行了归一化。说明书附图的图2当中展示了图像及其对应的权重图像。图2当中，待融合图像1是采用改进的非局部先验去雾算法得到的，待融合图像2是采用自适应自动色阶算法得到的。对比图2当中两幅待融合图像及其对应的权重图可以看出，待融合图像1近景处去雾彻底，在景深较远的位置例如：火车后面的车厢位置，存在残留的雾，因此结构权重图的值在近景位置值较大，远景位置值较小。同理，在待融合图像2的结构权重图当中，清晰的位置值较大不清晰的位置值较小，说明我们选取的度量标准准确；同理，显著性权重图与饱和度权重图都能够客观准确的反映图像的相关信息。
4)计算融合权重图
wk＝wstr×wsal×wsat(1-17)
(4)多尺度融合去雾
本发明采用多尺度融合的方法复原无雾图像以避免光晕等人工效应。具体的对输入图像进行拉普拉斯金字塔处理，对标准化后的权重图像进行高斯金字塔处理，分层进行融合。由于拉普拉斯金字塔与高斯金字塔具有相同的层数，对于输入图像与相应权值的融合也在每一层中分别进行。表达式如下
表达式当中l表示的是金字塔的分解层数；gl{}和ll{}分别表示权重图像在金字塔的第l层的高斯分解和待融合图像的拉普拉斯分解的结果。最后通过重构上述的金字塔即可得到去雾后的图像。
一种基于图像融合的单幅图像去雾系统，步骤如下：
(1)融合图像的求取单元，用于求取两幅待融合图像
(1.1)采用改进的非局部先验算法求取第一幅融合图像
1.1.1)求取有雾图像的暗通道图像
对于任意的输入图像i，其暗通道图像采用下面的表达式求解：
其中，i表示有雾图像；ic表示i的某一个颜色通道；ω(x)是以像素点x为中心的一个滤波窗口；idark即为图像i的暗通道图像；
1.1.2)根据暗通道图像计算图像的大气光值
计算根据式(2-1)得到的暗通道图像当中像素值前0.1％的像素点的位置，然后求取有雾图像中对应位置的像素值的平均值作为图像的大气光值；
1.1.3)采用非局部先验估计图像的透射率
一幅彩色图像的rgb颜色值可以用几百个rgb值来替代表示，替代的过程相当于对图像的颜色进行了量化。一幅无雾的彩色图像的像素点在rgb颜色空间坐标系呈团状分布，在有雾的情况下则呈线状分布，称之为雾线，位于同一条雾线上的像素点的分布是非局部的，也就是这些像素点在原图当中分布在图像的不同位置，场景深度各不相同。采用kd-tree的方法对有雾图像当中的像素点进行聚类，聚类后会得到多条雾线。假设图像整体的大气光值是一致的，依据非局部先验，位于同一条雾线上的像素点对应的无雾时的像素值是相同的，然后假设雾线上半径最大的像素点对应的是无雾的像素点，即其透射率是1，然后根据这条雾线上其他像素点的半径与最大半径之间的关系即可求得其他像素点的透射率。
1.1.4)非局部先验去雾算法是基于大气散射模型的去雾算法，大气散射模型的表达式为：
i(x)＝j(x)t(x)+a(1-t(x))(2-2)
其中：i(x)是有雾图像；j(x)是无雾图像；t(x)是透射率，描述物体反射光线能够经过衰减到达观测点的比例；a是大气光(包括直射的阳光、天空漫射的光线和地面反射的光线等)。
求得大气光值和透射率后利用大气散射模型复原无雾图像，表达式如下：
采用非局部先验算法可以取得较好的去雾效果，但是当有雾图像当中含有大面积天空、白色物体等明亮区域时，去雾后的图像会产生明显的失真这是由于明亮区域的透射率的值比较小，采用表达式(2-3)进行去雾时，由于明亮区域的像素值i(x)与大气光值a接近，与较小的t(x)相除后会将差值扩大，这与明亮区域平坦光滑的特点是不相符的，因而会导致去雾后图像的明亮区域产生噪声放大与颜色失真现象，所以我们在实际应用当中需要对明亮区域的透射率进行纠正。第一步需要做的是要确定这些明亮区域，本发明当中根据明亮区域的像素点的最小颜色通道的像素值较大且饱和度低的特点进行检测，分别设置最小颜色通道阈值v与饱和度阈值η，然后比较图像当中的像素点的上述特征与阈值的关系，对于满足式(2-4)条件的区域确定为明亮区域：
明亮区域透射率的改进：根据明亮区域的亮度与大气光值a接近的特点，引进弱化因子r对明亮区域的透射率进行调整：
其中，
ω是去雾的控制参数，取值范围为[0,1]，ω的值越大，去雾效果越明显，α和r0是可调系数，根据图像合理选择可以保证透射率取得合理值。
1.1.5)采用表达式(2-7)复原无雾图像：
设置t0可以防止透射率过小造成图像失真；
(1.2)采用自适应自动色阶算法求取第二幅融合图像
自动色阶算法首先将图像的rgb三通道一定比例的较低像素和较高像素分别映射为0和255，然后将其余的像素值线性映射或者伽马校正至[0，255]区间。自动色阶算法当中的比例值是人为设置的，无法根据输入图像进行自适应调节。本文对原始的自动色阶算法进行改进得到自适应自动色阶算法，能够根据输入图像自适应设置剪切比例。改进后的计算过程如下：
1.2.1)分别计算图像rgb颜色通道的平均值：
其中，m×n代表图像的长度乘上宽度。
1.2.2)计算三个颜色通道的平均值的最大值：
1.2.3)分别计算最大值与三个颜色通道的平均值的比值并除上1000作为每个通道的剪切比例：
1.2.4)与自动色阶算法的步骤一致：根据每个通道的剪切比例，分别计算各通道的上下限值。例如：对于红色通道，我们从色阶0开始向上累加统计直方图，当累加值大于kr×m×n时，以此时的色阶值为minr。然后从色阶255开始向下累计直方图，当累加值大于kr×m×n时，以此时的色阶值为maxr。
1.2.5)根据步骤4)计算得到的minr和maxr构建一个伽马变换映射表，映射表的规则是，对于小于minr的值，则映射为minr，对于大于maxr的值，则映射为maxr，对于介于minr和maxr之间的值，进行伽马变换映射。
(2)融合图像的特征提取单元，用于提取待两幅融合图像的特征，进而求得融合权重；
2.1)计算图像的结构权重图
图像的结构特征与图像的局部梯度协方差矩阵相关性较大，假设输入图像的灰度图像为igray(x,y)，灰度图像在局部窗口wi当中的梯度协方差矩阵的表达式为
其中ix(x)和iy(x)分别表示了图像在x轴方向和y轴方向的梯度，为了得到图像局部结构的表示，将上述的协方差矩阵c进行特征值分解，分解后的表达式为
其中，
由上式可知图像的局部特征值的和等于梯度幅值平方和，因此图像的局部结构与矩阵的特征值相关，如果s1和s2的值都较小，则表明图像的局部区域结构没有明显的变化，即图像的局部区域是平坦的，反之则表明图像的局部区域当中包含了结构变化。例如：当s1和s2某一个值较大而另一个值较小，表明仅仅在较大的特征值的方向上有明显的结构变换，这种单方向的结构极有可能是图像的边缘。如果s1和s2的值均较大表明图像的局部区域当中存在类似拐角的多方向的结构。定义图像的结构显著性的计算表达式为
参数α控制了单方向结构(例如：图像的边缘)与多方向结构(例如：拐角)的比重大小。当α<1时多方向结构的比重大，当α>1时单方向结构的比重大，为了提高多方向结构的比重，我们选择α＝0.5。采用上述的方法能够检测出图像当中所有的结构信息，对于结构信息丰富的区域给予较高的权重，使得最终复原的图像包含更丰富的结构信息，同时该方法对于模糊和噪声具有鲁棒性。
2.2)计算图像的显著性权重图
显著性加权可以突显在雾天场景中失去原本显著性的可识别对象，是图像的重要特征。显著性的计算表达式为:
其中k表示的是待融合的图像，
2.3)计算图像的饱和度权重图
雾的存在会降低图像的饱和度，因此饱和度高的像素点，雾的浓度通常较低，应该赋予较高的权重，图像的饱和度加权图的计算表达式为：
具体的，首先将图像进行色彩空间转换，转化到hsv色彩空间，然后计算每个像素点的饱和度分量与最大饱和度之间的差异，具体的smax设置为1，σ的值设置为0.3。
算法当中根据权重图像的最大最小值对权重图像进行了归一化。说明书附图的图2当中展示了图像及其对应的权重图像。图2当中，待融合图像1是采用改进的非局部先验去雾算法得到的，待融合图像2是采用自适应自动色阶算法得到的。对比图2当中两幅待融合图像及其对应的权重图可以看出，待融合图像1近景处去雾彻底，在景深较远的位置例如：火车后面的车厢位置，存在残留的雾，因此结构权重图的值在近景位置值较大，远景位置值较小。同理，在待融合图像2的结构权重图当中，清晰的位置值较大不清晰的位置值较小，说明我们选取的度量标准准确；同理，显著性权重图与饱和度权重图都能够客观准确的反映图像的相关信息。
2.4)计算得到融合权重图
wk＝wstr×wsal×wsat(2-17)
(3)多尺度融合去雾单元，用于根据融合图像以及对应的权重图像复原无雾图像；
所述多尺度融合去雾单元，具体用于：
采用多尺度融合的方法复原无雾图像以避免光晕等人工效应。具体的本发明对输入图像进行拉普拉斯金字塔处理，对标准化后的权重图像进行高斯金字塔处理，分层进行融合。由于拉普拉斯金字塔与高斯金字塔具有相同的层数，对于输入图像与相应权值的融合也在每一层中分别进行。表达式如下：
表达式当中l表示的是金字塔的分解层数；gl{}和ll{}分别表示权重图像在金字塔的第l层的高斯分解和待融合图像的拉普拉斯分解的结果。最后通过重构上述的金字塔即可得到去雾后的图像。
本发明的有益效果：
(1)本发明的去雾算法是基于像素点的方式，目前大部分的算法是基于图像块先验的方法，基于块先验的方法假设图像块内的透射率一致，当假设不满足时，需要进行额外的后处理。而基于像素点的算法则不存在这一问题。
(2)本算法复杂度低、处理速度较快，可以很好地复原有雾图像。
附图说明
图1为基于图像融合的单幅图像去雾方法的流程示意图。
图2为待融合图像及其特征权重图。
其中，(a)为待融合图像1；(b)为(a)的结构权重图；(c)为(a)的显著性权重图；(d)为(a)的饱和度权重图；(e)为待融合图像2；(f)为(e)的结构权重图；(g)为(e)的显著性权重图；(h)为(e)的饱和度权重图。
图3为有雾图像及不同加权方法去雾后的效果图。
其中，(a)为有雾图像；(b)为采用直接加权的方法去雾后的结果图像；(c)为本发明去雾效果。
图4为本发明基于图像融合的单幅图像去雾系统的组成示意图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
图1为本发明去雾方法的流程示意图，包括：
(1)求解输入图像(见附图3(a))的两幅待融合图像(见附图2(a)和2(e))。
(2)求取两幅待融合图像的特征权重图，包括结构权重图(见附图2(b)和2(f))，显著性权重图(见附图2(c)和2(g))，饱和度权重图(见附图2(d)和2(h))。
(3)进行多尺度融合去雾，去雾结果见附图3(c)，附图3(b)为采用直接加权的方法去雾的结果，可以看出采用直接加权的方法去雾后的图像存在光晕等人工效应。本发明采用多尺度融合的方法可以避免光晕等人工效应，得到的结果如图3(c)所示，可以看出采用多尺度融合的方法复原的图像清晰自然，不存在光晕等人工效应。
图4为本发明去雾系统的组成示意图，包括：
(1)融合图像的求取单元，用于根据输入图像(见附图3(a))求取两幅待融合图像(见附图2(a)和2(e))。
(2)融合图像的特征提取单元，用于求取两幅待融合图像的特征权重图，包括结构权重图(见附图2(b)和2(f))，显著性权重图(见附图2(c)和2(g))，饱和度权重图(见附图2(d)和2(h))。
(3)多尺度融合去雾单元，用于根据得到的待融合图像及其特征权重图进行多尺度融合去雾，去雾结果见附图3(c)，附图3(b)为采用直接加权的方法去雾的结果，可以看出采用直接加权的方法去雾后的图像存在光晕等人工效应。本发明所采用的多尺度融合的方法可以避免光晕等人工效应，得到的结果如图3(c)所示，可以看出采用多尺度融合的方法复原的图像清晰自然，不存在光晕等人工效应。
总的来说，本发明设计了一种基于图像融合的单幅图像去雾方法及系统，对比图3(a)和图3(c)可以看出，本发明能够有效提高有雾图像的能见度和对比度，因此，本发明可以应用于日常的监控系统当中。