一种基于自适应结构分解的图像融合方法与流程

本发明涉及图像处理领域，尤其涉及一种基于自适应结构分解的图像融合方法。

背景技术：

雾霾、污渍、阴雨天、部分遮挡物等干扰物会严重影响户外图像的可见和视觉质量，作为实践中的一个挑战，图像去噪技术总是被用来从捕获的图像中去除这类干扰信息。现有的图像去噪算法通过直方图均衡化、retinex算法和小波变换来增强全局图像对比度和饱和度，以提高图像的视觉质量，但全局增强不一定保证局部增强，在全局增强的计算过程中可能会忽略一些像素，使图像在局部细节的视觉质量上往往没有很好的表现。

技术实现要素：

鉴于以上现有技术存在的问题，本发明提出一种基于自适应结构分解的图像融合方法，主要解决现有图像去噪方法局部细节处理效果差的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种基于自适应结构分解的图像融合方法，包括：

输入待处理图像，通过伽马校正获取所述待处理图像在不同曝光水平下的一组图像序列；

针对所述图像序列中的每幅图像，获取图像中每个像素点的饱和度，并对饱和度进行线性调整，得到调整后的图像序列；

基于调整后的图像序列，获取图像序列中每幅图像的卡通分量，并根据所述卡通分量从对应的图像中分离出纹理分量；

基于每幅图像的纹理分量获取对应的纹理熵值，根据每幅图像的纹理熵值选出最佳图像块；将所有图像的最佳图像块进行融合处理，输出融合图像。

可选地，通过伽马校正获取所述待处理图像在不同曝光水平下的一组图像序列，包括：

经过伽马校正后，判断图像对比度变化趋势，若对比度降低，则减少图像曝光。

可选地，设置饱和度调整范围，对每个像素的rgb三通道进行相同的饱和度调整，并按照特定的饱和度增量进行饱和度归一化。

可选地，采用变分图像分解模型对所述调整后的图像序列进行卡通纹理分解，获取图像序列中每幅图像的卡通分量。

可选地，对所述卡通分量进行离散化处理后，根据图像及获取的对应卡通分量，提取出纹理分量。

可选地，提取出图像的纹理分量后，采用灰度差统计方法获取纹理分量对应的纹理特征的纹理熵值，包括：

假设灰度差有m个可能值，让像素点在整个图像上移动，得到灰度直方图；

纹理熵值表示为：

其中，p(i)表示根据灰度直方图的统计量得到的每个灰度差的概率。

可选地，将所有图像的最佳图像块进行融合处理，包括：

根据纹理熵值确定用于贴片的图像区域的大小，选取最佳大小得到最佳图像块；

根据所述最佳图像块确定分解步长，将对应图像按所述分解步长分解为多个等大小的图像块；

对每个所述图像块进一步分解为三个分量，分别对三个分量进行处理，得到所述融合后的图像块；其中，三个分量包括对比度、信号结构、平均强度。

可选地，对融合后的图像块进行验证，满足预设条件时，输出融合图像，包括：

对所述融合后的图像块进行伽马校正，判断融合后的图像是否满足预设的强度和饱和度条件；和/或，

判断所述融合后的图像块的平均强度分量是否满足预设的强度条件。

可选地，融合图像表示如下：

其中，表示同一空间位置的最高对比度；表示图像块的平均强度；表示信号结构的期望值。

如上所述，本发明一种基于自适应结构分解的图像融合方法，具有以下有益效果。

通过一系列伽马校正减少模糊图像的曝光，以提高局部细节的对比度，增强图像饱和度进而得到一组图像序列，从中选出图像质量最佳的图像区域进行融合，可有效提高图像局部细节的处理效果。

附图说明

图1为本发明一实施例中基于自适应结构分解的图像融合方法的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供基于自适应结构分解的图像融合方法，包括步骤s01-s04。

在步骤s01中，输入待处理图像，通过伽马校正获取所述待处理图像在不同曝光水平下的一组图像序列；

在一实施例中，伽马校正变换可表示为：

其中，i(x)为待处理图像；α为常数；对于γ<1，图像中较亮的强度被压缩，而较暗的强度被扩展。对于γ>1，图像中较亮的强度在变换后在更宽的范围内分配，而较暗的强度被映射到压缩间隔。给定一个图像区域ω，其对比度可以用以下公式来描述：

基于对比度的计算公式，判断经过伽马校正后图像对比度的变化趋势，具体地，当γ>1时，对于包含明亮区域的图像，通过伽马校正后，由对比度计算公式可知，对比度将降低，通过减少给定图像的曝光来提高模糊区域的局部对比度。经过对比度调整后，便可得到不同曝光水平下待处理图像对应的一组图像序列。

在步骤s02中，针对图像序列中的每幅图像，获取图像中每个像素点的饱和度，并对饱和度进行线性调整，得到调整后的图像序列；

在一实施例中，对于每一幅待处理图像i(x)，利用伽马校正提取一组欠曝光图像序列eγ＝[i¹(x),i²(x),…,i^k(x)]。

对欠曝光图像序列中每一幅图像计算每个像素的最大和最小r、g、b分量，并通过公式计算获得每个像素的饱和度s。

每个像素的r、g、b分量的最大值和最小值分别由下式计算。

rgbmax＝max(max(r,g),b)

rgbmin＝min(min(r,g),b)

根据下式计算出每个像素的饱和度s

式中，value＝(rgbmax+rgbmin)/255和l＝value/2。在得到每个像素的饱和度后，通过下式对rgb的三个通道进行同样的调整操作，对于每幅图像，饱和度的调整范围为[1,100]，按特定的饱和度增量进行归一化。具体计算过程如下：

e′k(x)＝ek(x)+(ek(x)-l×255)×α

其中表示饱和调整后的图像，percent表示设定的饱和度增量。

在步骤s03中，基于调整后的图像序列，获取图像序列中每幅图像的卡通分量，并根据所述卡通分量从对应的图像中分离出纹理分量；

在一实施例中，经过饱和度调整后的图像序列用于进行进一步的图像卡通纹理分解。具体地，可采用变分图像分解模型veseosher(vo)对不同曝光水平下的每幅图像进行卡通分解。vo模型定义如下:

其中，f为原图像，u为原图像的卡通分量，g为banach空间。

进一步地，通过最小化vo模型中的图像卡通分量u，得到欧拉-拉格朗日方程:

在一实施例中，可采用半隐式有限差分迭代算法对上时中的u做离散化处理，得到图像的卡通分量。利用卡通纹理表达公式可分离出图像中的纹理分量，具体表达式可表示为：

v＝f-u

卡通分量u有分片光滑的区域及清晰的边缘构成，v为噪声或细小的纹理。

在步骤s04中，基于每幅图像的纹理分量获取对应的纹理熵值，根据每幅图像的纹理熵值选出最佳图像块；将所有图像的最佳图像块进行融合处理，输出融合图像。

在一实施例中，在获得图像纹理分量后，采用灰度差统计方法计算图像纹理特征的熵值。然后实现图像贴片大小的自适应选择。

具体地，图像纹理组件转换为灰度图像，(x,y)表示图像中的一个点，与(x,y)距离较短的点记为(x+δx,y+δy),其灰度差值可表示为下式，得到一幅灰度微分图像。

gδ(x,y)＝g(x,y)-g(x+δx,y+δy)

式中，gδ为灰度差。让(x,y)在整个图像上移动，得到一个灰度微分图像。

假设所有可能的灰度差值都有m级，计算图像纹理特征的熵值。让(x,y)在整个图像上移动，计算gδ的每一个值的次数，得到gδ的直方图。pi是直方图统计得到的每个灰度差的概率值。图像纹理的熵值由下式求得：

对所有输入图像进行上述处理后，该算法得到所有图像纹理特征的熵值为{ent1,ent2,…,entn}，其中n表示输入图像的数量。

在一实施例中，将自适应贴片选择算法应用于获得拟合的纹理熵值和用于贴片的图像区域大小，利用经验公式得到最佳图像块大小。

具体地，根据图像纹理特征的熵值，自适应选择图像块的大小。基于灰度级共现矩阵，得到的纹理熵值可以在很大程度上反映图像纹理的粗糙程度。熵值越小，纹理越细，相反，熵值越大，纹理越粗糙。图像的最优块大小与图像纹理的粗糙程度密切相关。当图像纹理变粗时，在进行图像分解时应选择较大的图像块大小，以保证纹理结构在分解分量上的良好性能。反之，当图像纹理变得更细时，需要选择更小的图像块大小，才能达到更好的纹理合成效果。根据图像纹理的熵值来表征图像纹理的粗糙程度，并自动选择图像的最优块大小。当图像纹理熵值较小时，说明纹理较细，应该选择较大的图像块大小。当图像纹理熵值较大时，说明纹理是粗糙的，应该选择较小的图像块大小。对于每一组纹理图像，将图像的块大小由大到小进行调整，并对融合结果进行比较，找到一个合理的图像块大小的参数范围。横坐标表示由小到大排列的不同纹理图像的熵，纵坐标表示对应纹理图像的最优图像块参数。随着图像纹理熵值的增大，图像的最优块尺寸参数减小，可以使用双曲函数进行拟合。最优图像块大小的经验公式如下式所示。

其中，ent为图像纹理熵值的均值，psize为预设图像板块分解大小，psize＝21。因此对应的最优匹配块大小为wsize×wsize。

利用步长d将每组多曝光源图像分解成n个wsize×wsize图像块，得到每组的彩色图像块序列{xk,i|1≤k≤k,1≤i≤n}，k为输入图像的个数，n为每幅图像的块数。xk,i是第k个图像的第i个图像块，然后利用结构分解算法将每个图像块xk,i分解为对比度ck,i，信号结构sk,i，平均强度lk,i。对三个分量的对比度和强度特征进行处理，得到融合后的图像。通过对对比度和平均强度分量进行处理，得到融合后的图像块。

在对比度处理时，从图像序列每个图像在同一空间位置的图像块组成图像块集合中选出最高对比度的图像块，对应的对比度记为

对于信号结构分量，以图像块对比度为权值，对输入结构向量进行加权平均处理，那么融合后的图像块的期望信号结构可表示下式。

其中权函数以图像块对比度作为权值输入，测量同一空间位置的每个图像块在图像块融合结构向量中的贡献。

对于平均强度分量，使用当前图像e′k的全局平均强度值μk和当前图像块xk,i的局部平均强度值lk,i作为输入。如下式所示，使用二维高斯函数测量图像块与对应的图像序列中图像的曝光质量。

其中σg和σl分别为构造的二维高斯函数的高斯标准差和沿径向尺寸μk和lk,i的轮廓展开。

预计图像块的平均强度表示为下式。

一旦通过计算得到，一个新的向量可以通过下式唯一定义。表示融合后的图像块。

使用滑动窗口提取图像块，将重叠块中的像素平均，得到最终的输出结果。

在一实施例中，对融合后的图像块进行验证，满足预设条件时，输出融合图像，包括：

对融合后的图像块进行伽马校正，判断融合后的图像是否满足预设的强度和饱和度条件；和/或，

判断所述融合后的图像块的平均强度分量是否满足预设的强度条件。

综上所述，本发明一种基于自适应结构分解的图像融合方法，通过一系列伽马校正来减少模糊图像的曝光，以提高局部细节的图像对比度；通过增加空间线性饱和度来增强颜色饱和度，得到一组具有增强对比度和饱和度的欠曝光图像序列，与现有的基于像素点融合的去噪方法不同，该解决方案采用基于贴片自适应结构(pad)的图像融合方法来保存图像结构信息。为了获得无霾图像，从每个图像中采集具有最佳视觉质量的区域进行图像融合。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。