一种自适应的全色与多光谱图像融合方法与流程

本发明涉及遥感信息处理领域，细分领域为遥感图像配准融合技术领域，具体涉及一种自适应的全色与多光谱图像融合方法。

背景技术

光学遥感卫星一般都提供高分辨率的全色影像和低分辨率的多光谱影像。图像融合算法不仅能充分利用高分辨全色图像的空间纹理信息，还需要尽量保持多光谱影像的光谱特征。

遥感影像融合大致可以分为系数增强和成分变换。系数增强包括pansharp、sfim等，成分变换则是用全色影像替换多光谱影像变换分离出来的某一个分量从而实现融合，例如hsv，pca等。pansharp算法融合结果清晰度高且光谱保持良好，但效率较低。传统的hsv变换融合方法可以提高空间分辨率，但会造成严重偏色，而sfim融合方法虽然能有效保持光谱信息，但由于实际采用的是亮度平滑滤波调节，导致融合结果的真实分辨率较低。

技术实现要素：

本发明要解决的技术问题是：提供一种自适应的全色与多光谱图像融合方法，通过结合传统的hsv变换和sfim融合方法，并根据多光谱数据源实际情况，进行明度分量直方图匹配，达到有效保持光谱信息、提高融合图像色彩保真度和目视效果的目的。

为实现上述目的，本发明采用的技术方案如下：

一种自适应的全色与多光谱图像融合方法，包括以下步骤：

步骤1：对多光谱影像进行hsv变换，以获取该多光谱影像的色调分量h、饱和度分量s、以及低分辨率的明度分量v；

步骤2：利用改进的sfim算法将步骤1中多光谱影像的明度分量v和全色影像进行融合，得到能较好保持光谱特性的高分辨率明度分量v1；

步骤3：将步骤2中获得的高分辨率明度分量v1与步骤1中获得的明度分量v进行直方图统计匹配，获取与步骤1中获得的明度分量v整体明暗度一致的高分辨率明度分量v2；

步骤4：将步骤3中获得的明度分量v2与步骤1中获得的色调分量h和饱和度分量s进行hsv逆变换，从而最终获取色彩保真度、纹理细节与清晰度俱佳的融合图像。

进一步地，在所述步骤1之前，根据分辨率尺度差异具体情况，以高分辨率的全色影像为基准，对低分辨率的多光谱影像进行重采样插值处理，获取大小一致的待融合影像对(p，m)，其中p为待融合的高分辨率全色影像，m为待融合的低分辨率多光谱影像。

具体地说，在所述步骤1中，获取色调分量h、饱和度分量s、以及明度分量v的计算公式为：

v＝max(r，g，b)式一；

s＝0，ifv＝0

s＝[max(r，g，b)-min(r，g，b)]/max(r，g，b)，ifv≠0式二；

其中，r，g，b为多光谱图像中红、绿、蓝三个波段图像数据在相同像素位置对应的灰度值。

具体地说，在所述步骤2中，获取高分辨率的明度分量v1的具体方法包括以下步骤：

步骤2.1：对高分辨率全色影像p进行均值滤波处理，获取模糊效果的全色影像pmean；

步骤2.2：设计系数增强融合算法获取高分辨率的明度分量v1：

其中，α和β为可配置的增强系数，根据实际情况调整，pmean越模糊，融合结果v1就越清晰。

进一步地，在所述步骤2.1中，在对高分辨率全色影像p进行均值滤波处理时，所选均值滤波模板为3×3均值滤波模板。

具体地说，在所述步骤4中，最终获取色彩保真度、纹理细节与清晰度俱佳的融合图像的具体方法包括以下步骤：

步骤4.1：求判定依据k＝h/60及f＝hmod60；

其中，h为多光谱图像的色调分量值，k为h除以60后的整数部分值，f为h除以60后的余数部分值；

步骤4.2：求各分量可能取值，设定：

p＝v(1-s)式五；

q＝v(1-sf)式六；

t＝v[1-s(1-f)]式七；

其中，s为多光谱图像的饱和度分量值，v为多光谱图像的明度分量，f为h除以60后的余数部分值，p，q，t为中间变量；

步骤4.3：根据步骤4.1中的判定依据最终获取色彩保真度、纹理细节与清晰度俱佳的融合图像的r，g，b各分量值，即：

与现有技术相比，本发明具有以下有益效果：

(1)本发明通过将能有效提高空间分辨率的hsv变换融合和能有效保持光谱信息的sfim融合相结合的方法，不但提高了融合图像的真实分辨率，还能防止严重偏色，达到了纹理细节保持和色彩保持的平衡。

(2)本发明在进行hsv逆变换之前，对融合中间结果和原始多光谱图像明度分量进行直方图统计匹配，既可以有效的防止光谱扭曲，也解决了融合方法对不同成像条件下不同数据源的适应性问题，进一步提高色彩保真度和目视效果。

附图说明

图1为本发明方法处理流程图。

图2为实施例中采用本发明方法融合前的全色图像。

图3为实施例中采用本发明方法融合前的多光谱图像。

图4为实施例中采用本发明方法获取图2及图3的融合结果图像。

图5为图4中的局部放大图。

具体实施方式

下面结合附图说明和实施例对本发明作进一步说明，本发明的方式包括但不仅限于以下实施例。

实施例

如图1所示，本发明提供的一种自适应的全色与多光谱图像融合方法，包括以下步骤：

步骤1：对多光谱影像进行hsv变换，以获取该多光谱影像的色调分量h、饱和度分量s、以及低分辨率的明度分量v；

步骤2：利用改进的sfim算法将步骤1中多光谱影像的明度分量v和全色影像进行融合，得到能较好保持光谱特性的高分辨率明度分量v1；

步骤3：将步骤2中获得的高分辨率明度分量v1与步骤1中获得的明度分量v进行直方图统计匹配，获取与步骤1中获得的明度分量v整体明暗度一致的高分辨率明度分量v2；

步骤4：将步骤3中获得的明度分量v2与步骤1中获得的色调分量h和饱和度分量s进行hsv逆变换，从而最终获取色彩保真度、纹理细节与清晰度俱佳的融合图像。

本发明在所述步骤1之前，根据分辨率尺度差异具体情况，以高分辨率的全色影像为基准，对低分辨率的多光谱影像进行重采样插值处理，获取大小一致的待融合影像对(p，m)，其中p为待融合的高分辨率全色影像，m为待融合的低分辨率多光谱影像。本发明中高分辨率全色影像和相对低分辨率的多光谱影像为相同的物场景。

本发明在所述步骤1中，获取色调分量h、饱和度分量s、以及明度分量v的计算公式为：

v＝max(r，g，b)式一；

s＝0，ifv＝0

s＝[max(r，g，b)-min(r，g，b)]/max(r，g，b)，ifv≠0式二；

其中，r，g，b为多光谱图像中红、绿、蓝三个波段图像数据在相同像素位置对应的灰度值。

本发明在所述步骤2中，获取高分辨率的明度分量v1的具体方法包括以下步骤：

步骤2.1：对高分辨率全色影像p进行均值滤波处理，获取模糊效果的全色影像pmean；

步骤2.2：设计系数增强融合算法获取高分辨率的明度分量v1：

其中，α和β为可配置的增强系数，根据实际情况调整，pmean越模糊，融合结果v1就越清晰。

本发明在所述步骤2.1中，在对高分辨率全色影像p进行均值滤波处理时，所选均值滤波模板为3×3均值滤波模板。

本发明在所述步骤4中，最终获取色彩保真度、纹理细节与清晰度俱佳的融合图像的具体方法包括以下步骤：

步骤4.1：求判定依据k＝h/60及f＝hmod60；

其中，h为多光谱图像的色调分量值，k为h除以60后的整数部分值，f为h除以60后的余数部分值；

步骤4.2：求各分量可能取值，设定：

p＝v(1-s)式五；

q＝v(1-sf)式六；

t＝v[1-s(1-f)]式七；

其中，s为多光谱图像的饱和度分量值，v为多光谱图像的明度分量，f为h除以60后的余数部分值，p，q，t为中间变量；

步骤4.3：根据步骤4.1中的判定依据最终获取色彩保真度、纹理细节与清晰度俱佳的融合图像的r，g，b各分量值，即：

本发明兼顾提高空间分辨率和色彩保持的全色与多光谱图像融合技术。传统的hsv变换融合方法用全色影像代替hsv变换获取的明度分量，该方法可以明显提高空间分辨率，但由于多光谱在hsv颜色空间的明度分量和全色影像具有不同的灰度特征，因此这种直接替代会使融合图像严重偏色甚至产生严重的光谱扭曲，而sfim融合方法虽然能有效保持光谱信息，但由于实际采用的是亮度平滑滤波调节，导致融合结果的真实分辨率较低，将两者结合起来，可以达到融合结果纹理细节保持和色彩保持的平衡。

本发明基于直方图匹配和hsv逆变换解决融合方法对于不同数据源的适应性问题。通过对融合中间结果和原始多光谱图像明度分量进行直方图统计匹配，可以使得融合方法更好地适应不同载荷及成像条件的数据源，在此基础上再进行hsv逆变换，可以更加有效的防止光谱扭曲，进一步提高色彩保真度和目视效果。

如图2-5所示，图2为采用本发明方法融合前的全色图像；图3为采用本发明方法融合前的多光谱图像；图4为采用本发明方法获取图2及图3的融合结果图像，图5为图4中的局部放大图。从图中可知，本发明方法通过多类遥感数据试验表明，相较于hsv、sfim、brove、pansharp等融合方法，本发明方法可有效克服hsv变换融合算法偏色和sfim融合算法真实分辨率低的缺点，在色彩保真度、清晰度、纹理细节等方面有较好的效果。

为了使本领域技术人员能够更好地理解本技术方案，下面以九寨沟景区数据为例进行详细阐述。

如图1所示，以九寨沟景区数据为例，待融合的全色影像p分辨率为1m，多光谱影像m分辨率为4m。具体融合方式为：

(1)读入多光谱影像，进行重采样插值操作：

(a)原始影像列方向进行2倍最近邻插值，获取影像m-x2；

(b)影像m-x2行方向进行2倍最近邻插值，获取影像m-x2-y2；

(c)影像m-x2-y2列方向进行2倍最近邻插值，获取影像m-x4-y2；

(d)影像m-x4-y2列方向进行2倍最近邻插值，获取影像m-x4-y4。

(2)对插值后的多光谱影像m-x4-y4进行hsv变换。对多光谱影像，选择波段1影像作为蓝波段影像b，波段2影像作为绿波段影像g，波段3影像作为红波段影像r；对高光谱影像，尽量选择波长范围(435～450nm)附近的波段作为b，波长范围(492～577nm)附近的波段作为g，波长范围(622～760nm)附近的影像作为r。然后根据本发明方法步骤1中获取色调分量h、饱和度分量s、以及明度分量v的计算公式来分别计算获取该多光谱/高光谱影像的明度v、饱和度s、色调h三个独立分量(影像)。

(3)对全色影像p进行均值滤波处理，在图像上对目标像素给一个模板，该模板包括了其周围的临近像素(一般选择3×3模板)，以目标象素为中心对周围象素，用模板中的全体像素的平均值来代替原来像素，获取模糊效果的全色影像pmean。pmean越模糊，后续sfim的融合结果v1越清晰，最终融合效果越好。

(4)根据本发明步骤2中步骤2.2设计的系数增强融合算法，计算获取高分辨率的明度分量v。对该类数据而言，增强系数α和β分别取1.5。

(5)直方图匹配：使待处理影像具有参考影像直方图的形状，从而达到待处理影像与参考影像色调尽可能保持一致的目的。本方案中，参考影像v，待匹配影像v1，影像的灰阶范围均为0～(l-1)，l＝1024(10位量化)，影像尺寸为width*height。具体步骤为：

a)计算v1每个灰阶k的概率密度prk[k]＝灰度值为k的像素数量/(width*height)；

b)计算v1灰阶序列的总概率密度(i为灰阶序列可能的取值，取值范围为0～(l-1)，m为求和时的下标变量，取值范围为0～i)；

c)计算v1每个灰阶i的变换映射函数smap[i]＝j：依次搜索一个合适的灰阶x，如果x/(l-1)和siimg[i]最接近，则j＝x；(j为搜索到的一个灰阶值)

d)计算v每个灰阶k的概率密度prkref[k]＝灰度值为k的像素数量(width*height)；

e)计算影像v灰阶序列的总概率密度

f)计算参考影像v每个灰阶i的变换映射函数zmap[i]＝j；依次搜索一个合适的灰阶x，如果viimg[x]*(l-1)和smap[i]最接近，则j＝x；

g)输出影像v2：将影像v1每个像素的灰度值x映射到v2的灰度值y＝zmap[x]。

(6)用上一步获取的影像v2替换多光谱影像的原始明度分量v，并进行hsv逆变换，进而获取最终融合图像：

a)读入逆变换前的明度分量v2、饱和度分量s和色调分量h；

b)对每一个像素坐标(i,j)，分别计算下列中间值：

k＝h(i，j)/60；

f＝h(i，j)mod60；

p＝v(i，j)[1-s(i，j)]；

q＝v(i，j)[1-s(i，j)f]；

t＝v(i，j)[1-s(i，j)(1-f)]；

根据本发明步骤4中的步骤4.3获取融合图像在像素坐标(i,j)处的r，g，b各分量值。

上述实施例仅为本发明的优选实施方式之一，不应当用于限制本发明的保护范围，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。