基于分区域的SAR图像与彩色可见光图像融合方法与流程

本发明属于图像处理技术领域，具体涉及合成孔径雷达sar图像与彩色可见光图像的融合方法，可用于实现图像增强、图像分类、目标的检测与识别。

背景技术：

随着航天技术的迅猛发展，在遥感探测领域，由单一可见光遥感模式逐渐发展成为多传感器遥感模式，特别是近几年来，sar遥感图像越来越受到人们的关注，作为一种主动式遥感探测系统，sar对目标的几何特性非常敏感，反映在图像上常常是非常暗或亮的点或区域，而彩色可见光图像的光谱信息更为丰富，可视性效果较好，并且对目标的物理和化学属性则更为敏感，图像主要反映了不同地物的轮廓与光谱信息。将sar图像与彩色可见光图像融合，可以充分利用其互补信息，获得地物的多层次特性，进一步揭示地物的本质特征。sar图像与彩色可见光图像融合一直很难获得令人满意的结果，这是因为sar图像会受到相干斑噪声的干扰，sar图像与可见光图像光谱差异大，互补性强，对应区域可能存在相反的情况。这给融合方法加大了难度，以往融合方法常会出现融合噪声非常严重、对比度低、重要信息丢失以及光谱扭曲等严重现象。

对于sar图像与彩色可见光图像融合问题，目前提出的方法主要包括基于his图像融合方法以及基于小波变换的图像融合方法。二者虽然算法成熟，但是没有针对sar图像斑点噪声严重和光谱信息丢失的特性做针对性的处理，因而融合图像中常常充满着斑点噪声，严重损失了重要的图像信息，并且融合结果光谱扭曲现象较为严重，影响视觉效果。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提出一种基于分区域的sar图像与彩色可见光图像融合方法，以减小sar图像斑点噪声对融合图像的影响，避免融合图像的光谱扭曲，提高视觉效果。

本发明的技术思路是：通过小波分解对sar图像和彩色可见光图像的高频特征信息进行比较和标记，得到分区域特征函数h(x,y)，对sar图像和彩色可见光图像进行分区域融合：对于sar图像中的平滑区域进行彩色可见光图像光谱信息的保持，对于sar图像中的高频特征区域在保持彩色图像光谱信息的基础上加入sar图像的高频特征信息，从而使得融合结果在保持彩色可见光图像光谱信息的基础上更好的包含了sar图像的高频特征信息。其实现方案包括如下：

(1)输入sar图像fs(x,y)和彩色可见光图像fv(x,y)这两幅图像，其中(x,y)代表图像的像素坐标；

(2)对(1)输入的两幅图像进行预处理，生成分区域特征函数h(x,y)：

2a)对彩色可见光图像fv(x,y)进行平稳小波分解，得到一组彩色可见光图像的高频信息子图，并对所有的高频信息进行叠加，得到彩色可见光图像的高频特征图dwv(x,y)；

2b)对sar图像fs(x,y)进行平稳小波分解，得到一组sar图像的高频信息子图，并对sar图像的高频信息子图和彩色可见光图像高频信息子图进行绝对值取大叠加，得到包含sar和彩色可见光图像高频信息的高频特征图dwm(x,y)；

2c)根据两幅高频特征图dwm(x,y)和dwv(x,y)的取值大小对特征区域进行标记，计算分区域特征函数h(x,y)的值：

(3)对输入的sar图像和彩色可见光图像的亮度分量i进行小波邻域能量取大融合，得到灰度融合结果ir；

(4)对sar图像和彩色可见光图像进行分区域融合：

4a)利用彩色可见光图像的亮度分量i和灰度融合结果ir，计算两幅图像的亮度均值比λ：其中mean()代表图像的算术平均值运算；

4b)根据分区域特征函数h(x,y)的取值，对sar图像和彩色可见光图像进行分区域彩色融合，得到初始融合图像ff的三通道信息：

其中r,g,b分别代表输入彩色可见光图像的三通道信息，rf,gf,bf分别代表初始彩色融合图像ff的三通道信息；

(5)对初始融合图像ff中超出有效范围的部分进行有效的压缩，得到最终融合图像ffz的三通道信息，完成对sar图像与彩色可见光图像的融合。

本发明与现有技术相比具有以下优点：

第一，由于本发明构建了分区域特征函数，将图像空间分成了高频特征区域和平滑区域，采用分区域融合规则。对于图像的平滑区域，彩色融合图像直接保持彩色可见光图像的光谱信息，同时将sar图像的斑点噪声得到了更好的抑制。

第二，由于本发明中对于图像的高频特征区域，在保持彩色可见光图像光谱信息的基础上进行高频信息的融合，使得彩色融合图像对光谱信息保持较好，同时也融入了sar图像和彩色可见光图像的高频特征信息。

附图说明

图1是本发明的实现流程图；

图2是用本发明对第一组实验图像的融合结果；

图3是用本发明对第二组实验图像的融合结果；

图4是用本发明对第三组实验图像的融合结果。

具体实施方式

下面结合附图对本发明做进一步描述：

参照图1，本发明的实施步骤如下：

步骤1.输入两幅图像。

通过两种不同传感器对同一场景进行成像：通过合成孔径雷达(sar)传感器获取sar图像fs(x,y)，通过光学传感器获取彩色可见光图像fv(x,y)，其中(x,y)代表图像的像素坐标。

步骤2.构造分区域特征函数h(x,y)。

2a)通过彩色可见光图像fv(x,y)，构造彩色可见光图像的高频特征图dwv(x,y)；

2a1)对彩色可见光图像fv(x,y)进行3层平稳小波分解(swt)，生成一组彩色可见光图像的高频信息子图其中：表示彩色可见光图像在2^j分辨率下，d方向上的高频信息子图，d表示了每一层小波分解的三个高频方向，h代表水平方向，v代表垂直方向，d代表对角方向；2^j代表不同的分辨率，j＝-1,-2,-3；

2a2)将彩色可见光图像的高频信息子图取绝对值后进行叠加，得到彩色可见光图像的高频特征图dwv(x,y)：

其中，|·|表示取绝对值；

2b)通过sar图像fs(x,y)与彩色可见光图像fv(x,y)，构造包含sar图像高频信息和彩色可见光图像高频信息的高频特征图dwm(x,y)：

2b1)对sar图像fs(x,y)进行3层平稳小波分解swt，生成一组sar图像在2^j分辨率下，d方向上的高频信息子图

2b2)对sar图像的高频信息子图和彩色可见光图像的高频信息子图进行绝对值取大运算，得到包含sar图像高频信息和彩色可见光图像高频信息的高频信息总图

2b3)对高频信息总图进行绝对值叠加，得到包含sar图像高频信息与彩色可见光图像高频信息的高频特征图dwm(x,y)：

2c)根据两幅高频特征图dwm(x,y)和dwv(x,y)的取值大小对特征区域进行标记，计算分区域特征函数h(x,y)的值：

步骤3.计算sar图像与彩色可见光图像亮度分量i的灰度融合结果ir。

3a)根据输入彩色可见光图像得到对应的r,g,b图像，计算彩色可见光图像的亮度分量i：

其中r表示彩色可见光图像的第一通道信息，g表示彩色可见光图像的第二通道信息，b表示彩色可见光图像的第三通道信息；

3b)对输入sar图像和彩色可见光图像的亮度分量i进行离散小波分解dwt，得到这两组图像的低频信息子图和高频信息子图其中：

表示sar图像在2^j分辨率下的低频信息子图，表示彩色可见光图像在2^j分辨率下的低频信息子图,表示彩色可见光图像在2^j分辨率下，ε方向上的高频信息子图，ε表示了每一层小波分解的三个高频方向，ε＝1代表水平方向，ε＝2代表垂直方向，ε＝3代表对角方向，2^j代表不同的分辨率，j＝-1,-2,-3；

3c)对sar和彩色可见光图像的低频信息子图取算术平均值，得到融合结果的低频信息子图

3d)根据两组图像的高频信息子图和计算高频邻域能量

和其中表示sar图像在2^j分辨率下，ε方向上的高频邻域能量，表示彩色可见光图像在2^j分辨率下，ε方向上的高频邻域能量，其中计算公式如下：

3e)根据两组图像的高频信息子图和采用能量取大融合规则，得到融合结果的高频信息子图其计算公式如下：

3f)对融合结果图像的低频信息子图和高频信息子图进行逆离散小波变换得到融合结果的灰度图像ir。

步骤4.对sar图像和彩色可见光图像进行分区域融合。

4a)利用彩色可见光图像的亮度分量i和灰度融合结果ir，计算两幅图像的亮度均值比λ：其中mean()代表图像的算术平均值运算；

4b)根据分区域特征函数h(x,y)的取值对sar图像和彩色可见光图像进行分区域彩色融合，其融合规则可以表示如下：

其中r,g,b分别代表输入彩色可见光图像的三通道信息，rf,gf,bf分别代表初始彩色融合结果ff的三通道信息：

当分区域特征函数h(x,y)为0时，其对应的像素位置为sar图像平滑区域，其融合规则如下：

当分区域特征函数h(x,y)为1时，其对应的像素位置为sar图像高频特征区域，其融合规则如下：

步骤5.对初始融合图像ff中超出有效范围的部分进行有效的压缩。

对彩色融合结果图像ff的三通道信息分别进行指数变换，得到最终融合图像ffz的三通道信息，其计算公式如下：

其中rfz,gfz,bfz分别代表对初始彩色融合结果ff进行指数变换后得到的最终融合图像ffz的三通道信息，在处理过程中增加了偏移量ξ和指数参数γ，其中ξ＝0.001，γ＝0.98，完成对sar图像与彩色可见光图像的融合。

下面结合实验仿真对本发明效果做进一步说明。

1.仿真条件

本发明的仿真实验平台采用intel(r)core(tm)cpue65502.33ghz，内存为2gb，运行windows7的pc机，编程语言为matlab2014a。

2.仿真内容与结果分析

仿真1、利用本发明和现有的基于小波邻域能量取大融合方法对第一组sar图像和彩色可见光图像进行融合，结果如图2所示，其中图2(a)是大小为928×816×3的实测彩色可见光图像，图2(b)是大小为928×816的实测sar图像，图2(c)是基于小波邻域能量取大融合结果图，图2(d)是本发明融合结果图。

仿真2、利用本发明和现有的基于小波邻域能量取大融合方法对第二组sar图像和彩色可见光图像进行融合，结果如图3所示，其中图3(a)是大小为458×400×3的实测彩色可见光图像，图3(b)是大小为458×400的实测sar图像，图3(c)是基于小波邻域能量取大融合结果图，图3(d)是本发明融合结果图。

仿真3、利用本发明和现有的基于小波邻域能量取大融合方法对第三组sar图像和彩色可见光图像进行融合，结果如图4所示，其中图4(a)是大小为166×168×3的实测彩色可见光图像，图4(b)是大小为166×168的实测sar图像，图4(c)是基于小波邻域能量取大融合结果图，图4(d)是本发明融合结果图。

从图2(c)、图3(c)、图4(c)可以看出，对于这3组实测sar和彩色可见光图像，基于小波邻域能量取大融合方法得到的融合结果图像效果比较差，融合结果中存在大量的斑点噪声和严重的光谱扭曲现象，结构信息被噪声淹没，影响视觉效果。

从图2(d)、图3(d)、图4(d)可以看出，对于这3组实测sar图像和彩色可见光图像，本发明得到的融合结果获得了较好的效果，融合结果中斑点噪声得到了明显的抑制，而且光谱信息得到了较好的保持，这是因为本发明利用分区域融合的方法，引入了分区域特征函数h(x,y)对sar图像的高频特征区域和平滑区域进行标记，在融合处理过程中对于sar图像的平滑区域只需进行彩色可见光图像的光谱信息保持即可，对于sar图像的高频特征区域在光谱信息保持的基础上加入sar图像中的空间信息。能够有效降低了斑点噪声对融合结果的影像，并且对彩色可见光图像的光谱信息得到了比较好的保持。