机载双频高分辨SAR图像融合方法、装置、设备及介质

机载双频高分辨sar图像融合方法、装置、设备及介质
技术领域
1.本技术涉及图像处理技术领域，特别是涉及一种双频高分辨sar(synthetic aperture radar，合成孔径雷达)图像融合方法、装置、设备及介质。


背景技术：

2.在雷达体系中，不同频段的sar，其传输特性、目标回波的后向散射特性等都是不同的，这就导致不同频段的sar图像存在着不同的局限性和优势。对于同一地区，高频sar图像可以得到更清晰的场景轮廓和目标细节特征，但是其穿透性不强，对隐蔽目标成像效果不佳，低频sar图像较为黯淡，对目标细节特征的描述能力不佳，但其具有较强的穿透力，能较好地对隐蔽目标成像，如树林中或地表下的景物和隐蔽目标。若能将高低频段的sar图像数据进行融合，实现信息互补，这就有利于后续的sar图像解译以及目标检测识别。
3.传统的图像融合方法处理图像的步骤一般包括：将源图像进行多尺度变换得到高频子带系数和低频子带系数，分别采用合适的融合规则对高、低频子带系数进行合并，将合并后的高、低频融合系数进行逆变换操作，进而得到融合图像。这一过程涉及两个关键技术，一个是多尺度变换方法，另一个是融合规则。目前，多尺度变换方法有小波变换、曲波变换以及非下采样轮廓波变换(nonsubsampled contourlet transform，nsct)等多种方法，融合规则有加权平均、绝对值取大以及区域匹配等多种规则。
4.但是，由于高分辨sar图像包含着大量的细节和纹理信息，如何在多尺度变换过程中获得源图像更充分的信息，减少信息损失；以及如何设定更为合适的融合规则来有效的合并高、低频子带系数，进而获得更好的融合效果，这都是亟待解决的技术问题。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种机载双频高分辨sar图像融合方法、装置、设备及介质。
6.一种机载双频高分辨sar图像融合方法，所述方法包括：
7.分别对已精确配准的第一源图像和第二源图像进行多尺度变换，得到所述第一源图像和所述第二源图像对应的低频子带系数和各方向的高频子带系数；所述第一源图像为高频段高分辨sar二维实图像；所述第二源图像为低频段高分辨sar二维实图像；
8.根据所述第一源图像和所述第二源图像对应的低频子带系数，得到加性噪声形式的观测矩阵，采用非负矩阵分解算法分解所述观测矩阵，得到第一分解结果，根据所述观测矩阵以及所述第一分解结果，得到特征矩阵，对所述特征矩阵进行非负矩阵分解，得到低频融合系数；
9.采用改进的拉普拉斯能量和方法对所述第一源图像和所述第二源图像对应的各方向的高频子带系数进行合并，得到高频融合系数；
10.对所述低频融合系数和所述高频融合系数进行逆变换，得到融合图像。
11.在其中一个实施例中，还包括：根据所述第一源图像和所述第二源图像对应的低
频子带系数，得到观测图像为：
[0012][0013]
其中，y(x,y)为观测图像，y(x,y)＝x(x,y)n(x,y)，x(x,y)为真实图像，n(x,y)为相干斑噪声，为第一源图像对应的低频子带系数，为第二源图像对应的低频子带系数，对所述观测图像进行对数变换，得到加性噪声形式的观测矩阵为：
[0014][0015][0016]
其中，ly为观测矩阵，
[0017]
在其中一个实施例中，还包括：对所述观测矩阵进行非负矩阵分解，得到第一分解结果为：
[0018][0019]
其中，为基矩阵，为系数矩阵，为噪声；根据所述观测矩阵以及所述第一分解结果，得到特征矩阵为：
[0020][0021]
其中，v
x
为特征矩阵。
[0022]
在其中一个实施例中，还包括：对所述特征矩阵进行非负矩阵分解，得到第二分解结果为：
[0023]vx
＝wh+ε
[0024]
其中，w为特征基，h为系数基，ε为误差；根据所述第二分解结果，得到特征基；根据所述特征基，得到低频融合系数。
[0025]
在其中一个实施例中，还包括：根据所述第一源图像对应的各方向的高频子带系数的改进拉普拉斯能量，得到所述第一源图像上各尺度各方向的改进拉普拉斯能量和；根据所述第二源图像对应的各方向的高频子带系数的改进拉普拉斯能量，得到所述第二源图像上各尺度各方向的改进拉普拉斯能量和；采用预先设置的高频子带系数融合规则判断所述第一源图像和所述第二源图像在对应位置上的拉普拉斯能量和，得到高频融合系数。
[0026]
在其中一个实施例中，还包括：根据所述第一源图像对应的各方向的高频子带系数的改进拉普拉斯能量，得到所述第一源图像上各尺度各方向的改进拉普拉斯能量和为：
[0027][0028]
[0029]
其中，s表示可变间距，表示l尺度k方向上位置为(i,j)的方向子带系数，表示改进的拉普拉斯能量，表示l尺度k方向上位置为(i,j)对应的改进的拉普拉斯能量和，参数m和n窗口大小为(2m+1)
×
(2n+1)。
[0030]
在其中一个实施例中，所述多尺度变换为非下采样剪切波变换。
[0031]
一种机载双频高分辨sar图像融合装置，所述装置包括：
[0032]
多尺度变换模块，用于分别对已精确配准的第一源图像和第二源图像进行多尺度变换，得到所述第一源图像和所述第二源图像对应的低频子带系数和各方向的高频子带系数；所述第一源图像为高频段高分辨sar二维实图像；所述第二源图像为低频段高分辨sar二维实图像；
[0033]
低频子带系数融合模块，用于根据所述第一源图像和所述第二源图像对应的低频子带系数，得到加性噪声形式的观测矩阵，采用非负矩阵分解算法分解所述观测矩阵，得到第一分解结果，根据所述观测矩阵以及所述第一分解结果，得到特征矩阵，对所述特征矩阵进行非负矩阵分解，得到低频融合系数；
[0034]
高频子带系数融合模块，用于采用改进的拉普拉斯能量和方法对所述第一源图像和所述第二源图像对应的各方向的高频子带系数进行合并，得到高频融合系数；
[0035]
图像融合模块，用于对所述低频融合系数和所述高频融合系数进行逆变换，得到融合图像。
[0036]
一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0037]
分别对已精确配准的第一源图像和第二源图像进行多尺度变换，得到所述第一源图像和所述第二源图像对应的低频子带系数和各方向的高频子带系数；所述第一源图像为高频段高分辨sar二维实图像；所述第二源图像为低频段高分辨sar二维实图像；
[0038]
根据所述第一源图像和所述第二源图像对应的低频子带系数，得到加性噪声形式的观测矩阵，采用非负矩阵分解算法分解所述观测矩阵，得到第一分解结果，根据所述观测矩阵以及所述第一分解结果，得到特征矩阵，对所述特征矩阵进行非负矩阵分解，得到低频融合系数；
[0039]
采用改进的拉普拉斯能量和方法对所述第一源图像和所述第二源图像对应的各方向的高频子带系数进行合并，得到高频融合系数；
[0040]
对所述低频融合系数和所述高频融合系数进行逆变换，得到融合图像。
[0041]
一种终端可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0042]
分别对已精确配准的第一源图像和第二源图像进行多尺度变换，得到所述第一源图像和所述第二源图像对应的低频子带系数和各方向的高频子带系数；所述第一源图像为高频段高分辨sar二维实图像；所述第二源图像为低频段高分辨sar二维实图像；
[0043]
根据所述第一源图像和所述第二源图像对应的低频子带系数，得到加性噪声形式的观测矩阵，采用非负矩阵分解算法分解所述观测矩阵，得到第一分解结果，根据所述观测矩阵以及所述第一分解结果，得到特征矩阵，对所述特征矩阵进行非负矩阵分解，得到低频融合系数；
[0044]
采用改进的拉普拉斯能量和方法对所述第一源图像和所述第二源图像对应的各方向的高频子带系数进行合并，得到高频融合系数；
[0045]
对所述低频融合系数和所述高频融合系数进行逆变换，得到融合图像。
[0046]
上述机载双频高分辨sar图像融合方法、装置、设备及介质，通过非负矩阵分解算法对低频子带系数进行融合，能够保留图像的全部特征并去除冗余信息，具体是根据第一源图像和第二源图像对应的低频子带系数，得到加性噪声形式的观测矩阵，可以将sar图像乘性噪声形式的噪声模型转换为加性噪声形式，接着，利用非负矩阵分解算法分解观测矩阵，得到第一分解结果，观测矩阵可由真实图像和相干斑噪声表示，第一分解结果中包含低频子带系数对应的真实图像特征信息，由观测矩阵以及第一分解结果，可以得到特征矩阵，然后，对特征矩阵进行非负矩阵分解，得到低频融合系数，通过改进的拉普拉斯能量和对高频子带系数进行融合，保留图像的边缘和纹理等信息，从而获得高质量的融合图像。本发明实施例，能够获得分辨率更高、信息更全面以及失真更小的高、低频段sar融合图像。
附图说明
[0047]
图1为一个实施例中机载双频高分辨sar图像融合方法的流程示意图；
[0048]
图2为一个实施例中nsst(non-subsampled shearlet transform，非下采样剪切波变换)变换的流程示意图；
[0049]
图3为一个实施例中成像场景的ku波段csar(circular sar，圆周合成孔径雷达)二维成像结果及局部区域放大图，其中，(a)是ku波段csar二维成像结果，(b)是区域1的ku波段csar二维成像结果，(c)是区域2的ku波段csar二维成像结果；
[0050]
图4为一个实施例中成像场景的l波段csar二维成像结果及局部区域放大图，其中，(a)是l波段csar二维成像结果，(b)是区域1的l波段csar二维成像结果，(c)是区域2的l波段csar二维成像结果；
[0051]
图5为一个实施例中区域1的融合结果，其中，(a)是区域1的ku波段csar二维成像结果，(b)是区域1的l波段csar二维成像结果，(c)是区域1的融合结果；
[0052]
图6为一个实施例中区域2的融合结果，其中，(a)是区域2的ku波段csar二维成像结果，(b)是区域2的l波段csar二维成像结果，(c)是区域2的融合结果；
[0053]
图7为一个具体实施例中机载双频高分辨sar图像融合方法的流程示意图；
[0054]
图8为一个实施例中机载双频高分辨sar图像融合装置的结构框图；
[0055]
图9为一个实施例中终端设备的内部结构图。
具体实施方式
[0056]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0057]
在一个实施例中，如图1所示，提供了一种机载双频高分辨sar图像融合方法，包括以下步骤：
[0058]
步骤102，分别对已精确配准的第一源图像和第二源图像进行多尺度变换，得到第一源图像和第二源图像对应的低频子带系数和各方向的高频子带系数。
[0059]
第一源图像为高频段高分辨sar二维实图像；第二源图像为低频段高分辨sar二维实图像。本发明实施例采用nsst作为多尺度分解工具，分别对第一源图像和第二源图像进行多尺度分解，获得低频子带系数和各方向的高频子带系数nsst变换具有多尺度、平移不变性以及多方向的紧支撑结构等优点，可以对图像进行更为精细的表示，从而更充分地获得源图像中包含的大量细节和纹理信息。
[0060]
步骤104，根据第一源图像和第二源图像对应的低频子带系数，得到加性噪声形式的观测矩阵，采用非负矩阵分解算法分解观测矩阵，得到第一分解结果，根据观测矩阵以及第一分解结果，得到特征矩阵，对特征矩阵进行非负矩阵分解，得到低频融合系数。
[0061]
非负矩阵分解(nmf,non-negative matrix factorization)算法相较于传统的一些算法而言，具有实现上的简便性、分解形式和分解结果上的可解释性，以及占用存储空间少等诸多优点。为高效处理通过矩阵存放的数据，一个关键的必要步骤便是对矩阵进行分解操作。通过矩阵分解，一方面将描述问题的矩阵的维数进行削减，另一方面也可以对大量的数据进行压缩和概括。
[0062]
由于低频子带系数是源图像的主要和近似内容，其对应一个非负矩阵，因此，采用非负矩阵分解算法对低频子带系数进行计算，得到融合后的低频融合系数传统的非负矩阵分解算法是基于加性噪声建立的，对于sar图像，其噪声模型是乘性噪声，因此，需要将乘性噪声转换为加性噪声，以适应于非负矩阵分解。
[0063]
通过将观测图像转化为加性噪声和形式，得到观测矩阵，观测图像包括第一源图像和第二源图像对应的低频子带系数，观测图像可以用真实图像与噪声的乘积来表示，通过对观测矩阵进行非负矩阵分解，得到第一分解结果，第一分解结果中包含与真实图像对应的特征信息，观测矩阵以及第一分解结果，就可以得到特征矩阵，通过对特征矩阵的提取，就可以最大程度地保留图像的特征信息，并有效抑制杂乱背景，进一步对特征信息进行非负矩阵分解，得到低频融合系数。
[0064]
步骤106，采用改进的拉普拉斯能量和方法对第一源图像和第二源图像对应的各方向的高频子带系数进行合并，得到高频融合系数。
[0065]
高频子带系数反映了源图像灰度变换的剧烈程度，对应着较强的边缘、纹理等显著细节特征，sml(sum of modified laplacian，拉普拉斯能量和)反映了图像的边缘特征信息，在一定程度上能恰当地反应图像的聚焦特性和清晰度，传统sml算法只在水平和垂直方向上计算每个像素点的变步长拉普拉斯算子值(modified laplacian，ml)，而改进的拉普拉斯能量和(new sum of modified laplacian，nsml)算法是在水平、垂直和斜对角线共八个方向上计算每个像素点的变步长拉普拉斯算子值，增加了斜对角线上的四个方向，在充分利用图像当前像素点对当前清晰度贡献的同时，有效地抑制了噪声的干扰。nsml融合算法具有极佳的清晰度判别能力，清晰度越高的图像，对应的nsml值也越大，采用nsml取大作为高频子带系数融合规则，选择nsml值较大者作为高频融合系数。
[0066]
步骤108，对低频融合系数和高频融合系数进行逆变换，得到融合图像。
[0067]
上述机载双频高分辨sar图像融合方法中，通过非负矩阵分解算法对低频子带系数进行融合，能够保留图像的全部特征并去除冗余信息，具体是根据第一源图像和第二源图像对应的低频子带系数，得到加性噪声形式的观测矩阵，可以将sar图像乘性噪声形式的
噪声模型转换为加性噪声形式，接着，利用非负矩阵分解算法分解观测矩阵，得到第一分解结果，观测矩阵可由真实图像和相干斑噪声表示，第一分解结果中包含低频子带系数对应的真实图像特征信息，由观测矩阵以及第一分解结果，可以得到特征矩阵，然后，对特征矩阵进行非负矩阵分解，得到低频融合系数，通过改进的拉普拉斯能量和对高频子带系数进行融合，保留图像的边缘和纹理等信息，从而获得高质量的融合图像。本发明实施例，能够获得分辨率更高、信息更全面以及失真更小的高、低频段sar融合图像。
[0068]
在一个实施例中，如图2所示，提供了一种nsst变换的流程示意图，方法还包括：多尺度变换为非下采样剪切波变换。在本实施例中，nsst包括两个步骤：基于非下采样金字塔(nsp)的多尺度分解和基于改进的剪切波滤波器组(sf)的方向局部化。图2中nsp分解层数为2，在nsp分解中，源图像经第一层nsp分解后得到图像的低频子带系数和高频子带系数之后对低频子带系数进行第二层nsp分解得到低频子带系数和高频子带系数完成nsp分解后，开始进行方向局部化，即利用改进的剪切波滤波器对高频系数矩阵分别实现方向局部化，其具体过程为：首先，利用“meyer”小波构造窗函数，生成剪切波滤波器；其次，将生成的剪切波滤波器从伪极化坐标系映射到笛卡尔坐标系；之后，将高频系数矩阵分别和剪切波滤波器进行卷积运算，获得各自的方向子带系数；最后，通过逆傅里叶变换得到各方向的高频子带系数。经过上述操作，可获得第一源图像的低频子带系数和各方向的高频子带系数第二源图像的低频子带系数和各方向的高频子带系数
[0069]
在一个实施例中，根据第一源图像和第二源图像对应的低频子带系数，得到加性噪声形式的观测矩阵，采用非负矩阵分解算法分解观测矩阵，得到第一分解结果，根据观测矩阵以及第一分解结果，得到特征矩阵，对特征矩阵进行非负矩阵分解，得到低频融合系数包括：根据第一源图像和第二源图像对应的低频子带系数，得到观测图像为：
[0070][0071]
其中，y(x,y)为观测图像，y(x,y)＝x(x,y)n(x,y)，x(x,y)为真实图像，n(x,y)为相干斑噪声，并认为x(x,y)与n(x,y)是相互独立的随机过程，n(x,y)是独立同分布噪声图像，且服从gamma分布，为第一源图像对应的低频子带系数，为第二源图像对应的低频子带系数，对观测图像进行对数变换，得到加性噪声形式的观测矩阵为：
[0072][0073][0074]
其中，ly为观测矩阵，对观测矩阵进行非负矩阵分解，得到第一分解结果为：
[0075][0076]
其中，为基矩阵，为系数矩阵，为噪声，在本发明实施例中，的列数设定为1；根据观测矩阵以及第一分解结果，得到对该式两边取对数，可
得：
[0077][0078]
由此，得到特征矩阵为：
[0079][0080]
其中，v
x
为特征矩阵；对特征矩阵进行非负矩阵分解，得到第二分解结果为：
[0081]vx
＝wh+ε
[0082]
其中，w为特征基，h为系数基，ε为误差，设定w的列数r＝1；根据第二分解结果，得到特征基；根据特征基，得到低频融合系数。
[0083]
在本实施例中，在对观测矩阵进行非负矩阵分解时，当噪声降低到预设的第一阈值时，算法收敛，在对特征矩阵进行非负矩阵分解时，误差降低到预设的第二阈值时，迭代停止，得到唯一的特征基w，此特征基w包含了低频子带系数的完整特征，即w为合并后的低频融合系数采用非负矩阵分解算法对双频高分辨sar图像的低频子带系数进行融合，通过提取观测图像中的特征信息，抑制噪声，能够保留源图像的更多的有用信息，并且去除更多的冗余信息。
[0084]
在一个实施例中，采用改进的拉普拉斯能量和方法对第一源图像和第二源图像对应的各方向的高频子带系数进行合并，得到高频融合系数的步骤，包括：根据第一源图像对应的各方向的高频子带系数的改进拉普拉斯能量，得到第一源图像上各尺度各方向的改进拉普拉斯能量和为：
[0085][0086][0087]
其中，s表示可变间距，表示l尺度k方向上位置为(i,j)的方向子带系数，表示改进的拉普拉斯能量，表示l尺度k方向上位置为(i,j)对应的改进的拉普拉斯能量和，参数m和n窗口大小为(2m+1)
×
(2n+1)；根据第二源图像对应的各方向的高频子带系数的改进拉普拉斯能量，得到第二源图像上各尺度各方向的改进拉普拉斯能量和；采用预先设置的高频子带系数融合规则判断第一源图像和第二源图像在对应位置上的拉普拉斯能量和，得到高频融合系数。采用nsml取大作为高频子带系数融合规则，定义如下：
[0088][0089]
其中，表示集合中尺度为l、方向为k、坐标为(i,j)的高频子带系数；
表示集合中尺度为l、方向为k、坐标为(i,j)的高频子带系数；表示尺度为l、方向为k、坐标(i,j)处融合后的高频子带系数，根据融合后的高频子带系数得到高频融合系数为
[0090]
在本实施例中，改进的拉普拉斯能量和方法具有较强的捕捉高频子带边缘系数的能力，通过改进的拉普拉斯能量和方法对双频高分辨sar图像的高频子带系数进行融合，能够有助于获得纹理更丰富、视觉质量更高的融合图像，使得融合图像对比度更强且纹理更加清晰。
[0091]
最后，对计算得到的低频融合系数和高频融合系数进行nsst逆变换操作，参数设置与nsst变换相对应，就可以得到双频高分辨sar融合图像。
[0092]
在一个具体实施例中，如图7所示，首先，利用nsst变换对已精确配准的第一源图像和第二源图像分别进行多尺度分解，得到相应的低频子带系数和各方向高频子带系数，由于低频子带系数能够反映源图像的大致轮廓，能够保留源图像的区域特性，并且能够集中源图像的大部分能量，因此，通过基于非负矩阵分解算法的低频融合规则来融合第一源图像和第二源图像的低频子带系数，得到低频融合系数，基于非负矩阵分解算法的低频融合规则能够更加真实、准确地反映初始图像的轮廓。由于高频子带系数能够反映图像的细节和边缘分量，且高频子带系数的分布具有明显的方向性，因此，采用基于改进的拉普拉斯能量和方法的高频融合规则，通过计算各尺度、各方向上每一位置的拉普拉斯能量和，进而确定高频融合系数，能够有效提取图像的轮廓信息；最后，利用nsst逆变换对融合后的高、低频融合系数进行重构，从而得到融合图像f。
[0093]
在一个实施例中，通过实测数据实验对本发明进行了验证，实测数据实验结果证明了本发明的有效性。在实测数据实验中，使用的是机载l波段(低频段)与ku波段(高频段)csar二维实图像，成像场景是800m
×
800m(x轴方向
×
y轴方向)的城市路口，成像场景中心为笛卡尔坐标系原点，图3是成像场景的ku波段csar二维成像结果及局部区域放大图，其中，(a)是ku波段csar二维成像结果，(b)是区域1的ku波段csar二维成像结果，(c)是区域2的ku波段csar二维成像结果，其中水平方向为x轴方向，垂直方向为y轴方向。从图3中可以看出，ku波段csar图像呈现了成像场景的外观景象，与光学图像有些类似，可以较为清晰地看见场景轮廓和目标细节特征。图4是成像场景的l波段csar二维成像结果及局部区域放大图，其中，(a)是l波段csar二维成像结果，(b)是区域1的l波段csar二维成像结果，(c)是区域2的l波段csar二维成像结果，其中水平方向为x轴方向，垂直方向为y轴方向，从图4中可以看出，l波段csar图像比较黯淡，对目标细节特征的描述能力不佳，但其具有较强的穿透力，能较好地对隐蔽目标成像，如树林中或地表下的景物和隐蔽目标。图5是区域1的融合结果，其中，(a)是区域1的ku波段csar二维成像结果，(b)是区域1的l波段csar二维成像结果，(c)是区域1的融合结果，(c)表示(a)和(b)的融合结果。图5中，矩形框区域为道路中间的绿化带区域，(a)中只能看出绿化带的整体轮廓，至于绿化带中被植被覆盖的景物，图中并没有很好的呈现出来，图5(b)中被植被覆盖的景物可以较为清晰地呈现，但是绿化带的整体轮廓没有展现出来，无法判断绿化带和路面的分界线。在利用本发明方法对(a)、(b)进行融合后，从(c)中可以看出，不仅能呈现出绿化带区域被植被覆盖的景物，还能清晰地看出绿化带和路面的分界线，充分展现了该区域的信息。图6展示的是区域2融合结果。其中，(a)是
区域2的ku波段csar二维成像结果，(b)是区域2的l波段csar二维成像结果，(c)是区域2的融合结果，(c)表示(a)和(b)的融合结果。图中，蓝色圆圈区域为某人造地物，(a)中只能看出该人造地物是一个多边形物体，至于中间区域是否存在物体以及分布情况，图中并不能呈现出来，(b)中可以明显地看出中间区域的分别情况，但是整体轮廓就较为暗淡，不能明显的分别出来，利用本发明方法对(a)、(b)进行融合后，从(c)中可以看出，该人造地物的整体轮廓以及内部物体的分别情况都能较好地呈现出来。
[0094]
通过以上l波段与ku波段csar图像的融合结果可知：本发明方法能实现高、低频段sar图像的融合，并且可以获得更好的融合效果，有利于后续的sar图像解译以及目标检测识别，具有较好的实用性。
[0095]
应该理解的是，虽然图图1和图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0096]
在一个实施例中，如图8所示，提供了一种机载双频高分辨sar图像融合装置，包括：多尺度变换模块802、低频子带系数融合模块804、高频子带系数融合模块806和图像融合模块808，其中：
[0097]
多尺度变换模块802，用于分别对已精确配准的第一源图像和第二源图像进行多尺度变换，得到第一源图像和第二源图像对应的低频子带系数和各方向的高频子带系数；第一源图像为高频段高分辨sar二维实图像；第二源图像为低频段高分辨sar二维实图像；
[0098]
低频子带系数融合模块804，用于根据第一源图像和第二源图像对应的低频子带系数，得到加性噪声形式的观测矩阵，采用非负矩阵分解算法分解观测矩阵，得到第一分解结果，根据观测矩阵以及第一分解结果，得到特征矩阵，对特征矩阵进行非负矩阵分解，得到低频融合系数；
[0099]
高频子带系数融合模块806，用于采用改进的拉普拉斯能量和方法对第一源图像和第二源图像对应的各方向的高频子带系数进行合并，得到高频融合系数；
[0100]
图像融合模块808，用于对低频融合系数和高频融合系数进行逆变换，得到融合图像。
[0101]
在其中一个实施例中，低频子带系数融合模块804还用于根据第一源图像和第二源图像对应的低频子带系数，得到观测图像为：
[0102][0103]
其中，y(x,y)为观测图像，y(x,y)＝x(x,y)n(x,y)，x(x,y)为真实图像，n(x,y)为相干斑噪声，为第一源图像对应的低频子带系数，为第二源图像对应的低频子带系数，对观测图像进行对数变换，得到加性噪声形式的观测矩阵为：
[0104]
[0105][0106]
其中，ly为观测矩阵，
[0107]
在其中一个实施例中，低频子带系数融合模块804还用于对观测矩阵进行非负矩阵分解，得到第一分解结果为：
[0108][0109]
其中，为基矩阵，为系数矩阵，为噪声；根据观测矩阵以及第一分解结果，得到基矩阵的表达式为：
[0110][0111]
根据基矩阵的表达式，得到特征矩阵为：
[0112][0113]
其中，v
x
为特征矩阵。
[0114]
在其中一个实施例中，低频子带系数融合模块804还用于对特征矩阵进行非负矩阵分解，得到第二分解结果为：
[0115]vx
＝wh+ε
[0116]
其中，w为特征基，h为系数基，ε为误差；根据第二分解结果，得到特征基；根据特征基，得到低频融合系数。
[0117]
在其中一个实施例中，高频子带系数融合模块806还用于根据第一源图像对应的各方向的高频子带系数的改进拉普拉斯能量，得到第一源图像上各尺度各方向的改进拉普拉斯能量和；根据第二源图像对应的各方向的高频子带系数的改进拉普拉斯能量，得到第二源图像上各尺度各方向的改进拉普拉斯能量和；采用预先设置的高频子带系数融合规则判断第一源图像和第二源图像在对应位置上的拉普拉斯能量和，得到高频融合系数。
[0118]
在其中一个实施例中，高频子带系数融合模块806还用于根据第一源图像对应的各方向的高频子带系数的改进拉普拉斯能量，得到第一源图像上各尺度各方向的改进拉普拉斯能量和为：
[0119][0120][0121]
其中，s表示可变间距，表示l尺度k方向上位置为(i,j)的方向子带系数，表示改进的拉普拉斯能量，表示l尺度k方向上位置为(i,j)对应的改进的拉普拉斯能量和，参数m和n窗口大小为(2m+1)
×
(2n+1)。
[0122]
在其中一个实施例中，多尺度变换模块802还用于多尺度变换为非下采样剪切波
变换。
[0123]
关于机载双频高分辨sar图像融合装置的具体限定可以参见上文中对于机载双频高分辨sar图像融合方法的限定，在此不再赘述。上述机载双频高分辨sar图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中，也可以以软件形式存储于终端设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0124]
在一个实施例中，提供了一种终端设备，该终端设备可以是终端，其内部结构图可以如图9所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机载双频高分辨sar图像融合方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的输入装置可以是显示屏上覆盖的触摸层，也可以是终端设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0125]
本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0126]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
[0127]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
[0128]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0129]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0130]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。