。运两种数据的多光谱波段分别是蓝、绿、红W及近红外波段，共4个波段，运两种数据的 全色与多光谱遥感图像的空间分辨率之比为4:1。本发明方法将与5种流行或近年来较先进 的方法进行比较，包括化OV巧方法 [4] ,Gram-Schmidt(GS)方法[5] ,AWLP方法[6]，W及经典的 基于稀疏表示的融合方法化?51〇[13和基于两步字典训练的稀疏重构方法(TDSR) W。其中， 化ovey与GS方法是基于分量替换的融合方法，运两种方法已经集成到遥感图像处理平台 化NVI,The Environment for Visualizing Images)中。AWLP是经典的基于ARSIS的全色与 光谱融合方法，该方法在图像融合大赛中取得出色的成绩W"CPSR与TDSR方法是近年来提 出的同样基于稀疏表示的全色与多光谱图像融合方法。上述方法的参数设置与各自参考文 献一致。
[0045] 由于实际卫星数据没有标准参考融合结果图像，本发明采用常用无参考图像的评 价指标（QNR，Quality with No Reference)^]进行评价，其包括评价光谱信息损失程度Da 和评价空间信息损失程度Ds。
[0046] 实施例1:
[0047] 遵从上述技术方案，如图1所示，一种基于字典稀疏重构的全色与多光谱遥感图像 融合方法，包括W下步骤：
[004引记YPAN和YMS分别表示已知的全色图像和多光谱图像，XMS表示未知高空间分辨率 的多光谱图像，其中YMS和XMS的第b个波段的图像分别记为YMSb(b = l，2,. . .，B)和XMSb(b = I，2,. . .，B)，B表示光谱波段总数目，记全色图像与多光谱图像的空间分辨率之比为丫 ： I; [0049 ]步骤一，高空间分辨率多光谱图像字典的构造
[0050]步骤1.1，采用双线性差值的方法将B个波段的YMSb(b = l，2,. . .，B)分别上采样成 与YPAN大小相同的图像，记为MSb(b = l，2,...，B);本发明中所指的高空间分辨率图像是指 达到米级或亚米级的遥感图像；
[00引]步骤1.2,从YPANW及其对应位置处的MSb(b=l，2, . . .，B)中随机选M个大小为 图像块，并将图像块拉直成向量依次排列，组成第a(aeb)个波段的子字典;本实施 例中，选取M = 1000 O个大小为12 X 12的图像块，则式I变成：
[0052] Da=[y_MSb,i，y_MSb,2,. . .，y_MSb,ioooo,yPANi,yPAN2,. . . ,yPANioooo]
[0053] 上式中，y_MSb, j，与yPANj分别表示MSb与YPAN图像中的第j (j = I，2，…10000)个图 像块拉直成的向量；
[0054] 步骤1.3,采用步骤1.2的方法依次构造 B(B = 4)个波段的子字典化(b=l，2,3,4);
[0055] 步骤1.4,子字典的级联构成了高空间分辨率多光谱图像字典D，即D=[DiD2D姐4]t。
[0056] 步骤二，基于稀疏重构的图像融合
[0化7]步骤2.1，对￥156化=1，2,. . .，B)、YPAN分别W大小为(^/5本)x(V^知、V^x^/^的滑 动窗口依次按照从左上到右下的顺序提取图像块，提取图像块时的步长均为1，再将图像块 拉直并依次排列组成矩阵yMSb(b = l，2, . . .，B)与yPAN;在本实施例中，滑动窗口 ^ X 分别取3 X 3和 12 X 12的窗 口 ；
[0化引步骤2.2，取丫 = 4，则4
，其中1化12 e吸12X。与 Igx; e腰3X3为单位矩阵，1为长度为丫的全1向量;令M2 = (Wl I，W21，W31，Wj )，其中I €化'"。为 单位矩阵，并根据文献[8]，在QuickBird卫星数据中Wi = O. 1139，W2 = 0.2315，W3 = 0.2308， ￥4=0.4239；
[0化9] 步骤2.3,建立模型，令：
[0060] y=MXxMS+v
[006。其中，
X 12的滑动窗口依次按照从左上到右下的顺序提取图像块，并图像将块拉直依次排列组成 的矩阵;Vl与v2分别表示未知高空间分辨率多光谱图像退化成多光谱图像与全色图像的噪 声；
[0062] 步骤2.4，采用BP算法求解下面方程
[0063]
[0064] 其中，巫=MD,D表示步骤1.4中的字典，a为稀疏表示系数，即保证X可W用稀疏表 示字典中原子的线性组合表示；e为正常数，取0.1; ||a| Io表示a的范数，即向量中非零元 素个数；I I厂巫日I h为厂巫a的范数；
[00化]步骤2.5,融合图像XMS可W重构为：
[0066] XMS = D ?曰
[0067] 步骤2.6,将XMSb矩阵中的每一列排列成12X12大小的块，再将运些块按照提取的 顺序（从左上到右下的顺序)放到XMSb的对应位置处，并取平均，即对同一位置的子带系数 进行累加并除W累加的次数，从而得到融合图像MSb(b=l，2,3,4)。
[0068] 图2(a)和图2(b)是一组空间分辨率为2.8米多光谱图像和空间分辨率为0.7米全 色图像的实际QuickBird卫星图像数据。几种方法的融合结果如图2(c)-化)所示，并且将图 中上部白色框中区域进行放大显示在每组结果的右下方。从图2(c)可W看出化ovey方法得 到的融合结果出现明显的光谱崎变，在绿色植被处更为明显。图2(d)为GS方法得到的融合 结果，其中源图像的空间细节信息较好的保留下来，但是出现光谱信息丢失的现象。而 AWLP，CPSR与TDSR方法在光谱保持性方面更优，如图2(e)-图2(g)所示。观察图2化何W发 现在图像光谱颜色W及空间细节处本方法融合的更加自然。
[0069] 表1给出客观评价结果，从表中评价指标可W看出，本方法对与实际QuiCkBird卫 星图像数据能更有效的融合，在光谱和空间信息保持上均具有更好的融合结果。
[0070] 表1如ickBrid卫星实际数据几种方法融合结果的客观评价
[0071]
[0072] 实施例2:
[0073] 本实施例与实施例1的步骤基本相同，根据文献[引，在IKONOS卫星数据中M2中参 数取:Wi = O. 1071，W2 = 0.2646，W3 = 0.2696，W4 = 0.3587,其他步骤参数均与实施例1中相 同。
[0074] 图3 (a)和图3 (b)分别为IKONOS卫星数据中4米空间分辨率的多光谱图像和1米空 间分辨率的全色图像。图3(c)-图3化)分别是几种方法的融合结果，同时对图中的部分区域 进行放大，并将其显示在每组融合结果的右下角处。通过视觉观察可W看出，图3(c)和图3 (d)中化ovey和GS方法在河流区域处色彩融合与原始多光谱图像色彩差异较大，有明显的 光谱失真。图3 (e)-图3化)分别是AWLP，CPSR，TDSR W及本章提出方法的融合结果，它们之间 视觉差异较小。
[0075] 表2是对图3中融合结果的客观指标评价。虽然TSDR方法在Da指标上最优，但是对 于Ds和QNR指标本发明方法更具优势，说明本发明方法具有更少的空间信息损失，并且在综 合指标上更优。
[0076] 表2IK0N0S卫星实际数据W及几种方法的融合结果
[0077]
【主权项】
1. 一种基于子字典稀疏重构的全色与多光谱遥感图像融合方法，其特征在于，包括以 下步骤： 记YPAN和YMS分别表示已知的全色图像和多光谱图像，XMS表示未知高空间分辨率的多 光谱图像，其中YMS和XMS的第b个波段的图像分别记为YMSb(b = l，2, . . .，B)和XMSb(b = l，2.. . .，B)，B表示光谱波段总数目，记全色图像与多光谱图像的空间分辨率之比为γ : 1; 步骤一，高空间分辨率多光谱图像字典的构造 步骤1.1，将Β个波段的YMSb(b = 1，2，. . .，Β)分别上采样成与ΥΡΑΝ大小相同的图像，记为 MSb(b=l,2,. . . ,B)； 步骤1.2,从YPAN以及其对应位置处的MSb(b = l,2, . . .，B)中随机选Μ个大小为士X* 图像块，并将图像块拉直成向量依次排列，组成第a(aeb)个波段的子字典，即： Da= [y_MSb,i,y_MSb,2,. . . ,y_MSb,M,yPANi,yPAN2,. . . ,υΡΑΝμ]式 1 式1中y_MSb, j，与yPANj分别表示MSb与ΥΡΑΝ图像中的第j个图像块拉直成的向量，j = 1，2.. ..,Μ； 步骤1.3,采用步骤1.2的方法依次构造 Β个波段的子字典Db(b=l，2,. . .，B); 步骤1.4,子字典的级联构成了高空间分辨率多光谱图像字典D，即0=[0山2. . .Db. . .Db ]T〇 步骤二，基于稀疏重构的图像融合 步骤2.1，对YMSb(b = l，2,…，Β)、ΥΡΑΝ分别以大小为、'X;的滑动窗 口依次按照从左上到右下的顺序提取图像块，提取图像块时的步长均为1，再将图像块拉直 并依次排列组成矩阵yMSb(b=l，2,. . .，Β)与yPAN; 步骤2 · 2，令％ = (1 /厂)·③(1: (1(柄1 ))，其中I''和?(:命齡編为单 位矩阵，1为长度为γ的全1向量;令m2=(w1i，W2i，…， Wbi，…，WBi)，其中1^:^_为单位矩 阵，Wb(b=l，2,. . .，B)表示每个波段对应线性组合的权重，并且满足 步骤2.3,建立模型，令： y=MXxMS+v 式 2 其中xMS表示XMSb以▲ X ▲的 j' ~ 滑动窗口依次按照从左上到右下的顺序提取图像块，并图像将块拉直依次排列组成的矩 阵;vl与v2分别表示未知高空间分辨率多光谱图像退化成多光谱图像与全色图像的噪声； 步骤2.4，采用BP算法求解下面方程其中，?=MD，D表示步骤1.4中的字典，α为稀疏表示系数;ε表示容许误差，I |α| |〇表示α 的Ιο范数，I ly-ΦαΙ |2表示y-Φα的h范数； 步骤2.5,将xMS进行重构： xMS = D · α 式4 步骤2.6，将将xMSb矩阵中的每一列排列成IX 士大小的块，再将这些块按照从左上到 右下的顺序放到XMSb的对应位置处，并取平均，从而得到融合图像XMSb(b=l，2,. . .，B)。
【专利摘要】本发明公开了一种基于子字典稀疏重构的全色与多光谱遥感图像融合方法，通过将高空间分辨率多光谱字典看成是由各个波段的高空间分辨率光谱字典的合并组成，再分别通过各个波段的光谱图像和全色图像构建各个波段的子字典，使其即包含光谱信息又包含空间信息，从而解决因缺乏高空间分辨率的多光谱数据其字典较难构建的问题；并基于稀疏重构模型给出完整的融合方法。与现有同类方法相比，本发明不需要引入其它多组全色与多光谱图像或其它模拟高空间分辨率的多光谱图像，而是直接采用源图像构建，提高了方法的实际应用性能与字典的自适应性，使得融合图像在保持光谱信息的同时融入更多的空间细节信息，融合效果更好。
【IPC分类】G06T5/50
【公开号】CN105719262
【申请号】CN201610040489
【发明人】王珺, 彭进业, 周剑虹, 艾娜, 马建, 祝轩, 管子玉, 杨瑞靖, 罗鹏
【申请人】西北大学
【公开日】2016年6月29日
【申请日】2016年1月21日