一种提升微波成像仪空间分辨率的方法与流程

本发明涉及图像信息处理
技术领域：
，尤其涉及基于融合技术的提升空间分辨率的方法。
背景技术：
：过去已经有一些没有辅助数据的提高微波成像仪空间分辨率的算法被提出。long和daum提出了两种方法，backusgilbert变换(bgi)技术和散射图像重建算法(sir)，来提升ssm/i图像的空间分辨率。ssm/i通过对产品表面亮度和辐射方向的测量进行建模，这两种方法重建了底层亮度的分布。sun等人用bgi方法，通过应用一个噪声参数优化来提升fy-3/mwri的空间分辨率。近年来，基于巴拿赫空间中的梯度法，lenti等提出了一种提高微波辐射计数据空间分辨率的重建技术。此方法在巴拿赫空间中形成一个优化函数，然后使用迭代正则化算法来派生解决方案。由于这些方法使用了较少的辅助信息，它们提高微波辐射计的空间分辨能力时明显受到限制。在光学图像处理领域,基于融合的方法来提高多光谱和高光谱图像的空间分辨率被提出,例如,黄等提出了一种基于稀疏矩阵分解的融合方法来提高多光谱图像的空间分辨率，该方法采用高空间分辨率的rgb图像和低空间分辨率的多光谱图像的重叠来实现。song等人提出了一个基于字典学习的方法来提高高光谱图像的空间分辨率，该方法主要利用低空间分辨率高光谱图像的光谱信息和高空间分辨率多光谱图像的空间信息之间的互补性。然而，这些方法不能应用于mwri和mersi图像的融合,因为他们之间没有重叠的光谱范围和空谱之间的互补性。在光学和微波数据的融合方面,一些研究人员研究了光学和合成孔径雷达(sar)数据之间的融合。和被动微波辐射计明显不同,sar的特点是高空间分辨率,从而可以利用sar图像的空间信息。alparone等提出了利用sar图像的纹理信息来提高美国landsat/etm+图像的空间分辨率。为了加强黄沙景观的结构细节,拉赫曼等提出了一种融合sar和etm+的方法来融合表面和次表面的特性。为了提高城市地区土地利用/覆盖类型的解释和分类,amarsaikhan等提出了高分辨率sar和光学图像的融合。这样的工作主要探讨了光学和sar数据之间空间信息的互补或相似性来增强空间的特性,但很少关注光谱信息。风云三号(fy-3)系列是中国的第二代极轨气象卫星，是为了满足中国天气预报、气候预测和环境监测等方面的迫切需要而发射。通过利用三颗卫星(fy-3a，fy-3b，fy-3c)，它捕获三维、全球、全天候信息，定量、准确地观测大气、海洋和陆地表面状态。作为成像组载荷fy-3重要成员，微波成像仪(mwri)和中分辨率成像仪(mersi)针对不同的应用而设计有不同的特性。mwri提供10个通道，工作频率从10ghz～89ghz，空间分辨率在15公里到85km。而mersi提供20通道，从0.4微米到14.4微米，空间分辨率0.25公里至1公里(通道1-5的空间分辨率为0.25km，通道6-20为1km)。因此，mwri传感器的设计产生潜在的降水数据，云、降水、积雪和土壤水分等等，从而提供数据源监测恶劣天气事件，研究水循环，研究全球气候和环境变化。但是由于mwri数据的低空间分辨率(lsr)限制了其在大尺度范围内的应用。另一方面，mersi数据的特点是多光谱成像和高空间分辨率(hsr)，可用于监测中小尺度强对流和云，并产生高质量的土地利用图。在本研究中，为了把mwri拓展到中小尺度的应用中去，我们试着通过融合mersi数据来提升它的空间分辨率。技术实现要素：本发明的目的在于克服现有技术的不足，提供一种提升微波数据空间分辨率的方法，充分利用了微波成像仪和高空间分辨率光学数据进行融合，并且将无云污染的情况和有云污染的情况结合到同一个框架内，有效地提升了微波成像仪的空间分辨率。本发明采用的技术方案为：一种提升微波成像仪空间分辨率的方法，包括以下步骤：步骤1、选取覆盖同一区域并且在同一时间段内获取的光学和微波图像作为输入。步骤2、对光学图像用双三次插值法进行下采样，使它和微波图像具有相同的空间分辨率，并判断光学图像是否有云污染。步骤3、若没有云污染，则把光学图像和微波图像进行联合训练，用稀疏编码的方法来学习一组字典使其拥有相同的表示系数。步骤4、为了获得超分辨率重建的微波图像，我们将相对应的光学图像在步骤2所得到的字典上进行稀疏编码，得到相对应的稀疏系数。步骤5、由于字典是联合训练得到的，所以光学和微波图像具有相同的稀疏系数，用步骤4得到的稀疏系数和对应的微波字典进行重建即可得到相对应的超分辨率重建后的微波图像。步骤6、将超分辨率重建后的微波图像作为引导图像，最初的微波图像作为输入图像，将联合双边滤波器应用到微波成像仪的每一个波段上进行滤波得到最终的微波图像。步骤7、对于有云污染的图像，参照其他时刻或地区的没有云污染的光学图像，将其对应的微波图像进行上述步骤3-6的方法进行重建，来获得高低分辨率的微波图像对。然后再对此时刻的有云污染的图像采用单张图像超分辨率重建的方法来获得重建的微波图像。作为优选，所述方法将光学图像的空间分辨率信息与微波图像进行融合，实现微波图像空间分辨率的提升。作为优选，所述使用引导滤波器来校正融合图像的光谱信息，从而得到最终的分辨率增强的微波图像。本发明的有益效果：(1)相对于以往的方法，本发明首次提出了基于融合技术的微波图像空间分辨率提升方法。(2)本发明的主要贡献在于无云污染的情况下的解决方案，相对于其他方法，能够有效的融合光学图像的空间信息和微波图像的光谱信息。(3)对于有云污染的情况，本发明将其与无云污染的情况融合到一个统一的框架中，利用单张图像的超分辨率重建方法，能够较好的保持微波图像的光谱信息。附图说明图1为本发明提升空间分辨率方法的流程示意图；图2是光谱域字典对的构造图；图3是进行超分辨率重建后引导滤波的示意图。具体实施方式下面结合附图和具体实施方式对本发明作进一步的说明。本发明以风云三号微波成像仪(mwri)和中分辨率成像仪(mersi)的融合为例来说明提升微波数据空间分辨率的方法。具体思路是充分利用mwri图像的光谱信息和mersi图像的空间信息通过融合的方法，将mersi图像的高空间分辨率信息融合到mwri图像中去，使得在保留mwri光谱信息的基础上提升其空间分辨率，并且在此基础上，将有云污染的情况和无云污染的情况统一到一个框架中，既提升了框架的简介性，又能获得具有更高空间分辨率的mwri图像。本发明的基本流程如图1所示，具体包括以下步骤：步骤1、选取覆盖同一区域并且在同一时间段内获取的mwri和mersi图像作为输入。考虑到在一个研究区域内包含的土地类型是有限的，因此可以假设mwri和mersi图像信号是在一个低秩的子空间内，因此可以使用一个包含基本光谱信号的字典来表示他们。本发明希望在mwri和mersi图像中有一个一一对应的字典来使其图像相互连结起来，这意味着mwri和对应的mersi字典中的任意一个元素都表示相同的土地覆盖类型的光谱成分。步骤2、对mersi图像用双三次插值法进行下采样，使它和mwri图像具有相同的空间分辨率，并判断mersi图像是否有云污染。把mersi图像的下采样图像块记为yl∈rm×t，输入的的mwri图像记为x∈rs×t，并且他们的第i个像素分别表示为xi∈rs，其中m表示mersi图像的波段数，s表示mwri图像的波段数。步骤3、如图2所示，若没有云污染，则把mersi图像和mwri图像进行联合训练，用稀疏编码的方法来学习一组字典使其拥有相同的表示系数。在这一步当中，将输入的三维矩阵拉成一个向量，由于mwri和mersi图像是来自于不同的波谱范围，本发明将他们的的像素联合起来记为z＝[x；yl]；来提升字典的表示能力，为了学习字典d，我们采用k-svd算法来优化以下式子：其中λ＝[α1,α2,…,αt],αi表示第i个像素的表示系数，||.||0表示整个向量中的非零元素的个数，其中ε表示预测误差，是一个非常小的常数。为了决定字典d中元素的个数，本发明采用虚拟维度的方法(该方法是为了辨认高光谱数据中来自不同信号源的个数的方法)。通过(1)式可以得到一个优化后的字典d，由于x和yl的关联性，他们的关联字典可以表示为d＝[dw；de],其中dw,de分别表示mwri和mersi图像的字典。为方便随后的稀疏编码过程，mersi字典的元素被重新归一化，然后mwri字典的元素会和相关联的mersi字典元素进行相同倍数的放大。步骤4、为了获得超分辨率重建的mwri图像，我们将相对应的mersi图像在步骤2所得到的字典上进行稀疏编码，得到相对应的稀疏系数。本发明将该步输入的高空间分辨率的mersi图像记为yh，使用正交匹配追踪算法来通过优化以下式子来获取表示系数：其中ε是最小误差。步骤5、由于字典是联合训练得到的，所以mwri和mersi图像具有相同的稀疏系数，用步骤4得到的稀疏系数和对应的mwri字典进行重建即可得到相对应的超分辨率重建后的mwri图像。通过下式：xs＝dwλ*(3)我们可以直接得到分辨率重建后的mwri图像。步骤6、将超分辨率重建后的mwri图像作为引导图像，最初的mwri图像作为输入图像，将该引导滤波器应用到微波成像仪的每一个波段上进行滤波得到最终的mwri图像。如图3所示将以上步骤中得到的二维的融合图像xs重新转换成三维图像，将其中一个带宽表示为is，相对应的mwri输入图像通过双三次插值法对其进行上采样使其和is具有相同的空间分辨率。把上采样后的mwri图像记为iu，相对应的引导滤波的输出图像为isg。由于光谱信息主要取决于像素值，所以本发明在isg和iu之间的每一个像素值上构建了一个激励噪声模型：其中j表示iu的第j个像素，nj表示不同的空间分辨率引起的每个像素值的建模噪声。为了把超分重建图像is的空间信息转换到isg上，本发明建立了一个局部线性化模型，其式子如下：其中αk和bk表示在局部窗口ωk中的一组常线性系数。当isg和is在每一个窗口上线性相关后，空间信息就可以从isg中得到了，结合(4)和(5)两个式子，可以得到其目标函数如下：在通过线性回归得到(αk,bk)后，最终的输出图像即可以通过下式得到：其中是所有重叠窗口第j个像素的平均系数，在对所有的波段进行引导滤波后，就可以得到最终的无云污染的高空间分辨率的mwri图像。步骤7、对于有云污染的图像，参照其他时刻或地区的没有云污染的mersi图像，将其对应的mwri图像进行上述步骤3-6的方法进行重建，来获得高低分辨率的mwri图像对。然后再对此时刻的有云污染的图像采用单张图像超分辨率重建的方法来获得重建的mwri图像。首先，本发明会从作为参照的lsr-hsrmwri图像中提取重叠的图像块，然后将其拉伸成一个向量来得到一组训练样本。lsr-hsrmwri图像的训练样本记为x和y，由于其空间的关联性，本发明将他们的像素联合起来，记为z＝[x；y],来学习一个字典，为了和无云污染的情况相一致，这里也使用k-svd的方法来优化下式来学习字典d：由于x和y的相关关系，他们的关联字典可记为d＝[dh；dl]，其中dh,dl分别表示高低分辨率图像的基本空间结构的字典。考虑到mwri每个波段空间分辨率不同，所以对每一个波段都学习一个字典。在重建的步骤中，首先将每一个输入的mwri图像和训练样本中一样分成图像块，然后再拉伸成一个个向量，记为向量x1,然后将x1用lsr字典由以下式子进行稀疏表示来得到其稀疏系数：因为在训练过程中lsr和hsr是联合训练的，所以重建的mwri图像可以直接由下式得到：y1＝dhλ*(10)为了便于公众理解本发明技术方案，下面给出一个具体实施例。本实施例将本发明所提供的技术方案应用在提升fy-3微波成像仪mwri图像的空间分辨率中，本施例的图像使用国家卫星气象中心的fy-3bl1级的mwri和mersi图像。因为是首次提出基于融合的提升空间分辨率的算法，所以本实例和目前最新提出的l1.2的方法进行比较，本实例中无云污染的的方法记为dlgf，有云污染的方法记为sdl。本实例选取的研究范围在中国的北部，包括东北、西北、中部和东部的一部分地区，我们选取2012年1月12号、1月16号和1月26号的三组mersi和mwri图像对。其中mersi选取15个通道的空间分辨率为1km的可见光和近红外光谱的图像，而mwri的数据是在10-89hz的通道上以10v/h的偏振来测得的地表亮温图像。在预处理的时候，先对mwri和mersi图像进行几何校正，考虑到噪声和mersi图像和mwri图像之间的空间分辨率差别较大，我们先对mersi图像以2倍的放大倍数进行下采样(即空间分辨率为2km)，在本实例中为了表示方便，被选定的区域的图像对命名为roi1，roi2和roi3，其大小分别为707x650，574x582和726x576.本实例具体重建过程如下：1、选取mwri和mersi图像对：以roi1、roi2和roi3作为本实例的输入图像对。2、对mersi进行下采样：将mersi图像的空间分辨率放大为2km，使得其和mwri图像之间的空间分辨率的差别缩小。3、无云污染的字典的联合训练：将mwri图像和mersi图像联合起来得到一个联合的训练样本，然后通过k-svd的方法可以训练优化得到一组字典d＝[dw；de]，其中dw,de分别表示mwri和mersi图像的字典。4、稀疏编码，获取稀疏系数：将待重建的mwri对应的mersi图像进行稀疏编码，得到一组稀疏系数λ*。5、超分辨率重建mwri图像:由步骤4得到的稀疏系数λ*和步骤3得到的字典dw通过式子xs＝dwλ*可以得到重建后的mwri图像xs。6、引导滤波：将二维图像xs重新转换成三维图像，将其中一个波段表示为is，相对应的mwri输入图像通过双三次插值法对其进行上采样使其和is具有相同的空间分辨率。把上采样后的mwri图像记为iu，相对应的引导滤波的输出图像为isg。然后把超分重建图像is的空间信息转换到isg上，在对所有的带宽进行引导滤波后，就可以得到最终的无云污染的高空间分辨率的mwri图像。7、有云污染的mwri图像重建。首先，本实例会从作为参照的lsr-hsrmwri图像中提取重叠的7x7的图像块，然后将其拉伸成一个向量来得到一组训练样本。然后将他们的像素联合起来学习一个字典，为了和无云污染的情况相一致，这里也使用k-svd的方法来优化他们的关联字典可记为d＝[dh；dl]，其中dh,dl分别表示高低分辨率图像的基本空间结构的字典。考虑到mwri每个波段的空间分辨率不同，所以对每一个波段都学习一个字典。在重建的步骤中，首先将每一个输入的mwri图像和训练样本中一样分成图像块，然后再拉伸成一个个向量，记为向量x1,然后将x1用lsr字典来得到其稀疏系数，因为在训练过程中lsr和hsr是联合训练的，所以重建的mwri图像可以直接由y1＝dhλ*得到。为了验证本发明方法的效果，所以和目前最新提出的l1.2的方法进行比较。由于无云污染情况下真实的高分辨率的mwri图像是不存在的，所以我们采用了三种不同的参数来验证实验结果，分别为iλ,is,qnr，即频谱失真指数，空间变形指数和共同的光谱和空间的质量指标。此外，我们采用输入和输出的高分辨率重建图片之间的相关系数(cc)来检查是否保持了光谱信息。对于有云污染的图像，其在没有云污染的情况下获得的融合图像即被视为真实的图像。为了评估其结果，这里使用均方值误差(rmse)，光谱角度图(sam)，和ergas来对其进行评估。表1是无云污染的情况下的结果对比：表1无云污染对比结果表2是有云污染的情况下的结果对比：表2有云污染对比结果rmsesamergasssiml1.20.00790.25390.03350.8767sdl0.00580.27740.02880.8583表1的结果表明本发明提出的方法在提高mwri图像空间分辨率的同时能够很好的保持其自身的光谱信息。表2的结果表明本文提出的方法在有云污染的情况下的结果要比l1.2的方法要有很大的提升。综上所述，相比于l1.2的方法，本发明提出的方法不仅将有云污染和没有云污染的提升空间分辨率的方法统一到了同一个框架中，还能在提高空间分辨率的基础上保持原图像的光谱信息。以上结合附图对本发明的实施方式做出详细说明，但本发明不局限于所描述的实施方式。对本领域的普通技术人员而言，在本发明的原理和技术思想的范围内，对这些实施方式进行多种变化、修改、替换和变形仍落入本发明的保护范围内。当前第1页12