本发明属于图像处理
技术领域：
，特别涉及一种高光谱图像超分辨率方法。
背景技术：
：随着遥感技术和成像光谱仪的发展，高光谱遥感图像的应用越来越广泛。高光谱遥感图像具有很多的光谱波段，它以牺牲空间分辨率为代价换取高的光谱分辨率，这给高光谱图像的数据处理如精准匹配、光谱解混和目标检测识别等技术带来了巨大的困难。例如，图像空间分辨率低，可视化辨识度低，造成地物混合现象严重，即存在多种地物类别混合的像元。可以说，空间分辨率已经成为高光谱图像应用效果的主要制约因素。因此，在保证原始低分辨率图像地物分布不变的情况下，提高高光谱图像的分辨率，增强图像中地物的辨识度是非常有必要的。高光谱超分辨重建是从低分辨率高光谱图像中重建出相应的高分辨率高光谱图像，不仅能大大提高高光谱图像的空间分辨率，而且能有效地改善图像的可视化效果，具有重要的研究意义。然而，由于低分辨率图像和高分辨率图像都是同一场景，因此重建的高分辨率图应该具有和低分辨率图像相同的地物分类，这是高光谱图像超分辨率有别于自然图像超分辨率的特殊性。近年来研究学者提出很多高光谱超分辨率的方法。这些方法大多依赖一个假设：已知相同场景的辅助图像。辅助图像可以是同一场景下不同时间拍摄的高光谱图像序列，也可以是一个高空间分辨率但低光谱分辨率的遥感图像，例如全色图像和多光谱图像。研究学者充分利用辅助图像提供的高空间分辨率信息，结合低分辨率高光谱的光谱信息，重建出高空间分辨率和高光谱分辨率的图像。这类方法利用了多源数据间的互补信息，所以具有较好的超分辨率复原能力。n.akhtar等人在文献“n.akhtar,f.shafait,anda.mian,“sparsespatio-spectralrepresentationforhyperspectralimagesuper-resolution,”europeanconferenceoncomputervision,2014,pages63-78.”中提出基于稀疏空谱表达的高光谱超分辨率方法，通过建立辅助图像和低分辨率高光谱图像的稀疏表达，在空谱空间实现辅助空间信息和光谱信息的融合。然而，在实际应用中，我们很难得到同一场景的辅助遥感图像。同时，这类方法依赖辅助图像和低分辨率高光谱图像的配准精度，图像的配准误差容易造成超分辨率图像的模糊。因此，现有方法在应用上受到了很大的限制，仍未达到令人满意的效果。技术实现要素：本发明的目的在于针对上述现有方法的不足，提出一种基于迁移学习的高光谱图像超分辨率方法，能够解决原始高光谱图像训练数据过少、无法训练深度神经网络的问题，提高高光谱图像的空间辨识力，克服高光谱图像空间分辨率受限的问题。实现本发明目的的技术方案如下：基于迁移学习的高光谱图像超分辨率方法，包括以下步骤：(1)在自然图像的数据库上训练卷积神经网络，学习低分辨率图像到高分辨率图像的映射关系，即得到深度神经网络；(2)在测试的高光谱图像上，根据学习到的深度神经网络，逐个波段生成相应的高分辨率图像；(3)根据低分辨率图像和高分辨率图像具有相同地物分布的特性，建立协同矩阵分解，对低-高分辨率图像进行相同地物约束；(4)根据协同矩阵分解得到的端元矩阵和丰度因子，重建出超分辨率高光谱图像；所述端元矩阵表示地物类别的光谱信号，丰度因子表示端元在像元所占的比例。本发明对以上基本方案还进一步作了具体优化：步骤(1)具体为：(1a)在自然图像上建立低分辨图像和对应高分辨率图像的数据库；原始自然图像作为高分辨率图像，将原始自然图像进行模糊和下采样生成相应的低分辨率图像；(1b)在自然图像的数据库上训练卷积神经网络，其中低分辨图像是神经网络的输入，高分辨图像为神经网络的输出。步骤(3)具体为：(3a)输入低分辨率高光谱图像x和迁移学习的高光谱图像yv，初始化端元矩阵u，低分辨图像的丰度因子w，高分辨图像的丰度因子v；参数λ＝10，端元数目c＝10，迭代次数t＝0；(3b)更新端元矩阵u：其中，*和分别表示每个矩阵元素对应相乘和对应相除，at代表矩阵a的转置矩阵；(3c)更新低分辨图像的丰度因子w：(3d)更新高分辨图像的丰度因子v：(3e)判断终止条件是否满足，若满足则输出得到的端元矩阵u和丰度因子w、v，否则继续(3b)、(3c)、(3d)。步骤(4)具体为：根据步骤(3)得到的端元矩阵u和丰度因子v，估计出超分辨率图像：总结本发明的发明构思以及有益效果如下：本发明将超分辨率重建问题看作迁移学习过程，利用自然图像和高光谱图像具有相似底层纹理的特性，对自然图像中的超分辨率映射建模。通过深度卷积网络强大的泛化能力，学习自然图像中低分辨图像到高分辨率图像的映射关系，将这种映射关系迁移到高光谱图像。本发明同时利用低分辨图像和高分辨率图像相同地物分布的特性，进行协同矩阵分解，得到超分辨率的高光谱图像。该方法有效克服了传统方法对辅助图像的依赖和配准误差的干扰，具有超分辨率效果好、复杂度低、抗噪声性能强的优点。本发明与现有方法相比，将深度卷积网络引入到高光谱图像的超分率中，利用了深度卷积网络的迁移能力，将在自然图像学习到的映射关系迁移到高光谱图像；同时，引入低分辨率图像和高分辨率图像具有相同地物分布的假设，建立两者之间的协同矩阵分解，最大程度保持超分辨率图像的光谱信息，可用于遥感地物观测、军事侦察以及刑侦辅助等领域。附图说明图1为本发明基于迁移学习的高光谱图像超分辨率方法的流程图。具体实施方式本发明充分利用深度卷积网络强大的迁移学习能力，将自然图像库中低分辨率图像到高分辨率图像的映射关系，迁移到高光谱图像，实现高光谱图像的超分辨率。(1)首先在自然图像数据库上训练卷积神经网络，学习到低分辨图像到高分辨率图像的映射关系。假设自然图像的低分辨率图像为xs，相应的高分辨图像为ys。利用自然图像库中的低分辨图像和相应的高分辨率图像，训练卷积神经网络，得到低分辨图像到高分辨图像的映射f()。其中，低分辨图像xs是卷积神经网络的输入，高分辨图像ys为卷积神经网络的输出。(2)在测试的高光谱图像上，根据学习到的深度神经网络，逐个波段生成相应的高分辨率图像。因为遥感图像具有光学图像相似的底层纹理特征，所以本发明假设低-高分辨映射关系在自然图像和高光谱图像都是相似的。同时，近几年深度学习表现出来的强大泛化能力，使得在自然图像学习到的深度卷积模型可以顺利地迁移到遥感图像上，得到迁移高光谱图像。(3)根据低分辨率图像和高分辨率图像具有相同地物分布的特性，建立低分辨图像和迁移图像的协同矩阵分解，对低-高分辨率图像进行相同地物约束。由于低分辨率图像和高分辨率图像表达同一场景，因此具有相同地物分类。根据高光谱图像特有的混合像元假设，建立协同矩阵分解，对逐波段生成的迁移高光谱图像进行相同地物约束。(4)根据协同矩阵分解得到的端元矩阵和丰度因子，重建出超分辨率高光谱图像。端元矩阵表示地物类别的光谱信号，丰度因子表示端元在像元所占的比例。利用相同地物的端元矩阵和迁移高光谱图像的丰度因子，近似估计出超分辨率图像：其中表示超分辨率的高光谱图像，u是协同矩阵分解得到的相同端元矩阵，v是迁移高光谱图像分解得到的丰度因子。具体参照图1，实现的步骤如下：步骤1，训练卷积神经网络。(1a)在自然图像上建立低分辨图像和对应高分辨率图像的数据库。原始自然图像作为高分辨率图像，将原始自然图像进行模糊和下采样生成相应的低分辨率图像；(1b)在自然图像的数据库上训练卷积神经网络，其中低分辨图像是神经网络的输入，高分辨图像为神经网络的输出。步骤2，根据学习到的深度神经网络，逐个波段生成相应的高分辨率图像。因为遥感图像具有光学图像相似的底层纹理特征，因此假设低分辨到高分辨的映射关系在高光谱图像和自认图像也是相似的。将在自然图像学习到的映射关系f()，逐个波段地迁移到高光谱图像上，得到迁移高光谱图像：ye＝[f(xt,1),f(xt,2),…,f(xt,l)]其中xt,i表示低分辨率高光谱图像的第i个波段，l是高光谱图像的总波段数。ye是迁移学习得到的高光谱图像，具有高分辨率高光谱图像相同的大小。根据上述公式得到的迁移图像ye仅仅具有和高分辨图像相同的空间大小，忽视了高光谱图像特有的光谱信息：低分辨率图像和高分辨率图像具有相同地物分布。因此，有必要对迁移图像进行光谱约束，建立低分辨率高光谱图和高分辨率高光谱图之间的光谱约束。步骤3，高光谱图像的协同矩阵分解约束。由于低分辨图像和高分辨图像表示的是地物的同一个场景，因此，低分辨率图像和高分辨率图像应该具有相同地物分布特性。通过建立低分辨图像和迁移图像的协同矩阵分解，对低-高分辨率高光谱图像进行相同地物约束。根据高光谱解混性质，低分辨率高光谱图像和高分辨率高光谱图像分解得到的端元矩阵应该是相同的。其步骤如下：(3a)输入低分辨率高光谱图像x和迁移学习的高光谱图像yv，初始化端元矩阵u，低分辨图像的丰度因子w，高分辨图像的丰度因子v。参数λ＝10，端元数目c＝10，迭代次数t＝0。(3b)更新端元矩阵u：其中，*和分别表示每个矩阵元素对应相乘和对应相除，at代表矩阵a的转置矩阵。(3c)更新低分辨图像的丰度因子w：(3d)更新高分辨图像的丰度因子v：(3e)判断终止条件是否满足，满足输出得到的端元矩阵u和丰度因子w，v，否则继续(3b)(3c)(3d)。步骤4，解混重建。根据步骤(3)得到的端元矩阵u和丰度因子v，估计出超分辨率图像：计算超分辨率高光谱和真实高光谱的评价指标。本发明的效果可以通过以下实验做进一步的说明。1.仿真条件本发明是在中央处理器为intel(r)corei3-21303.4ghz、内存16g、windows8操作系统上，运用matlab软件进行的仿真。2.仿真内容首先，采用的实验数据为cave数据库。该数据库包含32个真实高光谱图像，图像内容是不同的物体目标，如人脸、气球、衣服、花朵。每张高光谱图像的大小是512×512×31，其中512×512是图像的空间大小，31是光谱波段数。将cave数据库中原始的高光谱图像作为真实的高分辨率图像，经过模糊下采样3倍得到的低分辨图像作为测试的高光谱图像。在cave数据集上，完成本发明算法(基于迁移学习的高光谱图像超分辨率方法)的实验。为了证明算法的有效性，综合考虑算法的流行性、崭新性，我们选取了4种对比方法进行比较:bicubic,zeyde,anchoredneighborhoodregression(anr),和a+。其中bicubic是经典的基准方法，zeyde在文献“r.zeyde,m.elad,andm.protter,“onsingleimagescale-upusingsparse-representations,”curvesandsurfaces,2012,pages711-730.”中提出，anr在文献“r.timofte,v.desmet,andl.vangool,“anchoredneighborhoodregressionforfastexample-basedsuperresolution,”ieeeinternationalconferenceoncomputervision,2013,pages1920-1927.”中提出，a+在文献“r.timofte,v.desmet,andl.vangool,“a+:adjustedanchoredneighborhoodregressionforfastsuper-resolution,”asianconferenceoncomputervision,2014,pages111-126.”中有详细介绍。利用真实高光谱图像和超分辨率高光谱图像的rmse衡量超分辨率方法的性能。在cave数据库中随机选择4张高光谱图像作测试(balloons，chart，face和flowers)，并与4种对比方法进行比较，结果如表1所示。从表1可见，本发明的估计误差比现有超分辨率方法小。这是因为本发明充分利用自然图像和高光谱图像的相似映射关系，同时考虑到高光谱图像具有相同地物分布的特性。因此本方法比其他方法更有效，更鲁棒，进一步验证了本发明的先进性。表1不同超分辨率方法的对比结果cave数据库bicubiczeydeanra+本发明balloons2.844.194.264.192.14chart7.5611.9712.1111.905.70face4.494.804.914.812.33flowers4.666.576.566.512.87当前第1页12