基于AAE提取空间特征的高光谱和全色图像融合方法与流程

本发明属于图像处理技术领域，更进一步涉及高光谱图像融合，具体是一种基于对抗自编码器(aae)提取空间特征的高光谱图像和全色图像的融合方法。本发明可用于得到空间分辨率高、光谱信息丰富的高光谱图像。

背景技术：

空间分辨率高的图像有利于精准定位目标，光谱分辨率高的图像有利于区分不同特征的类别和精确识别目标。高光谱图像在一定的波长范围内具有较多的波段数，光谱分辨率高，其已经应用于许多领域和一些实际应用，例如植被研究，精确农业，区域地质填图像，矿产勘探和环境监测等。受到传感器技术和成本的限制，高光谱图像的空间分辨率较低。而全色成像光谱仪能够获得具有高空间分辨率的全色图像，对高光谱图像和全色图像进行融合就可以实现获得高空间分辨率的高光谱图像，这是一项非常有意义的图像处理方式。

常用的高光谱图像融合算法包括多分辨率分析法、成分替换法、矩阵分解法和贝叶斯法等。从它们的处理结果上来看均存在一定程度的不足。多分辨率分析方法包括小波变换、拉普拉斯金字塔(laplacianpyramid,lp)、亮度调节的平滑滤波法(smoothingfilterbasedintensitymodulation,sfim)等，主要思想是将全色图像多尺度分解成低分辨率高光谱图像，获得空间细节，然后将空间细节注入高光谱图像，这些方法能够保持较好的光谱信息，但是此方法易受到空间失真(例如振铃伪像)的影响，同时存在注入空间细节过多的问题；成分替换法包括主成分分析(principalcomponentanalysis,pca)和施密特正交化(gram-schmidt,gs)等，主要思想是空间成分替代，使用全色图像通过采用逆变换来替换空间分量，这种方法在空间信息保持方面效果较好，并且能够减小图像配准误差，但是在光谱信息的保持方面存在不足，可能会导致光谱混叠，结果存在明显的光谱失真现象；基于矩阵分解和基于贝叶斯的方法是所提出的效果较好的方法，包括耦合非负矩阵分解(couplednonnegativematrixfactorization,cnmf)、贝叶斯稀疏表示(bayesiansparserepresentation,bsr)和hysure等，贝叶斯方法是对给定的低分辨率高光谱图像和全色图像使用期望的高分辨率高光谱图像的后验分布，虽然在空间细节修复和光谱维护上处理得相对较好，但它们的运算量大，而且贝叶斯方法需要依靠极强的先验信息才能达到最佳效果，故在实际应用中存在一定的限制。基于矩阵分解的融合是非常有效的。例如，yokoyan等人在文献“couplednonnegativematrixfactorizationunmixingforhyperspectralandmultispectraldatafusion.ieeetransactionsongeoscience&remotesensing,2012,50(2):528-537.”中提出耦合非负矩阵分解方法(cnmf)，该算法通过对复杂的高分解两种数据源进行非负矩阵分解，获得两个数据源的端元和丰度图，然后交替地融合多光谱图像丰度与高光谱图像的端元信息，可以在空间和光谱方面产生较好的融合结果。

近年来，基于卷积神经网络(cnn)的方法已成功应用于计算机视觉的处理，成为具有良好融合能力的高光谱融合方法的新趋势。基于cnn的融合方法假设低分辨率与高分辨率高光谱图像的关系和低分辨率与高分辨率全色图像之间的关系相同，学习低分辨率与高分辨率全色图像之间的映射。huang等人在“anewpan-sharpeningmethodwithdeepneuralnetworks.ieeegeosci.remotesens.lett.,vol.12,no.5,pp.1037–1041,201”第一次提出使用cnn。随后，masi等人在“pansharpeningbyconvolutionalneuralnetworks.remotesens.,vol.8,no.7,p.594,2016.”中，将针对自然图像的超分辨率提出的架构移植到了高光谱融合问题，获得了当时最好的性能，同时展示了使用自然图像超分辨率方式解决高光谱融合问题的可行性。以上两种基于cnn的方法将融合问题转化为单个图像回归问题，虽然这两种方法取得了良好的性能，但它们将高光谱图像的融合问题视为深度学习的黑盒问题，并且忽略了融合问题的两个重要目标：光谱和空间信息的保持；yang等人在“pannet:adeepnetworkarchitectureforpansharpening,”inproc.ieeeint.conf.comput.vis.(iccv),2017,pp.1753–1761.中提出了一个深度的高光谱融合网络，称为pannet，结合领域特定的知识来设计pannet架构，重点关注融合问题中的光谱和空间信息保持。pannet自动从数据中学习映射，将特定问题的知识融入深度学习框架。为了保持光谱信息，将上采样的多光谱图像添加到网络输出中，直接将光谱信息传播到重构的图像中。为了保持空间结构，在高通滤波域训练网络参数，而不是图像域。这种方法的不足之处在于，使用空间保持网络的输出和原图来约束光谱信息的保持，即光谱信息保持依赖于空间信息保持，这种光谱保持是间接的，可能导致次优的保持结果。

华南理工大学在其申请的专利文献“基于光谱预测残差卷积神经网络的高光谱图像锐化方法”(专利申请号：cn201811485313，公布号：cn109727207a)中提出了基于光谱预测残差卷积神经网络的高光谱图像锐化方法。该方法公开了一种基于光谱预测残差卷积神经网络的高光谱图像锐化方法，包括读取原始高光谱图像；从高光谱图像合成全色图像；预处理数据得到训练样本对；搭建光谱预测残差卷积神经网络结构；使用样本对训练网络，利用自适应矩估计算法，使训练误差降低至最小值，得到最优的网络结构参数；将测试样本对输入训练好的光谱预测残差卷积神经网络结构中，输出高分辨率的高光谱图像。该方法虽然通过训练神经网络得到分辨率提高的融合结果，但是，该方法仍然存在的不足之处是，对于光谱信息和空间信息的保持效果不好，并且利用自适应性的矩估计算法优化，由于高光谱图像数据庞大，再加上锐化过程需要整个网络参与训练，使得计算过程非常繁琐，算法复杂度较高，其中缺少传统图像处理方法和基于神经网络方法的结合，同时光谱信息也保持的不是很完善。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提出一种光谱信息和空间信息保持良好的基于aae提取空间特征的高光谱和全色图像融合方法。

为实现发明目的，本发明采用了以下的技术方案：

本发明是一种基于对抗自编码器提取空间特征的高光谱图像和全色图像的融合方法，其特征在于，包括有如下步骤：

(1)获取图像数据集，对数据进行预处理：

(1.1)输入原始图像数据：从公开数据集中获取原始高光谱图像href，作为参考的高光谱图像；

(1.2)数据预处理：利用原始高光谱图像href，即参考的高光谱图像，根据wald协议得到合成的高光谱图像和合成的全色图像；利用双三次插值法生成四倍下采样的低空间分辨率高光谱图像h；利用拉普拉斯金字塔超分辨率网络(lapsrn)将低空间分辨率的高光谱图像h插值为高空间分辨率的高光谱图像，具体操作为将h输入lapsrn，对低分辨率高光谱图像h的每个波段h^l依次进行四倍上采样，使得空间维度与全色图像大小相同，得到将上采样后的高光谱图像记为h，利用平均融合的方法，将原始高光谱图像href进行可见光波段融合，得到由原始高光谱图像合成的全色图像p；

(2)构建输入高光谱图像的对抗自编码器：对抗自编码器包括有编码器、判别器和解码器，编码器、解码器和判别器的网络结构的设计都是基于基础网络结构；

基础网络结构为：输入层→隐藏层→输出层；

编码器网络参数设置如下，将输入层的节点总数设置为高光谱图像的波段总数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为高光谱图像特征的波段数；

解码器网络参数设置如下，将输入层的节点总数设置为高光谱图像特征的波段数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为高光谱图像的波段数；

编码器，即生成器，隐藏层由两层全连接层构成，激活函数使用leakyrelu；解码器由两层全连接层构成，激活函数使用leakyrelu和sigmoid；判别器使用全连接层→leakyrelu→全连接层的构成形式；

设置学习率为1e-4，训练批次大小为输入网络高光谱图像空间维度大小，损失函数包括自编码器损失函数、生成器损失函数和判别器损失函数，优化过程使用adam算法优化；

(3)训练对抗自编码器，提取高光谱图像的空间特征：将上采样后的高光谱图像η作为对抗自编码器的输入进行训练，训练过程包括有，生成器和判别器进行的对抗学习以及误差最小化的图像重构，训练优化过程中当损失函数收敛或训练步数大于设定步数时停止训练；从训练完成的网络的编码器输出中，获取提取的高光谱图像的低维度空间特征，作为高光谱图像的空间信息；

(4)对全色图像进行增强处理：利用自适应直方图均衡和高斯-拉普拉斯算法对全色图像进行增强处理，得到了增强处理后的全色图像；

(5)获取增强后的全色图像的空间细节：对增强后的全色图像进行高斯滤波，并对滤波前后的图像作差，获得增强后全色图像的空间细节d；

(6)融合高光谱图像和全色图像的空间信息：利用自适应融合方式，融合高光谱图像空间信息和全色图像空间信息，得到原始高光谱图像的总空间信息；

(7)构建增益矩阵：利用增益矩阵公式构造增益矩阵；

(8)得到高空间分辨率的高光谱图像：利用构造得到的增益矩阵和提取的全色图像的空间细节d以及上采样得到的高光谱图像共同得到原始高光谱图像的高空间分辨率的高光谱图像。

将上采样后的高光谱图像，与提取的空间细节按照下式相融合，得到高空间和光谱分辨率的图像：

l＝1,2,...,n，其中，n是上采样后高光谱图像h的波段数，表示融合后的高光谱图像，是上采样后高光谱图像h的第l个波段。

本发明的技术方案提高了高光谱图像的分辨率。本发明与其他现有高光谱图像融合方法相比，能够提取高光谱图像的深层空间特征，在保持原始低空间分辨率高光谱图像光谱信息的同时，有效地生成了高空间分辨率的融合高光谱图像，在空谱指标和视觉上均具有较好的效果。

本发明与现有的技术相比具有以下优点：

提取深层的空间特征，同时保持更多的光谱信息：本发明提出了一种基于光谱约束aae的自适应无监督网络，用此网络挖掘高光谱图像潜在空间中隐藏的深层空间特征。因为本发明利用光谱角加入合适的光谱约束条件，在损失函数中增加编码器输出的高光谱图像特征和上采样得到的高光谱图像光谱向量之间的光谱角约束，进一步保持高光谱图像的光谱信息，所以使用aae提取高光谱图像的空间特征，在保持空间信息的同时也保持了充分的光谱信息。现有技术中，通常通过设计高频抽取器(例如高频滤波器)获得高频信息，将获得的高频信息作为空间信息，但这些方法仅能得到浅层空间特征，并且经常产生光谱失真和空间信息不足的问题。与现有技术相比，本发明基于aae提取空间特征的技术提取了深层的空间特征，更好地保留了原始高光谱图像的空间信息，光谱约束的加入使得提取的特征能够更好地适应原始高维的高光谱图像，减少光谱失真。

同时考虑高光谱图像和全色图像空间信息：本发明提出的一种自适应特征选择的方法，基于结构相似性指标选择特征的所有波段中和全色图像结构最相似的波段，用此波段代表高光谱空间信息，然后自适应地融合高光谱图像的空间信息和全色图像的空间信息。大多数传统方法只提取全色图像的空间信息，而忽略了高光谱图像的空间结构信息。本发明同时考虑高光谱图像和全色图像的空间信息，采用自适应方式融合，构建关于获得的空间信息与高光谱和全色图像的总空间信息之间的优化方程，求解方程，使差异最小化，获得更为完整的空间信息，减少光谱失真，解决了空间增强不足的问题。

有效减小上采样高光谱图像的光谱损失：本发明通过lapsrn获得上采样后的高空间分辨率高光谱图像。lapsrn是包含不同大小卷积核的卷积神经网络。其中大小相同的卷积核表示特征重构，大小不同的卷积核表示对图像进行的上采样操作。此外，在参数共享、局部跳接和多尺度训练等多种应用中，lapsrn表现良好，改善了现有使用双三次插值法进行上采样操作容易导致的严重的光谱失真问题，很好地保持光谱信息。

有效增强全色图像的空间细节：本发明使用高斯-拉普拉斯(log)算法和自适应直方图均衡算法对全色图像进行去除噪声的处理，增强全色图像的空间细节，现有技术往往对于空间细节增强不足。

实现复杂度较低：本发明由于利用到对抗自编码器和空间特征图像自适应融合策略，较好融合了空间信息和光谱信息，克服了现有算法对图像增强和细节提取复杂度高的问题，使得本发明在实现过程中步骤简单，提高了图像融合的效率；

附图说明

图1是本发明的实现高光谱图像融合流程图；

图2是输入moffett数据集，采用本发明和现有最先进的十种高光谱图像融合技术对高光谱图像和全色图像进行融合的仿真融合结果图；

图3是输入salinas数据集，采用本发明和现有最先进的十种高光谱图像融合技术对高光谱图像和全色图像进行融合的仿真融合结果图；

图4是本发明实现的结构框图。

具体实施方式

下面结合附图对本发明做详细描述。

实施例1

因为入射光能量的限制，不同传感器获得的遥感数据在光谱分辨率、空间分辨率与信噪比之间存在一定的制衡关系。高光谱成像传感器可以获取数百个狭窄光谱通道的高光谱图像，具有较高的光谱分辨率。由于高光谱图像具有详细的光谱信息，在分类、检测和识别方面具有独特的优势。但是高光谱图像的空间分辨率不足，在对图像处理和利用时，需要获取同时具有高空间分辨率和光谱分辨率的高光谱图像。

使用神经网络进行图像融合通常是学习输入图像和重构融合图像的映射关系，在特征提取、数据表示和描述复杂关系方面具有较大的优势，但是对于神经网络架构的设计对于光谱信息保持不好，仍需改进，现有的方案中缺少对于传统融合技术的应用，同时对于光谱信息和空间信息的保持效果仍存在不足。

本发明针对上述现有技术的不足，经过分析和研究，提出一种基于对抗自编码器提取高光谱图像的低维空间特征的高光谱与全色图像融合方法，参见图1，该方法具体包括有如下步骤：

(1)获取图像数据集，对数据进行预处理：

(1.1)获取原始图像数据：从公开数据集中获取原始高光谱图像href。本例中，实验用到机载可见/红外成像光谱仪(aviris)传感器拍摄的两个数据集，moffettfield和salinasscene，参见图2(a)和图3(a)，分别是从这两个公开数据集中获取的原始高光谱图像href，是moffett地区牧场、河流等和salinas地区农田场景的俯视图。

(1.2)数据预处理：在给定参考的情况下，根据wald协议得到合成的高光谱图像和合成的全色图像,给定参考图像即原始高光谱图像href；利用双三次插值法对原始高光谱图像四倍下采样，得到低空间分辨率高光谱图像h；利用拉普拉斯金字塔超分辨率网络(lapsrn)将低空间分辨率的高光谱图像插值为高空间分辨率的高光谱图像，具体操作为将h输入lapsrn，进行四倍上采样，使得高光谱图像的空间维度与全色图像大小相同，得到上采样后的高光谱图像，记为η，参见图2(b)和图3(b)。图2(b)和图3(b)为本发明对图2(a)和图3(a)预处理后得到的高空间分辨率高光谱图像。与常用的双三次插值方法相比，本发明用到的lapsrn能有效地提高高光谱图像的空间分辨率。lapsrn包含许多卷积核大小不同的卷积神经网络。卷积核大小保持不变的卷积神经网络用于表示特征重构，卷积核大小发生变化的卷积神经网络则用于表示对图像的上采样操作。此外，在参数共享、局部跳接和多尺度训练等多种应用中，lapsrn表现良好。本发明利用平均融合的方法，将原始高光谱图像href的可见光波段进行融合，得到全色图像p,参见图2(c)和图3(c)。

(2)构建输入高光谱图像的对抗自编码器：对抗自编码器包括有编码器、判别器和解码器，编码器、解码器和判别器的网络结构的设计都基于基础网络结构。高光谱图像具有丰富的光谱信息，其通道数远大于自然图像，本发明专门为之构建了适用于高光谱图像输入的对抗自编码器。

基础网络结构为：输入层→隐藏层→输出层。

编码器网络参数设置如下，将输入层的节点总数设置为输入上采样后的高光谱图像h的波段总数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为高光谱图像特征的波段数。

解码器网络参数设置如下，将输入层的节点总数设置为输入高光谱图像特征的波段数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为输入高光谱图像h的波段数。

编码器，即生成器，隐藏层由两层全连接层构成，激活函数使用leakyrelu；解码器由两层全连接层构成，激活函数使用leakyrelu和sigmoid；判别器使用全连接层→leakyrelu→全连接层的构成形式。

设置学习率为1e-4，训练批次大小为输入自编码器的高光谱图像空间维度大小，损失函数包括自编码器损失函数、生成器损失函数和判别器损失函数，优化过程使用随机梯度下降算法中的adam算法。本发明对于自编码器增加了光谱约束，具体操作是计算编码器输出和上采样得到的高光谱图像光谱向量之间的光谱角，构建损失函数，通过优化算法最小化光谱角损失，从而减小光谱失真。对抗自编码器能够挖掘高光谱图像的深层空间特征，同时与高光谱图像具有相容性，利用对抗自编码器提取的空间特征相比传统方法提取的浅层空间特征具有更多的空间信息，同时保持了良好的光谱信息。

(3)训练对抗自编码器，提取高光谱图像的空间特征：将上采样后的高光谱图像h作为对抗自编码器的输入，训练对抗自编码器，训练过程包括生成器和判别器进行的对抗学习和误差最小化的图像重构。本发明对抗学习和图像重构同时进行，计算损失函数，训练优化过程中当损失函数收敛或训练步数大于设定步数时停止训练；当训练完成时，从编码器输出中获取提取的高光谱图像的低维度空间特征，作为高光谱图像的空间信息。

(4)对全色图像进行增强处理：利用自适应直方图均衡和高斯-拉普拉斯算法对步骤2中得到的全色图像进行增强处理，得到了增强处理后的全色图像。

(5)获取增强后的全色图像的空间细节：对增强后的全色图像按照下式进行高斯滤波，并对滤波前后的图像作差，获得增强后全色图像的空间细节d：

pg＝g(pe)

其中，g代表高斯滤波函数，pg代表经过滤波器后的全色图像，pe代表增强后的全色图像。

按照下式对滤波前后增强后的全色图像作差获得空间细节；

l＝1,2,...,n，其中，d^l代表第l个波段空间细节，pe代表增强后的全色图像，代表经过滤波器后的全色图像。

(6)融合高光谱图像和全色图像的空间信息：利用自适应融合方式，融合步骤3提取到的高光谱图像空间信息和步骤4得到的全色图像空间信息，得到原始高光谱图像的总空间信息。

(7)构建增益矩阵：利用增益矩阵公式构造增益矩阵；用增益矩阵控制步骤9中生成得到的高空间分辨率的高光谱图像光谱信息损失。

按照下式构造增益矩阵，控制空间和光谱信息损失；

l＝1,2,...,n，其中，g^l是增益矩阵，β是用来控制适当空间信息的折衷系数，其最优值通过解如下优化方程得到：

其中，l＝1,2,...,n，l∈visible意味着可见光谱范围。

(8)得到高空间分辨率的高光谱图像：利用构造得到的增益矩阵、提取的全色图像的空间细节d以及上采样得到的高光谱图像共同得到原始高光谱图像的高空间分辨率的高光谱图像。

将步骤(1.2)中得到的上采样后的高光谱图像，与提取的空间细节按照下式相融合，得到高空间和光谱分辨率的高光谱图像：

l＝1,2,...,n，其中，表示融合后的高光谱图像，是经过上采样得到的高光谱图像的第l个波段。

与高光谱图像相比，现有的全色图像是由具有更高空间分辨率和信噪比的全色成像传感器捕获的，全色图像具有较高的空间分辨率。本发明将高光谱图像和全色图像融合，结合高光谱图像和全色图像的优势信息和互补信息，获得具有高空间分辨率的高光谱图像，给出了一个完整的高光谱图像融合技术方案。

本发明的思路是，利用双三次插值法下采样，得到低空间分辨率高光谱图像，将其输入拉普拉斯超分辨率网络中生成与全色图像空间维度大小相同的高空间分辨率的高光谱图像，利用对抗自编码器提取高空间分辨率高光谱图像的低维空间特征，利用平均融合从高光谱图像的可见光波段得到全色图像，利用自适应直方图均衡和高斯-拉普拉斯算法增强全色图像，利用自适应融合方法将提取到的高光谱图像空间特征和增强后的全色图像融合得到新的全色图像，利用高斯滤波器从新的全色图像中获取图像细节，构建可以控制光谱和空间信息失真的增益矩阵，将总空间信息注入到插值后的高光谱图像的每个波段中，得到同时保持高空间分辨率和光谱分辨率的高光谱图像。

常用的高光谱图像融合算法包括多分辨分析法、成分替换法、矩阵分解法和贝叶斯法等。成分替换法快捷并且易于实现，但是处理结果存在明显的光谱失真现象、存在注入空间细节过多的问题、运算量大、在实际应用中存在一定的限制等问题。使用神经网络进行图像融合通常是学习输入图像和重构融合图像的映射关系，在特征提取、数据表示和描述复杂关系方面具有较大的优势，但是对于神经网络架构的设计，大规模特定数据集的缺少以及传统融合技术的应用方面仍存在不足。

本发明利用对抗自编码器，从输入的高光谱图像中提取到光谱向量特征，利用特征值代表光谱维的信息，克服了现有技术缺少空间信息的缺点，且提取出的特征比较完全地保留了空间信息，更好地代表了高光谱图像。

实施例2

基于对抗自编码器提取空间特征的高光谱与全色图像融合方法同实施例1，本发明步骤3中所述的网络的训练过程，包括有如下步骤：

对抗自编码器可以分为两大部分网络结构：自编码器部分和生成对抗网络(gan)的判别部分。在初始化对抗自编码器的权重和偏置之后，训练对抗自编码器，训练分为两个过程：

(3.1)输入样本的重构：将上采样后的高光谱图像h作为对抗自编码器的输入进行训练，计算自编码器损失函数；采用随机梯度下降算法进行优化，优化过程就是使损失函数最小化的过程，同时更新对抗自编码器中编码器和解码器的网络权重和偏置，当损失函数最小化时，解码器的输出为重构结果，即解码器能够从编码器生成的编码数据中恢复出原始图像。

(3.2)正则化约束：计算判别器损失函数和生成器损失函数，同样用随机梯度下降算法进行优化，优化过程就是使判别器损失函数和生成器损失函数最小化的过程，首先更新判别器网络参数，训练判别器区分输入的编码向量z是来自真实分布p(z)还是虚假分布q(z)；然后更新生成器网络参数，训练生成器生成更加接近真实分布p(z)的虚假分布q(z)来欺骗判别器，提高生成器混淆判别器网络的能力；当判别器损失函数和生成器损失函数都达到收敛，或是训练步数大于设定步数时停止训练。一旦训练完成，编码器学习到从先验分布到样本数据的一个映射函数。经过多次迭代，判别器损失函数和生成器损失函数都在精度范围内，此时的高光谱图像特征f就是通过训练对抗自编码器，提取的高光谱图像的空间特征。

在同一地理区域内，高光谱图像和全色图像都包含空间信息，高光谱图像和全色图像的空间信息是不同的、互补的。全色图像具有足够的空间信息，尽管空间分辨率高，全色图像没有高光谱图像的空间细节，可能不包括有关高光谱图像空间结构的详细信息。传统的方法大多只提取全色图像的空间信息，而忽略了高光谱图像的空间结构信息。实际上，高光谱图像和全色图像都包含空间信息。这可能导致光谱失真或空间增强不足。而高光谱图像包含的空间信息，有待进一步挖掘。现有技术通常通过设计高频抽取器(例如高频滤波器)获得高频信息作为高光谱图像的空间信息，但是这些方法往往仅能得到浅层的空间特征。本发明用网络挖掘潜在空间中隐藏的深层空间特征。为了更好地模拟原始的高维高光谱矢量，还添加了光谱正则化约束项。由于aae能够有效挖掘高光谱图像深层空间信息，而且与高光谱图像具有兼容性，本发明利用aae提取高光谱图像特征。通过aae网络，提取到高光谱图像的空间特征，改善了空间信息不足以及光谱失真严重的问题。

实施例3

基于对抗自编码器提取空间特征的高光谱与全色图像融合方法同实施例1-2,步骤4中所述的对全色图像进行增强处理，具体包括有如下步骤：

(4.1)对全色图像p进行自适应直方图均衡：

ph＝adapthisteq(p)

其中，p表示全色图像，adapthisteq(·)表示自适应直方图均衡函数，ph表示自适应直方图均衡后的全色图像；

(4.2)利用拉普拉斯-高斯(log)增强算法来增加自适应直方图均衡后的全色图像ph的空间细节。

(4.2.1)利用高斯滤波器去除自适应直方图均衡后的全色图像的噪声：

pg＝ph×g

其中，ph表示自适应直方图均衡后的全色图像，pg是去除噪声后的图像片，图像片即去除噪声后的直方均衡后的全色图像。g是高斯滤波器。

(4.2.2)利用拉普拉斯算子对自适应直方图像均衡后的去除噪声的全色图像pg进行细节的增强：

pe＝pg+▽²pg

其中，pg是去除噪声后的自适应直方图像均衡后的全色图像，pe表示经过自适应直方图像均衡、高斯滤波器去除噪声以及利用拉普拉斯算子计算后的增强后的全色图像，▽²()表示二阶导数。得到了增强处理后的全色图像pe，将高斯-拉普拉斯(log)增强算法应用于自适应直方图像均衡后的全色图像，光谱信息更加清晰。

由于全色图像具有更丰富的空间信息，本发明采用了合适的全色图像增强方式，使得融合效果在测试的几个数据集中有较好的效果，光谱失真小，空间信息充足。

实施例4

基于对抗自编码器提取空间特征的高光谱与全色图像融合方法同实施例1-3,步骤6中所述的融合高光谱图像和增强后全色图像的空间信息，具体包括有如下步骤：

(6.1)选择结构相似性最大的合适的特征波段：利用基于结构相似性选择合适的特征波段的方法，选择代表高光谱图像空间信息的波段；分别比较高光谱图像的空间特征的每一个波段和全色图像的结构相似性，给定高光谱图像的空间特征的每一个波段和全色图像p，计算给定两幅图像的结构相似性指标ssim，选择ssim指标值最大的指标值所对应的波段，将其记为pcm，即选择的结构相似性最大的合适的特征波段，用选出的特征波段代表高光谱图像空间信息，这个基于结构相似性选择特征波段的过程用公式表示如下：

s＝max(ssim(pci,p))

其中，p表示全色图像，s表示结构相似性的最大值，pci表示高光谱图像特征的第i个波段，将结构相似性指标最大值s对应的特征的第m个波段记为pcm。

(6.2)计算结构相似性指标ssim：按照下式计算特征波段和全色图像的结构相似性指标：

其中，a表示特征的一个波段，b表示全色图像，μa和μb分别是a和b的平均值，和分别是a和b的方差，σab是a和b之间的协方差，c1＝(0.01×l)²,c2＝(0.03×l)²是常数，l是像素值的动态范围；ssim最佳值为1，计算结果值越接近1，效果越好，表示参与比较的两幅图像彼此完全相似。

(6.3)将高光谱图像空间信息和全色图像的空间信息进行自适应融合：同时获取步骤6.1中获得的高光谱图像特征波段所代表的高光谱图像空间信息和原始全色图像p的空间信息，利用自适应融合方式，得到原始高光谱图像的总空间信息r：

r＝α1pcm+α2p

其中，α1和α2是选出的结构相似性指标值最大的特征的第m个波段，全色图像的所占的权重系数，要求α1+α2＝1，pcm表示选出的结构相似性指标值最大的特征的第m个波段。r为融合后的总空间信息，包括高光谱图像的空间信息和丰富的全色图像空间信息，p是全色图像。

(6.4)构建高光谱图像和全色图像的总体空间信息和获取的融合后的总空间信息之间差异的优化方程：

计算特征波段pcm和全色图像p的和，将求和结果作为高光谱图像和全色图像的总体空间信息(pcm+p)，计算作为高光谱图像和全色图像的总体空间信息(pcm+p)和获取的融合后的总空间信息r之间的差值，利用范数构建空间信息差值的优化方程，求解空间信息差值的优化方程，得到自适应融合中的权重系数α1和α2：

f(α1,α2)＝||r-(pcm+p)||²

＝||α1pcm+α2p-(pcm+p)||²

s.t.α1+α2＝1

根据约束条件，得到α2＝1-α1，代入方程，为了得到最优解，可以利用最小二乘估计求f(α1,α2)最小值，解得：

α1＝[(pcm-p)^t(pcm-p)]^-1(pcm-p)^tpcm。

α1α2代入r＝α1pcm+α2p中，得到融合后的高光谱图像和全色图像的空间信息r。

该方程的解最大限度地减小了所获得的空间信息与高光谱图像和全色图像的总空间信息之间的差异。同时考虑了高光谱图像和全色图像在同一场景中包含不同的、互补的空间信息。

传统融合方法只考虑全色图像的空间信息，事实上，高光谱图像也有空间信息。仅考虑全色图像的空间信息容易导致频谱失真和空间信息不足的问题。因此，本发明使用自适应融合方法，同时从高光谱图像和全色图像中获取空间信息，得到的空间信息同时包括全色图像的空间信息和高光谱图像包含的空间结构信息，空间信息更加丰富和完善。

下面给出一个更加详细的例子对本发明进一步说明：

实施例5

基于对抗自编码器提取空间特征的高光谱与全色图像融合方法同实施例1-4

参照附图1，本发明包括有如下步骤

步骤1.构建输入高光谱图像的对抗自编码器：对抗自编码器包含编码器、解码器和判别器。编码器、解码器和判别器的基础网络结构由输入层、隐藏层、输出层三部分构成。具体的网络节点数、学习率、训练批次大小等网络参数设置如下：

对于编码器，本发明将输入层的节点总数设置为输入上采样后的高光谱图像h的波段总数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为高光谱图像特征的波段数；对于解码器，本发明将输入层的节点总数设置为输入高光谱图像特征的波段数、将隐藏层的节点总数设置为500、将输出层的节点总数设置为输入高光谱图像h的波段数。

编码器，即生成器，隐藏层的网络结构包括两层全连接层，然后使用leakyrelu函数作为激活函数；解码器包括两层全连接层，然后分别使用leakyrelu函数和sigmoid函数作为激活函数；判别器的网络结构在构建时首先搭建一层全连接层，接着使用leakyrelu作为激活函数，然后再搭建第二层全连接层。

本发明设置训练对抗自编码器的学习率为1e-4，训练批次大小为输入自编码器的高光谱图像空间维度大小，损失函数包括自编码器损失函数、生成器损失函数和判别器损失函数。除此之外，为了进一步减小光谱失真，本发明对于自编码器增加了光谱约束，具体操作是计算编码器输出和上采样得到的高光谱图像光谱向量之间的光谱角，构建损失函数，通过优化算法最小化光谱角损失，从而减小光谱失真。本发明的优化过程使用随机梯度下降算法中的adam算法进行优化。对抗自编码器能够挖掘高光谱图像的深层空间特征，同时与高光谱图像具有相容性，利用对抗自编码器提取的空间特征相比传统方法提取的浅层空间特征具有更多的空间信息，同时保持了良好的光谱信息。

步骤2.生成高光谱图像训练集：

分别从实验用到的由机载可见/红外成像光谱仪(aviris)传感器拍摄的moffettfield和salinas数据集中获取原始高光谱图像href，根据wald协议得到合成的高光谱图像和合成的全色图像；利用双三次插值法下采样，生成四倍下采样的低空间分辨高光谱图像h；将低空间分辨率高光谱图像h输入拉普拉斯超分辨率网络，四倍上采样到全色图像的空间维度大小，得到上采样后的高光谱图像记为h；利用平均融合的方法，将href可见光波段融合，得到全色图像p。

步骤3.训练对抗自编码器：

将上采样后的高光谱图像作为对抗自编码器的输入，迭代训练得到训练好的网络；

模型的训练分为两步：

第1步，训练自编码器进行图像重构。使解码器decoder能够从编码器encoder生成的编码数据中恢复出原始图像的内容；

第2步，生成器和判别器的对抗学习。首先训练判别器来区分输入的编码向量z来自p(z)还是虚假分布q(z)，然后训练生成器也就是编码器生成更加接近p(z)的q(z)来欺骗判别器。

现有技术通常通过设计高频抽取器(例如高频滤波器)获得高频信息作为空间信息，这些方法往往得到浅层空间特征，本发明提出的一种基于aae的自适应无监督网络挖掘潜在空间中隐藏的深层空间特征，为了更好地模拟原始的高维高光谱矢量，还添加了光谱正则化项。aae具有能够有效挖掘高光谱图像深层空间信息的优点，同时它与高光谱图像具有兼容性，这些是利用aae提取高光谱图像特征的原因。

步骤4.提取高光谱图像空间特征：

经过多次迭代，损失函数收敛在精度范围内，从训练好的对抗自编码器中保存此时对抗自编码器提取的高光谱图像空间特征f；

步骤5.增强全色图像：

(5.1)对全色图像进行自适应直方图像均衡；

ph＝adapthisteq(p)

(5.2)使用拉普拉斯-高斯增强算法来增加空间的细节。利用高斯滤波器去除全色图像的噪声：

pg＝ph×g

其中，ph表示直方均衡后的全色图像，pd是去除噪声后的图像片，g是高斯滤波器。

使用拉普拉斯算子对去噪后的全色图像进行细节的增强；

pe＝pg+▽²pg

其中，pe表示增强后的全色图像，▽²()表示二阶导数。

步骤6.获取各波段的空间细节：

在步骤2得到插值后的高光谱图像h和步骤5得到增强后全色图像之后，对增强后的全色图像进行高斯滤波，

其中，g代表高斯滤波函数，代表经过滤波器后的全色图像，pe代表增强后的全色图像。

按照下式对滤波前后图像作差获得空间细节：

l＝1,2,...,n，其中，d^l代表第l个波段空间细节，pe代表增强后的全色图像，代表经过滤波器后的全色图像。

步骤7.利用自适应融合方式融合空间特征和全色图像：

为了克服频谱失真和空间信息不足的问题，采用自适应融合方法提取总空间信息。以往的方法只考虑全色图像的空间信息，事实上，高光谱图像也有不能忽视的空间信息，因此，我们使用自适应融合方法从高光谱图像和全色图像中获取总的空间信息；

(7.1)选择合适的特征波段作为高光谱图像的空间信息。利用计算ssim的方法，分别比较特征的每一个波段与全色图像的结构相似性，ssim的值越接近1，结构相似度越高，结果越好。根据下式计算全色图像与各波段之间的ssim值。

s＝max(ssim(pci,p))

其中，p表示全色图像，s表示ssim的最大值，pci表示第i个波段，选择ssim值最大的波段。

(7.2)使用自适应融合方式同时考虑高光谱图像和全色图像的空间信息。

r＝α1pcm+α2p

其中，α1和α2是权重系数，r表示获得的空间信息。pcm表示选出的ssim值最大的高光谱图像特征的第m个波段。r是包含高光谱图像的空间信息和丰富的全色图像空间信息的总空间信息，p是全色图像。

步骤8.构建增益矩阵

将作差得到的空间细节与插值后的高光谱图像相结合，按照下式构造增益矩阵。

l＝1,2,...,n，其中，g^l是增益矩阵，β是用来控制适当空间信息的折衷系数，最优值可以通过计算空间评价指标的最优值得到，实验中通过调整参数得到最优解。

步骤9.得到最终的高空间和光谱分辨率的高光谱图像。

将插值后的图像各波段与相应波段提取的空间细节按照下式相结合，得到融合后的高空间和光谱分辨率的图像。

l＝1,2,...,n，其中，表示融合后的高光谱图像，是融合图像的第l个波段。

本发明利用双三次插值法下采样，得到低空间分辨率高光谱图像，对其上采样得到高空间分辨率的高光谱图像，利用对抗自编码器提取高空间分辨率高光谱图像的低维空间特征，从原始高光谱图像合成全色图像并且进行增强，利用自适应特征选择的方式选择和全色图像结构相似性指标最大的高光谱图像特征的波段，将选择的高光谱图像空间特征和增强后的全色图像融合得到新的全色图像，利用高斯滤波器从新的全色图像中获取图像细节，构建可以控制光谱和空间信息失真的增益矩阵，将总空间信息注入到插值后的高光谱图像的每个波段中，得到同时保持高空间分辨率和光谱分辨率的高光谱图像，很好地改善了现有方法中光谱信息保持不好的情况。

下面结合仿真实验对本发明的效果做说明。

实施例6

基于对抗自编码器提取空间特征的高光谱与全色图像融合方法同实施例1-5,

仿真条件：

实验使用的第一个数据集是moffett数据集，由机载可见/红外成像光谱仪(aviris)传感器获取，该传感器可在0.4～2.5m的光谱范围内提供224个波段的高光谱图像。丢弃吸水带和受损带，有176个波段用于实验。空间分辨率为200m。对于moffett数据集，用于实验的高光谱图像的尺寸为75*45，用于实验的全色图像的尺寸为300*180。

实验使用的第二个数据集是salinas数据集，也是由aviris传感器获得的。该数据集共有224个波段，覆盖光谱范围0.4～2.5m，丢弃20个吸水带和受损带，实验用的波段有204个。空间分辨率为对于salinas数据集，用于实验的高光谱图像的尺寸为40*40，用于实验的全色图像的尺寸为200*200。

仿真内容：

本发明的仿真实验是采用本发明方法和现有技术的高光谱图像融合方法，在上述仿真条件下，分别进行仿真实验。使用十种最先进的高光谱图像融合对比算法将高光谱图像和全色图像融合，比较本发明和对比算法的结果图像，并计算相关性能指标。本发明与现有最新的图像融合算法相比，融合结果在边缘和纹理上有更好的保留，在光谱上更加清晰。

仿真结果分析：

第一个实验是在moffettfield数据集上进行的。参照图2，现有技术中对采用基于mr、cs、贝叶斯等方法的高光谱图像融合进行的仿真实验1进行详细的描述。图2(a)为来自于机载可见光/红外成像光谱仪(aviris)传感器采集的数据集salinasscene的原始高光谱图像href、图2(b)为上采样得到的高光谱图像h、图2(c)为全色图像p，图2(n)为采用本发明方法得到的融合结果。图2(d)为采用sfim对高光谱图像和全色图像融合得到的结果。图2(e)为采用mtf_glp对高光谱图像和全色图像融合得到的结果。图2(f)为采用mtf_glp_hpm对高光谱图像和全色图像融合得到的结果。图2(g)为采用gs对高光谱图像和全色图像融合得到的结果。图2(h)为采用gsa对高光谱图像和全色图像融合得到的结果。图2(i)为采用gfpca对高光谱图像和全色图像融合得到的结果。图2(j)为采用cnmf对高光谱图像和全色图像融合得到的结果。图2(k)为采用lanaras对高光谱图像和全色图像融合得到的结果。图2(l)为采用hysure对高光谱图像和全色图像融合得到的结果。图2(m)为采用fuse对高光谱图像和全色图像融合得到的结果。

参见图2(d),图2(d)通过sfim方法很好地保留了光谱信息，但是包含过多的边缘和纹理。sfim的结果与使用基于mtf的方法获得的结果没有太大差异，参见图2(e)和图2(f)。这可能是因为使用半合成数据集并且mtf可能无法充分利用其潜力。gs方法获得良好的空间性能但是具有严重的光谱失真。gfpca和cnmf产生的结果较模糊，而cnmf方法在光谱方面表现出良好的结果。虽然cnmf在光谱方面表现良好，但gfpca和cnmf获得的结果从特定区域看较模糊。fuse和hysure方法表现出更好的性能，但是对于一些细节增加不足。对比图2中的诸多结果，可见，与现有方案中的缺点不同，在光谱和空间方面，本发明与现有的其他算法相比，从视觉上讲，不论从亮度、边缘和纹理保持效果、清晰度等都和原始高光谱图像最接近，获得了很好的结果。

本发明通过对抗自编码器从输入的高光谱图像中提取有效空间特征，利用双三次插值法得到下采样的高光谱图像，利用拉普拉斯超分辨率网络得到高空间分辨率的高光谱图像，利用对抗自编码器提取高光谱图像的低维空间特征，利用平均融合从高光谱图像得到全色图像，将全色图像增强，利用自适应融合方法将提取到的特征和增强后的全色图像融合得到新的全色图像，从增强的全色图像中获取图像细节，构建可以控制光谱和空间失真的增益矩阵，将总空间信息注入到插值的高光谱图像的每个波段中，得到同时保持高空间分辨率和光谱分辨率的高光谱图像，充分利用了高光谱图像丰富的光谱信息和全色图像的空间信息，相比其他最新的十种算法具有很好的空间和光谱性能，视觉效果也更出色，空间分辨率有效提升，减小高光谱图像的光谱信息损失，很好地保持光谱信息，并提高高光谱图像的空间分辨率，保持完善的空间信息，为遥感影像研究提供更精确的图像。

实施例7

基于对抗自编码器提取空间特征的高光谱与全色图像融合方法同实施例1-5,仿真条件同实施例6。

第二个实验是在salinasscene数据集上进行的。参照图3，对采用现有技术的基于mra、cs、贝叶斯等方法的高光谱图像融合进行的仿真实验2进行详细的描述。图3(a)为来自于机载可见光/红外成像光谱仪(aviris)传感器采集的数据集moffettfield的原始高光谱图像href；图3(b)为上采样得到的高光谱图像h；图3(c)为全色图像p；图3(n)为采用本发明方法得到的融合结果；图3(d)为采用sfim对高光谱图像和全色图像融合得到的结果；图3(e)为采用mtf_glp对高光谱图像和全色图像融合得到的结果；图3(f)为采用mtf_glp_hpm对高光谱图像和全色图像融合得到的结果；图3(g)为采用gs对高光谱图像和全色图像融合得到的结果；图3(h)为采用gsa对高光谱图像和全色图像融合得到的结果；图3(i)为采用gfpca对高光谱图像和全色图像融合得到的结果；图3(j)为采用cnmf对高光谱图像和全色图像融合得到的结果；图3(k)为采用lanaras对高光谱图像和全色图像融合得到的结果；图3(l)为采用hysure对高光谱图像和全色图像融合得到的结果；图3(m)为采用fuse对高光谱图像和全色图像融合得到的结果。

参照图(3)中的融合结果，分析可以发现，sfim方法的空间细节显示略微模糊，缺乏空间细节信息，gs、gsa方法引起非常明显的光谱失真。gfpca方法具有比gsa更好的光谱质量，但在融合结果的左侧区域显示出较为模糊、不明清晰的区域。cnmf和hysure方法的融合结果具有出色的空间质量。然而，这些方法在实验数据场景的下半部分中三角形区域内产生略微的光谱失真，lanaras方法的光谱失真较为严重。通过视觉分析，hysure、fuse和本发明均有效地改善了空间性能，同时保持了良好的光谱信息。与hysure和fuse方法相比，本发明的实验结果显示出更好的光谱质量，特别是在某些区域，本发明相比所有的对比算法具有最低的sam值。这些结果表明，本发明对于高光谱图像的空间信息和光谱信息都保持较好，具有良好的融合效果。

融合图像结果可以用人眼目视看出区别，但视觉观察有限，受主观影响因素较多，下面用客观数据再进行说明。

为了对本发明的融合结果进行客观定量分析，分别计算相关系数cc、光谱角sam、均方误差rmse、全局相对误差ergas指标，从空间和光谱两个方面对融合效果进行评估。表一为本发明和现有的十种高光谱图像融合方法对于salinasscene数据集融合结果的性能指标。

通过对表一salinasscene数据集的融合结果指标定量分析，可以发现，相比其他的融合方法，本发明与原始高光谱图像的相关系数最大，cc值最高。在光谱信息保持方面，光谱角sam达到最小。在全局指标评价方面，rmse达到最小，优于其他所有十种算法，同时本发明视觉效果很好，在图像的结构相似性、清晰度、亮度等方面均有较好的结果，以上结果表明本发明在空间和光谱方面都表现出优良的性能。

表二为moffett数据集的客观定量分析，分别列出了本发明和现有十种方法对moffettfield高光谱图像融合结果的性能指标。

通过对表二moffettfield数据集的融合结果指标定量分析，可以发现，相比其他的融合方法，本发明对于融合结果的光谱信息保持效果非常好，获得最佳的sam，sam值远小于其他的十种算法，rmse也达到最小，融合结果和原始高光谱图像的误差非常小，并且cc和ergas值是在十种算法接近最优，排在第三位，综合空间和光谱的各项指标结果很好。从视觉上讲，moffett数据集的结果更接近原始高光谱图像，光谱信息保持较好，图像边缘和细节纹理等保持较好，以上结果均表明本发明在光谱和空间的客观性能方面同时达到很好的效果。

综上所述，本发明公开的一种基于对抗自编码器提取空间特征的高光谱与全色图像融合方法，主要解决了现有高光谱图像融合技术领域中光谱失真严重，空间细节注入不足的问题，本发明的具体步骤如下：获取图像数据集，对数据进行预处理；构建输入高光谱图像的光谱约束对抗自编码器网络；训练光谱约束对抗自编码器网络，提取高光谱图像的空间特征；对全色图进行增强处理；获取增强后的全色图的空间细节；融合高光谱图像和增强后全色图像的空间信息；构建增益矩阵；得到高空间分辨率的高光谱图像。

本发明同时考虑高光谱图像和全色图像空间信息，利用aae提取深层的空间特征，有效减小光谱损失，融合指标和视觉效果都取得了很好的空间和光谱性能，有效地提高空间分辨率。本发明具有空间细节保持更好，光谱信息也比较完善，能够同时保持很好的光谱信息和空间信息的特点。