基于多模态压缩双线性池化的高光谱图像分类方法与流程

本发明涉及智能图像处理技术领域，具体涉及基于多模态压缩双线性池化(multimodalcompactbilinearpooling，简称mcb)的高光谱图像分类方法。

背景技术：

高光谱图像(hyperspectralimage,简称hsi)具有光谱分辨率高、图谱合一的独特优点，已被广泛应用于目标追踪、环境保护、农业监测及气象预报等领域。对高光谱图像中每个像元进行分类是高光谱遥感应用的基石，具有极大的研究意义。

传统的高光谱图像分类方法往往只基于光谱信息在低维空间上提取特征，典型的方法主要包括：k-均值聚类(k-means)方法、流形学习(manifoldlearning)、支持向量机(supportvectormachine,简称svm)等。然而，这些分类方法依赖于浅层光谱特征，忽略了对高光谱空间信息的使用，同时所提取高光谱图像特征的不变性及判别性较差。为了改善高光谱图像的分类性能，联合利用高光谱图像的光谱和空间信息设计分类器已成为一个主要的研究方向。近年来，深度学习以其在视觉感知任务中的优秀表现获得了广大高光谱分类研究者的热切关注。liu等人将高光谱图像的光谱带看作一个图像序列，使用长短期记忆网络学习光谱信息的依赖关系，同时结合卷积神经网络来提取高光谱图像的空间特征，提出了双向卷积长短期记忆网络(bidirectionalconvolutionallongshorttermmemory，简称bi-clstm)空-谱提取模型；另一方面，yang等人构建双通道卷积神经网络(twochannelconvolutionalneuralnetwork,简称two-cnn)分别对光谱信息和空间信息进行提取，继而使用级联(concatenate)的方式对空-谱特征进行连接；zhang等人在此基础上对光谱通道和空间通道不同层的特征进行级联，实现空-谱分级特征结合的效果，该工作在高光谱图像分类中，为从双通道特征提取角度进行空-谱特征结合提供了新思路。

技术实现要素：

本发明的目的是针对现有技术的不足，而提供一种基于多模态压缩双线性池化的高光谱图像分类方法。这种方法优点之一是充分利用空-谱特征，采用双通道卷积神经网络分别对高光谱图像的光谱和空间信息进行特征提取；优点之二是使用多模态压缩双线性池化产生空-谱联合特征，可以分析光谱和空间特征向量中每个元素之间的复杂关系，改善高光谱图像的分类性能；优点之三是多模态压缩双线性池化可避免直接对光谱和空间向量进行外积计算，解决原两个向量外积计算过程中维数过高，计算困难的问题。

实现本发明目的的技术方案是：

基于多模态压缩双线性池化的高光谱图像分类方法，包括如下步骤：

1)数据预处理：对原高光谱图像的每个像元在光谱维度上进行归一化处理、对原高光谱图像的每个波段在空间维度上进行归一化处理；

2)光谱通道特征提取：选取在光谱维度上归一化处理后的高光谱图像的第n个像素的光谱带sn∈r^m×1，作为光谱通道的输入，此后使用1-d核对光谱输入进行卷积和最大池化操作，在光谱通道的全连接层获得光谱通道的输出特征其中m为光谱带长度，k为全连接层的神经元个数；

3)空间通道特征提取：首先，对在空间维度上归一化处理后的高光谱图像在光谱维度上进行主成分分析(principalcomponentanalysis,简称pca)降维处理，压缩后的光谱维数为s(s＜＜m)，这一步会丢掉一部分光谱信息，但图像的空间信息不会受到影响，其次，在降维后的高光谱图像中，选取与光谱通道输入相对应的第n个像素邻域块pn∈r^w×w×s作为空间通道的输入，其后利用2-d核对空间输入进行卷积和最大池化操作，在空间通道的全连接层获得所提取的空间通道特征空间通道特征维数与光谱通道特征维数相同，其中w为空间邻域块的长宽尺寸；

4)空-谱特征融合：为了利用光谱和空间特征改善高光谱图像分类的性能，将步骤2)和步骤3)所提取的光谱通道特征与空间通道特征传入压缩双线性池化层，以此来获得多模态联合特征向量其中d＜＜k²，由于压缩双线性池化采用外积的计算概念，编码了和特征向量中每个元素之间的相互关系，故而所产生的多模态(空-谱)联合特征向量比其他特征结合方式(比如级联)更具有表达性，此外多模态压缩双线性池化将和特征向量的外积投射到低维空间，避免对外积的直接计算，其有效解决了原双线性池化维数较高k²，计算复杂，容易产生过拟合的问题；

5)高光谱像元分类：将步骤4)所提取的多模态联合特征传入顶端softmax线性分类器对每个像元进行分类。

这种方法，根据高光谱图像的数据特点，搭建双通道网络模型，利用1-d和2-d卷积核分别提取高光谱图像的光谱和空间信息，并从空-谱特征融合的角度，针对目前双通道特征提取网络用于高光谱分类过程中，简单的级联或点积结合空-谱特征并不能很好地表达光谱和空间信息之间的复杂关系的问题，采用多模态压缩双线性池化来获得空-谱联合特征；不同于级联或点积，多模态压缩双线性池化计算两个向量的外积，能够捕捉两个向量所有元素之间的乘法交互关系；同时为了避免外积计算策略带来的维数急剧增加，计算复杂的问题，多模态压缩双线性池化将双通道所提取的光谱和空间特征向量的外积随机地投射到更低的维数空间中，继而在快速傅里叶变换(fastfouriertransform，fft)空间中将时域中向量的外积运算转换为频域中使用点乘对两个特征向量进行卷积。

这种方法有效解决了原光谱和空间特征向量外积维数较高，计算复杂，容易产生过拟合的问题。

附图说明

图1为实施例的方法流程示意图；

图2为实施例中基于多模态压缩双线性池化的网络整体框图；

图3为实施例中mcb层不同维数对分类精度的影响示意图。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的详细说明，但不是对本发明的限定。

实施例：

参照图1，基于多模态压缩双线性池化的高光谱图像分类方法，包括如下步骤：

1)数据预处理：对原高光谱图像的每个像元在光谱维度上进行归一化处理、对原高光谱图像的每个波段在空间维度上进行归一化处理；

2)光谱通道特征提取：如图2所示，选取在光谱维度上归一化处理后的高光谱图像的第n个像素的光谱带sn∈r^m×1，作为光谱通道的输入，此后使用1-d核对光谱输入进行卷积和最大池化操作，在光谱通道的全连接层获得光谱通道的输出特征其中m为光谱带长度，k为全连接层的神经元个数；

3)空间通道特征提取：首先，对在空间维度上归一化处理后的高光谱图像在光谱维度上进行主成分分析降维处理，压缩后的光谱维数为s(s＜＜m)，这一步会丢掉一部分光谱信息，但图像的空间信息不会受到影响，其次，在降维后的高光谱图像中，选取与光谱通道输入相对应的第n个像素邻域块pn∈r^w×w×s作为空间通道的输入，其后利用2-d核对空间输入进行卷积和最大池化操作，在空间通道的全连接层获得所提取的空间通道特征空间通道特征维数与光谱通道特征维数相同，其中w为空间邻域块的长宽尺寸；

4)空-谱特征融合：为了利用光谱和空间特征改善高光谱图像分类的性能，将步骤2)和步骤3)所提取的光谱通道特征与空间通道特征传入压缩双线性池化层，以此来获得多模态联合特征向量其中d＜＜k²，压缩双线性池化层采用countsketch投射函数y，将空-谱特征向量的外积投射到低维空间表示为其中h,g为哈希映射，表示向量外积，用来解决双线性模型维数过高，计算不灵活问题，而pham等人曾解释两个向量外积的countsketch可表示为各自countsketch的卷积，则

其中*表示卷积运算，故上述求解空-谱联合特征的过程可转化为两个特征向量分别使用countsketch函数y投射到空间以便近似计算空-谱多模态双线性特征，具体过程为：

(1)随机初始化两个向量hk∈{1,2,...,d}^k，gk∈{-1,1}^k，其中k＝1,2，hk将输入向量的每一个索引i映射到输出向量的索引j∈{1,2,...,d}，即j＝hk[i]；对于输入向量的每一个索引i，gk[i]为1或-1；同时，hk在{1,2,...,d}及gk在{-1,1}上都是服从均匀分布的；

(2)对于输出向量的索引j所对应的值，存在关系

这样即为通过countsketch投射函数y作用获得的输出向量；

(3)根据卷积定理可知，时域中的卷积对应于频域中的乘积，故(1)式又可以表达为：

即

其中，o表示点积运算，为最终获得的空-谱联合特征向量；

(4)多模态压缩双线性池化能够被嵌入到双通道特征提取网络中进行端到端的训练，假设损失函数为loss，则根据(1)式可知mcb的反向传播能够表示为：

其中，i＝1,2,...,k，由于hk仅是关于向量索引的映射，故而在反向传播过程中，仅需计算gk,k＝1,2的梯度即可；

5)高光谱像元分类：将步骤4)所提取的多模态联合特征传入顶端softmax线性分类器对每个像元进行分类。

通过上述的实施例，可实现在同一网络结构下，通过端到端的训练方式，联合学习高光谱图像的空-谱信息，此外，使用多模态压缩双线性池化将所提取的多模态特征的外积投射到低维空间，以此产生空-谱联合特征；该网络，既可以分析光谱和空间特征向量中每个元素之间的复杂关系，同时也避免直接对光谱和空间向量进行外积计算，造成维数过高，计算困难的问题，最终实验表明，与现有基于神经网络的分类方法相比，本技术方案所提出的高光谱图像分类算法，能更好融合空-谱特征用以提高高光谱像元分类精度，另外，为了探究mcb层投射维数对网络性能的影响，如图3所示，在数据集indianpines上，比较不同的投射维度d对总体分类精度(overallaccuracy,oa)，平均分类精度(averageaccuracy,aa)，kappa系数的作用，本实施例中f11和f21层的维数为d＝512，从图3可以看出，当mcb层维数从128到512时，oa增加1％的精度，相较维数为从512增加至1024时精度oa值增加要快，但维数低于512时，高光谱分类的aa值较低，表明少部分类别错误分类较多；虽然维数为1024时分类性能要好于维数为512的网络，但增加维数的同时也增加了计算量，精度提升并不明显，相比较而言，当双通道各自提取的特征维度为512时，mcb层取维数为d＝512最合适。