基于增强过采样的类别不平衡高光谱图像分类方法

本发明涉及遥感图像处理技术领域，具体涉及一种基于增强过采样的类别不平衡高光谱图像分类方法。

背景技术：

高光谱图像是通过采集物体多个电磁波波段范围内的信息，然后借助红外光谱成像技术而形成的图像。相比于仅包含红绿蓝三个通道的自然图像，高光谱图像的光谱维包含丰富的信息，而这些信息对物体的检测、分类、识别等具有极其重要的作用，因此在精准农业、环境监测、城市规划、军事侦察等领域有着广泛的应用。高光谱数据处理的一个重要内容就是高光谱图像分类，一般指地物分类，即将图像中的每一个像元按照其语义划分到不同的地物类别中。

近年来，深度学习已成为大数据分析的一个发展趋势，并在图像分类、目标检测、自然语言处理等许多计算机视觉任务中取得了重大突破。基于这些成功的应用，深度学习被引入到高光谱图像分类中，并取得了良好的效果。与传统手工制作的方法相比，深度学习技术可以通过一系列层次结构从原始数据中提取信息特征。具体来说，浅层网络提取一些简单的特征，如纹理和边缘信息，较深的层能够表达更复杂的特征，学习过程是完全自动化的，这使得深度学习更适应于应对各种情况。卷积神经网络(cnn)是深度学习中最具代表性的网络模型之一，遥感社区已提出了许多的基于cnn的高光谱图像分类方法，相比传统机器学习方法都有着更好的分类性能。然而，cnn模型通常是参数化的，需要大量的训练数据来保证性能，当训练样本数较少时，分类性能会下降，严重影像分类精度。

分类是机器学习和数据挖掘领域的一个重要任务，其可以直观的表述为：给定一个训练实例集合，每个实例都有一个类别标签，以此确定一个或多个不曾见到过的测试实例的类别标签。在现实世界中，由于罕见实例很少发生，造成数据中某些类的实例数目比其它类多，由此造成了类别不平衡分类问题。实例数目少造成了预测小类的分类规则往往很少、未被发现或被忽略，因此，属于小类的测试样本比属于普遍类的测试样本更容易错误分类。在某些应用中，小类别样本的正确分类往往比相反的情况具有更大的价值，因此能够有效分类不平衡数据的模型尤为重要。

现有的解决类别不平衡问题的方法大致分为两类，即外部方法和内部方法。内部方法通过算法级修改，降低对类别不平衡的敏感性，可分为直接从数据集学习类别不平衡的专用算法、基于识别的单类别分类算法、代价敏感学习算法和集成学习算法。外部方法使用采样技术对训练数据集进行预处理以使其平衡，由于其实现简单，精度合理，受到了广泛的关注，主要分为欠采样和过采样。欠采样方法是通过删除多数类的样本使数据集平衡，主要是随机欠采样(rus)，但这种随机删除多数类样本可能导致分类器错过与多数类相关的重要特性，导致整体分类性能显著下降。过采样方法是通过增加少数类训练样本使数据集平衡，常用的过采样方法有随机过采样(ros)和合成少数类过采样技术(smote)。ros方法通过在训练集中随机复制少数类样本来平衡数据集，在某些规模极小数据集下很容易发生过拟合；smote方法基于现有少数类样本之间的特征空间相似度来创建人工数据，很容易造成类间重叠和引入噪声样本，并且最大的特点是无法直接应用于图像等多维数据的样本生成。

技术实现要素：

针对现有技术存在的问题，本发明的目的在于提供一种基于增强过采样的类别不平衡高光谱图像分类方法，以解决高光谱图像分类中小样本、类别不平衡导致的分类准确性低问题，提高分类准确性。

为了达到上述目的，本发明采用以下技术方案予以实现。

基于增强过采样的类别不平衡高光谱图像分类方法，包括以下步骤：

步骤1，获取待分类高光谱图像和待训练高光谱图像集；

步骤2，采用主成分分析法分别对待分类高光谱图像和待训练高光谱图像集中的图像进行降维处理，得到降维后的待分类高光谱图像和待训练高光谱图像集；再对降维后的每幅高光谱图像进行边缘填充和分块，得到对应的待分类像素块和训练样本集；

步骤3，对训练样本集进行增强过采样不平衡处理，得到对应的增强过采样后的训练样本集；其中，训练样本集中的训练样本为训练像素块；

步骤4，搭建卷积神经网络模型，采用过采样后的训练样本集对卷积神经网络进行训练，得到训练好的卷积神经网络；将待分类像素块输入训练好的卷积神经网络进行类别预测，得到对应的预测类别，完成待分类高光谱图像的分类。

与现有技术相比，本发明的有益效果为：

(1)本发明建立了一种通用型样本平衡规则，可以适配图像等多维数据的预处理，为小样本的深度学习训练提供了一种解决方案；

(2)本发明提出的增强过采样方法，有效的减少了ros采样技术潜在过拟合和smote采样技术引入噪声样本的影响；

(3)本发明的样本处理过程可以帮助建立有效分类不平衡数据的模型，从而极大程度上提高小类别分类的准确性。

附图说明

下面结合附图和具体实施例对本发明做进一步详细说明。

图1为本发明方法的实现流程图

图2为本发明中的2倍ros采样过程示意图；

图3为本发明实施例的cnn网络处理过程示意图。

具体实施方式

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。

参考图1，本发明提供的一种基于增强过采样的类别不平衡高光谱图像分类方法，包括以下步骤：

步骤1，获取待分类高光谱图像和待训练高光谱图像集；

待训练高光谱图像集内的图像上的土地覆盖类别包含了待分类高光谱图像上的土地覆盖类别。其中待训练高光谱图像集中的图像是从遥感影像公共数据平台获取的大小为h×w×n的高光谱图像；其内图像数量可以为一张或多张，设其土地覆盖类别为n个；

同时，需要从实地考查或高分辨率影像目视解译获取待训练高光谱图像集中每幅图像上的地面真值即真实类别标签。

步骤2，采用主成分分析法分别对待分类高光谱图像和待训练高光谱图像集中的图像进行降维处理，得到降维后的待分类高光谱图像和待训练高光谱图像集；再对降维后的每幅高光谱图像进行边缘填充和分块，得到对应的待分类像素块和训练样本集；

(2.1)对每幅高光谱图像进行主成分分析(pca)，保留k个主要特征分量：

pca是用一个超平面对所有样本进行恰当表达的方法，思想是将n维特征映射到k维上(k＜n)，这k维是全新的正交特征，称为主成分。其主要计算过程为：

1)对数据的每项特征做均值化处理；

2)求特征的协方差矩阵；

3)求协方差矩阵的特征值和特征向量；

4)求前k个最大的特征值，将其对应的特征向量组成新的矩阵；

5)将样本点投影到选取的特征向量上。

高光谱图像具有高维性，通过pca降维可以减少分类器对有限样本训练的不良影响，增强分类器的泛化能力。

(2.2)高光谱图像的边缘填充：

首先，计算填充边缘大小：

其中，s为像素块窗口大小，表示向下取整；

然后，以固定像素值0在每幅高光谱图像的四周填充大小为p的边缘。

(2.3)在空间维度上以像素点方式遍历每幅高光谱图像，截取大小为s×s×k的像素块作为样本；每幅高光谱图像创建的像素块的样本个数为h×w个。

步骤3，对训练样本集进行增强过采样不平衡处理，得到对应的增强过采样后的训练样本集；其中，训练样本集中的训练样本为训练像素块；

(3.1)对训练样本集内的样本进行2倍ros采样：将待训练像素块集合中的样本数目最多的类别对应的样本数目记为m，则对于每个类别的样本分别进行类内随机复制，使每个类别的样本数量达到2m，形成过采样后的训练样本集。

实际上，ros采样技术是将小于最大样本数目的类别均看作少数类，通过在原样本集合随机复制的方式将少数类像素块的数目分别采样到原样本集最大样本数目，2倍ros采样是指将少数类样本均采样到原样本集最大样本数目的2倍。采样后数据集类别数目如图2所示。

(3.2)对过采样后的训练样本集进行数据增强：

根据遥感影像旋转不变性的特点，对待训练像素块进行数据翻转和旋转等增强操作，避免复制样本带来的潜在过拟合问题。

随机选取过采样后的训练样本集中一半的样本进行数据增强处理，即在空间维度上进行垂直翻转、水平翻转或旋转，形成增强样本，采用增强样本替换训练样本集中对应位置的样本，形成增强过采样后的训练样本集。

所述旋转为在[-180°，180°]区间内以30°为间隔随机选择旋转角度进行样本的旋转操作。

步骤4，搭建卷积神经网络模型，采用过采样后的训练样本集对卷积神经网络进行训练，得到训练好的卷积神经网络；将待分类像素块输入训练好的卷积神经网络进行类别预测，得到对应的预测类别，完成待分类高光谱图像的分类。

cnn(卷积神经网络)的灵感来自于视觉系统的结构。与全连接网络不同，cnn利用局部连接提取图像的上下文2d空间特征。此外，网络参数可以通过权值共享机制显著减少，显著的提高了计算效率。如背景技术中所述，cnn模型通常是参数化的，需要大量的训练数据来保证性能，当训练样本数较少时，分类性能会下降，严重影像分类精度。本发明方法前述步骤均为解决cnn分类的小样本训练以及类别不平衡问题，因此，此处选择使用cnn分类器作为最终分类器模型。

本发明搭建一个基于2d-cnn的高光谱图像分类模型，结构如图3所示。模型结构简单，其由依次连接的输入层、两个卷积层、第一dropout层、全连接层、第二dropout层、全连接输出层组成，由于像素块样本尺寸小，为了防止空间信息丢失过多，去掉了传统cnn网络中与卷积层配套的池化层。

在2d-cnn模型中，模型的输入层尺寸为步骤3得到的增强过采样后的训练样本集中的像素块训练样本的尺寸，用来接收像素块训练样本；第一个卷积层的卷积核个数为3k(k为输入像素块光谱维度通道数目)，卷积核大小为3×3，第二个卷积层的卷积核个数为9k，卷积核大小为3×3，用来提取像素块分类特征；为了防止模型过拟合，在两个卷积层后加入了一个dropout层，丢弃率为0.25；为了适应全连接层输入的要求，紧接着将多维特征图展平为一维特征；第一个全连接层的神经元个数为6k，提取特征后输入第二个丢弃率为0.5的dropout层；第二个全连接层是模型的输出层，神经元个数为n(分类类别数)，采用softmax激活层输出样本的预测概率值，最大概率值对应的类别标签作为样本的最终预测类别。

在模型训练过程中，所有的模型权值采用随机初始化和反向传播算法进行更新，损失函数采用交叉熵损失函数，优化器采用随机梯度下降算法。将模型训练若干个epoch，每个epoch将所有的训练样本输入网络进行权值更新，当训练损失函数曲线收敛时，模型对训练数据达到拟合状态，完成训练。最后，将步骤2未知标签的待分类像素块输入训练好的模型中进行预测，得到待分类高光谱图像的分类结果。

仿真实验

本发明的效果可以通过以下一个具体实例进一步说明：

indianpines数据集是一个公开的高光谱图像数据集，由机载成像光谱仪(aviris)于1992年对美国印第安纳州的一块印度松树进行成像，截取了145×145大小进行标注作为高光谱图像分类测试用途。该数据集可用波段有200个，总像素数目为21025个，去除掉10776个背景像素，剩下的10249个地物像素用作地物分类。该数据集成像的空间分辨率为20m，极易产生混合像元，给分类带来困难，并且在这16类中，样本的分布极其不均匀，这也增加了分类的难度。正因为如此，该光谱数据集是目前高光谱图像分类研究最常用的测试数据之一。具体的每一类地物的样本个数如表1所示。

表1indianpines数据集每类样本数目、训练集和测试集样本数目

由于indianpines数据集具有类别不平衡的特点，本发明采用该数据集进行实例测试。在实验测试中，一组采用基础cnn网络直接对样本进行训练和测试，另一组按本发明方法步骤进行实验。每类选取5％的训练样本，预处理部分保留30个主成分，像素块宽和高为25，cnn分类器迭代次数为100代，精度评价方式采用整体精度(oa)、平均精度(aa)、卡帕系数(kappa)进行度量，最终实验结果如表2所示。

表2两种方法的测试集评价指标

从表2可见，本发明相比于基础cnn方法，各项分类评价指标均高于基础cnn分类器精度，并且对每个类别的分类精度有很大的提升，证明本发明具有很好的应用效果。

虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。