基于空间信息增强和深度信念网络的高光谱图像分类方法与流程

本发明属于高光谱影像处理和计算机视觉领域，特别涉及一种高光谱图像分类方法，可用于环境、气候、农业以及矿物探测。

背景技术：

随着光谱成像技术和遥感技术的快速发展，高光谱遥感技术已经成为一种前沿技术。高光谱遥感影像具有很高的光谱分辨率和较高的空间分辨率，可以实现对地表物体的精确分类，因此可以应用于许多领域：如环境，气候，农业，以及矿物探测等。

目前解决高光谱图像分类问题的主要方法是进行光谱特征提取，再借助分类器进行分类，该方法主要集中的是传统机器学习算法，其中以基于支持向量机svm的算法为代表。这类方法的不足是仅仅考虑到光谱信息而忽略了空间信息，导致分类精度不够理想。随着现在光谱成像技术的发展，高光谱图像在具有很高的光谱分辨率的同时，也具有越来越高的空间分辨率，因此将高光谱图像的空间信息和光谱信息结合进行高光谱图像处理正成为现在高光谱图像处理领域极具热度的研究方向。

深度学习是机器学习研究的一个新兴热门领域，其主要是根据人脑机制，建立神经网络来进行学习分析，通过模拟人脑学习方式来解译诸如图像、语音、文本等信息，相比传统机器学习算法，深度学习不需要人工设计特征，并且能自动学习高层次，更具识别能力的特征，这一特点促使人们把深度学习算法用在更加广泛的领域。深度信念网络是深度学习三大经典模型之一，目前已广泛应用于图像识别和语音识别以及文本识别，深度信念网络一般是由多层限制玻尔兹曼机堆叠而成，以逐层rbm的训练作为预训练，然后采用bp算法进行整个网络模型的微调。

目前将深度信念网络应用于高光谱图像分类任务的方法在引入空间信息时，往往采用提取像元邻域所有像元，并将这些像元直接连接形成空间信息向量，再将空间信息向量与光谱信息向量连接成同时包含空间信息和光谱信息的特征向量，这样操作的缺点有两个，一是邻域拼接会造成光谱混淆，影响原始光谱信息；二是仅仅利用了高光谱图像的原始空间信息，并未针对高光谱图像特点进行空间信息增强，因此基于这类空间信息引入方式的深度信念网络的高光谱图像分类算法相比基于svm等传统浅层网络分类方法分类精度没有明显提高。

技术实现要素：

本发明针对上述现有技术的不足，提出一种基于空间信息增强和深度信念网络的高光谱图像分类方法，以提高分类精度。

本发明的技术方案是，针对高光谱图像包含的光谱特性和图像特性，先对高光谱图像进行空间信息增强，再设计深度信念网络分类模型，最后利用深度信念网络对高光谱图像的光谱信息和空间信息进行特征提取和建模，完成对高光谱图像的分类。其实现步骤包括如下：

(1)预处理：

将原始高光谱图像的反射率值归一化到0到1之间，并对原始高光谱图像进行波段选择，选择100个波段，并将这100个波段作为空间信息增强的保留代表波段，得到预处理之后的高光谱图像xp；

(2)对预处理后的高光谱图像xp进行空间信息增强：

2a)对预处理后的高光谱图像xp计算波段图像的相关性系数矩阵r，根据相关性系数大小进行波段分组，组内任意两个波段图像间的相关性系数大于等于0.95，每个组包含不同数量的波段；

2b)在每个组内计算所有波段图像的图像信息熵h，选取图像信息熵最大的波段图像作为引导图像i；

2c)在每个分组内使用引导图像i分别对组内其他波段图像进行导向滤波，得到空间信息增强的波段图像；

2d)将空间信息增强的波段图像按照其分组前的波段序号合并，得到空间信息增强的高光谱图像xs；

(3)构建深度信念网络：

设置深度信念网络由两层限制波尔兹曼机和一层分类器组成，其中第一层限制波尔兹曼机的隐含层神经元数目为50，无监督训练次数为100，学习率为0.15，激励函数为sigmoid函数；第二层限制波尔兹曼机的隐含层神经元数目为50，无监督训练次数为100，学习率为0.2，激励函数为sigmoid函数；最上层连接的分类器是softmax分类器；

(4)网络训练和测试：

在空间信息增强后的高光谱图像xs包含的多类地物中每类随机选择300个样本构成训练集，剩下的样本构成测试集；用训练集对构建的深度信念网络进行训练，得到深度信念网络模型m，用该模型m对测试集进行测试，得到分类结果。

本发明与现有技术相比具有以下优点：

第一，本发明的空间信息增强由于仅针对高光谱图像的波段图像进行，不涉及高光谱图像的光谱维，因此能在保证不损失原始光谱信息情况下，有效增强高光谱图像的空间信息；

第二，本发明设计深度信念网络由于有效结合了无监督训练和有监督训练，通过少量的训练样本就能训练得到性能良好的模型，因此能在训练样本有限的高光谱图像分类任务中，获得较高的分类精度；

附图说明

图1是本发明的实现流程图；

图2是本发明中的限制波尔兹曼机模型结构图；

图3是本发明中的深度信念网络模型结构图；

图4是用本发明对indianpines高光谱图像数据库的分类结果图；

图5是用本发明对paviauniversity高光谱图像数据库的分类结果图；

图6是用本发明对salinas高光谱图像数据库的分类结果图。

具体实施方式

下面结合附图对本发明的实施例和效果做进一步的描述。

参照图1，本发明实现步骤如下:

步骤1，对原始高光谱图像进行预处理：

(1a)归一化：

设x∈r^m×n×l表示一个原始高光谱图像，其中m表示x的长度，n表示x的宽度，l表示x的波段数；

该高光谱图像x包含m×n个长度为l的光谱向量，对这m×n个光谱向量的反射率值进行归一化，将每个光谱向量的反射率值归一化在[0-1]之间，得到归一化后的高光谱图像xu，其中：

每个光谱向量用如下公式进行归一化：

其中xr表示高光谱图像的第r个光谱向量，max(xr)表示光谱向量xr的元素最大值；

(1b)波段选择：

高光谱图像的优势在于波段精度高，光谱分辨率高，但同时也存在较多的冗余波段，冗余波段的不良影响包括：扰乱特征提取、增加特征维度、增加处理时间、降低分类精度等，因此在对高光谱图像进行分析处理之前，需要进行波段选择，以提取代表波段，通过波段选择优化特征提取过程，提高特征性能。

对归一化后的高光谱图像xu进行波段选择按如下步骤进行：

1b1)计算高光谱图像xu的均值向量：

其中，(xu)mean表示的xu均值向量，xi表示xu包含的光谱向量，

1b2)计算高光谱图像xu的协方差矩阵：

(xu)cov＝e{(xu-xmean)(xu-xmean)^t}，

其中，(xu)cov表示xu的协方差矩阵，

1b3)提取代表波段：

设λ1,λ2,...,λl表示(xu)cov的特征根，ν1,ν2,...,νl表示特征根对应的特征向量，将特征根从大到小排列顺序，选择前100个特征根，在归一化后的高光谱图像xu中选择与这100个特征根对应的波段，去除其余波段，得到预处理后的高光谱图像xp。

步骤2，对预处理后的高光谱图像xp进行空间信息增强。

2a)对预处理后的高光谱图像xp进行波段分组：

2a1)计算高光谱图像xp的相关性系数矩阵r：

其中，i和j表示波段序号，l表示波段图像数，n表示波段图像包含的像素数，表示第i个波段的波段图像的灰度均值，表示表示第j个波段的波段图像的灰度均值，xik表示第i个波段图像的第k个像素的灰度值，xjk表示表示第j个波段图像的第k个像素的灰度值，yj表示第个j波段图像的灰度值，表示第j个波段的波段图像的灰度均值，yjk表示第j个波段图像的第k个像素的灰度值；

2a2)根据相关性系数矩阵r进行波段分组：设矩阵r中包含n个元素值大于等于0.95的连通域，n个连通域之间不相交；

2a3)对一个连通域，提取连通域内元素的行标和列标，将行标和列标对应的波段图像分为一组，得到一个分组；

2a4)对n个连通域进行2a3)的操作，得到n个分组。

2b)在每个组内计算所有波段图像x的图像信息熵h：

其中n表示x包含的像素数，(i,j)表示波段图像x中灰度值分别为i和j的灰度值二元组，f(i,j)表示二元组(i,j)出现的频数；

2c)选取图像信息熵最大的波段图像作为引导图像i，在每个分组内使用引导图像i分别对组内其他波段图像进行导向滤波，得到空间信息增强的波段图像g：

(2c1)用引导图像i和波段图像x计算权值a：

其中，ω表示滤波窗口，μ和σ²分别表示引导图i在窗口ω内的均值和方差，|ω|表示滤波窗口ω内的像素个数，表示波段图像x在窗口ω内的均值；

(2c2)根据波段图像x和权重a计算偏置：

(2c3)根据引导图像i、权重a和偏置b，得到滤波输出：g＝ai+b；

2d)将空间信息增强的波段图像g按照其分组前的波段序号合并，得到空间信息增强的高光谱图像xs。

步骤3，构建深度信念网络。

深度信念网络是深度神经网络三大典型网络之一，具有很强的特征提取能力和数据建模能力，广泛应用于图像识别、文本识别等任务中。构建深度信念网络的方法由两类：一是基于自动编码器构建深度信念网络，二是基于限制玻尔兹曼机构建深度信念网络，本发明采用基于限制玻尔兹曼机的方式构建深度信念网络，其由两层限制波尔兹曼机和一层分类器堆叠而成，其中：

第一层限制波尔兹曼机的隐含层神经元数目为50，无监督训练次数为100，学习率为0.15，激励函数为sigmoid函数；

第二层限制波尔兹曼机的隐含层神经元数目为50，无监督训练次数为100，学习率为0.2，激励函数为sigmoid函数；

最上层的分类器为softmax分类器。

步骤4，网络训练和测试。

在空间信息增强后的高光谱图像xs包含的多类地物中每类随机选择300个样本构成训练集，剩下的样本构成测试集；用训练集和测试集进行深度信念网络的训练和测试，其实现步骤如下：

4a)参数初始化：用训练集作为最下层限制波尔兹曼机的可见层，对第一层限制玻尔兹曼机进行训练，得到第一层限制玻尔兹曼机从可见层到隐含层的连接权重和偏置；将第一层限制波尔兹曼机的隐含层神经元作为第二层限制波尔兹曼机的可见层神经元，对第二层限制玻尔兹曼机进行训练，得到第二层限制波尔兹曼机从可见层到隐含层的连接权重和偏置，即得到深度信念网络的初始化模型min；

4b)用训练集对初始化模型min进行参数优化：用训练集作为初始化模型min的输入数据自下而上计算重建数据，根据重建数据和输入数据计算重建误差，并自上而下反馈重建误差，根据反馈的重建误差更新网络连接权重和偏置；

4c)循环步骤4b)直到建模误差下降到小于等于误差允许值，停止参数优化，得到深度信念网络的最终模型m。

4d)用测试集对得到的深度信念网络模型m对进行分类性能测试：

将测试集输入模型m中，用模型m对输入数据进行类别预测，得到模型m对测试集的预测类别。

本发明的效果可以通过仿真实验做进一步说明：

实验一：用本发明方法对indianpines高光谱图像数据库分类，结果如图4，其中，图4(a)表示本发明对indianpines高光谱图像数据库的测试集的分类效果，4(b)表示其真实地物类别参考图；

实验二：用本发明方法对paviauniversity高光谱图像数据库分类，结果如图5，其中，图5(a)表示本发明对paviauniversity高光谱图像数据库的测试集的分类效果，5(b)表示其真实地物类别参考图。

实验三：用本发明方法对salinas高光谱图像数据库分类，结果如图6，其中，图6(a)表示本发明对salinas高光谱图像数据库的测试集的分类效果，6(b)表示其真实地物类别参考图。

从对三个高光谱图像数据库的分类结果图中可以看出，本发明方法对测试集得到的预测类别与测试集的真实类别相比十分接近，只存在很少的误判，说明本发明方法对高光谱图像具有良好的分类性能。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。