本发明属于图像处理
技术领域：
，更进一步涉及高光谱图像分类
技术领域：
中的一种基于卷积网和循环神经网络的高光谱图像分类方法。本发明可用于对高光谱图像中的地物目标进行分类和资源勘探、森林覆盖、灾害监测等领域的地物目标识别。
背景技术：
：近几年来，高光谱图像的自动解译越来越受到重视，它具有重要的价值，可以运用到变化检测、灾害控制等农业、地质和军用方面。高光谱图像每个像素点都是利用数百个高分辨率的连续电磁波谱观测得来的，所以每个像素点蕴含了丰富的波谱信息，对不同地物的区分能力极好。近年来，基于向量的机器学习算法，比如随机森林、支撑向量机和一维的卷积网等已经应用在高光谱图像的分类上，都取得了不错的效果。然而，随着高光谱成像技术的进一步发展和应用程度的不断深入，高光谱图像分类领域依然存在以下一些问题，如高光谱图像同类像素光谱差异性大而不同类像素特性差异小，传统分类器无法正确判别；另外，近几年随着空间和光谱分辨率的提高，空间信息和光谱信息量猛增，传统的方法不能充分提取这两类信息中的高辨识性特征并进行两种特征的融合分类，导致分类精度不高。例如：lichaomou等人在其发表的论文“deeprecurrentneuralnetworksforhyperspectralimageclassification”(《ieeetransactionsongeoscience&remotesensing》，2017，55(7):3639-3655)中提出了一种基于深度循环网络的高光谱图像分类方法。该方法将高光谱图像每一个像素点的谱段信息单独看成一个时序信号，构造基于单个像素点的特征向量，然后利用该特征向量训练循环卷积网络(recurrentneuralnetwork，rnn)，对高光谱图像逐像素点进行分类。循环卷积网络不同于传统的前馈神经网络，可以记忆上一层网络的信息并应用于当前层的计算中，擅长处理具有时序关系的序列信号，所以将每个像素点波谱展开成序列信号输入循环神经网络中得到了不错的分类效果。该方法存在的不足之处是，利用高光谱图像单个像素点构造特征向量，仅利用了该像素点的谱段信息，忽略了该像素点与它邻域像素点的空间相关性和相似性，高光谱图像空间信息和光谱信息提取不全面，分类精度不高。西北工业大学在其申请的专利文献“基于深度卷积神经网络的空谱联合的高光谱图像分类方法”(专利申请号：201510697372.9，公开号：105320965a)中提出了一种基于深度卷积网络的空谱联合的高光谱图像分类方法。该方法首先对待分类的高光谱图像进行归一化，并提取高光谱图像的中心像素及八邻域像素共九个像素向量的原始空谱特征，然后构造三维深度卷积神经网络自主提取高光谱图像的空间特征和光谱特征，最后将提取的特征输入分类器进行地物分类。卷积神经网络是一种基于像素级的分类网络，从而可以实现端到端的分类效果。该方法存在的不足之处是，网络训练参数太多，需要大量样本来训练，训练时间长，分类速度慢；而且，利用一个网络同时提取光谱特征和空间特征这两种不同类型的特征，忽略了光谱特征的独特性和时序性，导致提取的特征是不充分不全面的，分类精度不高。技术实现要素：本发明的目的是针对上述现有技术的不足，提出了一种基于卷积网和循环神经网络的高光谱图像分类方法。本发明与现有其他高光谱图像分类方法相比，能够更全面更充分地挖掘空间和光谱信息，并将两种信息进行融合再分类；同时考虑到遥感图像类标数据的稀少，本方法利用少量有类标数据样本即可实现高精度的高光谱图像分类，同时也避免了训练网络过拟合。实现本发明的技术思路是：先搭建基于三维卷积神经网络的空间特征提取模型和基于循环卷积网络的光谱特征提取模型并设置每层参数，再对待分类的高光谱图像进行pca降维和归一化，然后基于向量和图像块构造两种特征矩阵，利用向量特征矩阵生成空间特征提取模型的训练数据集和测试数据集，利用图像块特征矩阵生成光谱特征提取模型的训练数据集和测试数据集，利用两种训练集分类训练上述两种模型，再将测试集分别输入训练好的空间特征提取模型和光谱特征提取模型中提取空间特征和光谱特征，并将两种特征级联进行融合，最后将融合的特征送入分类器中分类得到测试数据集中每个像素所属的类别。实现本发明的具体步骤如下：(1)构造三维的卷积神经网络：(1a)搭建一个7层的三维卷积神经网络，其结构依次为：输入层→第1个卷积层→第1个池化层→第2个卷积层→第2个池化层→第1个全连接层→第2个全连接层→分类层；(1b)设置三维卷积神经网络各层参数如下：将输入层特征映射图总数设置为3个；将第1个卷积层特征映射图总数设置为32、卷积核大小设置为5×5×5；将第1个池化层下采样滤波器尺寸设置为2×2×2；将第2个卷积层特征映射图数目设置为64，卷积核大小设置为5×5×5；将第2个池化层下采样滤波器尺寸设置为2×2×2；将第1个全连接层特征映射图总数设置为1024；将第2个全连接层特征映射图总数设置为20；(2)构造循环神经网络：(2a)搭建一个4层的循环神经网络，其结构依次为：输入层→门限单元循环层→全连接层→分类层；(2b)循环神经网络各层参数设置如下：将输入层输入谱段总数设置为204；将循环层时间步数设置为17，每个时间步单元总数设置为12，隐藏门限循环单元总数设置为100；将全连接层特征映射图总数设置为20；(3)对待分类的高光谱图像矩阵进行预处理：(3a)利用主成分分析方法，对高光谱图像矩阵进行降维，选取能包含图像矩阵99％信息量的3个分量，将原始矩阵投影到该分量对应的特征空间得到降维后的特征矩阵；(3b)对图像矩阵和特征矩阵进行归一化，将图像矩阵中的元素值归一化到[0，1]之间，得到归一化的图像矩阵；将降维后的特征矩阵中的元素值归一化到[0，1]之间，得到归一化的特征矩阵；(4)生成训练数据集和测试数据集：(4a)以归一化后的特征矩阵中的每一个特征值为中心点，在该中心点的左、上两个方向分别选取8个特征值，右、下两个方向分别选取8个特征值，将所选取的特征值与其周围所选的特征值，组成17×17×3的特征矩阵块；(4b)将归一化后的图像矩阵中每个像素点的204维光谱通道，展开成一个1×204的特征向量集合；(4c)从特征矩阵块中随机选取5％的特征矩阵块，作为三维卷积神经网络训练数据集的特征矩阵，将其余的特征矩阵块作为该网络测试数据集的特征矩阵；(4d)从特征向量集合中随机选取5％的特征向量，作为循环神经网络训练数据集的特征矩阵，将其余的特征向量作为该网络测试数据集的特征矩阵；(5)利用训练数据集训练网络：(5a)训练三维卷积神经网络：利用三维卷积神经网络的训练数据集训练该网络，不断调整优化网络训练参数，直到网络损失小于预先设定值0.5，得到训练好的三维卷积神经网络；(5b)训练循环神经网络：利用循环神经网络的训练数据集训练该网络，调整训练参数，直到网络损失小于预先设定值0.8，得到训练好的循环神经网络；(6)提取测试数据集空间特征和光谱特征：(6a)将三维卷积神经网络的测试集输入进训练好的网络，从网络的第1个全连接层提取出测试数据集的空间特征；(6b)将循环神经网络的测试集输入进训练好的网络，从网络的全连接层提取出测试数据集的光谱特征；(7)融合空间特征和光谱特征：将测试数据集的空间特征和光谱特征进行级联，融合空间特征和光谱特征；(8)对测试数据集进行分类：将测试数据集融合后的空间和光谱特征送入分类器分类，得到测试集中每个像素的分类结果；本发明与现有技术相比较，具有以下优点：第一，由于本发明构建了三维卷积神经网络提取高光谱图像空间特征，构建了循环神经网络提取高光谱图像光谱特征，使用一系列卷积层、池化层、门限单元循环层和全连接层提取高光谱图像的空间和光谱信息，两种信息互相融合，利用融合后的信息进行分类，克服了现有技术中高光谱图像空间信息和光谱信息提取不全面，分类精度不高的问题，使得本发明全面利用高光谱图像的空间和光谱信息，提高了高光谱图像的分类精度。第二，由于本发明构建了三维卷积神经网络提取高光谱图像空间特征，构建了循环神经网络提取高光谱图像光谱特征，两个网络参数较少，大大减少了训练网络所需的样本数据量，网络可以更快收敛，提高分类速度，克服了现有技术中网络训练参数太多，需要大量样本来训练，训练时间长，分类速度慢的问题，使得本发明提高了高光谱图像的分类速度。附图说明图1是本发明的流程图；图2是本发明仿真实验中对待分类图像的人工标记图；图3是本发明的仿真图。具体实施方式下面结合附图对本发明做进一步的详细描述参照附图1，对本发明的具体步骤做进一步的详细描述。步骤1.构造三维的卷积神经网络。搭建一个7层的三维卷积神经网络，其结构依次为：输入层→第1个卷积层→第1个池化层→第2个卷积层→第2个池化层→第1个全连接层→第2个全连接层→分类层。设置三维卷积神经网络各层参数如下：将输入层特征映射图总数设置为3个。将第1个卷积层特征映射图总数设置为32、卷积核大小设置为5×5×5。将第1个池化层下采样滤波器尺寸设置为2×2×2。将第2个卷积层特征映射图数目设置为64，卷积核大小设置为5×5×5。将第2个池化层下采样滤波器尺寸设置为2×2×2。将第1个全连接层特征映射图总数设置为1024。将第2个全连接层特征映射图总数设置为20。步骤2.构造循环神经网络。搭建一个4层的循环神经网络，其结构依次为：输入层→门限单元循环层→全连接层→分类层。循环神经网络各层参数设置如下：将输入层输入谱段总数设置为204。将循环层时间步数设置为17，每个时间步单元总数设置为12，隐藏门限循环单元总数设置为100。将全连接层特征映射图总数设置为20。步骤3.对待分类的高光谱图像矩阵进行预处理。利用主成分分析方法，对高光谱图像矩阵进行降维，选取能包含图像矩阵99％信息量的3个分量，将原始矩阵投影到该分量对应的特征空间得到降维后的特征矩阵。所述的主成分分析方法的步骤如下：第1步，将高光谱图像矩阵中每个像素点的204维光谱通道，展开成一个1×204的特征矩阵。第2步，对特征矩阵中的元素按列求平均值，用特征矩阵中的每个元素分别减去该特征矩阵其对应列的均值。第3步，对特征矩阵中每两列元素求协方差，构造特征矩阵的协方差矩阵，依次依照下述两个公式，求特征矩阵的协方差矩阵：σ(xj,xk)＝e[(xj-e(xj))(xk-e(xk))]其中，σ(xj,xk)表示xj和xk之间的协方差，j,k＝1…m，m表示特征矩阵列数，e表示求矩阵期望，a代表协方差矩阵。第4步，利用协方差矩阵的特征方程，求得与特征向量一一对应的所有协方差矩阵的特征值，求解下式，得到协方差矩阵的特征值和特征向量：其中，a为协方差矩阵，λ0为求解得到的特征值，e为求解得到的特征向量。第5步，将所有特征值按照从大到小排序，从排序中选择前3个特征值，将3个特征值分别对应的特征向量，按列组成特征向量矩阵。第6步，将高光谱图像矩阵投影到选取的特征向量矩阵上，得到降维后的特征矩阵。对高光谱图像矩阵和特征矩阵进行归一化，将高光谱图像矩阵中的元素值归一化到[0，1]之间，得到归一化的高光谱图像矩阵；将降维后的特征矩阵中的元素值归一化到[0，1]之间，得到归一化的特征矩阵。所述的归一化方法的步骤如下：第1步，分别求出高光谱图像矩阵和特征矩阵每一通道的最大值和最小值。第2步，高光谱图像矩阵每一通道的所有元素均减去该通道像素最小值，再除以该通道像素最大值减像素最小值，得到归一化后的高光谱图像矩阵。第3步，采用与第二步相同的方法，得到归一化的特征矩阵。步骤4.生成训练数据集和测试数据集。第1步，以归一化后的特征矩阵中的每一个特征值为中心点，在该中心点的左、上两个方向分别选取8个特征值，右、下两个方向分别选取8个特征值，将所选取的特征值与其周围所选的特征值，组成17×17×3的特征矩阵块。第2步，将归一化后的图像矩阵中每个像素点的204维光谱通道，展开成一个1×204的特征向量集合。第3步，从特征矩阵块中随机选取5％的特征矩阵块，作为三维卷积神经网络训练数据集的特征矩阵，将其余的特征矩阵块作为该网络测试数据集的特征矩阵。第4步，从特征向量集合中随机选取5％的特征向量，作为循环神经网络训练数据集的特征矩阵，将其余的特征向量作为该网络测试数据集的特征矩阵。步骤5.利用训练数据集训练网络。第1步，训练三维卷积神经网络：利用三维卷积神经网络的训练数据集训练该网络，不断调整优化网络训练参数，直到网络损失小于预先设定值0.5，得到训练好的三维卷积神经网络。第2步，训练循环神经网络：利用循环神经网络的训练数据集训练该网络，调整训练参数，直到网络损失小于预先设定值0.8，得到训练好的循环神经网络。步骤6.提取测试数据集空间特征和光谱特征。第1步，将三维卷积神经网络的测试集输入进训练好的网络，从网络的第1个全连接层提取出测试数据集的空间特征。第2步，将循环神经网络的测试集输入进训练好的网络，从网络的全连接层提取出测试数据集的光谱特征。步骤7.融合空间特征和光谱特征。将测试数据集的空间特征和光谱特征进行级联，融合空间特征和光谱特征。步骤8.对测试数据集进行分类。将测试数据集融合后的空间和光谱特征送入分类器分类，得到测试集中每个像素的分类结果。下面结合仿真实验对本发明的效果做进一步的说明：1.仿真条件：本发明的仿真实验的硬件平台为：intel(r)xeon(r)cpue5-2630，2.40ghz*16，内存为64g。本发明的仿真实验的软件平台为：tensorflow。2.仿真内容与结果分析：本发明的仿真实验是采用本发明和两个现有技术(二维卷积神经网络cnn(convolutionalnerualnetwork)和循环神经网络rnn(recurrentnerualnetwork))的方法，分别对遥感卫星接收的高光谱图像进行分类。下面采用平均分类精度aa和总体分类精度oa两个指标，分别对本发明和两个现有技术(二维卷积神经网络cnn(convolutionalnerualnetwork)、循环神经网络rnn(recurrentnerualnetwork))的三个方法的分类结果进行评价，分别统计高光谱图像分类结果中正确分类的像素总数、每类正确分类的像素数目、图像的像素总数。利用下式，分别计算本发明和两个现有技术的高光谱图像分类结果的平均分类精度aa和总体分类精度oa：平均分类精度aa＝总分类正确像素个数/像素总数总体分类精度oa＝每类正确分类像素个数总和/像素总数表1.三种方法分类精度一览表平均分类精度aa总体分类精度oa本发明99.333％98.441％cnn97.669％95.169％rnn94.523％89.479％表1中分别列出了本发明和两个现有技术的平均分类精度aa和总体分类精度oa计算结果，从表1可见，本发明的分类平均精度aa(averageaccuracy)为99.333％，总体分类精度oa(overallaccuracy)为98.441％，这两个指标均高于2种现有技术方法，证明本发明可以得到更高的高光谱图像分类精度。图2是本发明仿真实验所使用的待分类的高光谱图像的实际人工标记图，图2中灰度值为255的区域表示背景，灰度值为158的区域表示第1类绿色杂草区域，灰度值为105的区域表示第2类绿色杂草区域，灰度值为135的区域表示休耕农田区域，灰度值为29的区域表示粗糙休耕农田区域，灰度值为35的区域表示光滑休耕农田区域，灰度值为144的区域表示农田残茬区域，灰度值为141的区域表示芹菜区域，灰度值为150的区域表示野葡萄区域，灰度值为53的区域表示葡萄园土壤区域，灰度值为94的区域表示带有绿色杂草的玉米区域，灰度值为113的区域表示第1类莴苣区域，灰度值为202的区域表示第2类莴苣区域，灰度值为158的区域表示第3类莴苣区域，灰度值为125的区域表示第4类莴苣区域，灰度值为38的区域表示未栽培葡萄园区域，灰度值为0的区域表示葡萄架区域。图3是使用本发明的方法对高光谱图像进行分类的分类结果图。综上所述，通过对比实际人工标记图2与本发明的分类结果图3，可以看出：本发明方法分类结果较好，分类结果的区域一致性较好，不同类别之间的边缘也非常清晰，且保持了细节信息。本发明通过卷积网和循环神经网络对高光谱图像进行分类，搭建了一个7层的三维卷积神经网络和4层的循环神经网络，充分提取了高光谱图像的空间信息和光谱信息，利用融合后的空间信息和光谱信息进行分类，保留了高光谱图像特征信息的完整性，有效提高了图像特征的表达能力，增强了模型的泛化能力，使得在训练样本较少的情况下仍可以实现高精度的高光谱图像分类。当前第1页12