基于NSCT和SAE的高光谱图像分类方法与流程

本发明属于图像处理
技术领域：
，更进一步涉及图像分类
技术领域：
中的一种基于非下采样轮廓波变换(nonsubsamplecontourlettransform，nsct)和栈式自编码器(stackedauto-encoder，sae)的高光谱图像分类方法。本发明可应用于地质勘探领域中的高光谱图像的分类，为地物图像的绘制提供参考。
背景技术：
：高光谱遥感是一种具有较高光谱分辨率的成像技术，它具有“图谱合一”的特点，所获得的图像数据不仅包含了地面物体非常丰富的光谱信息，而且也体现了地面目标的空间结构分布。遥感图像分类就是根据少量有标记样本预测剩余无标记样本的类别的过程。尽管高光谱图像较高的光谱分辨率为图像分类提供了可能，但是高光谱图像的精确分类仍然存在着一些难题，比如像素的维度较高、噪声干扰、较高的空间域和光谱域冗余。传统的浅层学习方法不能有效地提取有代表性的特征，造成区域分类混乱问题。考虑到相同类别的地物通常具有相似的空间结构，因此必须充分利用高光谱图像的空间域特征，才能有效提高高光谱图像的分类精度。yushichen等人在其发表的论文“deeplearning-basedclassificationofhyperspectraldata,”(ieeejournalofselectedtopicsinappliedearthobservationsandremotesensing,2014,7(6),2094-2107)中提出了一种基于栈式自编码器的高光谱图像分类方法。该方法将局部邻域窗作为当前像素的空间域特征，然后将光谱特征和空间域特征进行融合，接着采用栈式自编码器从融合后的空谱特征中提取出有代表性的特征，最后采用了多项式逻辑回归分类器预测当前像素的类别。该方法虽然综合使用了空间域和光谱域信息，但是仍然存在的不足之处是，基于邻域窗的空域特征提取方法在提取空间域特征时，不能很好地利用空间邻域相关性，降低神经网络模型的分类精度。西安电子科技大学在申请的专利文献“基于收缩自编码器的sar图像分类方法”(专利申请号：201610407324.6，公开号：cn106096650a)中公开了一种基于收缩自编码器的图像分类方法。该方法首先对输入sar图像进行一层小波分解，得到1个低频系数子带和3个高频系数子带，然后将分解后的高频系数子带进行堆叠，最后采用栈式自编码器对堆叠后的图像进行分类。该方法存在的不足之处是，该方法只考虑了当前像素的水平、垂直、和对角三个方向，未能充分利用其它方向性信息。而且，该方法并未利用一些结构上的先验知识，比如邻域像素之间的相关性等。技术实现要素：本发明的目的在于克服上述已有技术的不足，提出了一种基于nsct和sae的高光谱图像分类方法。本发明与现有技术中其他高光谱图像分类技术相比，能够充分利用空间邻域像素的相关性，提取到鲁棒性更强的空间域特征，从而提高了模型的分类准确率。本发明实现上述目的的思路是：先对高光谱图像进行预处理，然后通过非下采样轮廓波变换nsct得到像素的局部纹理特征，接着将像素的局部纹理特征向量和光谱特征向量首尾连接，最后采用栈式自动编码器sae和softmax分类器，获得待分类样本集的分类结果。本发明实现的具体步骤如下：(1)输入图像：输入一幅包含不同地物的高光谱图像；(2)预处理：(2a)对输入的高光谱图像的像素值进行归一化操作，得到归一化图像；(2b)采用主成分分析方法，将归一化图像的光谱维度降低至4维，得到降维后的图像；(3)进行非下采样轮廓波变换：对降维后的图像进行非下采样轮廓波变换nsct，得到变换域的56个高频系数子带；(4)选取系数子带在56个高频系数子带中任意选取一个系数子带；(5)选取正方形邻域图像块(5a)在所取系数子带中任意选取一个系数；(5b)在所取系数中取一个大小为17×17像素的正方形邻域图像块；(6)提取像素的局部纹理特征：(6a)按照下式，对所取正方形邻域图像块中每个像素进行离散化操作，得到离散化像素：pi＝f(li/m×32)其中，pi表示所取正方形邻域图像块中第i个像素的离散化值，f()表示向上取整操作，li表示所取正方形邻域图像块中第i个像素的值，m表示所取正方形邻域图像块中像素的最大值；(6b)将所取正方形邻域图像块中的所有离散化像素组成离散化矩阵；(6c)在高频系数子带中每个系数的离散化矩阵中，提取横向和纵向间隔均为5的所有像素对；(6d)将所有像素对按照灰度值进行分组；(6e)将每个组的像素对个数组成灰度共生矩阵；(6f)按照下式，对灰度共生矩阵中每个元素进行归一化操作，得到归一化值：其中，qj表示灰度共生矩阵中第j个元素的归一化值，pj表示灰度共生矩阵中第j个元素的值，∑表示求和操作，n表示灰度共生矩阵中元素的个数；(6g)将所有的归一化值组成归一化矩阵；(6h)按照下式，计算归一化矩阵的熵值，将该熵值作为像素的局部纹理特征：其中，e表示图像块的灰度共生矩阵的熵值，qk表示归一化矩阵中第k个元素的值，log表示以2为底的自然对数操作；(7)判断是否选取完所选系数子带的所有系数，若是，则执行步骤(8)；否则，执行步骤(5)；(8)判断56个高频系数子带是否选取完，若是，则执行步骤(9)；否则，执行步骤(4)；(9)获得三维图像矩阵：对每一个像素的局部纹理特征和输入的高光谱图像中相同位置的光谱特征进行首尾相连，得到包含局部纹理特征和光谱特征的三维图像矩阵；(10)选择训练样例：从图像矩阵中的每一类像素中随机选择10％的像素，作为训练样例；(11)构建栈式自编码器sae：(11a)将训练样例作为自编码器的输入特征向量；(11b)利用隐藏层特征向量计算公式，生成第一层自编码器隐藏层的特征向量；(11c)利用输出层特征向量计算公式，生成第一层自编码器输出层的特征向量；(11d)利用自编码器的训练方法，优化第一层自编码器的参数；(11e)将第一层自编码器的隐藏层特征向量作为第二层自编码器的输入特征向量，采用与步骤(11b)、步骤(11c)、步骤(11d)相同的方法，构建第二层自编码器；(12)得到全连接层的特征向量：利用全连接层特征向量公式，对第二层自编码器的隐藏层特征向量进行非线性变换操作，得到全连接层的特征向量；(13)微调模型中的参数：将全连接层的输出特征向量作为softmax分类器的输入特征向量，对栈式自编码器和softmax分类器组成的神经网络模型，采用反向传播方法微调模型中的参数；(14)输出高光谱图像的分类结果：将图像矩阵的每一个像素作为神经网络模型的输入，输出高光谱图像的分类结果图。本发明与现有技术相比具有以下优点：第一，由于本发明将像素的邻域图像块的灰度共生矩阵的熵值，作为像素的局部纹理特征，克服了现有技术在提取空间特征时，不能很好地利用空间邻域相关性的缺点，使得本发明所提取的空间特征能够更好地反映像素的局部纹理结构，特征的鲁棒性更强。第二，由于本发明采用栈式自编码器提取更高抽象层次的特征，克服了现有浅层学习算法造成的区域分类混乱步骤，使得本发明具有分类精度高的优点。附图说明图1为本发明的流程图；图2为本发明仿真使用的paviauniversity图像；图3为本发明的仿真图。具体实施方式下面结合附图对本发明作进一步的详细描述。参照图1，本发明的具体实施步骤如下。步骤1，输入图像。输入一幅包含不同地物的高光谱图像。步骤2，预处理。对输入的高光谱图像的像素值进行归一化操作，得到归一化图像。采用主成分分析方法，将归一化图像的光谱维度降低至4维，得到降维后的图像。步骤3，进行非下采样轮廓波变换。非下采样轮廓波变换nsct的步骤如下：构造拉普拉斯金字塔滤波器和方向滤波器组。对降维后图像的所有光谱子带进行3层非下采样轮廓波变换，每一层的方向子带个数分别为2、4、8，得到56个高频系数子带和1个低频系数子带。步骤4，选取系数子带在56个高频系数子带中任意选取一个系数子带。步骤5，选取正方形邻域图像块在所取系数子带中任意选取一个系数。在所取系数中取一个大小为17×17像素的正方形邻域图像块。步骤6，提取像素的局部纹理特征。按照下式，对所取正方形邻域图像块中每个像素进行离散化操作，得到离散化像素：pi＝f(li/m×32)其中，pi表示所取正方形邻域图像块中第i个像素的离散化值，f()表示向上取整操作，li表示所取正方形邻域图像块中第i个像素的值，m表示所取正方形邻域图像块中像素的最大值。将所取正方形邻域图像块中的所有离散化像素组成离散化矩阵。在高频系数子带中每个系数的离散化矩阵中，提取横向和纵向间隔均为5的所有像素对。将所有像素对按照灰度值进行分组。将每个组的像素对个数组成灰度共生矩阵。按照下式，对灰度共生矩阵中每个元素进行归一化操作，得到归一化值：其中，qj表示灰度共生矩阵中第j个元素的归一化值，pj表示灰度共生矩阵中第j个元素的值，∑表示求和操作，n表示灰度共生矩阵中元素的个数。将所有的归一化值组成归一化矩阵。按照下式，计算归一化矩阵的熵值，将该熵值作为像素的局部纹理特征：其中，e表示图像块的灰度共生矩阵的熵值，qk表示归一化矩阵中第k个元素的值，log表示以2为底的自然对数操作。步骤7，判断是否选取完所选系数子带的所有系数，若是，则执行步骤(8)；否则，执行步骤(5)；步骤8，判断56个高频系数子带是否选取完，若是，则执行步骤(9)；否则，执行步骤(4)；步骤9，获得三维图像矩阵。对每一个像素的局部纹理特征和输入的高光谱图像中相同位置的光谱特征进行首尾相连，得到包含局部纹理特征和光谱特征的三维图像矩阵。步骤10，选择训练样例。从三维图像矩阵中的每一类像素中随机选择10％的像素，作为训练样例。步骤11，构建栈式自编码器sae。将训练样例作为自编码器的输入特征向量。利用隐藏层特征向量计算公式，生成第一层自编码器隐藏层的特征向量。所述的隐藏层特征向量计算公式如下：y＝f(w(1)x+b(1))其中，y表示自编码器隐藏层的特征向量，f(·)表示sigmoid非线性激活操作，w(1)表示自编码器的输入层和隐藏层之间的权值参数，x表示自编码器的输入特征向量，b(1)表示自编码器的隐藏层神经元的偏置参数。利用输出层特征向量计算公式，生成第一层自编码器输出层的特征向量。所述的输出层特征向量计算公式如下：z＝f(w(2)y+b(2))其中，z表示自编码器输出层的特征向量，w(2)表示自编码器的隐藏层和输出层之间的权值参数，b(2)表示自编码器的输出层神经元的偏置参数。利用自编码器的训练方法，优化第一层自编码器的参数。所述的自编码器的训练方法步骤如下：第一步，按照下式，计算收缩自编码器的重构误差值：其中，j(θ)表示自编码器的重构误差值，∑表示求和操作，tn＝{x(1),x(2),...,x(n)}表示包含n个样例的训练样例集合，||·||2表示二范数的平方操作。第二步，利用随机梯度下降算法，调整自编码器中的权值参数和偏置参数，获得自编码器的最小重构误差值。将第一层自编码器的隐藏层特征向量作为第二层自编码器的输入特征向量，采用与步骤(11b)、步骤(11c)、步骤(11d)相同的方法，构建第二层自编码器。步骤12，进行非线性变换操作。利用全连接层特征向量公式，对第二层自编码器的隐藏层特征向量进行非线性变换操作，生成全连接层的特征向量。所述的全连接层特征向量计算公式如下：s＝f(w(3)y+b(3))其中，s表示全连接层的输出特征向量，w(3)表示全连接层的权值参数，b(3)表示全连接层的偏置参数。步骤13，微调模型中的参数：将全连接层的输出特征向量作为softmax分类器的输入特征向量，对栈式自编码器和softmax分类器组成的神经网络模型，采用反向传播方法微调模型中的参数。步骤14，输出高光谱图像的分类结果。将图像矩阵的每一个像素作为神经网络模型的输入，输出高光谱图像的分类结果图。下面结合仿真对本发明的效果做进一步说明。1、仿真实验条件：表1paviauniversity图像中的9类数据类别类别名称个数1asphalt(柏油)66312meadows(草场)186493gravel(碎石)20994trees(树木)30645paintedmetalsheets(金属板画)13456baresoil(裸地)50297bitumen(沥青)13308self-blockingbricks(砖块)36829shadows(阴影)947本发明的仿真试验是在主频2.6ghz的intelxeoncpue5-2692v2、内存64gb的硬件环境和theano0.8.2的软件环境下进行的。本发明的输入高光谱图像为德国的反射式成像光谱仪rosis在意大利北部获取的paviauniversity高光谱图像，该paviauniversity高光谱图像的大小为610×340×103，光谱波段数为103。该高光谱图像共包括9类地物。图2为paviauniversity图像的真实地物类别示意图，表1列出了9类地物的名称以及每类地物的像素个数。2、仿真内容和仿真结果分析：在仿真实验中所用方法为本发明方法和现有2种方法，其中：现有方法1：melgani等人在“classificationofhyperspectralremotesensingimageswithsupportvectormachines，”ieeetransactionsongeoscience&remotesensing,2004,42(8):1778-1790.中提出的分类方法，简称svm分类方法；现有方法2：cheny等人在“deeplearning-basedclassificationofhyperspectraldata，”ieeejournalofselectedtopicsinappliedearthobservations&remotesensing,2014,7(6):2094-2107.中提出的基于栈式自编码器的分类方法，简称sae-lr分类方法。仿真实验1，用本发明方法与上述的2种现有方法分别对paviauniversity图像数据进行分类，结果如图3，其中，图3(a)为采用支持向量机svm分类器对高光谱图像paviauniversity数据进行分类的仿真图，图3(b)为采用基于栈式自编码器的分类方法对高光谱图像paviauniversity数据进行分类的仿真图，图3(c)为本发明方法对高光谱图像paviauniversity数据进行分类的仿真图。从图(3a)、图(3b)和图(3c)这三个图中对裸地的分类结果可以看出，不同分类方法的分类效果差别很大，svm分类方法效果最差，本发明的分类方法效果最好。本发明的仿真实验2，利用客观评价指标，分别对本发明方法和上述2种方法的分类结果给出定量分析。在本发明的仿真实验中，采用以下三个常用的指标来评价分类性能：第一个评价指标是总精度oa，表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好。第二个评价指标是平均精度aa，表示每一类分类精度的平均值，值越大，说明分类效果越好。第三个评价指标是kappa系数，表示混淆矩阵中不同的权值，值越大，说明分类效果越好。用上述客观评价指标对图3中各方法的分类性能进行评价的结果如表2。表2.各方法分类结果的定量分析一览表方法总精度(％)平均精度(％)kappa系数本发明99.6699.5899.55svm93.4091.5591.24sae-lr96.0094.1594.74从表2可以看出，本发明较两种现有方法有更好的分类性能。同基于光谱特征的svm算法相比，本发明的总精度和平均精度分别提高了6％和8％左右，这表明局部纹理特征在高光谱图像分类任务中起着重要作用。同sae-lr算法相比，本发明的总精度和平均精度分别提高了3％和5％左右，这表明本发明中采用的空间局部特征提取算法相比于传统邻域窗的方法有很大的优势。综上可知，本发明采用的空域特征提取方法可以充分地利用高光谱图像的空间局部结构信息，具有很高的分类准确率。并且，由于本发明采用了深度神经网络结构，可以有效地提取出输入数据中更加抽象的特征。本方法对于光谱维度较高、空间结构复杂的高光谱图像，也具有很强的分类能力，是一种非常高效的高光谱图像分类方法。当前第1页12