一种基于边缘保持的卷积神经网络高光谱图像分类方法与流程

本发明涉及图像处理、高光谱图像处理领域，尤其涉及一种基于边缘保持的卷积神经网络高光谱图像分类方法。

背景技术：

高光谱遥感技术是80年代初出现的对地观测综合技术，受到业界的高度重视。高光谱遥感通过采用覆盖一定波谱范围的成像光谱仪，利用大量窄电磁波波段来获取地物信息。随着高光谱遥感传感器性能的持续提升，波谱覆盖范围越来越广，光谱分辨率越来越高，能够在地物的识别与探测中提供非常丰富的信息，因此高光谱遥感技术在军事、农业、地质、生态、海洋、大气、资源等众多领域具有广阔的发展前景。

高光谱图像分类是高光谱遥感领域的研究热点。高光谱图像具有很高的光谱分辨率，可以达到纳米数量级，其最大的特点就是“图谱合一”，在获取地表图像的同时，也能得到每个像素单元的光谱信息。因此高光谱图像具有丰富的空间信息和光谱信息，可以探测到普通遥感图像无法探测到的物质。高光谱图像分类的理论基础是“同物同谱”，即同一类别的地物具有相似的光谱特征和空间特征。相对于一般遥感图像，高光谱图像具有很高的特征空间维数、很强的数据相关性、很高的计算成本等特点。

目前，各种高光谱图像分类方法还存在着一定的局限性，尤其是针对高光谱图像波段维数高、数据量大、信息冗余增加等特点，还没有完善的解决方案。因此，研究专门针对高光谱图像的分类方法具有十分重要的理论和现实意义。

深度学习作为一种有力的特征提取方法，受到了高光谱领域学者的广泛关注。越来越多的方法将深度学习用于高光谱图像分类领域，提取出更具表现力的特征，从而提升分类性能。基于深度学习的方法可以从训练集中自动提取任务相关的特征，这使得从大型原始高光谱图像中直接进行有监督的特征学习成为可能。

chen等人将基于稀疏自动编码器的深度学习网络用于高光谱图像分类中。hu等人利用一个具有5个卷积层的卷积神经网络来提取高光谱图像的光谱特征，该方法实现了比svm(支持向量机)方法更高的分类精度。li等人将3-d卷积神经网络引入高光谱图像分类中，提取图像的空间-光谱特征。zhao等人提出了一种基于流形学习的卷积神经网络来提取空间信息和光谱信息，其中空间特征由cnn(卷积神经网络)提取，光谱特征由流形学习机提取。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有的方法对高光谱图像中存在的噪声和冗余的应对能力较差，导致网络难以取得较好的分类性能；获取高光谱图像十分困难，导致可以用于训练网络的样本较少，深度网络无法得到充分训练。

技术实现要素：

本发明提供了一种基于边缘保持的卷积神经网络高光谱图像分类方法，本发明通过对高光谱图像进行边缘滤波，实现对高光谱图像的分类，详见下文描述：

一种基于边缘保持的卷积神经网络高光谱图像分类方法，所述方法包括以下步骤：

对原始高光谱图像进行边缘保持滤波处理，获取滤波后图像；

分别选取原始高光谱图像和滤波后图像的中心像素窗口内的像素作为像素块；

对上述像素块进行旋转和变换，获取数据增强后的像素块；

将数据增强后的像素块作为卷积神经网络的输入，通过卷积神经网络提取空间-光谱特征。

其中，所述对上述像素块进行旋转和变换，获取数据增强后的像素块具体为：

采用了顺时针旋转、逆时针旋转、行变换、列变换4种空间增强模式；

顺时针旋转，固定中心像素的位置，其余位置的像素以中心像素为中心向顺时针方向移动n个位置，得到n个变换后的像素块；同样，逆时针旋转也得到n个变换后的像素块；

对于行变换，固定中心像素的位置，将所有行随机交换顺序或翻转运算，并选择其中的10种作为变换后的像素块；列变换需要对像素块先进行转置运算；

再将这些像素块转为向量作为卷积神经网络的输入，且向量的第一个元素为各像素块的中心像素。

其中，所述卷积神经网络共有两路图像输入，

一路为原始高光谱图像，取中心像素周围的像素块作为待处理单元，训练时经过空间增强策略处理；

另一路为经过变换域递归滤波处理后的滤波图像，取中心像素周围的像素块，再经过空间增强后送入卷积神经网络；

最后将两路结果进行级联，经过全连接层后送入softmax进行分类，得到中心像素的分类结果。

本发明提供的技术方案的有益效果是：

1、本发明同时利用原始高光谱图像和带有边缘信息的滤波图像，实现了良好的分类；

2、本发明设计了一种经由空间旋转和行列变换等处理高光谱像素块的空间增强策略，以获得更全面的空间特征，并保证在有限的训练样本下取得较好的分类性能。

附图说明

图1为一种基于边缘保持的卷积神经网络高光谱图像分类方法的流程图；

图2给出了帕维亚大学数据集的分类结果的示意图；

其中，第一列为伪彩色合成图，第二列为真值图，第三列为本发明取得的分类图，第四列为不同颜色对应的类别。

图3为对像素块进行数据增强的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提出了一种基于边缘保持的卷积神经网络高光谱图像分类方法，该方法先对原始高光谱图像进行边缘保持滤波，之后分别对原始高光谱图像和滤波后的图像进行预处理和空间增强，然后利用卷积网络提取空间-光谱特征，具体实现步骤如下：

一、对原始高光谱图像进行边缘保持滤波

边缘保持滤波是一种非线性滤波器，它是利用不同的滤波核处理不同位置的像素，从而对图像进行平滑处理，滤除图像噪声，同时又能保持边缘形状，减少经滤波后出现的边缘模糊情况。常用的边缘保持滤波器有双边滤波、引导滤波和域变换递归滤波等，本发明实施例采用了域变换递归滤波，具体计算公式如下：

j[m]＝(1-a^b)ωw+a^bj[m-1]

其中，j[m]为滤波后的输出，ωw为原始高光谱图像映射到变换域后的输出，a为反馈系数，b为两相邻样本的距离，m与m-1代表两个相邻时刻。

二、选取原始高光谱图像和滤波图像中心像素窗口内的像素作为像素块

以帕维亚大学数据集为例，为了实现空间增强，需要对原始高光谱图像x∈r^{610×340×103}和滤波后的图像x′∈r^{610×340×103}进行预处理。

以原始高光谱图像为例，记xi,j为原始高光谱图像x的一个像素，选取该像素周围5×5窗口内的像素块pi,j∈r^5×5×103，且该像素块的标签与中心像素xi,j的标签相同。

对滤波后图像进行预处理的步骤与之上述步骤相似，不同之处在于将原始高光谱图像x换为滤波后的图像x′。

三、对像素块进行数据增强

由于高光谱图像训练数据较少，因此在数据输入网络之前需要进行数据增强，具体而言，就是对像素块进行旋转和变换等操作对像素块进行处理，从而在有限训练样本的情况下，充分利用中心像素周围空间信息。

参见图3，记5×5窗口内的像素块为a＝[aij](i,j＝1,2,3,4,5)，其中a33为中心像素。本发明实施例共采用了四种空间增强模式，即顺时针旋转、逆时针旋转、行变换、列变换。对于顺时针旋转，固定中心像素a33的位置，其余位置的像素以a33为中心向顺时针方向移动n(n＝1,2,...,8)个位置，得到8个变换后的像素块(例如：n取值为1，顺时针方向移动1个位置；n取值为3，顺时针方向移动3个位置)。同样，逆时针旋转也可以得到8个变换后的像素块。

对于行变换，固定中心像素a33的位置，将所有行随机交换顺序或翻转运算，并选择其中的10种作为变换后的像素块。列变换与行变换相似，区别在于列变换首先需要对像素块a进行转置运算。因此，一个像素块被增强为36种模式，得到了覆盖更多空间结构的36个像素块。

最后再将这些像素块转为25×1的向量作为网络的输入，且该25×1向量的第一个元素为各像素块的中心像素a33。值得一提的是，只有中心像素的标签用于训练过程。换句话说，像素块的标签就是中心像素的标签，该空间增强策略仅用于训练过程，测试过程并不使用此策略。

四、利用卷积网络提取空间-光谱特征

将边缘保持滤波器应用到高光谱图像分类中，可以在充分利用边缘等空间信息的同时，降低高光谱图像的噪声和冗余，从而达到更好的分类效果。因此本发明实施例考虑在卷积神经网络中同时利用原始高光谱图像和带有边缘信息的滤波图像，建立双流网络，使网络同时学习这两种信息，更全面地指导网络进行分类。

该网络共有两路图像输入到卷积神经网络中，一路为原始高光谱图像，取中心像素周围5×5的像素块作为待处理单元，训练时经过空间增强策略处理成36倍的25×1像素块，这36个像素块的标签都是中心像素的标签，将这36个像素块分别送入网络进行训练。另一路为经过变换域递归滤波处理后的滤波图像，也是取中心像素周围5×5的像素块，再经过空间增强后送入卷积神经网络，最后将两路结果进行级联，经过全连接层后送入softmax进行分类，得到中心像素的分类结果。这样就能同时利用原始高光谱图像信息与边缘信息，经由网络学习得到更好的分类结果。

以200维的高光谱图像为例对深度网络进行说明：网络的第一路输入为原始高光谱图像，第二路输入为经过边缘保持滤波后的图像，输入的图像大小都为1×25×200，两路网络结构完全一致。首先对高光谱图像的光谱维(200个波段)用10个1×9×1的卷积核进行卷积，再对空间维(一行25个像素)经过两次10个13×1×1卷积核卷积，得到1×10×192的图像。再经过一层1×3×1的池化层进行降维，得到大小为1×10×64的光谱维和空间维的低层次特征，再经过两次卷积池化操作，得到大小为1×40×13的更高级的图像特征。最后送入一层全连接层，得到大小为1×80×1的图像，这就是原始高光谱图像网络分支最终输出的高光谱图像空间光谱特征f1。对于滤波后图像的网络分支，卷积过程与上一支路一致，最终输出滤波后图像网络分支的高光谱图像空间光谱特征f2。

将两个网络支路得到的特征f1和f2进行级联，得到边缘双流网络的高光谱图像空间光谱特征。再将其送入一层全连接层，得到网络最终输出的联合空间光谱特征。最后送入softmax层得到中心像素属于每一类的概率，依据概率最大准则，选择概率最大的类做为中心像素最终的分类结果。

需要注意的是，对像素块进行数据增强只用于训练过程，测试过程直接将目标像素周围5×5像素块排列成25×1的图像，分别送入网络进行分类，不需要进行空间增强。

该网络的损失函数和softmax分类函数如下：

其中，n是训练样本数量，c是类别数量，pc(n)表示第n个样本被分配给c类的概率，表示第n个像素的类别标签，c(n)表示第n个像素的预测值，zi为softmax层的输入。

实施例2

下面结合图2对实施例1中的方案进行可行性验证，详见下文描述：

图2给出了帕维亚大学数据集的分类结果，其中第一列为伪彩色合成图，第二列为真值图，第三列为本发明实施例取得的分类图，第四列为不同颜色对应的类别。

从结果可以看出，本发明实施例中的高光谱图像分类方法获得了具有较小噪声的分类图，并且对边缘像素也可以保持较好的分类效果，边缘轮廓清晰。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。