一种从局部到全局上下文信息提取的高光谱影像分类方法

本发明属于遥感图像处理技术领域，特别涉及一种基于局部到全局注意力机制的上下文信息提取的深度学习高光谱分类方法。

背景技术：

分类一直是高光谱遥感影像处理和应用中一项重要研究领域，其丰富的光谱信息可以准确识别地物的属性类别。目前，随着高光谱成像技术的发展，星载、机载、无人机等高光谱观测平台为高光谱地物精细识别提供丰富的数据源。然而，高光谱影像波段间高度相关性、数据呈现高度非线性、同类地物存在“光谱变异”，这使得模型驱动的分类方法在高光谱影像分类中面临严重挑战。

近年来，随着人工智能的蓬勃发展，深度学习理论因具有强大的特征学习和泛化能力，越来越多的学者将其应用在高光谱遥感影像分类领域。目前的深度学习高光谱分类多采用空间块策略，具体为以标记像素为中心，选取三维的空间邻域像素作为网络输入。但是，这种方式仍面临以下问题：(1)只能利用局部的空间信息，会导致分类结果中有错分的孤立区域；(2)最优的空间块大小难以确定，并且其随着影像空间分辨率和地物分布的均质程度来确定。(3)计算成本高，这种方式在预测分类图的时候需要逐像素取空间块进行预测，对于一些比较大的影像需要耗费非常长的时间。

技术实现要素：

本发明针对高光谱影像分类，提出一种局部到全局上下文信息提取的高光谱影像快速分类方法，具有以下三个显著特点。一是采用编码和解码的全卷积分类框架，可以同时顾及全局空谱信息，实现快速分类。其二，模仿人类视觉感知机理，在网络的编码器模块设计一种局部到全局上下文信息感知的网络架构，实现顾及上下文信息的高级语义特征提取。其三，在网络的解码器模块，设计一种通道注意力的模块，实现局部-全局信息的自适应融合。

本发明提供的一种从局部到全局上下文信息提取的高光谱影像分类方法，具体实现步骤如下：

步骤1，对输入影像进行镜像填充；

步骤2，对镜像填充影像进行通道将维；

步骤3，构建高光谱影像分类网络模型，包括以下子步骤；

步骤3.1，使用局部注意力模块进行局部上下文信息提取，获得底层细节特征；

步骤3.2，使用全局注意力模块进行全局上下文信息提取，获得高层语义特征；

步骤3.3，使用通道注意力模块自适应融合底层细节特征和高层语义特征；

步骤3.4，将通道注意力模块最终输出的特征图输入到交叉熵损失函数中，输出loss值；

步骤3.5，反向传播loss值更新网络模型参数；

步骤4,将待分类的高光谱影像输入到网络模型中，输出预测分类结果，实现地物类别的精细识别。

进一步的，所述步骤2的实现方式如下，

将镜像填充后的影像x依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图f，其中组归一化考虑高光谱影像光谱连续性。

进一步的，所述步骤3.1的实现方式如下，

步骤3.1.1，设步骤2中通道降维后得到特征图f，将特征图f输入第一个局部上下文信息模块中，提取局部上下文信息感知特征，其输出特征图公式如下：

上式中conv1×1(·)表示1×1卷积；σ(·)表示sigmoid激活函数，输出每个像素的权重；strip(·)表示条带池化操作，对于输入特征图f的一个通道特征x∈r^m×n，具体公式如下：

strip(x)＝expand(conv1×1(striph(x)))+expand(conv1×1(stripw(x)))

其中：表示纵向池化操作，表示横向池化操作，conv1×1表示1×1卷积，其对条带池化输出的特征进行优化；expand(·)表示扩展操作，使输出的条带特征在各自的方向上进行扩展，使其与输入的特征图x大小一致；最后对扩展的特征进行相加进行融合。

步骤3.1.2，采用步长为2的3×3的卷积对特征图进行特征优化，其目的是增大卷积感受野，降低特征图尺寸，输出特征图

步骤3.1.3，将步骤3.1.2输出的特征图输入到第二个局部注意力模块，第二个局部注意力模块特征提取方式与步骤3.1.1相同；然后经过步骤3.1.2进行降采样。通过k个串联的局部注意力模块和步长为2的3×3的卷积依次输出和

进一步的，所述步骤3.2的实现方式如下，

全局注意力模块用于对逐层提取的局部注意力特征进行全局上下文信息提取，其输入为最后一个局部注意力模块输出的特征图其经过全局注意力模块输出的特征值fglobal的步骤包括3部分：

步骤3.2.1全局上下文信息建模。对于输入的特征图其首先采用1个1×1卷积进行特征降维成r^m×n×1，然后将其特征重塑尺寸为r^mn×1×1，随后输入到softmax分类器中，输出每个像素的上下文信息表征向量fmodel∈r^(mn)×1，随后与重塑特征图逐像素相乘，输出上下文信息建模特征fcm∈r^d×1，具体公式如下所示：

其中，x表示特征图上的像素，m,n分别表示特征图的长和宽，i,j表示特征图中像素的序号，wk表示1×1的卷积。

步骤3.2.2捕获通道间上下文依赖。本专利采用1×1卷积捕捉通道间的上下文依赖关系，具体公式如下：

fchannel＝wv2σ(ln((wv1fcm)))

上式中wv1和wv2均表示1×1卷积，ln表示层归一化，σ表示激活函数，本处采用的是relu激活函数。

步骤3.2.3上下文信息融合。本专利采用残差连接的方式，将提取的通道上下文信息表征fchannel与输入特征图相加，其中对于的第i个通道其每个像素均加上fchannel第i个通道的值fchannel(i)，最终输出全局上下文信息特征图fglobal。

进一步的，所述步骤3.3的实现方式如下，

步骤3.3.1将特征图采用双线性插值2倍上采样输出然后将2倍双线性插值的fglobal串联作为输入特征自适应上下文特征聚合模块的输入，具体公式如下：

上式子中，表示对fglobal进行2倍双线性插值上采样。

步骤3.3.2对输入数据进行通道上下文自适应聚合，具体公式如下：

上式中，avgpool(·)表示空间维度平均池化，w1,w2均表示表示1×1卷积，σ1表示relu激活函数，σ2表示sigmoid激活函数，其输出不同通道的上下文聚合权重。最后将通道权重与串联特征fconnect相乘输出最终的自适应上下文聚合特征。

步骤3.3.3将步骤3.3.2输出的特征图进行双线性插值上采样，然后与4倍线性插值的fglobal串联输入到下一个自适应聚合模块中。通过k个个串联的自适应聚合模块，依次输出

进一步的，所述步骤3.4的实现方式如下，

将特征图输入到交叉熵损失函数中，输出loss值，采用反向传播算法更新网络参数fnetwork(·)，其中交叉熵损失函数公式如下：

上式中，yik表示特征图中的任一标记像素xi的真实标签，表示像素xi预测的标签向量，n是该影像的类别总数，k是类别数量。

进一步的，所述步骤4的实现方式如下，

将待分类的高光谱影像x1,x2,…xn输入到网络模型fnetwork(·)，将网络模型输出的特征图采用softmax分类器输出类别。

本发明方法具有以下显著效果：(1)采用编码和解码的全卷积分类框架，可以同时顾及全局空谱信息，实现快速分类；(2)模仿人类视觉感知机理，在网络的编码器模块设计一种局部到全局上下文信息感知的网络架构，实现顾及上下文信息的高级语义特征提取；在网络的解码器模块，设计一种通道注意力的模块，实现局部-全局信息的自适应融合，有效改善分类结果中的孤立错分区域。

附图说明

图1是本发明实施例1的步骤1中所输入的高光谱影像。

图2是本发明实施例1的步骤3.1中局部注意力模块网络结构图。

图3是本发明实施例1的步骤3.2中全局注意力模块网络结构图。

图4是本发明实施例1的步骤3.3中通道注意力模块网络结构图。

图5是本发明实施例1的步骤4中所输出高光谱影像精细分类结果。

图6是本发明实施例1的流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例1：

本发明提供的一种从局部到全局上下文信息提取的高光谱影像分类方法，包括以下步骤：

步骤1，输入一幅待分类影像whu-hi-honghu，如图1所示，将其空间尺寸镜像填充为8的倍数。

步骤2，对镜像填充影像进行通道降维，本步骤进一步包括：

将镜像填充后的影像x依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图f，其中组归一化考虑高光谱影像光谱连续性。

步骤3.使用局部注意力模块进行局部上下文信息提取，如图2所示。本步骤进一步包括：

步骤3.1，设步骤2中通道降维后得到特征图f，将特征图f输入第一个局部上下文信息模块中，提取局部上下文信息感知特征，其输出特征图公式如下：

上式中conv1×1(·)表示1×1卷积；σ(·)表示sigmoid激活函数，输出每个像素的权重；strip(·)表示条带池化操作，对于输入特征图f的一个通道特征x∈r^m×n，具体公式如下：

strip(x)＝expand(conv1×1(striph(x)))+expand(conv1×1(stripw(x)))

其中：表示纵向池化操作，表示横向池化操作，conv1×1表示1×1卷积，其对条带池化输出的特征进行优化；expand(·)表示扩展操作，使输出的条带特征在各自的方向上进行扩展，使其与输入的特征图x大小一致；最后对扩展的特征进行相加进行融合。

步骤3.2，采用步长为2的3×3的卷积对特征图进行特征优化，其目的是增大卷积感受野，降低特征图尺寸，输出特征图

步骤3.3，将步骤3.2输出的特征图输入到第二个局部注意力模块，第二个局部注意力模块特征提取方式与步骤3.1相同；然后经过步骤3.2进行降采样，通过k个串联的局部注意力模块和步长为2的3×3的卷积依次输出和

步骤4，使用全局注意力模块进行全局上下文信息提取，如图3所示。本步骤进一步包括：

全局注意力模块用于对逐层提取的局部注意力特征进行全局上下文信息提取，其输入为最后一个局部注意力模块输出的特征图其经过全局注意力模块输出的特征值fglobal的步骤包括3部分：

步骤4.1，全局上下文信息建模；对于输入的特征图首先采用1个1×1卷积进行特征降维成r^m×n×1，然后将其特征重塑尺寸为r^mn×1×1，随后输入到softmax分类器中，输出每个像素的上下文信息表征向量fmodel∈r^(mn)×1，随后与重塑特征图逐像素相乘，输出上下文信息建模特征fcm∈r^d×1，具体公式如下所示：

其中，x表示特征图上的像素，m,n分别表示特征图的长和宽，i,j表示特征图中像素的序号，wk表示1×1的卷积，d为维度；

步骤4.2，捕获通道间上下文依赖。本专利采用1×1卷积捕捉通道间的上下文依赖关系，具体公式如下：

fchannel＝wv2σ(ln((wv1fcm)))

上式中wv1和wv2均表示1×1卷积，ln表示层归一化，σ表示激活函数，本处采用的是relu激活函数。

步骤4.3，上下文信息融合。本专利采用残差连接的方式，将提取的通道上下文信息表征fchannel与输入特征图相加，其中对于的第i个通道其每个像素均加上fchannel第i个通道的值fchannel(i)，最终输出全局上下文信息特征图fglobal。

步骤5.使用通道注意力模块自适应融合底层细节特征和高层语义特征，如图4所示。本步骤进一步包括：

步骤5.1，将特征图采用双线性插值2倍上采样输出然后将2倍双线性插值的fglobal串联作为输入特征自适应上下文特征聚合模块的输入，具体公式如下：

上式子中，表示对fglobal进行2倍双线性插值上采样。

步骤5.2，对输入数据进行通道上下文自适应聚合，具体公式如下：

上式中，avgpool(·)表示空间维度平均池化，w1,w2均表示表示1×1卷积，σ1表示relu激活函数，σ2表示sigmoid激活函数，其输出不同通道的上下文聚合权重。最后将通道权重与串联特征fconnect相乘输出最终的自适应上下文聚合特征。

步骤5.3，将步骤5.2输出的特征图进行双线性插值上采样，然后与4倍线性插值的fglobal串联输入到下一个自适应聚合模块中，通过k个个串联的自适应聚合模块，依次输出

步骤6，反向传播loss值更新网络模型参数，本步骤进一步包括：

将特征图输入到交叉熵损失函数中，输出loss值，采用反向传播算法更新网络参数fnetwork(·)。其中交叉熵损失函数公式如下：

上式中，yik表示特征图中的任一标记像素xi的真实标签，表示像素xi预测的标签向量，n是该影像的类别总数，k是类别数量。

步骤7，待分类的高光谱影像输入到网络模型中，输出预测分类结果，实现地物类别的精细识，识别结果如图5所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。