基于神经网络的遥感图像分类方法、计算设备及存储介质与流程

1.本发明涉及神经网络和图像处理领域，尤其涉及一种基于神经网络的遥感图像分类方法、计算设备及存储介质。


背景技术：

2.语义分割问题，通常在遥感领域中被称为图像分类，通常定义为确定输入图像中所有像素的语义类别。自动语义分割是遥感领域的一个长期存在的问题，在各种应用中起着至关重要的作用，例如土地使用/土地覆盖图，农业生产估算，建筑物提取，城市规划等。近年来，由于卷积神经网络(cnn)在许多应用中的出色表现，在遥感和摄影测量中引起了极大的关注。令人鼓舞的性能促使研究人员开发基于cnn的遥感图像(rsi)语义标记方法。在这个方向上，早期的工作是采用基于补丁的cnn对每个输入补丁的中心像素进行分类。最近的方法大多使用全卷积网络执行逐像素分割。研究人员开发了用于遥感图像分类的全卷积模型。大量研究试图通过使用功能更强大的编码器网络，使用膨胀的卷积模块或使用功能更强大的输出表示来提高性能。
3.众所周知，遥感图像中的物体具有复杂的光谱空间特性，需要全面的特征提取过程以确保分类性能。尽管如此，现有的基于cnn的方法主要集中在使用单个编码器
‑
解码器网络进行频谱和上下文特征提取的过程中，而几何特征(例如，地面以上的高度，隐式3d结构)却常常未被充分研究。解决此问题的直接方法是将与几何相关的数据(例如dsm，digital surface model)明确纳入其他输入。一些学者通过融合rgb图像和高程合成图像(nvdi，dsm，ndsm)中的特征表示来增强遥感图像的分割性能。他们提出了一种同时学习频谱和辅助几何特征的两流网络，并利用残差校正模块融合来自两个编码器网络的特征。但是，以前的方法大多采用3d高程信息作为附加输入。在许多实际应用中，手头没有相应的dsm信息，并且所获取的dsm图像的空间分辨率通常与航拍图像不匹配。


技术实现要素：

4.为了解决上述至少一个技术问题，本发明提出了一种基于神经网络的遥感图像分类方法、计算设备及存储介质。
5.为了实现上述目的，本发明第一方面提出了一种基于神经网络的遥感图像分类方法，所述方法包括：
6.搭建几何结构感知的神经网络分类模型；
7.使用包含真实分类标签的遥感图像样本对所述几何结构感知的神经网络分类模型进行训练，并得到训练后的神经网络分类模型；
8.基于训练后的神经网络分类模型构建神经网络分类系统，并设计所述神经网络分类系统用于交互的输入模块与输出模块；
9.通过所述输入模块输入遥感图像，并由训练后的神经网络分类模型进行分类处理，得到可感知几何的分割图，再由所述输出模块输出。
10.本方案中，上述几何结构感知的神经网络分类模型通过联合高度估计实现对遥感图像的分类，其包括一个共享的编码器网络，一个用于语义分类的解码器网络和一个用于高度估计的解码器网络。
11.本方案中，共享的编码器网路采用resnet
‑
101作为骨干网络，在骨干网络之后附加了一个空间金字塔池模块，以融合多尺度特征得到高级别特征，并所述高级别特征与骨干网络中具有相同分辨率的低级别特征相拼接，得到组合的特征图。
12.本方案中，在得到组合的特征图之后，所述方法还包括：
13.将组合的特征图送到两个单独的3x 3卷积层，以分别学习用于语义分割和高度估计的独立特征表示；
14.在上述用于语义分类的解码器网络增设一个几何结构感知卷积模块，由所述几何结构感知卷积模块融合高度估计分支中的3d几何特征和语义分割分支中的2d上下文特征，以进行几何结构感知语义标记；
15.基于融合的特征嵌入生成具有增强性能的可感知几何的分割图。
16.本方案中，所述空间金字塔池化模块接收所述骨干网络输出的卷积特征图作为输入，然后分别使用一个全局平均池化层、一个1x1卷积层、以及3个空洞率分别为6、8、12的3x3卷积层来提取多尺度特征图，并将输出的多尺度特征图进行拼接；然后使用3x3卷积层、batchnormalization层、relu层对拼接后的特征图进行特征提取，输出最终组合的特征图。
17.本方案中，在将组合的特征图送到两个单独的3x 3卷积层之后，所述方法还包括：
18.在高度估计的解码器网络分支，组合的特征图经过单独的3x 3卷积层学习得到独立的几何嵌入特征图；
19.将所述几何嵌入特征图送到两个卷积层中以获得两个子嵌入特征图；
20.通过两个子嵌入特征图的点积运算生成几何相似度矩阵；
21.通过点积运算将几何相似度矩阵与语义特征融合在一起，得到融合信息；
22.将所述融合信息通过元素求和与上下文特征结合在一起以产生可感知几何的分割图。
23.本方案中，所述几何结构感知卷积模块的公式：
24.给定一个输入特征图x和对应的几何特征g，其中h、w、e分别表示特征图x的宽度、高度和通道数，几何结构感知卷积模块输出公式表示为：
[0025][0026]
其中，σ为激活函数，为像素i的邻域点索引，x
j
为邻域点，b为偏置项；w
ij
表示卷积核权重，其度量了像素i和像素j之间的几何相似性；w
ij
的计算公式如下：
[0027]
w
ij
(g)＝φ(g
i
)
·
ψ(g
j
)；
[0028]
其中和ψ(
·
)分别表示子空间特征，g
i
和g
j
分别为像素i，j的几何特征；
[0029]
结合上述两个公式，得到最终几何结构感知卷积模块的计算公式：
[0030][0031]
本方案中，上述几何结构感知的神经网络分类模型受到语义分割分支和高度估计
分支的监督，总损失函数公式为：
[0032][0033]
其中表示分割损失，表示高度估计损失，λ是用于平衡这两个损失项的超参数；
[0034]
对于语义分割任务，利用加权的交叉熵损失来训练语义分割的解码器网络，其中将类别频率的倒数用作该类所有像素的平衡权重，语义分割损失函数计算公式为：
[0035][0036]
其中i表示像素位置，c表示类别索引，l
i
是像素i的地面真值标签，p
ic
是像素i属于类别c的预测概率，w
i
表示像素i的权重；
[0037]
对于高度估计任务，采用l1损失来训练高度估计的解码器网络，高度估计损失函数计算公式为：
[0038][0039]
其中和h
i
表示像素i的预测高度和真实高度。
[0040]
本发明第二方面还提出一种计算设备，所述计算设备包括：存储器及处理器，所述存储器中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被所述处理器执行时实现如上述的一种基于神经网络的遥感图像分类方法的步骤。
[0041]
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被处理器执行时，实现如上述的一种基于神经网络的遥感图像分类方法的步骤。
[0042]
本发明引入了一种几何结构感知的神经网络分类模型，以通过联合高度估计实现遥感影像的精准分类。与传统编码器
‑
解码器网络不同，本发明设计一个单独的解码器分支来预测高度图，并使用dsm图像作为监督来训练这个新设计的解码器分支。这样，本发明的模型就不需要dsm作为模型输入，并且仍然可以在训练过程中受益于有用的几何结构信息。通过新设计的解码器分支，本发明的模型可以在地面真实dsm图像的监督下从2d外观特征中提取3d几何特征。此外，本发明开发了一种新的几何结构感知卷积模块，该模块融合了高度解码器分支中的3d几何特征和语义分割分支中的2d上下文特征。融合的特征嵌入可以生成具有增强性能的可感知几何的分割图。本发明的模型以dsm图像作为辅助监督进行训练，而在推理阶段，它不需要dsm数据并直接预测语义标签。而且在isprs vaihingen和potsdam数据集上进行的实验证明了本发明方法对航空影像语义分割的有效性。此外，本发明所提出的神经网络分类模型无需使用任何手工特征或后处理即可在两个数据集上获得显着性能。
[0043]
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0044]
图1示出了本发明一种基于神经网络的遥感图像分类方法的流程图；
[0045]
图2示出了本发明中一种基于几何结构感知神经网络的遥感图像分类系统架构图；
[0046]
图3示出了本发明中空间金字塔池化模块结构图；
[0047]
图4示出了本发明几何结构感知卷积模块结构图；
[0048]
图5示出了本发明一幅原始卫星遥感图像、其对应的真实标签图、以及根据本发明的技术方案所实际输出的分类效果图。
具体实施方式
[0049]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
[0050]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0051]
图1示出了本发明一种基于神经网络的遥感图像分类方法的流程图。
[0052]
如图1所示，本发明第一方面提出一种基于神经网络的遥感图像分类方法，所述方法包括：
[0053]
s101，搭建几何结构感知的神经网络分类模型；
[0054]
s102，使用包含真实分类标签的遥感图像样本对所述几何结构感知的神经网络分类模型进行训练，并得到训练后的神经网络分类模型；
[0055]
s103，基于训练后的神经网络分类模型构建神经网络分类系统，并设计所述神经网络分类系统用于交互的输入模块与输出模块；
[0056]
s104，通过所述输入模块输入遥感图像，并由训练后的神经网络分类模型进行分类处理，得到可感知几何的分割图，再由所述输出模块输出。
[0057]
根据本发明的实施例，上述几何结构感知的神经网络分类模型通过联合高度估计实现对遥感图像的分类，其包括一个共享的编码器网络，一个用于语义分类的解码器网络和一个用于高度估计的解码器网络。
[0058]
根据本发明的实施例，共享的编码器网路采用resnet
‑
101作为骨干网络，在骨干网络之后附加了一个空间金字塔池模块，以融合多尺度特征得到高级别特征，并所述高级别特征与骨干网络中具有相同分辨率的低级别特征相拼接，得到组合的特征图。
[0059]
根据本发明的实施例，在得到组合的特征图之后，所述方法还包括：
[0060]
将组合的特征图送到两个单独的3x 3卷积层，以分别学习用于语义分割和高度估计的独立特征表示；
[0061]
在上述用于语义分类的解码器网络增设一个几何结构感知卷积模块，由所述几何结构感知卷积模块融合高度估计分支中的3d几何特征和语义分割分支中的2d上下文特征，以进行几何结构感知语义标记；
[0062]
基于融合的特征嵌入生成具有增强性能的可感知几何的分割图。
[0063]
需要说明的是，与传统基于编码器
‑
解码器结构的遥感图像分类方法不同，本发明设计一个单独的解码器分支来预测高度图，并使用dsm(digital surface model，数字地表模型)图像作为监督来训练这个新设计的解码器分支。这样，本发明的模型就不需要dsm图像作为模型输入，并且仍然可以在训练过程中受益于有用的几何结构信息。通过新设计的解码器分支，使得本发明的模型可以在地面真实dsm图像的监督下从2d外观特征中提取3d几何特征。
[0064]
图2示出了本发明中一种基于几何结构感知神经网络的遥感图像分类系统架构图。
[0065]
如图2所示，本发明的遥感图像分类系统以用于遥感图像语义标记的ga
‑
net模型(聚合网络模型)进行举例概述。当所述ga
‑
net模型(接收单个航空图像(即遥感图像)作为输入，并同时预测分类图和高度图。共享编码器采用resnet
‑
101作为骨干网络，以从输入图像中学习高级功能。在骨干网络之后附加了一个空间金字塔池模块，以融合多尺度特征。合并后的特征图将放大4倍，并进一步与骨干网络中具有相同分辨率的低级别特征相拼接。在解码器部分，组合的特征图被馈送到两个单独的3x 3卷积层，以分别学习用于语义分割和高度估计的独立特征表示。然后使用几何结构感知卷积模块进一步融合这两种形式的特征，从而实现几何结构感知语义标记。
[0066]
可以理解，上述ga
‑
net模型以dsm图像作为辅助监督进行训练，而在推理阶段，它不需要dsm数据并直接预测语义标签。
[0067]
图3示出了本发明中空间金字塔池化模块结构图。
[0068]
如图3所示，所述空间金字塔池化模块接收所述骨干网络输出的卷积特征图作为输入，然后分别使用一个全局平均池化层、一个1x1卷积层、以及3个空洞率分别为6、8、12的3x3卷积层来提取多尺度特征图，并将输出的多尺度特征图进行拼接；然后使用3x3卷积层、batchnormalization层、relu层对拼接后的特征图进行特征提取，输出最终组合的特征图。
[0069]
根据本发明的实施例，在将组合的特征图送到两个单独的3x 3卷积层之后，所述方法还包括：
[0070]
在高度估计的解码器网络分支，组合的特征图经过单独的3x 3卷积层学习得到独立的几何嵌入特征图；
[0071]
将所述几何嵌入特征图送到两个卷积层中以获得两个子嵌入特征图；
[0072]
通过两个子嵌入特征图的点积运算生成几何相似度矩阵；
[0073]
通过点积运算将几何相似度矩阵与语义特征融合在一起，得到融合信息；
[0074]
将所述融合信息通过元素求和与上下文特征结合在一起以产生可感知几何的分割图。
[0075]
图4示出了本发明几何结构感知卷积模块结构图。几何嵌入特征图首先被馈送到两个卷积层中以获得子两个嵌入特征图(g)。然后，通过两个子嵌入特征图的点积生成几何相似度矩阵w
ij
(g)。之后，通过另一个点积运算将几何亲和力(即几何相似度矩阵w
ij
(g))与语义特征融合在一起。最后，融合信息通过元素求和与原始上下文特征结合在一起以产生最终输出。需要说明的是，整个卷积过程保持上下文特征的尺寸和大小。
[0076]
根据本发明的实施例，所述几何结构感知卷积模块的公式：
[0077]
给定一个输入特征图x和对应的几何特征g，其中h、w、e分别表示特
征图x的宽度、高度和通道数，r为实数，几何结构感知卷积模块输出公式表示为：
[0078][0079]
其中，σ为激活函数，为像素i的邻域点索引，x
j
为邻域点，b为偏置项；w
ij
表示卷积核权重，其度量了像素i和像素j之间的几何相似性；w
ij
的计算公式如下：
[0080]
w
ij
(g)＝φ(g
i
)
·
ψ(g
j
)；
[0081]
其中和ψ(
·
)分别表示子空间特征，g
i
和g
j
分别为像素i，j的几何特征；
[0082]
结合上述两个公式，得到最终几何结构感知卷积模块的计算公式：
[0083][0084]
根据本发明的实施例，上述几何结构感知的神经网络分类模型受到语义分割分支和高度估计分支的监督，总损失函数公式为：
[0085][0086]
其中表示分割损失，表示高度估计损失，λ是用于平衡这两个损失项的超参数；默认情况下，λ可以设置为1；
[0087]
对于语义分割任务，使用交叉熵损失来惩罚地面真值标签和预测标签之间的差异。为了解决不同的语义类别像素数量差异问题，本发明利用加权的交叉熵损失来训练语义分割的解码器网络，其中将类别频率的倒数用作该类所有像素的平衡权重，语义分割损失函数计算公式为：
[0088][0089]
其中i表示像素位置，c表示类别索引，l
i
是像素i的地面真值标签，p
ic
是像素i属于类别c的预测概率，w
i
表示像素i的权重；
[0090]
对于高度估计任务，采用l1损失来训练高度估计的解码器网络，高度估计损失函数计算公式为：
[0091][0092]
其中和hi表示像素i的预测高度和真实高度。
[0093]
可以理解，交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。l1损失，即l1范数损失函数，也被称为最小绝对值偏差，最小绝对值误差。总的说来，它是把目标值与估计值的绝对差值的总和最小化。
[0094]
表1给出了包括marmanis在“semantic segmentation of aerial images with an ensemble of cnns”中所公开的dlr方案和liu在“semantic labeling in very high resolution images via a selfcascaded convolutional neural network”中所公开的casia方案和yue在“treeunet:adaptive tree convolutional neural networks for subdecimeter aerial image segmentation”中所公开的treeunet方案以及本发明的技术
方案在内的不同方案之间的遥感影像分类精度对比。
[0095]
表1：不同技术方案之间的性能对比
[0096][0097]
可以理解，上述表1中ours一行数据为本发明的技术方案，f1是是统计学中用来衡量二分类模型精确度的一种指标，它同时兼顾了分类模型的精确率和召回率。f1可以看作是模型精确率和召回率的一种调和平均，它的最大值是1，最小值是0。
[0098]
图5示出了本发明一幅原始卫星遥感图像、其对应的真实标签图、以及根据本发明的技术方案所实际输出的分类效果图。
[0099]
图5中的(a)为输入的原始遥感图像，(b)为(a)对应的真实标签图，(c)为采用本发明的神经网络分类模型输出的分类预测结果图，通过对比(b)与(c)可知，二者偏差度很小，即可证明本发明的神经网络分类模型能够实现对遥感图像的精确分类标记。
[0100]
本发明第二方面还提出一种计算设备，所述计算设备包括：存储器及处理器，所述存储器中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被所述处理器执行时实现如上述的一种基于神经网络的遥感图像分类方法的步骤。
[0101]
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于神经网络的遥感图像分类方法程序，所述基于神经网络的遥感图像分类方法程序被处理器执行时，实现如上述的一种基于神经网络的遥感图像分类方法的步骤。
[0102]
本发明所公开的神经网络分类模型，用于遥感影像分类，包括：一个共享的编码器网络，一个用于语义分类的解码器网络和一个用于高度估计的解码器网络。具体来说，本发明引入了一种几何结构感知的神经网络分类模型，以通过联合高度估计实现遥感影像的精准分类。与传统编码器
‑
解码器网络不同，本发明设计一个单独的解码器分支来预测高度图，并使用dsm图像作为监督来训练这个新设计的解码器分支。这样，本发明的模型就不需要dsm作为模型输入，并且仍然可以在训练过程中受益于有用的几何结构信息。通过新设计的解码器分支，本发明的模型可以在地面真实dsm图像的监督下从2d外观特征中提取3d几何特征。此外，本发明开发了一种新的几何结构感知卷积模块，该模块融合了高度解码器分支中的3d几何特征和语义分割分支中的2d上下文特征。融合的特征嵌入可以生成具有增强性能的可感知几何的分割图。本发明的模型以dsm图像作为辅助监督进行训练，而在推理阶段，它不需要dsm数据并直接预测语义标签。而且在isprs vaihingen和potsdam数据集上进行的实验证明了本发明方法对航空影像语义分割的有效性。此外，本发明所提出的神经网络分类模型无需使用任何手工特征或后处理即可在两个数据集上获得显着性能。
[0103]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0104]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0105]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0106]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0107]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0108]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。