基于深度学习语义分割网络的遥感影像地物分类方法与流程

本发明属于遥感图像智能分类技术领域，更为具体地讲，涉及在地物解译需求下一种基于全卷积语义分割网络的遥感地物分类方法。

背景技术：

遥感影像地物分类目前广泛应用于土地勘测、卫片执法、区域侦查等各类军民应用当中，取得了较好的应用效果并拥有较大的市场发展潜力。随着卫星载荷与数据量的逐步增加，在遥感高精度分类研究中，特别面对大区域(全国或全球尺度)地表分类时，传统的人工标定的方法难以支撑爆发式增长的任务与需求工作量，因此研究如何采用人工智能的方法实现遥感影像智能化自动处理是一项具有深远意义的重要工作。

目前已有的地物分类方法，

(1)传统大部分方法主要采用超像素等分割方法将遥感影像分割成为若干区域，随后对区域内提取形态、纹理等传统特征，最终采用svm等分类器根据特征对区域分类并合并，形成分类结果。

(2)最近几年深度学习在地物分类方面的研究主要集中于对原始影像采用超像素等方法进行初始分割，并对分割后的块图像采用cnn、dbn等神经网络进行分类，从而达到像素级地物分类的目的。

(3)本发明创新性地提出一种图像纹理与结构的多尺度特征描述图，把多尺度特征描述图与原始3维图像合并生成高维图像实现图像纹理等特征描述力加深，随后把应用于语义分割任务的深度学习模型-全卷积深度网络进行改进并应用于高分辨率遥感影像的地物分类，实现了分割与分类过程的一体化，取得了良好的分类效果。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出基于深度学习语义分割网络的遥感影像地物分类方法，来进一步提高分类精度与效率，减少分类误差。

本发明的目的是这样实现的：

一种基于深度学习语义分割网络的遥感影像地物分类方法，包括以下步骤：

(1)采集不同载荷的高分辨率可见光的遥感图像，对每一张图像中地物进行逐像素标注，标注后的数据组成一幅二值图像，把原始遥感图像和对应标注图像打包构成训练集和测试集；

(2)对训练集中原始遥感图像采用多尺度窗口对二维熵、粗糙度和对比度纹理特征进行提取，形成多尺度特征图组；并对训练集中原始遥感图像采用canny算子将地物边缘提取出来，形成结构特征图；

(3)以deeplab的思想为基础，构建深度学习全卷积语义分割模型；

(4)将步骤(2)中生成的多尺度特征图组、结构特征图与原始遥感图像进行组合形成输入图组，作为步骤(3)中深度学习全卷积语义分割模型的输入进行模型训练，最终得到参数稳定的模型；

(5)对测试集中待分类的原始遥感图像进行切分，将切分后影像通过步骤(4)中训练好的参数稳定的模型进行分类，将分类结果合并到一起生成宽幅检测结果，当重叠区域检测结果产生矛盾时，保留其中分类为非背景像素的结果，得到最终的合并结果。

其中，步骤(3)中全卷积语义分割模型具体为：

模型分为向下和向上两段，其中向下的通路根据分类强度将vggnet原有13层卷积层改为6层，输入层经过6层卷积和池化之后得到16×16维特征热度图作为第7层；向上通路中，对第7层反卷积层进行插值上采样恢复至与第6层相同尺寸，对第7层进行上采样后融合第5层多孔卷积生成第8层；对第8层进行上采样后融合第6层多孔卷积生成第9层，对第9层的输出进行尺寸变换还原至原始遥感图像尺寸，得到最终分类结果。

本发明与背景技术相比具有如下优点：

1、本发明提出了多尺度特征图组代替单纯rgb影像输入，增强特征表征力，并引导神经网络的特征提取方向；

2、本发明采用深度学习全卷积神经网络，可以实现端到端的地物分类任务，取代传统方法由多步骤组成导致的误差累积。

3、本发明采用deeplab网络结构应用到遥感地物分类方向。多孔卷积可以有效解决遥感大尺度地物感受野不足的问题，同时采用条件随机场crf可以用有效优化边界，提取边缘分类效果。

附图说明

图1是本发明的流程设计图。

图2是本发明纹理特征图。

图3是本发明多尺度特征图组构建示意图。

图4是本发明结构特征图。

图5是本发明依据的全卷积网络设计图。

图6是本发明改进deeplab网络设计图。

图7是本发明深度网络结构图。

图8是本发明采用窄幅高分辨率影像图。

图9是本发明分类方法与其他方法的精度对比图。

图10是本发明方法与其他方法分类效果对比图。

图11是本发明方法宽幅影像分类效果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于深度语义分割网络的遥感影像地物分类方法一种具体实施下的原理框图。

在本实施例中，如图1所示基于深度学习语义分割网络的遥感影像地物分类方法包括以下步骤：

1、数据准备

数据准备包括影像的采集与标注，其中采集不同载荷的高分辨率可见光的遥感图像，然后对每一张图像中地物进行逐像素标注，标注后的数据组成一幅二值图像，其中0灰度表示背景像素，1-6灰度表示建筑物、草地等6种地物类型，把遥感图像和对应标注图像打包构成训练集和测试集；

2.特征图组提取

特征图组提取包括多尺度纹理特征图组和结构特征图的提取。考虑不同地物在某些纹理特征(例如：方向性等)当中差异性的不明显，而在某些纹理特征(例如：密集度、复杂度、光亮变化等)当中差异性较大，本发明设计采用二维熵、粗糙度、对比度作为纹理特征，提取效果图如图2所示。除此之外，考虑纹理特征受窗口大小的变化，其对全局和局部的描述能力会受到影响，本发明采用多尺度窗口对特征进行提取，行成多尺度特征图组，保证特征描述力的全面性，如图3所示。在结构特征方面，本发明没有对结构进行特征化，而是把图像当中地物边缘采用canny算子提取出来，用以突出结构信息在网络输入影像集中的信息比重，如图4所示，可以很好的避免结构特征在深度学习训练过程中被冗余信息所掩盖，引导后续深度网络特征训练提取过程中抽象结构特征可以更好提取出来。

3.模型训练

本发明参考deeplab的思想自行设计深度学习全卷积语义分割模型，deeplab是全卷积网络的一种衍生改进网络，网络设计图如图5所示。本发明网络模型可以分为两段，对应于deeplab中向下(采用多孔卷积进行特征提取并逐步降采样同时提取语义特征)和向上(逐步上采样特征恢复细节信息)两段通路。其中向下的通路以vggnet为基础进行改进,网络结构如图6所示。通过对多通道影像和特征图组进行多孔卷积操作，经过6层卷积和池化之后得到特征热度图(16×16维图像)作为第7层，对第7层反卷积层进行上采样恢复至与第6层相同尺寸，通过插值方法将低分辨率图像转为高分辨，对第7层进行上采样后与第5层多孔卷积后的输出融合生成第8层；第8层进行上采样后融合第6层多孔卷积生成第9层即最终分类结果，如图7所示。将分类结果逐个像素计算多分类回归模型softmax分类的损失，得到每一个目标计算损失值，将损失值进行排序，选择损失值最大的前b(经验值)个目标作为难例样本，然后将这些难例样本的损失值，反馈到全卷积神经网络模型中，使用随机梯度下降法更新全卷积神经网络模型的参数。对于每一幅遥感地物分类标注图像，根据上述训练过程不断更新区域全卷积神经网络的参数，从而得到地物分类的全卷积神经网络模型，用于后续地物分类任务当中。

4、地物分类

本发明首先对原始宽幅遥感影像进行切分如图8所示，假设分辨率为x，设置窄幅影像大小l，采用重叠切分方法以窄幅影像较短边长度的0.5*l作为重叠像素数，随后将切分后影像通过深度模型进行分类，最终将分类结果合并到一起生产宽幅检测结果。当重叠区域检测结果产生矛盾时，保留其中分类为非背景像素的结果作为最终的合并结果如图9所示。

为了验证本发明的有效性，我们首先使用自己制作的数据集进行模型的训练，然后基于采集的复杂场景下的遥感图像进行人体目标分类效果的对比验证。在本实施例中，选用tensorflow框架实现deeplab网络架构，基于自身数据集数量以及地物分类任务类别初始化并训练模型参数，最终得到用于地物分类的模型

本发明实现端到端的遥感地物分类，采用kappa系数与交并比iou进行衡量指标，其中kappa系数表示某类地物错分到其他地物类别当中像素占比与多少像素错分为某类地物的离散综合评价，交并比iou表示正确分类到该地物类别的像素总数与错分为该地物像素数和该地物总像素数之和的比值。本发明最终kappa系数83％，交并比iou为81％，相比其他深度学习方法例如vgg(kappa系数75％％，交并比iou为71％)、resnet50(kappa系数81％，交并比iou为78％)、resnet101(kappa系数77％，交并比iou为72％)、resnet152(kappa系数79％，交并比iou为75％)具有较大性能提升，如图10所示。具体不同分类模型结构的分类效果对比图如图11所示。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。