一种基于深度学习的遥感影像舰船轮廓提取方法与流程

本发明涉及遥感影像处理与信息提取技术领域，特别涉及一种基于深度学习的遥感影像舰船轮廓提取方法。

背景技术：

遥感(remotesensing,rs)是指非接触的，远距离的探测技术[1]。目前遥感技术已广泛应用于农业、国防、海洋等领域。遥感技术对于推动国家基础设施建设、国防建设以及国家经济发展具有重要意义。

遥感影像作为成像遥感数据的主要存储方式，对于后期的遥感信息提取及应用具有重要的意义，因此对于遥感影像的处理显得尤为重要。遥感影像的处理大致可以分为两大部分：①对遥感影像进行像素级别的处理，比如进行遥感影像的辐射校正、几何纠正、投影变换及镶嵌变换等；②对遥感影像进行特征、语义级别的处理，比如遥感影像的特征提取、遥感影像的分类、遥感影像识别以及遥感影像地物轮廓提取等。其中遥感影像的地物目标检测和轮廓提取具有重要的军事意义和民用价值。对遥感影像中的地物进行目标检测和轮廓提取，为军事侦察、军事测绘以及图像末制导技术提供了重要的信息和技术支持[2]；同时遥感影像中的地物目标检测和轮廓提取对于资源调查、农村规划、城市规划、自然灾害的监测以及资源勘测等具有重要的指导意义。尽管目前对于遥感地物检测和轮廓提取有相应的方法，但由于受到目标的高度复杂性和目前理论技术水平限制[2]，自动化处理算法难以达到实际生产中的要求，因此实际作业中多采用人工提取或者交互式处理方式。然而以人为手工提取为主的遥感影像地物目标检测和轮廓提取，不仅消耗大量人力，同时消耗大量的时间，工作效率较低。此外交互式地物目标检测和轮廓提取受到人为因素的影响较大，精度一般不高。

近年来，深度学习技术在人工智能(artificialintelligence,ai)领域快速发展，深度学习算法已成功应用于计算机视觉、语音识别、机器翻译等领域中，在某些任务中的表现甚至已超过人类水平。相较于传统的遥感影像地物检测与轮廓提取方法，基于深度学习的方法建立在不同类型的深度神经网络模型基础上，利用神经网络对大规模数据进行训练并完成预测任务，深度神经网络模型具有更强的泛化和特征表达能力。深度学习方法中，卷积神经网络(convolutionalneuralnetwork,cnn)模型因其权值共享与池化策略已经成为了解决二维影像分类、目标检测等任务的主流方式，卷积神经网络由输入层、卷积层、池化层、全连接层和输出层组成，其可快速高效地解决深层特征提取、基于场景水平的影像分类与目标检测等任务。在卷积神经网络的基础上改造而成的全卷积网络[4](fullyconvolutionalnetwork,fcn)，克服了cnn中池化层结构会降低二维特征图的空间分辨率，难以直接应用于影像像素级分类问题的障碍，fcn通过利用可训练的转置卷积层，对二维特征图进行无损上采样，更好地解决了基于像素水平的语义分割问题，使其成为解决二维影像像素级分类与轮廓提取等任务的重要方法。

传统的遥感地物目标检测和轮廓提取方法与人工解译方法，在预测精度或预测效率上都不高，已无法满足大数据时代下的需求。针对上述情况，本发明提出了基于深度学习的遥感影像地物目标检测与轮廓提取一体化模型，将基于深度学习的技术应用到遥感影像中，旨在提高工作效率和精度，减少人为操作，实现全自动化遥感影像地物目标检测和轮廓提取。本发明提出的方法模型具有全自动化的优势，同时整个提取过程没有人为因素的干扰，使得提取过程更加准确可靠、快速高效，更加自动化和智能化。

技术实现要素：

本发明的目的在于提供一种基于深度学习的遥感影像舰船轮廓提取方法，可减少人工操作所带来的干扰，实现自动化与智能化遥感影像舰船轮廓提取，同时可有效提升解译的精度与效率。

本发明提供基于深度学习的遥感影像舰船轮廓提取方法，包括如下步骤：

s1：基于卷积神经网络的目标检测方法对获取的遥感影像进行目标识别与定位，得到目标检测结果图；

s2：基于全卷积网络对获取的遥感影像进行语义分割，得到与目标检测结果图对应的分割图；

s3：融合目标检测结果图和与之对应的分割图，得到轮廓提取结果。

进一步地，步骤s1包括：

s1.1：利用卷积神经网络区域生成算法处理遥感影像生成候选区域，并利用卷积神经网络提取候选区域的特征，对特征进行分类并对区域内目标进行识别与定位；

s1.2：采用边界框回归算法对提取的目标的初始坐标进行校正，同时利用非极大值抑制算法删除冗余的目标框，得到最终的检测结果图。

进一步地，所述的目标检测方法为fasterr-cnn目标检测算法，步骤s1.1包括：

s1.1.1：将待检测遥感影像输入fasterr-cnn目标检测算法，利用vgg16提取影像的相应特征图；

s1.1.2：在vgg16提取的特征图上利用rpn区域候选框网络产生一系列的候选框；

s1.1.3：利用roipooling处理后输入到r-cnn目标检头测，实现候选框的坐标回归和类别的检测，得到目标框坐标和目标的类别及类别置信度。

进一步地，确定fasterr-cnn目标检测算法的损失函数，利用反向传播算法对fasterr-cnn目标检测算法进行训练，使损失函数下降到一个合适的值。

进一步地，fasterr-cnn目标检测算法的损失函数为：

i表示遥感影像中锚框的索引，pi表示锚框预测为目标的概率，ti＝{tx，ty，tw，th}为一个向量，表示预测的包围框的4个参数化坐标。表示锚框真实目标的概率，表示真实的参数化包围框坐标；

为：

ti与为：

iou表示锚框与真实框的交集部分的面积与并集部分的面积之比，iou∈[0,0.3)时为0，iou∈(0.7,1])时为1，x,y,w,h表示预测的框中心坐标(x,y)及框的宽高(w,h)，x^*,y^*,w^*,h^*表示真实框中心坐标(x^*,y^*)及框的宽高(w^*,h^*)，xa,ya,wa,ha表示锚框的中心坐标(xa,ya)及锚框的宽高(wa,ha)；

类别损失函数为：

框坐标回归损失函数为：

。

进一步地，反向传播算法包括链式求导法则和/或梯度下降。

进一步地，全卷积网络的损失函数为

其中w,h分别表示预测图的宽、高分辨率，为(i,j)处真实的类别通道上的概率分布向量，其中只有一个通道上概率为1，其他通道上的概率均为0；pi,j表示(i,j)处预测的各分类通道的概率分布向量，各分类通道的概率之和为1；

采用反向传播算法对全卷积网络进行训练，使全卷积网络的损失函数下降到一个合适的值，得到训练好的全卷积网络，然后对获取的遥感影像进行基于全卷积网络的语义分割。

进一步地，步骤s2包括：

s2.1：利用训练好的全卷积网络的基础网络提取输入的遥感影像的特征图；

s2.2：利用训练好的全卷积网络的转置卷积层将特征图采样到输入图大小；

s2.3：在与输入图大小一致的特征图的通道上进行分类，得到遥感图像的分割图。

进一步地，将遥感影像输入卷积神经网络和全卷积网络之前，首先对遥感图像进行像素值的归一化处理。

进一步地，对目标框坐标、目标的类别及类别置信度和与之对应的分割图进行融合，得到轮廓提取结果。

本发明的有益效果有：

(1)本发明将人工智能与深度学习算法应用至遥感影像目标检测与语义分割等智能解译任务中，基于深度学习的深度网络模型相较于传统算法可提取出影像中的深层次特征，可有效提升解译的精度与效率；

(2)本发明提出了利用多网络提升遥感影像舰船轮廓提取的水平。一方面，利用基于卷积神经网络的目标检测模型对舰船目标进行准确定位；另一方面，利用基于全卷积网络的语义分割模型对定位区域内的舰船目标进行轮廓的精确提取；

(3)本发明结合遥感影像目标检测与语义分割进行一体化处理，减少人工操作所带来的干扰，实现自动化与智能化遥感影像舰船轮廓提取。

附图说明

图1是本发明一种基于深度学习的遥感影像舰船轮廓提取方法的流程示意图；

图2是fasterr-cnn目标检测算法采用的基础网络结构图；

图3是fcn采用的基础网络结构图；

图4是hrsc2016数据集示例图：图4(a)为船舶停靠数据集示例图，图4(b)为船舶航行数据集示例图；

图5是竖直及旋转矩形框标记图；

图6是二级类别船舶fasterr-cnn检测结果图；

图7是一级类别船舶fasterr-cnn检测结果图；

图8是vaihingen数据集中的遥感影像和对应的语义分割标签图：图8(a)为影像图，图8(b)为类别标签图；

图9是像素级别的船舶掩膜标记图；

图10是带三级类别信息船舶掩模图转化为两分类掩膜图；

图11是fcn在hrsc2016上进行船舶分割示例图；

图12是船舶检测和轮廓提取一体化模型处理示意图；

图13是舰船检测和轮廓提取结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参照图1，本发明提供一种基于深度学习的遥感影像舰船轮廓提取方法，本方法将目标检测与语义分割两个过程集成至一体化模型中，实现高分辨率遥感影像舰船的快速定位与轮廓提取，是一种新的、自动化与智能化程度更高的高分辨率遥感影像舰船轮廓提取方法。

本发明分为基于卷积神经网络的目标识别与定位、基于全卷积网络的语义分割、目标检测与语义分割一体化处理三个步骤。具体地，包括如下步骤：

s1：基于卷积神经网络的目标检测方法对获取的遥感影像进行目标识别与定位，得到目标检测结果图；

s2：基于全卷积网络对获取的遥感影像进行语义分割，得到与目标检测结果图对应的分割图；

s3：融合目标检测结果图和与之对应的分割图，得到轮廓提取结果。

对于步骤s1，可以具体的细分为：

s1.1：利用卷积神经网络区域生成算法处理遥感影像生成候选区域，并利用卷积神经网络提取候选区域的特征，对特征进行分类并对区域内目标进行识别与定位；

s1.2：采用边界框回归算法对提取的目标的初始坐标进行校正，同时利用非极大值抑制算法删除冗余的目标框，得到最终的检测结果图。

优选的，所述的目标检测方法为fasterr-cnn目标检测算法，fasterr-cnn目标检测算法采用的基础网络为resnet-152v1，其具体的网络结构如图2所示。在此基础上，步骤s1.1可以进一步细化为：

s1.1.1：将待检测遥感影像输入fasterr-cnn目标检测算法，利用vgg16提取影像的相应特征图；

s1.1.2：在vgg16提取的特征图上利用rpn区域候选框网络产生一系列的候选框；

s1.1.3：利用roipooling处理后输入到fastr-cnn目标检测算法，实现候选框的坐标回归和类别的检测，得到目标框坐标和目标的类别及类别置信度。

为了提高精度，在使用fasterr-cnn目标检测算法模型前，需要对其进行训练，训练的目的是使得参数尽可能的逼近真实的模型，训练之前首先定义真实目标和网络预测值之间的关系函数，称为损失函数，损失函数反映了模型对于数据拟合程度，模型拟合得越好，损失函数的值就会越小；反之，模型拟合越差，则损失函数值越大。

fasterr-cnn目标检测算法的损失函数主要包括类别损失函数和框坐标回归损失函数，一幅图中fasterr-cnn目标检测算法的损失函数为：

i表示遥感影像中锚框的索引，pi表示锚框预测为目标的概率，ti＝{tx，ty，tw，th}为一个向量，表示预测的包围框的4个参数化坐标。表示锚框真实目标的概率，表示真实的参数化包围框坐标。一般地，ncls设置为256，nreg设置为2000，γ为10。

为：

ti与为：

iou表示锚框与真实框的交集部分的面积与并集部分的面积之比，iou∈[0,0.3)时为0，iou∈(0.7,1])时为1，x,y,w,h表示预测的框中心坐标(x,y)及框的宽高(w,h)，x^*,y^*,w^*,h^*表示真实框中心坐标(x^*,y^*)及框的宽高(w^*,h^*)，xa,ya,wa,ha表示锚框的中心坐标(xa,ya)及锚框的宽高(wa,ha)；

类别损失函数为：

框坐标回归损失函数为：

对fasterr-cnn目标检测算法的损失函数进行定义后，需反向传播算法对网络模型进行训练。反向传播算法是神经网络得以训练的重要的参数更新算法，其核心为链式求导法则和梯度下降。链式求导法则是一种对复合函数求导的方法。梯度下降是一种寻求目标函数极小值的算法。深度学习中的目标函数一般为损失函数，通过反向传播算法对参数不断更新，使得损失函数越来越小，不断接近极小值，最后在极小值附近波动。从而使得模型的拟合误差越来越小，下降到一个较小的值，实现fasterr-cnn目标检测算法模型的训练。

卷积神经网络(cnn)可用于解决深层特征提取、影像场景分类与影像目标检测等任务，但其池化层结构会降低二维特征图的空间分辨率，而直接对提取的深度特征进行插值并恢复其空间分辨率，会严重降低输出分类结果的精度，因此，cnn模型难以直接应用于高精度语义分割与轮廓提取等任务。

本发明采用经典全卷积网络(fcn)算法作为遥感影像舰船目标轮廓提取的构成模型之一，fcn采用的基础网络为resnet-18v2，其具体网络结构如图3所示。

全卷积网络(fcn)的损失函数为交叉熵损失函数，对于一幅图具体交叉熵损失函数表达式为：

其中w,h分别表示预测图的宽、高分辨率，为(i,j)处真实的类别通道上的概率分布向量，其中只有一个通道上概率为1，其他通道上的概率均为0；pi,j表示(i,j)处预测的各分类通道的概率分布向量，各分类通道的概率之和为1；对fcn的损失函数进行定义后，可采用与基于fasterr-cnn的目标检测方法一致的反向传播算法对fcn模型进行训练与模型权重参数的更新调优，以完成全卷积网络模型的训练。

步骤s2可以细分为：

s2.1：利用训练好的全卷积网络的基础网络提取输入的遥感影像的特征图；

s2.2：利用训练好的全卷积网络的转置卷积层将特征图采样到输入图大小；

s2.3：在与输入图大小一致的特征图的通道上进行分类，得到遥感图像的分割图。

将遥感影像输入卷积神经网络和全卷积网络之前，首先对遥感图像进行像素值的归一化处理：由于遥感图像分辨率大小不一，因此在输入图像前，先将图像最短边缩放至600(补一次为限)个像素大小，同时对像素值归一化处理。

步骤s3具体为：对目标框坐标、目标的类别及类别置信度和与之对应的分割图进行融合，得到轮廓提取结果。

下面以具体的实例进行说明。

(1)基于fasterr-cnn网络模型的目标识别与定位

a.hrsc2016目标检测数据集

以fasterr-cnn作为目标识别与定位的基础网络模型，在高分船舶数据集2016(hrsc2016,highresolutionshipcollection2016)上进行训练与测试。hrsc2016数据集的数据来源于谷歌地球]，具有较为单一的背景(一般为海面或海港，如图4所示，图4(a)为船舶停靠数据集示例图，图4(b)为船舶航行数据集示例图)，用于构建数据集的遥感图像分辨率为0.4米到2米之间，图像大小300×300到1500×900之间

hrsc2016数据集中的图像拍摄于俄罗斯、美国的六个海港，对数据集中的船舶进行了三级分类。第一级类别为船；第二级类别包括4类：航母、军舰、商船、潜艇；第三级类别主要是对二级类别中的四类进行进一步的型号细分，形成第三级类别。对于数据集的标注采用了多种方式：竖直矩形框标记、旋转矩形框标记、以及像素级别的船舶掩膜标记。其中竖直矩形框标记、旋转矩形框标记如图5所示。

本发明中目标检测网络的训练中采用的是竖直框标记的数据，其数据的标记文件是以一张图为基本单位的xml文件，主要记录的数据有影像的名称、影像的深度、以及影像中目标的竖直和旋转框标记数据。

b.fasterr-cnn网络模型训练设置

hrsc2016用于目标检测的数据集总共包括1055张图，将其划分为两个部分：训练数据集和验证数据集。训练数据集有792张图，占总数据的75％左右；验证数据集有263张图，占总数据集的25％左右。依据前文介绍所搭建的fasterr-cnn网络结构(基础网络借用有预训练权重的resnet-152v1)，依照已定义的损失函数，利用反向传播算法对网络中的参数进行迭代更新，参数优化方法采用的是随机梯度下降sgd算法，同时训练过程中采用随机水平翻转和多尺度缩放进行数据增强手段。

训练中学习率的初始值为0.001，批处理大小设置为1。由于fasterr-cnn为两阶段目标检测网络，即先产生候选框，再对框坐标和框中的物体进行类别判断，候选框网络rpn产生候选框的好坏，会对最终的检测结果有着直接的影响。因此，对于rpn网络中一些超参数的设置需要根据实际情况进行设置，比如产生的候选框的宽高比以及候选框的尺度等：候选框的宽高比默认为[0.5,1.0,2.0]，候选框的尺度默认为[8,16,32]，本实验根据hrsc2016数据集中标注的框坐标计算出相应的宽高比和面积，对得到的一系列宽高比和面积进行k均值聚类，得到宽高比为[0.45,0.7,0.95,1.9],尺度为[10,17.5,27.5]。训练时对fasterr-cnn总共训练80个轮次，前50个轮次的学习率为初始学习率，后30轮次中每训练一个epoch，学习率减为上一轮的10-0.1倍，训练用时约为38个小时。

c.fasterr-cnn在hrsc2016目标检测数据集上的预测结果

基于上述介绍的实验参数及策略设置，本发明对hrsc2016数据集中的一级类别(即船目标)与二级类别(即航母、军舰、商船、潜艇共四类目标)进行了测试验证。对于第二级类别的尝试的检测效果如图6所示；二级类别预测的整体结果较好，没有漏检、类别的判断正确率更高，同时框坐标更加准确。对于第一级类别的尝试的检测效果如图7所示。

由图7可以看出一级类别的检测结果更好，具体表现在不但可以进行标注船舶的正确分类和精确框定，还能对没有标注的船舶进行检测，其泛化能力较好。同时，本发明对一级和二级类别检测结果进行了精度评定，评定结果如表1所示：

表1一级和二级类别检测结果精度评定表

(2)基于fcn网络模型的语义分割

利用fcn作为像素级语义分割的基础网络模型，首先在isprsvaihingen语义分割数据集上进行预训练后，利用预训练权重在hrsc2016数据集上进行模型调优。

a.isprsvaihingen语义分割数据集介绍与训练设置

isprsvaihingen语义分割数据集，数据集中的影像为近红外遥感影像，影像中含6类地物，分别为：不透水表面(rgb:255,255,255)、建筑(rgb:0,0,255)、低植被(rgb:0,255,255)、树(rgb:0,255,0)、汽车(rgb:255,255,0)、背景(rgb:255,0,0)。数据中的影像和对应的标签图如图8(图8(a)为影像图，图8(b)为类别标签图)所示：

vaihingen数据集中包含33个区域的遥感图像，对应总共有33幅tif格式的图像。在fcn预训练过程中采用了其中的16幅遥感图像，由于每幅图像很大，因此需要进行裁剪，最终以步长48在原图上进行裁剪，获得一系列大小为128×128的小图，同时在对应的标签图上进行相应的裁剪，最终获得23449张128×128大小图像的数据集。

训练时，首先对vaihingen数据集进行划分，实验中将其划分为两个部分：训练数据集和验证数据集。训练数据集有21105张图，占总数据的90％左右；验证数据集有2344张图，占总数据集的10％左右。然后，搭建fcn网络结构(基础网络利用经预训练的resnet-18v2)，损失函数为交叉熵损失函数，利用反向传播算法对网络中的参数进行迭代更新，参数优化方法采用的是随机梯度下降sgd方法，在实验中采用随机水平翻转进行数据增强。

在具体实验中采用的是小批量随机梯度下降算法，学习率或学习步长初始设置为0.001，总共训练100轮，在前50轮学习率保持初始值不变，后50轮中每训练一轮，学习率减为上一轮的0.5倍。每轮中进行参数更新训练输入的样本数称之为批量大小，实验中的设置为128。训练结束后，在vaihingen验证数据上的单像素预测精度为92.53％。

b.在hrsc2016数据集上的调优训练与预测结果

利用fcn在vaihingen数据集中进行预训练后，继续利用hrsc2016数据集中像素级船舶掩膜标记作为训练样本进行模型调优训练。像素级别的船舶掩膜标记训练数据示意如图9所示。

图9中展示的是具有三级类别信息的船舶轮廓标记图，由于本文对于船舶进行轮廓提取不需要精细的类别信息，因此利用程序将原来带有三级类别信息的船舶掩膜标记图转化为船和非船的二分类船舶掩膜图，如图10所示。

如图10所示，将带有三级类别信息的船舶区域的掩膜转化为白色，其他区域均为黑色。从而转化为适合本文的船和非船二分类船舶轮廓分割训练数据。

利用在vaihingen数据集上训练好的fcn模型，在hrsc2016上进行调优训练。其他设置与不采用预训练权重的训练保持相同的设置。最终训练得到的验证精度为97.40％。在hrsc2016上的分割效果如图11所示。

(3)目标检测与语义分割的一体化处理

利用经过充分训练与测试的fasterr-cnn和fcn网络，构建船舶轮廓提取的一体化处理方法。首先，通过fasterr-cnn对包含船舶的遥感图像进行船舶的检测，获得图中船舶检测框坐标、框内船舶的类别及置信度。同样地，将遥感影像送入fcn网络，对船舶进行语义分割。然后，利用检测框的坐标信息在船舶分割图上取得相应区域，将此区域叠加在船舶检测结果图上，从而获得船舶检测和轮廓提取的结果。以上处理流程与效果图如图12所示。

本发明以谷歌地球数字正射影像(约1米)为数据源进行舰船轮廓提取实验，具体实验结果如图13所示。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。