基于深度学习和超分辨率的遥感图像绿潮信息提取方法

本发明涉及一种基于深度学习和超分辨率的遥感图像绿潮信息提取方法。

背景技术：

绿潮是在特定的环境条件下，海洋中大型藻类(例如浒苔)爆发性增殖聚集形成的一种藻华现象。绿潮的大规模爆发不但会导致海洋灾害，还会影响景观，干扰旅游业的发展。

基于传统船舶走航的绿潮监测方法会耗费大量的人力和物力，而卫星遥感技术能够准确及时的获取绿潮爆发的位置和分布范围等信息，因而具有传统方法不可替代的优势。

中分辨率成像光谱仪(moderate-resolutionimagingspectroradiometer,简称modis)以其高时间分辨率的优势被广泛应用于绿潮动态的实时监测。但是，modis数据空间分辨率低(250m-1000m)，混合像元影响大，从而导致了绿潮提取误差较大。

传统的绿潮提取方法一直是绿潮检测领域关注和研究的热点。如基于阈值的绿潮单波段阈值选择法和多波段比值法，以及传统监督分类等方法都是应用于绿潮信息提取的常用方法。

绿潮单波段阈值提取法借助绿潮和海水光谱的差异性，特别是遥感图像的近红外波段的光谱特性更容易区分近海上的绿潮和海水，是遥感界用于提取地物分类的有效方法之一。

多波段比值法则通过对遥感图像不同波段间进行相应的比值，可以有效地增强绿潮和海水之间的差别，加强海水和绿潮的区分度，因此被广泛应用于绿潮遥感监测。

然而，以上两种绿潮提取方法均基于阈值，阈值的设定一定程度上依赖于使用者的经验，而且单一的阈值无法适应卫星数据中观测条件的变化。

传统监督分类方法是目前遥感界用于目标解译和分类的主要方法，是对现存的已经标记了绿潮信息的样本进行模型训练，进而对遥感数据进行像素级分类。

但是对于传统的监督分类方法，其分类结果由于遥感图像本身的空间分辨率的限制，往往出现较多的错分、漏分现象，导致绿潮信息分类精度不高。

综上所述，传统的针对卫星遥感图像进行绿潮提取的方法存在一定的不足。

近年来，深度卷积神经网络(deepconvolutionalneuralnetworks,简称dcnn)由于其强大的特征表示能力，在计算机视觉的图像识别任务中取得了极大的成功。

目前，先后涌现出了fcn、r-cnn、f-rcn、unet等深度卷积神经网络模型，并且成功将深度卷积网络应用于图像的语义分割和目标检测等图像处理任务。

深度卷积网络虽然在图像识别任务中取得了成功，然而，却极少被应用于遥感图像绿潮的提取及语义分割任务中，其原因在于，将深度卷积神经网络应用于低分辨率遥感影像中的绿潮信息提取任务时，在网络结构构建以及训练方法上仍然需要探索。

因此，如何能够将深度卷积神经网络应用于低分辨率遥感影像中的绿潮信息提取任务，以更好地完成绿潮提取任务，成为绿潮信息提取领域研究的一个重要方向。

技术实现要素：

本发明的目的在于提出一种基于深度学习和超分辨率的遥感图像绿潮信息提取方法，以便将深度卷积神经网络应用于低分辨率遥感影像中的绿潮信息提取任务中。

本发明为了实现上述目的，采用如下技术方案：

基于深度学习和超分辨率的遥感图像绿潮信息提取方法，包括如下步骤：

i.利用降采样后的gf-1图像对超分辨率网络模型进行预训练，得到预训练好的超分辨率网络模型；其中，gf-1图像为与步骤iii中modis训练图像为相同区域的图像；

ii.构建语义分割网络，其包括编码路径模块、桥接模块、解码路径模块以及跳跃连接；

编码路径模块包括依次连接的第一卷积层、第一稠密块、第一池化层、第二稠密块以及第二池化层；桥接模块采用第三稠密块；

其中，第二池化层的输出端与第三稠密块的输入端相连；

解码路径模块包括依次连接的第一卷积+上采样块、第四稠密块、第二卷积+上采样块、第五稠密块、第二卷积层、第三池化层、第三卷积层以及第四卷积层；

其中，第三稠密块的输出端与第一卷积+上采样块的输入端相连；

跳跃连接有两个，分别为第一跳跃连接和第二跳跃连接；

第一跳跃连接为第一稠密块输出端与第五稠密块输入端之间的连接；其中，第一稠密块的输出特征图与第二卷积+上采样块的输出特征图进行拼接，作为第五稠密块的输入；

第二跳跃连接为第二稠密块输出端与第四稠密块输入端之间的连接；其中，第二稠密块的输出特征图与第一卷积+上采样块的输出特征图进行拼接，作为第四稠密块的输入；

iii.基于预训练好的超分辨率网络模型和语义分割网络，得到绿潮提取模型；

获取modis训练图像，利用modis训练图像训练绿潮提取模型，得到训练好的绿潮提取模型；绿潮提取模型的训练过程如下：

iii.1.获取modis遥感图像；

对modis遥感图像进行目视解译，生成二值标签图，并生成modis训练图像；

计算modis训练图像的归一化差分植被指数值，将归一化差分植被指数值作为一个波段，与modis训练图像的红色和近红外波段拼接，得到三波段遥感图像；

iii.2.将步骤iii.1中的三波段遥感图像输入到预训练好的超分辨率网络模型，得到分辨率提高一倍的重建图像；

iii.3.将重建图像输入至语义分割网络，得到二值分割图；

iii.4.利用二元交叉熵作为损失函数，计算步骤iii.3中的二值分割图与步骤iii.1中生成的二值标签图的损失；

然后将损失进行反向传播，利用自适应矩估计算法优化完成绿潮提取模型的训练；

iv.获取待提取绿潮信息的modis图像，将待提取绿潮信息的modis图像输入到经过步骤iii训练好的绿潮提取模型中，得到绿潮提取结果。

优选地，步骤i中，超分辨率网络采用wdsr超分辨率网络。

优选地，步骤i具体为：

i.1.获取与步骤iii中modis训练图像相同区域的gf-1图像；

i.2.将gf-1图像通过高斯滤波器降采样，得到分辨率降低一倍的降采样gf-1图像；

i.3.将降采样gf-1图像输入至超分辨率网络，得到超分辨率重建图像；

i.4：将步骤i.3中的超分辨率重建图像与步骤i.1gf-1图像通过均方误差函数mse进行误差反向传播，获得预训练好的超分辨率网络模型。

优选地，均方误差函数mse的计算公式如下：

其中，θ表示总体参数，n表示样本的个数，i表示第i个样本；

x⁽ⁱ⁾，y⁽ⁱ⁾分别表示输入的降采样gf-1图像和对应的原始gf-1图像；

f(x⁽ⁱ⁾；θ)表示超分辨率网络模型的输出，即超分辨率重建图像。

优选地，编码路径模块中，第一卷积层的卷积核大小为3×3，第一稠密块以及第二稠密块均为五层稠密块，第一池化层以及第二池化层均采用最大池化。

优选地，桥接模块中，第三稠密块为三层稠密块。

优选地，解码路径模块中，第一卷积+上采样块、第二卷积+上采样块、第二卷积层以及第三卷积层中卷积核的大小为3×3，第四卷积层的卷积核大小为1×1；

第一卷积+上采样块、第二卷积+上采样块中上采样块通过插值法对卷积结果进行上采样；

第四稠密块以及第五稠密块均为五层稠密块，第三池化层采用最大池化。

优选地，步骤iii.1中，归一化差分植被指数值ndvi的计算公式如下：

ndvi＝(nir-r)/(nir+r)(2)

其中，nir和r分别表示卫星观测到的近红外和红光波段的反射值。

优选地，步骤iii.4中，损失函数采用二元交叉熵函数，计算公式如下：

式中，y'表示二值分割图，y表示二值标签图；

然后将损失进行反向传播，利用自适应矩估计算法进行优化完成绿潮提取模型的训练。

本发明具有如下优点：

如上所述，本发明提出了一种基于深度学习和超分辨率的遥感图像绿潮信息提取方法，该方法将深度卷积神经网络应用于低分辨率遥感影像中的绿潮提取，省略了传统绿潮提取方法中阈值选取的步骤，可以无监督的对遥感图像进行针对绿潮信息提取；本发明通过将图像超分辨率重建技术集成到语义分割网络中，在提高图像质量的前提下改善了最终的分割性能。

附图说明

图1为本发明中基于深度学习和超分辨率的遥感图像绿潮信息提取方法的流程图；

图2为本发明中采用的超分辨率网络wdsr的原理示意图；

图3为本发明中采用的超分辨率网络wdsr中的残差块结构示意图；

图4为本发明方法中构建的绿潮提取模型srse-net的组成结构示意图；

图5为本发明中采用的稠密块的原理示意图；

图6为本发明中待提取绿潮信息遥感影像图；

图7为本发明中通过超分辨率重建后的遥感影像图；

图8为经过本发明方法提取的绿潮信息结果图。

具体实施方式

本发明的基本思想在于：

在高空间分辨率的gf图像域中学习到的低/高分辨率图像之间的表征迁移到modis图像域，用于提高modis图像的空间分辨率，在此基础上构建一种用于绿潮信息提取的深度语义分割网络，以针对分布复杂的绿潮信息能够自动提供语义分割图。

下面结合附图以及具体实施方式对本发明作进一步详细说明：

实施例

本实施例述及了一种基于深度学习和超分辨率的遥感图像绿潮信息提取方法，该方法将深度卷积神经网络应用于低分辨率遥感影像中的绿潮信息提取任务。

如图1所示，基于深度学习和超分辨率的遥感图像绿潮信息提取方法，包括如下步骤：

i.利用降采样后的gf-1图像对超分辨率网络模型进行预训练，得到预训练好的超分辨率网络模型。其中，gf-1图像为与步骤iii中modis训练图像为相同区域的图像。

本实施例选用gf-1图像对超分辨率网络模型进行预训练的原因在于：

随着新的可用的大规模遥感数据源的急剧增加，可用于语义分割任务的数据集不断扩展，从多个源获得不同分辨率的数据集是普遍存在的。

在绿潮信息提取的实际应用中往往采用空间覆盖范围广且时间分辨率较高的modis卫星影像。然而，modis数据空间分辨率较低，混合像元影响大，导致绿潮提取误差较大。

而gf-1图像虽然空间覆盖范围小但具有较高的空间分辨率。

因此，为了在绿潮信息提取任务中提高modis数据空间分辨率，改善图像质量，取得更加精确的分割性能，本实施例利用高空间分辨率的gf-1图像预训练超分辨率网络模型。

将在gf图像域中学习到的低/高分辨率图像之间的表征迁移用于提高modis图像的空间分辨率，空间分辨率的提高和图像质量的改善，提高了区分绿潮斑块和周围水域的能力。

在基于深度神经网络方法解决超分辨率问题的研究领域中，srcnn、fsrcnn、vdsr、wdsr以及esrgan等超分辨率网络模型实现了对图像的高分辨率重建。

其中，wdsr网络作为一种单图像超分辨率方法，在较小的计算开销下保证了信息流的贯通。因此，本发明优选采用wdsr超分辨率网络对遥感图像进行超分辨率重建。

下面对利用降采样后的gf-1图像对超分辨率网络模型进行预训练的过程进行详细说明：

i.1.获取与步骤iii中modis训练图像相同区域的gf-1图像，空间分辨率为16m。

i.2.将gf-1图像通过高斯滤波器降采样，得到分辨率降低一倍的降采样gf-1图像，降采样后的gf-1图像，其空间分辨率为32m。

i.3.将降采样gf-1图像输入至超分辨率网络，得到超分辨率重建图像。具体过程如下：

①将降采样后的低分辨率gf-1图像通过两个采用不同卷积模块的分支提取特征；

②将两个分支结果采用相同的像素重组操作对特征图作放大处理；

③将两个分支结果相加得到重建的高分辨率图像。

i.4：将步骤i.3中的超分辨率重建图像与步骤i.1中gf-1图像通过均方误差函数mse进行误差反向传播，获得预训练好的超分辨率网络模型。

其中，均方误差函数mse的计算公式如下：

其中，θ表示总体参数，n表示样本的个数，i表示第i个样本；

x⁽ⁱ⁾，y⁽ⁱ⁾分别表示输入的降采样gf-1图像和对应的原始gf-1图像；

f(x⁽ⁱ⁾；θ)表示超分辨率网络模型的输出，即超分辨率重建图像。

如图2为本实施例中wdsr超分辨率网络的原理示意图。

从图2中能够看出，第一分支由两个标准卷积层、残差体和像素重组模块组成；

其中，第一个卷积层的卷积核大小为3×3、卷积核个数为32；残差体由16个结构相同的残差块组成；第二个卷积层的卷积核大小为3×3、卷积核个数为。

第二分支由一个标准卷积层和像素重组模块组成；

其中，卷积层的卷积核大小为5×5，卷积核的个数为2。

残差块结构如图3所示，残差块由三个卷积层组成，其中：

第一卷积层的卷积核大小为1×1、卷积核个数为192，激活层的激活方式为“relu”；

第二卷积层的卷积核大小为1×1、卷积核个数为25；

第三卷积层的卷积核大小为3×3、卷积核个数为32；

最后，残差块的输出结果为将第三卷积层的输出结果与第一卷积层的输入相加。

ii.基于编解码结构以及稠密块构建语义分割网络se-net，用于提取目标特征。

如图4所示，语义分割网络包括编码路径模块、桥接模块、解码路径模块以及跳跃连接。

其中，编码路径模块用于提取绿潮高级语义特征，获取高级语义特征图；

桥接模块用于将获得高级语义特征图进行特征聚合，减少特征映射数量，提高计算效率；

解码路径模块以及跳跃连接用于在保留细节信息的同时输出二值分割图。

下面对编码路径模块、桥接模块、解码路径模块以及跳跃连接进行详细说明：

编码路径模块包括依次连接的第一卷积层、第一稠密块d0、第一池化层、第二稠密块d1以及第二池化层。该编码路径模块中各个结构的特征如下：

第一卷积层的卷积核大小为3×3，步长为1；

第一稠密块d0以及第二稠密块d1均为五层稠密块；

第一池化层以及第二池化层均采用最大池化、核大小为2×2、步长为2，输出特征图的尺寸为16×16×992。

桥接模块采用第三稠密块d2，该第三稠密块d2为三层稠密块。

第二池化层的输出端与第三稠密块d2的输入端相连；

经过桥接模块中一个三层的稠密块d2进行特征聚合后输出特征图尺寸为16×16×2016。

解码路径模块包括依次连接的第一卷积+上采样块、第四稠密块d3、第二卷积+上采样块、第五稠密块d4、第二卷积层、第三池化层、第三卷积层以及第四卷积层。

其中，第三稠密块d2的输出端与第一卷积+上采样块的输入端相连。

解码路径模块中各个结构的特征如下：

第一卷积+上采样块、第二卷积+上采样块中，卷积核的大小为3×3、步长为1，且上采样块，通过插值法对卷积结果进行上采样。

第二卷积层以及第三卷积层中卷积核的大小为3×3，第四卷积层的卷积核大小为1×1。

第四稠密块以及第五稠密块均为五层稠密块，第三池化层采用最大池化。

解码路径模块最终输出二值分割图。

跳跃连接有两个，分别为第一跳跃连接和第二跳跃连接。

第一跳跃连接为第一稠密块d0输出端与第五稠密块d4输入端之间的连接。

第一跳跃连接的作用在于，将第一稠密块d0的输出特征图与第二卷积+上采样块的输出特征图进行拼接，作为第五稠密块d4的输入。

第二跳跃连接为第二稠密块d1输出端与第四稠密块d3输入端之间的连接。

第二跳跃连接的作用在于，将第二稠密块d1的输出特征图与第一卷积+上采样块的输出特征图进行拼接，作为第四稠密块d3的输入。

第一跳跃连接以及第二跳跃连接，通过将编码路径模块中各稠密块的输出特征图分别与解码路径模块中相应的稠密块的输入特征图进行拼接，增加了对形状多变的绿潮斑块信息提取的丰富性和多样性，使语义分割网络se-net更具表现力。

通过远距离跳跃连接(第一跳跃连接和第二跳跃连接)，使得绿潮丰富的细节信息从编码路径模块传递到解码路径模块中，从而提高了绿潮提取精度。

由于本实施例中构建的语义分割网络se-net结合了稠密连接以及编解码结构的思想，因此，针对分布复杂的绿潮信息，能够自动提供语义分割图。

语义分割网络se-net自动进行语义分割的过程如下：

编码路径模块中第一层是卷积核大小为3×3，步长为1的第一卷积层，输出特征图f0；

特征图f0输入一个第一稠密块d0，输出特征图f1；

特征图f1输入一个核大小为2×2、步长为2的第一池化层，输出特征图f2；

特征图f2输入一个第二稠密块d1，输出特征图f3；

特征图f3输入一个第二池化层，输出特征图f4；

第三稠密块d2是一个桥接稠密块，特征图f4输入桥接稠密块，得到输出特征图f5；

解码路径模块中第一层是第一卷积+上采样块(conv+upsample)，其中，卷积核大小为3×3，步长为1，上采样操作通过插值法对卷积结果进行上采样，输出特征图f6；

特征图f6与特征图f3拼接后输入一个第四稠密块d3，输出特征图f7；

特征图f7经过一个第二卷积+上采样块，其中，卷积核大小为3×3、步长为1，上采样操作通过插值法对卷积结果进行上采样，输出特征图f8；

特征图f8与特征图f1拼接后输入一个第五稠密块d4，输出特征图f9；

特征图f9经过一个卷积核大小为3×3、步长为1的第二卷积层，输出特征图f10；

特征图f10依次经过第三池化层、第三卷积层以及第四卷积层，输出二值分割图。

图5为语义分割网络中稠密块(denseblock)的原理示意图。

如图5所示，第i层的输入不仅与第i-1层的输出相关，还与所有之前层的输出有关。

记作：xl＝hl([x0,x1,...,xl-1])；hl表示第l层用到的非线性变换；

其中，[·]代表拼接，既将x0到xl-1层的所有输出特征图按通道组合在一起。

这里所用到的非线性变换为bn+relu+conv(3×3)的组合，其中，bn表示批量归一化，relu表示线性整流函数，conv(3×3)表示卷积核大小为3×3的卷积层。

在每一个稠密块中，任何两层之间都有直接的连接，即网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。

本实施例通过以上稠密块中的密集连接，缓解了梯度消失问题，加强绿潮信息中的特征传播，鼓励特征复用，极大的减少了参数量。

iii.基于预训练好的超分辨率网络模型和语义分割网络，得到绿潮提取模型srse-net。

其中，本实施例构建的绿潮提取模型srse-net如图4所示。

利用modis训练图像训练绿潮提取模型srse-net，得到训练好的绿潮提取模型srse-net。绿潮提取模型srse-net的训练过程如下：

modis训练图像先经过预训练好的wdsr超分辨率网络模型重建图像，再输入至语义分割网络se-net，进而完成绿潮提取模型srse-net的训练。

下面对绿潮提取模型srse-net的训练过程进行详细说明：

iii.1.按照常规方法获取空间分辨率为250m的modis海洋卫星遥感图像，对modis图像进行目视解译，生成二值标签图，并生成大小为32×32的modis训练图像。

下面说明利用modis海洋卫星遥感图像得到modis训练图像具体过程：

筛选少云、噪声少、亮度均匀并且能够覆盖绿潮区域的影像；对筛选出的多源遥感图像进行几何校正、大气校正和海陆掩膜的数据预处理操作并选取目标感兴趣区进行裁切。

对裁切后的modis海洋卫星遥感图像进行目视解译，生成对应的真值图；裁剪modis图像和真值图，生成大小为32×32的modis训练图像。

同理，在上述步骤i中gf-1图像的获取过程如下：

按照常规方法获取空间分辨率分别为16m的gf-1海洋卫星遥感图像；

筛选少云、噪声少、亮度均匀并且能够覆盖绿潮区域的影像；对筛选出的多源遥感图像进行几何校正、大气校正和海陆掩膜的数据预处理操作并选取目标感兴趣区进行裁切；

采用高斯滤波器将裁切后的gf-1图像降采样至32m分辨率，裁剪gf-1图像和降采样图像，生成原始的和对应低分辨率的大小为32×32的gf-1训练样本。

针对浒苔的生物和光谱特性，计算modis训练图像的归一化差分植被指数值，归一化差分植被指数值ndvi的计算公式如下：ndvi＝(nir-r)/(nir+r)(2)

其中，nir和r分别表示卫星观测到的近红外和红光波段的反射值。

将经过上述公式(2)计算得到的归一化差分植被指数值作为一个波段，与modis训练图像的红色和近红外波段拼接，得到三波段遥感图像。

iii.2.将步骤iii.1中的三波段遥感图像输入到预训练好的超分辨率网络模型，得到分辨率提高一倍的重建图像。

iii.3.将重建图像输入至语义分割网络se-net，得到二值分割图。

iii.4.利用二元交叉熵作为损失函数，计算步骤iii.3中的二值分割图与步骤iii.1中生成的所述二值标签图的损失；损失函数采用二元交叉熵函数，计算公式如下：

式中，y'表示二值分割图，y表示二值标签图；

然后将损失进行反向传播，利用自适应矩估计算法进行优化完成绿潮提取模型的训练。

本实施例中自适应矩估计算法为常见的优化算法，此处不再详细赘述。

iv.获取待提取绿潮信息的modis图像，将待提取绿潮信息的modis图像输入到经过步骤iii训练好的绿潮提取模型srse-net中，得到绿潮提取结果。

本发明通过将深度卷积神经网络应用于低分辨率遥感影像中的绿潮信息提取任务，省略了传统绿潮提取方法中的阈值选取步骤，可以无监督的对遥感图像进行绿潮信息提取。

由于本发明将图像超分辨率重建技术集成到语义分割网络中，因此，在提高图像质量的前提下改善最终的分割性能，由于人为因素的减少，使得结果精确稳定。

图6、图7以及图8分别示出了待提取绿潮信息遥感影像图、通过超分辨率重建后的遥感影像图以及绿潮信息提取结果图。由图8可知，本发明能够较好的提取绿潮信息。

与常用的绿潮信息提取方法相比，本发明具有如下优势：

①本发明基于深度学习方法提取绿潮信息，因此，省略了传统绿潮提取方法中的阈值选取步骤，能够无监督的对遥感图像进行针对绿潮信息的提取。

②本发明方法通过将图像超分辨率重建技术集成到语义分割网络中，通过重建更精细的空间细节，能够提高最终的分割性能以及绿潮提取精度。

③本发明方法基于稠密块和跳跃连接，构建了适用于绿潮信息提取的语义分割网络se-net，通过加强对绿潮信息中特征的传播，鼓励特征复用，以获得更准确的分割结果。

当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。