一种基于深度学习的多光谱通道差异化编码水体检测方法

本发明主要应用于遥感(remote sensing,rs)领域的水体自动检测，涉及深度卷积神经网络(deep convolutional neural network,dcnn)的图像分割技术，特别是基于深度学习的多光谱通道差异化编码水体检测方法。

背景技术：

1、在深度神经网络与遥感水体结合之前，就已经有了大量的科学研究工作从光谱指数、机器学习等不同角度对水体探测进行了探索。基于光谱指数的检测方法，如归一化差分水体指数(normalized difference water index，ndwi)、修正归一化差分水体指数(modified normalized difference water index，mndwi)等，存在检测效果不理想、泛用性低以及对遥感图片采集设备敏感等问题。相较于单纯的基于统计指数的方法，机器学习的方法，如最大似然性(maximum likelihood estimation)、朴素贝叶斯(naive bayes)等，在应用于水体检测时因其具备了非线性建模的能力，所以更能利用图像上下文信息提高检测精度，也因而具备了一定的推理能力。dcnn进一步扩大了机器学习在非线性建模能力、数据驱动和推理能力方面的优势，对领域专家的依赖程度进一步降低。基于深度学习的方法进行水体检测，虽然模型结构和参数更加复杂，但是模型能以自动化的方法进行训练和调优。但是经典的dcnn在应对复杂背景下的水体，尤其是细小的水体难以实现高的检测精度。

技术实现思路

1、为了解决现有技术存在的上述问题，本发明要提出一种基于深度学习的遥感水体自动检测方法，实现复杂场景更高精度的水体自动检测。

2、为了实现上述目的，本发明的技术方案如下：一种基于深度学习的多光谱分通道差异化编码水体检测方法，包括以下步骤：

3、a、制备数据集

4、自多光谱卫星收集多光谱数据集，并按以下步骤制备数据集：

5、a1、图片分割与边缘填充

6、a2、通道剥离与色彩归一化

7、a3、样本粗筛与通道对齐

8、a4、图像增强

9、b、搭建多光谱通道差异化编码网络模型

10、所述多光谱通道差异化编码网络模型的搭建方法包括以下步骤：

11、b1、负-拉普拉斯滤波

12、b2、调整弱标签权重

13、b3、确定损失函数

14、c、训练多光谱通道差异化编码网络。

15、进一步地，步骤a1所述图片分割与边缘填充包括以下步骤：

16、从卫星官网下载边长大于20982像素的原始数据集，所述原始数据集包含r-g-b-nir-swir这5个波段的图像，并用图片标注软件进行标注。所述nir指近红外波段、swir指短波红外波段。引入滑动窗口分割策略，将r-g-b-nir四波段光栅图片与人工标注好的黑白二值图进行完全一致的分割：分割窗口大小为512×512像素，同时允许下一个分割窗口以一半的面积与当前窗口重叠以确保更充足的样本量来防止过拟合。swir单波段光栅图片仅以256×256的补丁大小与上述分割相区别。对于滑动窗口到达光栅图片的最右端和最下端时产生的非标准尺寸补丁，把它们全部保留并将缺失部分进行定值填充。最终得到的数据集为：对应同一现实世界的补丁区域，对应着边长为512像素的r-g-b三通道图、边长为512像素的nir单通道图和边长为256像素的swir单通道图。该区域对应的黑白标签图边长为512像素。

17、步骤a2所述通道剥离与色彩归一化包括以下步骤：

18、将可见光波段与其他波段分两路进行不同的处理，因此将原始数据集的一个r-g-b-nir四波段图像补丁剥离成同样大小的一个r-g-b三波段与一个nir单波段图像补丁。分割和剥离通道后的补丁位深仍然是16位，需要将位深压缩到8位，以便图片在pc上可视，并对色彩进行归一化。最后逐通道对整个数据集进行z-score标准化，公式如下：

19、

20、

21、其中，μ(x)和σ(x)分别表示平均值和标准差。min(x)和max(x)则分别表示像素点x所在通道的最小值和最大值。

22、步骤a3所述样本粗筛与通道对齐包括以下步骤：

23、在肉眼可见范围内，将把非水体错误标注为水体，以及水体标注为非水体的样本剔除出数据集；如果可视化后的r-g-b图、nir灰度图以及swir灰度图中相同物体的形状、边缘轮廓及位置有偏差，则重新分割。

24、步骤a4所述图像增强包括以下步骤：

25、在数据被加载到多光谱通道差异化编码网络模型前，依概率0.5对图片进行随机水平翻转、随机垂直翻转、随机缩放以及随机hsv颜色空间转换的四种独立的数据增强操作。

26、进一步地，步骤b所述多光谱通道差异化编码网络模型结构整体上沿用编码器-解码器的架构，彩色图r-g-b三通道先经过负-拉普拉斯滤波，以边长512大小进行resnet34编码，从编码0至编码4共5个编码模块；灰度图nir-swir两个通道进行通道对齐后，均以边长256大小进行vgg13编码，从阶段0到阶段5也是5个编码模块。其中resnet34编码器是在imagenet数据集上预训练过的，而vgg13编码器未进行预训练。两条编码管路的编码结果逐像素相加后经过空洞空间金字塔池化模块后，在解码0模块进行通道压缩和尺寸恢复，并与来自编码1模块和阶段1模块的浅层特征图进行通道堆叠。堆叠后的图经过卷积模块注意力机制进行解码1模块，然后经过深度-空间转换操作传入解码2模块，解码2模块的解码结果通道被压缩为1，大小恢复至边长512大小。单通道图通过弱标签权重调整后进行软最大值操作然后输出预测图。

27、进一步地，步骤b1所述负-拉普拉斯滤波包括以下步骤：

28、负-拉普拉斯滤波的滤波核设计为3×3大小的卷积核，其九宫格中心位置数值必须大于4，上下左右四条边的数值均为“0、-1、0”的稀疏分布。负-拉普拉斯滤波核与图片的像素矩阵作卷积运算，卷积公式为：

29、

30、其中，s(x,y)表示输出矩阵s在第x行第y列处的值，f表示负-拉普拉斯滤波核，g表示被滤波图片像素矩阵。公式(3)描述了二阶差分处理图像时通过确定灰度台阶的方式增强图像细节，以进行图像锐化的原理，二阶差分表达式为：

31、

32、依据公式(3)-(4)对图像矩阵的灰度台阶进行滤波处理。首先对输入图片的像素矩阵进行边缘填充，边缘填充过程如下：

33、

34、其中，左侧矩阵为未经填充的输入图像的像素矩阵，右侧矩阵为对像素矩阵进行了边缘填充后的像素矩阵。填充后的矩阵经负-拉普拉斯滤波操作作用后，用颜色截断机制对颜色区域进行调整，以下是调整过程：

35、

36、其中，表示卷积运算，其左右矩阵分别为被滤波图像的像素矩阵和负-拉普拉斯滤波核。∝表示将左侧由卷积运算后的结果矩阵，即滤波后图像进行颜色的特征截断。截断机制为：0代表黑色，1代表白色，凡是小于0数值的截断为0色彩显示为黑色，凡是大于1的数值截断为1，显示为白色。

37、进一步地，步骤b2所述调整弱标签权重包括以下步骤：

38、将nir通道图进行取反处理，取反公式为：

39、nirrev＝255-nir    (7)

40、其中，nirrev表示nir通道下的像素取反后的值，nir代表nir通道下取反前的值。根据nir通道下的像素热图，以一个区分开水体与非水体的像素阈值进行二值化分割，称阈值化处理后的nir图为弱标签图，弱标签图里的水体区域标记为1、非水体区域标记为0。融合解码的解码2模块将图片大小恢复为单通道的大小为输入时r-g-b图片的尺寸，在软最大值操作之前以弱标签为依据进行逐像素赋权，赋权操作为：弱标签图中标记为1的位置被赋以大于1的比重，相反则被赋以小于1的比重，然后与软最大值操作前的单通道图逐像素相乘。

41、进一步地，步骤b3所述确定损失函数包括以下步骤：

42、采用二元交叉熵bce与dice系数相结合作为损失函数，计算公式如下：

43、

44、

45、其中，lossbce表示二元交叉熵损失函数，lossdice表示dice系数损失函数。n表示预测图中像素数目，yi是第i个像素的标签值，取值为0或者1，是第i个像素的预测值；y和则分别表示地面真实值上标签为1的像素区域和预测图上值为1的像素区域。

46、公式(8)和(9)的线性组合就是损失函数，计算如下：

47、loss＝αlossbce+(1-α)lossdice    (10)

48、其中，系数因子α为大于0、小于1的常数。

49、进一步地，步骤c所述训练多光谱通道差异化编码网络包括以下步骤：

50、将数据集馈入神经网络多光谱通道差异化编码网络，调整批量大小、学习率衰减、负-拉普拉斯滤波核中心值参数。将整个数据集训练至少100个轮次。对于训练过的神经网络，取其平均交并比得分最高时的权重配置，在测试集上测试网络的水体自动检测效果。

51、进一步地，步骤b2所述二值分割的像素阈值在200到230之间。

52、进一步地，步骤b3所述系数因子α为0.5，使得lossbce和lossdice有同样权重。

53、与现有技术相比，本发明具有以下有益效果：

54、1、本发明对r-g-b三通道进行负-拉普拉斯滤波处理。如果遥感图像中的相邻区域表征颜色的数值差异没有那么大，在负拉普拉斯滤波操作的作用下，其差异是扩大的；而同一区域如果整体呈现了某一种颜色特性，那么散布在其中的噪声在负-拉普拉斯滤波作用下，会呈现出与周围色块相同的颜色。也就是说，在r-g-b颜色空间里，负-拉普拉斯滤波会强化局部区域内的颜色倾向，通过使“红的更红，绿的更绿，蓝的更蓝”来提高边界对比度。这种预处理手段，能在广泛的场景下发挥积极作用，增强神经网络对细粒度特征的敏感度。

55、2、本发明充分利用了遥感水体在不同波段的光学特性，并将其与深度学习的方法高度结合。通过对近红外nir或短波红外swir阈值滤波得到弱标签图，对解码图的水体-非水体区域进行权重的微调。把在近红外波段下很可能是水的区域赋予更高权重，避免神经网络未能充分检测；对很可能不是水的区域赋予更低权重，避免神经网络过度检测。

56、3、本发明采纳了行之有效的注意力机制手段，将不同编码方式的不同通道的信息进行了充分融合。

57、4、综上，本发明基于深度学习的多光谱通道差异化编码水体检测技术具有良好的应用前景。