面向遥感影像语义分割的深度学习训练样本增强方法

1.本发明涉及遥感影像语义分割技术领域，具体涉及一种面向遥感影像语义分割的深度学习训练样本的数据增强处理方法。


背景技术：

2.语义分割一直是遥感影像中十分重要的领域，是遥感影像理解的重要手段。随着深度学习的发展，语义分割与深层神经网络的结合应用取得了显著的成效。然而深层网络的训练往往需要大量的训练样本以满足模型对特征表示能力的需要。当训练集较小时，训练出来的网络模型无法很好地拟合该训练集的抽象特征，性能也因此较差。训练样本的数据增强方法是通过一定的方法在保持样本原本特征的情况下对训练集进行了扩充，提高数据的泛化能力，增强遥感影像上下文联系。即使训练数据较少，也可以使用数据增强来增加训练数据的数量或者部分特征，这样该网络模型更具鲁棒性。在此情形下，如何对一定的训练样本进行增强处理是一关键。
3.目前遥感影像数据增强方法有翻转、旋转、缩放和随机裁剪。耿艳磊等的“高分辨率遥感影像语义分割的半监督全卷积网络法”中利用旋转、左右翻转和上下翻转对数据进行增强。王恩德等的“基于神经网络的遥感图像语义分割方法”中，以一定步长进行滑动切割，再进行翻转变换和旋转以增强数据。苏健民等的“基于u
‑
net的高分辨率遥感图像语义分割方法”把训练集中的每幅原始图像和标签截取成5幅子图，然后对图像块做了翻转(水平、左右和沿对角线)，色彩调整(亮度、对比度、饱和度)，以及加噪处理进行数据增强。然而上述采用的旋转、水平和翻转等操作对数据增强效果有限，在数量级上，仅靠旋转、水平和翻转获得的训练样本扩充效果并不明显，在需要大量训练样本的情况下仍然需要更多的基础图像。其次各个训练样本之间缺乏关联性，无法准确的表达各个训练样本之间的上下文关系，在语义分割过程中无法准确的对混合像元进行类别划分，训练出来的网络并不能很好的拟合该训练集的抽象特征。


技术实现要素：

4.为解决训练集较少时，训练样本缺乏上下文联系，训练出来的网络模型无法很好地拟合该训练集的抽象特征的问题，本发明提供了一种面向像元语义分割的深度学习训练样本增强方法。
5.本发明采用以下的技术方案：
6.一种面向遥感影像语义分割的深度学习训练样本增强方法，包括以下步骤：
7.步骤1：获得目标区域的高分辨率卫星遥感影像，对卫星遥感影像进行预处理，获得预处理后的图像，预处理包括辐射定标和大气校正，通过目视解译法对预处理后的图像进行人工标记再将其转为栅格图像作为标记图像；
8.步骤2：选取训练模型输入层的维度大小作为裁剪窗口，计算出水平方向的裁剪窗口的最佳重叠度，然后在水平方向上以水平方向的裁剪窗口的最佳重叠度且垂直方向上以
裁剪窗口不重叠的方式对预处理后的图像和标记图像分别进行水平方向的滑动裁剪，得到若干第一切片；
9.步骤3：计算出垂直方向的裁剪窗口的最佳重叠度，然后在垂直方向上以垂直方向的裁剪窗口的最佳重叠度且水平方向上以裁剪窗口不重叠的方式对预处理后的图像和标记图像分别进行垂直方向的滑动裁剪，得到若干第二切片；
10.步骤4：利用步骤2得到的水平方向的裁剪窗口的最佳重叠度和步骤3得到的垂直方向的裁剪窗口的最佳重叠度，在水平方向上以水平方向的裁剪窗口的最佳重叠度且垂直方向上以垂直方向的裁剪窗口的最佳重叠度对预处理后的图像和标记图像分别进行滑动裁剪，得到若干第三切片；
11.步骤5：将第一切片、第二切片和第三切片经过水平、旋转和镜像操作，汇总第一切片、第二切片、第三切片、经水平操作后的切片、经旋转操作后的切片和经镜像操作后的切片作为最终的训练样本。
12.优选地，步骤2具体包括：
13.步骤2.1：在参考重叠度范围内任意选择一个滑动重叠度为c，则每次裁剪窗口偏移量：
14.n
k
＝w
‑
[w
×
c]
[0015]
其中，n
k
为每次裁剪窗口的偏移量，w为裁剪窗口的维度；
[0016]
步骤2.2：判断裁剪窗口每一行中第k次滑动是否超出图像边界，确保第k次裁剪满足：
[0017]
k
′
＝(k
‑
1)
×
n
k
+w≤x
[0018]
式中，k
′
为第k次裁剪窗口滑动时裁剪窗口右侧所处的像素位置，x为图像的水平方向像素的个数；
[0019]
此时会产生三种情况：
[0020]
①
w<x
‑
k
′
，则继续进行本行的下一次滑动裁剪，继续判断k+1次滑动情形；
[0021]
②
k
′
＝x，则水平方向的裁剪窗口的最佳重叠度c
′
k
＝c；
[0022]
③
0<x
‑
k
′
<w，将本行剩余像素重新分配给裁剪窗口水平偏移量得到水平新滑动量n
′
k
，同时c
′
k
符合裁剪窗口参考重叠度的范围；
[0023][0024]
c
′
k
＝(w
‑
n
′
k
)/w∈α
[0025]
其中，α为参考重叠度，当时，c
k
′
为水平方向的裁剪窗口的最佳重叠度；
[0026]
步骤2.3：在水平方向上以水平方向的裁剪窗口的最佳重叠度c
k
′
且垂直方向上以裁剪窗口不重叠的方式对预处理后的图像和标记图像分别进行水平方向的滑动裁剪，得到若干第一切片。
[0027]
优选地，步骤3具体包括：
[0028]
步骤3.1：在参考重叠度范围内任意选择一个滑动重叠度为c，则每次裁剪窗口偏移量：
[0029]
n
l
＝w
‑
[w
×
c]
[0030]
式中，n
l
为每次裁剪窗口的偏移量；
[0031]
步骤3.2：判断裁剪窗口每一列中第l次滑动是否超出影像边界，确保第l次裁剪满足：
[0032]
l
′
＝(l
‑
1)
×
n
l
+w≤y
[0033]
式中，l
′
为第l次裁剪窗口滑动时裁剪窗口下侧所处的像素位置，y为影像的垂直方向像素的个数；
[0034]
此时会产生三种情况：
[0035]
①
w<y
‑
l
′
，则继续进行本列的下一次滑动裁剪，继续判断l+1次滑动情形。
[0036]
②
l
′
＝y，则垂直方向的裁剪窗口的最佳重叠度c
l
′
＝c；
[0037]
③
0<y
‑
l
′
<w，将本列剩余像素重新分配给裁剪窗口水平偏移量得到水平新滑动量n
′
，同时c
l
′
符合裁剪窗口参考重叠度的范围；
[0038][0039]
c
′
l
＝(w
‑
n
l
′
)/w∈α
[0040]
当时，c
′
l
为垂直方向的裁剪窗口的最佳重叠度；
[0041]
步骤3.3：在垂直方向上以垂直方向的裁剪窗口的最佳重叠度c
′
l
且水平方向上以裁剪窗口不重叠的方式对预处理后的图像和标记图像分别进行垂直方向的滑动裁剪，得到若干第二切片。
[0042]
本发明具有的有益效果是：
[0043]
本发明以卫星影像为基础，提出了一种面向像元语义分割的训练样本增强方法，提出一种相邻裁剪窗口间的最佳重叠范围，设计了三种裁剪方式，最大化的利用原始数据和标记数据，避免在裁剪过程中造成原始影像和标记数据的浪费，通过对原始图像和标记图像在水平方向上、垂直方向上以及水平方向和垂直方向上以最佳重叠度进行滑动裁剪，再进行镜像、水平和旋转，充分利用了样本数据，减少了滑动裁剪过程中数据损失，最终可以获得大量的训练数据，有利于后续面向像元语义分割的深度学习训练，为其提供了大量的数据基础。
附图说明
[0044]
图1为本发明实施的步骤流程图。
[0045]
图2为本发明水平、垂直方向和文中主要参数示意图。
[0046]
图3为水平方向具有滑动重叠度的切片示意图。
[0047]
图4为垂直方向具有滑动重叠度的切片示意图。
[0048]
图5为水平方向和垂直方向均具有滑动重叠度的切片示意图。
具体实施方式
[0049]
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
[0050]
结合图1至图5，一种面向遥感影像语义分割的深度学习训练样本增强方法，包括
以下步骤：
[0051]
步骤1：获得目标区域的高分辨率卫星遥感影像，对卫星遥感影像进行预处理，获得预处理后的图像，预处理包括辐射定标和大气校正，通过目视解译法对预处理后的图像进行人工标记再将其转为栅格图像作为标记图像。
[0052]
步骤2：选取训练模型输入层的维度大小作为裁剪窗口，计算出水平方向的裁剪窗口的最佳重叠度，然后在水平方向上以水平方向的裁剪窗口的最佳重叠度且垂直方向上以裁剪窗口不重叠的方式对预处理后的图像和标记图像分别进行水平方向的滑动裁剪，得到若干第一切片。
[0053]
步骤2具体包括：
[0054]
步骤2.1：在参考重叠度范围内任意选择一个滑动重叠度为c，则每次裁剪窗口偏移量：
[0055]
n
k
＝w
‑
[w
×
c]
[0056]
其中，n
k
为每次裁剪窗口的偏移量，w为裁剪窗口的维度；
[0057]
步骤2.2：判断裁剪窗口每一行中第k次滑动是否超出图像边界，确保第k次裁剪满足：
[0058]
k
′
＝(k
‑
1)
×
n
k
+w≤x
[0059]
式中，k
′
为第k次裁剪窗口滑动时裁剪窗口右侧所处的像素位置，x为图像的水平方向像素的个数；
[0060]
此时会产生三种情况：
[0061]
①
w<x
‑
k
′
，则继续进行本行的下一次滑动裁剪，继续判断k+1次滑动情形；
[0062]
②
k
′
＝x，则水平方向的裁剪窗口的最佳重叠度c
′
k
＝c；
[0063]
③
0<x
‑
k
′
<w，将本行剩余像素重新分配给裁剪窗口水平偏移量得到水平新滑动量n
′
k
，同时c
′
k
符合裁剪窗口参考重叠度的范围；
[0064][0065]
c
′
k
＝(w
‑
n
′
k
)/w∈α
[0066]
其中，α为参考重叠度，当时，c
k
′
为水平方向的裁剪窗口的最佳重叠度；
[0067]
步骤2.3：在水平方向上以水平方向的裁剪窗口的最佳重叠度c
k
′
且垂直方向上以裁剪窗口不重叠的方式对预处理后的图像和标记图像分别进行水平方向的滑动裁剪，得到若干第一切片。如图3。
[0068]
步骤3：计算出垂直方向的裁剪窗口的最佳重叠度，然后在垂直方向上以垂直方向的裁剪窗口的最佳重叠度且水平方向上以裁剪窗口不重叠的方式对预处理后的图像和标记图像分别进行垂直方向的滑动裁剪，得到若干第二切片。
[0069]
步骤3具体包括：
[0070]
步骤3.1：在参考重叠度范围内任意选择一个滑动重叠度为c，则每次裁剪窗口偏移量：
[0071]
n
l
＝w
‑
[w
×
c]
[0072]
式中，n
l
为每次裁剪窗口的偏移量；
[0073]
步骤3.2：判断裁剪窗口每一列中第l次滑动是否超出影像边界，确保第l次裁剪满足：
[0074]
l
′
＝(l
‑
1)
×
n
l
+w≤y
[0075]
式中，l
′
为第l次裁剪窗口滑动时裁剪窗口下侧所处的像素位置，y为影像的垂直方向像素的个数；
[0076]
此时会产生三种情况：
[0077]
①
w<y
‑
l
′
，则继续进行本列的下一次滑动裁剪，继续判断l+1次滑动情形。
[0078]
②
l
′
＝y，则垂直方向的裁剪窗口的最佳重叠度c
l
′
＝c；
[0079]
③
0<y
‑
l
′
<w，将本列剩余像素重新分配给裁剪窗口水平偏移量得到水平新滑动量n
′
，同时c
l
′
符合裁剪窗口参考重叠度的范围；
[0080][0081]
c
′
l
＝(w
‑
n
l
′
)/w∈α
[0082]
当时，c
′
l
为垂直方向的裁剪窗口的最佳重叠度；
[0083]
步骤3.3：在垂直方向上以垂直方向的裁剪窗口的最佳重叠度c
′
l
且水平方向上以裁剪窗口不重叠的方式对预处理后的图像和标记图像分别进行垂直方向的滑动裁剪，得到若干第二切片。如图4。
[0084]
步骤4：利用步骤2得到的水平方向的裁剪窗口的最佳重叠度和步骤3得到的垂直方向的裁剪窗口的最佳重叠度，在水平方向上以水平方向的裁剪窗口的最佳重叠度且垂直方向上以垂直方向的裁剪窗口的最佳重叠度对预处理后的图像和标记图像分别进行滑动裁剪，得到若干第三切片。如图5。
[0085]
步骤5：将第一切片、第二切片和第三切片经过水平、旋转和镜像操作，汇总第一切片、第二切片、第三切片、经水平操作后的切片、经旋转操作后的切片和经镜像操作后的切片作为最终的训练样本。
[0086]
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。