一种基于语义分割的遥感图像地物分类方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于语义分割的遥感图像地物分类方法。


背景技术：

2.随着遥感技术的快速发展，遥感技术被越来越多的应用到测量、国土、农业、交通、林业、水利、军事等各个行业和领域，尤其是近年来高分辨率遥感卫星的出现，不仅极大地丰富了我们可以获取的地理信息，为未来测绘学科的发展提供了数据支撑，同时也为我们未来遥感科学的发展提供了新的方向。高分辨率遥感图像通常包含道路、水域、建筑、树木、农作物、车辆、行人等地物类别丰富的细节信息。遥感图像分割一直是视觉和遥感领域最重要和具有挑战的问题之一，遥感图像分割技术通过图像解译和分类的过程获得地物类别信息，为国民经济的发展和地理信息系统的建立提供了基础。
3.长期以来，遥感图像信息提取仍然停留在人工目视解译阶段，不仅自动化程度低、耗时长，而且需要大量的人力物力。传统的无监督聚类方法和机器学习方法很难充分利用影像的空间特征，无法实现高精度的地物分割。普通的像元分类方法，如支持向量机(svm)和随机森林(rf)等，只能提取出像元统计特征和植被指数特征，无法得到遥感影像中丰富的空间信息，特征表达能力有限，得到的分割结果边缘较为粗糙，识别精度不高。传统的图像分割方法仍需要人工辅助控制，自动化程度不高，准确率较低，时间成本相对较高，并且难以在大规模部署和实时环境下应用。
4.近年来，计算机软硬件水平和数字图像处理技术迅速发展，尤其是深度学习理论的重大突破和持续发展，为遥感图像的自动解译提供了可能。基于深度学习理论，尤其是语义分割技术，实现对遥感图像的准确和快速分割，具有重要的研究意义和应用价值。但是目前这些技术在遥感图像语义分割模型的识别精度和泛化能力上表现较差，而且模型参数量大，训练时间较长。


技术实现要素：

5.针对现有技术中的上述不足，本发明提供的一种基于语义分割的遥感图像地物分类方法解决了现有的地物分类模型参数量大、训练时收敛时间长、模型泛化能力差和识别准确率低的问题。
6.为了达到上述发明目的，本发明采用的技术方案为：一种基于语义分割的遥感图像地物分类方法，包括以下步骤：
7.s1、通过无人机采集地面物体的遥感图像，构建遥感图像集；
8.s2、对采集的遥感图像集进行预处理，构建样本图像数据集，并将样本图像数据集划分为训练集和验证集；
9.s3、构建神经网络语义分割模型；
10.s4、将训练集输入神经网络语义分割模型中进行训练，并采用验证集对训练过程
中的参数进行调整，得到训练完成的神经网络语义分割模型；
11.s5、将待识别的遥感图像输入训练完成的神经网络语义分割模型中，得到地面物体分类结果，实现遥感图像的地物分类。
12.进一步地：步骤s2包括以下分步骤：
13.s21、对遥感图像集中每一张图像进行分割，得到尺寸统一的128*128的图像块；
14.s22、对图像块进行像素粒度的人工标注处理，得到标注图像集；
15.s23、对标注图像集进行扩充操作，得到样本图像数据集；
16.s24、将样本图像数据集划分为训练集和验证集。
17.进一步地：步骤s22中对图像块进行像素粒度的人工标注处理的方法为：
18.采用labelme工具，对每个图像块中的植被、建筑、水体及道路进行标注命名，得到label.json文件的标注图像集。
19.进一步地：步骤s23中对标注图像集进行扩充操作的方法为：以水平、左右和沿对角线这三种角度对标注图像进行翻转，将翻转后的标注图像进行模糊处理、叠加噪声处理和色彩调整处理，得到样本图像数据集。
20.进一步地：步骤s3中神经网络语义分割模型包括：第一标准卷积层*3、第一池化层、第二标准卷积层*3、第二池化层、第三标准卷积层*3、第三池化层、第四标准卷积层*3、第四池化层、第五标准卷积层*3、第五池化层、第六标准卷积层、第七标准卷积层、第一反卷积层、第八标准卷积层*2、第二反卷积层、第九标准卷积层*2、第三反卷积层、第十标准卷积层*2、第四反卷积层、第十一标准卷积层*2、第五反卷积层、第十二标准卷积层*2和第一输出卷积层；
21.所述第一标准卷积层*3的输入端作为神经网络语义分割模型的输入端，其输出端分别与第一池化层的输入端、第十二标准卷积层*2的输入端和第五反卷积层的输出端连接；所述第一池化层的输出端与第二标准卷积层*3的输入端连接；所述第二标准卷积层*3的输出端分别与第二池化层的输入端、第十一标准卷积层*2的输入端和第四反卷积层的输出端连接；所述第二池化层的输出端与第三标准卷积层*3的输入端连接；所述第三标准卷积层*3的输出端分别与第三池化层的输入端、第十标准卷积层*2的输入端和第三反卷积层的输出端连接；所述第三池化层的输出端与第四标准卷积层*3的输入端连接；所述第四标准卷积层*3的输出端分别与第四池化层的输入端、第九标准卷积层*2的输入端和第二反卷积层的输出端连接；所述第四池化层的输出端与第五标准卷积层*3的输入端连接；所述第五标准卷积层*3的输出端分别与第五池化层的输入端、第八标准卷积层*2的输入端和第一反卷积层的输出端连接；所述第五池化层的输出端与第六标准卷积层的输入端连接；所述第六标准卷积层的输出端与第七标准卷积层的输入端连接；所述第七标准卷积层的输出端与第一反卷积层的输入端连接；所述第八标准卷积层*2的输出端与第二反卷积层的输入端连接；所述第九标准卷积层*2的输出端与第三反卷积层的输入端连接；所述第十标准卷积层*2的输出端与第四反卷积层的输入端连接；所述第十一标准卷积层*2的输出端与第五反卷积层的输入端连接；所述第十二标准卷积层*2的输出端与第一输出卷积层的输入端连接；所述第一输出卷积层的输出端作为神经网络语义分割模型的输出端。
22.进一步地：第一标准卷积层*3、第二标准卷积层*3、第三标准卷积层*3、第四标准卷积层*3和第五标准卷积层*3均为：3个依次连接的标准卷积层；
23.所述第六标准卷积层和第七标准卷积层均为1个标准卷积层；
24.所述第八标准卷积层*2、第九标准卷积层*2、第十标准卷积层*2、第十一标准卷积层*2和第十二标准卷积层*2均为：2个依次连接的标准卷积层；
25.所述标准卷积层均包括：依次连接的批标准化层、3*3卷积层和elu激活函数层；
26.所述第一池化层、第二池化层、第三池化层、第四池化层和第五池化层均为2*2的最大池化层；
27.所述第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第五反卷积层均为2*2反卷积层；
28.所述第一输出卷积层为1*1卷积层。
29.所述3*3卷积层和1*1卷积层的过滤器尺寸均为3*3*64，单位步长，零填充，所述第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第五反卷积层的过滤器尺寸均为2*2*64，输出尺寸是输入尺寸的2倍，步长为2，零填充；所述第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的过滤器尺寸均为2*2，步长为2。
30.过滤器的深度统一设置为64，使得网络结构更加清晰，并降低了时间和空间复杂度，同时由于待识别数据集中类别数和待识别特征数较少，过滤器深度不会影响模型实际预测性能。
31.进一步地：批标准化层的输入输出关系为：
[0032][0033]
其中，为标准化后批标准化层的输出，x
i
为批标准化层的输入，m为输入的x
i
的总数，i为第i输入图像数据，ε为标准化参数。
[0034]
进一步地：elu激活函数层的elu激活函数为：
[0035][0036]
其中，f(x)为elu激活函数，x为elu激活函数层的输入，α为激活参数。
[0037]
上述进一步方案的有益效果为：elu函数当输入负值时，具有软饱和性，对输入变化或噪声不敏感；当输入正值时，其导数恒为1，能够缓解网络训练过程中出现的梯度弥散现象，又elu的输出均值接近于0，可以加速网络收敛。
[0038]
进一步地：步骤s4包括以下分步骤：
[0039]
s41、将训练集划分为多个批次的训练数据；
[0040]
s42、将每个批次的训练数据依次输入神经网络语义分割模型中，采用交叉熵损失函数和adam优化器对神经网络语义分割模型进行训练，并采用验证集对训练过程中的参数进行调整，得到训练完成的神经网络语义分割模型。
[0041]
进一步地：步骤s4中神经网络语义分割模型进行训练过程中，参数更新公式为：
[0042]
[0043]
其中，θ
t+1
为第t+1次迭代的参数，θ
t
为第t次迭代的参数，β1为第一指数衰减率，用于控制权重分配，β2为第二指数衰减率，用来控制梯度平方的影响情况，v
t
‑1为第t
‑
1次迭代的梯度的二阶矩，m
t
‑1为t
‑
1次迭代的梯度的一阶矩，g
t
为第t次迭代的梯度，为常量。
[0044]
上述进一步方案的有益效果为：通过参数更新公式，可以在训练神经网络时每一次迭代都会作偏置矫正，学习率在一定范围内变化，从而参数更新平稳，不容易出现梯度弥散或爆炸现象。
[0045]
综上，本发明的有益效果为：一种基于语义分割的遥感图像地物分类方法中，网络在卷积操作前作批标准化处理，使用最大池化进行下采样，统一了过滤器深度(64)，使用elu替换原始relu激活函数来进行遥感图像的地物分类，改进模型的网络结构更加清晰，精简了模型的参数，更能在小样本的数据集上表现优异。本发明通过训练完成的神经网络语义分割模型作为遥感图像地物分类模型，提高了地物目标识别的准确率，精简了模型的参数，缓解了梯度弥散现象，模型具有更好地鲁棒性，并且减少了模型训练所需要的资源和时间。
附图说明
[0046]
图1为一种基于语义分割的遥感图像地物分类方法的流程图；
[0047]
图2为神经网络语义分割模型的结构示意图。
具体实施方式
[0048]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0049]
如图1所示，一种基于语义分割的遥感图像地物分类方法，包括以下步骤：
[0050]
s1、通过无人机采集地面物体的遥感图像，构建遥感图像集；
[0051]
s2、对采集的遥感图像集进行预处理，构建样本图像数据集，并将样本图像数据集划分为训练集和验证集；
[0052]
步骤s2包括以下分步骤：
[0053]
s21、对遥感图像集中每一张图像进行分割，得到尺寸统一的128*128的图像块；
[0054]
s22、对图像块进行像素粒度的人工标注处理，得到标注图像集；
[0055]
步骤s22中对图像块进行像素粒度的人工标注处理的方法为：
[0056]
采用labelme工具，对每个图像块中的植被、建筑、水体及道路进行标注命名，得到label.json文件的标注图像集。
[0057]
s23、对标注图像集进行扩充操作，得到样本图像数据集；
[0058]
步骤s23中对标注图像集进行扩充操作的方法为：以水平、左右和沿对角线这三种角度对标注图像进行翻转，将翻转后的标注图像进行模糊处理、叠加噪声处理和色彩调整处理，得到样本图像数据集。
[0059]
s24、将样本图像数据集划分为训练集和验证集。
[0060]
s3、构建神经网络语义分割模型；
[0061]
如图2所示，步骤s3中神经网络语义分割模型包括：第一标准卷积层*3、第一池化层、第二标准卷积层*3、第二池化层、第三标准卷积层*3、第三池化层、第四标准卷积层*3、第四池化层、第五标准卷积层*3、第五池化层、第六标准卷积层、第七标准卷积层、第一反卷积层、第八标准卷积层*2、第二反卷积层、第九标准卷积层*2、第三反卷积层、第十标准卷积层*2、第四反卷积层、第十一标准卷积层*2、第五反卷积层、第十二标准卷积层*2和第一输出卷积层；
[0062]
所述第一标准卷积层*3的输入端作为神经网络语义分割模型的输入端，其输出端分别与第一池化层的输入端、第十二标准卷积层*2的输入端和第五反卷积层的输出端连接；所述第一池化层的输出端与第二标准卷积层*3的输入端连接；所述第二标准卷积层*3的输出端分别与第二池化层的输入端、第十一标准卷积层*2的输入端和第四反卷积层的输出端连接；所述第二池化层的输出端与第三标准卷积层*3的输入端连接；所述第三标准卷积层*3的输出端分别与第三池化层的输入端、第十标准卷积层*2的输入端和第三反卷积层的输出端连接；所述第三池化层的输出端与第四标准卷积层*3的输入端连接；所述第四标准卷积层*3的输出端分别与第四池化层的输入端、第九标准卷积层*2的输入端和第二反卷积层的输出端连接；所述第四池化层的输出端与第五标准卷积层*3的输入端连接；所述第五标准卷积层*3的输出端分别与第五池化层的输入端、第八标准卷积层*2的输入端和第一反卷积层的输出端连接；所述第五池化层的输出端与第六标准卷积层的输入端连接；所述第六标准卷积层的输出端与第七标准卷积层的输入端连接；所述第七标准卷积层的输出端与第一反卷积层的输入端连接；所述第八标准卷积层*2的输出端与第二反卷积层的输入端连接；所述第九标准卷积层*2的输出端与第三反卷积层的输入端连接；所述第十标准卷积层*2的输出端与第四反卷积层的输入端连接；所述第十一标准卷积层*2的输出端与第五反卷积层的输入端连接；所述第十二标准卷积层*2的输出端与第一输出卷积层的输入端连接；所述第一输出卷积层的输出端作为神经网络语义分割模型的输出端。
[0063]
第一标准卷积层*3、第二标准卷积层*3、第三标准卷积层*3、第四标准卷积层*3和第五标准卷积层*3均为：3个依次连接的标准卷积层；
[0064]
所述第六标准卷积层和第七标准卷积层均为1个标准卷积层；
[0065]
所述第八标准卷积层*2、第九标准卷积层*2、第十标准卷积层*2、第十一标准卷积层*2和第十二标准卷积层*2均为：2个依次连接的标准卷积层；
[0066]
所述标准卷积层均包括：依次连接的批标准化层、3*3卷积层和elu激活函数层；
[0067]
所述第一池化层、第二池化层、第三池化层、第四池化层和第五池化层均为2*2的最大池化层；
[0068]
所述第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第五反卷积层均为2*2反卷积层；
[0069]
所述第一输出卷积层为1*1卷积层。
[0070]
所述3*3卷积层和1*1卷积层的过滤器尺寸均为3*3*64，单位步长，零填充，所述第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第五反卷积层的过滤器尺寸均为2*2*64，输出尺寸是输入尺寸的2倍，步长为2，零填充；所述第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的过滤器尺寸均为2*2，步长为2。
[0071]
过滤器的深度统一设置为64，使得网络结构更加清晰，并降低了时间和空间复杂
度，同时由于待识别数据集中类别数和待识别特征数较少，过滤器深度不会影响模型实际预测性能。
[0072]
批标准化层的输入输出关系为：
[0073][0074]
其中，为标准化后批标准化层的输出，x
i
为批标准化层的输入，m为输入的x
i
的总数，i为第i输入图像数据，ε为标准化参数。
[0075]
elu激活函数层的elu激活函数为：
[0076][0077]
其中，f(x)为elu激活函数，x为elu激活函数层的输入，α为激活参数。
[0078]
s4、将训练集输入神经网络语义分割模型中进行训练，并采用验证集对训练过程中的参数进行调整，得到训练完成的神经网络语义分割模型；
[0079]
步骤s4包括以下分步骤：
[0080]
s41、将训练集划分为多个批次的训练数据；
[0081]
s42、将每个批次的训练数据依次输入神经网络语义分割模型中，采用交叉熵损失函数和adam优化器对神经网络语义分割模型进行训练，并采用验证集对训练过程中的参数进行调整，得到训练完成的神经网络语义分割模型。
[0082]
步骤s4中神经网络语义分割模型进行训练过程中，参数更新公式为：
[0083][0084]
其中，θ
t+1
为第t+1次迭代的参数，θ
t
为第t次迭代的参数，β1为第一指数衰减率，用于控制权重分配，β2为第二指数衰减率，用来控制梯度平方的影响情况，v
t
‑1为第t
‑
1次迭代的梯度的二阶矩，m
t
‑1为t
‑
1次迭代的梯度的一阶矩，g
t
为第t次迭代的梯度，为常量。
[0085]
s5、将待识别的遥感图像输入训练完成的神经网络语义分割模型中，得到地面物体分类结果，实现遥感图像的地物分类。