一种语义分割方法及系统与流程

1.本发明涉及遥感影像处理领域，尤其涉及一种语义分割方法及系统。


背景技术：

2.图像语义分割作为图像处理领域的重要分支，其可以实现文字识别、车辆行人识别、地块信息识别、水域面积提取等，广泛应用于遥感监测、无人驾驶、城乡规划等领域。常见的语义分割方法包括像素点阈值区别、数学统计分析、机器学习等方法提取语义信息，由于深度卷积网络能够细致挖掘图像的底层特征并进行高效学习，通过单层反卷积网络与多层卷积网络的矢量连接，很大程度上已经能满足自动驾驶、遥感、自然语言解译的要求。深度学习能从特征挖掘角度改善了提取效果，但是图像类间差异性较小、单一特征表达不充分、高层特征提取网络框架缺失等问题依然存在困扰。
3.在遥感领域，高低型建筑群的区别较小，同属于建筑类光学特征、多光谱信息、空间位置信息，仅仅依赖于建筑密集程度难以区别；高速公路与桥梁的建筑材料较为像素，空谱信息区别较小，人为结合周边环境进行语义理解才能准确辨识；植被森林中存在高低植被，树木的生长周期较为相似。基于现有的深度学习框架，对这类遥感图像语义分割的准确度较低。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种语义分割方法方法及系统，以解决的现有遥感图像语义分割精度低的问题。
5.在本发明实施例的第一方面，提供了一种语义分割方法，包括：
6.构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层；
7.基于所述高层特征提取网络提取遥感图像中的高层特征得到特征图及标签；
8.构建vgg网络，所述vgg网络后端采用上采样层和crf分类器，将所述特征图及标签输入所述vgg网络中，训练得到分割模型，通过所述分割模型对遥感图像进行区域分类。
9.在本发明实施例的第二方面，提供了一种语义分割装置，包括：
10.模型构建模块，用于构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层，并构建vgg网络，所述vgg网络后端采用上采样层和crf分类器；
11.训练模块，用于基于所述高层特征提取网络提取遥感图像中的高层特征得到特征图及标签，将所述特征图及标签输入所述vgg网络中，训练得到分割模型；
12.分割模块，用于通过所述分割模型对遥感图像进行区域分类。
13.在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
14.在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
15.本发明实施例中，基于多层金字塔反卷积结构的高层特征提取网络，可以减少细节特征丢失，利用软概率池化层和软概率反池化层代替平均池化层可以保留空间位置信息，能保证池化过程空间坐标的一致性，有利于高层语义特征的挖掘和整理，进而提升语义分割精度，结合vgg迁移网络可以提高模型训练速度。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
17.图1为本发明的一个实施例提供的一种语义分割方法的流程示意图；
18.图2为本发明的一个实施例提供的软概率反池化过程示意图；
19.图3为本发明的一个实施例提供的高层特征提取网络结构示意图；
20.图4为本发明的一个实施例提供的改进型高层特征提取网络结构示意图；
21.图5为本发明的一个实施例提供的一种语义分割装置的结构示意图。
具体实施方式
22.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
23.本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。
24.请参阅图1，本发明实施例提供的一种语义分割方法的流程示意图，包括：
25.s101、构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层；
26.构建多层金字塔反卷积结构的图像高层特征提取网络，其中，该高层特征提取网络设置为单线无分支网络模型，有利于提高网络训练速度。采用多层金字塔结构可减少网络传递过程中细节特征丢失。
27.如图3所示，在构建多层反卷积金字塔结构中，对第一层池化后的特征图和反池化特征图都进行细致反卷积操作，然后导入第二层的卷积池化结构，对第二层卷积特征图、池化后的特征图、反池化特征图都进行细致反卷积操作得到feature map。为减少算法的参数、硬件消耗、防止欠拟合现象，避免了将网络深度的延展，而采用纵向的扩展，模拟金字塔
的稳定结构来搭建多层反卷积结构。
28.使用软概率池化层和软概率反池化层代替平均池化层，能同时保留反最大池化和反平均池化的优势。
29.具体的，在软概率反池化层中，基于初始池化坐标矩阵，计算每个滑块(滑动窗口)中各元素的概率；
[0030][0031]
式中，a
i
表示滑块中的某一元素，p
i
表示元素概率，a
k
表示第k个元素，k∈r
j
，r
j
为窗口所有元素个数；
[0032]
计算每个元素概率与最大元素的差异；
[0033]
δ＝p
i
‑
p
max
；
[0034]
若δ值在预设范围(如
±
0.15)内，则保存坐标信息和概率信息组成池化坐标矩阵。如图2所示，软概率池化过程还原池化坐标矩阵的元素，其余为止按照0填充，既保证来空间信息的一致性，同时保留了部分重要信息突出高层语义的边界信息。
[0035]
s102、基于所述高层特征提取网络提取遥感图像中的高层特征得到特征图及标签；
[0036]
原始采集的遥感图像经过高层特征提取网络挖掘高层特征得到有效特征图，将有效特征图与标签保存。
[0037]
s103、构建vgg网络，所述vgg网络后端采用上采样层和crf分类器，将所述特征图及标签输入所述vgg网络中，训练得到分割模型，通过所述分割模型对遥感图像进行区域分类。
[0038]
创建vgg网络，将vgg16模型的卷积层、池化层、激活层的权重作为训练网络的初始权值，后端连接上采样层和crf(条件随机场)分类器。
[0039]
将高层特征提取网络得到的特征图和标签输入vgg网络更新后端训练网络的权重，并根据vgg网络模型的损失函数判断模型可行性，保存可行的网络模型。
[0040]
示例性的，分别构建前端高层特征提取网络mdcnn、前端改进型高层特征提取网络改进型mdcnn，将数据分别放入高层特征提取网络、改进型高层特征提取网络挖掘高层特征得到有效特征图，并将高层特征数据和标签保存。
[0041]
对数据集进行预处理，根据数据对网络的优越性划分为a组和b组，对a组数据使用改进型mdcnn网络提取高层特征，对b组数据适用mdcnn网络提取高层特征，整合高层特征图为feature map。将feature map和标签合并后送入vgg网络训练更新网络后端训练网络的权重。根据网络的损失函数来判别模型的可行性，保存有效网络模型。利用保存的前端高层特征提取模型和后端的网络训练模型来测试分类效果。
[0042]
进一步的，为了验证本发明方法的性能，主要对比数据来源于基于底层特征、改进型底层特征、中层特征的光学遥感图像分类结果，实验设置satellite、nwpu和uc merced land use dataset三组样本数据和多组分类算法，主要包括：a组为基于lbp底层特征和基于改进型lbp底层特征分类效果对比，用来验证改进型lbp算法的有效性；b组为结合流行学习算法的中层特征、结合超像素显著性特征的中层特征与基于lbp底层特征分类效果对比，目的是研究不同类型的中层特征处理对图像分类效果的作用；c组为基于mdcnn网络的高层
特征、结合流行学习算法的中层特征与基于lbp底层特征三个层次的图像分类效果对比，同时算法优化方面对深度反卷积结构和深度反池化结构与mdcnn网络的高层特征分类效果对比；d组为基于改进型mdcnn网络(其结构如图4所示)与mdcnn网络的高层特征分类效果对比，主要验证多层反卷积结构和软概率反池化的效果。
[0043]
表1深度反卷积网络参数
[0044][0045]
表2深度反池化网络参数
[0046][0047]
表3 mdcnn网络参数
[0048][0049]
表4改进型mdcnn网络参数
[0050][0051]
如上表所示，分别给出深度反卷积网络、深度反池化网络、mdcnn网络(如图3所示)、改进型mdcnn网络(如图4所示)的所有层参数，其中除去了矢量相加层包括输入特征图尺度和输出特征图尺度，卷积核、反卷积核、池化块的尺寸和移动步长信息。为了评估更好地算法的有效性，实验用kappa系数(kappa)、总体精度(oa)和漏分误差的精度(oe)对实验结果进行了评估。p
ab
表示预测类别a被分类到类别b的图像数，t
a
＝∑
b
p
ab
表示属于a类别的图像总数，评级指标定义如下所示：
[0052]
kappa系数：kappa是一个统计量，用来衡量预测和目标真相类别之间的一致性。
[0053]
[0054][0055][0056]
其中k∈[1，k]，k是类别数
[0057]
总体精度：oa是指在整个类别中正确分类图像和总体图像的百分比。
[0058][0059]
漏分误差的精度(oe)是指目标类别有多少被错误分到了其他类别的百分比。
[0060][0061]
kappa、oa和漏分误差的精度oe在0～1之间，数值越高分类性能越好。
[0062]
为了验证mdcnn算法的高层特征算法与传统的底层特征提取、中层特征提取算法队光学遥感图像的分类效果对比，如表5所示，分别评测satellite、nwpu和uc merced land use dataset三组样本数据在lbp+svm、改进型lbp+svm、sift+流行学习、sift+suft+超像素和mdcnn上的准确度，同时计算kappa、oa和漏分误差的精度oe来对比算法的优势，三组数据中包含有同类型数据森林、水域。海滩，交错覆盖为了排除算法的偶然性，实验结果显示mdcnn网络在大多数类别上分类精度要比底层算法和中层算法优越，在uc merced land use dataset数据集中森林分类精度达到100％、水域分类精度达到98％，对类间差异性较大的分类效果明显。在nwpu数据集中沙漠类别分类精度较低，只有76.5％，相比传统算法增强效果不明显。但是总体的评价指标kappa达到0.9左右，oa达到92％左右，高层特征网络在光学遥感图像数据上分类效果更好。
[0063]
表5本发明与其他算法评价指标对比
[0064]
[0065][0066]
本发明实施例提供的方法，相较于现有技术：
[0067]
(1)提出一种池化坐标和软概率反池化概念，传统的最大池化和平均池化都忽略池化输出结果的空间位置信息，利用池化坐标能保证池化过程空间坐标的一致性。软概率反池化一定程度上结合了两种反池化的有点，即保留了轮廓的清晰性同时保证同类型语义的统一性，有利于高层语义特征的挖掘的整理。
[0068]
(2)提出一种多层金字塔反卷积结构，从多尺度特征角度挖掘图像特征，从特征工程角度完善单一性特征的不全面性。考虑到卷积核尺度的选择会造成特征的细粒度过低，选择用更小的卷积核核核池化尺寸，同时增加网络的纵向复杂度。
[0069]
(3)引入微调网络的思想，分别对样本数据和网络权重进行微调，分组并行训练获得特征图，最后导入迁移网络进行训练获得最优模型，一定程度上提高了网络的训练速度和模型测算精度。
[0070]
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0071]
图5为本发明实施例提供的一种语义分割装置的结构示意图，该装置包括：
[0072]
模型构建模块510，用于构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层，构建vgg网络，所述
vgg网络后端采用上采样层和crf分类器；
[0073]
其中，所述高层特征提取网络为单线无分支网络，可提高网络训练速度。
[0074]
其中，在软概率反池化层中，基于初始池化坐标矩阵，计算每个滑块中各元素的概率；
[0075]
计算每个元素概率与最大元素概率的差异值；
[0076]
若差异值在预定范围内则保存元素坐标信息和概率信息组成池化坐标矩阵。
[0077]
训练模块520，用于基于所述高层特征提取网络提取遥感图像中的高层特征得到特征图及标签，将所述特征图及标签输入所述vgg网络中，训练得到分割模型；
[0078]
其中，将所述特征图及标签输入所述vgg网络中，更新所述vgg网络权重，并根据所述vgg网络的损失函数判断所述分割模型的可行性。
[0079]
分割模块530，用于通过所述分割模型对遥感图像进行区域分类。
[0080]
所述分割模型可对遥感图像中不同类型区域进行划分，对于难以区分的相似区域，其分割精度较高。
[0081]
在本发明的一个实施例中提供了一种用于室内定位的电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例中s101至s103步骤。
[0082]
在本发明的一个实施例中还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述实施例提供的语义分割方法，所述非暂态计算机可读存储介质包括如：rom/ram等。
[0083]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0084]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。