基于多尺度融合的全卷积神经网络耕地提取方法及系统与流程

1.本发明涉及光学遥感技术领域，特别涉及一种基于多尺度融合的全卷积神经网络耕地提取方法及系统。


背景技术：

2.耕地的数量和质量是保证我国农业可持续发展的关键。通过遥感图像对耕地进行识别和分类的意义不止在于能够有利用对耕地进行监测和保护。对不同时间段的遥感图像上耕地进行分析，可以对于我国农作物长势、分布甚至产量等信息进行统计和预估。传统的遥感耕地提取多依靠中低分辨率的多光谱影像，主要通过农作物在生长季的光谱特征与其他地物的光谱差异进行耕地分布范围的提取。此方法适合提取大范围种植区域的耕地提取，对于小面积的耕地提取精度很难保证。
3.利用高分辨率遥感影像准确地提取耕地地块是精准农业的基本任务与迫切需求。一些学者提出了基于影像分割的方式来获得完整、规则的地块，但由于欠分割，过分割等问题的存在，很难得到较高的精度。目前，获取高精度的耕地地块产品主要还是依靠人工解译以及计算机辅助制图的手段为主，费时费力。高分辨率遥感影像耕地地块的自动化提取算法依然是国内外遥感应用领域共同面临的科学问题。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本发明的一个目的在于提出一种基于多尺度融合的全卷积神经网络耕地提取方法，该方法可以从高分辨率中稳定地提取较为规整、均质的耕地地块矢量。
6.本发明的另一个目的在于提出一种基于多尺度融合的全卷积神经网络耕地提取系统。
7.为达到上述目的，本发明一方面实施例提出了基于多尺度融合的全卷积神经网络耕地提取方法，包括以下步骤：步骤s1，基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集；步骤s2，构建多尺度融合的全卷积神经网络，利用所述训练样本数据集对所述多尺度融合的全卷积神经网络进行训练，其中，所述多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块；步骤s3，将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
8.本发明实施例的基于多尺度融合的全卷积神经网络耕地提取方法，采用非监督图像分割的方式先分割，再手工标记分割单元的属性，提升样本集构建效率，解决了语义分割前期样本人工构建的耗时性问题；采用并行连接的四个尺度的特征网络结构，提升了提取的耕地地块的光滑的边缘效果；在网络的特征输出层加入邻域特征融合模块，整合上下文信息有效提升分割的准确性，抑制了高分辨率遥感影像中的噪声；最终从高分辨率遥感影像中稳定地提取较为规整、匀质的耕地地块矢量。
9.另外，根据本发明上述实施例的基于多尺度融合的全卷积神经网络耕地提取方法还可以具有以下附加的技术特征：
10.进一步地，在本发明的一个实施例中，所述步骤s1具体包括：步骤s101，通过预设遥感卫星获取所述高分辨率遥感影像，并对所述高分辨率遥感影像进行预处理；步骤s102，通过面向对象多尺度分割的方式对预处理后的高分辨率遥感影像进行无监督分割，得到多个矢量单元；步骤s103，对所述多个矢量单元进行图像处理，得到所述训练样本数据集。
11.进一步地，在本发明的一个实施例中，还包括：步骤s104，利用增强方法对所述训练样本数据集中的样本数据进行翻转、旋转、裁剪以及缩放任一种或多种组合操作，增加所述训练样本数据集中样本数据数量。
12.进一步地，在本发明的一个实施例中，所述步骤s2具体包括：步骤s201，向所述多尺度融合的全卷积神经网络输入所述训练样本数据集中的样本原始影像图，经过两个3
×
3的卷积以及两个bn层以及relu激活函数，输出样本原始影像图尺寸大小的特征图；步骤s202，利用四个尺度的特征网络分支结构将卷积前特征与一系列四种尺度卷积后的特征进行并行连接，输出的四个分支结构分别为包含样本原始影像图尺寸大小的特征图；步骤s203，将所述包含样本原始影像图尺寸大小的特征图进行统一采样为第一个尺度大小的特征图进行连接，得到初始融合特征f1；步骤s204，通过所述初始融合特征f1计算影像的类别概率图pm，粗略估计每一个像素所属的类别特征fc；步骤s205，利用注意力机制转换将像元特征与所述类别特征fc进行处理，得到上下文特征fq；步骤s206，根据所述上下文特征fq，并将所述初始融合特征f1与上下文特征进行融合，得到的分割特征f2；步骤s207，利用交叉熵作为类别损失函数，通过随机梯度下降优化函数进行损失下降，完成所述多尺度融合的全卷积神经网络训练。
13.进一步地，在本发明的一个实施例中，所述步骤s202中具体包括：
14.所述第一个分支结构，包括四个bottleneck block残差块，输出特征图s1，所述特征图s1的尺寸为样本样本原始影像图的
15.所述第二个分支结构，将所述第一特征图s1并行扩展，根据所述第一特征图s1分别进行尺度变换，包括特征通道降维以及下采样生成特征图和特征图
16.再将所述特征图与所述特征图分别对应进行尺寸采样并进行叠加融合，输出的二个分支结构分别包含样本原始影像图尺寸大小的的特征图；
17.所述第三个分支结构，将所述包含样本原始影像图尺寸大小的的特征图作为输入，同时对所述特征图并行扩展，得到特征图特征图特征图
18.再次将所述特征图所述特征图所述特征图分别对应进行尺寸采样并进行叠加融合，输出的三个分支结构分别为包含样本原始影像图尺寸大小的的特征图；
19.所述第四个分支结构，将所述包含样本原始影像图尺寸大小的的特征图作为输入，同时对所述特征图并行扩展，得到特征图特征图特征图特征图再将所述特征图所述特征图所述特征图所述特征图分别对应进行尺寸采样并进行叠加融合，输出的四个分支结构分别为包含样本原始影像图尺寸大小的的特征图。
20.进一步地，在本发明的一个实施例中，所述步骤s205中注意力机制转换具体为：
[0021][0022]
其中，fq为上下文特征，c为样本原始影像图中类别个数，w
ij
为像素与类别为j的特征的相似度量，δ(
·
)与ρ(
·
)为注意力机制的两个特征转换方程。
[0023]
进一步地，在本发明的一个实施例中，所述步骤s206中融合具体为：
[0024]
f2＝λ
·
f1+(1-λ)
·fq
[0025]
其中，f2为分割特征，λ为融合权重，f1为初始融合特征，fq为上下文特征。
[0026]
进一步地，在本发明的一个实施例中，所述步骤s207中的交叉熵损失为：
[0027][0028]
其中，为交叉熵损失，c为样本原始影像图中类别个数，yi为真实标签值，为预测值。
[0029]
进一步地，在本发明的一个实施例中，所述步骤s3具体包括：
[0030]
步骤s301，将待提取耕地影像输入至所述训练好的多尺度融合的全卷积网络模型中，进行端对端分割解译，得到类别栅格结果；
[0031]
步骤s302，根据所述类别栅格结果对相邻区域同属性进行合并，得到所述耕地矢量图斑。
[0032]
为达到上述目的，本发明另一方面实施例提出了基于多尺度融合的全卷积神经网络耕地提取系统，包括：无监督分割模块，用于基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集；训练模块，用于构建多尺度融合的全卷积神经网络，利用所述训练样本数据集对所述多尺度融合的全卷积神经网络进行训练，其中，所述多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块；验证模块，用于将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
[0033]
本发明实施例的基于多尺度融合的全卷积神经网络耕地提取系统，采用非监督图像分割的方式先分割，再手工标记分割单元的属性，提升样本集构建效率，解决了语义分割前期样本人工构建的耗时性问题；采用并行连接的四个尺度的特征网络结构，提升了提取的耕地地块的光滑的边缘效果；在网络的特征输出层加入邻域特征融合模块，整合上下文信息有效提升分割的准确性，抑制了高分辨率遥感影像中的噪声；最终从高分辨率遥感影
像中稳定地提取较为规整、匀质的耕地地块矢量。
[0034]
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0035]
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0036]
图1是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取方法的流程图；
[0037]
图2是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取方法的具体执行示意图；
[0038]
图3是本发明一个实施例的基于非监督多尺度分割方式所构建训练样本集的示意图，其中，(a)为真彩色影像，(b)为多尺度分割的地物矢量结果，(c)为筛选后的耕地矢量结果，(d)为网络输入二值化标签(黑色为背景，灰色为耕地)；
[0039]
图4是本发明一个实施例的多尺度融合的全卷积神经网络的结构示意图；
[0040]
图5是本发明一个具体实施例的不同地域测试集耕地分割结果图，其中，(a)为真影像，(b)为真值标签，(c)为采用本方法提取的效果；
[0041]
图6是本发明一个具体实施例的大区域影像耕地提取矢量叠加效果图，其中，(a)不经过相邻区域同属性合并提取结果，(b)相邻区域同属性合并提取结果；
[0042]
图7是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取系统的结构示意图。
具体实施方式
[0043]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0044]
下面参照附图描述根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取方法及系统，首先将参照附图描述根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取方法。
[0045]
图1是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取方法的流程图。
[0046]
如图1所示，该基于多尺度融合的全卷积神经网络耕地提取方法包括以下步骤：
[0047]
在步骤s1中，基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集。
[0048]
进一步地，在本发明的一个实施例中，步骤s1具体包括：
[0049]
步骤s101，通过预设遥感卫星获取高分辨率遥感影像，并对高分辨率遥感影像进行预处理；
[0050]
步骤s102，通过面向对象多尺度分割的方式对预处理后的高分辨率遥感影像进行无监督分割，得到多个矢量单元；
[0051]
步骤s103，对多个矢量单元进行图像处理，得到训练样本数据集。
[0052]
进一步地，在本发明的一个实施例中，还可以包括：
[0053]
步骤s104，利用增强方法对训练样本数据集中的样本数据进行翻转、旋转、裁剪以及缩放任一种或多种组合操作，增加训练样本数据集中样本数据数量。
[0054]
具体地，
[0055]
在步骤s2中，构建多尺度融合的全卷积神经网络，利用训练样本数据集对多尺度融合的全卷积神经网络进行训练，其中，多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块。
[0056]
具体地，如图4所示，向多尺度融合的全卷积神经网络输入训练样本数据集中的样本原始影像图，以四波段多光谱遥感影像i为例，其输入尺寸为896
×
896
×
4(即：影像长
×
影像宽
×
波段数)作为网络的输入。
[0057]
步骤s201，经过两个3
×
3的卷积以及两个bn层以及relu激活函数，输出样本原始影像图尺寸大小的特征图，大小为224
×
224
×
64。
[0058]
步骤s202，对多尺度特征并行连接结构，在初始特征提取后，接下来经过四个尺度的特征网络分支结构。其特点是对卷积前特征与一系列不同尺度卷积后的特征进行特征融合，以保证特征层次的丰富性。
[0059]
第一个分支结构，包括四个bottleneck block残差块，输出特征图s1:224
×
224
×
256，特征图s1的尺寸为样本样本原始影像图的
[0060]
第二个分支结构，将第一特征图s1并行扩展，根据第一特征图s1分别进行尺度变换，包括特征通道降维以及下采样生成特征图特征图
[0061]
再将特征图与特征图分别对应进行尺寸采样并进行叠加融合，输出的二个分支结构分别包含样本原始影像图尺寸大小的的特征图；
[0062]
第三个分支结构，将包含样本原始影像图尺寸大小的的特征图作为输入，同时对特征图并行扩展，得到特征图特征图特征图特征图
[0063]
再次将特征图特征图特征图分别对应进行尺寸采样并进行叠加融合，输出的三个分支结构分别为包含样本原始影像图尺寸大小的的特征图；
[0064]
第四个分支结构，将包含样本原始影像图尺寸大小的的特征图作为输入，同时对特征图并行扩展，得到特征图特征图特征图特征图再将特征图特征图特征图特征图分别
对应进行尺寸采样并进行叠加融合，输出的四个分支结构分别为包含样本原始影像图尺寸大小的的特征图。
[0065]
接下来，将上下文特征融合，考虑遥感影像中的耕地地块目标尺度性差异大的问题，在不同级别下的特征层分割不同尺寸的目标。
[0066]
步骤s203，将上述输出的四个分支结构分别为包含样本原始影像图尺寸大小的特征图进行统一采样为第一个尺度大小的特征图进行连接，得到网络初始融合特征f1，大小为224
×
224
×
720；
[0067]
步骤s204，本发明实施例考虑待分类像元的周围邻域像元的特征进行上下文特征融合，将f1特征通过式(1)计算出影像的类别概率图pm，粗略估计每一个像素所属的类别特征fc，再次根据公式(2)通过pm与f1特征的转置相乘，得到fc类别特征。
[0068]
pm＝softmax(f1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0069]
fc＝f
1t
×
pmꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0070]
步骤s205，利用注意力机制转换将像元特征与类别特征fc进行处理，得到上下文特征fq，具体为：
[0071][0072]
其中，fq为上下文特征，c为样本原始影像图中类别个数，w
ij
为像素与类别为j的特征的相似度量，δ(
·
)与ρ(
·
)为注意力机制的两个特征转换方程。
[0073]
步骤s206，根据上下文特征fq，并将初始融合特征f1与上下文特征进行融合如下公式(4)，得到的分割特征f2，尺寸为224
×
224
×
512。
[0074]
f2＝λ
·
f1+(1-λ)
·fq
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0075]
其中，f2为分割特征，λ为融合权重，f1为初始融合特征，fq为上下文特征。
[0076]
步骤s207，本发明实施例选择使用交叉熵损失作为类别损失函数，如公式(5)，采用随机梯度下降(sgd)算法进行优化训练，学习率设置为线性递减，完成多尺度融合的全卷积神经网络训练。
[0077][0078]
其中，为交叉熵损失，c为样本原始影像图中类别个数，yi为真实标签值，为预测值。
[0079]
在步骤s3中，将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
[0080]
进一步地，在本发明的一个实施例中，步骤s3具体包括：
[0081]
步骤s301，将待提取耕地影像输入至训练好的多尺度融合的全卷积网络模型中，进行端对端分割解译，得到类别栅格结果；
[0082]
步骤s302，根据类别栅格结果对相邻区域同属性进行合并，得到耕地矢量图斑。
[0083]
具体地，基于训练好的多尺度融合的全卷积网络模型，对待提取耕地影像进行端对端分割解译，解译过程中为提升由于分块而带来的格网边缘差异效果，采用带有重叠的
滑窗框进行推理过程。
[0084]
如图2所示，根据实际应用需求，可选择是否对最终的结果进行相邻区域同属性合并。若选择相邻区域同属性合并，可以将破碎相邻的农田进行合并，生成的耕地图斑尺度层次较大，可为大区域种植结构分类以及耕地数据统计提供中间成果；若选择相邻区域同属性不合并，产生的细分地块可以得到地块级耕地产品，可以为后续精细化农业监测提供支撑。最终可以得到符合条件的耕地地块，并输出成的矢量格式成果。
[0085]
下面通过一个具体实施例对本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取方法进一步说明。
[0086]
该具体实施例中选择东北、华北、华中三块区域的高分辨率遥感影像(分辨率优于1米)进行训练与测试，具体地，从上述高分辨率遥感影像中识别出耕地地地块，并在构建训练样本集中采用非监督分割的方式加快训练样本集的构建，最终通过训练得到的模型完成待提取影像的耕地提取，同时可根据实际的需求进行相邻地块合并，并输出矢量格式成果。最终测试精度评价表如下：
[0087]
表1基于多尺度融合的全卷积神经网络耕地提取算法精度评价表
[0088]
区域原始样本数增量后样本数训练/验证数训练时间总体精度东北(农安县)20,280—16,224/405698小时0.944华北(庆云县)29223361986/35012小时0.957华中(南县)46937523190/56220小时0.954
[0089]
上表1展示了选取的三块区域进行耕地测试的结果，总体精度平均0.952。测试过程中平均每个测试样本预测时间为1.18秒。如5图所示，选取不同地理区划的测试集耕地提取效果图展示如下，其中，图5(a)为真影像，(b)为真值标签，(c)为本发明实施例的方法所提取的效果(黑色为背景，灰色为耕地)。
[0090]
如图6所示，可以看出本专利较为完整的提取了耕地的边界；其中图6(a)不经过相邻区域同属性合并提取结果，可以看出耕地内部的田埂、小路都很好的分割开得到较为精细的结果；其中图6(b)相邻区域同属性合并提取结果，可以得到较大尺度的耕地范围边界，可以减少数据冗余。
[0091]
根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取方法，采用非监督图像分割的方式先分割，再手工标记分割单元的属性，提升样本集构建效率，解决了语义分割前期样本人工构建的耗时性问题；采用并行连接的四个尺度的特征网络结构，提升了提取的耕地地块的光滑的边缘效果；在网络的特征输出层加入邻域特征融合模块，整合上下文信息有效提升分割的准确性，抑制了高分辨率遥感影像中的噪声；最终从高分辨率遥感影像中稳定地提取较为规整、匀质的耕地地块矢量。
[0092]
其次参照附图描述根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取系统。
[0093]
图6是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取系统的结构示意图。
[0094]
如图6所示，该系统10包括：无监督分割模块100、训练模块200和验证模块300。
[0095]
其中，无监督分割模块100用于基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集。训练模块200用于构建多尺度融合的全卷积神经
网络，利用所述训练样本数据集对所述多尺度融合的全卷积神经网络进行训练，其中，所述多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块。验证模块300用于将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
[0096]
根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取系统，采用非监督图像分割的方式先分割，再手工标记分割单元的属性，提升样本集构建效率，解决了语义分割前期样本人工构建的耗时性问题；采用并行连接的四个尺度的特征网络结构，提升了提取的耕地地块的光滑的边缘效果；在网络的特征输出层加入邻域特征融合模块，整合上下文信息有效提升分割的准确性，抑制了高分辨率遥感影像中的噪声；最终从高分辨率遥感影像中稳定地提取较为规整、匀质的耕地地块矢量。
[0097]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0098]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0099]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。