一种基于深度时空模式交互网络的土地利用分类方法与流程

1.本发明涉及土地利用分类技术领域，具体涉及一种基于深度时空模式交互网络的土地利用分类方法。


背景技术：

2.基于深度学习和高分辨率遥感影像的土地利用分类技术已广泛用于大尺度范围土地利用调查工作中。
3.但现有基于深度学习的方法通常使用端到端的方式将图像直接映射到特征空间，因自然地物在遥感图像上“同物异谱，同谱异物”的特性，以及遥感图像成像条件变化所带来的差异，使得基于深度学习的方法泛化能力不强。同时，由于深度神经网络缺乏逻辑推理能力和对因果关系的表达能力，在处理具有复杂时空关联性的任务方面存在不足，难以对遥感影像中对象和现象的演化过程及其相互作用进行描述和解释。
4.可见，基于深度学习和高分辨率遥感影像的土地利用分类技术虽然提升了土地利用分类的效率和精度，使土地利用分类预测方法有了较大改进，但存在着泛化能力差，缺少解释和推理能力等缺点，难以有效利用土地利用分类自身的时空相关性，使得深度学习技术终究还是难以适应复杂的地表覆盖，尤其对于多源多时相的叠加的情况，目前实用化的解译方法还是难以脱离人工判读参与。因此，能实现土地利用分类的空间认知和交互推理，获得更好的解译效果，是现阶段本技术人员亟需解决的问题。


技术实现要素：

5.本发明需要解决的技术问题是提供一种基于深度时空模式交互网络的土地利用分类方法，可实现土地利用分类的空间认知和交互推理，获得更好的解译效果。
6.为解决上述技术问题，本发明所采取的技术方案如下。
7.一种基于深度时空模式交互网络的土地利用分类方法，包括构建面向土地利用分类的深度时空模式交互网络模型，模型包括特征提取模块、特征融合模块、语义分割模块、时空模式推理模块和校正模块，土地利用分类方法包括以下步骤：
8.s1.获取遥感影像数据及相应的土地利用矢量数据，针对同一地物类型颜色特征的差异，进行像素归一化处理；
9.s2.制作土地利用分类样本库和置信规则库；
10.s3.对深度时空模式交互网络模型中的特征提取模块、语义分割模块和时空模式推理模块进行基础阶段的训练；
11.s4.将土地利用分类的样本库输入特征提取模块，得到不同分辨率的特征图；
12.s5.将不同分辨率的特征图输入特征融合模块，得到增强后的特征图；
13.s6.将增强后的特征图输入语义分割模块，计算语义分割的置信度，当置信度大于或等于阈值时，输出分类结果；
14.s7.当语义分割的置信度小于阈值时，输出预分类结果并将增强后的特征图输入
时空模式推理模块，进行时空关系的推理验证，得到推理验证结果；
15.s8.将预分类结果和推理验证结果输入校正模块，对预分类结果进行调整，反馈至语义分割模块，重新执行步骤s6。
16.优选的，所述步骤s2中分类样本库随机划分为训练数据集和验证数据集。
17.优选的，所述步骤s3中基础阶段的训练包括第一阶段使用训练数据集训练一个在训练数据集上表现优越的特征提取模块和语义分割模块；第二阶段使用置信规则库训练时空模式推理模块。
18.优选的，所述步骤s5中特征融合模块的设计，用于将不同分辨率的特征图进行结构共享、融合和增强，主干网络优选采用hrnet网络提高特征图的分辨率，其输出包含更详尽的空间信息和全局信息，实现全局空间相关性分析，特征图加强的具体方法，包括：
19.将特征提取模块输出的四个分支特征pn，n∈{1,2,3,4}进行基于频域分析的通道注意力机制筛选，以获得各个分支的有价值的特征信息fn，n∈{1,2,3,4}；
20.通过双线性插值和1
×
1的卷积操作后，把fn中的后三个分支的特征图进行尺度和维度的归一化处理，重置到和第一个分支f1∈r
32
×
56
×
56
输出相同的尺度和通道数，减少后期特征融合时产生的混叠效应，消除各分支特征间特征分布的差异；
21.计算不同分支特征之间的空间权重参数矩阵，将对应的空间权重参数矩阵与调整后的特征fn→1，n∈{2,3,4}进行通道矩阵相乘操作得到赋予权重后的特征，再将赋予空间权重大小后的特征基于通道维度进行像素值的求和，得到融合后的特征h。
22.优选的，所述步骤s6中语义分割模块在得到特征融合模块输出的增强后的特征图后，语义分割模块将增强后的特征图分割成语义分割图，并将语义分割图通过卷积和上采样操作映射到二维空间中，生成分割结果图，然后通过变分推断得到预测结果的置信度；所述分割结果图融合了多个分支的多分辨率特征信息，获得了丰富的特征图表示能力。
23.优选的，所述步骤s7中时空模式推理模块的构建包括：
24.离线建立置信规则库r＝{r1,r2,...r
l
}，其中，rk∈{θ,a,δ}，θ是规则权重，a是指标集合，δ是属性权重，置信规则库用于描述地物类别、属性及其之间相互关系；利用学习机制优化置信规则库中的参数；
25.从语义分割模块获取的语义分割图，包括给定n个地物对象的输入第n个对象的整个目标集的关系特征可以表示为：
[0026][0027]
其中，fg是地物对象的几何特征，fa是地物对象的类别，ω
mn
表示对象n与其他对象的关系权重，w表示变换矩阵；
[0028]
将得到的关系特征与置信规则库中的规则进行聚合操作，第k条规则的激活权重可表示为：
[0029][0030]
其中，ak和ai分别是第k条规则和第i条规则在属性集上的可信度，
是第k条规则中第i个属性属于指标值中的可信度，相似地，θk和θi分别是第k个规则和第i个规则的规则权重，l是置信规则库中规则的数量，nk是第k条规则的属性数，δi是标准化后的属性权重；
[0031]
将得到的聚合结果输出，输出结果是一个置信度分布，表示地物属于每个类的程度，而地物所属类别为置信度最大的类。
[0032]
优选的，所述步骤s8中的校正模块根据时空模式推理模块输出的结果，查找分割结果图中错误的分类并进行改正，得到分类改正结果图并将分类改正结果图反馈至语义分割模块。
[0033]
由于采用了以上技术方案，本发明所取得技术进步如下。
[0034]
本发明通过时空关系建模和知识整合，建立时空模式推理网络，通过将自下而上的时空模式推理网络融入现有遥感影像解译深度学习框架，将数据驱动和知识驱动结合与交互，综合考虑几何特征和语义特征，实现土地利用分类的空间认知和交互推理，可获得更好的解译效果，从而可以提高土地利用分类的精度，降低后期人工编辑的工作量。
附图说明
[0035]
图1为本发明的流程图。
具体实施方式
[0036]
下面将结合附图和具体实施方式对本发明进行进一步详细说明。
[0037]
一种基于深度时空模式交互网络的土地利用分类方法，结合图1所示，包括括构建面向土地利用分类的深度时空模式交互网络模型，模型包括特征提取模块、特征融合模块、语义分割模块、时空模式推理模块和校正模块，土地利用分类方法包括以下步骤：
[0038]
s1.获取遥感影像数据及相应的土地利用矢量数据，针对同一地物类型颜色特征的差异，进行像素归一化处理。
[0039]
s2.制作土地利用分类样本库和置信规则库。
[0040]
其中，分类样本库随机划分为训练数据集和验证数据集，分类样本库可按照4:1的比例随机划分为训练数据集和验证数据集。
[0041]
s3.对深度时空模式交互网络模型中的特征提取模块、语义分割模块和时空模式推理模块进行基础阶段的训练。
[0042]
基础阶段的训练包括第一阶段使用训练数据集训练一个在训练数据集上表现优越的特征提取模块和语义分割模块，训练后的特征提取模块和语义分割模块通过验证数据集进行验证，以确保模型的有效性；第二阶段使用置信规则库训练时空模式推理模块。
[0043]
s4.将土地利用分类的样本库输入特征提取模块，得到不同分辨率的特征图。
[0044]
s5.将不同分辨率的特征图输入特征融合模块，得到增强后的特征图。
[0045]
特征融合模块的设计，用于将不同分辨率的特征图进行结构共享、融合和增强，主干网络优选采用hrnet网络提高特征图的分辨率，其输出包含更详尽的空间信息和全局信
息，实现全局空间相关性分析，特征图加强的具体方法，包括：
[0046]
将特征提取模块输出的四个分支特征pn，n∈{1,2,3,4}进行基于频域分析的通道注意力机制筛选，以获得各个分支的有价值的特征信息fn，n∈{1,2,3,4}；
[0047]
通过双线性插值和1
×
1的卷积操作后，把fn中的后三个分支的特征图进行尺度和维度的归一化处理，重置到和第一个分支f1∈r
32
×
56
×
56
输出相同的尺度和通道数，减少后期特征融合时产生的混叠效应，消除各分支特征间特征分布的差异；
[0048]
计算不同分支特征之间的空间权重参数矩阵，将对应的空间权重参数矩阵与调整后的特征fn→1，n∈{2,3,4}进行通道矩阵相乘操作得到赋予权重后的特征，再将赋予空间权重大小后的特征基于通道维度进行像素值的求和，得到融合后的特征h。
[0049]
s6.将增强后的特征图输入语义分割模块，计算语义分割的置信度，当置信度大于或等于阈值时，输出分类结果。
[0050]
语义分割模块在得到特征融合模块输出的增强后的特征图后，语义分割模块将增强后的特征图分割成语义分割图，并将语义分割图通过卷积和上采样操作映射到二维空间中，生成分割结果图，然后通过变分推断得到预测结果的置信度；同时，分割结果图融合了多个分支的多分辨率特征信息，因此获得了丰富的特征图表示能力。
[0051]
s7.当语义分割的置信度小于阈值时，输出预分类结果并将增强后的特征图输入时空模式推理模块，进行时空关系的推理验证，得到推理验证结果。
[0052]
时空模式推理模块的构建包括：
[0053]
离线建立置信规则库r＝{r1,r2,...r
l
}，其中，rk∈{θ,a,δ}，θ是规则权重，a是指标集合，δ是属性权重，置信规则库用于描述地物类别、属性及其之间相互关系；利用学习机制优化置信规则库中的参数；
[0054]
从语义分割模块获取的语义分割图，包括给定n个地物对象的输入第n个对象的整个目标集的关系特征可以表示为：
[0055][0056]
其中，fg是地物对象的几何特征，fa是地物对象的类别，ω
mn
表示对象n与其他对象的关系权重，w表示变换矩阵；
[0057]
将得到的关系特征与置信规则库中的规则进行聚合操作，第k条规则的激活权重可表示为：
[0058][0059]
其中，ak和ai分别是第k条规则和第i条规则在属性集上的可信度，是第k条规则中第i个属性属于指标值中的可信度，相似地，θk和θi分别是第k个规则和第i个规则的规则权重，l是置信规则库中规则的数量，nk是第k条规则的属性数，δi是标准化后的属性权重；
[0060]
将得到的聚合结果输出，输出结果是一个置信度分布，表示地物属于每个类的程度，而地物所属类别为置信度最大的类。
[0061]
s8.将预分类结果和推理验证结果输入校正模块，对预分类结果进行调整，反馈至语义分割模块，重新执行步骤s6。
[0062]
校正模块用于将训练完成的深度学习语义分割模块与时空模式推理模块整合，为高分辨率遥感影像构建具有层次结构的语义空间，通过反馈交互进行训练。
[0063]
校正模块根据时空模式推理模块输出的结果，查找分割结果图中错误的分类并进行改正，得到分类改正结果图并将分类改正结果图反馈至语义分割模块。
[0064]
本发明在使用时，通过将自下而上的时空模式推理网络融入现有遥感影像解译深度学习框架，通过数据驱动和知识驱动结合与交互，可以提高土地利用分类的精度，降低后期人工编辑的工作量。