一种基于多时相遥感影像的土地利用变化智能理解方法与流程

本发明涉及计算机视觉和图像语义理解技术领域，特别地，涉及一种基于多时相遥感影像的土地利用变化智能理解方法。

背景技术

遥感影像是国土资源管理与利用的重要数据来源。从海量的数据中快速、自动地定位出有信息差异的数据，挖掘出遥感影像中的隐含信息，可以节省大量的人力物力，对有效利用土地资源以及有关部门的科学决策有着十分重要的意义。传统的遥感影像变化检测通常以光谱等特征为基础，检测并判断同一位置的地物是否发生了变化，难以有效利用高分辨率遥感影像中的几何、形状、语义等高层信息，检测的精度不高。而且，地物发生了何种变化并不能直观地以知识的形式表达出来，对决策的支撑度还不强。

而随着深度学习的兴起，图像分割、图像识别技术迅速发展，为遥感影像变化检测提供了更加有效的方法。同时，自然语言处理技术的发展，使得用自然语言对遥感影像的内容进行直观的理解成为可能。因此，对不同时期的遥感影像的土地利用类别进行变化检测，利用深度学习方法对变化内容进行智能描述，具有重要的研究意义和实用价值。

技术实现要素：

本发明目的在于提供一种基于多时相遥感影像的土地利用变化智能理解方法，以解决传统的遥感影像变化检测难以有效利用高分辨率遥感影像中的几何、形状、语义等高层信息，检测精度不高，地物发生了何种变化不能直观地以知识的形式表达出来的技术问题。

为实现上述目的，本发明提供了一种基于多时相遥感影像的土地利用变化智能理解方法，包括检测两时相遥感影像目标区域内发生变化的对象和用自然语言描述变化的内容；

检测两时相遥感影像目标区域内发生变化的对象具体包括以下步骤：

步骤a1：获取两时相的遥感数据，具体是：获取目标区域t1时刻与t2时刻的遥感影像，以及与遥感影像对应匹配的矢量数据；

步骤a2：遥感影像的预处理，具体是：对遥感影像进行几何配准、辐射校正等；

步骤a3：两时相数据的分块裁剪，包括遥感影像的分块裁剪和矢量数据的分块裁剪；具体是：根据比例尺大小的要求，将两个时期的影像裁剪成m幅规定尺寸的遥感影像块；同时生成与遥感影像块相匹配的m幅矢量数据块；

步骤a4：构建掩膜和模型训练，具体是：首先确定影像中需要检测的地物目标，根据步骤a3中获得的遥感影像块和矢量数据块，构建掩膜，将遥感影像块和对应的掩膜输入到基于深度学习的影像语义分割模型中进行训练，得到更新后的影像语义分割模型；

步骤a5：模型测试，将待进行变化检测的两幅不同时期的遥感影像f1、f2分别输入到步骤a4得到的影像语义分割模型中，分别得到其对应的掩膜；其中，不同的颜色代表了不同的地物类别；

步骤a6：检测发生变化的内容，将两个时期的掩膜对应叠加，以t1时刻的掩膜为基准，对两个时期掩膜中的地块逐一进行比较；具体是：以t1时刻掩膜的第k个地块的大小为基准，将该地块范围内的像素值矩阵与t2时刻掩膜中对应位置同样大小区域范围内的像素值矩阵对应相减；设t1时刻掩膜第i行第j列处的像素值为i1ij，t2时刻掩膜第i行第j列处的像素值为i2ij，若i1ij-i2ij＝0，则说明该位置的像素值相同，其像素所属的地物类别没有发生变化，反之则说明该位置像素所属的地物类别发生了变化；统计该区域内发生变化的像素点的个数s，同时根据具体情况设定像素值发生变化个数的阈值s，比较s与s值的大小，根据s与s的比值情况判别区域内的地物类别是否发生变化；

步骤a7：根据颜色标签获取发生变化前后的地物类别，将发生变化的地块高亮显示，使得变化内容直观地展现出来；

用自然语言描述变化的内容具体包括以下步骤：

步骤b1：确定描述变化内容的语句模板；

步骤b2：生成描述语句，具体是：将步骤a7中获得的变化前后的地物类别分别嵌入到语句模板对应的位置，形成对这两幅影像变化内容的对应描述；

步骤b3：取k＝k+1，判断k与t1时刻掩膜中的总地块数k的大小；若k≤k，返回步骤a6，继续进行变化检测；若k＞k，说明变化检测完成；其中，0＜k≤k+1。

进一步的，所述步骤a1中两时相遥感数据的获取方式为：采用互联网开源的众源osm数据、国土部门以及测绘部门中至少一种方式获取；步骤a1中反映地物基本类别的矢量数据包括耕地、园地、林地、草地、房屋建筑、道路、水域以及构建物等矢量数据中的至少一种。

进一步的，所述步骤a1中两时相遥感数据的获取，应选择相同或相近季节和时刻的前后时期的遥感影像。

进一步的，所述步骤a2遥感影像的预处理中对遥感影像进行几何配准，是以其中一幅影像的参考数据作为基准坐标系，进行两幅影像的相对配准；或者，将两幅影像以外的参考数据作为参考坐标系，进行两幅影像的绝对配准。

进一步的，所述步骤a4中构建掩膜和模型训练具体包括以下步骤：

步骤a4.1、确定影像中需要检测的地物目标：根据任务需求选择耕地、园地、林地、草地、房屋建筑、道路、水域以及构建物至少一种作为影像中需要检测的地物目标；

步骤a4.2、构建掩膜：以裁剪后的影像块为单元，遍历每幅影像块，将地理坐标转换为影像像素坐标；分别读取位于影像块范围内的矢量数据类别信息，并以不同的颜色表示不同的目标类别进行区分，最后生成与原影像块同等大小的掩膜；

步骤a4.3、模型训练：选取裁剪后的影像块和步骤a4.2中生成的对应的掩膜输入到基于深度学习的影像语义分割模型中，学习地物类别和掩膜之间的对应关系，对模型参数进行更新，得到更新后的模型。

进一步的，所述步骤a6中根据s与s的比值情况判别区域内的地物类别是否发生变化，具体如下：若s≤s，则说明该区域的像素值相同，认为该位置两个时期的地物类别相同，没有发生变化；反之，则说明该位置两个时期的地物类别发生了变化。

进一步的，所述步骤b1确定描述变化内容的语句模板中，语句模板为：xx变化成yy；其中，xx为t1时刻影像某位置的地物类别，yy为t2时刻影像对应位置的地物类别。

本发明具有以下有益效果：

1、本发明提供的一种基于多时相遥感影像的土地利用变化智能理解方法，首次提出对不同时相影像的变化内容进行智能描述，无需再对影像中发生变化的内容进行人工比对，是一种直观的知识表达形式。

2、本发明提供的一种基于多时相遥感影像的土地利用变化智能理解方法，根据遥感影像对应的矢量数据，利用深度学习方法，在影像分割的基础上，利用地物类别信息判别同一位置不同时期地物类别的变化，使变化检测更精确，描述内容确定化。

3、本发明提供的一种基于多时相遥感影像的土地利用变化智能理解方法，利用基于深度学习理论与方法的图像语义分割技术和自然语言处理技术，对多时相数据的变化内容进行直观的语言表达，实现对多时相遥感数据的深层理解。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明一种基于多时相遥感影像的土地利用变化智能理解方法的流程图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。

一种基于多时相遥感影像的土地利用变化智能理解方法，包括检测两时相目标区域内发生变化的对象和用自然语言描述变化的内容。

检测两时相目标区域内发生变化的对象具体包括以下步骤：

步骤a1：获取两时相的遥感数据。具体是，获取目标区域t1时刻与t2时刻的遥感影像，以及与遥感影像对应匹配的矢量数据。一般可以采用互联网开源的众源osm数据、国土部门以及测绘部门中的至少一种方式获取。反映地物基本类别的矢量数据包括耕地、园地、林地、草地、房屋建筑、道路、水域以及构建物等矢量数据中的至少一种。由于随着季节的变化，区域内地物所呈现的特征将会发生变化，因此应选择相同或相近季节和时刻的前后时期的遥感影像。

步骤a2：遥感影像的预处理。主要是对遥感影像进行几何配准、辐射校正等。其中，几何配准是为了确保两幅影像在同一位置的坐标相同。它是以其中一幅影像的参考数据作为基准坐标系，进行两幅影像的相对配准；也可以是将两幅影像以外的参考数据作为参考坐标系，进行两幅影像的绝对配准。

步骤a3：两时相遥感数据的分块，包括遥感影像的分块裁剪和矢量数据的分块裁剪。具体是：根据比例尺大小的要求，将两个时期的影像裁剪成m幅规定尺寸的遥感影像块；同时生成与遥感影像块相匹配的多幅矢量数据块。

步骤a4：分别对两时相的遥感影像构建掩膜，同时进行模型训练，具体包括以下步骤：

步骤a4.1、首先确定影像中需要检测的地物目标，可以根据任务需求选择耕地、园地、林地、草地、房屋建筑、道路、水域以及构建物至少一种作为需要检测的地物目标。

步骤a4.2、根据步骤a3中获得的遥感影像块和矢量数据块，构建掩膜。以裁剪后的影像块为单元，遍历每幅影像块，将地理坐标转换为影像像素坐标。分别读取位于影像块范围内的矢量数据类别信息，并以不同的颜色表示不同的目标类别进行区分，最后生成与原影像块同等大小的掩膜。该掩膜以不同颜色代表了不同的地物类别。例如，深绿色代表林地，浅绿色代表草地，蓝色代表水域，浅粉色代表道路，深黄色代表房屋建筑，浅黄色代表耕地，深粉色代表园地，其他不需检测的地物目标均视为背景，以黑色表示。地物的位置信息以像素坐标为基准。该掩膜详细记录了地物类别、位置信息与轮廓边缘。

步骤a4.3、模型训练。将裁剪后的影像块和对应的掩膜输入到基于深度学习的影像语义分割模型中进行训练，学习地物类别和掩膜之间的对应关系，对模型参数进行更新，得到更新后的影像语义分割模型。

步骤a5、模型测试。将待进行变化检测的两幅不同时期的遥感影像f1、f2分别输入到步骤a4.3训练好的影像语义分割模型中，分别生成包含遥感地物类别与位置信息的掩膜。其中，不同的颜色代表了不同的地物类别。

步骤a6：检测发生变化的内容。将两个时期的掩膜对应叠加，以t1时刻的掩膜为基准，对两个时期掩膜中的地块逐一进行比较。具体是：以t1时刻掩膜的第k个地块的大小为基准，将该地块范围内的像素值矩阵与t2时刻掩膜中对应位置同样大小区域范围内的像素值矩阵对应相减。设t1时刻掩膜第i行第j列处的像素值为i1ij，t2时刻掩膜第i行第j列处的像素值为i2ij，若i1ij-i2ij＝0，则说明该位置的像素值相同，其像素所属的地物类别没有发生变化，反之则说明该位置像素所属的地物类别发生了变化。统计该区域内发生变化的像素点的个数s，同时根据具体情况设定像素值发生变化个数的阈值s，比较s与s值的大小，根据s与s的比值情况判别区域内的地物类别是否发生变化；若s≤s，则说明该区域的像素值相同，认为该位置两个时期的地物类别基本相同，没有发生变化；反之，则说明该位置两个时期的地物类别发生了变化。

步骤a7：根据颜色标签获取发生变化前后的地物类别，将发生变化的地块高亮表示，使得变化内容直观地展现出来。

用自然语言描述变化的内容具体包括以下步骤：

步骤b1：确定描述变化内容的语句模板。语句模板为：xx变化成yy；其中，xx为t1时刻影像某位置的地物类别，yy为t2时刻影像对应位置的地物类别。

步骤b2：生成描述语句。具体是：将步骤a7中获得的变化前后的地物类别分别嵌入到语句模板的对应位置，形成对这两幅影像变化内容的对应描述。例如，影像f1、f2中某一位置的地物类别由t1时刻的园地变成t2时刻的房屋建筑，将“园地”嵌入到语句模板中的“xx”位置，“房屋建筑”嵌入到语句模板中的“yy”位置，生成描述语句“园地变化成房屋建筑”。

步骤b3：取k＝k+1，判断k与t1时刻掩膜中的总地块数k的大小；若k≤k，返回步骤a6，继续进行变化检测；若k＞k，说明变化检测完成。其中，0＜k≤k+1。如此循环对t1时刻掩膜中的每一块地物进行检测，最终得出该遥感影像的土地利用变化情况，同时对该遥感影像的变化内容进行直观的语言表达。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。