自适应递归增量模型的遥感影像分类方法、装置及设备与流程

1.本发明涉及数据挖掘与遥感影像处理交叉技术领域，具体而言，涉及一种自适应递归增量模型的遥感影像分类方法、装置及设备。


背景技术：

2.深度学习凭借其强大的特征自学习和应用泛化能力，在遥感影像分类领域已得到大量研究，众多基于深度神经网络模型的遥感数据智能解译模型被相继提出，并获得推广。当前的深度神经网络模型一般都是静态模型，且需要大量数据进行长时间的训练，然而模型只能应用于当前任务，不能随着地表异质性复杂程度而适应或者扩展。例如，面对两个不同异质性的区域进行遥感影像分类时，通用方法是针对不同区域训练单独的模型，这种方式不仅造成计算资源浪费，而且已训练好的分类模型如果直接应用于新的异质性区域，会导致知识灾难性遗忘，大大限制了深度神经网络模型的应用范围。


技术实现要素：

3.为解决上述问题，本发明提供一种自适应递归增量模型的遥感影像分类方法，所述方法包括：获取任务区遥感影像，以及确定所述任务区的空间异质性水平与自适应递归增量模型对应空间异质性水平的差值；所述自适应递归增量模型包括至少一个神经网络隐藏层；若所述差值大于预设异质性阈值，则所述自适应递归增量模型增加至少一层所述神经网络隐藏层，得到更新后的自适应递归增量模型；所述更新后的自适应递归增量模型中各所述神经网络隐藏层均直接连接到输入层和输出层；根据所述任务区遥感影像对应的训练样本，训练所述更新后的自适应递归增量模型得到训练后的自适应递归增量模型；根据所述训练后的自适应递归增量模型对所述任务区遥感影像进行分类，得到所述任务区遥感影像的分类结果。
4.可选地，所述方法还包括：在所述差值大于预设阈值的情况下，将所述任务区遥感影像对应的训练样本，输入所述自适应递归增量模型；若所述自适应递归增量模型的输出结果与期望结果的差距大于预设分类阈值，则所述自适应递归增量模型增加至少一层所述神经网络隐藏层，得到更新后的自适应递归增量模型。
5.可选地，所述方法还包括：将所述任务区划分为多个单位面积大小的规则格网；计算各所述规则网格的空间异质性，以及根据各所述规则网格的空间异质性确定所述任务区遥感影像的空间异质性水平。
6.可选地，所述确定所述任务区遥感影像的空间异质性水平与自适应递归增量模型对应空间异质性水平的差值，包括：计算所述任务区遥感影像的空间异质性水平与自适应递归增量模型中各神经网络隐藏层对应空间异质性水平的差值；各所述差值中最小值为所述任务区遥感影像的空间异质性水平与自适应递归增量模型对应空间异质性水平的差值。
7.可选地，所述方法还包括：若增加至少一层所述神经网络隐藏层，则初始化增加的所述神经网络隐藏层对应空间异质性水平；若未增加所述神经网络隐藏层，则按照以下方
式更新最佳匹配层对应空间异质性水平：
[0008][0009]
其中，m
best
为最佳匹配层对应空间异质性水平，ai为所述任务区遥感影像的空间异质性水平，q
best
为所述最佳匹配层对应空间区域的数量，所述最佳匹配层为所述差值中最小值对应的所述神经网络隐藏层。
[0010]
可选地，所述方法还包括：若未增加所述神经网络隐藏层，则按照以下方式更新所述预设异质性阈值：
[0011][0012]
其中，th为所述预设异质性阈值。
[0013]
可选地，所述方法还包括：计算所述自适应递归增量模型的第l层神经网络隐藏层的输出结果与期望结果的偏差的均值标准差
[0014]
判断是否满足以下条件：
[0015][0016]
其中，为所述自适应递归增量模型中神经网络隐藏层的输出结果与期望结果的最小值偏差的均值、标准差；若满足所述条件，则确定所述自适应递归增量模型的输出结果与期望结果的差距大于预设分类阈值。
[0017]
可选地，所述方法还包括：所述自适应递归增量模型增加至少一层所述神经网络隐藏层后，所述自适应递归增量模型中的参数或权重以随机方式在[-1,1]范围内采样。
[0018]
本发明提供一种自适应递归增量模型的遥感影像自动分类装置，包括：获取模块，用于获取任务区遥感影像，以及确定所述任务区的空间异质性水平与自适应递归增量模型对应空间异质性水平的差值；所述自适应递归增量模型包括至少一个神经网络隐藏层；模型调整模块，用于若所述差值大于预设异质性阈值，则所述自适应递归增量模型增加至少一层所述神经网络隐藏层，得到更新后的自适应递归增量模型；所述更新后的自适应递归增量模型中各所述神经网络隐藏层均直接连接到输入层和输出层；训练模块，用于根据所述任务区遥感影像对应的训练样本，训练所述更新后的自适应递归增量模型得到训练后的自适应递归增量模型；预测模块，用于根据所述训练后的自适应递归增量模型对所述任务区遥感影像进行分类，得到所述任务区遥感影像的分类结果。
[0019]
本发明提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有程序指令，所述处理器调用所述程序指令能够执行上述自适应递归增量模型的遥感影像分类方法。
[0020]
本发明实施例通过构建多层自适应递归增量网络模型，在任务区与当前的自适应递归增量模型的异质性差异程度大于阈值的情况下，增加模型的隐藏层层数，可以根据不同异质性程度自适应调整深度学习模型的层数，实现对遥感影像的自动分类，避免灾难性遗忘和计算资源的浪费。
附图说明
[0021]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0022]
图1为本发明实施例提供的一种自适应递归增量模型的遥感影像自动分类方法的逻辑示意图；
[0023]
图2为本发明实施例提供的一种自适应递归增量模型的遥感影像分类方法的流程示意图；
[0024]
图3为本发明实施例提供的另一种自适应递归增量模型的遥感影像分类方法的流程示意图；
[0025]
图4为本发明实施例提供的自适应递归增量模型的结构示意图；
[0026]
图5为本发明实施例提供的一种自适应递归增量模型的遥感影像分类装置的结构示意图。
具体实施方式
[0027]
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0028]
近几十年来遥感技术快速发展，遥感影像已广泛应用于军事、气象、地球资源、环境等领域。遥感影像分类是遥感领域研究的重要内容。然而，随着遥感影像分辨率的提高，遥感影像呈现了大量的新特点，如纹理特征丰富，光谱精细化，地物目标多尺度化等，使得传统遥感信息提取方法已不足以满足遥感影像分类的需求。
[0029]
深度学习方法因其较强的自主特征学习与类别判断能力已在高光谱影像分类中取得了重要进展。然而，现有的深度学习模型通常是在给定的数据集上进行训练与预测，属于静态模型。当面对具有明显异质性地物的不同区域时，已训练好的分类模型无法直接应用于新的异质性区域，需对旧模型进行重新训练与调参，否则会导致知识灾难性遗忘与计算资源浪费，大大限制了深度学习遥感影像分类模型的应用范围。
[0030]
本发明实施例中提出一个单一的模型，可以针对不同异质性区域进行持续性学习，根据不同异质性程度增加模型隐藏层层数，用于解决这种灾难性的遗忘问题，同时避免计算资源的浪费。
[0031]
图1示出了本发明实施例提供的一种自适应递归增量模型的遥感影像自动分类方法的逻辑示意图，示出了利用采集的遥感数据，对遥感影像地物信息进行提取。
[0032]
如图1所示，首先输入研究区的遥感影像数据及其训练样本；然后计算研究区地表异质性空间分布；其次设置异质性感知模块，该异质性感知模块根据不同区域的异质性差异值大小决定是否增加模型的隐藏层；其次异质性感知模块对自适应递归增量模型的隐藏层数进行增加或不变，最后，基于训练样本进行训练以及训练完毕后进行遥感影像自动分类。
[0033]
图2示出了本发明实施例提供的一种自适应递归增量模型的遥感影像分类方法的
流程示意图，该方法包括以下步骤：
[0034]
s202，获取任务区遥感影像，以及确定任务区遥感影像的空间异质性水平与自适应递归增量模型对应空间异质性水平的差值。
[0035]
可选地，可以将任务区划分为多个单位面积大小的规则格网；然后，计算各规则网格的空间异质性，以及根据各规则网格的空间异质性确定任务区遥感影像的空间异质性水平。例如，将任务区划分为单位面积大小的规则格网(1
×
1km)，然后根据遥感影像上栅格单元的边长s与栅格边界数量的乘积，计算每个格网的空间异质性程度。
[0036]
示例性地，本实施例中基于景观形状指数进行空间异质性衡量。景观形状指数(landscape shape index，lsi)是指图斑边长总和与面积开方的比值，广泛应用于地表覆盖变化分析、森林、农业用地等领域。lsi的传统计算公式是指地类边界与面积的比值，而对以栅格形式存在的遥感影像而言，其面积a是栅格单元的空间分辨率(s
×
s)与栅格个数q的乘积，a＝qs2。e则为栅格单元的边长s与栅格边界数量的乘积，每一栅格单元的边界数量取值为b，e＝∑bs。得到相应的lsi计算公式：
[0037][0038]
相对于其他几个常用的景观指数而言，lsi指数栅格计算方法具有两个优势，一是计算遥感影像空间异质性强弱更准确，二是计算效率更高。
[0039]
上述自适应递归增量模型包括至少一个神经网络隐藏层。可选地，该神经网络可以采用循环神经网络(recurrent neural network，rnn)。可以理解的是，在最初的自适应递归增量模型中，可以仅设置一个神经网络隐藏层，也可以设置多个神经网络隐藏层。多层神经网络隐藏层以集成方式排列，使得每一层都直接连接到输入层和输出层。
[0040]
自适应递归增量模型对应空间异质性水平包括该模型中各神经网络隐藏层分别对应的空间异质性水平。其中，新增的神经网络隐藏层在新处理一个任务区的遥感影像时添加至自适应递归增量模型，其对应的初始的空间异质性水平即由该新处理的任务区的空间异质性水平确定。
[0041]
本实施例中通过增加模型中隐藏层的层数解决异质性问题。自适应递归增量模型采用单独的网络层来学习不同异质性区域下的空间关系，并持续追踪每一层处理的平均异质性程度。具体地，按照以下方式确定异质性水平的差值：
[0042]
首先，计算任务区遥感影像的空间异质性水平与自适应递归增量模型中各神经网络隐藏层对应空间异质性水平的差值；然后，将各差值中最小值作为任务区遥感影像的空间异质性水平与自适应递归增量模型对应空间异质性水平的差值。
[0043]
当新增的任务区的空间异质性水平与模型中所有层的平均异质性水平之间的最小差异大于一个阈值，则模型就自动增加新的一层隐藏层，用于处理新增区域。
[0044]
s204，若上述差值大于预设异质性阈值，则自适应递归增量模型增加至少一层神经网络隐藏层，得到更新后的自适应递归增量模型。
[0045]
增加的至少一层神经网络隐藏层也采用集成排列方式，更新后的自适应递归增量模型中各神经网络隐藏层均直接连接到输入层和输出层。
[0046]
s206，根据任务区遥感影像对应的训练样本，训练更新后的自适应递归增量模型得到训练后的自适应递归增量模型。
[0047]
其中，可以将任务区的遥感影像少量标注得到训练样本，或者利用已有的分类结
果作为训练样本。基于上述训练样本训练上述更新后的自适应递归增量模型得到训练后的自适应递归增量模型。
[0048]
s208，根据训练后的自适应递归增量模型对任务区遥感影像进行分类，得到任务区遥感影像的分类结果。
[0049]
本发明实施例提供的自适应递归增量模型的遥感影像分类方法，构建了多层自适应递归增量网络模型，在任务区与当前的自适应递归增量模型的异质性差异程度大于阈值的情况下，增加模型的隐藏层层数，可以根据不同异质性程度自适应调整深度学习模型的层数，实现对遥感影像的自动分类，避免灾难性遗忘和计算资源的浪费。
[0050]
在本发明实施例中提供了一种多层自适应递归增量网络模型的构建方案，针对新增的异质性不同的研究区，构建多层自适应递归增量网络模型。该模型的主要目标是通过多层自适应循环增量网络对每个异质性区域内空间特征进行建模。例如，每当异质性感知模块识别出新区域的异质性程度与之前区域明显不同时，该模型的隐藏层层数增加1，以便可能适应新的异质性区域。
[0051]
当新增区域的空间异质性水平与模型中所有层的平均异质性水平之间的最小差异大于一个阈值th，则模型就自动增加新的一层(l+1层)，用于处理新增子区域。相应地，若增加至少一层神经网络隐藏层，则初始化增加的神经网络隐藏层对应空间异质性水平；新层的平均异质性水平初始化为：
[0052]ml+1
＝ai[0053]
其中，ai为与任务区遥感影像的空间异质性水平的差值最小的神经网络隐藏层对应的空间异质性水平。例如，有5个神经网络隐藏层，对应有5个异质性值，那ai就代表5个异质性值中与任务区遥感影像异质性值之差最小的那个异质性值。
[0054]
若未增加神经网络隐藏层，则按照以下方式更新最佳匹配层对应空间异质性水平，该最佳匹配层为模型中各层隐藏层中与任务区空间异质性水平差值最小的隐藏层：
[0055][0056]
其中，m
best
为最佳匹配层对应空间异质性水平，q
best
为最佳匹配层对应空间区域的数量，ai为任务区遥感影像的空间异质性水平。
[0057]
考虑到如果多个新增区域确定的最佳匹配层均为同一层，且随后均更新其异质性水平，会导致该层的异质性水平频繁更新，则该层的平均异质性水平很可能会出现显著偏差。为了解决这个问题，本实施例提出了一种自动阈值更新方式，若未增加神经网络隐藏层，则按照以下方式更新预设异质性阈值：
[0058][0059]
其中，th为预设异质性阈值。
[0060]
在上述方法的基础上，还可以包括模型内部网络结构自适应调整步骤。该步骤可以在满足上述异质性差异程度大于阈值的情况下，进一步依据模型输出结果与期望结果的差距实现自适应调整，即在该差距大于阈值的情况下再执行上述增加模型的隐藏层层数的操作；该步骤也可以在基于上述异质性差异程度大于阈值的情况下增加模型的隐藏层层数
后，再基于依据模型输出结果与期望结果的差距与阈值的大小关系确定是否再执行上述增加模型的隐藏层层数的操作。
[0061]
基于此，上述方法还可以包括：在上述差值大于预设阈值的情况下，将任务区遥感影像对应的训练样本，输入自适应递归增量模型；若自适应递归增量模型的输出结果与期望结果的差距大于预设分类阈值，则自适应递归增量模型增加至少一层神经网络隐藏层，得到更新后的自适应递归增量模型。
[0062]
示例性地，模型内部网络结构主要依据偏差和方差之间的权衡实现自适应调整。偏差和方差分别按照和估算。表示输出层的期望值，当第k层lk作为参与层时，其公式为：作为参与层时，其公式为：其中
[0063]
具体地，首先计算自适应递归增量模型的第l层神经网络隐藏层的输出结果与期望结果的偏差的均值标准差
[0064]
判断是否满足以下条件：
[0065][0066]
其中，为自适应递归增量模型中神经网络隐藏层的输出结果与期望结果的最小值偏差的均值、标准差；
[0067]
然后，若满足条件，则确定自适应递归增量模型的输出结果与期望结果的差距大于预设分类阈值。
[0068]
模型初始化为具有单个隐藏层，该隐藏层由单个隐藏单元构成，当出现高偏差显示模型过拟合情况时，模型自动增加更多的隐藏层。自适应递归增量模型增加至少一层神经网络隐藏层后，自适应递归增量模型中的参数或权重以随机方式在[-1,1]范围内采样。为了确保模型更好的收敛，新参数也可以使用自适应方式进行初始化。
[0069]
图3示出了本发明实施例提供的一种自适应递归增量模型的遥感影像分类方法的流程示意图，包括以下步骤：
[0070]
s302，初始化模型参数值。
[0071]
具体地，上述方法的数据输入包括：下载新区域的遥感影像，并标注少量训练样本，或者利用已有的分类结果作为训练样本。在本实施例中主要提取遥感影像中典型的几种地物类型，包含耕地、建成区、林地、水体以及其他5大类。如标注样本时，需要覆盖5种地物类型，且数量应该均衡，避免模型对某一种地类的过度拟合。其中，选择60％的训练样本用于模型的训练，40％的样本用于模型验证。上述方法的数据输出包括：待分类影像的分类结果，即具有耕地、建成区、林地、水体以及其他5大类的遥感影像分类成果图。
[0072]
初始化自适应递归增量模型的参数，其中隐藏层初始化为1，异质性模块中不同异质性水平差异阈值初始化为对应区域影像中的像元数量，模型第一层时，初始化模型第一层的平均异质性水平。
[0073]
s304，计算景观形状指数，衡量空间异质性。
[0074]
计算新区域与模型对应各区域的景观形状指数，用于衡量新区域与模型各区域遥感影像的空间异质性以及比较各区域之间的差异。由于景观形状指数lsi极易受到区域面
积的影响，面积较大的区域常常具有较高的lsi，导致难以根据两个子区域的lsi，比较其空间异质性强弱差距。因此，为了消除面积对lsi的影响，则可以选择在面积相等的情况下计算lsi，只反映遥感影像的空间异质性。将研究区划分为单位面积大小的规则格网(1
×
1km)，计算每一格网内lsi。假设第i个区域被划分为gni个格网，第j个格网的lsi的数值为glsij，其区域空间异质性计算公式如下：
[0075][0076]
当每个区域获得异质性水平后，开始进行异质性感知处理。计算新区域与模型各区域的最小平均异质性差异，当其大于阈值时，则需要增加新的一层，同时对新增隐藏层的阈值进行自动调整。当小于阈值时，不增加隐藏层，计算当前最佳匹配层的阈值。
[0077]
s306，判断新区域与模型各区域的异质性差异最小值是否小于阈值。若是则执行s308，若否则执行s312。
[0078]
若两个异质性区域之间的异质性差异最小值小于阈值，则自适应递归增量模型的隐藏层仅包含一个前向循环神经网络和一个后向循环神经网络层，直接按照上述公式调整当前层的阈值，按照上述公式调整平均异质性水平。当两个异质性区域之间的最小差异大于阈值时，自适应递归增量模型的层数需要增加一层，包含新增一个前向循环神经网络和新增一个后向循环神经网络，并自动更新模型参数。
[0079]
s308，增加模型层数。
[0080]
s310，自动调整当前层的阈值参数。
[0081]
s312，调整新层的阈值参数。
[0082]
循环执行图3所示的方法，循环的条件为遍历所有的子区域，直至所有区域。在循环后得到调整后的自适应递归增量模型，将新区域的遥感影像输入实现影像预测。
[0083]
图4示出了自适应递归增量模型的结构示意图，图4中最右侧示出了初始状态下仅包括一层rnn隐藏层，在新增区域时，视异质性水平差异的大小决定是否增加模型的隐藏层。图4中从右至左示出了不断增加rnn隐藏层的结构示意图。
[0084]
本发明实施例根据不同异质性程度自适应调整深度学习模型的层数，实现对遥感影像的自动分类，避免灾难性遗忘和计算资源的浪费。
[0085]
本发明实施例提供了一种自适应递归增量模型的遥感影像分类装置，图5为本发明实施例提供的一种自适应递归增量模型的遥感影像分类装置的结构示意图，该装置包括：
[0086]
获取模块501，用于获取任务区遥感影像，以及确定所述任务区的空间异质性水平与自适应递归增量模型对应空间异质性水平的差值；所述自适应递归增量模型包括至少一个神经网络隐藏层；
[0087]
模型调整模块502，用于若所述差值大于预设异质性阈值，则所述自适应递归增量模型增加至少一层所述神经网络隐藏层，得到更新后的自适应递归增量模型；所述更新后的自适应递归增量模型中各所述神经网络隐藏层均直接连接到输入层和输出层；
[0088]
训练模块503，用于根据所述任务区遥感影像对应的训练样本，训练所述更新后的自适应递归增量模型得到训练后的自适应递归增量模型；
[0089]
预测模块504，用于根据所述训练后的自适应递归增量模型对所述任务区遥感影像进行分类，得到所述任务区遥感影像的分类结果。
[0090]
本发明实施例提供的自适应递归增量模型的遥感影像分类装置，构建了多层自适应递归增量网络模型，在任务区与当前的自适应递归增量模型的异质性差异程度大于阈值的情况下，增加模型的隐藏层层数，可以根据不同异质性程度自适应调整深度学习模型的层数，实现对遥感影像的自动分类，避免灾难性遗忘和计算资源的浪费。
[0091]
本发明实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有程序指令，所述处理器调用所述程序指令能够执行上述自适应递归增量模型的遥感影像分类方法。
[0092]
本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
[0093]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0094]
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。