基于增量式差异学习网络的多源异质影像变化检测方法

1.本发明属于图像处理领域，具体涉及一种基于增量式差异学习网络的多源异质影像变化检测方法。


背景技术：

2.近年来，随着遥感技术的迅速发展，遥感影像变化检测作为其中最重要的关键技术之一，已经广泛应用于多个领域，如国土资源管理、地物变化和农林业监测等。针对遥感影像变化检测的研究课题中，基于不同传感器获取到的多源异质遥感影像的变化检测是一个颇具挑战性的问题之一，由于不同传感器的成像机理不同，对相同场景的观测结果也存在很大差异，因此无法对多源异质遥感影像进行直接有效的比较。
3.目前已有一些多源异质遥感影像变化检测算法被相继提出，如分类后比较法(post-classification comparison，pcc)、直接多日期分类(direct multi-dateclassification，dmc)方法和基于目标的分类方法(object-based land cover changedetection，obcd)等。此外，核典型关联分析和copula理论也常被用于处理多源异质遥感影像变化检测问题。但是，这些方法需要通过人工标记不变的像素去建模学习两相时影像间的依赖关系，无法得到广泛应用。
4.随着深度神经网络这一具备优秀特征提取和分析能力的工具得到广泛研究与应用，越来越多学者将深度学习与传统变化检测方法进行结合，用以处理多源异质遥感影像的变化检测问题。虽然多源异质遥感影像在低维观测空间中难以被直接比较，但其仍然具备同一区域的信息表示，结合深度模型的高维特征分析能力，使得多源异质遥感影像数据在高维特征空间中进行差异信息分析成为可能。基于这种思想，liu等人结合copula理论，提出了基于对称耦合卷积网络(symmetric convolutional coupling network，sccn)的多源异质遥感影像变化检测方法。sccn将两幅多源异质遥感影像通过耦合结构转换到同一特征空间中，将处于该空间的特征数据视为同源影像数据进行处理，通过直接比较的方法生成差异图进行分析。
5.除了将多源异质遥感影像数据映射到同一特征空间这种方式实现差异分析以外，将两幅多源异质遥感影像数据的其中一幅进行转换映射，向另一幅影像数据的特性靠近，也能实现有效的差异信息分析。niu等人提出了基于条件对抗网络(conditional adversarial network，can)的异质图像变化检测方法，通过生成模型对多源异质遥感影像进行转译，将生成的影像当作同源影像数据进行处理，然后通过判别模型来学习到区分变化类与未变化类的能力。在niu等人提出的基于can的变化检测方法的启发下，luigi等人提出了基于对抗性循环编码器网络(adversarial cyclic encoders network，ace-net)的变化检测方法。在ace-net中，首先通过计算基于邻域像素块的亲和度矩阵(affinitymatrices)来为变化算法提供先验信息，然后使用两个自动编码器来构成 ace-net，通过生成对抗学习将原始异质影像数据映射到同一个潜在空间中，最后通过简单的距离度量即可得到差异图。zhan利用对数变换方法来实现多源异质遥感影像转译，提出了基于对数变换
特征学习的异质sar和光学遥感影像变化检测方法。该方法通过将对数变换应用于sar图像，以实现与光学图像相似的统计分布特性，然后使用深度堆栈自编码器对变换后的影像实现联合特征提取，可以从转换后的图像对中学习到高水平的特征表示，用于选择可靠的样本来训练神经网络分类器。
6.但上述利用深度神经网络的多源异质遥感影像变化检测算法普遍存在较多的错检、漏检情况，检测精度并不高。


技术实现要素：

7.本发明实施例的目的在于提供一种基于增量式差异学习网络的多源异质影像变化检测方法，以实现提高检测精度的目的。具体技术方案如下：
8.第一方面，本发明实施例提供了一种基于增量式差异学习网络的多源异质影像变化检测方法，所述方法包括：
9.对获取的两幅多源异质遥感影像，分别构建原始训练样本；
10.利用得到的两组原始训练样本分别训练预设的深度去噪自动编码器，基于训练完成的两个深度去噪自动编码器构建差异学习网络；
11.根据所述两组原始训练样本和所述差异学习网络在当前次迭代中的目标函数，对所述差异学习网络进行训练，得到所述两组原始训练样本在当前次迭代中的预分类结果图；
12.利用得到的预分类结果图和预设的样本筛选策略，确定当前次迭代中的分类器训练集，利用所述当前次迭代中的分类器训练集对所述分类器进行训练，得到当前次迭代中的分类器的训练损失和训练完成的分类器；
13.判断当前次迭代是否达到预设的迭代停止条件；
14.若否，利用当前次迭代中的分类器的训练损失更新所述差异学习网络的目标函数，并返回执行所述根据所述两组原始训练样本和所述差异学习网络在当前次迭代中的目标函数，对所述差异学习网络进行训练的步骤；
15.若是，利用当前次迭代中训练完成的分类器，得到所述两幅多源异质遥感影像的变化检测结果图。
16.在本发明的一个实施例中，所述两幅多源异质遥感影像中，一幅为sar影像，另一幅为光学影像。
17.在本发明的一个实施例中，所述对获取的两幅多源异质遥感影像，分别构建原始训练样本，包括：
18.对每一幅多源异质遥感影像得到像素邻域样本矩阵，作为对应的原始训练样本。
19.在本发明的一个实施例中，所述利用得到的两组原始训练样本分别训练预设的深度去噪自动编码器，包括：
20.将得到的两组原始训练样本分别作为输入数据，训练预设的深度去噪自动编码器，得到训练完成的两个深度去噪自动编码器。
21.在本发明的一个实施例中，所述根据所述两组原始训练样本和所述差异学习网络在当前次迭代中的目标函数，对所述差异学习网络进行训练，得到所述两组原始训练样本在当前次迭代中的预分类结果图，包括：
22.利用所述训练完成的两个深度去噪自动编码器分别对对应组原始训练样本进行特征提取，得到一对高维特征矩阵；
23.利用所述训练完成的两个深度去噪自动编码器将所述一对高维特征矩阵映射到同一特征空间，得到同一特征空间中的两个特征图；
24.根据所述差异学习网络在当前次迭代中的目标函数，对所述两个特征图进行相似性度量得到差异图；
25.基于所述差异图得到当前次迭代中所述两组原始训练样本分别对应的预分类结果图；其中，一组原始训练样本对应的预分类结果图包括各像素位置的预分类结果值，用于表征该组原始训练样本所属的多源异质遥感影像中，相同像素位置上的像素类别为变化类或者未变化类。
26.在本发明的一个实施例中，所述基于所述差异图得到当前次迭代中所述两组原始训练样本分别对应的预分类结果图，包括：
27.利用预设阈值算法对所述差异图进行阈值划分，得到阈值划分矩阵；
28.根据所述阈值划分矩阵对所述两组原始训练样本中各像素位置的像素类别进行划分，得到当前次迭代中所述两组原始训练样本分别对应的预分类结果图。
29.在本发明的一个实施例中，所述利用得到的预分类结果图和预设的样本筛选策略，确定当前次迭代中的分类器训练集，包括：
30.针对每组原始训练样本，对该组原始训练样本中的每个像素，通过判断当前次迭代获得的预分类结果图中，该像素的预分类结果值是否满足预设的样本筛选策略，确定该组原始训练样本对应的分类器新增训练集；
31.将所述两组原始训练样本的分类器新增训练集添加入上一次迭代中的分类器训练集中，得到当前次迭代中的分类器训练集；其中，针对首次迭代，上一次迭代中的分类器训练集为空集。
32.在本发明的一个实施例中，所述针对每组原始训练样本，对该组原始训练样本中的每个像素，通过判断当前次迭代获得的预分类结果图中，该像素的预分类结果值是否满足预设的样本筛选策略，确定该组原始训练样本对应的分类器新增训练集，包括：
33.若当前次迭代为首次迭代，针对每组原始训练样本，对该组原始训练样本中的每个像素，判断首次迭代获得的预分类结果图中，该像素的预分类结果值是否大于预设阈值，如果是，将该像素确定为首次迭代中分类器的一个新增训练样本，将该像素的预分类结果值确定为对应的伪标签；并由两组原始训练样本获得的所有新增训练样本和对应的伪标签构成首次迭代中的分类器新增训练集；
34.若当前次迭代为首次迭代之后的任一次迭代，针对每组原始训练样本，对该组原始训练样本中的每个像素，将该像素确定为当前次迭代中分类器的一个新增训练样本，判断包括当前次迭代在内的各次迭代获得的所有预分类结果图中，该像素的预分类结果值的平均值是否大于预设阈值，如果是，将该像素在当前次迭代获得的预分类结果值确定为对应的伪标签；如果否，将该像素在前一次迭代获得的预分类结果值确定为对应的伪标签；并由两组原始训练样本获得的所有新增训练样本和对应的伪标签构成当前次迭代中的分类器新增训练集。
35.在本发明的一个实施例中，所述预设阈值为0.5。
36.在本发明的一个实施例中，针对所述差异学习网络，更新后的目标函数，包括：
[0037][0038]
其中，j
hdln
(θh,m
p
)表示所述差异学习网络更新后的目标函数；θh表示所述差异学习网络的参数集合；m
p
(x,y)∈[0,1]表示在像素位置(x,y)上的像素未发生变化的概率；m表示未变化矩阵；s(i1,i2)表示相似性度量结果；m
×
n表示多源异质影像的尺寸；lc表示分类器的训练损失；表示所述差异学习网络的初始目标函数。
[0039]
本发明的有益效果：
[0040]
本发明实施例所提供的方案中，构建了一个增量式异质差异学习网络，包括基于去噪自动编码器的差异学习网络和分类器。对差异学习网络和分类器不断交替迭代训练，在每一次迭代训练中，先利用差异学习网络得到两幅多源异质遥感影像的预分类结果图以提供分类器训练中训练样本的伪标签，然后利用分类器训练得到的训练损失更新差异学习网络的目标函数以进行差异学习网络的下一次迭代训练，通过将分类器的训练损失反馈更新差异学习网络的目标函数，能够驱使差异学习网络进一步优化以提取对噪声更鲁棒和更利于差异分析的特征，提高预分类结果图的准确性，继而提高分类器训练中伪标签的准确性。同时利用预设的样本筛选策略确定当前次迭代中的分类器训练集，能够选择伪标签更可靠的样本进行分类器训练，因此，整体能够提升变化检测的精度。
附图说明
[0041]
图1为本发明实施例所提供的一种基于增量式差异学习网络的多源异质影像变化检测方法的流程示意图；
[0042]
图2为本发明实施例的原始训练样本构建过程示意图；
[0043]
图3为现有技术中的dae的结构示意图；
[0044]
图4为本发明实施例中sdae训练过程的示意图；
[0045]
图5为本发明实施例中的样本筛选策略的实施过程示意图；
[0046]
图6为本发明实施例所提供的基于增量式差异学习网络的多源异质影像变化检测方法的原理过程示意图；
[0047]
图7为本发明实施例实验采用的撒丁岛(sardinia)数据集；
[0048]
图8为本发明实施例实验采用的德克萨斯(texas)数据集；
[0049]
图9为本发明实施例实验采用的加利福尼亚(california)数据集；
[0050]
图10为本发明实施例实验中各变化检测方法在sardinia数据集上的实验结果对比；
[0051]
图11为本发明实施例实验中各变化检测方法在sardinia数据集上的变化检测结果中错检和漏检情况对比。
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
为了实现提高检测精度的目的，本发明实施例提供了一种基于增量式差异学习网络的多源异质影像变化检测方法。
[0054]
需要说明的是，本发明实施例所提供的一种方法的执行主体可以为一种基于增量式差异学习网络的多源异质影像变化检测装置，装置可以运行于电子设备中。其中，该电子设备可以为一服务器或终端设备，当然并不局限于此。
[0055]
下面，首先对本发明实施例所提供的一种基于增量式差异学习网络的多源异质影像变化检测方法进行介绍。
[0056]
如图1所示，本发明实施例所提供的一种基于增量式差异学习网络的多源异质影像变化检测方法，可以包括如下步骤：
[0057]
s1，对获取的两幅多源异质遥感影像，分别构建原始训练样本。
[0058]
本发明实施例中的两幅多源异质遥感影像是针对同一对象区域利用不同传感器获取到的两相时遥感影像。
[0059]
关于两幅多源异质遥感影像的具体类型可以根据需要选定，比如可以均为光学影像，也可以均为sar(synthetic aperture radar，合成孔径雷达)影像。通常，可选的一种实施方式中，两幅多源异质遥感影像中，一幅为sar影像，另一幅为光学影像。为了便于描述，将两幅多源异质遥感影像分别表示为i1和 i2，具体尺寸均为m
×
n。
[0060]
可选的一种实施方式中，对获取的两幅多源异质遥感影像，分别构建原始训练样本，包括：
[0061]
对每一幅多源异质遥感影像得到像素邻域样本矩阵，作为对应的原始训练样本。
[0062]
具体的，以多源异质遥感影像i1为例说明该过程。对于i1中的某一个像素位置(i,j)，i∈[1,m]，j∈[1,n]，在该像素位置上的像素为取以该像素为中心的、大小为l
×
l的邻域图像块为将中的像素按行或列顺序展开，即保持邻域图像块内各个像素间相对顺序不变，得到长度为l2的一维向量则该一维向量为表征该像素的一个像素邻域样本。遍历i1中每一个像素位置上的像素，将各像素位置的像素所得到的一维向量按顺序堆叠在一起，构成i1的像素邻域样本矩阵，作为i1的原始训练样本，其中，i＝1,2,...,m，j＝1,2,...,n。
[0063]
其中，邻域图像块的大小可以根据需要设置，比如可以为3
×
3等。
[0064]
对i2采用同样的方式进行像素遍历，可以得到i2的像素邻域样本矩阵x2作为i2的原始训练样本。
[0065]
本发明实施例的原始训练样本的构建过程可以参见图2理解。图2为本发明实施例的原始训练样本构建过程示意图。
[0066]
需要说明的是，在得到一幅多源异质遥感影像的像素邻域样本矩阵的过程中，遥感影像边缘无法得到邻域图像块的像素会被舍弃。
[0067]
s2，利用得到的两组原始训练样本分别训练预设的深度去噪自动编码器，基于训练完成的两个深度去噪自动编码器构建差异学习网络。
[0068]
深度去噪自动编码器(stacked denoising autoencoder，sdae)也被称为深度去噪自编码器、堆叠降噪自编码器或堆栈去噪自编码器。它是由多个去噪自动编码器(denoising autoencoder，dae)堆叠而成。dae在标准自动编码器(auto-encoder，ae)的基础上进行了修改，在输入样本上加入服从特定分布的随机噪声作为编码器输入数据利用遭到噪声“腐蚀”的部分样本数据去重构出不含噪声的“纯净”数据从而使dae能够学习到更加鲁棒的数据特征。关于dae的结构请参见图3理解，其中，编码器和解码器中间的一层为隐藏层。
[0069]
s2的具体过程包括：
[0070]
将得到的两组原始训练样本分别作为输入数据，训练预设的深度去噪自动编码器，得到训练完成的两个深度去噪自动编码器。
[0071]
sdae通过多层特征映射操作能够提取有用的信息表示，能够从遭到随机损坏的输入数据中自动学习并重构输入。在发明实施例中，考虑在sdae训练过程中添加与影像数据噪声特性对应的噪声来重构损坏的输入数据，迫使 sdae从遭到噪声“腐蚀”的数据中重构出原始数据，使模型具备良好的噪声抑制能力。比如，针对sar影像，dae中添加的随机噪声可以为伽马噪声；针对光学影像，dae中添加的随机噪声可以为高斯噪声，等等。当然，以上噪声类型仅仅作为示例，并不构成对本发明实施例的限制。
[0072]
通过在dae中加入随机噪声，将原始训练样本输入sdae进行训练，迫使sdae提取更抽象和抗噪声的特征，这将有助于提高模型的表示学习性能。在输入原始训练样本后，对sdae进行无监督预训练，请结合图4理解sdae 的训练过程。
[0073]
具体的，sdae的训练方法是逐层训练，每层dae的训练输入均为前一层 dae隐藏层的输出。以利用遥感影像数据i1的sdae训练过程为例，sdae的输入为i1的原始训练样本。对于每一个dae层，网络参数的预训练通过最小化重构误差来实现。其中：
[0074][0075]
其中，表示i1中像素位置(x,y)上的特征向量，也就是前文描述的作为像素邻域样本的一维向量；表示经过sdae重构输出的特征向量；l(
·
)表示sdae的重构损失函数；w
re
和b
re
分别表示sdae的网络权重参数和偏置参数；j
sdae
(w
re
,b
re
)表示i1所有像素位置上的特征向量重构误差之和。
[0076]
在sdae训练过程中，一般使用均方误差作为重构损失函数。sdae的重构损失函数定义如下：
[0077][0078]
其中，表示像素位置(x,y)上的特征向量与经过sdae重构输出的特征向量的距离平方差。
[0079]
用输入的原始训练样本进行初步训练，得到sdae初步的网络参数w
re
和 b
re
。然后，将作为输入的原始训练训练样本通过bp算法对sdae中的网络参数w
re
和b
re
进行微调，则得到训练完成的sdae。
[0080]
利用i2训练sdae的过程是类似的。假设利用i1和i2训练sdae分别得到训练完成的sdae1和sdae2。基于sdae1和sdae2可以构建差异学习网络。关于差异学习网络的具体组成在s3步骤结合处理过程进行说明。
[0081]
s3，根据两组原始训练样本和差异学习网络在当前次迭代中的目标函数，对差异学习网络进行训练，得到两组原始训练样本在当前次迭代中的预分类结果图。
[0082]
本发明实施例提出了一种增量式异质差异学习网络(incremental frameworkfor heterogeneous difference learning network，ihdln)，具体包括差异学习网络和分类器。s3和s4步骤实际上是在ihdln的一次迭代过程中，完成差异学习网络和分类器的一次交替训练。其中s3步骤完成差异学习网络的训练，s4 步骤完成分类器的训练。
[0083]
首先需要说明的是，本发明实施例中，差异学习网络的每次训练需要利用其目标函数完成，而针对各次迭代，目标函数是不断更新的。关于目标函数和具体的更新在后文中详细说明。
[0084]
可选的一种实施方式中，s3可以包括：
[0085]
s31，利用训练完成的两个深度去噪自动编码器分别对对应组原始训练样本进行特征提取，得到一对高维特征矩阵。
[0086]
具体的，向训练完成的sdae1和sdae2分别输入原先各自对应的一组原始训练样本，从各自最后一个隐藏层分别得到一个高维特征矩阵。为了便于描述，将i1经过sdae1得到的高维特征矩阵表示为h1，i2经过sdae2得到的高维特征矩阵表示为h2。
[0087]
s32，利用训练完成的两个深度去噪自动编码器将一对高维特征矩阵映射到同一特征空间，得到同一特征空间中的两个特征图。
[0088]
具体的，将得到的高维特征矩阵h1再次输入sdae1，将h2再次输入 sdae2，将这一对高维特征矩阵分别映射到同一特征空间中，各自得到一个特征图。过程可以用以下公式描述：
[0089][0090]
其中，f
1dbcn
和f
2dbcn
分别表示sdae1对高维特征矩阵h1的映射操作和 sdae2对高维特征矩阵h2的映射操作；c1表示sdae1对高维特征矩阵h1映射后得到的特征图，c2表示sdae2对高维特征矩阵h2映射后得到的特征图。
[0091]
s33，根据差异学习网络在当前次迭代中的目标函数，对两个特征图进行相似性度量得到差异图。
[0092]
在映射完成后，所生成的特征图c1和c2在同一特征空间中，可以以差异学习网络在当前次迭代中的目标函数最小化为目标，通过相似性度量进行比较，以分析差异。
[0093]
可以选用现有的任意一种相似性度量方法，比如汉明距离、余弦相似度等，得到两个特征图对应的差异图。
[0094]
可选的一种实施方式中，相似性度量方法可以采用欧几里得距离，即计算 l2距离
来衡量c1和c2在对应像素位置上像素的相似情况。当c1和c2同一像素位置的像素间的l2距离越小，表明在i1和i2中该像素位置上像素的差异越小，当距离足够小则可以认为在该像素位置上两像素未发生变化。反之，当同一像素位置的像素间的l2距离越大，则表明在i1和i2中该像素位置上两像素的差异越大。
[0095]
本发明实施例中，采用欧几里得距离进行相似性度量的计算方式如下：
[0096][0097]
其中，s(x,y)表示在像素位置(x,y)上c1和c2的像素差值；通过对每个像素位置上的像素差值s(x,y)进行组合，得到相似性度量结果s(i1,i2)，也就是差异图，差异图可以用ds表示。可以理解的是，差异图中每个像素位置的数值表征i1和i2同像素位置上两个像素的差异程度。
[0098]
本发明实施例通过对c1和c2进行相似性度量，得到i1和i2的差异图。由于在差异图中，在i1和i2间发生变化的区域会呈现较大的像素差值，而未发生变化的区域会呈现较小的像素差值。因此，本发明实施例中差异学习网络的初始目标函数被定义为：
[0099][0100]
其中，m
p
(x,y)∈[0,1]表示在像素位置(x,y)上的像素未发生变化的概率，即像素未变化概率，其可以用于划分一个像素属于变化类还是未变化类，比如 m
p
(x,y)为0表示未变化类，m
p
(x,y)为1表示变化类。将所有像素的m
p
(x,y) 组合起来，形成未变化矩阵m；θh表示差异学习网络的参数集合，有θh＝{wh,bh}， wh和bh分别表示差异学习网络的网络权重参数和偏置参数。
[0101]
s34，基于差异图得到当前次迭代中两组原始训练样本分别对应的预分类结果图。
[0102]
其中，一组原始训练样本对应的预分类结果图包括各像素位置的预分类结果值，用于表征该组原始训练样本所属的多源异质遥感影像中，相同像素位置上的像素类别为变化类或者未变化类。
[0103]
可选的一种实施方式中，s34可以包括：
[0104]
s341，利用预设阈值算法对差异图进行阈值划分，得到阈值划分矩阵。
[0105]
由于差异图中一个像素位置的数值表征i1和i2针对该像素位置的像素差异，那么，可以利用一定的阈值来判定i1和i2中该像素位置的两个像素是否发生变化，若两者的差异大于一定的阈值则可以视为发生变化，则该像素位置的像素为变化类；若两者的差异不大于一定的阈值则可以视为未发生变化，则该像素位置的像素为未变化类。
[0106]
本发明实施例可以采用现有的任意一种阈值算法，比如最大熵法、类间方差法、交叉熵法、最小误差法、模糊熵法、otsu(即大津法)阈值算法等。
[0107]
可以对差异图中各像素位置的数值利用阈值划分，将高于阈值的数值以一种数值形式表示，低于阈值的数值以另一种数值形式表示，比如差异图中高于阈值的数值以1表示，低于阈值的数值以0表示，等等。可以利用得到的所有数值，如多个1和0等，按照像素位
置构成阈值划分矩阵os。
[0108]
s342，根据阈值划分矩阵对两组原始训练样本中各像素位置的像素类别进行划分，得到当前次迭代中两组原始训练样本分别对应的预分类结果图。
[0109]
可以理解的是，针对阈值划分矩阵os中每个像素位置的数值，通过判断其数值表示形式，可以确定i1和i2对应像素位置中的像素为变化类或者未变化类。
[0110]
因此，可以利用阈值划分矩阵os得到i1和i2分别对应的预分类结果图，预分类结果图可以用i
pre
表示。
[0111]
其中，m
p
(x,y)的计算公式如下：
[0112][0113]
其中，sign(
·
)表示符号函数。设x为符号函数的输入，其输出为：
[0114][0115]
本发明实施例采用差异学习网络和分类器交替优化的方式，实现了一种增量式学习框架，利于前一次交替训练的结果指导下一次交替训练，实现增量训练效果，因此，在差异学习网络的目标函数中要考虑分类器的检测效果，从而引导差异学习网络学习提取更利于变化检测的特征。因此，本发明实施例在第二次迭代开始，在差异学习网络的目标函数中加入上一次迭代中分类器的训练损失。因此，从第二次迭代开始差异学习网络的目标函数的表达式为：
[0116][0117]
其中，j
hdln
(θh,m)表示差异学习网络更新后的目标函数；θh表示差异学习网络的参数集合；m
p
(x,y)∈[0,1]表示在像素位置(x,y)上的像素未发生变化的概率；m表示未变化矩阵；s(i1,i2)表示相似性度量结果；m
×
n表示多源异质影像的尺寸；lc表示分类器的训练损失；表示差异学习网络的初始目标函数。关于lc的内容在后文中具体说明。
[0118]
s4，利用得到的预分类结果图和预设的样本筛选策略，确定当前次迭代中的分类器训练集，利用当前次迭代中的分类器训练集对分类器进行训练，得到当前次迭代中的分类器的训练损失和训练完成的分类器。
[0119]
首先，对本发明实施例中的分类器进行简单介绍。
[0120]
本发明实施例中的分类器采用全连接网络结构实现。其中，每一层的节点数分别为(l
×
l
×
2，128，512，64，2)。设θc＝[wc,bc]为分类器的网络参数，wc和bc分别表示分类器的网络权重参数和偏置参数。
[0121]
分类器的训练方式是有监督训练，需要训练样本和对应的伪标签构成分类器训练集来实现。训练样本来自i1和i2中的像素，第i个训练样本可以用xi表示。训练样本的伪标签
是训练样本为变化类还是未变化类的信息，可以利用预分类结果图i
pre
得到，可以用yi表示，伪标签yi表示分类器训练中第i个训练样本分类的真实值。
[0122]
分类器训练时，输入多个训练样本xi和对应的伪标签yi，利用分类器损失函数完成训练过程。本发明实施例中分类器损失函数为：
[0123][0124]
其中，n表示训练样本的数量；xi表示第i个训练样本；w表示分类器的网络权重参数；f(
·
)表示分类器对xi的预测；yi表示第i个训练样本的伪标签；y和分别表示训练样本分类信息的真实值和分类器的预测值；λ表示正则化参数。
[0125]
可以理解的是，当分类器完成训练，公式(9)中lc的数值即为分类器的训练损失。
[0126]
但是由于预分类结果图中对像素属于变化类还是未变化类的划分并不完全准确，使用i1和i2中的所有像素，以及由对应预分类结果图得到的伪标签来构成分类器训练集会影响分类器训练的准确性。为此，本发明实施例提出一种样本筛选策略以确定每次迭代的分类器训练集。
[0127]
可选的一种实施方式中，利用得到的预分类结果图和预设的样本筛选策略，确定当前次迭代中的分类器训练集，包括：
[0128]
①
针对每组原始训练样本，对该组原始训练样本中的每个像素，通过判断当前次迭代获得的预分类结果图中，该像素的预分类结果值是否满足预设的样本筛选策略，确定该组原始训练样本对应的分类器新增训练集。
[0129]
②
将两组原始训练样本的分类器新增训练集添加入上一次迭代中的分类器训练集中，得到当前次迭代中的分类器训练集。
[0130]
其中，针对首次迭代，上一次迭代中的分类器训练集为空集。
[0131]
具体的，本发明实施例的预设的样本筛选策略的目的是，确定像素位置(x,y)的预分类结果i
pre
(x,y)能否作为分类器训练中对应训练样本的伪标签。关于该样本筛选策略的实施过程可以参见图5理解。
[0132]
关于该样本筛选策略，具体的，设最大迭代次数为n
hdln
，当前的迭代次数是第i次，差异学习网络第i次迭代过程的预分类结果为i
ipre
，i＝1,2,...,n
hdln
，选择遥感图像i1或i2某一个像素位置(x,y)上的预分类结果i
ipre
(x,y)能否作为对应遥感图像中像素位置为(x,y)的训练样本的伪标签的判别标准为：
[0133][0134]
其中，α
pre
表示选择一遥感图像在像素位置(x,y)上的预分类结果i
ipre
(x,y) 作为训练样本的伪标签的预设阈值，可以根据经验值或者实际需要来确定。
[0135]
因此，
①
具体可以包括：
[0136]
若当前次迭代为首次迭代，针对每组原始训练样本，对该组原始训练样本中的每个像素，判断首次迭代获得的预分类结果图中，该像素的预分类结果值是否大于预设阈值，
如果是，将该像素确定为首次迭代中分类器的一个新增训练样本，将该像素的预分类结果值确定为对应的伪标签；并由两组原始训练样本获得的所有新增训练样本和对应的伪标签构成首次迭代中的分类器新增训练集。
[0137]
若当前次迭代为首次迭代之后的任一次迭代，针对每组原始训练样本，对该组原始训练样本中的每个像素，将该像素确定为当前次迭代中分类器的一个新增训练样本，判断包括当前次迭代在内的各次迭代获得的所有预分类结果图中，该像素的预分类结果值的平均值是否大于预设阈值，如果是，将该像素在当前次迭代获得的预分类结果值确定为对应的伪标签；如果否，将该像素在前一次迭代获得的预分类结果值确定为对应的伪标签；并由两组原始训练样本获得的所有新增训练样本和对应的伪标签构成当前次迭代中的分类器新增训练集。
[0138]
其中，可选的一种实施方式中，预设阈值可以为0.5。以下以预设阈值α
pre
＝0.5为例具体说明。
[0139]
比如，在差异学习网络的首次迭代过程中，针对i1中的每个像素位置(x,y)，利用公式(10)来判断i
1pre
(x,y)是否大于0.5，如果是，则i1中的像素位置(x,y) 的像素为i1的新增训练样本，本次获得的预分类结果值作为对应的伪标签。那么，可以理解的是，当按照该种方式，遍历判断i1中的所有像素位置，可以选出一些像素作为新增训练样本。同样的，针对i2，也可以选出一些像素作为新增训练样本。那么由所有新增训练样本和对应的伪标签构成首次迭代中的分类器新增训练集，由于首次迭代之前并没有分类器训练集，该首次迭代中的分类器新增训练集也就是首次迭代中的分类器训练集。
[0140]
在差异学习网络从第二次开始的一次迭代过程中，针对i1中的每个像素位置(x,y)均会被作为新增训练样本，但对应的伪标签可能并非是本次迭代中对应的预分类结果值。具体的，利用公式(10)来判断截止当前，获得的该像素位置的所有预分类结果值的平均值是否大于0.5，如果是，则i1中像素位置(x,y)的像素作为新增训练样本的伪标签是本次迭代中对应的预分类结果值；如果否，则i1中像素位置(x,y)的像素作为新增训练样本的伪标签是上一次迭代中对应的预分类结果值。那么，可以理解的是，当按照该种方式，遍历判断i1和i2中的所有像素位置，可以确定当前次迭代中对应的分类器新增训练集，将当前次迭代中对应的分类器新增训练集加入上一次迭代的分类器训练集，可以得到当前次迭代的分类器训练集。
[0141]
可以理解的是，随着迭代次数的增加，分类器训练集的规模在不断扩大。本发明实施例不断在迭代过程中向分类器训练集加入高可靠性的有效样本，能够赋能分类器实现更精细的变化检测效果。
[0142]
可以理解的是，针对每次迭代，利用当前次迭代中的分类器训练集对分类器进行训练，可以得到当前次迭代中分类器的训练损失lc，以及训练完成的分类器。
[0143]
关于具体的分类器训练过程请结合相关现有技术理解，在此不做详细说明。
[0144]
s5，判断当前次迭代是否达到预设的迭代停止条件。
[0145]
预设的迭代停止条件可以为：当前次迭代达到预设的最大迭代次数或者当前次迭代的差异学习网络的目标函数值的变化量小于预设变化量。其中，当前次迭代的差异学习网络的目标函数值的变化量是指，当前次迭代的差异学习网络的目标函数值与上一次迭代的差异学习网络的目标函数值的差值。
[0146]
当满足上述两个条件之一时，则确定当前次迭代达到预设的迭代停止条件，当两个条件均不满足时，则确定当前次迭代未达到预设的迭代停止条件。
[0147]
其中，本发明实施例可以预先设置最大迭代次数为n
hdln
，比如n
hdln
可以为50或者100等。预设变化量可以根据经验设置，比如可以为0.01等。
[0148]
若否，执行s6，利用当前次迭代中的分类器的训练损失更新差异学习网络的目标函数，并返回执行s3根据两组原始训练样本和差异学习网络在当前次迭代中的目标函数，对差异学习网络进行训练的步骤。
[0149]
前文有描述，本发明实施例从第二次迭代开始，在差异学习网络的目标函数中加入了上一次迭代中分类器的训练损失，也就是lc。通过将分类器的训练损失反馈至差异学习网络的目标函数中，驱使差异学习网络进一步优化以使得差异学习网络去提取对噪声更鲁棒和更利于差异分析的特征。
[0150]
因此，如果当前次迭代未达到预设的迭代停止条件，表示还需要进行差异学习网络和分类器的交替训练，则利用当前次迭代中分类器的训练损失lc，依据公式(8)更新差异学习网络的目标函数，然后利用差异学习网络更新后的目标函数开始新一次的差异学习网络和分类器的交替训练。
[0151]
若是，执行s7，利用当前次迭代中训练完成的分类器，得到两幅多源异质遥感影像的变化检测结果图。
[0152]
如果当前次迭代达到预设的迭代停止条件，则结束迭代，将i1和i2中的像素输入到当前次迭代中训练完成的分类器中，可以得到两幅多源异质遥感影像的变化检测结果图。
[0153]
可以理解的是，最终除了能够得到变化检测结果图以外，还能够得到训练完成的网络参数θ
ihdln
＝[θh,θc]，其中，θh是差异学习网络的参数，θc是分类器的参数。
[0154]
关于本发明实施例的具体流程，请参见图6理解，图6为本发明实施例所提供的基于增量式差异学习网络的多源异质影像变化检测方法的原理过程示意图。具体包括a)～c)三个阶段。其中，a)训练样本构建，对应s1步骤。b) 异质差异学习网络优化，对应差异学习网络和分类器的一次交替训练过程，具体包括：1)训练去噪自编码器；2)差异学习网络优化；3)分类器优化。c) 增量式学习优化，对应利用当前次迭代的分类器学习结果指导下一次迭代的差异学习网络和分类器的交替训练过程。上述各阶段的具体过程不再详细描述。
[0155]
本发明实施例所提供的方案中，构建了一个增量式异质差异学习网络，包括基于去噪自动编码器的差异学习网络和分类器。对差异学习网络和分类器不断交替迭代训练，在每一次迭代训练中，先利用差异学习网络得到两幅多源异质遥感影像的预分类结果图以提供分类器训练中训练样本的伪标签，然后利用分类器训练得到的训练损失更新差异学习网络的目标函数以进行差异学习网络的下一次迭代训练，通过将分类器的训练损失反馈更新差异学习网络的目标函数，能够驱使差异学习网络进一步优化以提取对噪声更鲁棒和更利于差异分析的特征，提高预分类结果图的准确性，继而提高分类器训练中伪标签的准确性。同时利用预设的样本筛选策略确定当前次迭代中的分类器训练集，能够选择伪标签更可靠的样本进行分类器训练，因此，整体能够提升变化检测的精度。
[0156]
为了验证本发明实施例所提出的基于增量式差异学习网络的多源异质影像变化检测方法的有效性，将该方法(简称为ihdln)应用于三个真实世界的多源异质遥感影像数据集。
[0157]
第一个数据集是撒丁岛(sardinia)数据集，其中两相时影像是由一幅 landsat 5tm传感器拍摄的多光谱图像和一幅由谷歌地球(google earth)拍摄的光学图像组成，它们的图像尺寸均为412
×
300。如图7所示。图7为本发明实施例实验采用的撒丁岛(sardinia)数据集。图7中，(a)拍摄于1995年9月，具有4个光谱通道，包括rgb通道以及一个近红外频带，展示的是其近红外频带影像。(b)拍摄于1996年7月，是在同一位置拍摄的光学影像，其包含rgb 三个光谱通道。两张影像数据的空间分辨率相同，均为30m。(c)展示的是变化检测参考图。
[0158]
第二个数据集是德克萨斯(texas)数据集，如图8所示。图8为本发明实施例实验采用的德克萨斯(texas)数据集。图8拍摄的是在美国德克萨斯州巴斯特普县发生森林火灾前后的两相时影像。图8中，(a)是由landsat 5tm传感器在2011年9月拍摄的，它是一幅具有7个光谱频带的多光谱图像。在发生火灾后，在2011年10月通过eo-1ali传感器拍摄了第二幅多光谱图像，它具有10个光谱频带，如(b)所示。两幅影像数据的大小均为1534
×
808，其中一些通道覆盖了相同的光谱频带。texas数据集反映的是在火灾前后森林覆盖区域的变化情况，变化类型较为单一。(c)是使用两幅遥感影像在先验信息的指导下经过人工标注所得的变化检测参考图，用于评估算法的效果。
[0159]
第三个数据集是加利福尼亚(california)数据集，其拍摄范围覆盖了美国加利福尼亚州萨克拉门托县、萨巴托县和萨特县。如图9所示。图9为本发明实施例实验采用的加利福尼亚(california)数据集。图9中，(a)是由landsat 8 传感器于2017年1月5日拍摄的多光谱图像，它具有9个光谱通道，覆盖了从深蓝到短波红外光谱的7个光谱通道，加上两个长波红外通道，展示是其rgb 通道；(b)是由sentiel-1a传感器于2017年2月18日拍摄的单极化sar图像，其包含rgb三个光谱通道。(c)展示的是变化检测参考图。
[0160]
本发明实施例方法详细的实验参数设定如表1所示。
[0161]
表1本发明实施例方法详细的实验参数
[0162][0163][0164]
表2展示了在三种数据集上，本发明实施例方法与其它三种算法进行变化检测的量化指标对比情况。
[0165]
表2本发明实施例方法与其余方法进行变化检测的量化指标对比
[0166][0167]
图10为各变化检测算法在sardinia数据集上的实验结果对比。图10中， (a)-(d)分别为使用sccn、can和ace-net以及本发明实施例的ihdln方法的变化检测结果图，(e)为变化检测参考图。其中，图10(a)-(d)中的方框表示主体的变化区域。从图10可以看出，sccn基本检测出了主体的变化区域，不过也存在相当多的错检情况，如湖泊左边区域和山脊的褶皱等。此外，sccn 在对噪声的处理上也不尽如人意，在未变化区域存在许多噪点，这进一步降低了它的检测精度。can算法在对主体变化区域的检测表现优于sccn，湖泊变化区域的大致形状也较为清晰。不过，can仍受到复杂地形的影响，导致出现部分错检区域。此外，can也未能检测出湖泊左边部分和下半部分的细节变化， ace-net受噪声干扰最为严重，尽管ace-net基本呈现出了湖泊变化区域，但在山地的未变化区域上存在大量错检(如图11所示)，导致其最终检测精度不如其他算法。
[0168]
相比于上述方法，本发明实施例方法ihdln在主体变化区域的检测上显然是表现最好的，湖泊变化区域的形状与参考图基本一致，且在细节的保留方面也优于其他方法。在噪声的抑制上，ihdln也受到了复杂地形的影响，变化检测结果图中仍存在少量噪点，不过相比其他算法已经改善许多。详细的错检漏检情况如图11所示，图11为本发明实施例实验中各变化检测方法在sardinia 数据集上的变化检测结果中错检和漏检情况对比。图11中(a)～(d)采用的方法依次是sccn、can、ace-net和ihdln。其中漏检部分请见白色区域的边缘部分，错检部分请见灰色区域。从表2中的评价指标来看，本发明实施例方法ihdln的变化检测效果相对于其他算法仍然有较大提升。
[0169]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。