一种基于共性自动编码器的无监督异源遥感图像变化检测方法与流程

本发明属于图像处理技术领域，具体涉及一种基于共性自动编码器的无监督异源遥感图像变化检测方法，特别涉及异源遥感图像变化检测方法，可用于模式识别或目标检测。

背景技术：

遥感图像变化检测的目的是检测地球表面上同一地点于不同时间拍摄的两个或多个图像之间的变化区域。它是遥感图像处理中的一个重要问题，已经被广泛应用于土地覆盖类型变化监测，城市扩展跟踪，灾害损伤评估等任务。

变化检测的准确性主要由差异提取过程决定。差异提取的目的是衡量特征差异并指示变化区域。在该框架下，许多用于同源遥感图像的变化检测方法已经被提出。这里的同源遥感图像是指由同一类型的传感器获取的具有相似特征的多时相遥感图像，相应地，异源遥感图像被定义为由不同类型的传感器获取的遥感图像。应用于同源遥感图像变化检测的差异提取方法不适用于异源遥感图像变化检测，因为后者的图像具有不同的属性，直接对它们进行比较是不合理的。显然异源遥感图像变化检测更具挑战性，然而它对输入图像的限制较少，并且可以在更多场合下应用，这是相当有意义的。

目前为止，一些异源遥感图像变化检测方法已经被提出。分类后比较是异源遥感图像变化检测的一种可行解决方案。它独立地将异源遥感图像中每种类别的地物进行分类，其变化图的精度主要由每幅遥感图像的地物分类精度决定，并且容易受到误差传播的影响。多类变化检测也是异源遥感图像变化检测的一种解决方案，它可以检测两幅遥感图像之间的类别转换信息。然而，该方法需要大量标记的像素来训练分类器，这导致该方法在实践中很难应用。一些方法需要或多或少标记未改变的像素来建立异构图像之间的潜在相关性，例如条件copulas，核规范相关性分析，以及与马尔可夫随机场相关的贝叶斯非参数模型等，对标签的需求限制了这些方法的应用。近来，基于深度神经网络的异构图像变化检测方法也开始被提出。zhang等人提出了基于深度特征表示和映射变换的变化检测方法(smc+fca)。在两个异源图像未变化区域之间建立映射函数，并通过该映射函数突出显示变化的区域以创建差异图。该方法被设计为无监督方法，然而它还需要选择一些未变化的像素加入训练以获得更稳定的差异图并确保更高的准确度。liu等人提出了对称卷积耦合网络(sccn)，它首先将异构图像映射到特征空间，然后在特征空间中对它们进行比较并生成变化图。但是该方法只计算了未变化区域而且网络中还包含一些需要手动设定的参数，可能导致该方法在某些场景下的性能会下降。

技术实现要素：

本发明的目的在于针对现有无监督异源变化检测方法的不足，提出一种基于共性自动编码器的无监督异源遥感图像变化检测方法，以提高无监督异源遥感图像变化检测的质量。

为实现上述目的，本发明包括如下步骤：

一种基于共性自编码器的无监督异源遥感图像变化检测方法，包括：

步骤一：分别进行两幅异源遥感图像的像素块集构建，再提取两幅异源遥感图像像素块集中像素块特征向量，以坐标值为基准组成两幅异源遥感图像像素块特征向量的特征对；

步骤二：利用共性自编码器coae对步骤一得到的特征对进行共同特征提取后生成差异图；所述的共性自编码器coae为多个全连接层组成的神经网络。

可选的，包括：

步骤一：按照以像素点为中心、横坐标i和纵坐标j为坐标值进行像素块集的构建，得到源图像m的像素块集s^m和源图像n的像素块集sⁿ；

0＜i＜图像高度，0＜j＜图像宽度；i＝1,2…n，j＝1,2…m,m和n均为自然数；

对像素块集s^m和像素块集sⁿ预处理得到像素块特征向量集和像素块特征向量集像素块特征向量和像素块特征向量按照相同坐标值组成特征对；

步骤二：利用共性自编码器coae对步骤一得到的特征对进行共同特征hij提取后生成差异图；所述的共性自编码器coae为多个全连接层组成的神经网络；

共性自编码器coae的目标函数为

其中φ2表示共性自编码器coae的编码器网络，ψ2表示共性自编码器coae的解码器网络，表示由共性自编码器coae解码器网络重建的重构像素块特征向量。

可选的，所述的共性自编码器coae为五个全连接层组成的神经网络，由上到下依次命名为第一层、第二层…第五层；

第一层和第二层组成了共性自编码器coae编码器网络φ2，第三层提取共性自编码器coae输入的像素块特征向量和像素块特征向量的共同特征hij，第四层和第五层组成了coae解码器ψ2。

可选的，所述的预处理为利用卷积自编码器cae得到两幅异源遥感图像的像素块特征向量集。

可选的，所述的卷积自编码器cae是五层的神经网络，由上到下依次命名为第一层、第二层…第五层；第一层和第二层是卷积层，第三层是全连接层，第四层和第五层是反卷积层；第一层和第二层组成了卷积自编码器cae编码器网络φ1，第三层是卷积自编码器cae编码得到的像素块特征向量vij，第四层和第五层组成了卷积自编码器cae解码器ψ1；

设定的卷积自编码器cae的目标函数表示如下：

其中φ1表示卷积自编码器cae编码器网络，ψ1表示卷积自编码器cae解码器网络，sij表示卷积自编码器cae输入的源图像像素块，表示由卷积自编码器cae重建的源图像像素块。

可选的，所述的预处理包括：

以像素块集s^m和像素块集sⁿ为训练元素对卷积自编码器cae进行训练，训练好的卷积自编码器cae对像素块集s^m和像素块集sⁿ中的像素块进行编码，得到像素块特征向量集v^m和像素块特征向量vⁿ，将像素块特征向量集v^m和像素块特征向量vⁿ中的像素块特征向量按照相同坐标值组成特征对。

可选的，利用共性自编码器coae对步骤一得到的特征对进行共同特征提取后生成差异图，包括：

利用训练好的共性自编码器coae对特征对进行编码得到共同特征向量hij，再用共同特征向量hij将像素块特征向量映射到像素块特征向量得到映射后的重构像素块特征向量求像素块特征向量与重构像素块特征向量的欧氏距离dij，并将得到的所有欧氏距离以坐标值为索引组成欧氏距离矩阵d，将其归一化得到差异图di。

可选的，共性自编码器coae的训练，包括：

将像素块特征向量和像素块特征向量输入共性自编码器coae提取共同特征向量hij，将共同特征向量hij输入共性自编码器coae的解码器网络得到重构像素块特征向量

计算目标函数利用随机梯度下降法优化如下目标函数并更新共性自编码器coae的网络权重；直到共性自编码器coae的目标函数数值稳定，网络训练完成。

可选的，所述的差异图di的获取步骤如下：

计算像素块特征向量与重构像素块特征向量的欧氏距离dij：

直到源图像n中所有像素点处的dij计算完成，得到欧氏距离矩阵d，对d进行归一化得到差异图di：

可选的，利用fcm算法对得到的差异图进行聚类，输出变化检测结果图。

本发明与现有技术相比具有以下优点：

1、本发明是一种完全无监督的方法，不需要任何人工标记的数据进行训练；

2、本发明设计了一种全新的共性自编码器coae并将其作为探测器，捕获两个检测区域的共性或是差异性以指示变化区域，其检测结果几乎不会受到正负样本不均衡的影响；

3、本发明使用卷积值编码器cae对原始图像进行预处理，此过程不仅可以消除原始图像中的冗余，还可以将图像映射到更一致的特征表示，能有效降低噪声对检测结果的影响；

4、本发明的网络由两个自编码器级联而成，结构简单，易于训练，增加了该方法在不同场景下的实用性。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的第一组异源图像及参考图；

图3是用本发明对图2的仿真实验结果图；

图4是用基于深度特征表示和映射变换的变化检测方法(smc+fca)对图2的仿真实验结果图；

图5是用对称卷积神经网络方法(sccn)对图2的仿真实验结果图；

图6是本发明仿真使用的第二组异源图像及参考图；

图7是用本发明对图6的仿真实验结果图；

图8是用基于深度特征表示和映射变换的变化检测方法(smc+fca)对图6的仿真实验结果图；

图9是用对称卷积神经网络方法(sccn)对图6的仿真实验结果图。

具体实施方式

本发明基于用于图像预处理的卷积自编码器cae和用于提取共同特征和生成差异图的共性自编码器coae。为了更好地描述空间特征、纹理特征和形状特征，源图像中的每个像素由以像素为中心的像素块表示。图像像素块的切割原则为：以像素点为中心，3×3的大小范围为切割大小，像素点为中心的横纵坐标表示像素块的位置。

本发明中以s表示像素块集，s的上标表示异源遥感图像的编号，s表示像素块集s中的元素像素块，同样的，s的上标表示异源遥感图像的编号，s的两个下标表示异源遥感图像的横坐标和纵坐标位置(以像素点为原点)，当s仅带有两个下标而未带有上标时，表示s为任一异源遥感图像中的像素块。

本发明中以v表示像素块特征向量集，v表示像素块特征向量，h表示共同特征，v、h和v的上下标标注规则同上。

具体的，包括：

步骤一：分别进行两幅异源遥感图像的像素块集构件，再提取两幅异源遥感图像像素块集中像素块特征向量，以坐标值为基准组成两幅异源遥感图像像素块特征向量的特征对；

步骤二：利用共性自编码器coae对步骤一得到的特征对进行共同特征提取后生成差异图；所述的共性自编码器coae为多个全连接层组成的神经网络。

可选的，包括：

步骤一：按照以像素点为中心、横坐标i和纵坐标j为坐标值进行像素块集的构建，得到源图像m的像素块集s^m和源图像n的像素块集sⁿ；

0＜i＜图像高度，0＜j＜图像宽度；i＝1,2…n，j＝1,2…m,m和n均为自然数；

对像素块集s^m和像素块集sⁿ预处理得到像素块特征向量集和像素块特征向量集像素块特征向量和像素块特征向量按照相同坐标值组成特征对；

步骤二：利用共性自编码器coae对步骤一得到的特征对进行共同特征hij提取后生成差异图；所述的共性自编码器coae为多个全连接层组成的神经网络；

共性自编码器coae的目标函数为

其中φ2表示共性自编码器coae的编码器网络，ψ2表示共性自编码器coae的解码器网络，表示由共性自编码器coae解码器网络重建的重构像素块特征向量。

本发明的方法可以用于处理异源遥感图像，只要是图像，就能处理，任何类型的图像包括自然图像、同源遥感图像、高光谱图像等等，异源遥感图像指的是由不同类型的传感器对同一地理位置获取的遥感图像，或者不同时间获得的同一地理位置的图像。变化检测：给定在不同时间获得的相同地理区域的两个异构图像，检测两个图像中的变化区域。

本发明设计了一种全新的共性自编码器coae并将其作为探测器，捕获两个检测区域的共性或是差异性以指示变化区域，其检测结果几乎不会受到正负样本不均衡的影响。

以下结合具体的实施例对本发明进行说明。

实施例一：

参照图1，本发明的实现步骤如下：本试验中的两张源图像用的是：一张sar图像和一张光学图像，分别为源图像m和源图像n；

步骤一：利用卷积自编码器cae分别进行两幅异源遥感图像的像素块集构件，再提取两幅异源遥感图像像素块集中像素块特征向量，以坐标值为基准组成两幅异源遥感图像像素块特征向量的特征对；

1a)：设定卷积自编码器cae：它是一个5层的神经网络，其中第一层和第二层是卷积层，第三层是全连接层，第四层和第五层是反卷积层，从第一层到第五层的神经元个数为32、64、20、64和32；其中，第一层和第二层组成了cae编码器网络φ1，第三层是cae编码得到的像素块特征向量vij，第四层和第五层组成了cae解码器ψ1；

1b)：设定的卷积自编码器cae的目标函数表示如下：

其中φ1表示卷积自编码器cae编码器网络，ψ1表示卷积自编码器cae解码器网络，sij表示卷积自编码器cae输入的源图像像素块集，表示由卷积自编码器cae重建的源图像像素块集。

1c)：获取源图像m和源图像n，将两幅源图像的像素点用以它为中心、横坐标i和纵坐标j为坐标值的像素块来表示，逐像素切割小块，得到像素块数据集0＜i＜图像高度，0＜j＜图像宽度；i＝1,2…n，j＝1,2…m,m和n均为自然数；像素块大小取3×3，并对原始图像四周添加宽度为1个像素点的黑边以保证边缘像素块可以正常切割；

1d)：像素块数据集s^m和像素块数据集sⁿ一起作为训练样本输入卷积自编码器cae训练；将训练集中的像素块sij输入卷积自编码器cae进行前向传播，其输出为

计算目标函数利用随机梯度下降法优化如下目标函数并更新卷积自编码器cae的网络权重，直到网络收敛；

其中

1e)：用步骤1d)中训练好的卷积自编码器cae的编码器网络φ1分别对两幅源图像的每个像素块sij进行编码，得到每个像素块的特征向量vij，将来自源图像m的像素块特征向量以及来自源图像n的像素块特征向量按照相同坐标值组成特征对，特征对作为训练集输入共性自编码器coae进行训练；

步骤二：利用共性自编码器coae对步骤一得到的特征对进行共同特征提取后生成差异图；

2a)：设定共性自编码器coae：它是一个5层的神经网络，第一层到第五层均为全连接层，从第一层到第五层的神经元个数为20、16、12、16和20；共性自编码器coae的输入是两个向量v1和v2；其中，第一层和第二层组成了coae编码器网络φ2，第三层是coae两个输入向量的共同特征，分别为像素块特征向量和像素块特征向量的共同特征hij，第四层和第五层组成了coae解码器ψ2；

2b)：设定的共性自编码器coae的目标函数为

其中φ2表示共性自编码器coae的编码器网络，ψ2表示共性自编码器coae的解码器网络，表示由共性自编码器coae解码器网络重建的重构像素块特征向量。

2c)：将像素块特征向量和像素块特征向量分别输入共性自编码器coae的两端；利用共性自编码器coae的编码器网络φ2提取输入像素块特征向量以及输入像素块特征向量的共同特征向量hij；将共同特征向量hij输入解码器网络ψ2，解码器利用共同特征向量hij，重建两个输入像素块特征向量和像素块特征向量得到重构特征向量

计算目标函数利用随机梯度下降法优化如下目标函数并更新共性自编码器coae的网络权重；

其中

直到共性自编码器coae的目标函数数值稳定，网络训练完成。这里不要求目标函数收敛到一个较小值，因为如果某个像素点位置发生了变化，那么两个像素块之间的共同特征将非常少，导致解码器重建效果差，此时目标函数将稳定在一个较大值无法减小。

2d)：对源图像m中的每个像素块利用训练好的coae对其像素块特征向量进行编码，得到共同特征向量hij，再用共同特征向量hij将源图像m中的每个像素块所对应的像素块特征向量映射到源图像n中相同位置(相同坐标值)像素块所对应的像素块特征向量得到映射后的像素块特征向量(即重构特征向量)求像素块特征向量与重构像素块特征向量的欧氏距离矩阵d，将其归一化得到差异图di；

计算源图像n中像素块处像素块特征向量与重构像素块特征向量的欧氏距离dij：

直到源图像n中所有像素块的dij计算完成，并将得到的所有欧氏距离dij以坐标值为索引组成欧氏距离矩阵d，对d进行归一化：

其中di即源图像m和源图像n的差异图，它指示了两幅图像之间的变化区域。

步骤三：步骤二得到的差异图进行聚类得到变化检测结果图输出。

利用fcm算法对差异图进行聚类，即将di(m,n)作为fcm算法的输入，得到两类输出，即为最终变化检测结果图，其中数值大的一类表示变化的区域，数值小的一类表示未变化的区域。

本发明的效果可通过以下仿真实验进一步说明：

1.仿真条件与评价指标：

在intel(r)core(tm)i7-6700cpu、nvidiageforce1060、ubuntu16.04系统下，和python3.5、tensorflowl.3.0运行平台上进行。

主要评价指标有：

①漏检测数fn：统计实验结果图中发生变化区域的像素个数，与参考图中变化区域的像素个数进行对比，把参考图中发生变化但实验结果图中检测为未变化的像素个数，称为漏检测数；与之对应的tn表示已检测数；

②误检测数fp：统计实验结果图中未发生变化区域的像素个数，与参考图中未发生变化区域的像素个数进行对比，把参考图中未发生变化但实验结果图中检测为变化的像素个数，称为误检测数；与之对应的tp表示正确检测数；

③总错误数oe：漏检数和误检数的和；

④正确分类的概率oa：oa＝(tp+tn)/(tp+tn+fp+fn)；

⑤衡量检测结果图与参考图一致性的kappa系数(kc)：

kc＝(oa-pre)/(1-pre)

其中pre＝(tp+fp)×nc+(fn+tn)×nu/n×n

这里，n表示总像素个数，nc和nu分别表示实际的变化像素数和未变化像素数。

2.仿真实验内容与结果

仿真1.基于共性自动编码器的无监督异源图像变化检测的仿真。

1.1)用本发明对图2所示的尺寸大小为291×343，拍摄于黄河区域的两幅sar和光学图像进行变化检测，其中sar图像与光学图像分别如图2(a)和图2(b)所示，图2(c)为标准变化检测图，变化检测后的结果如图3所示，其中：

图3(a)为得到的差异图，图3(b)为变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。从图3可见，本发明对噪声相当不敏感，这个良好的特性使得绝大部分的变化区域在图3(b)中可以被正确地检测出来。

1.2)用本发明对图6所示的尺寸大小为564×388,拍摄于曙光村庄区域的两幅sar和光学图像进行变化检测，其中sar图像与光学图像分别如图6(a)和图6(b)所示，图6(c)为标准变化检测图，变化检测后的结果如图7所示，其中：

图7(a)为得到的差异图，图7(b)为变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。从图7可见，本发明显著地突出了数据集中的重要目标，如建筑物，道路等，同时本发明对于细节与难以区分的部分更加敏感，从而使变化的区域更加精确地在图7(b)中被检测出来。

仿真2.基于深度特征表示和映射变换的变化检测方法smc+fca的异源图像变化检测算法的仿真。

2.1)用现有smc+fca方法对图2所示的尺寸大小为291×343,拍摄于黄河区域的两幅sar和光学图像进行分类与变化检测。结果如图4所示，其中：

图4(a)为得到的差异图，图4(b)为变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。从图4可见，smc+fca方法得到的差异图4(a)中存在着不少由于噪声以及模糊边缘导致的误差，从而导致图4(b)中存在一些误检测的区域。

2.2)用现有smc+fca方法对图6所示的尺寸大小为564×388,拍摄于曙光村庄区域的两幅sar和光学图像进行分类与变化检测。结果如图8所示，其中：

图8(a)为得到的差异图，图8(b)为变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。从图8可见，由于本数据集中包含更多的目标区域，如建筑物，农田，池塘等，smc+fca方法将一些特征相似的区域错误分类成一类，如农田和道路，从而导致图8(b)中存在大量错误检测的区域。

仿真3.基于对称卷积网络sccn的异源图像变化检测算法的仿真。

3.1)用现有sccn方法对图2所示的尺寸大小为291×343,拍摄于黄河区域的两幅sar和光学图像进行变化检测，结果如图5所示，其中：

图5(a)为得到的差异图，图5(b)为得到的变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。从图5可见，sccn方法得到的差异图图5(a)中包含一些由于异源图像的属性差异导致的冗余信息，从而使图5(b)中存在一些误检测的变化区域。

3.2)用现有sccn方法对图6所示的尺寸大小为564×388,拍摄于曙光村庄区域的两幅sar和光学图像进行变化检测。结果如图9所示，其中：

图9(a)为得到的差异图，图9(b)为得到的变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。从图9可见，sccn方法得到的差异图图9(a)中包含大量由于异源图像的属性差异导致的冗余信息，从而使图9(b)中存在许多误检测的变化区域。

对上述黄河数据集的变化检测仿真实验的实验数据进行分析，得到的定量评价分析表如表1所示。

表1黄河区域数据集的变化检测结果的定量评价分析表

从表1可以看出，在不同分类指标下三种方法的结果各有优劣。本发明的oe值在三种方法中是最低的，说明综合来看本发明要优于现有的方法，所以本发明的oa和kc指标都比其他方法高，说明了本发明比smc+fca和sccn具有更高的检测精度。

对上述曙光村庄数据集变化检测仿真实验的实验数据进行分析，得到的变化检测结果的定量评价分析表如表2所示。

表2曙光村庄数据集的变化检测结果的定量评价分析表

从表2可以看出，本发明的五种指标都是最优的，其中的kc指标比smc+fca方法高了0.04、比sccn方法高了0.07，说明本发明比smc+fca和sccn具有更高的检测精度和更广的应用范围。

综上所述，本发明针对sar图像和光学图像的异游变化检测明显优于现有的smc+fca和sccn方法。