图像间变化检测的局部和全局深度对比特征学习网络构建方法

1.本发明属于遥感图像处理技术领域，具体涉及一种图像间变化检测的局部和全局深度对比特征学习网络构建方法。


背景技术：

2.遥感图像的变化检测是针对同一区域不同时间所获取的多时相遥感影像进行定量地分析和确定地物变化的特征的过程。变化检测的目的是找到变化区域并用二值图进行表示。变化检测任务能及时准确地检测地球表面特征，为更好地理解人与自然现象之间的关系和相互作用提供了基础，从而可以更好地管理和使用资源，具有迫切的科学应用需求和广泛的应用前景。该技术已在森林防火变迁，环境变化，冰川的变化，城市扩张，农田检测，洪水预警，道路分析，地震灾后探测和军事的动态监测领域获得了广泛的应用。
3.目前的变化检测方法大多针对同源图像，即同一传感器获取的图像。例如sar影像变化检测，图像中未变化的区域呈现出相同的特征，可以直接进行比较，相对较为简单。但在实际应用中受到很多限制，因为要检测某一区域某一事件发生后产生的变化情况，不仅要有事件前该区域的图像，还需要事件后该区域同一传感器的图像。如果都采用sar传感器，虽然sar图像不受天气和光照影响，可以全天时工作，但又由于雷达回波特性的影响，sar图像大多受乘性斑点噪声的影响。光学图像几乎覆盖全球，而如果仅采用光学传感器，则图像质量易受光照和天气的影响，如果事件紧急，很难进行快速检测。例如在地震救援中，由于受天气影响，光学传感器很难在第一时间获取受灾区域的高质量图像，sar传感器可以不受天气干扰，因此大多第一时间获取的是sar图像。由于sar图像覆盖范围不广，很难找到受灾区域震前的sar图像与之比较，但光学图像覆盖范围广，因此很容易得到受灾区域的震前图像。因此，首先考虑结合光学图像和sar图像的优势进行变化检测分析。故异源图像中的变化检测已经成为研究的重点，但也是一个巨大的挑战，即如何度量异质图像之间的差异信息。一种采用网络的有效方法是基于端到端的方法[gong m g,zhao j j,liu j,et al.change detection in synthetic aperture radar images based on deep neural networks[j].ieee transactions on neural networks and learning systems,2017,27(1):125-138.]。对输入的两幅图像直接使用经过训练的深度神经网络生成变化检测图。该方法省略生成差异图像的过程，网络输出的结果即为变化检测二值图像。另一种是基于网络生成差异图的方法，如scnn方法[liu j,gong m g,qin k,et al.a deep convolutional coupling network for change detection based on heterogeneous optical and radar images[j].ieee transactions on neural networks and learning systems,2018,29(3):545-559.]。采用无监督学习提取异源图像的局部特征并转换到相同特征空间中以进行比较，优化训练神经网络，最终得到差异图，再对差异图采用聚类的方法进行分析，从而获得二值变化检测图像。上述两种方法都没有最大化特征域中全局特征与局部特征之间和与之相似特征(正样本)之间的关联，最小化与全局特征不相似特征(负样
本)之间的关联，难以有效的建立空间关联。


技术实现要素：

[0004]
本发明的目的是提供一种图像间变化检测的局部和全局深度对比特征学习网络构建方法，该方法通过特征域层级化输入的结构信息，提升样本的信息利用率；利用构建图像的正负样本的对比损失函数来学习模型参数，无需人工手动分析特征，是一种无监督的方法。
[0005]
实现本发明目的的技术解决方案为：一种图像间变化检测的局部和全局深度对比特征学习网络构建方法，包括如下步骤：
[0006]
(1)利用网络对输入图像进行编码获得全局高维表示特征和中间层特征；
[0007]
(2)构造全局正负样本数据和局部正负样本数据；
[0008]
(3)构造对比损失函数；
[0009]
(4)求解差异概率图矩阵；
[0010]
(5)对差异概率图矩阵进行聚类，输出二值变化结果图。
[0011]
进一步的，输入不同时期同一场景的一幅图像x1∈rw×h和一幅图像x2∈rw×h，w表示图像的宽度，h表示图像的高度。
[0012]
进一步的，将原始图像按像素随机取块xi,(i＝1,2,...,n)，块xi拉成一个一维向量作为编码器e
ψ
(xi)的输入图像，获得特征域的全局高维表示特征(高维特征表示最后一层特征)y
ψ
和中间层特征m
ψ
。
[0013]
进一步的，构造全局正负样本数据和局部正负样本数据，具体过程为：
[0014]
(1)全局正负样本数据：中间层特征m
ψ
作为全局正样本数据y
ψ
。将每个批次的第一张图片的中间层特征与该批次的末尾特征合并，构造全局负样本数据m_prime
ψ
；
[0015]
(2)局部正负样本数据：将中间层特征m
ψ
与全局高维特征y
ψ
拼接，得到局部正样本数据y_m
ψ
。将全局负样本的中间层特征m_prime
ψ
和高维特征y
ψ
拼接，得到局部负样本数据y_m_prime
ψ
。
[0016]
进一步的，构造对比损失函数，具体如下：
[0017]
(1)全局特征损失函数定义为：
[0018][0019]
其中，表示全局特征判别器，s
p
表示激活函数，e表示求期望。
[0020]
(2)局部特征损失函数定义为：
[0021][0022]
其中，表示局部特征判别器，s
p
表示激活函数，e表示求期望。
[0023]
(3)先验损失函数prior
φ，ψ
为：
[0024]
prior
φ，ψ
＝-(log(p
φ
(y
rand
)+log(1-p
φ
(y
ψ
)))
[0025]
其中，p
φ
表示先验判别器，y
rand
为服从u(0，1)均匀分布的随机向量，与y
ψ
的大小保持一致。
[0026]
本发明在特征域中构建与全局特征相关的正样本数据和与之不相关的负样本数据，提出了局部和全局深度对比特征学习的网络框架，构建一个包含全局特征、局部特征和
先验损失三项的网络损失函数来学习模型参数，度量全局特征与正样本数据和负样本数据之间的相似性，有效体现抽象的语义信息和空间信息的关联性；在先验损失中，使得高维表示具有期望先验分布的特性。与现有技术相比，本发明将有机融合高级语义信息和低级空间信息，形成更精细的特征表示，同时通过对比特征学习框架形成区分能力更强的对于抽象语义特征，模型参数少、优化简单，而且具有更强的泛化能力，可以广泛应用于异源遥感图像变化检测，光照鲁棒的视频监控等。
[0027]
下面结合附图对本发明作进一步详细描述。
附图说明
[0028]
图1是本发明的总流程图。
[0029]
图2是模型整体框架图。
[0030]
图3是全局特征示意图。
[0031]
图4是局部特征示意图。
[0032]
图5是先验约束示意图。
[0033]
图6(a)为天河机场数据集：2002年7月的光学图像。
[0034]
图6(b)为天河机场数据集：2013年6月的光学图像。
[0035]
图7(a)为njust数据集：2013年9月的光学图像。
[0036]
图7(b)为njust数据集：2019年3月的光学图像
[0037]
图8(a)为黄河数据集：2008年6月的sar图像。
[0038]
图8(b)为黄河数据集：2009年6月的sar图像
[0039]
图9(a)为天河机场数据集采用nr-flicm方法的变化检测结果图。
[0040]
图9(b)为天河机场数据集采用cwnn方法的变化检测结果图。
[0041]
图9(c)为天河机场数据集采用scnn方法的变化检测结果图。
[0042]
图9(d)为天河机场数据集采用cgan方法的变化检测结果图。
[0043]
图9(e)为天河机场数据集采用本发明的变化检测结果图。
[0044]
图9(f)为天河机场数据集的参考图。
[0045]
图10(a)为njust数据集采用nr-flicm方法的变化检测结果图。
[0046]
图10(b)为njust数据集采用cwnn方法的变化检测结果图。
[0047]
图10(c)为njust数据集采用scnn方法的变化检测结果图。
[0048]
图10(d)为njust数据集采用cgan方法的变化检测结果图。
[0049]
图10(e)为njust数据集采用本发明的变化检测结果图。
[0050]
图10(f)为njust数据集的参考图。
[0051]
图11(a)为黄河数据集采用nr-flicm方法的变化检测结果图。
[0052]
图11(b)为黄河数据集采用cwnn方法的变化检测结果图。
[0053]
图11(c)为黄河数据集采用scnn方法的变化检测结果图。
[0054]
图11(d)为黄河数据集采用cgan方法的变化检测结果图。
[0055]
图11(e)为黄河数据集采用本发明的变化检测结果图。
[0056]
图11(f)为黄河数据集的参考图。
具体实施方式
[0057]
通过分析，相似的样本在同一区域有着较高的互信息，这有利于全面构建图像信息表征，共享数据的各个方面的信息。同时，通过度量层级化结构信息之间的相似性，使得模型对图像的特征表示与图像的正样本损失值更小，与负样本的损失值更大，从而有效准确地抽取图像的特征信息。进一步地，虽然低级特征细节精细但缺乏语义信息。因此，将高级语义信息和低级空间信息融合起来，能够产生更精细的特征表示，而且由于该模型能够在抽象语义级别的特征空间上学会到区分能力更强的对比语义特征，因此模型泛化能力更强。
[0058]
本发明基于对比学习模型提出了一种新的针对多源异质图像的无监督变化检测方法。通过优化基于对比学习模型构建的目标函数对网络参数进行训练，利用对比学习模型抽取图像特征，将不同性质的图像转化到同一个特征空间，然后进行比较得到差异图。
[0059]
结合图1～图5，下面详细说明本发明的实施过程，步骤如下：
[0060]
步骤1：输入两幅异源遥感图像
[0061]
输入不同时期同一场景的一幅sar图像x1∈rw×h和一幅光学图像x2∈rw×h,图像的宽度w＝523和图像的高度h＝447。随机初始化编码器e
ψ
(x)的网络参数ψ以及判别器和p
φ
的参数。
[0062]
步骤2：编码特征表示
[0063]
(1)编码器e
ψ
(x)的网络结构
[0064]
一幅图像x作为编码网络的输入，经过卷积层和全连接层获得编码特征表示其中，y
ψ
表示编码特征表示的高维特征，m
ψ
表示编码特征表示的中间层特征，表示第n
fc
个全连接层，表示第n
cov
个卷积层。卷积层个数n
cov
＝4，全连接层个数n
fc
＝1。
[0065]
(2)对一幅输入的sar图像x1按像素随机取块xi,(i＝1,2,...,n)，取块的个数n＝233781，块xi拉成一个一维向量作为编码器e
ψ
(xi)的原始图像输入，获得sar图像x1在特征域的全局表示特征y
ψ
和全局中间层特征m
ψ
。
[0066]
(3)对另一幅输入的光学图像x2按像素随机取块xi,(i＝1,2,...,n)，取块的个数n＝233781，块xi拉成一个一维向量作为编码器e
ψ
(xi)的原始图像输入，获得光学图像x2在特征域的全局表示特征y
ψ
和全局中间层特征m
ψ
。
[0067]
步骤3：构造特征域正负样本
[0068]
构造全局正负样本数据和局部正负样本数据，具体过程为：
[0069]
(1)全局正负样本数据：中间层特征m
ψ
作为全局正样本数据y
ψ
。将每个批次的第一张图片的中间层特征与该批次的末尾特征合并，构造全局负样本数据m_prime
ψ
；
[0070]
(2)局部正负样本数据：将中间层特征m
ψ
与全局高维特征y
ψ
拼接，得到局部正样本数据y_m
ψ
。将全局负样本的中间层特征m_prime
ψ
和高维特征y
ψ
拼接，得到局部负样本数据y_m_prime
ψ
。
[0071]
步骤4：构造对比损失函数
[0072]
(1)全局特征损失函数定义为：
[0073]
[0074]
其中，全局特征判别器为卷积全连接结构的判别器，s
p
表示softplus激活函数：s(x)＝log(1+e
x
)，e表示求期望。
[0075]
(2)局部特征损失函数定义为：
[0076][0077]
其中，局部特征判别器为1
×
1的卷积判别器，s
p
表示softplus激活函数：s(x)＝log(1+e
x
)，e表示求期望。
[0078]
(3)先验损失函数prior
φ,ψ
为：
[0079]
prior
φ,ψ
＝-(log(p
φ
(y
rand
)+log(1-p
φ
(y
ψ
)))
[0080]
其中，先验判别器p
φ
为全连接判别器，y
rand
为服从u(0,1)均匀分布的随机向量，与y
ψ
的大小保持一致。
[0081]
(4)总体损失函数为：
[0082][0083]
其中，α,β和γ为正则化参数。
[0084]
(5)分别用反向传播算法训练网络，反复迭代，更新网络参数：ψ,ω1,ω2,φ，不断优化网络，直到loss收敛。
[0085]
(6)分别得到两幅输入图像的编码特征表示e
ψ
(x)的模型参数。
[0086]
(7)sar图像x1和光学图像x2通过优化的编码器e
ψ
(x)，分别获得训练好的图像特征f1(x1)和f2(x2)。
[0087]
步骤5：生成差异图
[0088]
(1)基于训练好的图像全局特征f1(x1)和f2(x2)，采用概率图矩阵pu的模型，具体为：
[0089][0090]
其中，pu为概率图矩阵，每个像素的值表示了该像素位置没有发生变化的概率，其大小为输入图像大小，λ为正则化因子。
[0091]
(2)当f1(x1)-f2(x2)固定时，概率图矩阵pu的解为：
[0092][0093]
pu即为变化检测的差异图。
[0094]
步骤6：分析差异图
[0095]
采用局部邻域信息模糊c均值聚类算法(flicm)[krinidis s,chatzis v.a robust fuzzy local information c-means clustering algorithm[j].ieee transactions on image processing,2010,19(5):1328-1337.]对差异图pu进行分析，获得最终的二值变化图。
[0096]
步骤7：输出二值变化图
[0097]
输出由差异图分析得到的二值变化结果图。
[0098]
本发明的效果可通过以下仿真实验进一步说明：
sensing letters,2011,9(2):307-311.]、卷积小波网络(cwnn)[gao f,wang x,gao y h,et al.sea ice change detection in sar images based on convolutional-wavelet neural networks[j].ieee geoscience and remote sensing letters,2019,16(8):1240-1244.]、sccn和条件对抗生成式网络(cgan)[niu x d,gong m g,zhan t,et al.a conditional adversarial network for change detection in heterogeneous images[j].ieee geoscience and remote sensing letters,2019,16(1):45-49.]四种算法进行对比。
[0108]
仿真实验结果分析
[0109]
表1为第一组天河机场数据集在不同变化检测算法下的对比结果，图9(a)～图9(f)为天河数据集在不同变化检测算法下的变化检测结果图。实验结果表明cwnn算法在异源数据集上并不能很好的区分别出异质图像未变化区域，误检区域较多，检测效果大幅度下降。sccn虽然误检区域少，但是只检测出部分机场变化区域，并且差异图的噪音较多，不容易分析。cgan能检测出机场变化区域，但是会受到边缘和sar噪声的影响，误检测部分较多。由图9可以看出本发明的算法优于其他基于深度学习的算法，能比较准确的检测出天河机场的变化区域，pcc、kc和auc值都有显著提升，其中kc系数比表现较好的sccn高0.1425。其原因在于本发明所提出的图像间变化检测的局部和全局深度对比特征学习网络联合了层级特征之间的信息。
[0110]
表1第一组天河机场数据集的变化检测评价指标对比
[0111][0112]
表2为第二组njust数据集在不同变化检测算法下的对比结果，图10(a)～图10(f)为njust数据集在不同变化检测算法下的变化检测结果图。njust数据集是由两幅拍摄视角有偏差且能明显看出季节变化的图像组成。我们的任务是检测建筑物变迁变化，而道路两旁草木变化是干扰检测的因素。实验结果表明cwnn算法由于其适用性较窄，受到众多场景因素干扰，无法检测出准确结果。而sccn算法和cgan算法虽然能检测出变化的部分建筑，但会受到拍摄视角不一致和季节性变化的影响，而本发明的算法能比较好的克服这些干扰因素，pcc、kc和auc都有明显提升。因此，本发明所提出的图像间变化检测的局部和全局深度对比特征学习网络也能够在同源图像上进行检测，其变化检测效果显著。
[0113]
表2第二组njust数据集的变化检测评价指标对比
[0114][0115]
表3为第三组黄河数据集在不同变化检测算法下的对比结果，图11(a)～图11(f)为黄河数据集在不同变化检测算法下的变化检测结果图。由于cwnn算法是专门用于检测同源sar图像的，因此在此数据集上优于本发明所提的算法，但cwnn在其他数据集表现不佳。本发明所提的算法虽不及cwnn，但效果优于其他深度学习异源检测算法，也能比较好的检测出变化的区域，验证了本算法的理论可行性。
[0116]
表3第三组黄河数据集的变化检测评价指标对比
[0117][0118]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。