一种基于雷达遥感数据的深度学习变化检测方法

1.本发明属于土地覆盖变化检测技术领域，具体涉及一种基于雷达遥感数据的深度学习变化检测方法。


背景技术：

2.遥感影像变化检测是利用多时相遥感影像，使用变化检测的算法来提取不同时相遥感影像之间的变化信息，这种技术已经成熟的应用于土地覆盖/土地利用、自然灾害评估、城市化建设以及农作物生长等方面。
3.国内外学者利用光学遥感影像针对变化检测已经开展了一些研究，shen等针对不相邻像元对分类的影响提出一个分类框架，利用全卷积网络(fullyconvolution network,fcn)合并远程上下文信息，在高光谱数据集上得到良好的分类效果。lyu等首次将循环神经网络应用于变化检测，作者使用改进的长短期记忆网络(long short
‑
term memory,lstm)来获取和记录长时间序列光学遥感数据的变化信息。mou等首次结合卷积神经网络(convolutional neural networks,cnn)和循环神经网络(recurrent neural network,rnn)用于多光谱影像的变化检测，相较于单独使用两种网络，耦合网络在各项精度指标上都有更好的表现。zhao等提出了一种基于度量学习的生成对抗网络(generative adversarial networks,gan)用来最大限度的排除季节变化带来的伪变化特征，从而有效获取真实的变化结果。saha等将改进的生成对抗网络(gan)用于sentinel
‑
2影像，改进的网络模型可以有效的建模上下文信息并处理多光谱影像中的大量波段。
4.然而我国西南地区常年多云多雨，因此高质量的光学影像通常难以获取。合成孔径雷达(synthetic aperture radar,sar)由于其特殊的成像机理，能够在恶劣的天气条件下获得较好的高分辨率雷达图像，能够全天时、全天候的工作，非常适用于变化检测任务。针对深度学习应用于sar变化检测任务，geng等提出了一种深度联合分布自适应网络，针对非同源但相似目标分布的sar影像变化检测有着良好的检测效果，为解决sar影像迁移学习问题提供了新的范式。gong等提出了一个解决三元变化检测问题的框架，首先利用系稀疏自编码器(sparse autoencoder,sae)将对数比值差异影像转换为合适的特征空间用以提取关键变化并抑制噪声，然后用卷积神经网络训练由无监督聚类方法获取可靠的样本标签数据最终获得检测结果。gao等提出了一种多级融合网络，充分利用低、中、高层特征之间的互补信息来实现sar图像检测海冰变化。fang等提出了一种局部受限的卷积网络用于sar的变化检测，它通过对网络的输出层加以空间约束，以便从多个分层差异影像中学习变化特征。
5.综上所述，尽管基于深度学习的方法逐渐应用到sar影像的变化检测任务中，但由于sar影像获取成本较高，且由于特殊的成像机理导致目视解译的难度较大，针对变化检测相关的公开数据集较少，因此利用深度学习方法进行变化检测的研究还不够充分，并且绝大多数公开数据集只含有双极化或单极化信息而不包含全极化信息，极大阻碍了多极化sar在变化检测领域的发展。针对上述情况，本发明使用u
‑
net基础框架，并采用mobilenet
的深度可分离卷积模块代替u
‑
net的传统卷积模块，使用全极化数据进行变化检测，获得了良好的效果。


技术实现要素：

6.针对上述存在问题或不足，本发明提供了一种基于雷达遥感数据的深度学习变化检测方法,使用全极化雷达遥感数据，建立了一个可以实现获取端到端的变化检测结果的语义分割模型，该模型使用三通道输入，输入不同的雷达初始差异特征，经过特征提取器的提取，实现了变化与未变化的结果获取。
7.一种基于雷达遥感数据的深度学习变化检测方法，具体步骤如下：
8.步骤一、雷达数据预处理：
9.首先需要对获取的数据进行预处理，以获取不同极化方式、pauli分解以及freeman
‑
durden分解影像。
10.获取不同极化方式(hh、vv和vh)的影像需要依次经过辐射定标、多视处理、地形校正、斑点滤波和转换分贝值的操作；获取freeman
‑
durden分解影像需要对初始雷达影像依次进行辐射定标、多视处理、地形校正、freeman
‑
durden极化分解和极化滤波的操作。获取pauli分解影像需要对初始雷达影像依次进行辐射定标、多视处理、地形校正、pauli极化分解和极化滤波的操作。
11.由于雷达信号可以传送水平(h)或者垂直(v)电场矢量，接收水平(h)或者垂直(v)信号，因此全极化要求同时发射h和v，包含了四种极化方式：hh、hv、vv、vh，由于vh和hv特征值相近，因此我们在后续的实验中，仅使用了hh、vv、vh极化方式。
12.步骤二、获取雷达差异影像：
13.步骤一处理完毕后，紧接着需要构建差异影像用于后续提取差异信息。本发明按照时间先后数据一一对应的方式采用对数比值法求取差异影像，对数比值法由下式定义：
[0014][0015]
其中，b1表示后时相参数波段，b2表示前时相与b1相同的参数波段。
[0016]
生成的差异影像在每个时间都包含三波段参数，包括hh、vv和vh三波段，freeman分解的dbl、vol和surf三波段，pauli分解的pauli_r、pauli_g和pauli_b三波段，因此单一时间包含3幅差异影像，本发明共采用了n个时间差，因此共包含数据n
×
3幅，n≥1。
[0017]
步骤三、差异影像标准化；
[0018]
由于不同极化方式、freeman分解参数和pauli分解参数物理含义有所不同，在表达中存在量纲的区别，同时各种参数的特征值多出现负值，为了避免输入数据出现的混乱导致可能对模型训练造成干扰，我们对所有差异影像的像素值进行了0
‑
255的标准化。标准化的方式由下式定义：
[0019][0020]
其中in
ij
表示输入影像目标像元的像素值，out
ij
表示经过标准化输出后该像元的像素值，其中i和j分别为影像的行列元素，x
min
和x
max
分别表示输入影像的原始像素值的最小和最大值，y
max
和y
min
分别表示标准化的范围，此处分别为255和0。
[0021]
步骤四、数据集的生成与扩展；
[0022]
通过人工标注变化标签，并利用步骤二生成的n
×
3幅差异影像以及对应的变化标签生成数据集，采用随机裁剪的方式生成的变化检测数据集每张大小为512
×
512，共1000张。然后按照训练、测试、验证比例为8:1:1的方式分配数据集，同时在训练的过程中，对读入的数据集进行水平或垂直翻转、旋转及亮度变化等随机图像处理，用以对训练数据的扩展，提高模型的鲁棒性，降低模型过拟合的风险。
[0023]
步骤五、模型的构建、训练与验证；
[0024]
将mobilenet模型的深度可分离卷积基组件替代u
‑
net深度学习模型中上、下采样时所用卷积，以完成模型的构建。
[0025]
本发明所采用的深度学习模型基本框架为u
‑
net，同时我们将其与mobilenet网络结构有机的结合起来提出了mobileunet模型结构用于变化检测，mobilenet模型是一个轻量级的模型，其基组件是深度可分离卷积，将该卷积结构替代u
‑
net深度学习模型中上、下采样时所用的卷积，至此完成模型的构建。本发明构建的模型可以极大程度的减少u
‑
net模型的参数量，降低u
‑
net模型的计算复杂度，同时保留u
‑
net模型的基础框架，结合二者的优势，可以有效的提取全极化sar影像的变化信息。
[0026]
将步骤四获取的数据集按照步骤四的数据分配方式依次进行训练、验证和测试，验证的目的在于通过查看验证的精度以及损失函数的值来判定是否需要提前终止。在训练结束后，将测试数据集输入到训练好的模型中，获得测试精度以及最终的变化检测结果。
[0027]
本发明通过在创建的数据集时使用了前后年份的多个月份的数据，在一定程度上避免了季节因素带来的伪变化；同时，针对小样本问题，我们采用了mobilenet轻量级网络模型的深度可分离卷积结构，并且将该结构与u
‑
net基础框架有机结合，利用本发明所构造的轻量级模型进行变化检测，结果表明，该模型可以在小样本数据集上有效的获得变化检测结果。
[0028]
本发明通过前、后时相多景全极化雷达影像，提取多维初始特征，并根据初始特征影像构建差异影像；利用轻量级网络实现了自动、高效且准确地提取变化检测结果；同时，利用多时相全极化雷达遥感影像在一定程度上避免了光学遥感数据难以获取的缺陷，避免了由季节不同引起的伪变化现象。
附图说明
[0029]
图1为本发明的流程示意图；
[0030]
图2为实施例的研究区域；
[0031]
图3为实施例的网络结构简图；
[0032]
图4为实施例的普通卷积和深度可分离卷积对比图；
[0033]
图5为实施例的测试结果图。
具体实施方式
[0034]
下面结合附图和实施例对本发明做进一步的详细说明。
[0035]
步骤1：本实施例使用的雷达数据为精细波束模式全极化(fine quad
‑
pol)的单视复型(slc,single look complex)radarsat
‑
2数据，将所有原始雷达数据按照发明内容步骤一的方法进行预处理，影像原始大小为2000
×
2000。数据详情一览表如表1。
[0036]
表1数据详情
[0037][0038]
步骤2：搭建开发环境，本实施例开发环境为pycharm,编程语言为python，具体实验硬件软件环境如下表。
[0039]
表2硬件设备详情
[0040]
硬件品牌参数显卡英伟达geforcertx2080
‑
ti(11gb)处理器英特尔corei7
‑
9700@3.60ghz8核内存海盗船wdc3200mhz32g机械硬盘西数wdc2t 7200转固态硬盘英特尔ssd512gb
[0041]
表2软件详情
[0042]
软件版本ubuntu16.04ltstensorflow
‑
gpu1.13.1cudaversion10.0cudnnversion10.0opencv3.4.1anaconda35.1.0pycharm2019python3.6.3numpy1.14.2
[0043]
步骤3：按照发明内容步骤二提及的对数比值法，按照一一对应的方式获得雷达差异影像，一一对应的要求为时间以及参数的对应，具体准则为：2016年5月15日、6月8日、7月
2日、7月26日按照发明内容步骤一处理后的影像与2019年5月7日、5月31日、6月24日、7月18日处理后的影像一一对应分别求取差异影像；参数的一一对应则为在时间对应的基础上，如2016年5月15日与2019年5月7日处理后的影像使用相同波段参数利用对数比值法求取差异指标，生成的差异影像大小同样为2000
×
2000。
[0044]
步骤4、数据集的生成与扩展
[0045]
然后按照发明内容的步骤三所提及的方法对雷达差异影像的每一个参数进行特征标准化，将标准化后的单参数波段进行波段叠加为三波段，包括hh、vv、vh三波段，freeman分解的dbl、vol、surf三波段，pauli分解的pauli_r、pauli_g、pauli_b三波段。
[0046]
使用代码将叠加后的影响按照随机窗口大小为512
×
512的大小对进行随机裁剪获得变化检测数据集。
[0047]
步骤5：将变化检测数据集根据训练、测试、验证为8:1:1的大小进行分配进行训练和测试。训练、验证和测试过程如下：
[0048]
(1)由于我们的数据量较大，同时考虑到设备的内存因素，需要设置batchsize为4，它表示每次输入到网络的训练数据的数量。
[0049]
(2)模型根据梯度下降的算法进行循环迭代寻找最优解，迭代次数设置为350。
[0050]
为了寻找目标最优解，引入损失函数进行评估，损失函数所表达的是模型的测试值与真实值之间的差异。本发明优选使用了交叉熵损失函数，交叉熵损失函数相比平方差损失函数能够在梯度很小的情况下继续训练，同时能够加速模型的收敛。
[0051]
为了让模型更快的收敛，我们使用优化算法来不断地更新训练参数，优化算法多种多样，本发明使用了adam(adaptive moment estimation)算法，它结合了动量梯度下降算法和rmsprop算法各自的优点，使得神经网络训练的速度大大提高，adam需要设置学习率用以控制学习的步长，学习率设置为0.001。
[0052]
(3)每一次迭代结束后，利用验证数据集对当前迭代结果进行验证，获取当前验证精度，并判断当前训练过程是否存在过拟合或欠拟合情况，如果存在则需要重新设定参数直到损失函数值下降到预期值。
[0053]
(4)在训练结束后，将测试数据集输入到训练好的模型中，获得测试精度以及最终的变化检测结果。
[0054]
mobileunet网络结构的基本原理是：mobileunet结构延续了u
‑
net的基础框架，分为编码和解码部分，具体结构如图说明书附图3所示。在编码部分本发明的卷积采用了mobilenet的深度可分离卷积，该结构可以在一定程度上减少模型的参数，它的思想是将一个完整的卷积运算分解为两步进行，分别是depthwise convolution和pointwise convolution。说明书图4中，左图为普通卷积，右图为深度可分离卷积，模型的其它结构保留了u
‑
net的结构，包括5次下采样和5次上采样，同时在上采样还原特征中采用skip与对应的下采样连接实现与高维与低级特征的融合。
[0055]
图5为本实施例的测试结果图：(a)样区一标签，(b)样区一测试结果，(c)样区二标签，(d)样区二测试结果；在测试集上获得的结果为精确率96.30，召回率95.99，f1
‑
measure96.09，mean
‑
iou81.19。可见本发明使用全极化雷达遥感数据，通过建立了可获取端到端的变化检测结果的语义分割模型，从而有效实现了变化与未变化的结果获取。