基于深度学习和sift特征的sar图像变化检测方法
【专利摘要】本发明公开了一种基于深度学习与SIFT特征的SAR图像变化检测方法，主要解决现有技术对SAR图像的斑点噪声敏感，导致最终变化检测结果精度不高的问题。本发明的具体步骤如下：(1)读入SAR图像；(2)归一化；(3)构造训练特征；(4)训练深度神经网络；(5)对两幅读入的SAR图像作对数比值运算，得到对数比值差异图像；(6)构造对数比值差异图像的邻域特征样本矩阵；(7)检测对数比值差异图像；(8)输出变化检测结果图。本发明充分利用了SIFT特征对SAR图像斑点噪声的稳定特性，克服了SAR图像斑点噪声的影响，提高了SAR图像变化检测的准确率。
【专利说明】
基于深度学习和SIFT特征的SAR图像变化检测方法
技术领域
[0001] 本发明属于图像处理技术领域，更进一步涉及遥感图像变化检测技术领域中的一 种基于深度学习和平移不变特征变换SIFT(Scale_invariant Feature Transform,SIFT) 特征的合成孔径雷达SAR(SyntheticAperture Radar，SAR)图像变化检测方法。本发明可用 于对同一地区不同时段的SAR图像的变化区域进行检测。
【背景技术】
[0002] 雷达成像技术是上世纪50年代发展起来的，该技术至今已经取得了跨越式的发 展。目前该技术已经在军事、农业、海洋、地质、测绘等方面得到了广泛的应用。
[0003] 合成孔径雷达作为一种主动微波传感器，具有分辨率高、全天候、全天时工作以及 穿透力强的特点，因此SAR不受大气条件和云层覆盖等相关条件的影响。SAR在突发事件、自 然灾害的检测与评估等方面具有光学遥感图像无法比拟的优势。该技术已经被广泛应用于 军事、农业和科研等领域。SAR图像变化检测是通过对同一地区不同时期的两幅SAR图像进 行分析，从而得到地物或者目标的变化信息。目前SAR图像变化检测技术在诸多应用中起着 越来越重要的作用，如自然灾害的检测与评估、环境的监控、城市管理规划以及军事侦查 等。
[0004] 目前关于SAR图像变化检测的方法大致分类两类：（1)分类后比较法，也称后分类 比较法。该方法首先对两幅原图像分别进行独立分类，再对两幅分类好的图像进行逐像素 地比较，进而得到最终的变化检测结果；（2)比较后分类法，也称差异图分类方法。该方首先 通过差值法、比值法或者对数比值法等得到两幅图像的差异图，再对该差异图进行分析。其 中第二类方法是目前比较流行的方法，因此多时相SAR图像差异图的构造非常关键。目前用 得比较多的方法包括影像差值法、影像比值法以及对数比值法等，再对比较后得出的差异 图进行进一步分析，包括变换、概率分布等，得到最终的变化检测结果。第二类方法简单直 观，得到的变化细节更加显著。
[0005] 南京电子技术研究所在其发表的"基于高斯混合模型的SAR图像变化检测方法" (现代雷达，2014,36(9) :34-36)论文中提出了一种基于高斯混合模型的SAR图像变化检测 方法。该方法首先通过对数比值法构造 SAR图像的差异图，然后分析差异图的概率统计，再 采用四个高斯函数的混合模型对概率分布进行拟合，得到最终的变化检测结果。该方法存 在的不足之处是，首先，该方法对SAR图像的斑点噪声敏感，导致最终变化检测的精度不高。 其次，由于不同SAR图像的概率分布不同，因而该方法对于不同SAR图像的变化检测鲁棒性 不尚。
[0006] 西安电子科技大学在其申请的专利"基于无监督深度神经网络的SAR图像变化检 测"（专利申请号：201410818305.3，公开号：CN104517124A)中提出了一种基于无监督深度 神经网络的SAR图像变化检测。该方法首先对同一地区不同时相的SAR图像进行联合FCM分 类获得粗糙的变化检测结果;然后根据初始的变化检测结果选择可能性大的非噪声点作为 深度神经网络的训练样本;再将这些样本输入到深度神经网络中进行训练;最后将两幅待 检测的图像输入训练好的深度神经网络中得到最终的变化检测结果。该方法存在的不足之 处是，该方法在联合分类的时候未考虑SAR图像斑点噪声的影响，导致所选择的训练样本点 可靠性不够。
【发明内容】
[0007] 本发明的目的在于克服上述已有技术的缺点，提出了一种基于深度学习和SIFT特 征的SAR图像变化检测方法，以实现对SAR图像变化区域的准确检测。该方法结合了深度学 习与SIFT特征两种方法，直接通过SIFT特征训练深度神经网络，由于SIFT特征可以反映图 像的局部特征，对图像旋转、尺度缩放以及亮度变化均具有不变性，而且对仿射变换和噪声 也保持一定程度的稳定性，因而可以作为深度神经网络的可靠训练样本。该方法思路简单 明确，通过有效利用原始图像的特征提高了变化检测的精度。
[0008] 本发明实现上述目的的思路是：首先运用尺度不变特征变换方法提取原图像的 SIFT特征，将此作为训练样本，训练一个深度神经网络。再利用对数比值法得到原始图像的 差异图，提取该差异图每个像素点的领域特征，以此作为测试数据，输入到训练好的深度神 经网络里进行测试，输出最终的变化检测结果。
[0009] 本发明实现的具体步骤包括如下：
[0010] (1)读入 SAR 图像：
[0011] 读入同一地区不同时相的两幅已配准和校正的SAR图像I和J;
[0012] ⑵归一化：
[0013]按照下式，对SAR图像I和J进行归一化，得到归一化后的SAR图像：
[0014]
[0015]
[0016] 兵甲，1衣不SAK图1冢-化后的SAR图像，min表示取最小值操作，max表示取最 大值操作，J '表示SAR图像J归一化后的SAR图像；
[0017] ⑶构造训练特征：
[0018] (3a)采用平移不变特征变换SIFT方法，分别提取两幅归一化后SAR图像Γ和J'的 平移不变特征变换SIFT特征SjPS 2;
[0019] (3b)对两组平移不变特征变换SIFT特征SjPS2进行级联操作，得到级联后的特征 S；
[0020] (3c)对级联后的特征S，采用主成分分析PCA算法进行降维，得到降维后的特征S'；
[0021] (4)将降维后的特征S'输入到深度神经网络中，训练深度神经网络；
[0022] (5)按照下式，计算读入的两幅SAR图像的对数比值差异图像：
[0023]
[0024] 其中，D表示读入的两幅SAR图像的对数比值差异图像，log表示取自然对数操作， ? I表示取绝对值操作，I和J分别表示读入的SAR图像；
[0025] (6)构造对数比值差异图像D的邻域特征样本矩阵：
[0026] (6a)采用邻域特征提取方法，从对数比值差异图像D构成的像素值矩阵中提取每 个像素点的邻域特征向量；
[0027] (6b)将对数比值差异图像D所有像素点的邻域特征向量组成一个MXN维的邻域特 征样本矩阵，其中，M表示对数比值差异图像D中所有像素点的总数，N表示对数比值差异图 像D中每个像素点的邻域特征向量的维数；
[0028] (7)检测对数比值差异图像：
[0029] 将对数比值差异图像D的邻域特征样本矩阵输入到训练好的深度神经网络中，检 测对数比值差异图像D，得到对数比值差异图像D中每个像素检测为变化类或非变化类的检 测类别；
[0030] (8)输出检测类别。
[0031 ]本发明与现有技术相比具有以下优点：
[0032]第一，由于本发明采用了尺度不变特征变换SIFT算法，提取了读入SAR图像的SIFT 特征，并利用该特征对深度神经网络进行训练，克服了现有方法中训练样本的选取不可靠 的问题，使得本发明提高了 SAR图像变化检测的精度。
[0033]第二，由于本发明提取了读入SAR图像的SIFT特征，该特征可以反映图像的局部特 征，而且对仿射变换和噪声也保持一定程度的稳定性，克服了现有方法中受噪声影响导致 不能有效检测出变化区域的问题，使得本发明提高了 SAR图像变化检测的精度。
[0034]第三，由于本发明提取了读入SAR图像的SIFT特征，该特征对图像旋转、尺度缩放 以及亮度变化均具有不变性，因而对不同的图像的特征提取具有一定程度上的稳定性，克 服了现有方法中对于不同的SAR图像变化检测鲁棒性不高的问题，使得本发明对于不同的 SAR图像信息具有更强的适应性。
【附图说明】
[0035]图1是本发明的流程图；
[0036]图2是本发明仿真实验中对Bern地区SAR图像的变化检测结果图；
[0037]图3是本发明仿真实验中对Ottawa地区SAR图像的变化检测结果图；
[0038] 图4是本发明仿真实验中对黄河入海口地区SAR图像的变化检测结果图。
【具体实施方式】
[0039] 下面结合附图对本发明作进一步描述。
[0040] 参照图1，本发明的具体实现步骤如下：
[0041 ] 步骤1，读入SAR图像。
[0042] 读入同一地区不同时相的两幅已配准和校正的SAR图像I和J。
[0043] 步骤2,归一化。
[0044] 桉照下忒，对SAR图像T和J进行归一化，得到归一化后的SAR图像：
[0045]
[0046]
[0047]其中，Γ表示SAR图像I归一化后的SAR图像，min表示取最小值操作，max表示取最 大值操作，J '表示SAR图像J归一化后的SAR图像。
[0048] 步骤3,构造训练特征。
[0049] 采用平移不变特征变换SIFT方法，分别提取两幅归一化后SAR图像Γ和J'的平移 不变特征变换SIFT特征SjPS2。
[0050] 对两组平移不变特征变换SIFT特征&和&进行级联操作，得到级联后的特征S。
[0051] 对级联后的特征S，采用主成分分析PCA算法进行降维，得到降维后的特征S'。
[0052] 步骤4,将降维后的特征S'输入到深度神经网络中，训练深度神经网络。
[0053] 训练深度神经网络的具体操作步骤如下：
[0054]第一步，初始化受限玻尔兹曼机(RBM)的参数；
[0055]第二步，待训练的特征S'使用受限玻尔兹曼机(RBM)进行训练，得到权重和偏置， 网络层数设为3个隐藏层，每一层节点数目分别为250，150，100，受限玻尔兹曼机(1^1〇每一 层训练50代；
[0056]第三步，使用基于最小交叉熵的BP神经网络对RBM训练网络进行微调，训练代数为 50代；
[0057]第四步，得到训练好的深度神经网络。
[0058]步骤5,按照下式，计算读入的两幅SAR图像的对数比值差异图像：
[0059]
[0060]其中，D表示读入的两幅SAR图像的对数比值差异图像，log表示取自然对数操作， ? I表示取绝对值操作，I和J分别表示读入的SAR图像。
[0061] 步骤6,构造对数比值差异图像D的邻域特征样本矩阵。
[0062] 采用邻域特征提取方法，从对数比值差异图像D构成的像素值矩阵中提取每个像 素点的邻域特征向量。
[0063] 邻域特征提取方法的具体操作步骤如下：
[0064] 第一步，在对数比值差异图像D上选取一个大小为nXn像素的滑动窗口，将所选窗 口所有像素点的值拉成一个I X N维的特征向量，其中，η为滑动窗口的大小，N=η X η;
[0065] 第二步，从左到右、从上到下依次滑动窗口，得到对数比值差异图像D上所有像素 点的邻域特征向量。
[0066] 将对数比值差异图像D所有像素点的邻域特征向量组成一个MXN维的邻域特征样 本矩阵，其中，M表示对数比值差异图像D中所有像素点的总数，N表示对数比值差异图像D中 每个像素点的邻域特征向量的维数。
[0067]步骤7,检测对数比值差异图像D。
[0068] 将对数比值差异图像D的邻域特征样本矩阵输入到训练好的深度神经网络中，检 测对数比值差异图像D，得到对数比值差异图像D中每个像素检测为变化类或非变化类的检 测类别。
[0069] 步骤8,输出检测类别。
[0070] 下面结合仿真实验对本发明的效果做进一步的说明。
[0071] 1、仿真条件：
[0072] 本发明的仿真实验是在主频2.30GHz的Intel Pentium(R)Dual-Core CPU、内存 5GB的硬件环境和MATLAB R2015a的软件环境下进行的。
[0073]本发明仿真实验所使用的仿真参数如下：
[0074]漏检数:统计实验结果图中发生变化区域的像素个数，与参考图中变化区域的像 素个数进行对比，把参考图中发生变化但实验结果图中检测为未变化的像素个数，称为漏 检数FN。
[0075]误检数:统计实验结果图中未发生变化区域的像素个数，与参考图中未变化区域 的像素个数进行对比，把参考图中未发生变化但实验结果图中检测为变化的像素个数，称 为误检数FP。
[0076]正确率PCC: PCC= 1-总错误数/总像素数。
[0077] 衡量检测结里图与参考图一致性的Kappa系数：
[0078]
[0079] 其中，正确率PCC表示实际的一致率，PRE表示理论的一致率。
[0080] 2、仿真内容与结果分析：
[0081] 本发明的仿真实验使用了三组真实的SAR图像数据及相应的变化检测参考图，仿 真实验中采用的实验图像数据如下：
[0082] 本发明仿真实验使用的第一组真实的SAR图像数据及相应的变化检测参考图是 Bern地区的SAR图像，如图2所示，图像大小为301 X 301，图2(a)是1999年4月Bern地区的SAR 图像，图2(b)是1999年5月Bern地区的SAR图像，图2(c)是Bern地区相应的变化检测参考图。
[0083] 本发明仿真实验使用的第二组真实的SAR图像数据及相应的变化检测参考图是 Ottawa地区的SAR图像，如图3所示，图像大小为290 X 350,图3(a)是1997年5月Ottawa地区 的SAR图像，图3 (b)是1997年8月Ottawa地区的SAR图像，图3 (c)是Ot tawa地区相应的变化检 测参考图。
[0084] 本发明仿真实验使用的第三组真实的SAR图像数据及相应的变化检测参考图是黄 河入海口地区的SAR图像，如图4所示，图像大小为306 X 291，图4(a)是2008年6月黄河入海 口地区的SAR图像，图4 (b)是2009年6月黄河入海口地区的SAR图像，图4 (c)是黄河入海口地 区相应的变化检测参考图。
[0085]本发明的仿真实验采用广义KI阈值GKI方法、模糊局部信息C均值聚类FLICM方法 和采用本发明方法，分别对Bern地区、Ottawa地区和黄河入海口地区SAR图像进行变化检测 的检测结果进行对比。
[0086]仿真实验一:采用广义KI阈值GKI方法、模糊局部信息C均值聚类FLICM方法和采用 本发明方法得到的变化检测结果分别如图2(d)至2(f)所示，对检测结果的具体对比分析见 表1。从图2的视觉效果可以看出，采用本发明的检测结果图与参考图最为接近。由表1可以 看出，本发明错检的像素数分别比GKI和FLICM少了 401个和497个，而总的错误像素数也分 别比两者少了183个和278个，Kappa系数也比二者分别高2.69%和5.36%。
[0087] 表1 Bern地区变化检测结果
Iyj 见 - I y|V Z-P / 丄 I明J ·|_Μ*υ?\ I yj
> 'I 天 1'明 7 口」口 P I F=I J~S、I ·>-<]. I H.彡 |^^^丄 L·丄 V_4V 丄/J ·?二^ ,|'M y|V AT] 本发明方法得到的变化检测结果分别如图3(d)至3(f)所示，对检测结果的具体对比分析见 表2。从图3的视觉效果可以看出，采用本发明的检测结果图与参考图最为接近。由表2可以 看出，本发明错检的像素数比GKI少了904个，漏检的像素数分别比GKI和FLICM少了 1814个 和1493个，而总的错误像素数分别比两者少了 3003个和415个，Kappa系数也比二者分别高 11.00%和 3.98%。
[0090] 表2 Ottawa地区变化检测结果
[0092]仿真实验三:采用广义KI阈值GKI方法、模糊局部信息C均值聚类FLICM方法和采用 本发明方法得到的变化检测结果分别如图4(d)至4(f)所示，对检测结果的具体对比分析见 表3。从图4的视觉效果可以看出，采用本发明的检测结果图与参考图最为接近。由表3可以 看出，本发明错检的像素数分别比GKI和FLICM少了 2392个和30个，漏检的像素数分别比GKI 和FLICM少了 2037个和88个，而总的错误像素数分别比两者少了 4429个和118个，Kappa系数 也比二者分别高44.27 %和0.79 %。
[0093] 衷3昔河入海口地冈夺化检测结里
【主权项】
1. 一种基于深度学习和SIFT特征的SAR图像变化检测方法，包括如下步骤： (1) 读入SAR图像： 读入同一地区不同时相的两幅已配准和校正的SAR图像I和J; (2) 归一化： 按照下式，对SAR图像I和J进行归一化，得到归一化后的SAR图像：其中，I '表示SAR图像I归一化后的SAR图像，min表示取最小值操作，max表示取最大值 操作，J '表示SAR图像J归一化后的SAR图像； (3) 构造训练特征： (3a)采用平移不变特征变换SIFT方法，分别提取两幅归一化后SAR图像Γ和J'的平移 不变特征变换SIFT特征Si和S2; (3b)对两组平移不变特征变换SIFT特征Si和S2进行级联操作，得到级联后的特征S; (3c)对级联后的特征S，采用主成分分析PCA算法进行降维，得到降维后的特征S'； (4) 将降维后的特征S'输入到深度神经网络中，训练深度神经网络； (5) 按照下式，计算读入的两幅SAR图像的对数比值差异图像：其中，D表示读入的两幅SAR图像的对数比值差异图像，log表示取自然对数操作，I · 表示取绝对值操作，I和J分别表示读入的SAR图像； (6) 构造对数比值差异图像D的邻域特征样本矩阵： (6a)采用邻域特征提取方法，从对数比值差异图像D构成的像素值矩阵中提取每个像 素点的邻域特征向量； (6b)将对数比值差异图像D所有像素点的邻域特征向量组成一个MXN维的邻域特征样 本矩阵，其中，Μ表示对数比值差异图像D中所有像素点的总数，N表示对数比值差异图像D中 每个像素点的邻域特征向量的维数； (7) 获得对数比值差异图像D的变化检测结果： 将对数比值差异图像D的邻域特征样本矩阵输入到训练好的深度神经网络中，得到对 数比值差异图像D中每个像素检测为变化类或非变化类的检测类别； (8) 输出检测类别。2. 根据权利要求1所述的基于深度学习和SIFT特征的SAR图像变化检测方法，其特征在 于:步骤(4)所述的训练深度神经网络的具体步骤如下： 第一步，初始化深度神经网络，深度神经网络的隐藏层层数为4,深度神经网络隐藏层 的节点数目分别为250，150，100，1，深度神经网络的每个隐藏层为一个受限玻尔兹曼机 RBM； 第二步，使用深度神经网络对降维后的特征少进行训练，得到每个隐藏层受限玻尔兹 曼机RBM的权重和偏置； 第Ξ步，对每个隐藏层的受限玻尔兹曼机RBM训练100次； 第四步，使用基于最小交叉赌的反向传播算法，对深度神经网络进行微调，得到训练好 的深度神经网络。3.根据权利要求1所述的基于深度学习和SIFT特征的SAR图像变化检测方法，其特征在 于:步骤(6a)中所述邻域特征提取方法的具体步骤如下： 第一步，在差异图D上选取一个大小为ηΧη像素的滑动窗口，将所选窗口所有像素点的 值拉成一个1 X Ν维的特征向量，其中，η为滑动窗口的大小，Ν=η X η; 第二步，从左到右、从上到下依次滑动窗口，得到差异图像D每个像素点的领域特征向 量。
【文档编号】G06K9/46GK105844279SQ201610163983
【公开日】2016年8月10日
【申请日】2016年3月22日
【发明人】焦李成, 张丹, 汤志强, 马晶晶, 尚荣华, 马文萍, 赵进, 赵佳琦, 杨淑媛, 侯彪, 王爽
【申请人】西安电子科技大学