基于深度特征融合网络的变化检测方法与流程

本发明涉及变化检测技术领域，更具体的是涉及基于深度特征融合网络的变化检测方法。

背景技术：

现有的变化检测主要包括像素级的变化检测和目标级的变化检测两种，前者主要是检测不同图片中对应的同一像素点所在位置在物理意义上是否发生改变，后者主要是检测不同图片中对应的某一块区域是否发生改变并给出框选。

就像素级的变化检测而言，目前主要用于灾害监测，具体的方法是通过比较一对不同时段的遥感图片，找出图片之间对应位置的变化情况，从而监测地球表面的变化情况。在现有技术中，leitao等人(ieeegeoscienceandremotesensingletters，2019,16(6)：982-986)采用了fcn-pp方法，提出了一个以u-net网络为基础的模型，通过对特征提取不同叠加实现了山体滑坡检测，但是没有关注数据增强对实验结果的影响，rodrigodaudt等人(201825thieeeinternationalconferenceonimageprocessing)采用fc-ef方法，提出了一个以u-net网络为基础的模型，通过对图像的叠加、对特征张量的做差和叠加三种方式实现变化检测，但是提取的特征并未考虑卷积神经网络不具有时序理解的能力，daifengpeng等人(remotesensing，2019,11(11)：1382)采用unet++方法，提出了一种以u-net++网络为基础的模型和一个改进的损失函数模型，但是并没有关注到针对变化检测双图的数据增强方法，上述三种方法可能存在一些对图片的预处理，并且检测结果并不理想。

就目标级的变化检测而言，目前主要用于工业场景的瑕疵检测，具体的方法是根据模板判断当前待检测的位置是否有瑕疵并且框选出来，在现有技术中，caizhaowei等人(proceedingsoftheieeecomputersocietyconferenceoncomputervisionandpatternrecognition，2018：6154-6162)提出了一种以多层级联候选框的目标检测方法，主要采用单一图片的模型而未考虑到模板信息，适用于单图检测，而在实际检测过程中，可能存在模板图片对应部位和瑕疵部位过于接近或待检图的瑕疵部位花纹不是特别明显，容易出现漏检的情况。

技术实现要素：

本发明的目的在于：为了解决现有的变化检测存在的问题，本发明提供基于深度特征融合网络的变化检测方法。

本发明为了实现上述目的具体采用以下技术方案：基于深度特征融合网络的变化检测方法，包括如下步骤：

步骤1：给定一对输入图像，并进行适合的变化检测数据增强，使用resnet-50分别提取图像特征f1及f2，计算特征的差异信息fd；

步骤2：对于像素级的检测，针对步骤1中提取的差异特征fd，利用不同的池化操作将其缩小至4中不同尺寸的特征fa、fb、fc和fd，利用反卷积将4个不同尺寸的特征还原至原始尺寸，并结合差异特征fd，最后进行卷积操作得到原始的尺寸的预测；

步骤3：对于目标级的检测，针对步骤1中提取的差异特征fd，利用候选框生成网络rpn生成不同的候选框，包含属性b≡(bx，by，bw，bh)，对给定数据集(b，g)进行预测，其中b为预测结果，g为真实结果，通过一级联回归器对候选框位置进行回归:

f(x,b)＝ft*ft-1*…*f1(x,b)

其中，t为级联的次数，根据上式，对候选框进行t次级联回归，对每一次t候选框位置计算损失，其中包含一个分类器ht和一个回归器ft，对下式进行最小优化：

l(x^t,g)＝lcls(ht(x^t),y^t)+[y^t≥1]lloc(ft(x^t,b^t),g)

其中，lcls为类别的交叉熵损失，lloc为l2距离损失，bt＝ft-1(x^t-1,b^t-1)，[]为指示函数，y需要满足大于iou否则预测失败为0，如下式：

y＝gyifiou(x,g)>uelse0

对于lcls满足iou条件的情况下计算类别损失，如下式：

lcls(h(x),y)＝∑u∈ulcls(hu(x),yu)

选择不同的阈值u∈{0.5，0.55，…，0.75}进行多次级联回归，计算候选框的位置b。

本发明的有益效果如下：

1、对于像素级的检测，本发明提出了基于深度语义分割网络特征融合的端到端模型(pspnet-fusion)，无需依赖图片的预处理、阈值的选择并且能够检测大规模数据集，结果较其他同类方法有很大提升；

2)对于目标级的检测，本发明提出了基于深度目标检测网络特征融合的端到端模型(cascadercnnfusion)，结果较其他同类方法有很大的提升；

3)本发明结合变化检测双图的特点，提出了基于轮换的数据增强操作，在未增加原始数据集的情况下，达到了更优秀的结果。

附图说明

图1是本发明的像素级的变化检测的模型概览图；

图2是本发明的目标级的变化检测的模型概览图；

图3是本发明的像素级的变化检测方法和现有方法的对比表(lebedev数据集)；

图4是本发明的像素级的变化检测方法是否包含提出的数据增强的对比表(lebedev数据集)；

图5是本发明的目标级的变化检测方法和现有方法的对比表(布匹瑕疵数据集)；

图6是本发明的像素级的变化检测的效果展示图；

图7是本发明的目标级的变化检测的效果展示图；

具体实施方式

实施例1

如图1到7所示，本实施例提供基于深度特征融合网络的变化检测方法，包括如下步骤：

步骤1：给定一对输入图像，并进行适合的变化检测数据增强，使用resnet-50分别提取图像特征f1及f2，计算特征的差异信息fd；

步骤2：对于像素级的检测，针对步骤1中提取的差异特征fd，利用不同的池化操作将其缩小至4中不同尺寸的特征fa、fb、fc和fd，利用反卷积将4个不同尺寸的特征还原至原始尺寸，并结合差异特征fd，最后进行卷积操作得到原始的尺寸的预测；

步骤3：对于目标级的检测，针对步骤1中提取的差异特征fd，利用候选框生成网络rpn生成不同的候选框，包含属性b≡(bx，by，bw，bh)，对给定数据集(b，g)进行预测，其中b为预测结果，g为真实结果，通过一级联回归器对候选框位置进行回归:

f(x,b)＝ft*ft-1*…*f1(x,b)

其中，t为级联的次数，根据上式，对候选框进行t次级联回归，对每一次t候选框位置计算损失，其中包含一个分类器ht和一个回归器ft，对下式进行最小优化：

l(x^t,g)＝lcls(ht(x^t),y^t)+[y^t≥1]lloc(ft(x^t,b^t),g)

其中，lcls为类别的交叉熵损失，lloc为l2距离损失，bt＝ft-1(x^t-1,b^t-1)，[]为指示函数，y需要满足大于iou否则预测失败为0，如下式：

y＝gyifiou(x,g)>uelse0

对于lcls满足iou条件的情况下计算类别损失，如下式：

lcls(h(x),y)＝∑u∈ulcls(hu(x),yu)

选择不同的阈值u∈{0.5，0.55，…，0.75}进行多次级联回归，计算候选框的位置b。

由图3可知，本实施例的像素级的变化检测方法相对于现有方法来说，检测效果更好，由图4可知，对于本发明的像素级的变化检测方法，经过数据增强之后的检测效果更好，由图5可知，本实施例的目标级的变化检测方法相对于现有方法来说，检测效果更好。