一种基于孪生网络的输电走廊异物检测方法及系统与流程

本发明属于遥感技术领域，具体涉及一种基于孪生网络的输电走廊异物检测方法及系统，用于输电走廊的多时相遥感卫星影像的变化检测，进而发现输电走廊的异物。

背景技术：

输电走廊的异物检测涉及到遥感影像场景中的地物识别和多时相的变化分析等操作，和地物目标检测识别和变化检测技术联系紧密。基于地物目标识别的异物检测方法，依赖于一个对待检测多时相影像场景具备足够高识别精度的地物提取模型，在准确提取出所有场景地物目标位置、轮廓的基础上，通过对各目标外观、形状、位置的变化分析，得到可能发生变化的目标；而在基于变化检测的异物检测技术思路下，算法模型通过对比不同时相的遥感影像，分析多时相影像间像素值、影像特征的变化情况，基于识别出的场景间差异区域，完成走廊异物的提取与识别。

对于用于异物检测的多时相影像而言，场景地物类别构成复杂，涉及地理区域范围广，多时相影像间的天候和光照等成像要素差异明显，输电走廊异物尺度多样化、类别种类繁多。在这种情况下，现有的目标检测模型难以确保场景中所有地物目标的检测提取精度，而基于场景变化分析的变化检测模型往往会引入变化噪声信息，无法准确定位变化目标。

因此如何克服现有技术的不足是目前遥感技术领域亟需解决的问题。

技术实现要素：

本发明的目的是为了解决现有技术的不足，提供一种基于孪生网络的输电走廊异物检测方法及系统，该方法能够检测输电走廊异物，为输电走廊异物检测和走廊的输电设施安全维护提供便捷。

为实现上述目的，本发明采用的技术方案如下：

一种基于孪生网络的输电走廊异物检测方法，包括如下步骤：

步骤s1，获取输电走廊区域的多时相遥感影像数据，从中选择成像相隔时间超过一天和晴朗无云天气情况下的遥感影像，挑选包含了输电走廊异物变化目标的影像对；

步骤s2，构建变化检测模型的训练数据集：对步骤s1获取的遥感影像进行预处理，之后对遥感影像进行排列组合和对称形式的影像数据扩充；

步骤s3，对待变化检测遥感影像进行对象级的输电走廊变化地物标注和区域框取；

步骤s4，对经步骤s3标注的影像对进行切片，生成变化影像切片对；之后，对标注的区域进行二值化，生成二值mask变化影像对；

步骤s5，采用全监督方式构建变化检测的孪生网络模型；

步骤s6，使用步骤s5构建的孪生网络模型对新获取的多时相遥感影像进行检测，检测其输电走廊是否存在异物。

进一步，优选的是，步骤s2中，所述的预处理包括几何精校正、配准、图像镶嵌与裁剪、去云及阴影处理和光谱归一化。

进一步，优选的是，步骤s3中，对于输电走廊异物轮廓级的框取方法使用grabcut算法。

进一步，优选的是，步骤s4中，对经步骤s3标注的影像进行切片，切片大小为572*572像素；之后，使用二值化方法把人工标注的变化区域二值化，生成bool类型的二值mask变化影像对，包含输电走廊异物为1，不包含输电走廊异物为0。

进一步，优选的是，步骤s5的具体方法为：构建变化检测的孪生网络模型时，网络模型的输入为多时相影像切片和与之匹配的变化区域标注二值化mask，输出为切片区域是否包含变化的判别结果；模型主体使用unet结构，根据输入遥感影像的波段数量和切片大小，调整unet网络输入层中的卷积核数量为3，调整降采样和上采样级别分别为4级。

进一步，优选的是，步骤s6的具体方法为：用步骤s5构建的孪生网络模型对输入的遥感影像对进行变化检测，对前后时相的影像分别使用孪生网络进行计算，unet进行下采样和上采样，上采样的过程中融合下采样过程中的featuremap，最终输出变化掩膜，即输电走廊异物掩膜mask。

本发明方法利用孪生网络对输电走廊的多时相遥感卫星影像变化检测，对包括风筝、气球、孔明灯等常见悬挂物进行分辨率0.5米的变化检测以实现异物发现，充分利用了基于深度学习模型的影像地物类型差异分析识别能力，在提高变化感应空间粒度和检测敏感性的同时，提高了检测输出变化信息的准确性。

本发明利用基于深度神经网络的孪生网络模型，完成多时相影像间的变化异物检测提取。和普通识别模型不同的是，孪生网络模型能够通过对人工设定样本拟合，完成语义相关的地物变化特征的识别，功能上兼具了场景地物识别能力和变化检测识别能力。借助该模型，异物检测方法可以更好地完成场景异物的识别，同时借助变化特征检测能力提高对多时相间异物的检测定位精度。

本发明与现有技术相比，其有益效果为：

本检测方法能够检测识别各种输电走廊异物，具有显著优于人工方法的计算效率，具有更高的异物检测准确性和可靠性，为输电走廊异物检测和走廊的输电设施安全维护提供便捷。

本方法借助于孪生网络模型本身的语义变化识别能力、场景上下文分析理解综合能力，有效缓解了纯目标检测技术方案下的目标检测识别误差问题，以及纯变化检测技术方案下的变化区域目标关联性低的问题，通过将地物识别信息和多时相变化信息融合，提高了输电走廊异物这一类尺度、类别不确定地物的检测识别精度。

附图说明

图1为unet网络结构图；

图2为siamesenetwork孪生网络结构图；

图3为基于孪生网络的输电走廊异物检测方法的流程图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。

一种基于孪生网络的输电走廊异物检测方法，该方法充分利用孪生网络的对于已有输电走廊的多时相遥感卫星影像的训练集进行训练，获得较高鲁棒性和准确性的模型，用已获得的模型对未知是否有输电走廊异物的多时相遥感卫星影像进行检测。该输电走廊异物检测方法主要步骤包括：

步骤s1，通过对输电走廊相应区域的卫星拍摄，获取输电走廊区域的多时相遥感影像数据，格式为遥感影像常见格式tiff，从中选择合适的时间下和良好天气情况下的遥感影像，挑选包含了输电走廊异物变化目标的影像对；

步骤s2，构建变化检测模型的训练数据集：对遥感影像进行包括几何精校正、配准、图像镶嵌与裁剪、去云及阴影处理和光谱归一化几个环节数据预处理过程后，对数据集进行排列组合和对称形式的影像数据扩充，例如有t1、t2……tn个时间的变化影像，进行排列组合后会有c(n,2)对影像对，并且可以对这些排列组合后的影像对进行a-b、b-a的对称增广；

步骤s3，进行对象级的输电走廊变化地物标注和区域框取：对于输电走廊异物轮廓级的框取方法使用grabcut算法，该算法可以进行目标级的精细轮廓生成。grabcut算法的实现：

对于一幅包含n个像素点的图像，grabcut将其映射成一张加权网络图并建立相应的能量函数，最后通过最大流/最小割来对图像进行最后的分割。图片中的像素对应的分割结果只有两类：一类属于前景，用1表示，一类属于背景，用0表示。grabcut分割算法分别用一个k维的高斯混合模型(gaussianmixturemodel，gmm)对图像中的前景和背景建模。其中单高斯模型的概率密度函数为：

式中，x表示待分割图像的像素值，μ表示图像局部区域的像素均值，σ表示图像局部区域的像素值标准差，高斯混合模型就是由n个单高斯模型所组成，如下式所示：

由此可见，整个高斯混合模型就是多个单高斯模型密度加权之和，其中，t(i)就是每个高斯模型的权重，p(x)表示x像素位置处使用混合概率估计得到的属于前景的概率值。

grabcut算法通过能量函数求解最优分割。能量函数主要包括了两项：区域惩罚项和边界惩罚项。区域惩罚项又称为数据惩罚项，而边界惩罚项主要用来邻接像素点的空间和颜色之间的关系。能量函数用如下形式表示：

e(α,k,θ,z)＝u(α,k,θ,z)+v(α,z)

其中e为gibbs能量，u为数据项，v为光滑项。z表示影像的像素值，α表示不透明度，k表示某个高斯分量的模型参数，θ表示定义为θ＝{h(z；α),α＝0,1}，表示描述图像的前景和背景灰度水平分布组成的灰度直方图的系数，，数据项u定义为：

式中d为区域项，n表示用于进行数据项数值拟合的高斯模型个数，定义为：

d(αn,kn,θ,zn)＝-logp(zn|αn,kn,θ)-logπ(αn,kn)

且p(·)是一个高斯概率分布，π(·)是混合权重系数。

此时高斯参数模型为：

θ＝{π(α,k),μ(α,k),∑(α,k),α＝0,1；k＝1…k}

其分别对应第k个高斯模型的权值π、均值μ和协方差∑平滑项v可用rgb空间的欧氏距离求出：

上式中，γ为自适应参数，β为常数项，c表示待进行图像分割的像素点序号集合。grabcut算法中把图像的像素点分为4大类：{f，b，pf，pb}。其中f代表确定的前景像素点，b代表确定的背景点，pf代表可能的前景点，pb代表可能的背景点。在grabcut算法中，用户先通过人工标注在图像上用矩形框选择需要分割的区域，区域外的为确定的背景像素点，区域内的可能是前景也可能是背景的像素点，统称为不确定项，以此为依据建立gmm模型并初始化。其次，grabcut算法为用户还提供了另一个接口，可由用户指定图像中的某些像素分别属于{f，b，pf，pb}中的哪些类，这样可以通过人工指定的方式提高算法分割的准确度。

步骤s4，对标注的影像生成变化影像切片对和生成mask：对已标注的影像对进行切片，切片大小为572*572像素，使用二值化方法把原先标注的区域二值化，生成bool类型的二值mask变化影像对，包含输电走廊异物为1，不包含输电走廊异物为0。

步骤s5，构建变化检测的孪生网络模型：孪生网络是一种并行的网络结构，借助于深度卷积网络的语义级特征编码能力，对需要进行对比的两个不同时相影像同时提取特征图，并通过特征图之间的空间差异分析，实现语义级别的多时相影像对之间的差异检测与定位。为了应对遥感影像的多分辨率目标和区域检测需求，实现多尺度的多时相输电走廊变化信息定位与识别，使用unet作为siamesenetwork的主体网络结构。

如图1，网络结构可以看成3个部分：

下采样：网络的深色向下的箭头部分，表示池化操作。

上采样：网络的深色向上的箭头部分，表示反卷积操作。

最后层的softmax：输出特征图。

unet网络可以看为先下采样，经过不同程度的卷积，学习了深层次的特征，在经过上采样回复为原图大小，上采样用反卷积实现，最后输出类别数量的特征图。

(1)siamesenetwork的网络结构：

siamesenetwork有两个结构相同，且共享权值的子网络，(input1andinput2)，将两个输入feed进入两个神经网络(network1andnetwork2)，这两个神经网络分别将输入映射到新的空间，形成输入在新的空间中的表示。神经网络的“连体”是通过共享权值来实现的，通过loss的计算，可以评价两个输入的相似度。

(2)siamesenetwork的损失函数：

在孪生神经网络(siamesenetwork)中，其采用的损失函数是对比损失(contrastiveloss)，这种损失函数可以有效的处理孪生神经网络中的配对数据(paireddata)的关系。对比损失的表达式如下：

其中

代表两个样本特征x1和x2的欧氏距离(二范数)p表示样本的特征维数，y为两个样本是否匹配的标签，y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，m为设定的阀值，n为样本个数。

当y＝1(即样本相似时)，损失函数为

即当样本不相似时，其特征空间的欧式距离反而小的话，损失值会变大。

当y＝0(即样本不相似时)，损失函数为

即当样本不相似时，其特征空间的欧式距离反而小的话，损失值会变大。

观察上述的contrastiveloss的表达式可以发现，这种损失函数可以很好的表达成对样本的匹配程度，也能够很好用于训练提取特征的模型。

步骤s6，使用孪生网络模型进行多时相遥感影像的变化检测：用训练后得到的模型对输入的遥感影像进行变化检测，输入的影像对通过孪生网络进行计算，unet进行下采样和上采样，上采样的过程中融合下采样过程中的featuremap，最终输出变化掩膜，即输电走廊异物掩膜mask，从而实现检测其输电走廊是否存在异物。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。