基于语义分割和孪生神经网络的无人机图像变化检测方法与流程

本发明属于多时相无人机图像变化检测
技术领域：
，更具体地，涉及基于语义分割和孪生神经网络的无人机图像变化检测方法。
背景技术：
：近年来，随着无人机技术的蓬勃发展，无人机自身特点与航拍相结合，成为了一种新的发展方向。无人机遥感技术具有实时、高分辨率、高性价比、灵活性强的优点，应用在了生态环境保护、土地利用调查、河道检测中。无人机多时相图像变化检测(changedetection)，本质上，是为了检测出在同一位置、不同时相的两幅图像的显著变化区域，但是由于受光照、天气、相机因素等影响，成为了制约变化检测发挥的重要因素。目前变化检测方法主要分成先分类后分析、先比较后分析。(1)先分类后分析，先分别将两时相的图像分类，对比分析各自的分类类别图，得到变化检测的结果。(2)先比较后分析，两时相图通过比较产生差异图，然后分析差异图并得到变化检测结果。目前后者是主流的变化检测方法，产生高质量差异图是变化检测的重要方向。语义分割(semanticsegmentation)是将图像中的每个像素点按照所属目标的语义类别进行分割，获取的是逐像素分类的分类结果，语义分割可以有效检测图像的语义信息。孪生神经网络(simaeseneuralnetwork)是一种包含两个子网络的架构，子网络具有相同的网络结构、参数和权重，参数的更新是在两个子网络上同时进行，共享权重可以减少训练的参数数量，提高训练效率。孪生神经网络可应用于涉及相似性的问题中，可以衡量相似度。目前已有很多学者在研究变化检测技术，论文“aneighborhood-basedratioapproachforchangedetectioninsarimages”提出基于邻域的比值算子，该算子将灰度信息与相邻像素的空间信息相结合来生成差异图，但是特征鲁棒性不高；论文“unsupervisedchangedetectioninsatelliteimagesusingprincipalcomponentanalysisandk-meansclustering”提出了将主成分分析与k-means聚类相结合的非监督变化检测，但是手动特征的特征表达力不高；论文“changedetectionbasedondeepfeaturesandlowrank”提出多尺度分割与低秩分解的方法，从视觉显著性的角度解决变化检测问题，但却在一定程度上损失了检测精确度。以上的方法都是从像素角度实现变化检测，没有考虑到其他几何、语义信息和变化区域多尺度，并且没有解决图像变化检测对噪声敏感的问题。技术实现要素：本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于语义分割和孪生神经网络的无人机图像变化检测方法，结合了语义分割的思想，并利用孪生网络权值共享特点，有利于提取有现实含义的特征。为解决上述技术问题，本发明采用的技术方案是：一种基于语义分割和孪生神经网络的无人机图像变化检测方法，包括以下步骤：s1.扩展数据集并划分数据集；s2.搭建基于语义分割框架deeplabv3和孪生网络结合的深度神经网络模型；s3.利用训练数据集训练基于deeplabv3的孪生神经网络模型；s4.基于测试数据集和训练后的模型，验证训练结果。本发明的核心是构建基于语义分割框架deeplabv3和孪生网络结合的深度神经网络模型；结合了语义分割的思想，并利用孪生网络权值共享特点，有利于提取有现实含义的特征，考虑像素间的语义关系和变化区域的多尺度问题，并解决噪声敏感、变化检测精度较低等问题，提高差异图的质量和鲁棒性。进一步的，所述的s1步骤具体包括：s11.通过数据增强扩展数据集：使用的数据增强方法有，翻转、改变对比度、改变亮度、锐化、截取操作；s12.划分数据集：将数据集按照7:3的比例划分训练集和测试集。进一步的，所述的s2步骤具体包括：s21.使用aid数据集以及迁移学习的方法微调resnet50网络，构建为resnet-aid网络；s22.以resnet-aid作为基准网络，结合aspp模块，构建deeplabv3架构；s23.以deeplabv3作为孪生神经网络的子网络，搭建基于deeplabv3的孪生神经网络。在搭建基于deeplabv3的孪生神经网络时，在设置中间层时，在变化特征提取模块的基础上，使用超列策略形成两时相特征图。本发明使用航空数据集aid以及迁移学习的方法对基准网络resnet微调，可以使网络提取出的特征更符合无人机图像的特征；本发明所使用的deeplabv3网络是一种语义分割架构，能够缓解现有变化检测技术方法所忽略的像素间语义关系以及变化区域多尺度问题，提高差异图的质量。本发明结合孪生神经网络架构，同时处理两幅输入图像，两个子网络共享权值，用相同方法提取两时相图像特征，有利于衡量两时相图像的相似度，提高检测精确度。进一步的，所述的s3步骤具体包括：s31.使用s2步骤中基于deeplabv3的孪生神经网络提取训练集特征，并采用超列(hypercolumns)的策略，将不同层不同通道同一像素位置的特征通过级联层，级联成一个特征图；s32.设置对比损失函数作为模型的损失函数，并计算特征图与参考图的损失函数；该损失函数可以拉开不同特征之间的距离，缩小相似特征之间的距离，表达式为：式中，使用上述模型提取两时相图像x1、x2的特征图fw(x1)、fw(x1)的欧式距离；y为变化检测的参考图，yi＝1表示两图的特征图对应像素位置产生变化，yi＝0表示两图的特征图对应像素位置未产生变化，margin表示设定的阈值；s33.使用adam优化算法，优化网络参数，降低损失函数；s34.训练基于deeplabv3的孪生神经网络。在搭建基于deeplabv3的孪生神经网络时，在设置损失函数层时，本方法使用对比损失函数(contrastiveloss)作为损失函数，用两时相特征图和参考图进行对比，计算对比损失。进一步的，所述的s4步骤具体包括：s41.提取测试集特征：基于训练后的网络提取测试集两时相图像多通道特征，并构建成特征图；s42.计算两时相特征图之间的距离，得到差异图；s43.利用最大类间方差(ostu)算法对差异图进行阈值分割，实现二值化处理，得到变化检测结果；s44.通过评价标准定量分析变化检测结果。在验证基于deeplabv3的孪生神经网络时，使用训练后的模型提取测试集多时相图像的特征，构成特征图；在验证基于deeplabv3的孪生神经网络时，对特征图计算两特征图之间的l2距离，得到差异图。进一步的，在训练基于deeplabv3的孪生神经网络时，选用的优化方法选择adam法，初始学习率设为0.0005，权重衰减设为0.90，在此基础上迭代训练神经网络。进一步的，在训练基于deeplabv3的孪生神经网络时，具体的迭代训练步骤如下：s341.输入训练图像并通过前向传播得到两时相图像的特征图；s342.计算特征图与参考图之间的对比损失函数；s343.通过反向传播误差调整神经网络的权重和偏置；s344.重复以上步骤，直到达到最大迭代次数。与现有技术相比，有益效果是：本发明提供的一种基于语义分割和孪生神经网络的无人机图像变化检测方法，结合了语义分割的思想，并利用孪生网络权值共享特点，有利于提取有现实含义的特征，考虑像素间的语义关系和变化区域的多尺度问题，并解决噪声敏感、变化检测精度较低等问题，提高差异图的质量和鲁棒性。附图说明图1是本发明的方法流程图。图2是本发明实施例中基于deeplabv3的孪生神经网络提取图特征后，特征图的级联方式。图3是本发明实施例中仿真的系统框图。图4是本发明实施例中超列的特征表示法。图5是本发明实施例中不同变化检测方法的检测结果对比图。具体实施方式附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。实施例1：本发明的系统环境时linux，使用python语言，使用的深度学习框架时pytorch，可以高效训练和测试神经网络，本发明的仿真系统框图参照图3；如图1所示，具体实施方式如下：步骤一.扩展数据集并划分数据集：s11.通过数据增强扩展数据集：使用的数据增强方法有，翻转、改变对比度、改变亮度、锐化、截取等操作；s12.划分数据集：将数据集按照7：3的比例划分训练集和测试集。步骤二.搭建基于deeplabv3的孪生神经网络：s21.使用aid数据集以及迁移学习的方法微调resnet50网络，构建为resnet-aid网络；s22.以resnet-aid作为基准网络，结合aspp模块，构建deeplabv3架构；s23.以deeplabv3作为孪生神经网络的子网络，搭建基于deeplabv3的孪生神经网络。步骤三.利用训练数据集训练基于deeplabv3的孪生神经网络模型：s31.使用上述基于deeplabv3的孪生神经网络提取训练集特征，采用超列的策略构造特征图，参考图4；s32.设置对比损失函数作为模型的损失函数，计算特征图与参考图之间的损失函数，阈值margin设为2；s33.使用adam优化算法，优化网络参数，设置初始学习率为0.005，权重衰减设为0.9；s34.训练基于deeplabv3的孪生神经网络。步骤四.基于测试数据集和训练后的模型，验证训练结果：s41.提取测试集特征，基于训练后的网络提取测试集两时相图像多通道特征，并构建成特征图；s42.计算测试集两时相特征图之间的距离，得到差异图；s43.利用ostu算法对差异图进行阈值分割，实现二值化处理，得到变化检测结果；s44.通过评价标准定量分析变化检测结果，具体仿真评价指标如下：i.误差混淆矩阵：混淆矩阵时各类精度评价指标的基础，表示分类算法的性能：变化检测结果实际的变化像素数rc实际的未变化像素数ru检测出的变化像素数nctpfp检测出的未变化像素数nufntnii.精度(precision)、召回率(recall)、准确度(accuracy，acc)和f1分数，数值越高效果越好，其计算公式如下：iii.错检率(falsealarm，fa)、漏检率(missedalarm，ma)和总体误差(overallerror,oe)，数值越低效果越好，其计算公式如下所示：oe＝fa+maiv.kappa系数，kappa系数是衡量分类精确度的指标，衡量检测结果图与参考图的一致程度，kappa系数越高，表示分类精度越高，如下式：其中pre(proportionofexpectedagreement)表示理论的一致率，如下式：仿真内容与结果分析：本发明采用的仿真数据集是ottawa变化数据集，比较的方法分别有灰度差值法；pca提取特征结合k-means聚类的方法(pca+k-means)；pca提取特征结合高斯混合模型(gmm)聚类的方法(pca+gmm)；cnn提取特征法。使用各精度评价指标定量分析各方法的检测结果，仿真结果图如参考图5和表1所示。参考图5中，图5(a)和图5(b)为两时相的输入图像样本，图5(a)为t1时刻图像，图5(b)为t2时刻图像，图5(c)为变化参考图，图5(d)为本发明方法获得的变化检测结果图，图5(e)为灰度差值法输出的检测结果图，图5(f)为pca+k-means法输出的检测结果图，图5(g)为pca+gmm法输出的检测结果图，图5(h)为cnn特征提取法输出的检测结果图。综合图5的检测结果图以及表1的实验结果，可以得出，本发明提出的方法较其他方法，获取的检测结果图的变化图像更加规整、连续，可以有效抑制环境变化造成的影响、也可以缓解对噪声敏感的问题，并且提升检测精确度，也有利于进一步分析变化图斑的类型。表1各方法在ottawa数据集的实验结果比较方法precisionrecallaccoef1kappa本发明0.90270.89480.94660.05330.81630.7853灰度差值0.82360.73460.90840.08150.75840.7088pca+k-means0.97130.47590.91490.08500.63880.5969pca+gmm0.76310.80750.92990.07000.78470.7429cnn0.76920.74010.92380.07610.75430.7093显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。当前第1页12