基于深度卷积神经网络的端对端高光谱图像变化检测方法与流程

本发明属图像处理
技术领域：
，具体涉及一种基于深度卷积神经网络的端对端高光谱图像变化检测方法。
背景技术：
变化检测作为遥感图像分析中观测地物的一项重要应用，为土地覆盖和利用、自然灾害监测以及资源勘探等提供了有效的技术手段。在众多遥感图像中，高光谱图像含有丰富的光谱信息，可以根据光谱特征显示出其他遥感图像无法检测出的微小的变化，反映出可见光数据所忽略的变化信息，能够更快、更好、更精确地反映地物的变化情况。根据在检测前是否需要对同一地域进行分类，可以将高光谱图像变化检测方法分为两大类：后分类变化检测和直接比较变化检测，前者先将不同时相的高光谱图像进行分类，然后比较同一地理位置分类后地物类别的不同，后者则直接比较同一地理位置不同时相的像元差异。nielsen,a.a.在文献“theregularizediterativelyreweightedmadmethodforchangedetectioninmulti-andhyperspectraldata.[j].ieeetransactionsonimageprocessing,2007,16(2):463-478.”中提出基于迭代权重多元变化分析的高光谱图像变化检测方法，利用典型相关分析原理，先给高光谱图像的每个像元赋初始权重，然后在每次迭代过程中赋予其新的权值，最后将权值的大小作为是否发生变化的依据，其中未发生变化的像元有较大的权值，发生变化的像元有较小的权值。该方法存在的问题是，首先，没有对高光谱图像进行解混处理，高光谱图像中含有大量的混合像元，未进行解混处理会大大降低变化检测的精度；其次，此方法对高维度数据的处理较为复杂，需要加正则项，计算量较大。技术实现要素：为了克服现有高光谱图像变化检测方法鲁棒性差的不足，本发明提供一种基于深度卷积神经网络的端对端高光谱图像变化检测方法。首先，对高光谱图像进行预处理，并提取所有像元的端元；然后，利用线性和非线性解混方法对高光谱图像进行混合像元分解，得到亚像元级别的线性与非线性丰度图；接着，利用丰度图和原始像元信息计算亲和矩阵，并将其作为卷积神经网络的输入，训练得到用于变化检测的网络模型；最后，利用训练好的网络模型进行变化检测，得到最终的变化检测结果。由于根据输入亲和矩阵的数据特性，利用局部共享卷积核进行卷积操作，将变化检测任务转换为简单的“变与不变”的二分类问题，可以有效地处理高光谱图像的高维信息，提高变化检测的鲁棒性。一种基于深度卷积神经网络的端对端高光谱图像变化检测方法，其特征在于步骤如下：步骤1：利用envi遥感图像处理软件对输入的两时相高光谱图像进行辐射校正、几何校正和图像配准预处理，得到预处理后的两时相高光谱图像。步骤2：采用plazaa等2005年的工作animprovedn-findralgorithminimplementation[j]，proceedingsofspie-theinternationalsocietyforopticalengineering,2005,5806:298-306中提出的n-findr端元提取算法对预处理后的两时相高光谱图像进行端元提取，得到两时相高光谱图像所有像元的端元。步骤3：对高光谱图像中的每一个像元，建立线性解混模型如下：其中，r表示高光谱图像中的一个像元，m表示像元r的端元总数，xi为像元r的端元矩阵x中的第i列，wli是像元r的线性丰度图wl的第i个元素，ε是随机噪声向量。利用全约束最小二乘法对公式(1)进行求解，即可得到像元r的线性丰度图wl。对两时相高光谱图像的每一个像元，均按此步骤上述过程进行处理，得到其线性丰度图。步骤4：对高光谱图像中的每一个像元，建立非线性解混模型如下：其中，⊙是点乘算子，xj为像元r的端元矩阵x中的第j列，wni是像元r的非线性丰度图wn的第i个元素，0≤wni≤1，aij是非线性模型的参数，满足：利用yuj等2017年的工作comparisonoflinearandnonlinearspectralunmixingapproaches:acasestudywithmultispectraltmimagery[j]，internationaljournalofremotesensing,2017,38(3):773-795中提出的bfm方法对公式(2)进行求解，得到像元r的非线性丰度图wn。对两时相高光谱图像的每一个像元，均按此步骤上述过程进行处理，得到其非线性丰度图。步骤5：由高光谱图像中随机选取10％的像元作为训练数据集，剩余像元则构成测试数据集，对训练数据集中的每一个像元按照k＝1-(r1-r2)/r2计算得到其亲和矩阵k，其中，r1为第一时相高光谱图像中的像元和其线性丰度图、非线性丰度图直接相加得到的新的数据块，r2为第二时相高光谱图像中相同位置的像元和其线性丰度图、非线性丰度图直接相加得到的新的数据块；然后，将得到的亲和矩阵作为用于变化检测的卷积神经网络的输入，采用随机梯度下降法最小化损失函数，对网络进行有监督训练，得到训练好的网络模型。所述的用于变化检测的神经网络共包含4个卷积层，2个池化层，2个全连接层，其中，第一个卷积层采用64个大小为3×3的卷积核，输出结果输入第二个卷积层，第二个卷积层采用128个3×3的卷积核，输出结果输入第一个平均池化层，第一个平均池化层采用2×2的卷积核，输出结果输入到第三个卷积层，第三个卷积层采用256个3×3的卷积核，输出结果输入到第四个卷积层，第四个卷积层采用128个3×3的卷积核，结果输入到第二个平均池化层，第二个平均池化层采用2×2的卷积核，将输出结果转换为向量输入到一个包含512个神经单元的全连接层，再将输出结果输入到另一个包含2个神经元的全连接层，得到最终输出的分类结果。所述的损失函数为交叉熵函数。步骤6：对于测试数据集，先按照步骤5中的方法计算得到其每一个像元的亲和矩阵，然后将亲和矩阵输入到步骤5得到的训练好的网络模型，网络输出即为得到的变化检测结果。本发明的有益效果是：由于同时利用预处理后的高光谱图像及其像元的线性丰度图和非线性丰度图，计算得到亲和矩阵，充分利用了高光谱图像的像元及亚像元的信息；在得到亲和矩阵的基础上，利用卷积神经网络进行端对端高光谱图像变化检测，将变化检测转换为简单的“变与不变”的二分类问题，有效地处理高光谱图像的高维信息，提高了变化检测的鲁棒性和精度。附图说明图1是本发明的一种基于深度卷积神经网络的端对端高光谱图像变化检测方法流程图图2是不同变化检测方法检测结果图其中，(a)为ground-truth标准图；(b)为cva方法结果图；(c)为pca-cva方法结果图；(d)为ir-mad方法结果图；(e)为svm方法结果图；(f)为本发明的cnn方法结果图。具体实施方式下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。如图1所示，本发明提供了一种基于深度卷积神经网络的端对端高光谱图像变化检测方法，其实现过程如下：1、图像预处理。由于高光谱原始图像含有较多的噪声，先对输入的两时相高光谱图像进行预处理，主要包括辐射校正、几何校正和图像配准，三种操作可利用envi遥感图像处理软件直接进行，得到预处理后的两时相高光谱图像。2、对高光谱图像进行端元提取。本发明采用n-findr端元提取算法对高光谱图像进行端元提取，得到两时相高光谱图像的所有端元。高光谱图像中，表示地物信息的端元位于高维凸体的顶点，而非端元位于高维凸体的内部、棱或面上，n-findr端元提取算法即是将端元提取过程转化为寻找相应凸体顶点。所述的n-findr端元提取算法记载在文献“animprovedn-findralgorithminimplementation[j].proceedingsofspie-theinternationalsocietyforopticalengineering,2005,5806:298-306.”中。3、对高光谱图像进行线性与非线性解混处理，得到两时相高光谱图像中每个像元的线性与非线性丰度图。(1)对高光谱图像进行线性解混操作，得到每个像元的线性丰度图。在线性解混模型中，高光谱图像的每个像元是各个端元的线性组合，则每个像元r可以表示为：其中，r表示两时相高光谱图像中的一个b×1维像元，b为高光谱图像的波段数，m表示像元r的端元总数，x表示像元r的b×m维端元矩阵，xi为端元矩阵x中的第i列，wl是像元r的线性丰度图，wli是线性丰度图wl的第i个元素，ε是随机噪声向量，由计算机随机生成。利用全约束最小二乘法对公式(1)进行求解，得到像元r的线性丰度图wl。重复此步骤遍历两时相高光谱图像的每一个像元，即得到所有像元的线性丰度图。(2)对高光谱图像进行非线性解混操作，得到每个像元的非线性丰度图。建立两时相高光谱图像中每个像元的非线性解混模型如下：其中，⊙是点乘算子，xj为像元r的端元矩阵x中的第j列，wni是像元r的非线性丰度图wn的第i个元素，0≤wni≤1，aij是非线性模型的参数，满足：利用bilinear-fanmodel(bfm)方法对公式(5)进行求解，得到像元r的非线性丰度图。重复此步骤遍历两时相高光谱图像的每一个像元，即得到所有像元的非线性丰度图。所述的bilinear-fanmodel(bfm)方法记录在文献“comparisonoflinearandnonlinearspectralunmixingapproaches:acasestudywithmultispectraltmimagery[j].internationaljournalofremotesensing,2017,38(3):773-795.”中。4、由高光谱图像中随机选取10％的像元作为训练数据集，剩余像元则构成测试数据集，对训练数据集中的每一个像元按照k＝1-(r1-r2)/r2计算得到其亲和矩阵k，其中，r1为第一时相高光谱图像中的像元和其线性丰度图、非线性丰度图直接相加得到的新的数据块，r2为第二时相高光谱图像中相同位置的像元和其线性丰度图、非线性丰度图直接相加得到的新的数据块；然后，将得到的亲和矩阵作为用于变化检测的卷积神经网络的输入，采用随机梯度下降法最小化损失函数，对网络进行有监督训练，得到训练好的网络模型。所述的用于变化检测的神经网络共包含4个卷积层，2个池化层，2个全连接层，其中，第一个卷积层采用64个大小为3×3的卷积核，输出结果输入第二个卷积层，第二个卷积层采用128个3×3的卷积核，输出结果输入第一个平均池化层，第一个平均池化层采用2×2的卷积核，输出结果输入到第三个卷积层，第三个卷积层采用256个3×3的卷积核，输出结果输入到第四个卷积层，第四个卷积层采用128个3×3的卷积核，结果输入到第二个平均池化层，第二个平均池化层采用2×2的卷积核，将输出结果转换为向量输入到一个包含512个神经单元的全连接层，再将输出结果输入到另一个包含2个神经元的全连接层，得到最终输出的分类结果。所述的损失函数为交叉熵函数。5、对于测试数据集，先按照k＝1-(r1-r2)/r2计算得到其每一个像元的亲和矩阵k，然后将亲和矩阵输入到前面得到的训练好的网络模型，网络输出即为得到的变化检测结果。本实施例在中央处理器为i5-45903.30ghzcpu、内存16g、windows7操作系统上，运用matlab软件进行的仿真。仿真中使用的数据为公开数据集farmland。图2为采用不同变化检测方法处理得到的结果图，其中，(a)为ground-truth标准图；(b)为changevectoranalysis(cva)方法结果图，该方法记录在文献“lambinef,strahlerah.change-vectoranalysisinmultitemporalspace:atooltodetectandcategorizeland-coverchangeprocessesusinghightemporal-resolutionsatellitedata.[j].remotesensingofenvironment,1994,48(2):231-244.”中；(c)为principalcomponentanalysis-changevectoranalysis(pca-cva)方法结果图，该方法记录在文献“baisantrym,negids,manochaop.changevectoranalysisusingenhancedpcaandinversetriangularfunction-basedthresholding[j].defencesciencejournal,2012,62(4):236-242.”中；(d)为iterativelyreweighedmultivariatealterationdetection(ir-mad)方法结果图，该方法记录在文献“nielsenaa.theregularizediterativelyreweightedmadmethodforchangedetectioninmulti-andhyperspectraldata.[j].ieeetransactionsonimageprocessing,2007,16(2):463-478.”中；(e)为supportvectormachines(svm)方法结果图，该方法记录在文献“nemmourh,chibaniy.multiplesupportvectormachinesforlandcoverchangedetection:anapplicationformappingurbanextensions[j].isprsjournalofphotogrammetry&remotesensing,2006,61(2):125-133.”中；(f)为本发明的cnn方法结果图。表1给出了不同方法的检测准确率数据，可以看出，本发明方法具有较高的变化检测精度。表1方法准确率值cva0.9523pca-cva0.9668ir-mad0.9604svm0.8420本发明方法0.9765当前第1页12