基于双通道DCGAN和特征融合的多光谱图像分类方法与流程

本发明属于图像处理
技术领域：
，更进一步涉及多光谱图像分类
技术领域：
中的一种基于双通道生成式对抗网络dcgan(deepconvolutionalgenerativeadversarialnetworks)和特征融合的多光谱图像分类方法。本发明可用于将多光谱图像中包括水域、田地、城市等的地物进行分类。
背景技术：
：多光谱图像属于遥感图像的一种，它是由多个波段对同一目标进行反复拍摄而得道的图像。多光谱图像的应用价值越来越广泛，比如在航空、航天对地检测，大地测绘、灾害检测等等领域。图像分类是多光谱图像研究内容中重要的一个方向。多光谱图像的传统分类方法有很多，但是大多数方法需要针根据图像本身的特点进行人为的设计提取特征信息，比如支持向量机、决策树等等。近些年来，深度学习，比如卷积神经网络，在图像处理领域表现出了其强大效的特征表征能力，减少了人为设计提取特征的不确定性。李亚坤等人在其发表的论文“基于纹理特征mnf变换的多光谱遥感影像分类”(《兵器装备工程学报》,2017,38(2):113-117)中提出了一种基于纹理特征最小噪声分离mnf(minimumnoisefraction)变换的多光谱遥感影像分类方法。该方法利用灰度共生矩阵进行特征提取，再对所提取的特征进行最小噪声分离mnf变换，将最小噪声分离mnf分量与光谱信息协同进行分类。该方法利用灰度共生矩阵提取特征，虽然能得到较好的分类结果。但是，该方法仍然存在的不足之处是，该方法的特征提取设计依靠人为经验，复杂并且耗时，并且特征的组合通常不适用于像素对比度不明显的场景。攀枝花学院在其申请的专利文献“基于张量稀疏表示及聚类的多光谱遥感图像分类方法”(专利申请号：201710329412.3，公开号:107067040a)中提出了一种基于张量稀疏表示及聚类的多光谱遥感图像分类方法。该方法利用无监督聚类方法中的聚类算法将多光谱遥感图像划分为不同的组；将各组中的多光谱图像由三维形式转化为二维的矩阵；对所述二维的矩阵进行字典学习，获得能够用于各组多光谱遥感图像进行稀疏表示的字典、稀疏表示系数、每一种地物的标记；对获得的稀疏表示系数及标记进行训练，获得最优的分类器；对多光谱遥感图像的像素，根据其稀疏表示系数，利用获得的分类器，对其进行分类。该方法虽然用聚类的方法将多光谱遥感图像分为不同的组，再对各组数据稀疏表示，得到最后的分类结果。但是，该方法仍然存在的不足之处是，计算过程繁琐，使用无监督聚类方法，存在同物异谱及异物同谱现象，影响分类结果。技术实现要素：本发明的目的在于克服上述已有技术的不足，提出了一种基于双通道深度卷积生成式对抗网(dcgan)与特征融合的多光谱图像分类方法，本发明利用生成式对抗网提取特征并且将两个卫星提取的特征融合，以提高分类精度。为实现上述目的，本发明的具体步骤如下：(1)输入多光谱图像：输入由两个不同卫星拍摄成像的五个地区的多光谱图像，每个地区包含两个多光谱图像，第一幅多光谱图像包含10个波段的图像，第二幅多光谱图像包含9个波段的图像：(2)对每一幅多光谱图像的每个波段的图像归一化处理：(3)获得多光谱图像矩阵：(3a)将第一幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为w1i×h1i×10的五个地区的多光谱图像矩阵，i＝1,2,3,4,5；(3b)将第二幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为w2i×h2i×9的五个地区的多光谱图像矩阵，i＝1,2,3,4,5；(4)获取数据集：(4a)从前四个地区的第一幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将四个多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×10的图像像素块，从图像像素块中随机选取10％的像素块，组成训练数据集d1，再从图像像素块中随机选取50％的像素块，组成另一个训练数据集d1′；(4b)从前四个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将四个多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，从图像像素块中随机选取10％的像素块，组成训练数据集d2，再从图像像素块中随机选取50％的像素块，组成另一个训练数据集d2′；(4c)从第五个地区的第一幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×10图像像素块，将所有图像像素块组成测试数据集v1；(4d)从第五个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，将所有图像像素块组成测试数据集v2；(5)搭建双通道深度卷积生成式对抗网络dcgan模型：(5a)搭建第一通道深度卷积生成式对抗网络dcgan，该网络由6层的生成网络和5层的判别网络组成；(5b)搭建第二通道深度卷积生成式对抗网络dcgan，该网络由6层的生成网络和5层的判别网络组成；(5c)将第一通道中判别网络提取的特征图向量化，将第二通道中判别网络提取的特征图向量化，融合两个向量化的特征向量，组成双通道深度卷积生成式对抗网络dcgan模型的特征融合层；(5d)在特征融合层之后连接一个softmax层，得到双通道深度卷积生成式对抗网络dcgan模型；(6)训练双通道深度卷积生成式对抗网络dcgan分类模型：(6a)将训练数据集d1′输入到第一通道深度卷积生成式对抗网络dcgan网络中，利用无监督训练方法，训练该网络；(6b)将训练数据集d2′输入到练第二通道深度卷积生成式对抗网络dcgan网络中，采用与训练第一通道网络相同的训练方式，训练第二通道深度卷积生成式对抗网络dcgan网络；(6c)将训练数据集d1输入到训练好的第一通道网络的判别网络中，提取训练数据集d1的特征s1，将训练数据集d2输入到训练好的第二通道网络的判别网络中，提取训练数据集d2的特征s2，将特征s1与特征s2特征融合后输入到双通道深度卷积生成式对抗网络dcgan网络中的softmax层，进行有监督训练200次，得到训练好的双通道深度卷积生成式对抗网络dcgan分类模型；(7)对测试数据集进行分类：(7a)将测试数据集v1，输入到训练好的双通道深度卷积生成式对抗网络dcgan网络的第一通道的判别网络中，提取测试数据集v1的特征c1；(7b)将测试数据集v2输入到第二通道的判别网络中，提取测试数据集v2的特征c2；(7c)将特征c1与特征c2融合后，输入到双通道深度卷积生成式对抗网络dcgan网络的softmax层，得到最终的分类结果。本发明与现有的技术相比具有以下优点：第一，由于本发明中搭建双通道深度卷积生成式对抗网络dcgan模型，利用该模型中的判别网络提取多光谱图像的特征，是一种自学习的特征提取方法，克服了现有技术人为设计提取特征的不确定性的缺点，本发明的特征提取方法没有针对性，可以用于对非确定的多光谱图像的特征提取，从而具有适用性更广的优点。第二，由于本发明中搭建双通道深度卷积生成式对抗网络dcgan模型，构建的双通道网络中不同的网络通道学习不同卫星的特征信息，再进行特征融合，这样学习的特征信息丰富，克服了人为设计特征提取步骤的繁琐且特征信息少的缺点，提取到的特征具有多方向、多光谱的多种高层特征信息的优点。第三，由于本发明中训练双通道深度卷积生成式对抗网络dcgan分类模型时采用无监督和有监督的训练方法，对图像数据的标注要求比较低，并且克服了只有无监督学习的不确定性的缺点，提高了分类精度。附图说明图1为本发明的实现流程图；图2为本发明中对待分类图像的人工标记图；图3为用本发明对待分类图像的分类结果图。具体实施方式下面结合附图对本发明做进一步的描述。参照附图1，对本发明的实现的步骤详细描述如下。步骤1，输入多光谱图像。输入由两个不同卫星拍摄成像的五个地区的多光谱图像，卫星一是sentinel-2卫星，卫星二是landsat-8卫星，五个地区分别是berlin，hong_kong，paris，rome，saopaulo，每个地区包含两个多光谱图像，第一幅多光谱图像包含10个波段的图像，第二幅多光谱图像包含9个波段的图像。步骤2，对每一幅多光谱图像的每个波段的图像归一化处理。所述归一化处理的步骤如下：第1步，用第一幅多光谱图像中每个波段的图像中的每个像素值除以该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他像素值不变，得到第一幅多光谱图像中10个波段图像归一化后的图像。第2步，用第二幅多光谱图中每个波段的图像的每个像素值除以该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他归一化后的像素值不变，得到第二幅多光谱图像中9个波段图像归一化后的图像。步骤3，获得多光谱图像矩阵。将第一幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为w1i×h1i×10的五个地区的多光谱图像矩阵，i＝1,2,3,4,5。将第二幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为w2i×h2i×9的五个地区的多光谱图像矩阵，i＝1,2,3,4,5。步骤4，获取数据集。从前四个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将四个多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，从图像像素块中随机选取10％的像素块，组成训练数据集d2，再从图像像素块中随机选取50％的像素块，组成另一个训练数据集d2′。从第五个地区的第一幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×10图像像素块，将所有图像像素块组成测试数据集v1。从第五个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，将所有图像像素块组成测试数据集v2。步骤5，搭建双通道深度卷积生成式对抗网络dcgan模型。搭建第一通道深度卷积生成式对抗网络dcgan，该网络由6层的生成网络和5层的判别网络组成。所述6层的生成网络的结构和参数如下：第一层为噪声层，输入的是一个大小为100维的高斯向量；第二层为映射层，该映射层是由噪声层的100维向量进行映射得到的，其大小为4×4×512；第三层为微步幅卷积层，设置卷积核数量为256，卷积核窗口大小为5×5，步长为2，输出256个特征图；第四层为微步幅卷积层，设置卷积核数量为128，卷积核窗口大小为5×5，步长为2,输出128个特征图；第五层为微步幅卷积层，设置卷积核数量为64，卷积核窗口大小为5×5，步长为2,输出64个特征图；第六层为微步幅卷积层，设置卷积核数量为10，卷积核窗口大小为5×5，步长为2,输出10个特征图。每次的微步幅卷积层将特征图大小变为原来的两倍。所述5层的判别网络的结构和参数如下：第一层为输入层，输入训练数据集；第二层为卷积层，设置卷积核数量为64，卷积核窗口大小为5×5，步长为2,输出64个特征图；第三层为卷积层，设置卷积核数量为128，卷积核窗口大小为5×5，步长为2,输出128个特征图；第四层为卷积层，设置卷积核数量为256，卷积核窗口大小为5×5，步长为2,输出256个特征图；第五层为卷积层，设置卷积核数量为512，卷积核窗口大小为5×5，步长为2,输出512个特征图。每次的积层将特征图大小变为原来的二分之一。搭建第二通道深度卷积生成式对抗网络dcgan，该网络由6层的生成网络和5层的判别网络组成。所述第二通道深度卷积生成式对抗网络dcgan中6层的生成网络和5层的判别网络，生成网络中前5层结构与第一个通道dcgan中的生成网络的前5层结构和参数相同，最后一层的微步幅卷积层的卷积核数量设定为9；判别网络中的每一层结构和参数与第一个通道dcgan中的判别网络的每一层结构和参数相同。将第一通道中判别网络提取的特征图向量化，将第二通道中判别网络提取的特征图向量化，融合两个向量化的特征向量，组成双通道深度卷积生成式对抗网络dcgan模型的特征融合层。在特征融合层之后连接一个softmax层，得到双通道深度卷积生成式对抗网络dcgan模型。步骤6，训练双通道深度卷积生成式对抗网络dcgan分类模型。将训练数据集d1′输入到第一通道深度卷积生成式对抗网络dcgan网络中，利用无监督训练方法，训练该网络。所述无监督训练方法的步骤如下：第一步，用训练数据集d1′，无监督训练第一通道深度卷积生成式对抗网络dcgan网络中的判别网络。第二步，用高斯噪声无监督训练第一通道深度卷积生成式对抗网络dcgan网络的中的生成网络，将生成网络的输出图像输入到判别网络中，再训练判别网络。第三步，将经第二步训练后的判别网络与第二步训练后的生成网络进行交替迭代训练，训练时，固定一方，更新另一方的网络权重，交替迭代，在这个过程中，生成网络尽可能生成真的图像，而判别网络尽可能识别出图像的真假，从而形成竞争对抗，如此交替迭代训练达到设定的500次后，双方达到一个动态的平衡，得到训练好的第一通道网络。将训练数据集d2′输入训练第二通道深度卷积生成式对抗网络dcgan网络中，采用与训练第一通道网络相同的训练方式，训练第二通道深度卷积生成式对抗网络dcgan网络。将训练数据集d1输入到训练好的第一通道网络的判别网络中，提取训练数据集d1的特征s1，将训练数据集d2输入到训练好的第二通道网络的判别网络中，提取训练数据集d2的特征s2，将特征s1与特征s2特征融合后输入到双通道深度卷积生成式对抗网络dcgan网络中的softmax层，进行有监督训练200次，得到训练好的双通道深度卷积生成式对抗网络dcgan分类模型。步骤7，对测试数据集进行分类。将测试数据集v1，输入到训练好的双通道深度卷积生成式对抗网络dcgan网络的第一通道的判别网络中，提取测试数据集v1的特征c1。将测试数据集v2输入到第二通道的判别网络中，提取测试数据集v2的特征c2。将特征c1与特征c2融合后，输入到双通道深度卷积生成式对抗网络dcgan网络的softmax层，得到最终的分类结果。本发明的效果可以通过以下仿真实验进一步说明：1.仿真条件：本发明的仿真是在惠普z840、内存8gb的硬件环境和matlab2014ra、tensorflow的软件环境下进行的。2.仿真内容：本发明的仿真实验是将卫星sentinel_2和卫星landsat_8分别拍摄成像的柏林berlin，香港hong_kong，巴黎paris，罗马rome四个地区的多光谱图像数据，作为训练数据集训练双通道深度卷积生成式对抗网络，将圣保罗sao_paulo5地区的多光谱图像数据作为测试数据集，进行17类地物分类。图2为圣保罗sao_paulo5地区的真实地物标记图，地物类别包括密集型高层建筑、密集型中层建筑、密集型低层建筑、开放式高层建筑、开放式中层建筑、开放式低层建筑、大型低层建筑、稀疏分布的建筑、重工业区、茂密的森林、零散树木、灌木丛和矮树、低矮的植被、裸露的岩石、裸露的土壤和沙土、水。图3是利用本发明的方法对圣保罗sao_paulo5地区的多光谱图像进行分类得到的结果图。对图3本发明得到的分类像素与图2中的真实地物标记像素进行对比，可以看出，采用本发明的方法得到的分类结果准确率较高。本发明仿真实验：仿真1和仿真2，用现有技术的dcgan分类方法对卫星sentinel_2拍摄成像的圣保罗sao_paulo5地区的多光谱图像和卫星landsat_8拍摄成像的圣保罗sao_paulo5地区的多光谱图像进行分类。仿真3，用本发明对卫星sentinel_2成像圣保罗sao_paulo5地区的多光谱图像和卫星landsat_8成像圣保罗sao_paulo5地区的多光谱图像进行分类，结果如图3，三种仿真方法得到的分类准确率对比结果如表1。3.仿真效果分析：表1是三种方法在仿真中得到的分类准确率对比，从表1可见，本发明将两个卫星拍摄得到的多光谱图像数据输入到双通道深度卷积生成式对抗网络进行提取特征，相比单通道网络处理单一卫星拍摄的多光谱图像数据输入到单通道网络中，分类精度提高。表1仿真中三种方法得到的分类准确率一览表仿真方法分类准确率本发明分类方法62.872％单通道dcgan网络(sentinel_2数据)55.635％单通道dcgan网络(landsat_8数据)54.143％综上所述，本发明引入了双通道生成式对抗网，结合特征融和，提取了多方向、多光谱的多种高层特征信息，增强了多光谱图像的特征表征能力，提升了分类效果。当前第1页12