基于双通道卷积阶梯网的多源遥感影像地物分类方法与流程

本发明属于图像处理领域，具体涉及一种基于双通道卷积阶梯网的多源遥感影像地物分类方法。

背景技术：

随着遥感技术的发展，由各种不同遥感器获取的同一地区的多光谱、多分解力、多时相的影像数据越来越多，为自然资源调查、环境监测等提供了丰富而又宝贵的资料。但各种单一的遥感手段获取的影像数据在几何、光谱和空间分辨率等方面存在着明显的局限性和差异性，导致其用于分类的能力是有限的。显然，把它们各自的优势和互补性结合起来用于分类是非常重要的。信息融合技术是多元信息综合处理的一项技术，它能将多源信息加以合成，产生比单元信息更精确、更完全的估计和判决。信息融合技术按融合层次可分为数据层、特征层和决策层融合。其中，特征级的融合是较高层次的融合，这类融合技术首先对各种数据源进行特征提取，然后对这些特征进行综合分析和融合处理。常用的特征级融合方法有贝叶斯估计、dempster-shafer证据理论、聚类分析法和人工神经网络等。其中，神经网络具有信息的分布式存储、并行处理、自学习和自组织等功能，并将多源信息特征构成的高维特征空间进行整合处理，可以有效地融合多维信息用于分类等问题。

在使用人工神经网络实现融合以及分类时，常使用有监督的分类方法，需要大量的有类标数据，成本较高，需耗费大量的人力财力。

技术实现要素：

本发明的目的在于克服上述不足，提供一种基于双通道卷积阶梯网的多源遥感影像地物分类方法，使用神经网络的方式对多源数据进行融合，仅使用少量有类标样本，即可获得较高的多源影像地物分类精度。

为了达到上述目的，本发明包括以下步骤：

步骤一，将landsat-8传感器得到的若干待测地区的多光谱数据进行归一化处理，得到归一化后的多光谱数据，并标记为landsat_a、landsat_b、landsat_c、……、landsat_n；

步骤二，将sentinel-2传感器得到若干待测地区的多光谱数据进行归一化处理，得到归一化后的多光谱数据，并标记l为sentinel_a、sentinel_b、sentinel_c、……、sentinel_n；

步骤三，将landsat_a中每个元素取周围28×28的块代表原来的元素值，构成基于图像块的特征矩阵l1_a，同理，得到特征矩阵l1_b、l1_c、……、l1_n；

步骤四，将sentinel_a中每个元素取周围28×28的块代表原来的元素值，构成基于图像块的特征矩阵s1_a，同理，得到特征矩阵s1_b、s1_c、……、s1_n；

步骤五，在特征l1_a中，每类随机选取若干块组成集合l2_a，同理，由l1_b、l1_c、……、l1_n分别得到集合l2_b、l2_c、……、l2_n，由l2_a、l2_b、l2_c、……、l2_n组成训练数据集l；

步骤六，在s1_a中，选取和l2_a中对应的块组成集合s2_a，同理，由s1_b、s1_c、……、s1_n分别得到集合s2_b、s2_c、……、s2_n，由s2_a、s2_b、s2_c、……、s2_n组成训练数据集s；

步骤七，构造双通道卷积阶梯网多源遥感影像地物分类模型；

步骤八，用训练数据集l和训练数据集s对多源影像地物分类模型进行训练，得到训练好的模型；

步骤九，利用训练好的模型对测试数据集l1_a、l1_b、l1_c、……、l1_n、s1_a、s1_b、s1_c、……、s1_n进行分类，得到测试数据集中每个像素点对应的模型的输出。

步骤一和步骤二中，使用envi软件对数据进行归一化处理，选择的归一化方式为equalize。

所述步骤三中，得到特征矩阵l1_a、l1_b、l1_c、……、l1_n的具体方法如下：

用归一化后的特征矩阵landsat_a中每个元素取周围28×28像素的块代表原来的元素值，因此这个块的类标仍是原来元素值的类标，由于特征矩阵是9维的，因此每个块大小为28×28×9，由此构成了基于图像块的特征矩阵l1_a，同理，得到特征矩阵l1_a、l1_b、l1_c、……、l1_n。

所述步骤四中，得到特征矩阵s1_a、s1_b、s1_c、……、s1_n的具体方法如下：

用归一化后的特征矩阵sentinel_a中每个元素取周围28×28像素的块代表原来的元素值，因此这个块的类标仍是原来元素值的类标，由于特征矩阵是10维的，因此每个块大小为28×28×10，由此构成了基于图像块的特征矩阵s1_a，同理，得到特征矩阵s1_a、s1_b、s1_c、……、s1_n。

所述步骤五中，组成训练数据集l的具体方法如下：

在l1_a中，将样本随机打乱，选取每类前10％的块组成集合l2_a，同理，由l1_b、l1_c、……、l1_n分别得到集合l2_b、l2_c、……、l2_n，由l2_a、l2_b、l2_c、……、l2_n组成训练数据集l。

所述步骤六中，组成训练数据集s的具体方法如下：

以打乱l1_a相同的方式打乱s1_a，选取每类前10％的块组成集合s2_a，同理，由s1_b、s1_c、……、s1_n分别得到集合s2_b、s2_c……、s2_n，由s2_a、s2_b、s2_c、……、s2_n，组成训练数据集s。

所述步骤七中，构造双通道卷积阶梯网多源遥感影像地物分类模型的具体方法如下：

第一步，构造网络编码器：

基于卷积的编码器包含干净部分和有损部分，两部分共享一组参数，有损部分每层加入均值为0标准差为0.3的高斯噪声，编码器的结构为：输入层→第一卷积层→第二卷积层→第三卷积层→第四卷积层→softmax分类器；

第二步，构造解码器：

解码器对编码器中有损部分从输出到输入的每一层依次进行重构，重构函数如下：

表示解码器第l层第i个神经元的输出，i＝1,2，...,ml，其中ml表示第l层的神经元个数，表示编码器有损部分第l层第i个神经元的输出，表示的权重，表示先验，是降噪函数，其中，i，l均为正整数；

第三步，构造损失函数：

cc是交叉熵损失函数，表示有监督部分的损失，t(n)表示类标，是编码器有损部分的输出，x1(n)是编码器中第一通道的输入，x2(n)是编码器中第二通道的输入，cd表示无监督部分的损失，λ^l表示l层重构误差的权重，n表示输入的样本个数，ml表示第l层的神经元个数，z^(l)表示编码器干净部分第l层的输出，表示解码器重构的第l层的输出。

所述步骤八中，得到训练好的模型的具体方法如下：

将训练数据集l和训练数据集s分别作为多源遥感影像地物分类模型中第一通道和第二通道的输入，训练数据集中每个像素点的类别作为多源影像地物分类模型的输出，通过求解类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。

所述步骤九中，得到测试数据集中每个像素点对应的模型的输出的具体方法如下：

将测试数据集l1_a、l1_b、l1_c、……、l1_n作为训练好的多源遥感影像地物分类模型的第一通道的输入，s1_a、s1_b、s1_c、……、s1_n作为训练好的多源遥感影像地物分类模型的第二通道的输入，模型的输出为对待分类地区的测试数据集中每个像素点进行分类得到的分类类别。

与现有技术相比，本发明由于将像素级特征扩展成图像块特征，可同时获取谱段信息和空间信息，更有助于描述不同地物的特征；本发明将应用于自然图像分类问题的半监督卷积阶梯网络应用到多源遥感影像地物分类中，在仅使用少量有类标样本的情况下便可获得较高的地物分类精度，大大降低了人力财力的耗费；本发明将landsat-8传感器和sentinel-2传感器获得的同一地区的数据同时送入双通道卷积阶梯网中进行特征提取、特征融合，进而实现分类，相比于传统数据融合方法，该方法得到的融合特征更抽象，更具有代表性，能够更好地描述不同地物的特性，有利于提高多源遥感图像分类精度；本发明使用多源遥感数据实现地物目标分类，实现了不同数据的信息互补，获取到了不同地物更完备的特征。

附图说明

图1为本发明的实现流程图；

图2为本发明中对待检测影像的人工标记图；其中，a为柏林；b为巴黎；c为香港；d为罗马；e为圣保罗；

图3为用本发明对待分类影像的分类结果图；其中，a为柏林；b为巴黎；c为香港；d为罗马；e为圣保罗。

具体实施方式

下面结合附图对本发明做进一步说明。

参见图1，本发明具体实施步骤如下：

步骤1，将landsat-8传感器得到的柏林、巴黎、香港、罗马、圣保罗五个城市的多光谱数据分别使用envi软件进行归一化处理，得到归一化后的多光谱数据，分别记为landsat_berlin、landsat_paris、landsat_hong_kong、landsat_rome、landsat_sao_paulo；

landsat-8传感器得到的柏林、巴黎、香港、罗马、圣保罗五个城市的多光谱数据均为9个波段，图像大小分别为666×643、988×1160、529×528、447×377、871×1067；

使用envi软件对数据进行归一化处理时，选择的归一化方式是equalize；

步骤2，将sentinel-2传感器得到的柏林、巴黎、香港、罗马、圣保罗五个城市的多光谱数据分别使用envi软件进行归一化处理，得到归一化后的多光谱数据，分别记为sentinel_berlin、sentinel_paris、sentinel_hong_kong、sentinel_rome、sentinel_sao_paulo；

sentinel-2传感器得到的柏林、巴黎、香港、罗马、圣保罗五个城市的多光谱数据均为10个波段，图像大小分别为666×643、988×1160、529×528、447×377、871×1067；

使用envi软件对数据进行归一化处理时，选择的归一化方式是equalize；

步骤3，将landsat_berlin中每个元素取周围28×28的块代表原来的元素值，构成基于图像块的特征矩阵l1_berlin，同理，得到特征矩阵l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo；

用归一化后的特征矩阵landsat_berlin中每个元素取周围28×28像素的块代表原来的元素值，因此这个块的类标仍是原来元素值的类标，由于特征矩阵是9维的，因此每个块大小为28×28×9，由此构成了基于图像块的特征矩阵l1_berlin，同理，得到特征矩阵l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo；

步骤4，将sentinel_berlin中每个元素取周围28×28的块代表原来的元素值，构成基于图像块的特征矩阵s1_berlin，同理，得到特征矩阵s1_paris、s1_hong_kong、s1_rome、s1_sao_paulo；

用归一化后的特征矩阵sentinel_berlin中每个元素取周围28×28像素的块代表原来的元素值，因此这个块的类标仍是原来元素值的类标，由于特征矩阵是10维的，因此每个块大小为28×28×10，由此构成了基于图像块的特征矩阵s1_berlin，同理，得到特征矩阵s1_paris、s1_hong_kong、s1_rome、s1_sao_paulo；

步骤5，在l1_berlin中，每类随机选取若干块组成集合l2_berlin，同理，由l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo分别得到集合l2_paris、l2_hong_kong、l2_rome、l2_sao_paulo，由l2_berlin、l2_paris、l2_hong_kong、l2_rome、l2_sao_paulo组成训练数据集l；

在l1_berlin中，将样本随机打乱，选取每类前10％的块组成集合l2_berlin，同理，由l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo分别得到集合l2_paris、l2_hong_kong、l2_rome、l2_sao_paulo，由l2_berlin、l2_paris、l2_hong_kong、l2_rome、l2_sao_paulo组成训练数据集l；

步骤6，在s1_berlin中，选取和l2_berlin中对应的块组成集合s2_berlin，同理，由s1_paris、s1_hong_kong，s1_rome，s1_sao_paulo分别得到集合s2_paris，s2_hong_kong，s2_rome，s2_sao_paulo，由s2_berlin，s2_paris，s2_hong_kong，s2_rome，s2_sao_paulo组成训练数据集s；

以打乱l1_berlin相同的方式打乱s1_berlin，选取每类前10％的块组成集合s2_berlin，同理，由s1_paris、s1_hong_kong，s1_rome，s1_sao_paulo分别得到集合s2_paris，s2_hong_kong，s2_rome，s2_sao_paulo，由s2_berlin，s2_paris，s2_hong_kong，s2_rome，s2_sao_paulo组成训练数据集s；

步骤7，构造双通道卷积阶梯网多源遥感影像地物分类模型，包括如下步骤：

(7a)构造网络编码器：

基于卷积的编码器包含干净部分和有损部分，两部分共享一组参数，有损部分每层加入均值为0标准差为0.3的高斯噪声。编码器的结构为：输入层→第一卷积层→第二卷积层→第三卷积层→第四卷积层→softmax分类器，各层参数如下：

第一层输入层：第一通道设置特征映射图数目为9，第二通道设置特征映射图数目为10；

第二层第一卷积层：第一通道和第二通道均设置特征映射图数目为100；

第三层第二卷积层：第一通道和第二通道均设置特征映射图数目为100；

第四层第三卷积层：第一通道和第二通道均设置特征映射图数目为17；

第五层第四卷积层：设置特征映射图数目为17；

第六层softmax分类器：设置特征映射图数目为17；

(7b)构造解码器：

解码器对编码器中有损部分从输出到输入的每一层依次进行重构，重构函数如下：

表示解码器第l层第i(i＝1,2，...,ml)个神经元的输出，其中ml表示第l层的神经元个数，表示编码器有损部分第l层第i个神经元的输出，表示的权重，表示先验，是降噪函数，其中，i，l均为正整数；

(7c)构造损失函数：

cc是交叉熵损失函数，表示有监督部分的损失，t(n)表示类标，是编码器有损部分的输出，x1(n)是编码器中第一通道的输入，x2(n)是编码器中第二通道的输入。cd表示无监督部分的损失，λ^l表示l层重构误差的权重，n表示输入的样本个数，ml表示第l层的神经元个数，z^(l)表示编码器干净部分第l层的输出，表示解码器重构的第l层的输出。

步骤8，用训练数据集l和s对双通道卷积阶梯网多源遥感影像地物分类模型进行训练，得到训练好的模型；

将训练数据集l和s分别作为双通道卷积阶梯网多源遥感影像地物分类模型中第一通道和第二通道的输入，训练数据集中每个像素点的类别作为双通道卷积阶梯网多源遥感影像地物分类模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型，人工标记的正确类标如图2所示。

步骤9，利用训练好的模型对测试数据集l1_berlin、l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo、s1_bnerlin、s1_paris，s1_hong_kong，s1_rome，s1_sao_paulo进行分类，得到测试数据集中每个像素点对应的模型的输出。

将测试数据集l1_berlin、l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo作为训练好的双通道卷积阶梯网多源遥感影像地物分类模型的第一通道的输入，s1_berlin、s1_paris，s1_hong_kong，s1_rome，s1_sao_paulo作为训练好的双通道卷积阶梯网多源遥感影像地物分类模型的第二通道的输入，模型的输出为对五个城市的测试数据集中每个像素点进行分类得到的分类类别。

本发明的效果可以通过以下仿真实验进一步说明：

1、仿真条件：

硬件平台为：hp-z820。

软件平台为：tensorflow。

2、仿真内容与结果：

用本发明方法在上述仿真条件下进行实验，即从landsat-8传感器和sentinel-2传感器得到的柏林、巴黎、香港、罗马、圣保罗五个城市的多光谱数据中，各随机选取10％的像素点作为训练样本，其余所有有标记的像素点作为测试样本，得到如图3的分类结果。本实验所使用的数据共分为16类，分别为：1-密集型高层建筑，2-密集型中层建筑，3-密集型低层建筑，4-开放式高层建筑，5-开放式中层建筑，6-开放式低层建筑，8-大型低层建筑，9-稀疏分布的建筑，10-重工业区，11-茂密的树林，12-零散树木，13-灌木丛和矮树，14-低矮的植被，15-裸露的岩石，16-裸露的土壤和沙土，17-水。

从图3可以看出：各城市除了少数错分斑点，各部分有类标区域分类结果良好，水域的分类结果最好，各种建筑物由于特征相似，导致分类结果中存在错分斑点，各部分有类标区域分类结果良好。

本发明的无类标训练样本大小固定为10％(约8000个样本)，改变训练样本中有类标的样本数，使有类标样本占总数的10％、5％、3％，将本发明与单通道的卷积阶梯网的测试数据集分类精度进行对比，结果如表1所示：

表1

从表1可见，训练样本中有类标样本分别占总标记样本的10％、5％、3％时，本发明的每个城市的测试数据集分类精度均高于使用单通道的卷积阶梯网对landsat-8或sentinel-2传感器数据进行分类得到的分类精度。

综上，本发明通过使用双通道卷积阶梯网对多源遥感影像进行融合，进而实现分类，提取了更精确、更完全的信息，有效提高了图像特征的表达能力，增强了模型的泛化能力，使得在训练样本极少的情况下仍可以达到较高的地物分类精度。