基于高分辨率遥感图像多特征的识别方法与流程

本发明涉及遥感图像处理领域，具体涉及一种基于高分辨率遥感图像多特征的识别方法。

背景技术：

遥感图像识别是遥感研究领域中的一个基本问题，通过对地物的光谱、纹理等特征信息，对不同的地物进行识别，实现了对图像中的每一个像元进行真实地物标签分类的过程。随着遥感技术的不断发展，高分辨率遥感图像在各个领域使用得越来越频繁，对遥感图像分类技术的要求越来越高。但是随着遥感图像分辨率的提高，不同地物类型的光谱有相互重叠部分，“同物异谱、异物同谱”的现象比较严重，严重制约了高分辨率遥感图像的解译精度。虽然高分辨率遥感图像可以提供丰富的地物信息，但是数据量巨大，传统的遥感处理技术没有较好的充分挖掘其地物细节信息，产生了“数据丰富，信息贫乏”的现象。因此研究一种更加高效、高精度的高分辨率遥感图像分类方法迫在眉睫。基于深度学习技术的遥感图像识别核心思想就是对目标进行像素级别的分割，对组成不同目标物的像素进行属性的颜色标注。遥感领域的图像识别也是采用这种思想，因此基于深度学习技术的遥感图像识别技术是具有一定的研究价值。

高分辨率遥感数据与dsm数据、ndvi数据等对不同地物类型具有不同的区别能力。其中高分辨率遥感数据可以较好地表达地物的空间关系及光谱信息；dsm数据可以对高度信息敏感，对于建筑物、树木等提供辅助的识别信息；ndvi数据可以有效区分植被地物与非植被地物。因此，不同的特征数据在一定程度上可以有助于提取特定的地物信息，所以dsm和ndvi遥感数据对遥感图像识别精度的提高具有一定的帮助作用。

技术实现要素：

本发明针对以上问题，提出了一种将遥感多特征数据作为神经网络的输入源，并构建提取、融合遥感图像多尺度特征信息，添加辅助损失函数来提高模型的准确性，提高遥感图像识别精度的基于高分辨率遥感图像多特征的识别方法。

本发明的技术方案是：包含以下数据基础：原始高分辨率遥感图像、dsm数据和地表真实标签数据；按以下步骤进行识别：

1)、对所述原始高分辨率遥感图像进行预处理；通过波段运算来获得ndvi数据的多特征遥感图像；构建包括所述原始高分辨率遥感图像、dsm数据和ndvi数据的六通道遥感图像做为全卷积网络的多特征输入源；

2)、对步骤1)得到的所述多特征遥感图像、及所述多特征遥感图像对应的所述地表真实标签数据进行数据增强，再随机裁剪构建训练样本集和测试样本集；

3)、构建多特征全卷积网络模型来提取、融合所述多特征输入源；利用深度残差网络resnet50提取作为浅层特征的所述多特征输入源，得遥感图像识别结果一：将浅层特征经过上采样输出的一个遥感图像识别结果；和遥感图像识别结果二：利用金字塔池化结构提取resnet50网络结构特征图的不同尺度的特征信息，将不同尺度特征信息进行融合来获取遥感图像识别结果；

4)、将步骤2)获得的训练样本集和测试样本集来训练所述多特征全卷积网络模型，通过调整参数，得最优遥感图像识别模型；

5)、将待预测图像输入所述最优遥感图像识别模型，得到遥感图像识别结果，并将所述遥感图像识别结果用全连接条件随机场进行后处理，纠正错分现象，提高图像的识别精度。

步骤1)预处理的具体过程为：

对原始高分辨率遥感图像近红外波段和红波段进行ndvi指数计算，计算公式如下：

其中，nir为遥感图像的近红外波段，red为遥感图像的红波段，所述近红外波段和红波段根据ndvi的计算公式进行波段运算操作，提取遥感图像的ndvi特征图像，ndvi数据值得范围在[-1,1]；

然后进行波段叠加，将遥感原始图像、ndvi数据和dsm数据构建为一个包含六个特征的高分辨率遥感数据。

步骤2)具体为：对所述多特征遥感图像及其对应的地表真实标签进行旋转、翻转等数据变换，来提高网络模型的的泛化能力；然后将所述多特征遥感图像及其对应的地表真实标签随机裁剪为256×256像素大小的图片，其中训练数据集为20000张遥感图像和对应的标签图像，测试集5000张遥感图像和对应的标签图像。

步骤3)具体为：

在特征提取阶段，构建resnet50结构来提取遥感原始波段图像特征和dsm数据、ndvi数据的浅层特征；

构建senet结构可以提取对当前任务有用的特征信息，抑制特征信息量小的特征图；

将resnet50网络提取的浅层特征和senet结构提取的特征进行求和操作；最后上采样输出遥感图像识别结果一；

构建金字塔池化结构来提取resnet50网络浅层特征的多尺度特征信息；然后resnet50网络浅层特征和金字塔池化结构多尺度特征进行通道叠加操作，利用senet结构来提取信息量大的特征，将金字塔池化结构的多尺度特征和senet结构处理的特征进行求和操作，上采样输出遥感图像识别结果二。

步骤4)训练后的最优遥感图像识别模型，其中训练的参数具体为：

训练的迭代次数(epochs)为200，一次训练的图片数量(batch_size)为7，多特征全卷积网络模型的浅层特征识别结果和多尺度特征识别结果的损失函数都采用多分类损失函数(categorical_crossentropy)，其中浅层特征遥感图像识别结果的损失权重为0.1，最终遥感图像识别结果的损失权重为0.9。采用方向传播方法和adam优化算法训练模型，其中adam优化函数中学习率(learning_rate)为0.0005，一阶矩估计的指数衰减率(beta_1)为0.9，二阶矩估计的指数衰减率(beta_2)为0.999，直到网络收敛为止，并保存训练的最优模型参数。

步骤5)中遥感图像的识别结果用全连接条件随机场具体为：

假设每张遥感图像的每个像素i的属性值和地表真实标签类别值分别为xi和yi，将每个像素点作为条件随机场的节点，各个像素之间的联系作为条件随机场的边，通过每个像素的xi来预测该像素对应的类别标签值yi。根据hammersley-clifford定理：一个无向图模型的概率可以表示为定义在图上所有最大团上的势函数的乘积，所以标签的后验概率表示为：

其中，x代表遥感图像的属性值；y代表地表真实标签类别值；z(x,θ)为归一化函数；w为条件随机场的节点集合；ni为节点i的相邻区域；ψi代表单位置势函数，ψij代表双位置势函数。全连接条件随机场的二元势函数描述了所有像素之间的关系，使相似的像素点分配相同类别标签，图像颜色和像素间相对距离差异程度较大的像素点分配不同类别标签，有效改善了图像分割边界不规整问题。

本发明采用的技术方案与现有的技术相比，具有以下优点：

1、本发明在传统的原始高分辨率图像的基础上，添加了dsm和ndvi数据，构建遥感图像多特征输入源，可以较好地挖掘遥感图像信息，来提高深度卷积网络对遥感图像的识别能力。

2、本发明构建的网络结构有2个遥感图像识别输出，其中浅层网络特征的识别输出的损失函数的权重为0.1，最终输出结果的损失函数的权重为0.9，通过设置辅助损失函数，来辅助本发明网络的训练，来提高网络的识别精度。

3、本发明的网络结构可以提取、融合遥感图像的不同尺度信息，并能筛选有利于遥感图像识别的特征信息，提高遥感图像的识别精度；相较于传统的遥感特征提取、识别方法，本发明方法省时省力且提高了精度。

4、与直接将遥感原始波段作为神经网络的输入源相比，本发明将遥感数据多特征作为输入源，然后进行多尺度特征提取、融合方法相比较，遥感图像识别总体精度可以达到1.4％。

附图说明

图1是本发明的遥感多特征数据识别技术流程图；

图2-1是原始遥感图像数据；

图2-2是ndvi遥感数据；

图2-3是dsm遥感数据；

图3是本发明网络模型组合详细结构；

图4是本发明的resnet50提取浅层特征网络详细结构；

图5是本发明卷积单元(convunit)网络组合详细结构；

图6是本发明resnet的identityblock组合详细结构；

图7是本发明resnet的convblock组合详细结构；

图8是本发明基于resnet思想的senet网络组合详细结构；

图9是本发明金字塔结构网络组合详细结构；

图10是本发明地表真实标签数据；

图11-1是本发明遥感图像(红、绿、蓝)三个波段在模型下识别结果；

图11-2是本发明遥感图像多特征的网络模型浅层特征识别结果；

图11-3是本发明遥感图像多特征的网络模型多特征识别结果。

具体实施方式

下面结合附图1至11-3详细表述本发明，包含以下数据基础：原始高分辨率遥感图像(红、蓝、绿和近红外四个波段)、dsm(数字表面模型)数据和地表真实标签数据；按以下步骤进行识别：

1)、对所述原始高分辨率(空间分辨率为0.05×0.05米，图像大小为6000×6000像素)遥感图像进行预处理；通过波段运算来获得ndvi数据的多特征遥感图像；构建包括所述原始高分辨率遥感图像(红、蓝、绿和近红外四个波段)、dsm(数字表面模型)数据和ndvi数据的六通道遥感图像做为全卷积网络的多特征输入源；

2)、对步骤1)得到的所述多特征遥感图像、及所述多特征遥感图像对应的所述地表真实标签数据(如图10)进行数据增强，再随机裁剪构建训练样本集和测试样本集；

3)、构建多特征全卷积网络模型来提取、融合所述多特征输入源；利用深度残差网络resnet50提取作为浅层特征的所述多特征输入源，得遥感图像识别结果一：将浅层特征经过上采样输出的一个遥感图像识别结果；和遥感图像识别结果二：利用金字塔池化结构提取resnet50网络结构特征图的不同尺度的特征信息，将不同尺度特征信息进行融合来获取遥感图像识别结果；

4)、将步骤2)获得的训练样本集和测试样本集来训练所述多特征全卷积网络模型，通过调整参数，得最优遥感图像识别模型；

5)、将待预测图像输入所述最优遥感图像识别模型，得到遥感图像识别结果，并将所述遥感图像识别结果用全连接条件随机场进行后处理，纠正错分现象，提高图像的识别精度；具体如下：

5.1)将测试图像(6000×6000像素)输入模型进行预测，采用滑动窗口的方法来保证相邻的图像块间具有重叠区域，每次预测256×256像素的遥感图像，滑动步长为128，然后保留预测图像中的部分结果，忽略边缘结果，依次拼接。实验发现这种方式可以有效减少拼接痕迹，提高预测图像的精度。

5.2)将预测的遥感图像的识别结果和原始遥感图像利用全连接条件随机场进行优化，纠正错分现象，提高遥感图像识别精度。

步骤1)预处理的具体过程为：

对原始高分辨率遥感图像近红外波段和红波段进行ndvi指数计算，计算公式如下：

其中，nir为遥感图像的近红外波段，red为遥感图像的红波段，所述近红外波段和红波段根据ndvi的计算公式进行波段运算操作，提取遥感图像的ndvi特征图像，ndvi数据值得范围在[-1,1]；

然后进行波段叠加，将遥感原始数据、ndvi数据和dsm数据构建为一个包含六个特征的高分辨率遥感数据。

步骤2)具体为：对所述多特征遥感图像及其对应的地表真实标签进行旋转、翻转等数据变换，来提高网络模型的的泛化能力；然后将所述多特征遥感图像及其对应的地表真实标签随机裁剪为256×256像素大小的图片，其中训练数据集为20000张遥感图像和对应的标签图像，测试集5000张遥感图像和对应的标签图像；在数据变换之前，要首先对遥感图像及其对应的地表标签图像的rgb值转化为以灰度值的类别标签(0，1，2，3，4，5)的灰度图像。

步骤3)具体为，如图3所示：

3.1)在特征提取阶段，构建resnet50结构来提取遥感原始波段图像(红、蓝、绿和近红外通道)特征和dsm(数字表面模型)数据、ndvi数据的六个特征遥感数据(256×256像素大小)浅层特征；如图4所示，具体如下：

3.1.1)采用卷积单元和最大池化层组合(convunit+maxpool)对六个特征遥感数据进行特征提取，获得的特征图大小(长，宽，通道数)为(128，128，64)；其中卷积单元(convunit)采用卷积层(conv2d)、批标准化层(batchnorm)和激活函数层(relu)依次组成，如图5所示；然后通过最大池化层(maxpool)来降低图像的分辨率；

3.1.2)resnet50残差网络的残差结构包含有2个基本结构，一个是标识块(identityblock,idblock),其输入和输出特征的通道数量一致，可以进行多个串联操作，如图6所示。首先将输入的特征数据进行2个卷积单元(convunit)操作，然后分别进行卷积层(conv2d)、批标准化层(batchnorm)操作得到输出特征数据，将输出的特征数据和输入的特征数据进行求和操作，最后进行激活函数层(relu)操作；另外一个是卷积块(convblock),其输入和输出特征的通道数量不一致，通过1×1的卷积核改变输出的通道数，才可以进行多个串联操作，如图7所示。首先将输入的特征数据进行2个卷积单元(convunit)操作，然后分别进行卷积层(conv2d)、批标准化层(batchnorm)操作得到输出特征数据，由于输入特征数据和输出的卷积特征数据不一致，利用卷积层(conv2d)、批标准化层(batchnorm)操作组合改变输入特征的通道数，然后将输出的特征数据和输入的特征数据进行求和操作，最后进行激活函数层(relu)操作；

3.1.3)第一个残差结构采用1个卷积块(convblock)，2个标识块(idblock)提取的特征图大小(长，宽，通道数)为(64，64，256)；

第二个残差结构采用1个卷积块(convblock)，3个标识块(idblock)提取的特征图大小(长，宽，通道数)为(64，64，512)；

第三个残差结构采用1个卷积块(convblock)，5个标识块(idblock)提取的特征图大小(长，宽，通道数)为(32，32，1024)；

第四个残差结构采用1个卷积块(convblock)，2个标识块(idblock)提取的特征图大小(长，宽，通道数)为(32，32，2048)。

3.2)构建senet结构可以提取对当前任务有用的特征信息，抑制特征信息量小的特征图即利用senet结构提取resnet50残差网络浅层特征中信息量大的特征；如图8所示，将输入图像特征(inputtensor)进行全局池化操作(globalpool)，全局池化操作可以选出更有分辨力的特征，然后分别进行全卷积(fc)、激活函数(relu)、全卷积(fc)和激活函数(sigmoid)操作，得到输入图像特征的每个权重大小，然后与输入图像特征数据相乘操作，获取输入图像特征信息量大的图像特征，最后与输入图像数据求和操作，求和操作使得senet结构有着类似于残差网络的结构思想，最后可以得到senet结构提取的特征。

3.3)将resnet50网络提取的浅层特征和senet结构提取的特征进行求和操作；如图3所示，利用1×1的卷积核(conyunit)上采样(upsampling)和softmax函数输出(output)遥感图像预测结果，其中该输出的损失函数的权重为0.1，来辅助优化网络的训练，即得到遥感图像识别结果一；

3.4)构建金字塔池化结构来提取resnet50网络浅层特征的多尺度特征信息，如图9所示，具体如下：

3.4.1)使用256个1×1的卷积单元(convunit)改变输出的通道数为256，然后使用空洞率(dila＝2)为2卷积核来扩大感受野，利用dropout(中文解释)为0.1的操作获得第一个尺度为(32，32，256)的特征图；

3.4.2)使用池化大小为2的平均池化(averagepool)操作缩小特征图的尺寸到(16,16)，然后使用256个1×1的卷积单元(convunit)改变输出的通道数为256，利用dropout为0.1和2倍上采样(upsampling)操作获得第二个尺度为(32，32，256)的特征图；

3.4.3使用池化大小为4的平均池化(averagepool)操作缩小特征图的尺寸到(8，8)，然后使用256个1×1的卷积单元(convunit)改变输出的通道数为256，利用dropout为0.1和，4倍上采样(upsampling)操作获得第三个尺度为(32，32，256)的特征图；

3.4.4)使用池化大小为8的平均池化(averagepool)操作缩小特征图的尺寸到(4，4)，然后使用256个1×1的卷积单元(convunit)改变输出的通道数为256，利用dropout为0.1和8倍上采样(upsampling)操作获得第四个尺度为(32，32，256)的特征图；

3.4.5)使用256个1×1的卷积单元(convunit)改变输出的通道数为256，然后使用2个连续空洞率(dila＝2)为2的3×3卷积核来扩大感受野，利用dropout为0.1的操作获得第五个尺度为(32，32，256)的特征图；

然后将resnet50网络浅层特征和得到的金字塔池化结构多个尺度的特征图进行通道叠加操作，叠加后特征图大小为(32,32,3328)，实现了遥感特征数据不同尺度融合目的；

3.5)利用senet结构来提取金字塔池化结构中多个尺度特征中信息量大的特征，然后将金字塔池化结构的多尺度特征和senet结构处理后的特征进行求和操作，利用6个1×1的卷积核(convunit)将特征图大小变换为(32,32,6)，然后使用8倍上采样(upsampling)和softmax激活函数获得遥感图像每一个像素对应的类别，得出(output)遥感图像识别结果，结果其中该输出结果损失函数的损失权重为0.9,即得到遥感图像识别结果二。

步骤4)训练后的最优遥感图像识别模型为：

在训练阶段，将预处理好的遥感训练样本集和验证样本集作为输入源，对本发明构建的遥感图像识别模型进行训练、学习，得到预测概率分布图，利用交叉熵函数计算预测图与真实标签的误差值，使用adam优化函数不断减小误差值，不断迭代更新网络的参数来获得、保存最优的模型。

其中训练参数具体为：

训练的迭代次数(epochs)为200，一次训练的图片数量(batch_size)为7，多特征全卷积网络模型的浅层特征识别结果和多尺度特征识别结果的损失函数都采用多分类损失函数(categorical_crossentropy)，其中浅层特征遥感图像识别结果的损失权重为0.1，最终遥感图像识别结果的损失权重为0.9。采用方向传播方法和adam优化算法训练模型，其中adam优化函数中学习率(learning_rate)为0.0005，一阶矩估计的指数衰减率(beta_1)为0.9，二阶矩估计的指数衰减率(beta_2)为0.999，直到网络收敛为止，并保存训练的最优模型参数。

步骤5)中遥感图像的识别结果用全连接条件随机场具体为：

假设每张遥感图像的每个像素i的属性值和地表真实标签类别值分别为xi和yi，将每个像素点作为条件随机场的节点，各个像素之间的联系作为条件随机场的边，通过每个像素的xi来预测该像素对应的类别标签值yi。根据hammersley-clifford定理：一个无向图模型的概率可以表示为定义在图上所有最大团上的势函数的乘积，所以标签的后验概率表示为：

其中，x代表遥感图像的属性值；y代表地表真实标签类别值；z(x,θ)为归一化函数；w为条件随机场的节点集合；ni为节点i的相邻区域；ψi代表单位置势函数，ψij代表双位置势函数。全连接条件随机场的二元势函数描述了所有像素之间的关系，使相似的像素点分配相同类别标签，图像颜色和像素间相对距离差异程度较大的像素点分配不同类别标签，有效改善了图像分割边界不规整问题。

图11-1是本发明遥感图像(红、绿、蓝)三个波段在模型下识别结果，相比于遥感地表标签图像，采用三波段特征的遥感图像识别结果出现了许多错误识别情况，其中植被地物识别结果不连续，有许多“椒盐噪声”现象，地物识别边界不规整；

图11-2是本发明遥感图像多特征的网络模型浅层特征识别结果，相比于遥感地表标签图像，地物类型错误识别情况较为严重，由于未采用金字塔结构提取多特征进行遥感图像识别，浅层特征未包含丰富的语义信息，造成了对不同形状、大小的地物未能很好的识别，并且识别结果不连续；

图11-3是本发明遥感图像多特征的网络模型多特征识别结果，相比于遥感地表标签图像，该结果存在较少的错误识别情况，再加入ndvi数据和dsm数据情况下，植被和建筑物的识别效果较好，识别边界较为连续。

本发明是适用于遥感图像处理领域的一种基于高分辨率遥感图像多特征的识别方法。解决了传统遥感数据源(红、绿、蓝、近红外四通道)对不同的地物类型表达和识别能力有限以及图像识别精度较低的问题。本发明在采用原始高分辨率遥感图像的基础上，添加了数字表面模型(dsm)和ndvi植被指数特征遥感数据来构建遥感多特征输入数据，构建了一个深度全卷积神经网络模型来提取遥感多特征数据的不同尺度的特征信息，并将卷积网络提取的深度多尺度特征进行融合，利用多输出的损失函数提高模型的收敛速度，以提高遥感图像的识别精度。本发明可以充分挖掘遥感图像的信息，总体识别精度达到了91.3％，比单一的遥感数据源提高了1.4％。