一种基于残差网络和迁移学习的高分遥感图像分类方法

本发明属于图像处理和分析技术领域，具体涉及一种基于残差网络和迁移学习的高分遥感图像分类方法。

背景技术：

高分遥感图像(或高分辨率遥感图像)能够从米级甚至亚米级的空间分辨率精细观测地球，清楚地表达地物目标的空间结构与表层纹理特征，从而分辨出地物内部更为精细的组成，为有效的地学分析提供思路。与自然图像相比，高分辨率遥感图像不仅具有丰富的空间、形状和纹理特征。因此，利用高分辨率遥感图像进行场景分类对于影像的解译和现实世界的理解具有举足轻重的意义。随着高分辨率遥感技术的飞速发展，高分辨率遥感影像场景分类在测绘制图、城市规划、交通、水利、农业、林业、环境资源监测等领域都得到了广泛应用。但现阶段，高分辨率遥感图像场景分类任务仍然存在以下挑战：

1)高分辨率遥感图像具有丰富的空间信息，现有方法通常只提取深层的高级语义特征而忽略了底层的细节特征，使得高分辨率遥感图像里地物精细的空间信息难以被充分利用，小尺度地物场景分类效果欠佳。

2)高分辨率遥感图像标注困难，现有方法一般采用公开数据集ucmercedlandusedataset(图像像素大小为256x256，总包含21类场景图像，每一类有100张，共2100张)、whu-rs19dataset(图像像素大小为600x600，总包含19类场景图像，每一类大概50张，共1005张)以及aiddataset(图像像素大小为600x600，总包含30类场景图像，每一类有200-400张，共10000张)等作为原始训练数据集进行迁移学习。然而，上述数据集标注类别过于精细、各类别图像标注样本少、场景分类结果冗杂，难以满足实际生产和生活对于场景分类的需求。因此，需要一种场景分类方法，更好地实现不同分辨率特征的有效融合以及数据集迁移的效果，从而满足高精度地物目标识别的需求。

技术实现要素：

为了解决上述技术问题，本发明提供了一种基于残差网络和迁移学习的高分辨率遥感图像多尺度场景分类方法。

本申请的基于残差网络和迁移学习的高分遥感图像分类方法，包括如下步骤：

步骤1、基于待分类高分遥感图像建立目标数据集；包括：

a1、剔除高分遥感图像数据库中无法使用或无意义的高分遥感图像后，以剩余高分遥感图像作为源域数据集；

a2、在源域数据集中以随机抽样的方式选取测试样本，进行基于其地物类别进行标签标注；

a3、基于步骤a2中确定的类别，指定或者剔除源域数据集中不需要的、无法识别的高分遥感图像，构建仅含有确定类别的高分遥感图像的重构数据集；

a4、在重构数据集中，以随机抽取的方式分别从各类别内抽取相同数量的高分遥感图像构建测试集；

步骤2、基于resnet101深度残差网络对重构源域数据集中的高分遥感图像特征提取，包括：

b1、改进resnet101深度残差网络

resnet101深度残差网络采用逐层提取特征的方式，具体而言：利用最初的卷积层通过卷积计算提取高分遥感图像的边缘信息；在前述边缘信息的基础上，利用中间的卷积层继续采用卷积操作提取高分遥感图像的局部信息；利用卷积层提取地面场景高级语义特征，基于前述高级语义特征，保存具有上述特征的预训练网络权重参数，得到预训练网络，并将带有权重参数的预训练网络迁移到数据集上进行场景分类；

将resnet101深度残差网络的全连接层连接数量替换为前述步骤a2中确定的类别数；在全连接层中构建包含底层边缘信息到高级语义特征的映射；具体而言：

记网络输入特征为x，学习到的特征为h(x)，残差单元为yl＝h(xl)+f(xl,wl)xl+1＝f(yl)；其中，xl和xl+1分别表示的是第l个残差单元的输入和输出；f是残差函数，表示学习到的残差，w是卷积核，h(x1)＝x1表示恒等映射，f是relu激活函数；从浅层l到深层l的学习特征为

b2、确定改进的resnet101深度残差网络训练模型和参数

将测试集中的高分遥感图像按照多个尺度进行裁剪，将相同尺度的高分遥感图像为一组放在resnet101深度残差网络上进行测试完成预训练模型迁移，得到不同尺度的场景标签分类结果及总体精度；基于resnet101深度残差网络在测试集上进行训练，训练过程保存模型权重参数，形成预训练模型；

步骤3、获取目标数据集多尺度场景分类及投票结果

c1、基于待分类高分遥感图像建立目标数据集，将目标数据集中的高分遥感图像按照不同尺度裁剪成对应尺寸，构成不同尺度下的分尺度目标数据集；

c2、获取多个尺度的目标数据集场景分类结果；

基于前述步骤b2中resnet101深度残差网络训练模型和参数，每次将分尺度目标数据集中的高分遥感图像在resnet101深度残差网络上进行测试；直至所有分尺度目标数据集中的高分遥感图像均完成测试，完成预训练模型从测试集到目标数据集的迁移过程，得到目标数据集多尺度场景分类结果；

c3、多尺度场景分类结果投票

基于c1中每个高分遥感图像的分割数据，遍历每个分割块，针对每一个分割块统计不同分类标签出现的次数，并确定出现次数最多标签，并将该标签作为分类结果赋值给该分割块内部所有像素，完成概率投票过程；对所有高分遥感图像进行投票再生成，完成分类任务。

对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，

a2中，所选取样本中的高分遥感图像数量应当不少于待分类高分遥感图像总数量的5％；标签参考的可选地物类别至少包括：农田、林地、水系、居民用地、建筑用地、道路；

a4中，当无法保证测试集中各类别中抽取的高分遥感图像数量相同时，应保证不同类别中，高分遥感图像最大数目：高分遥感图像最少数目≤120％；

对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，

a2中，可选地物类别通过人工目视或者识别程序对各高分遥感图像样本地进行地物类别的识别，具体而言，均匀绿色块状区域及深褐色裸地为农田，不均匀深绿色无规则状区域为林地，深蓝色或黑褐色湖泊及河流为水体，建筑群为居民用地，荒芜的土地和正在建设的裸地为建筑用地，灰色的狭长条带形地物为道路；

对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，b1中，

边缘信息具体包括：农田与水系之间的界限、居民用地建筑物的边界以及道路的轮廓；

局部信息具体包括：农田具体轮廓、居民用地建筑楼群轮廓以及湖泊占地范围；

高级语义特征具体包括：水系的环境特征，指水系的语义描述或与其他地物类别的差异信息，包括占地面积、形状与其他类别的差异描述；居民用地典型特点，指居民用地的描述或与其他地物类别的差异信息。

对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，b2中，裁剪具体是指：导入python包的pil库里的image函数，采用image内置的open方法读取高分遥感图像，同时查看高分遥感图像宽度和高度；给定box参数后调用image内置的crop方法来对图片进行裁剪，最后运用内置的save方法保存裁剪后高分遥感图像，得到不同尺寸的高分遥感图像。

对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，在进行步骤a1前，对高分遥感图像数据进行标准化处理，具体采用将原始像素值除以图像中最高像素值的方法，让所有像素值统一映射到[0,1]区间，提高模型收敛速度，让各个特征对结果做出的贡献相同。

对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，resnet101网络第一层为卷积层，其后与4个残差块相连，卷积层和残差块的卷积核尺寸和通道数为：

1*1,、3*3、1*1、64、64、256；

1*1,、3*3、1*1、128、128、512；

1*1,、3*3、1*1、256、256、1024；

1*1,、3*3、1*1、512、512、2048。

对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，resnet101深度残差网络训练过程的代码实现语言为python，实现框架为pytorch，迭代次数为50次。

对前述基于残差网络和迁移学习的高分遥感图像分类方法的进一步改进和优化，训练过程中，只保存模型的权重之后直接载入模型与训练数据开始训练,以减少空间占用，节约内存。

本发明的有益效果为：

本发明提供的方法建立包含图像特征提取、迁移场景分类与多尺度结果投票三部分。在图像特征提取部分，利用改进的resnet101深度残差网络进行特征提取与源域数据集的预训练；在迁移场景分类部分，保留源域数据集的预训练模型权重信息等并将其迁移到目标域数据集，进行有多尺度的场景分类，总体精度可达到95％以上；在多尺度结果投票部分，利用不同尺度的分类结果根据概率进行投票，得到更高精度场景分类结果。

本方法方法综合考虑了全局特征提取、局部细节保留与迁移场景训练，通过多尺度结果的投票，在有效保留局部细节信息的同时，加快模型收敛，增强方法的稳健性。由于整个过程中，测试以及训练采用目标数据中的高相似性数据集进行迁移学习，保证在分类是能够实现覆盖范围广、冗余少，进而满足工程项目的实际需要，有针对性地提高场景分类效果，解决小样本数据训练模型易产生的过拟合问题，同时也能够大大缩减模型训练的时间。因此，本发明技术方案能够更好的实现高分辨率遥感图像的场景分类，实现更高精度的场景识别。

附图说明

图1为本发明实施例采用的resnet101深度残差网络结构示意图。

图2为是基于残差网络和迁移学习的高分遥感图像分类方法的流程示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。本申请的基于残差网络和迁移学习的高分遥感图像分类方法包含图像特征提取、迁移场景分类与多尺度结果投票等内容。

如图2所示，本申请在图像特征提取部分以及分类过程中采用图1所示的，经过改进的resnet101深度残差网络进行特征提取与源域数据集的预训练；其基本步骤包括：

步骤1、基于高分遥感图像数据库建立源域数据集以及测试集；包括：

a1、剔除高分遥感图像数据库中无法使用或无意义的高分遥感图像后，以剩余高分遥感图像作为源域数据集；

a2、在源域数据集中以随机抽样的方式选取测试样本，进行基于其地物类别进行标签标注；

标签参考的可选地物类别包括：农田、林地、水系、居民用地、建筑用地、道路；

在具体实施过程中，首先通过人工目视或者识别程序对各遥感图像样本地进行地物类别的识别，具体而言，均匀绿色块状区域及深褐色裸地为农田，不均匀深绿色无规则状区域为林地，深蓝色或黑褐色湖泊及河流为水体，建筑群为居民用地，荒芜的土地和正在建设的裸地为建筑用地，灰色的狭长条带形地物为道路；

所选取样本中的遥感图像数量应当不少于待分类遥感图像总数量的5％；

a3、基于步骤a2中确定的类别，指定或者剔除源域数据集中不需要的、无法识别的遥感图像，构建仅含有确定类别的遥感图像的重构数据集；

a4、以随机抽取的方式分别从各类别内抽取相同数量的遥感图像构建测试集；当无法保证测试集中各类别中抽取的遥感图像数量相同时，应保证不同类别中，遥感图像最大数目：遥感图像最少数目≤120％；

步骤2、基于resnet101深度残差网络进行遥感图像特征提取，包括：

b1、改进resnet101深度残差网络，

将resnet101深度残差网络的全连接层连接数量替换为前述步骤a2中确定的类别数；

比如需要分类类别包括农田、林地、水系、居民用地、建筑用地、道路共六种，则设置全连接层连接数量为6；全连接层中包含底层边缘信息到高级语义特征的映射；具体而言：

记网络输入特征为x，学习到的特征为h(x)，残差单元为yl＝h(xl)+f(xl,wl)xl+1＝f(yl)；其中，xl和xl+1分别表示的是第l个残差单元的输入和输出；f是残差函数，表示学习到的残差，w是卷积核，h(x1)＝x1表示恒等映射，f是relu激活函数；从浅层l到深层l的学习特征为

b2、确定改进的resnet101深度残差网络训练模型和参数

将测试集中的遥感图像按照多个尺度进行裁剪，将相同尺度的遥感图像为一组放在resnet101深度残差网络上进行测试完成预训练模型迁移，得到不同尺度的场景标签分类结果及总体精度；基于resnet101深度残差网络在测试集上进行训练，训练过程保存模型权重参数，形成预训练模型；

训练内容包括采用resnet101深度残差网络从的测试集里逐层提取特征，具体而言：

利用最初的卷积层通过卷积计算提取遥感图像的边缘信息；在前述边缘信息的基础上，利用中间的卷积层继续采用卷积操作提取遥感图像的局部信息；利用卷积层提取地面场景高级语义特征，基于前述高级语义特征，保存具有上述特征的预训练网络权重参数，得到预训练网络，并将带有权重参数的预训练网络迁移到目标域数据集上进行场景分类；

边缘信息具体包括：农田与水系之间的界限、居民用地建筑物的边界以及道路的轮廓；

局部信息具体包括：农田具体轮廓、居民用地建筑楼群轮廓以及湖泊占地范围；

高级语义特征具体包括：

水系的环境特征，特指水系的语义描述或与其他地物类别的差异信息，包括占地面积、形状与其他类别的差异描述，比如：水系占地面积远比农田小、水系形状为不规则封闭图形；居民用地典型特点，特指居民用地的描述或与其他地物类别的差异信息，例如所包含建筑楼的边缘信息量远超农田；

在得到高级语义特征后，保存具有上述特征的网络(预训练网络)权重参数，并将带有权重参数的预训练网络迁移到高分摇杆图像上进行场景分类，通过在高相似度数据集上的迁移学习，能够在大尺度场景数据集仅有极少数标注样本的情况下实现场景级别的分类。该方法充分利用了大尺度数据集的样本相似性，克服了传统遥感影像分类方法的局限性，极大地减小了数据标注而产生的人力、物力、财力的资源浪费，从而能够更有效地应用于社会生产和经济发展。

本实施例中，对高分遥感图像进行裁剪具体是指：导入python包的pil库里的image函数，采用image内置的open方法读取遥感图像，同时查看遥感图像宽度和高度；给定box参数后调用image内置的crop方法来对图片进行裁剪，最后运用内置的save方法保存裁剪后遥感图像，得到不同尺寸的遥感图像；

为便于前述resnet101深度残差网络的构建和实施，考虑到本申请中源域数据集以及测试集之间的数据具有高度相似性，为简化设计过程，提高效率，优选在构建网络和训练过程的使用python语言实现代码化，并基于pytorch框架来构建，最大化程度利用pytorch框架对高相似性数据的高效处理能力，提高效率降低对设备软硬件的需求，优选的，经过测试，在该语言以及框架基础上，迭代次数为50次即可保证90％以上的准确率，完全满足规划设计扥作业的需求。

步骤3、获取目标数据集多尺度场景分类及投票结果

c1、将目标数据集中的遥感图像按照不同尺度裁剪成对应尺寸，构成不同尺度下的分尺度目标数据集；

c2、获取多个尺度的目标数据集场景分类结果；

基于前述步骤b2中resnet101深度残差网络训练模型和参数，每次将分尺度目标数据集中的遥感图像在resnet101深度残差网络上进行测试；直至所有分尺度目标数据集中的遥感图像均完成测试，完成预训练模型从测试集到目标数据集的迁移过程，得到目标数据集多尺度场景分类结果；

c3、多尺度场景分类结果投票

基于c1中每个遥感图像的分割数据，遍历每个分割块，针对每一个分割块统计不同分类标签出现的次数，并确定出现次数最多标签，并将该标签作为分类结果赋值给该分割块内部所有像素，完成概率投票过程；基于概率投票结果，使得每个图像具有唯一的标签结果，对所有遥感图像进行投票再生成之后，即可获得所有图像的分类结果，完成分类任务。

本发明深入挖掘了高分辨率遥感图像丰富的空间信息，有效结合不同层次、不同分辨率的特征，提出了一种基于残差网络的高分辨率遥感图像场景分类方法，有效保留局部细节信息，加快模型收敛，增强方法的稳健性。

应当理解的是，本说明书未详细阐述的部分包括图像数据的基本处理(获取、筛选以及数据化处理等)以及resnet101深度残差网络的基本训练内容。以及图像分割的处理方法或使用的软件，均属于公开的现有成熟的技术或本领域技术人员熟知的常规技术手段，本文不再赘述。以上实施例仅用以说明本申请的技术方案，而非对本申请保护范围的限制，尽管参照较佳实施例对本申请作了详细地说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或者等同替换，而不脱离本申请技术方案的实质和范围。