一种基于线下训练-线上学习深度可演化的遥感影像目标检测方法与流程

本发明基于遥感图像技术处理领域，特别涉及一种高分辨率遥感影像的线下训练-线上学习可演化深度理解网络，应用于遥感影像目标检测。

背景技术：

遥感影像目标检测作为遥感影像解译中对目标基础信息(位置，类别，大小)进行提取的手段，在城市规划、动态监测等遥感应用中发挥着至关重要的作用。而当前目标检测算法往往采用监督学习算法进行目标位置回归与种类分类。传统目标检测算法往往利用手工设计的特征表示，该类特征表示依赖人工先验和设计经验，无法有效描述多源遥感影像的本质特征，从而无法鲁棒地进行目标检测。深度学习作为一种数据驱动的特征表示学习方法，被应用到遥感影像目标检测。通过大量的目标标注数据进行遥感影像目标的本质特征学习，从而进行鲁棒地遥感影像目标检测。因此基于深度学习的目标检测算法性能与数据标注的数量与质量高度相关。然而高质量的标注数据获取耗时、昂贵，这导致“标注数据—目标检测算法—目标检测应用”的应用框架难以支撑大规模遥感影像目标检测应用。

技术实现要素：

本发明的目的在于提出一种基于线下训练-线上学习深度可演化的遥感影像目标检测方法。

本发明所提供的这种基于线下训练-线上学习深度可演化的遥感影像目标检测方法，结合深度学习特征表示学习方法，将遥感影像目标检测流程抽象为三个模块的循环图模型：“演化”，“线上学习”与“线下训练”。首先“线下训练”利用少量的目标标注数据训练一个初始的目标检测模型，并将模型转发到“线上学习”模块；“线上学习”模块利用当前目标检测模型对大规模遥感影像进行目标检测，获得具有一定误差的目标检测结果，这些结果在本方法中称为“粗样本”；“演化”模块则通过一定的选择策略将“粗样本”转化为“精样本”，并将“精样本”转发到“线下训练”模块，并对初始的目标检测模型进行增量学习；通过上述的循环图模型，整个目标检测流程形成一个闭环，仅需要少量的标注数据，即可获得一个可进化的目标检测模型及一个增量更新的目标检测样本库，大幅度降低了大规模遥感影像目标检测算法的应用成本。

在本发明中我们所提出的基于线下训练-线上学习深度可演化的遥感影像目标检测方法具有以下三个显著特点。一是闭环的遥感影像目标检测框架，提供了一种利用未标记遥感影像的特征学习方法，有效解决了基于深度学习目标检测算法的数据瓶颈问题；其二，目标检测模型可随着观测影像数据的增长而进行增量学习，进一步提升模型性能，但不会大幅度增加标注成本；其三，未标记的大量观测影像数据在迭代的“线上学习”-“演化”过程中转变成具有较小误差的有标记的目标检测样本库。

本发明提供基于线下训练-线上学习深度可演化的遥感影像目标检测方法，实现步骤如下：

步骤1，构建“线上学习”模块，首先建立用于目标检测的深度卷积神经网络模型，并构建目标定位、目标分类的联合多任务损失函数；

步骤2，构建“线下训练”模块，通过随机梯度下降算法，利用少量目标标注数据，训练“线上学习”模块中的深度卷积神经网络模型，使得模型获得初始的检测能力；

步骤3，构建“演化”模块，利用初始的目标检测模型，对未标记的海量遥感影像进行目标检测，根据检测结果筛选获得含有目标的影像及检测结果，即“粗样本”，并利用人工微调检测结果，获得“精样本”；

步骤4，将“精样本”传递至“线下学习”模块；

步骤5，迭代依次执行步骤2，步骤3，步骤4；

步骤6，迭代结束后，最终输出目标检测模型与自动标注的目标检测样本库。

进一步的，步骤1的具体实现包括如下子步骤，

步骤1.1，利用深度残差卷积神经网络作为骨干网络用作基础特征提取；然后在骨干网络的基础上，构建特征金字塔网络，获得多尺度特征图；接着构建定位卷积子网络与分类卷积子网络，分别用于获得定位与分类的结果，其中两个子网络均分别通过4个block构建，每个block包括一个卷积层、一个批归一化层、一个relu层；

步骤1.2，对于定位卷积子网络的损失函数为其中ti为目标i坐标偏移量预测值，t^*i为目标i坐标偏移量真值；对于分类卷积子网络的损失函数为其中yi为目标i的类别真值的独热编码向量，pi为目标i的各类别置信度向量。

进一步的，步骤2的具体实现方式如下，

将大幅影像数据切分成k×k像素的小块，并将目标标注进行对应的局部坐标转换，获得包含n个样本的数据集d＝{(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)}，其中(xi,yi)表示输入影像块及对应目标标注；接着将数据集批量地送入深度卷积神经网络模型进行训练，训练算法采用随机梯度下降，具体过程如下：

其中，l(θ)为利用每批样本计算的平均损失函数值，l为用于目标检测的深度卷积网络前向计算函数与目标函数的嵌套函数，m为数据集的批量采样个数，θ为深度卷积神经网络的模型参数，t为当前迭代次数，为梯度算子，η为网络学习率，i为每批中的样本索引。

进一步的，步骤3的具体实现方式如下

一个“粗样本”包括一个表示位置的几何图像坐标x1,y1,x2,y2与一个表示类别的类别置信度向量p，其中x1,y1为目标矩形框左上角坐标，x2,y2为目标矩形框右上角坐标；对于一张大幅遥感影像，经过步骤2获得一个粗样本集|dc|＝n，其中xi,分别表示影像块与对应的目标标注“粗样本”。首先通过top-k选择算法选择出前k个具有高置信的粗样本，其中k的取值远小于n，接着利用人工对目标矩形框进行交互式标注，从而调整坐标位置，使矩形框准确包围目标，将“粗样本”转换成“精样本”。

进一步的，步骤1.1中采用resnet-50作为骨干网络。

进一步的，k的取值为512。

与现有技术相比，本发明的优点和有益效果：可利用海量未标注的遥感影像进行特征学习，有效解决了基于深度学习目标检测算法的数据瓶颈问题；并且目标检测模型可随着观测影像数据的增长而进行增量学习，进一步提升模型性能，但不会大幅度增加标注成本；未标记的大量观测影像数据在迭代的“线上学习”-“演化”过程中转变成具有较小误差的有标记的目标检测样本库，进一步支撑后续目标检测应用。

附图说明

图1是本发明的整体流程图；

图2是本发明步骤3.1的细节流程图

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

如图1所示，一种基于线下训练-线上学习深度可演化的遥感影像目标检测方法，包括以下步骤：

步骤1，构建“线上学习”模块，首先建立用于目标检测的深度卷积神经网络结构，并构建目标定位、目标分类的联合多任务优化函数；

步骤2，构建“线下训练”模块，通过随机梯度下降算法，利用少量目标标注数据，训练“线上学习”模块中的深度卷积神经网络，使得模型获得初始的检测能力；

步骤3，构建“演化”模块，利用初始的目标检测模型，对未标记的海量遥感影像进行目标检测，根据检测结果筛选获得含有目标的影像及检测结果(“粗样本”)，并利用人工微调检测结果，获得“精样本”；

步骤4，将“精样本”传递至“线下学习”模块；

步骤5，迭代依次执行步骤2，步骤3，步骤4；

步骤6，迭代结束后，最终输出目标检测模型与自动标注的目标检测样本库。

进一步的，步骤1的具体实现包括如下子步骤，

步骤1.1，利用50层的深度残差卷积神经网络(resnet-50)作为骨干网络用作基础特征提取；然后在骨干网络的基础上，构建特征金字塔网络，获得多尺度特征图；接着构建定位卷积子网络与分类卷积子网络，分别用于获得定位与分类的结果，其中两个子网络均分别用4个block构建，每个block由一个卷积层、一个批归一化层和一个relu层组成。

步骤1.2，对于定位卷积子网络的损失函数为其中ti为目标i坐标偏移量预测值，t^*i为目标i坐标偏移量真值；对于分类卷积子网络的损失函数为其中yi为目标i的类别真值的独热编码向量，pi为目标i的各类别置信度向量。

进一步的，步骤2的具体实现方式如下，

将大幅影像数据切分成512×512像素的小块，并将目标的坐标标注减去对应影像的左上角坐标获得目标的局部坐标，从而获得包含n个样本的数据集d＝{(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)}，其中(xi,yi)表示输入影像块及对应目标标注；接着将数据集批量地送入模型进行训练，训练算法采用随机梯度下降，具体过程如下：

其中，l(θ)为利用每批样本计算的平均损失函数值，l为用于目标检测的深度卷积网络前向计算函数与目标函数的嵌套函数，m为数据集的批量采样个数，θ为深度卷积网络的模型参数，t为当前迭代次数，为梯度算子，η为网络学习率，i为每批中的样本索引。

进一步的，步骤3的具体实现方式如下，

一个“粗样本”包括一个表示位置的几何图像坐标x1,y1,x2,y2与一个表示类别的类别置信度向量p，其中x1,y1为目标矩形框左上角坐标，x2,y2为目标矩形框右上角坐标；对于一张大幅遥感影像，经过步骤2可获得一个粗样本集|dc|＝n，其中xi,分别表示影像块与对应的目标标注“粗样本”。首先通过top-k选择算法选择出前k个具有高置信的粗样本，其中k的取值远小于n，接着利用人工对目标矩形框进行交互式标注，从而调整坐标位置，使矩形框准确包围目标，将“粗样本”转换成“精样本”；全过程如图2所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。