面向类别不平衡的遥感图像在线持续目标检测方法

1.本发明涉及面向类别不平衡的遥感图像在线持续目标检测方法，属于遥感图像目标检测技术领域。


背景技术：

2.随着传感器成像性能的不断提升以及对高精度遥感图像需求的不断增加，高分辨率遥感图像成为遥感技术的发展趋势。相比于普通的遥感图像，高分卫星影像的重访时间更短、光谱波段更多、地物更丰富、应用价值更高。除此以外，高分辨率遥感对数据的质量和数量要求更高，其地面分辨率可达到米级甚至亚米级，例如卫星影像的地面分辨率可达到0.6m。如何处理高分辨率遥感图像中复杂的地物信息，实现快速便捷的自动化信息提取，使其形成能够用于生产生活的资料，已经成为重要的研究方向。
3.目标检测(object detection)旨在识别图像中的物体“是什么”以及每个物体“在哪里”，以此提高计算机的图像理解能力，自动地识别、跟踪、分析、处理目标，从而代替人眼观察。卷积神经网络(convolutionalneural networks，cnn)拥有强大的特征提取能力和学习能力，基于cnn的目标检测算法受到高度关注，至今已经形成了较为成熟的体系。目前很多研究将基于cnn的检测算法从自然场景检测迁移到了遥感目标检测领域，相比于传统的检测方法，基于cnn的算法的检测效果提升明显。尽管基于cnn的检测算法的优点突出，但是缺点同样明显，如训练时间成本过高和数据依赖性过大等问题。当前的目标检测算法大都遵循离线学习的模式，即在一个静态数据集上反复学习所有数据。然而，随着成像技术和遥感平台的发展，遥感图像的获取变得越来越简便快捷且具有周期性。面对不断更新的遥感数据，离线学习的弊端尤为突出。一方面，离线学习需要重复学习所有数据，导致时间成本和存储成本不断增加。另一方面，数据集中普遍存在类内相似度高和类间相似度低的情况。当学习新任务时，数据特性变化明显，新学习的网络参数会覆盖之前参数，使得检测器对过去的样本不再敏感，甚至无法识别，该问题被称为灾难性遗忘(catastrophic forgetting)。
4.为了处理上述问题，在线持续学习(online continual learning)旨在实现深度学习模型的可持续性训练以及处理灾难性遗忘问题，近几年来已经成为研究热点，在neurips、cvpr等顶级期刊会议上频繁出现。可持续性训练是指随着新需求和新数据的获得，深度学习模型能够快速有效地更新参数，迅速适应新的任务。在线持续学习模式下，数据以流的形式到来，要求每学习一个数据就要立刻给出模型结果。目前对于在线持续学习的研究大都局限于图像分类任务，在目标检测领域的研究成果很少，并且大部分研究都存在一个假设：训练数据中的类别分布平衡。然而，在现实生活中，不同类别的物体数量往往存在差异，这在高分辨率遥感影像中尤为明显。kim等人通过实验证明了常规的在线持续学习算法在类别不平衡的数据集上效果很差，并通过处理类别不平衡问题显著提升了实验结果，这说明类别不平衡问题对在线持续学习影响很大。类别不平衡是指某些类别的数据被过度学习，导致模型对其他类别不敏感，该问题可分为前景-背景不平衡和前景-前景不平
衡。前景-背景不平衡表现为背景实例的数量远超前景实例的数量，其处理方法可以分为硬采样方法、软采样方法、无采样方法和生成方法。硬采样方法是指通过采样得到包含正负例子的子集，例如fast r-cnn从所有生成框中随机选择128个前景和128个背景来构建类别平衡的子集；libra r-cnn根据iou来判断困难样本，且仅对负样本再次抽样，以此提升模型的性能；kong等人保持正负样本比为1：3，以此限制搜索空间，从而使困难样本易于挖掘。软采样方法是根据每个样本的相对重要性调整其贡献，从而避免丢弃数据。例如yolo将背景类目标的损失权重减半，设置为0.5；focal loss动态分配权重，使模型在困难样本和简单样本之间保持良好的权衡。chen等人认为若超参数设置适当，可以在无采样的情况下提升检测器性能，从而提出了设置初始化偏差、损失加权和类自适应阈值的方法。生成方法是指将人工生成的样本放入数据集中，adversarial-fast-rcnn通过在roi标准化层后取固定大小的特征映射，直接在特征级上进行操作，生成了各种形状的困难样本。前景-前景不平衡主要出现在检测模块，表现为不同类别的目标数量差距很大，少数类别主导整个数据集。一方面，数据集的类别分布存在不平衡，这几乎是不可避免的。前景-前景不平衡可以通过生成样本进行缓解，在训练之前进行数据增强操作；ouyang等人分析了目标检测中不平衡对训练过程的影响，并使用了基于视觉相似性的聚类方法。另一方面，每个批次的数据中分布可能是不均匀的，从而导致模型出现偏差。oksuz等人给每个采样出的边界框分配概率，以此使得单个批次内不同类均匀分布，从而缓解前景-前景不平衡问题。


技术实现要素：

5.针对现有在线持续学习方法中的遥感图像类别不平衡问题，本发明提供一种面向类别不平衡的遥感图像在线持续目标检测方法。
6.本发明的一种面向类别不平衡的遥感图像在线持续目标检测方法，包括在对每一个目标进行检测前，先对目标检测器进行预训练；
7.在t0时刻，采用包含目标类别一的遥感图像按批次对目标检测器进行预训练获得一次预训练后的目标检测器，采用一次预训练后的目标检测器实现对目标类别一的检测；同时采用存储器依次存放每一批次包含目标类别一的遥感图像和对应标签，若存储器的存储量达到上限，则停止存储包含目标类别一的遥感图像和对应标签；最后，采用面向重放不平衡的优先级分配网络对存储器中已有遥感图像赋图像分配重放概率，并根据图像分配重放概率选择一次重放图像；
8.在t0+1时刻，采用包含目标类别二的遥感图像和一次重放图像按批次对一次预训练后的目标检测器进行预训练获得二次预训练后的目标检测器，采用二次预训练后的目标检测器实现对目标类别二的检测；若当前批次包含目标类别二的遥感图像未与存储器中已存储遥感图像相重复，则在存储器的存储量未达到上限时，直接将包含目标类别二的遥感图像存放在存储器中；在存储器的存储量达到上限时，采用基于熵的蓄水池采样算法计算包括当前包含目标类别二的遥感图像时，存储器的当前记忆区熵值，若当前记忆区熵值大于相邻前一次计算的记忆区熵值，则将当前包含目标类别二的遥感图像存入存储器，并删除对记忆区熵值增量贡献度最小的遥感图像；最后，再根据图像分配重放概率选择二次重放图像；
9.……
10.在t0+u时刻，采用包含目标类别u+1的遥感图像和u次重放图像按批次对u次预训练后的目标检测器进行预训练获得u+1次预训练后的目标检测器，采用u+1次预训练后的目标检测器实现对目标类别u+1次的检测；若当前批次包含目标类别u+1的遥感图像未与存储器中已存储遥感图像相重复，则在存储器的存储量未达到上限时，直接将包含目标类别u+1的遥感图像存放在存储器中；在存储器的存储量达到上限时，采用基于熵的蓄水池采样算法计算包括当前包含目标类别u+1的遥感图像时，存储器的当前记忆区熵值，若当前记忆区熵值大于相邻前一次计算的记忆区熵值，则将当前包含目标类别u+1的遥感图像存入存储器，并删除对记忆区熵值增量贡献度最小的遥感图像；最后，再根据图像分配重放概率选择u+1次重放图像；直至持续完成全部目标检测。
11.根据本发明的面向类别不平衡的遥感图像在线持续目标检测方法，若待存放遥感图像与存储器中已存储遥感图像相重复，则将对应标签存入存储器。
12.根据本发明的面向类别不平衡的遥感图像在线持续目标检测方法，存储器的记忆区熵值的计算方法包括：
[0013][0014]
式中h
t
为第t次迭代时计算得到的记忆区熵值，t的迭代次数与遥感图像记忆区熵值的计算次数相对应；i为目标类别顺序号，u+1为目标总类别数量，；为存储器中包含目标类别ci的图像数量，为存储器中所有目标类别的遥感图像数量和；j∈{0，1，2，
…
，u}，为存储器中遥感图像的总数量。
[0015]
根据本发明的面向类别不平衡的遥感图像在线持续目标检测方法，删除对记忆区熵值增量贡献度最小的遥感图像的方法包括：
[0016]
统计得到存储器中所有遥感图像的重放分布存储器中每张遥感图像的重放分布cdk和新输入遥感图像的重放分布
[0017]
计算分布下包含目标类别ci的遥感图像数量
[0018][0019]
式中表示新输入遥感图像中目标类别ci是否存在的结果，若存在，结果为1，否则为0；表示存储器中第k张遥感图像是否包含目标类别ci的结果，若存在，结果为1，否则为0；
[0020]
则确定欲删除的遥感图像的顺序号k
del
为：
[0021][0022]
根据本发明的面向类别不平衡的遥感图像在线持续目标检测方法，采用面向重放不平衡的优先级分配网络对存储器中已有遥感图像赋图像分配重放概率的方法包括：
[0023]
对面向重放不平衡的优先级分配网络输入当前存储器中每个目标类别在所有遥感图像上的分布序列，由0和1组成输入向量其中为目标类别u+1在存储器中所有遥感图像上的0、1分布序列组成的向量；
[0024]
输入向量经过隐藏层、整流线性单元和输出维度为遥感图像总数量的全
连接层，再通过softmax得到图像权重矩阵其中ωk为存储器中第k张遥感图像的图像分配重放概率，
[0025]
求解以下方程，在使每个目标类别的得分s趋近相等的条件下，确定图像分配重放概率的解：
[0026][0027]
式中为目标类别u+1的得分，即重放分布的加权和。
[0028]
根据本发明的面向类别不平衡的遥感图像在线持续目标检测方法，为使每个目标类别的得分s趋近相等，选择损失函数l如下：
[0029][0030]
式中cls
t
表示当前存储器中的类别集合，表示cls
t
类别集合中目标类别cj以外的补集；
[0031]
每个目标类别的得分s等于图像权重矩阵的转置乘以重放分布
[0032]
本发明的有益效果：本发明所述的面向类别不平衡的遥感图像在线持续目标检测方法(online continual obiect detection for class imbalance，ocodci)，主要应用于遥感图像检测。它针对现有在线持续学习中的类别不平衡问题，提出了一种基于熵的蓄水池采样算法(entropy-based reservoir sampling，ers)，引入熵值衡量类别平衡程度。在数据重放阶段，提出了面向重放不平衡的优先级分配网络(priority assignment network for rehearsal imbalance，panri)，自动地给存储器中的图像分配优先级权重。
[0033]
本发明提出的用于目标检测的在线持续学习方法，能够解决灾难性遗忘问题，并针对普遍存在于高分辨率遥感影像中的类别不平衡问题，进行了优化。
附图说明
[0034]
图1是本发明所述面向类别不平衡的遥感图像在线持续目标检测方法的训练流程示意图；
[0035]
图2是本发明所述面向类别不平衡的遥感图像在线持续目标检测方法的整体架构示意图；
[0036]
图3是在线持续学习数据输入示意图；
[0037]
图4是面向重放不平衡的优先级分配网络的网络结构示意图；
[0038]
图5是具体实施例中在nwpu vhr-10数据集上的类别不平衡和重放不平衡结果示意图；图中map表示平均精度均值；
[0039]
图6是具体实施例中在nwpu vhr-10数据集上采用不同方法的检测结果可视化对比图；
[0040]
图7是具体实施例中在dior数据集上采用不同方法的检测结果可视化对比图；
[0041]
图8是具体实施例中在dota数据集上采用不同方法的检测结果可视化对比图；
[0042]
图9是在dota数据集上的重放方法变异系数示意图。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0044]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0045]
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0046]
具体实施方式一、结合图1至图4所示，本发明提供了一种面向类别不平衡的遥感图像在线持续目标检测方法，包括，在对每一个目标进行检测前，先对目标检测器进行预训练；
[0047]
在t0时刻，采用包含目标类别一的遥感图像按批次对目标检测器进行预训练获得一次预训练后的目标检测器，采用一次预训练后的目标检测器实现对目标类别一的检测；同时采用存储器依次存放每一批次包含目标类别一的遥感图像和对应标签，若存储器的存储量达到上限，则停止存储包含目标类别一的遥感图像和对应标签；最后，采用面向重放不平衡的优先级分配网络对存储器中已有遥感图像赋图像分配重放概率，并根据图像分配重放概率选择一次重放图像；
[0048]
在t0+1时刻，采用包含目标类别二的遥感图像和一次重放图像按批次对一次预训练后的目标检测器进行预训练获得二次预训练后的目标检测器，采用二次预训练后的目标检测器实现对目标类别二的检测；若当前批次包含目标类别二的遥感图像未与存储器中已存储遥感图像相重复，则在存储器的存储量未达到上限时，直接将包含目标类别二的遥感图像存放在存储器中；在存储器的存储量达到上限时，采用基于熵的蓄水池采样算法计算包括当前包含目标类别二的遥感图像时，存储器的当前记忆区熵值，若当前记忆区熵值大于相邻前一次计算的记忆区熵值，则将当前包含目标类别二的遥感图像存入存储器，并删除对记忆区熵值增量贡献度最小的遥感图像；最后，再根据图像分配重放概率选择二次重放图像；
[0049]
……
[0050]
在t0+u时刻，采用包含目标类别u+1的遥感图像和u次重放图像按批次对u次预训练后的目标检测器进行预训练获得u+1次预训练后的目标检测器，采用u+1次预训练后的目标检测器实现对目标类别u+1次的检测；若当前批次包含目标类别u+1的遥感图像未与存储器中已存储遥感图像相重复，则在存储器的存储量未达到上限时，直接将包含目标类别u+1的遥感图像存放在存储器中；在存储器的存储量达到上限时，采用基于熵的蓄水池采样算法计算包括当前包含目标类别u+1的遥感图像时，存储器的当前记忆区熵值，若当前记忆区熵值大于相邻前一次计算的记忆区熵值，则将当前包含目标类别u+1的遥感图像存入存储器，并删除对记忆区熵值增量贡献度最小的遥感图像；最后，再根据图像分配重放概率选择u+1次重放图像；直至持续完成全部目标检测。
[0051]
现有的在线持续目标检测是指将在线持续学习和目标检测任务相结合，在训练集
为数据流的情况下进行目标检测。具体来说，在目标检测任务的基础上，对其输入数据的形式进行限制，数据以流的形式到来，一旦开始学习新的数据，过去的数据不会再出现在输入流中。简单地说，检测模型无法直接地重复学习所有训练数据。为了充分体现灾难性遗忘问题，选择处理任务增量问题(task-incremental question)对现有方式进行说明，即不同任务中需要识别的类别不同。具体示例如图3所示，起初的需求是检测出图像中田径场，每次输入一个批次的图像以及相应的标签，包括目标的类别和位置信息，并立刻给出结果。在学习了所有田径场数据后，突然又出现了新的需求，希望能够检测出飞机类别。需要注意的是，任务增量只是为了方便实验的设计，是人为的数据设定，与模型无关。在训练过程中，模型只知道当前批次的数据信息，对于其他信息一概不知，例如田径场图像数量等，而且要求能够随时进行测试。图中x1、y1、x2、y2分别表示目标边界框的左上角点横纵坐标和右下角点横纵坐标。
[0052]
若遵循目标检测任务中常规的类别不平衡观点，旨在维持存储器中各类的目标数量相等，则会出现严重的图像数量不平衡情况。若保持存储器中不同的类别的图像数量平衡，则会导致分布密集的地物类别的目标数量远超其他类别。由于每次重放的对象是图像而非地物目标，维持目标数量平衡会使得分布密集的类别的图像数量很少，使其难以被选中，从而造成更加严重的类别遗忘问题。在此条件下，应优先保证每个类别的图像都能被重放，所以图像数量不平衡对检测结果的影响高于目标数量不平衡带来的影响。综上所述，在线持续学习模式下，目标检测任务中的类别不平衡问题的起因已经发生了根本性变化。类别不平衡的数据流使得存储器中不同类别的图像数量存在差异，这导致某些类别的图像数量少，因被重放的概率低而逐渐被遗忘，使基于重放的在线持续学习方式失去了意义，将该问题为称为重放不平衡(rehearsal imbalance)。
[0053]
为保证每个类别的图像都能被重放并参与训练是在线持续学习的关键，所以需要保持存储器中不同类别的图像数量平衡，而非目标数量。
[0054]
本发明解决方案的整体架构如图2所示，大致可以划分为三个模块：目标检测器、基于熵的蓄水池采样算法以及面向重放不平衡的优先级分配网络。由于该在线持续学习方法可即插即用，目标检测器可以是现有的大部分检测模型，本发明可选择最经典的faster r-cnn作为基础网络进行实验。基于熵的蓄水池采样算法负责创建一个存储器用以储存学习过的旧数据，并尽量解决存储器内的重放不平衡问题。面向重放不平衡的优先级分配网络负责在训练阶段从存储器选择合适的图像进行重放。图2的上半部分给出了常规的目标检测器流程。
[0055]
本发明方法的训练流程如图1所示，在每次训练迭代阶段中，将前一次迭代的结果作为预训练模型，模型的输入数据来源由两部分组成：数据流和存储器，这样可以同时学习新数据和旧数据，以此保证模型对新类别的拟合能力和对旧类别的记忆能力，每次输入的数据批次大小视计算机的处理能力而定。当模型训练完成后，根据基于熵的蓄水池采样算法利用原输入数据更新存储器，通过有选择地增删样本保持存储器中的类别平衡；在从存储器中挑选重放样本时，通过面向重放不平衡的优先级分配网络为每个样本分配重放概率，以此作为判断依据。
[0056]
基于熵的蓄水池采样算法：
[0057]
由于现有在线持续学习算法没有未来输入数据的相关信息，需要在在线模式下保
存过去任务的综合性知识，从而防止灾难性遗忘。为此，本发明提出一种名为ers的存储器更新策略。ers创建了一个用于存储已学数据的存储器，并致力于维护存储器中的重放平衡。构建一个重放平衡的存储器主要包括两方面：一是从数据流中选择合适的样本添加到存储器中；二是为了保持图像总数不变并维持重放平衡，从存储器删除数据。因此，样本即遥感图像添加策略和样本删除策略至关重要，现有的方法往往通过各种指标间接达到类别平衡。本发明中，熵值被用来衡量存储器中的重放平衡程度，因为其能够表达数据的混乱程度。
[0058]
基于熵的蓄水池采样策略根据信息熵决定存储器样本的增删对象，具体地说，使用新的输入样本一一替换存储器中的样本，找出使存储器的信息熵最大的情况，此时类别分布最为平衡。若所有替换情况下的信息熵均小于原来结果，则放弃添加新样本。
[0059]
当学习新批次数据时，首先需要注意输入图像是否已经存在于存储器中，因为一张遥感图像往往包含多个类别的地物目标，所以同一张图像会出现在多个任务中。为了防止存储器中出现多张标签不同的相同图像，当新输入遥感图像出现重复时，只将其标签放入存储器中。当输入的遥感图像不存在于存储器中时，若存储器还未满，则直接接收新样本，包括图像和标签；若存储器已满，则需要根据熵值判断是否接收新样本。
[0060]
再进一步，存储器的记忆区熵值的计算方法包括：
[0061][0062]
式中h
t
为第t次迭代时计算得到的记忆区熵值，t的迭代次数与遥感图像记忆区熵值的计算次数相对应；i为目标类别顺序号，u+1为目标总类别数量，；为存储器中包含目标类别ci的图像数量，为存储器中所有目标类别的遥感图像数量和；j∈{0,1,2,
…
,u}，为存储器中遥感图像的总数量。
[0063]
使用除以而不是除以存储器的大小是因为有些图像中包含多个类别。h
t
反映了第t次迭代时存储器中不同类别之间的重放平衡情况，h
t
越大，重放分布越平衡。若加入新样本后熵值h
t
增加，则认为其有利于改善存储器中的重放不平衡情况，新样本将会被添加到存储器中。
[0064]
为了在存储器中找到合适的样本用于替换新样本，需要统计得到三种重放分布数据，包括存储器中所有遥感图像的重放分布存储器中每张遥感图像的重放分布cdk和新输入遥感图像的重放分布接着，依次将存储器中的样本替换为新样本，并计算替换后的熵值。最后，找出替换后熵值最大的情况，将该样本替换为新数据。
[0065]
再进一步，删除对记忆区熵值增量贡献度最小的遥感图像的方法包括：
[0066]
统计得到存储器中所有遥感图像的重放分布存储器中每张遥感图像的重放分布cdk和新输入遥感图像的重放分布
[0067]
计算分布下包含目标类别ci的遥感图像数量
[0068]
[0069]
式中表示新输入遥感图像中目标类别ci是否存在的结果，若存在，结果为1，否则为0；表示存储器中第k张遥感图像是否包含目标类别ci的结果，若存在，结果为1，否则为0；
[0070]
则确定欲删除的遥感图像的顺序号k
del
为：
[0071][0072]
通过上述计算，可以找到存储器中最合适的替换对象。
[0073]
面向重放不平衡的优先级分配网络：
[0074]
在存储器检索环节，基于重放的在线持续学习方法需要从存储器中选择样本进行重放，参与模型下一次的训练过程。本发明中panri旨在选择合适的重放数据，提出了一种更加自动化且有效的样本选择策略。尽管ers算法可以有效地平衡不同类别间的重放数量，但是在某些极端情况下很难达到完美平衡。例如，某个类别的图像数量过少，甚至无法达到存储器分配给每个类别的平均数量；输入流中类别分布的突然变化也会产生问题。在加权回放(weightd replay)方法中，某个存储样本被选中进行重放的概率与其所属类别的图像数量成反比。受该方法启发，希望能够自动地为存储器中的图像分配重放概率，所以提出了面向重放不平衡的优先级分配网络。panri的原理如下，假设给存储器中的每张图像分配一个权重ω(即重放概率)，目标是达到：
[0075][0076]
其中，表示存储器中目标类别u+1的遥感图像的权重集合，是该集合中第k张图像的权重。
[0077]
随机选择方法常用于在线持续学习中，每张图像被选中的概率是随机选择方法常用于在线持续学习中，每张图像被选中的概率是为存储器大小。因此，两个类别之间的权重比值为：
[0078][0079]
其中，和分别表示存储器中目标类别j1和目标类别j2的遥感图像数量。当重放分布不平衡时，这两个值差距很大，所以随机重放方法不适用。
[0080]
再进一步，结合图4所示，通过卷积神经网络，自动地为图像分配权重。
[0081]
采用面向重放不平衡的优先级分配网络对存储器中已有遥感图像赋图像分配重放概率的方法包括：
[0082]
对面向重放不平衡的优先级分配网络输入当前存储器中每个目标类别在所有遥感图像上的分布序列，由0和1组成输入向量其中为目标类别u+1在存储器中所有遥感图像上的0、1分布序列组成的向量；
[0083]
输入向量经过隐藏层、整流线性单元和输出维度为遥感图像总数量的全连接层，再通过softmax得到图像权重矩阵其中ωk为存储器中第k张遥感图像的图像分配重放概率，
[0084]
求解以下方程，在使每个目标类别的得分s趋近相等的条件下，确定图像分配重放概率的解：
[0085][0086]
式中第一个矩阵表示存储器中的重放分布情况，其矩阵大小为式中第一个矩阵表示存储器中的重放分布情况，其矩阵大小为为目标类别u+1的得分，即重放分布的加权和。
[0087]
再进一步，为使每个目标类别的得分s趋近相等，选择损失函数l如下：
[0088][0089]
式中cls
t
表示当前存储器中的类别集合，表示cls
t
类别集合中目标类别cj以外的补集；
[0090]
每个目标类别的得分s等于图像权重矩阵的转置乘以重放分布不同类别两两之间的分数差的平方和被设计为损失函数。通过该损失函数，可以尽量缩小不同类别之间的得分差距。
[0091]
具体实施例：下面在公开的高分辨率遥感数据集上进行实验，并与当前最先进的一些在线学习方法进行比较，并对创新模块做消融实验来验证本发明效果。
[0092]
以nwpu vhr-10，dior和dota数据集进行实验。为了体现提出方法的效果，选择已有的三种基于重放的sota方法进行结果对比，分别是er、cbrs和prs。
[0093]
在线持续学习模式下，进行类别不平衡和重放不平衡时模型的性能检测，以对比两者的影响大小。实验结果如图5所示，在nwpu vhr-10数据集上，经验重放和分区蓄水池采样算法在针对两种不平衡时结果差别明显。图中横轴表示的是随着数据流的读取，依据检测目标类别划分出的一系列子任务；纵轴是模型的检测效果，使用map值进行衡量。在前期任务中，处理类别不平衡和重放不平衡的实验结果差异很小，因为两者都需要先填满存储器空间，此时的存储数据是相同的；之后随着新任务的出现，检测性能差距逐渐拉大。直至最后一次测试，在prs和er方法上，处理重放不平衡的map相比于处理类别不平衡均提升大约10％。ocodci在nwpu vhr-10、dior和dota数据集上处理两种不平衡的检测结果如表1所示。在nwpu vhr-10数据集上，处理重放不平衡时map值提高了7.5％，且不同尺度的目标的检测精度均有提升。特别的是，当处理类别不平衡时，小尺度的目标检测效果较差，因为它们大都集中分布在少数图像中，这导致它们的重放概率较小。在dior数据集中的结果和之前类似，更好地保持重放平衡的情况下检测效果更佳。在dota数据集上，map值提升达到了15.5％。上述实验中处理重放不平衡时的检测效果提升明显，充分说明了在在线持续学习的目标检测中，常规的类别不平衡对模型的影响远远小于重放不平衡带来的影响，重放不平衡的处理优先级更高。
[0094]
表2展示的是ocodci和三个sota方法在nwpu vhr-10数据集上的检测结果。er方法在构建存储器时模仿了数据流中的数据分布，对数量最多的飞机检测效果最好，ap值达到了98％；属于小类的桥梁类别的ap值小于其他三种方法，只有3.3％。cbrs和prs都考虑了类别不平衡问题，cbrs只针对大类进行处理，不断减少其图像数量，prs则同时处理大类和小类，按照不同的权重增减其图像数量。相比之下，prs在大类上的检测结果优于cbrs，例如飞
机、存储等；cbrs在小类上的效果更佳，例如桥梁和田径场等。ocodci的map值是最高的，比prs、cbrs和er分别高了5.6％、10.4％和12.5％。在储存罐和港口两个类别上，ocodci的检测效果最好，甚至接近于离线模式下的检测精度。ocodci方法虽然无法在所有类别上保持最高的精度，但是也不会是最差，这表明ocodci方法能够达到更好的类别平衡。不同方法的可视化检测结果如图6所示，可以明显看出er、cbrs和prs三种方法在某些类别上的检测效果较差。在分类方面，cbrs对于飞机对象存在严重的漏检现象，prs则是出现错检问题，er方法无法很好地识别出图像中的桥梁和篮球场等目标。在边界框方面，cbrs结果中的边界框存在偏移问题，prs中同一目标标记了两个边界框。ocodci由于很好地实现了存储器中的平衡，在不同类别上表现良好。
[0095]
在dior数据集上的测试结果如表3所示，各种方法在dior数据集与nwpu vhr-10数据集上表现出的特点相似。er方法在大类上表现优异，在小类上结果较差，同时因为doir数据集中不同类别的图像数量差异相对较小，其map值与其他方法的结果差别较小。对比表3中ocodci和其他在线持续学习算法的检测结果，ocodci的map值提升了大约1.9％-3.2％。其中，ocodci对烟囱、高速公路服务区、立交桥和网球场的检测精度最高。相比于其他的数据集，dior数据集具有较高的类间相似性和类内多样性。因此，维持存储器中的重拾平衡可以保证没有类被遗忘，但类内的多样性导致检测精度下降。dior数据集的可视化检测结果如图7所示，本发明的ocodci能够较好地检测出车辆目标和田径场目标。对于分布集中的地物目标，ocodci也能保持较高的检测性能。在港口和船只图像中，大量船只集中，使得港口的边界框将其覆盖。相比于其他三种方法，ocodci能够分辨出较小的船只目标，且相互之间不会出现重复标记的情况。
[0096]
dota数据集中的图像尺度较大且包含的地物信息更加复杂，因而需要将原图像裁剪成子图像，再放入模型中进行训练。为了更好地比较不同情况下的检测结果，分别对验证集和测试集进行测试。在测试集中，先将图像进行拼接并使用极大值抑制算法去除重复框，再提交到官方服务器得到结果，在验证集中，直接对裁剪出的子图像的检测结果进行评估。在dota数据集上的检测结果如表4所示，分为验证集和测试集。在验证集上，ocodci的效果明显优于其他方法，所取得的map结果分别比er、cbrs和prs高了6.1％、3.1％和2.7％。在测试集上，由于裁剪时存在重叠区域，在图像的拼接过程中使用极大值抑制算法去除了很多重叠区域的检测框，不同方法之间的map值比较接近。prs和ocodci的检测精度相似，但是从所有类别的检测结果看，ocodci在不同类别之间的检测效果更加均衡。在dota数据集上的可视化结果如图8所示，ocodci可以更好地检测出小型车辆并减少重叠的无效边界框数量，在多个类别上表现优异。
[0097]
panri用以在重放阶段自动地为存储器中的每张图像分配权重，以下对比随机重放和加权重放两种方法，测试其效果。采用变异系数(coefficient of variation,c.v)来衡量不同类别分数的离散程度，其公式为：
[0098][0099]
其中，表示类别u+1的整体分数；std表示各类分数的标准差；mean表示各类分数的平均值。变异系数越小，不同类别分数之间的差距越小。随着训练过程的进行，不同方法在dota数据集上的变异系数如图9所示，输入为数据流、熵值计算公式、以及存储器数据。
随机重放和加权重放的平衡效果很不稳定，尤其在检测任务发生改变时，变异系数波动很大。随机重放的平衡效果严重依赖于存储器中的重放平衡情况，所以变异系数在新任务出现后逐渐减小。加权重放的方法并不适用于目标检测任务，变异系数会出现很大的波动和偏移。很明显可以看出，panri的变异系数全程保持在较低的程度，平衡效果显著且稳定。
[0100]
消融实验：
[0101]
1)存储器空间大小
[0102]
存储器空间大小指的是存储器中最多可保存的图像数量，由于空间大小与存储器中的类别分布紧密相关，其对ocodci检测结果的影响显著。如表5所示，在nwpu vhr-10数据集上，将存储器空间大小分别设置为训练集中图像数量的1/16、1/8和1/4。当存储器空间大小由1/16变为1/8时，中型地物目标和大型地物目标的平均精度分别提升了9.7％和10.9％；当存储器空间大小进一步增大时，两者分别又提升了2.7％和1.4％。小型地物目标的检测精度先减小后增大，这是因为小型目标难以学习。dior数据上的实验结果如表6所示，三种尺度的地物目标的检测效果随着存储器空间大小的增加，出现不同程度的提升。其中，小型目标的检测精度提升最小，大型目标的精度提升最大，总体的map值提高了15.7％。在dota数据集中，裁剪后的训练集中图像数量较大，达到29458张。为了避免存储器中数据量过大，采用1/32、1/16和1/8三种比例进行实验，具体结果见表7。尽管第二次增加的存储器空间大小是第一次增加的空间大小的2倍，但是两次map结果的增长量近似，分别为6.6％和7.6％。该现象也出现在dior数据集中，说明随着存储器空间大小的增加，检测效果提升的幅度也会减小。
[0103]
2)ers和panri模块
[0104]
对比添加和删除指定模块时的实验结果，证明提出的ers和panri模块的有效性。作为ers和panri的替代方法，使用prs方法构建存储器，并从存储器中随机选择图像进行重放。在表8中，不使用ers和panri模块的情况下，nwpu vhr-10数据集的检测精度只有68％。在使用ers替换prs后，map分数增长了3.5％；再将随机重放替换为panri方法，检测精度达到73.6％。如表9所示，在dior数据集上进行消融实验，检测效果分别成功提升了1.6％和0.4％。如表10所示，在dota数据集上的提升更为显著，达到了2.7％。上述结果对比证明ers模块和panri模块对于在线持续目标检测均有效果，同时使用这两个模块能够显著提升检测效果。
[0105]
本发明使用平均精度均值(mean average precision,map)作为目标检测效果的评价指标，map由召回率(recall)和精确率(precision)共同决定。对于检测出的地物目标，若其边界框与真实边界框的iou超过0.5，则视其为正样本，否则为负样本。精确率p和召回率r的计算公式如下：
[0106][0107][0108]
式中tp表示把正样本预测为正样本的样本数量，fp表示负样本被预测为正样本的样本数量，fn表示正样本被预测为负样本的样本数量。精确率p代表被分为正样本的集合中预测正确的比例，召回率r用以度量覆盖面，代表实际的正样本集合中预测正确的比例。在目标检测任务中，ap被用来评估单类目标的检测效果，map被用来评估多个类别目标的检测
效果。分别以召回率和精确度为横纵坐标，构建p-r曲线。p-r曲线包围的区域面积为ap值：
[0109][0110]
式中r表示召回率，p(r)表示p-r曲线中横坐标r对应的精确率，不同类别的ap值是单独计算的。map为所有类别的ap均值：
[0111][0112]
式中api表示第i个类别的ap值。此外，本发明按照coco数据集的尺度划分标准对不同尺度目标的检测效果进行评估。map_s、map_m、map_l分别表示小型目标、中型目标和大型目标的平均精度均值，边界框的尺度范围分别是0-322像素、32
2-962像素和大于962像素。
[0113]
nwpu vhr-10是2014年发布的用于目标检测的遥感数据集，其图像由专家进行标注。该数据集总共包含800张图像，其中650张图像中有标注出的地物目标，其他150张为背景图像。nwpu vhr-10数据集中标注总计3775个目标对象，可划分为10个类别：飞机、船只、储存罐、棒球场、网球场、篮球场、田径场、港口、桥梁和车辆。
[0114]
dota数据集是武汉大学提供的公开数据集，通常用于大尺度的遥感图像目标检测任务，本发明使用的是最为成熟的dotav1.0版本。dota数据集包含2806张遥感图像，它们的尺寸在800
×
800到4000
×
4000像素之间。dota数据集由专家进行标注，总计188282个地物目标被划分为15个类别，分别是飞机、船只、棒球场、桥梁、田径场、小型车辆、大型车辆、网球场、篮球场、储存罐、足球场、环形交叉路、游泳池、港口和直升机。
[0115]
dior数据集内有23463张遥感图像以及192472个标注出的地物目标，每张图像的尺寸为800
×
800像素。这些地物目标涵盖20个类别，分别是飞机、飞机场、棒球场、篮球场、桥梁、烟囱、坝、高速公路服务区、高速公路收费站、高尔夫球场、田径场、港口、立交桥、船只、体育场、储存罐、网球场、火车站、车辆和风车。和大部分数据集一样，dior的数据来源为google earth，但是其在天气、季节、照明、遮挡等方面的变化更加丰富。
[0116]
为了符合任务增量问题的需求，上述数据集中的样本将分别被划分入不同的子任务，具体的子任务数量由各自的检测类别数量决定。例如dota数据集包含15个检测类别，则将其划分为15个子任务，每个任务只包含一个类别的地物标签和对应的图像。以此类推，nwpu vhr-10数据集被划分为10个子任务，dior数据集被划分为20个子任务。为了模仿数据流格式，在训练过程中，子任务数据被依次输入模型，从而避免训练集的重复学习。
[0117]
在实验中，基于mmdetection框架进行方法的实现，并选择经典的faster r-cnn作为基础模型。三个数据集的划分细节如下：dota数据集遵循官方提供的划分文件，其中一半的原始图像作为训练集，1/6的图像作为验证集，1/2的图像作为测试集；在nwpu vhr-10数据集中，随机选择60％的包含前景的图像作为训练集，20％的图像作为验证集，20％的图像作为测试集；在dior数据集中，同样使用官方提供的划分标准，训练集、验证集、测试集的划分比例分别为25％、25％和50％。其中，由于dota数据集中的图像尺度大，无法直接读入gpu中参与训练，需要对其进行裁剪。根据其原论文中的方法，将每张图像裁剪成大小为1024
×
1024像素的子图，每次裁剪移动的步长为512像素。在dota测试集上进行检查时，先检测出每张子图中的目标，再将子图拼接为原图，并使用nms进行边界框筛选，最后提交到官方评估服务器上得到结果。
[0118]
在实验中，初始学习率为0.002，动量为0.9，权重衰减为0.0001。nwpu vhr-10和
dior数据集均训练24个轮次，dota数据集训练12个轮次，每张gpu同一时间处理2张图像。为了保持两种模式下计算量尽可能相等，在线持续学习模式下每个批次的训练次数repeatb设置为离线模式下训练轮次的1/2。采用map作为实验结果的评价指标，其中dota测试集结果提交官方服务器进行评测。
[0119]
表1.处理重放不平衡和类别不平衡的结果对比，*代表处理重放不平衡
[0120][0121]
表2.在nwpu vhr-10测试集上ocodci和sota方法的结果对比
[0122][0123]
表3.在dior测试集上ocodci和sota方法的结果对比
[0124][0125]
表4.在dota数据集上ocodci和sota方法的结果对比
[0126][0127]
表5.在nwpu vhr-10数据集上使用不同存储器空间大小的结果对比
[0128][0129]
表6.在dior数据集上使用不同存储器空间大小的结果对比
[0130][0131]
表7.在dota数据集上使用不同存储器空间大小的结果对比
[0132][0133]
表8.在nwpu vhr-10数据集上ers和panri模块的消融实验
[0134][0135]
表9.在dior数据集上ers和panri模块的消融实验
[0136][0137]
表10.在dota数据集上ers和panri模块的消融实验
[0138]
[0139]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。