一种基于时序方差阈值的目标检测主动采样方法

1.本发明属于数字图像自动标注技术领域，尤其涉及一种基于时序方差阈值的目标检测主动采样方法。


背景技术：

2.在实际工业应用过程中，数据作为工业互联网的核心资源一直被重视。海量数据在人、机、物互联后产生，推动着工业往前发展，可是这些数据里也通常含有大量的冗余数据，数据提取与清洗成为当务之急。其中一个突出表现的领域便是自动驾驶的时序数据，自动驾驶数据通常是截取自摄像头记录下的多个驾驶片段，每个片段里包含着驾驶场景中的连续图片，即时序帧。针对该类数据，利用主动学习算法进行选择性采样，可以减少冗余信息，并提取出最有效的部分。若仅通过不确定性选帧，虽然选择的都是模型不确定的帧，但是很可能相邻的帧过于相似，没有必要全部选择标注，否则容易造成数据冗余。因此结合单个样本帧的时序方差计算方法，在选取模型不确定大的帧的同时，也要满足一定的时序不相似性。当前工业界对于时序数据采取全部标注或是每隔一段时间间隔采样一次。前者的标注代价过大，而后者采样具有随机性，可能会丢失关键信息。


技术实现要素：

3.发明目的：本发明的目的在于提供一种基于时序方差阈值的目标检测主动采样方法，方法充分使用了样本本身的信息以及模型在训练过程的阶段产生的输出结果，选择最有查询价值的数据帧进行标注，减少了模型训练所需要的标注代价。
4.技术方案：本发明的基于时序方差阈值的目标检测主动采样方法，包括以下步骤：步骤1、收集的无标注时序数据图像集合l和已标注时序图像数据集合u；步骤2、设置计划查询样本数n，以及方差阈值δ，将已挑选样本数q初始化为0；步骤3、使用已标注图像集对模型进行初始化目标检测模型；步骤4、目标检测模型输出对无标注帧的预测结果；步骤5、根据预测结果对各个未标注帧计算每次迭代的模型不确定性大小，并从大到小排列；步骤6、取模型不确定性最大的样本，若该样本的时序方差大于阈值且相邻帧未被选取，则向专家查询标记该样本；步骤7、更新已标注图像集和未标注图像集u，并更新预测模型；步骤8、返回步骤4或已选择查询完足够的样本并输出目标检测模型。
5.进一步地，步骤5中各个未标注帧计算每次迭代的模型不确定性大小的具体方法为：步骤5.1：输入一段的时序数据帧f，将其平均分为k个小段，即，每一个小段内含有n个样本帧，即；模型对于每一帧样本都会输出预测值，即对于，都有；对于每一个小段
ꢀꢀ
，根据其中n帧输出的n个值计算
一个方差，得到；将计算得到的方差，视为k个小段的评价指标进行查询，方差越大的小段，则在其中挑选更多的样本帧；步骤5.2：步骤5.1中涉及的方差计算方法如下：目标检测模型对于一张图片检测出的物体位置，种类以及置信度进行输出，若某张图片一共检测出k个物体，则输出可以表示为：其中 ；统计该样本中属于第i类物体的均值，若目标检测任务中总共有c类物体，则将一张图片的输出归一化为一类向量：一个向量表示了一个样本中每一类物体的平均位置以及平均置信度；步骤5.3：在训练过程中，进行多轮训练，每轮过后模型都会更新迭代，每一次迭代后的模型都会对未标注样本有一个输出，其中若模型对同一样本的不同迭代轮数的预测输出差异较大，即表示模型对这一样本比较不确定，查询并标注这一类型的样本，若每一次模型在迭代前后对某一样本判断相同，则说明模型已学习到这些判断结果稳定的样本的特征，该样本信息价值量低，不需要再查询标注；对于一个单独的图像帧的方差计算方法如下：n次迭代后模型产生了n个这样的向量，这些向量的每一维度上分别求解一个，然后将求出的各个方差值求取平均量向量，这些向量的每一维度上分别求解一个，然后将求出的各个方差值求取平均量表示对于向量的每个维求取方差。
6.进一步地，步骤5.1中，所述统计该样本中属于第i类物体的均值，计算方法如下：进一步地，步骤5.1中，所述统计该样本中属于第i类物体的均值，计算方法如下：进一步地，步骤5.1中，所述统计该样本中属于第i类物体的均值，计算方法如下：表示当lj= i时为1, l
j ≠ i时为0。
7.进一步地，步骤6中，判断样本是否需要向专家进行查询标记的具体方法为：步骤6.1：取模型不确定性最大的样本，将该样本与相邻的两个样本帧看做一个集合，对该集合计算时序方差；步骤6.2：若该样本的时序方差大于阈值且相邻帧未被选取，则向专家查询标记该样本，若任意一个条件不满足，则舍弃该样本。
8.进一步地，步骤6.1中，所述对该集合计算时序方差得具体方法为：3个图像帧共产生3个向量，对于这三个向量的每一维度上分别求解一个，然后将求出的各个方差值求取平均量：求取平均量：表示对于向量的每个维求取方差。
9.有益效果：与现有技术相比，本发明具有如下显著优点：本发明将主动学习技术运用于目标检测算法中，主动选择最有价值的图像。由于自动驾驶场景下的时序数据在训练过程中，容易遇到冗余性高、标注困难等窘境，本发明使用主动查询的方法来查询时序数据中最具信息量的信息，进而减少冗余样本造成的负面影响，并能通过尽可能少的标记训练出有效的目标检测模型。通过对模型输出的处理，在方差以及模型不确定性两个层面为时序样本制定了专门的衡量信息量指标，具体地，在选择模型不确定性最大的样本的同时，计算判断其与相邻样本之间是否相似，即是否大于时序方法阈值。只有其相邻样本帧未被选取且三个帧之间的差异性大才会被选取并标记。方法充分使用了样本本身的信息以及模型在训练过程的阶段产生的输出结果，选择最有查询价值的数据帧进行标注，减少了模型训练所需要的标注代价。
附图说明
10.图1是本发明机制的流程图；图2是计算各个图像帧模型不确定性示意图；图3是基于时序方差阈值的目标检测主动采样模型示意图。
具体实施方式
11.下面结合附图对本发明的技术方案作进一步说明。
实施例
12.如图1所示为本发明机制的流程图。假设初始时存在由少量已标注图像组成的数据集，以及由大量未标注图像组成的数据集。首先，用少量已标注时序图像数据集l初始化目标检测模型并设置计划查询样本数n，以及方差阈值δ，将已挑选样本数q初始化为0。随后，使用已标注图像集对模型进行初始化目标检测模型，输出对无标注帧的预测结果。接着，根据预测结果对各个未标注帧计算每次迭代的模型不确定性大小，并从大到小排列。取模型不确定性最大的样本，若该样本的时序方差大于阈值且相邻帧未被选取，则向专家查询标记该样本。最后，更新已标注图像集和未标注图像集u，并更新预测模型。查询过程将循环执行，直至标记开销达到预算。
13.图2所示为计算各个图像帧模型不确定性示意图。首先，目标检测模型对于一张图片检测出的物体位置，种类以及置信度进行输出。若某张图片一共检测出k个物体，则输出可以表示为：
其中 。
14.统计该样本中属于第i类物体的均值，计算方法如下：统计该样本中属于第i类物体的均值，计算方法如下：统计该样本中属于第i类物体的均值，计算方法如下：表示当lj= i时为1, l
j ≠ i时为0。
15.最后，若目标检测任务中总共有c类物体，则我们可以将一张图片的输出归一化为一类向量:这样的一个向量表示了一个样本中每一类物体的平均位置以及平均置信度。对于一个单独的图像帧的方差计算方法如下：n次迭代后模型产生了n个这样的向量。这些向量的每一维度上分别求解一个，然后将求出的各个方差值求取平均量解一个，然后将求出的各个方差值求取平均量表示对于向量的每个维求取方差。
16.图3是基于时序方差阈值的目标检测主动采样模型示意图。目标检测模型在多次迭代中记录了每个图像帧的输出结果，根据本发明提出的方法选择不确定性最大的样本，再判断其是否满足与相邻帧时序方法的要求。从而主动地选取最合适的样本以向人工专家进行查询。
17.实施例采用faster-rcnn模型在waymo数据集上进行了实验验证，总共训练10个epoch，计算测试集上的coco指标，重点关注和。对比方法为（1）使用全部样本训练；（2）随机采样20%数据标注；（3）仅考虑模型不确定性进行采样20%数据标注；（4）设置时序方差阈值后采样模型不确定性最大的20%数据标注，即本发明提出的方法。实验结果表明使用全部数据下ap@iou=0.5为0.4752，而实施例的结果为0.4693且高于第二、三的对比方法。说明本发明在waymo时序数据中仅使用20%样本量即可实现接近使用全部样本标注的效果，极大节约了标注代价。