针对长尾数据的目标检测方法、装置、设备以及存储介质与流程

本发明实施例涉及目标检测，具体涉及一种针对长尾数据的目标检测方法、装置、设备以及存储介质。

背景技术：

1、当前，深度神经模型在平衡的物体检测数据集上展现了优异表现。但在实际情境中，数据常常呈现长尾分布，即少数类型占据了大部分样本，而大量类型只有极少样本。这种数据不均衡对需要大量数据的深度神经模型构成了考验，特别是在样本稀少的长尾类型上性能表现较差。这直接影响了基于深度学习的检测器的实际应用效果。因此，寻找针对长尾物体检测的高效训练策略成为了一个紧迫且有待解决的课题。

2、在实施现有技术的过程中，申请人发现：针对长尾物体检测的高效训练策略主要针对如何缓解前景类型之间的不均衡竞争，忽视了长尾分布中尾部类型的代表性问题，而这种对尾部类型样本多样性的忽略，会使得分类器在识别这些类型时的表现受限，从而制约了整体检测性能的提升。

3、因此需要一种能够针对尾部类型检测更加准确的目标检测方案。

技术实现思路

1、鉴于上述问题，本发明实施例提供了一种针对长尾数据的目标检测方法、装置、设备以及计算机存储介质，用于解决现有技术中存在的针对长尾数据的检测不准确的问题。

2、根据本发明实施例的一个方面，提供了一种针对长尾数据的目标检测方法，所述方法包括：

3、获取待检测图像；

4、将所述待检测图像输入目标检测模型，得到所述待检测图像对应的目标检测结果；所述目标检测模型的训练过程如下：将训练样本集分别输入原始检测模型以及所述原始检测模型对应的孪生检测模型，得到所述目标检测模型输出的第一目标检测结果以及所述孪生检测模型输出的第二目标检测结果；所述孪生检测模型的模型参数根据所述原始检测模型的模型参数确定；

5、根据所述训练样本集对应的目标类型标注分别计算所述目标检测模型的第一预测损失以及所述孪生检测模型的第二预测损失；其中，在计算所述第二预测损失时，对所述孪生检测模型针对训练样本中属于预设的尾部类型的目标的预测损失进行上采样；

6、根据所述第一预测损失以及所述第二预测损失对所述原始检测模型进行模型参数优化，将收敛的所述原始检测模型确定为所述目标检测模型。

7、在一种可选的方式中，所述方法还包括：

8、对所述第一预测损失与所述第二预测损失进行整合，得到所述原始检测模型将各个预设的类型分别预测为其他各个所述类型的预测损失；

9、针对每两个所述类型，根据所述原始检测模型将当前类型的目标预测为另一类型的预测损失，确定所述当前类型对于所述另一类型的预测影响度；

10、根据所述当前类型与其他各个类型相互之间的所述预测影响度，对所述原始检测模型针对所述当前类型的预测损失进行调整，得到所述原始检测模型针对所述当前类型的平衡后总损失；

11、根据所有所述类型对应的平衡后总损失对所述原始检测模型进行模型参数优化，直至得到收敛的原始检测模型作为所述目标检测模型。

12、在一种可选的方式中，所述平衡后总损失根据所述原始检测模型将所述当前类型预测为其他各个所述类型的预测损失以及所述类型的预测损失对应的影响权重计算得到；所述方法还包括：

13、根据所述当前类型与其他各个类型之间相互的预测影响度的比较结果，对所述类型的预测损失的影响权重进行成比例调整。

14、在一种可选的方式中，所述方法还包括：

15、当所述当前类型对于另一类型的预测影响度大于所述另一类型对于所述当前类型的预测影响度时，根据所述当前类型与所述另一类型相互的预测影响度的比值对所述另一类型的预测损失的影响权重进行放大处理；

16、当所述当前类型对于另一类型的预测影响度小于所述另一类型对于所述当前类型的预测影响度时，根据所述当前类型与所述另一类型相互的预测影响度的比值对所述另一类型的预测损失的影响权重进行缩小处理。

17、在一种可选的方式中，所述方法还包括：

18、根据所述第二目标检测结果以及所述目标类型标注的比较结果，确定所述孪生检测模型针对各个预设类型的预测损失；所述预设类型中包括所述尾部类型；

19、根据所述孪生检测模型针对各个预设类型的预测损失进行加权求和，得到所述第二预测损失；其中，所述尾部类型的预测损失的权重根据所述尾部类型的目标出现的样本在所有所述样本的占比确定。

20、在一种可选的方式中，所述原始检测模型包括依次连接的特征图提取网络、区域特征识别网络以及分类器；所述孪生检测模型包括依次连接的孪生特征图提取网络以及所述区域特征识别网络以及分类器；所述孪生特征图提取网络的网络参数根据所述特征图提取网络的网络参数确定；

21、其中，所述特征图提取网络以及孪生特征图提取网络用于分别提取输入图像的特征图；

22、所述区域特征识别网络用于识别输入的特征图中的检测区域以及所述检测区域内的图像特征向量；

23、所述分类器用于根据输入的图像特征向量输出图像中检测到的目标的类型。

24、在一种可选的方式中，所述方法还包括：

25、对所述原始检测模型的模型参数以及所述孪生检测模型的历史模型参数进行加权滚动融合，得到所述孪生检测模型的当前模型参数。

26、根据本发明实施例的另一方面，提供了一种针对长尾数据的目标检测装置，包括：

27、获取模块，用于获取待检测图像；

28、输入模块，用于将所述待检测图像输入目标检测模型，得到所述待检测图像对应的目标检测结果；所述目标检测模型的训练过程如下：将训练样本集分别输入原始检测模型以及所述原始检测模型对应的孪生检测模型，得到所述目标检测模型输出的第一目标检测结果以及所述孪生检测模型输出的第二目标检测结果；所述孪生检测模型的模型参数根据所述原始检测模型的模型参数确定；根据所述训练样本集对应的目标类型标注分别计算所述目标检测模型的第一预测损失以及所述孪生检测模型的第二预测损失；其中，在计算所述第二预测损失时，对所述孪生检测模型针对训练样本中属于预设的尾部类型的目标的预测损失进行上采样；根据所述第一预测损失以及所述第二预测损失对所述原始检测模型进行模型参数优化，将收敛的所述原始检测模型确定为所述目标检测模型。

29、根据本发明实施例的另一方面，提供了一种目标检测设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

30、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如前述任意一项所述的针对长尾数据的目标检测方法实施例的操作。

31、根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使目标检测设备执行以下如任意一项所述的针对长尾数据的目标检测方法的操作。

32、本发明实施例通过获取待检测图像；将所述待检测图像输入目标检测模型，得到所述待检测图像对应的目标检测结果；所述目标检测模型的训练过程如下：将训练样本集分别输入原始检测模型以及所述原始检测模型对应的孪生检测模型，得到所述目标检测模型输出的第一目标检测结果以及所述孪生检测模型输出的第二目标检测结果；所述孪生检测模型的模型参数根据所述原始检测模型的模型参数确定；根据所述训练样本集对应的目标类型标注分别计算所述目标检测模型的第一预测损失以及所述孪生检测模型的第二预测损失；其中，在计算所述第二预测损失时，对所述孪生检测模型针对训练样本中属于预设的尾部类型的目标的预测损失进行上采样，从而保证尾部类型在模型训练过程中得到足够的注意，使得模型对于尾部类型的识别更准确率；根据所述第一预测损失以及所述第二预测损失对所述原始检测模型进行模型参数优化，将收敛的所述原始检测模型确定为所述目标检测模型，从而区别于现有长尾数据的目标检测，一般只关注如何缓解前景类型之间的不均衡，而并未考虑到增强对尾部类型的关注，由此目标检测模型最终在尾部类型的识别表现并不佳的问题，本发明实施例通过在现有的原始检测模型的基础上，并行训练一个孪生检测模型，通过对所述孪生检测模型针对训练样本中属于尾部类型的目标的预测损失进行上采样，得到第二预测损失，并将第二预测损失作为对于尾部类型预测不准确的额外惩罚，融合到原始检测模型的第一预测损失中，从而根据融合后的预测损失对原始检测模型进行优化，能够得到在尾部类型的目标检测上表现更优的目标检测模型。本发明实施例通过增强尾部类型数据的关注，提高了样本多样性的提高，能够有效提高针对长尾分布的数据的目标检测的准确率。

33、上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。