基于多级伪标签增强的半监督目标检测方法及系统

本发明属于目标检测，具体涉及一种基于多级伪标签增强的半监督目标检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、目标检测是计算机视觉中的一个重要任务，其目的是在图像或视频中定位并识别出特定的物体。与简单的图像分类任务不同，目标检测要求不仅识别出物体，还要确定其位置和大小。传统的目标检测方法大致可以分为基于人工设计特征和分类器的方法和基于深度学习的方法。对于早期的基于人工设计特征和分类器的方法，由于无法处理大量变化的背景和目标形状，难以实现端到端的训练，从而导致检测的准确率受限。相较于人工设计特征和分类器的方法，深度学习方法通过神经网络自动学习特征和分类器，将目标提取和分类合并在一起，目前已成为目标检测的主流方法。

3、尽管基于深度学习的目标检测方法已经取得了显著的进展，但是它们通常需要大量且多样性的标注数据来支撑其训练过程。在一些特殊领域，例如医学图像领域，图像的获取和标注难度较大，因此标记数据是相对较少且存在局限性的。此外，在半监督目标检测任务中，由于检测算法的不准确性可能会产生一定的误差，因此生成的伪标签可能会带有一定的噪声，带噪伪标签的准确度对正负样本的划分产生较大的影响，这对目标检测算法的设计和优化提出了更为严峻的挑战。

4、当前目标检测技术面临一系列挑战和难点，其中标记数据量较少且数据存在较大的局限性是检测精度较低的一个主要问题，带噪伪标签的准确度进一步影响目标检测的精度。因此，迫切需要一种基于多级伪标签增强和自适应加权的半监督目标检测方法，以克服当前技术中存在的局限性，并为该领域的发展提供新的思路和解决方案。

技术实现思路

1、为了解决上述问题，本发明提出了一种基于多级伪标签增强的半监督目标检测方法及系统，本发明旨在解决目标检测任务中标记数据稀缺、数据存在较大局限性以及带噪伪标签的准确度对正负样本划分的影响，来提升目标检测模型的准确度和鲁棒性。

2、根据一些实施例，本发明的第一方案提供了一种基于多级伪标签增强的半监督目标检测方法，采用如下技术方案：

3、基于多级伪标签增强的半监督目标检测方法，包括：

4、获取原始图像并进行预处理，得到预处理图像；

5、基于预处理图像，利用预先训练好的半监督目标检测网络模型进行目标检测，得到最终的目标检测结果；

6、其中，所述半监督目标检测网络模型的训练过程，具体为：

7、获取原始图像并进行预处理，得到标记数据集和未标记数据集；

8、对标记数据集中的部分图像采用盒级伪标签增强后，再对未标记数据集中的图像和盒级增强标记数据集中的图像利用交叉的前景背景混合信息进行图像级伪标签增强，得到图像级伪标签增强图像，生成增强后的标记数据集；

9、将增强后的标记数据集以及标记数据集输入到学生网络进行特征提取，将未标记数据集输入到教师网络生成伪标签数据，并选择正负样本；

10、将增强后的标记数据的分类损失和边界框回归损失以及未标记数据的分类损失相加构成网络模型的总损失，重复进行前向传播和反向传播过程，直到达到收敛条件，保存其最小损失值时的半监督目标检测网络模型作为最终的训练结果。

11、进一步地，所述获取原始图像并进行预处理，得到预处理图像，具体为：

12、获取原始图像；

13、对原始图像进行数据清洗，过滤掉不合格的数据；

14、对过滤后的数据进行尺寸统一，得到预处理图像。

15、进一步地，基于预处理图像，采用盒级伪标签增强，具体为：

16、选取两张带标记图像，并分别从两张带标记图像中选取一个边界框；

17、调整两幅图像上边界框，使得两个边界框的高和宽互换，得到调整后的边界框；

18、将调整后的边界框分别从带标记图像的背景中分离出来并互换，得到两张盒级伪标签数据图像。

19、进一步地，对未标记数据集中的图像和盒级增强标记数据集中的图像利用交叉的前景背景混合信息进行图像级伪标签增强，得到图像级伪标签增强图像，具体为：

20、基于盒级增强标记数据集中随机选择两张盒级伪标签数据标记图像，同时基于未标记数据集中随机选择两张未标记图像；

21、对两张盒级伪标签数据标记图像和两张未标记图像进行随机裁剪后，并将裁剪后的图像进行混合，得到一张图像级伪标签增强图像。

22、进一步地，所述将增强后的标记数据集以及标记数据集输入到学生网络进行特征提取，具体为：

23、将增强后的标记数据集中的图像级伪标签增强图像输入到学生主干网络中，通过一组卷积层，激活函数层以及池化层提取图像级伪标签增强图像的特征图；

24、再将特征图输入到目标检测网络中进行目标识别训练。

25、进一步地，将未标记数据集输入到教师网络生成伪标签数据，并选择正负样本，具体为：

26、将未标记数据集进行弱增强后输入到教师网路中获得预测标签；

27、经过非极大值抑制后，如果该未标记数据的分类得分大于预先设定的阈值则把该未标记数据作为伪标签数据；

28、将未标记数据集进行强增强后输入到学生网络进行训练；

29、综合考虑教师网络的分类得分s、教师网络生成的候选框和真实值的iou值u以及带噪伪标签的准确度w的影响，计算教师网络提供给学生网络的所有候选框的得分，即候选框的质量q；

30、，

31、其中，α是控制s和u对结果的贡献程度；q是候选框的质量，通过上面的公式得分表示候选框的质量好坏;

32、通过ota中的动态选择方式选择top-n个为正样本，将top-n的框看做正样本，其余为负样本。

33、进一步地，所述基于预处理图像，利用预先训练好的半监督目标检测网络模型进行目标检测，得到最终的目标检测结果，具体为：

34、利用训练好的学生网络对预处理图像进行前向传递，生成检测框和对应的类别置信度；

35、将生成的检测框和类别置信度输入到后处理模块中，进行非极大值抑制和置信度筛选，得到最终的目标检测结果。

36、根据一些实施例，本发明的第二方案提供了一种基于多级伪标签增强的半监督目标检测系统，采用如下技术方案：

37、基于多级伪标签增强的半监督目标检测系统，包括：

38、图像获取模块，被配置为获取原始图像并进行预处理，得到预处理图像；

39、目标检测模块，被配置为基于预处理图像，利用预先训练好的半监督目标检测网络模型进行目标检测，得到最终的目标检测结果；

40、其中，所述半监督目标检测网络模型的训练过程，具体为：

41、获取原始图像并进行预处理，得到标记数据集和未标记数据集；

42、对标记数据集中的部分图像采用盒级伪标签增强后，再对未标记数据集中的图像和盒级增强标记数据集中的图像利用交叉的前景背景混合信息进行图像级伪标签增强，得到图像级伪标签增强图像，生成增强后的标记数据集；

43、将增强后的标记数据集以及标记数据集输入到学生网络进行特征提取，将未标记数据集输入到教师网络生成伪标签数据，并选择正负样本；

44、将增强后的标记数据的分类损失和边界框回归损失以及未标记数据的分类损失相加构成网络模型的总损失，重复进行前向传播和反向传播过程，直到达到收敛条件，保存其最小损失值时的半监督目标检测网络模型作为最终的训练结果。

45、根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。

46、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于多级伪标签增强的半监督目标检测方法中的步骤。

47、根据一些实施例，本发明的第四方案提供了一种计算机设备。

48、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于多级伪标签增强的半监督目标检测方法中的步骤。

49、与现有技术相比，本发明的有益效果为：

50、本发明提出的基于多级伪标签增强和自适应加权的半监督目标检测方法与系统，与之前标记数据数量稀少且存在较大局限性、正样本划分只考虑proposal和ground truth之间的iou相比，此方法在目标检测效果上表现出更优异的表现。一方面，本发明采用了多级伪标签增强方法，该数据增强方式可以显著缓解数据存在较大局限性的问题，从而很好地提高模型的泛化能力，减少过拟合的风险。另一方面，本发明构建了一种基于平均置信度得分的自适应加权方法作为新的度量标准来选择正负样本，综合考虑了教师网络分类得分、教师网络生成的proposal和ground truth（对于未标记数据即伪标签）的iou值以及带噪伪标签的准确度的影响，从而可以更加准确的选择正样本，进一步提升模型的检测精度。