一种基于不确定性的多阶段引导的小目标半监督学习检测方法

：本发明涉及计算机视觉目标检测领域，具体设计一种基于不确定性的多阶段引导的小目标半监督学习检测方法。

背景技术

0、
背景技术：

1、目前深度神经网络在各式各样的任务上都有着出色的表现，但在目标检测方面，其性能仍依赖于大量的标注数据和算力资源。作为有监督学习的一个延申，半监督学习的方法在最近今年受到了越来越多的关注，但是大多数研究还停留在图像分类任务中；在目标检测领域，半监督的应用还处于摸索阶段，在小目标检测领域半监督的应用更为稀少。

2、因此，为了解决上述问题，我们提出了一种基于不确定性的多阶段引导的小目标半监督学习检测方法，使用少量的有标记样本和大量的无标记样本进行训练检测小目标。

技术实现思路

0、
技术实现要素：

1、本发明的目的在于针对上述现有技术的不足，提出一种基于不确定性的多阶段引导的小目标半监督学习检测方法，能利用少量的标记样本和大量的无标记样本来进行检测，减少标记成本，提高对小目标检测的性能。

2、本发明的基于不确定性的多阶段引导的小目标半监督学习检测方法，包括以下步骤：

3、s1、构建训练和测试该任务的图像数据集；

4、s2、将visdrone2019数据集的图像进行尺寸归一化和预处理操作，得到维度为m×m×c的预处理图像，记为i＝{i1，i2，i3，...，ii，....，in}，其中ii表示第i张图片，随机将数据集图片分为两部分，比例为1：9，只有前者数据存在标记信息，有标记的图像集记为isu，无标记的图像集记为iun；同时对无标记的图像进行弱数据增强，对有标记图片进行强数据增强；

5、s3、构建半监督学习下的小目标检测模型；

6、s4、将有标记的图像送入初始的对象检测模型中，进行检测模型的训练，得到预训练好的教师检测模型；

7、s5、将没有标记的图像送入预训练好的教师检测模型中，输出带有伪标签信息的图像；

8、s6、根据生成的伪标签的可靠度，将带有伪标签信息的图片逐步送入学生网络中，和预先存在标注的图片一起训练学生网络，实现多阶段学习，最终得到检测结果；

9、s7、学生模型依据损失函数进行反向梯度更新，教师模型则采用学生网络的ema进行更新。

10、作为优选，本发明提供一种基于不确定性的多阶段引导的小目标半监督学习检测方法，其特征在于，对无人机拍摄的图像集进行了强弱数据增强，具体包括：

11、将获取的数据集图像进行尺寸归一化操作后，记为isu＝{i1,，i2，...，ii，....，in}，n为集合中的图片数量；

12、含有标记信息的图像集合记为psu＝{p1，p2，p3，...，pi，....，pn}，其中pi表示第i张图片；令图像数据集合p的标签集合为asu＝{a1,，a2，...，ai，....，an}，n表示带标签的图像集中的图像总数；

13、获取未标记的数据集图像并进行数据增强，得到图像集记为qun＝{q1，q2，q3，...，qi，....，qm}，其中qi表示第i张图片，m表示未标记的图像集中的图像总数；

14、对有注释的图像进行强数据增强，即mixup操作，将有伪标签的无标注图片与有标注的图片按比例进行混合，得到增强数据集；并在进行全局几何变换时对伪标签的坐标进行相应的变换。

15、作为优选，本发明提供一种基于不确定性的多阶段引导的小目标半监督学习检测方法，其特征在于，构建半监督学习下的目标检测网络，具体包括：

16、将多尺度感知融合模块融入到faster-rcnn网络，同时引入了超参数和bboxjeilting，形成了改进后的小目标检测算法，同时基于教师学生多阶段学习模型，形成了半监督下的目标检测方法。

17、作为优选，本发明提供一种基于不确定性的多阶段引导的小目标半监督学习检测方法，其特征在于，将多尺度感知融合模块融入到faster-rcnn网络，同时引入了超参数和bbox jeilting，具体包括：

18、基于教师学生模型改进后的faster-rcnn检测算法，形成了融入多尺度感知融合模块的半监督学习检测模型；

19、多尺度感知融合模块由多尺度融合模块和混合注意力机制组成，具体如下：

20、多尺度感知融合模块将fpn特征金字塔提取后的特征图作为输入，每个特征图分别经过五个并行的分支；其中，第一个分支为1×1的标准卷积，第二至第四个分别是空洞率为2、4、6的空洞卷积，最后一个分支则是soft-pool池化操作，以softmax给予权重，累加激活，将五个分支的的特征图在通道维度上进行拼接；而后又通过混合注意力模块得到新的特征信息；

21、对于多尺度融合模块，根据如下公式来进行拼接：

22、

23、y＝concat(x0,x1,x2,x3,x4)

24、其中x代表特征图，conv代表普通卷积操作，convr代表空洞卷积操作，soft-pool代表软池化操作，concat代表拼接操作，y则代表该模块的输出结果；

25、混合注意力结合了空间注意力和通道注意力，其中空间注意力能关注到待测目标的位置，通道注意力重点分析每个通道的特征，得到更为准确的目标结构，两者相辅相成可以加强模型对小目标特征的关注度，提升检测精度。

26、作为优选，本发明提供一种基于不确定性的多阶段引导的小目标半监督学习检测方法，其特征在于，引入了超参数构建半监督学习的引入不确定引导的多批次学习方法，以及bbox jeilting，具体包括：

27、设置一个超参数用来衡量未标记图片生成的伪标签的可靠性，以此来判定原始图像的困难程度，多阶段逐步地来进行学习和训练，根据以下公式来逆推原始图片的困难程度：

28、

29、其中，用来衡量原始图片困难度，dmn是第m张图片中第n个类别对应的的伪标签置信度；

30、构建使用bbox jeilting盒子抖动回归策略的半监督学习方法，具体包括：

31、对于rpn层预测的候选框，首先对其随机抖动，改变一下候选框的位置和大小，后面再进行回归，以此来实现对候选框进行微调，并用方差衡量候选框的微调结果，方差越小认为生成的伪标签越可靠，公式如下所示：

32、

33、

34、方差计算公式

35、其中gi是教师模型生成的伪标签候选框，通过在伪标签候选框附近随机轻微抖动，得到一个新的伪标签候选框σk是更为精细的抖动盒子集合的第k个坐标的精准推导，是归一化的σk，h(gi)和w(gi)分别表示候选框gi的长和宽。

36、作为优选，本发明提供一种基于不确定性的多阶段引导的小目标半监督学习检测方法，其特征在于，将有标记的图像送入初始的教师检测模型，得到预训练好的教师检测模型，具体包括：

37、利用标记的图像集合对教师模型进行训练，获得能够产生伪标签的教师最优检测模型。

38、作为优选，本发明提供一种基于不确定性的多阶段引导的小目标半监督学习检测方法，其特征在于，根据生成伪标签的可靠度，将带有伪标记信息的图片样本逐步送入学生网络中，和预先存在标注的图片一起训练学生网络，实现多阶段学习的一个流程；最终得到检测结果，具体包括：

39、根据生成伪标签的可靠度，逐步多阶段将有标记的图片样本和有伪标签标记的无标记的图片样本输入与上述教师网络有着相同参数的学生模型中，进行学习和训练，最终得到检测结果。

40、作为优选，本发明提供一种基于不确定性的多阶段引导的小目标半监督学习检测方法，其特征在于学生模型通过计算损失函数进行反向梯度更新，教师模型则采用学生网络的ema进行更新，具体包括：

41、学生模型的跟新公式如下：

42、

43、其中γ为学习率，λ为无监督损失的贡献，θs是学生网络的参数；

44、教师模型的更新如下公式所示：

45、θt←αθt+(1-α)θs

46、其中θt为教师网络参数，α为滑动平均系数；通过上述的不断调整和迭代，直到模型收敛不再变化时，则可以停止学生模型和教师模型的更新。

47、综上所述，本发明与现有的技术相比，本发明的有效之处在于：

48、(1)本发明在目标检测的框架中不仅是对网络结构的修改，对于数据处理方面也做出了改变，使用更多的未标记数据，减轻了标注的人力开支。

49、(2)本发明将提取的特征图信息进行不同的尺度融合，提取更为丰富的图像信息，从而提升了对于小目标的检测效果。

50、(3)本发明使用了多阶段学习以及盒子抖动等策略，获得更为可靠的伪标签，从而获得更为可靠的信息，从而提升了检测的精度。

51、(4)在本发明中，通过半监督学习的方法，拓展了更多未标记的数据集合，充分利用了少量标记图像的信息，降低了对有标记样本图片的依赖。