本发明涉及目标检测,尤其涉及一种样本分配及目标检测模型训练方法、系统、介质及设备。
背景技术:
1、近些年,目标检测技术蓬勃发展,但其在面对小目标检测任务时仍面临挑战。传统的标签分配策略大多依赖于预测框与真实框的iou(intersection over union,交并比)进行判定,但这种方法对不同尺度目标的敏感度差异较大,尤其对小目标而言,即使准确预测了目标类别,由于iou过低而无法得到有效标注,导致模型训练效果不佳。
2、现有的针对小目标检测的改进方法例如ota(optimized transport algorithmfor instance segmentation,实例分割的优化传输算法)和tal(tasks-aligned labelingassignment,任务对齐的标签分配),虽然尝试通过更复杂的策略优化标签分配,但仍然存在局限性。ota等方法虽然考虑了iou成本,但仍然无法完全解决小目标与锚框或中心点缺乏重叠的问题。tal虽然试图整合分类和定位任务的指标,但并未充分考虑不同尺度目标的特性。
技术实现思路
1、基于此,有必要针对上述问题,提出了一种样本分配及目标检测模型训练方法、系统、介质及设备。
2、一种样本分配及目标检测模型训练方法,所述方法包括:
3、获取图像样本,将图像样本输入目标检测模型,得到所述目标检测模型预测的预测框。
4、获取所述预测框与所述图像样本的实际框分别对应的二维高斯分布,并确定所述预测框与所述实际框的二维高斯分布之间的第一归一化距离。
5、根据所述第一归一化一距离筛选出前k个预测框,作为候选预测框、
6、缩小所述候选预测框,得到缩小后的预测框,获取缩小后的预测框的二维高斯分布,确定所述缩小后的预测框的二维高斯分布与所述实际框的二维高斯分布之间的第二归一化距离。
7、根据所述第一归一化距离和第二归一化距离确定与所述实际框最近的缩小后的预测框,作为正样本。
8、基于所述实际框的正样本对所述目标检测模型进行训练,得到训练后的目标检测模型。
9、其中,所述获取所述预测框与所述图像样本的实际框分别对应的二维高斯分布,并确定所述预测框与所述实际框的二维高斯分布之间的第一归一化距离,具体包括:
10、获取预测框的概率密度函数和实际框的概率密度函数。
11、在所述预测框的概率密度函数和实际框的概率密度函数满足预设条件时,则确定所述预测框的内接椭圆方程的参数,以及确定所述实际框的内接椭圆方程的参数。
12、通过所述预测框的内接椭圆方程的参数确定所述预测框的二维高斯分布,通过所述实际框的内接椭圆方程的参数确定所述实际框的二维高斯分布。
13、其中,所述确定所述预测框与所述实际框的二维高斯分布之间的第一归一化距离,具体包括:
14、根据所述预测框的二维高斯分布和所述实际框的二维高斯分布确定所述预测框与所述实际框的二维高斯分布之间的wasserstein距离。
15、将所述wasserstein距离进行归一化处理,确定所述第一归一化距离。
16、其中,还包括:
17、若所述概率密度函数满足(x-μ)tσ-1(x-μ)=1,则确定所述概率密度函数满足预设条件。
18、所述二维高斯分布为:
19、
20、其中,cx为预测框或实际框的横坐标,cy为预测框或实际框的纵坐标,w为预测框或实际框的宽度,h为预测框或实际框的高度。
21、其中,所述根据所述第一归一化距离筛选出前k个预测框,作为候选预测框,具体包括:
22、获取所述目标检测模型针对所述样本图像输出的分类分数、定位分数。
23、合并所述分类分数、所述定位分数和所述第一归一化距离,得到第一度量指标。
24、根据第一度量指标筛选出前k个预测框,作为候选预测框。
25、其中,所述基于所述实际框的正样本对所述目标检测模型进行训练,得到训练后的目标检测模型,具体包括:
26、根据二元交叉熵损失函数、定位损失函数,烳助定位提失函数确定所述实际框与所述正样本之间的总损失函数,所述总损失函数为:
27、lloss=λ1lbce+λ2lciou+λ3ldfl;
28、式中,lbce为二元交叉熵损失函数,lciou为定位损失函数,ldfl为烳助定位提失函数,λ1为二元交叉熵损失函数的权重,λ2为定位损失函数的权重,λ3为烳助定位提失函数的权重。
29、通过所述总损失函数优化目标检测模型的模型参数,得到训练后的目标检测模型。
30、其中,还包括:
31、选择大模型作为教师模型,选择轻量级模型作为学生模型。
32、通过所述教师模型获取预测结果作为软标签,所述学生模型利用所述软标签进行知识蒸馏,并在知识蒸馏过程中进行目标对齐。
33、对知识蒸馏后的学生模型进行训练,获取最终的目标检测模型。
34、其中,还包括:
35、通过位置蒸馏损失函数优化目标检测模型参数,所述位置蒸馏损失函数为:
36、
37、其中,为位置蒸馏损失函数,为kl散度损失函数,zs为学生模型的预测输出,zt为教师模型的预测输出,τ为蒸馏温度参数。
38、一种样本分配及目标检测模型训练系统,所述系统包括:
39、预测框获取模块,用于获取图像样本,将图像样本输入目标检测模型,得到所述目标检测模型预测的预测框。
40、第一归一化距离确定模块,用于获取所述预测框与所述图像样本的实际框分别对应的二维高斯分布,并确定所述预测框与所述实际框的二维高斯分布之间的第一归一化距离。
41、候选预测框筛选模块,用于根据所述第归一化一距离筛选出前k个预测框,作为候选预测框。
42、第二归一化距离确定模块,用于缩小所述候选预测框,得到缩小后的预测框,获取缩小后的预测框的二维高斯分布,确定所述缩小后的预测框的二维高斯分布与所述实际框的二维高斯分布之间的第二归一化距离。
43、正样本确定模块,用于根据所述第一归一化距离和第二归一化距离确定与所述实际框最近的缩小后的预测框,将所述缩小后的预测框作为正样本。
44、目标检测模型训练模块,用于基于所述实际框的正样本对所述目标检测模型进行训练,得到训练后的目标检测模型。
45、一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上所述方法的步骤。
46、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上所述方法的步骤。
47、采用本发明实施例,具有如下有益效果:
48、本发明通过一种样本分配及目标检测模型训练方法,显著提升了小目标检测的性能。该方法首先利用归一化距离来量化预测框与实际框之间的相似性,针对小目标样本不足问题,首先确定预测框与实际框的二维高斯分布之间的第一归一化距离,根据第一归一化一距离筛选出前k个预测框,作为候选预测框,进一步地,缩小候选预测框,得到缩小后的预测框,获取缩小后的预测框的二维高斯分布,确定缩小后的预测框的二维高斯分布与实际框的二维高斯分布之间的第二归一化距离。最终根据第一归一化距离和第二归一化距离确定与实际框最近的缩小后的预测框,获得更加精准的正样本匹配结果。