一种基于长尾数据的自适应阈值NMS多目标检测方法与流程

本发明涉及图像处理的目标检测，具体为一种基于长尾数据的自适应阈值nms多目标检测方法。

背景技术：

1、长尾分布的目标检测是计算机视觉领域中重要的研究分支,旨在判断长尾分布图像或视频中是否存在特定目标,并确定其类别和位置。长尾分布数据广泛存在于目标检测的各个应用领域中，例如安防监控、自动驾驶、遥感侦测、图像分割、目标跟踪等。长尾分布是大数据背景下的一种特殊的不均衡问题，是指数据集当中少部分类别占据大量的样本,而其他大部分类别仅具有少量样本。

2、由于训练过程被大量头部样本所主导，长尾数据训练出来的目标检测模型常偏向具有大量训练样本的头部实例,而在样本量有限的尾部实例上性能不佳,从而降低目标检测模型总体性能，尤其在尾部类别的小尺寸目标上检测精度更差。在实际应用中，即使在整体上能获得较高的检测率，尾部实例的误检可能导致严重后果或高昂的代价，例如错误的工业过程故障诊断、未检测出黑客入侵、遥感侦测漏检或自动驾驶中的障碍物误判等,都属于尾部类别的误检，会给工业生产、网络安全造成极大危害，甚至危及国家安全和生命安全。

3、在公开专利号为cn116109812a中公开了一种基于非极大值抑制阈值优化的目标检测方法，包括：获取待检测目标数据；将待检测目标数据输入预先训练得到的目标检测模型，得到多个目标检测框与每个目标检测框的置信度；获取每个目标检测框的可见比；将每个目标检测框的置信度和可见比输入预先训练得到的非极大值抑制阈值预测模型，得到对应的非极大值抑制阈值；根据非极大值抑制阈值对所有目标检测框进行冗余框筛选，获得目标检测结果。本发明可以解决人工设定固定阈值无法应对动态变化的目标图像或者视频序列，同时能够显著改善人工设定固定阈值所造成的漏检、误检等问题，有利于提高重度遮挡场景中目标检测的准确率。该技术研究非极大值抑制阈值优化问题，但未考虑长尾数据的特征。

技术实现思路

1、本发明的目的在于克服现有技术的缺点与不足，提出了一种基于长尾数据的自适应阈值nms多目标检测方法，考虑了目标检测实际应用中广泛存在的长尾数据现象，自适应调整非极大抑制算法的阈值，从而保护尾部类别目标检测框不被过度抑制，可有效降低尾部类别目标的漏检率。

2、为实现上述目的，本发明提供如下技术方案：一种基于长尾数据的自适应阈值nms多目标检测方法，包括以下步骤：

3、步骤一，输入目标检测的长尾训练数据，分析和计算数据特征；

4、步骤二，采用faster rcnn模型训练目标检测模型；

5、步骤三，把需要检测的长尾目标检测数据输入faster rcnn目标检测模型，获取多个目标候选框，将所有目标候选框按照不同的类别标签分组，并对每一个类别的所有目标候选框按照置信度进行排序；

6、步骤四，根据长尾训练数据的数据特征，对每一个类别进行自适应阈值计算，并执行非极大值抑制处理；

7、步骤五，根据步骤四的方法，对所有类别的待检测框进行冗余框筛选，获得目标检测结果。

8、作为一种优选方案，在步骤一中，所述分析和计算数据特征，包含以下操作：

9、根据长尾数据的特征，计算每一类目标的平衡系数k(i)，公式如下：

10、

11、其中i＝1,2,…,c，c是长尾数据中目标类别的数量；n(i)是第i类目标的总数量。

12、作为一种优选方案，在步骤二中，所述faster rcnn模型训练目标检测模型，包含以下操作：

13、(1)把长尾数据训练集图片输入regnet骨干网络，提取4个不同阶段的特征图c2、c3、c4、c5；

14、(2)将上述4个不同阶段的特征图c2、c3、c4、c5输入fpn特征金字塔进行融合，得到新的4个不同分辨率的特征图p2、p3、p4、p5；

15、(3)通过rpn区域建议网络对特征图p2、p3、p4、p5进行建议框的提取；

16、(4)把特征图p2、p3、p4、p5和建议框输入roi align进行池化综合，再经过全连接网络进行分类和回归，得到检测结果和相应的损失；

17、(5)完成一个轮次的训练后，重复进行(1)至(4)，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到目标检测模型。

18、作为一种优选方案，在步骤四中，所述对每一个类别进行自适应阈值计算，包含以下操作：

19、对每一个目标类别，计算该类别的非极大值抑制算法阈值参数nt(i)，公式如下：

20、nt(i)＝1-α[1-k(i)]     (2)

21、其中i＝1,2,…,c，c是长尾数据中目标类别的数量；k(i)是长尾数据的平衡系数；α是可调节的权重系数。

22、作为一种优选方案，在步骤四中，所述执行非极大值抑制处理，包含以下操作：

23、(a)在每一类目标中，选择置信度最高的目标检测框，记作m，加入到集合d中；

24、(b)分别计算剩余的目标检测框与m之间的交并比，并按照以下公式处理该目标检测框的置信度sj，公式如下：

25、

26、其中j＝1,2,…,b(i)-1，表示第i类检测目标的第j个检测框，b(i)是第i类检测目标的检测框数量；uiou(m,bj)是检测框m与第j个检测框的交并比。

27、(c)若步骤(b)中得到的所有类别的目标检测框为空，则检测框筛选结。

28、与现有技术对比，本发明具备以下有益效果：

29、1、本发明针对长尾数据特征，提出多目标检测的改进方法。与现有技术相比，本发明考虑了目标检测实际应用中广泛存在的长尾数据现象，长尾数据中头部数据目标和尾部数据目标的不均衡导致目标检测的类别识别正确率降低，在非极大值抑制算法中尾部类别目标框的漏检率高。本发明对此提出的改进方法，可有效降低尾部类别目标的漏检率。

30、2、本发明提出了一种改进非极大值抑制算法，该算法中定义了自适应阈值计算公式，解决了现有技术中需要人工设定阈值的问题，减小了阈值设定对算法性能的影响，提高了非极大值抑制算法的应用灵活性和性能。

31、3、本发明提出的一种基于长尾数据的改进非极大值抑制多目标检测方法，具有通用性，该方法可以推广到其他计算机视觉的目标检测领域，具有较好的推广性。

技术特征：

1.一种基于长尾数据的自适应阈值nms多目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于长尾数据的自适应阈值nms多目标检测方法，其特征在于，在步骤一中，所述分析和计算数据特征，包含以下操作：

3.根据权利要求1所述的一种基于长尾数据的自适应阈值nms多目标检测方法，其特征在于，在步骤二中，所述faster rcnn模型训练目标检测模型，包含以下操作：

4.根据权利要求1所述的一种基于长尾数据的自适应阈值nms多目标检测方法，其特征在于，在步骤四中，所述对每一个类别进行自适应阈值计算，包含以下操作：

5.根据权利要求1所述的一种基于长尾数据的自适应阈值nms多目标检测方法，其特征在于，在步骤四中，所述执行非极大值抑制处理，包含以下操作：

技术总结
本发明公开了一种基于长尾数据的自适应阈值NMS多目标检测方法，包括以下步骤：步骤一，输入目标检测的长尾训练数据，分析和计算数据特征；步骤二，采用Faster RCNN模型训练目标检测模型；步骤三，把需要检测的长尾目标检测数据输入Faster RCNN目标检测模型，获取多个目标候选框；步骤四，根据长尾训练数据的数据特征，对每一个类别进行自适应阈值计算，并执行非极大值抑制处理；步骤五，根据步骤四的方法，对所有类别的待检测框进行冗余框筛选，获得目标检测结果，本发明考虑了目标检测实际应用中广泛存在的长尾数据现象，自适应调整非极大抑制算法的阈值，从而保护尾部类别目标检测框不被过度抑制，可有效降低尾部类别目标的漏检率。

技术研发人员：凌小根,刘荣杰,吴伟龙,潘志文,田尧
受保护的技术使用者：长讯通信服务有限公司
技术研发日：
技术公布日：2024/3/4