一种基于多检测模型的自动标注方法、装置、介质及设备与流程

本发明属于计算机视觉领域，涉及数据标注技术，具体涉及一种基于多检测模型的自动标注方法、装置、介质及设备。

背景技术：

1、目标检测是计算机视觉领域的核心任务之一，广泛应用于自动驾驶、安防监控等场景，其中数据标注是实现对目标准确检测的关键步骤之一，标注效率和准确性直接影响到检测结果。

2、目前，目标/样本大多采用手动和半自动化的方式进行标注，手动标注是操作人员根据标注规范进行标注，半自动标注是使用半自动标注工具(例如labelgo)对目标进行初步检测后通过操作人员进行手动调整，labelgo工具是一个labelimg与yolov5结合的半自动标注工具，是通过现有的yolov5 pytorch模型对数据集进行半自动标注，然后再手动修改不准确的标注框，该标注方式的效率较人工标注有所提升，但是仍然有待进一步改善。

3、再者，现有半自动标注时目标/样本的类别取决于模型训练时使用的目标/样本类别，当模型训练时使用的类别较多时，一方面会影响标注的精度，另一方面检测模型只有一个会存在较多的误分类与回归不准的问题。

技术实现思路

1、为了解决现有技术中存在的标注效率低、准确度低、误分类和回归不准等问题，本发明公开了一种基于多检测模型的自动标注方法、装置、介质及设备。

2、实现发明目的的技术方案如下：

3、本发明实施例提供了一种基于多检测模型的自动标注方法，包括：

4、s100、依据目标标注的类型的需求，从训练后的检测模型中选择多个子模型进行加载，其中，所述类型包括多个类别；

5、s200、将采集的待标注图像分别输入每个所述子模型内，通过所述子模型对所述待标注图像标注后输出2d子检测框；

6、s400、对所有的所述2d子检测框进行过滤及融合，输出所述待标注图像融合后的2d检测框，其中，所述2d子检测框和所述融合后的2d检测框均包括每个目标的类别、置信度和目标检测框在所述待标注图像内的坐标。

7、进一步地，上述步骤s100中，所述依据目标标注的类型的需求，从训练后的检测模型中选择多个子模型进行加载，包括：

8、依据获取的用户想要对待标注图像中目标标注的类型的需求，从训练后的检测模型中选择多个子模型进行加载，其中，每个所述子模型识别至少一种类型的目标，且多个所述子模型之间识别的类型不同或部分相同。其中，每个所述子模型检测至少一种类型的目标，且多个所述子模型之间检测的类别不同或部分相同。

9、更进一步地，上述子模型包括但不限于yolov7模型、dino模型和efficientdet模型。

10、进一步地，上述步骤s400中，对所有的所述2d子检测框进行过滤及融合，输出所述待标注图像融合后的2d检测框，包括：

11、s411、对所有的所述2d子检测框内每个目标及其类别进行判断；

12、s412、当判断一个目标有多个所述2d子检测框时，对多个所述2d子检测框内的该目标的坐标进行加权平均，对该目标类别进行投票，将该目标加权平均后的坐标作为新坐标，将投票数最多的类型作为新类型，输出至第一2d检测框内；

13、s413、将剩余的2d子检测框和所述第一2d检测框合并，输出得到所述待标注图像融合后的2d检测框；其中，剩余的2d子检测框指的是同一个目标只有一个2d子检测框的情况。

14、作为对上述实施例的改进，上述基于多检测模型的自动标注方法还包括：

15、s300、对所有的所述子模型标注所述待标注图像后输出的所述2d子检测框进行置信度归一化，使所有的所述2d子检测框位于同一置信度分布区间。

16、作为对上述实施例的改进，上述基于多检测模型的自动标注方法还包括：

17、s500、将所述待标注图像及其所述融合后的2d检测框输入segment anything分割模型内，在所述segment anything分割模型内将所述融合后的2d检测框作为提示框，对所述待标注图像分割得到每个目标的掩码，将每个目标的掩码的最小外接矩形作为检测框进行输出，得到所述待标注图像最终的2d检测框。

18、本发明实施例还提供了一种基于多检测模型的自动标注装置，包括：

19、训练后的检测模型，包括多个子模型，所述子模型用于对输入的待标注图像进行标注后输出2d子检测框；

20、加载模块，用于依据目标标注的类型的需求，从训练后的检测模型中选择多个子模型进行加载，其中，所述类型包括多个类别；

21、融合模块，用于对所有的所述2d子检测框进行过滤及融合，输出所述待标注图像融合后的2d检测框，其中，所述2d子检测框和所述融合后的2d检测框均包括每个目标的类别、置信度和目标检测框在所述待标注图像内的坐标。

22、进一步地，上述基于多检测模型的自动标注装置还包括：

23、segment anything分割模型，用于在所述segment anything分割模型内将所述融合后的2d检测框作为提示框，对所述待标注图像分割得到每个目标的掩码，将每个目标的掩码的最小外接矩形作为检测框进行输出，得到所述待标注图像最终的2d检测框。

24、本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于多检测模型的自动标注方法，以解决现有技术中存在的标注效率低、准确度低、误分类和回归不准等问题。

25、本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的基于多检测模型的自动标注方法的计算机程序，以解决现有技术中存在的标注效率低、准确度低、误分类和回归不准等问题。

26、与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：本发明的自动标注方法通过采用训练后的检测模型中的多个子模型分别对待标注图像进行标注得到2d子检测框，通过wbf算法对所有的2d子检测框进行过滤及融合得到待标注图像的融合后2d检测框，该方法可以显著提高标注效率，同时解决只通过一个模型进行标注时导致的误分类及回归不准确的技术问题，保证标注的效率以及准确性。

技术特征：

1.一种基于多检测模型的自动标注方法，其特征在于，包括：

2.根据权利要求1所述的基于多检测模型的自动标注方法，其特征在于，所述依据目标标注的类型的需求，从训练后的检测模型中选择多个子模型进行加载，包括：

3.根据权利要求2所述的基于多检测模型的自动标注方法，其特征在于，所述子模型包括但不限于yolov7模型、dino模型和efficientdet模型。

4.根据权利要求1所述的基于多检测模型的自动标注方法，其特征在于，所述对所有的所述2d子检测框进行过滤及融合，输出所述待标注图像融合后的2d检测框，包括：

5.根据权利要求1～4任一项所述的基于多检测模型的自动标注方法，其特征在于，还包括：

6.根据权利要求5所述的基于多检测模型的自动标注方法，其特征在于，还包括：

7.一种基于多检测模型的自动标注装置，其特征在于，包括：

8.根据权利要求7所述的基于多检测模型的自动标注装置，其特征在于，还包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的基于多检测模型的自动标注方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6中任一项所述的基于多检测模型的自动标注方法的计算机程序。

技术总结
本发明提供了一种基于多检测模型的自动标注方法、装置、介质及设备，所述方法包括：依据目标标注的类型的需求，从训练后的检测模型中选择多个子模型进行加载，所述类型包括多个类别；将采集的待标注图像分别输入每个所述子模型内，通过所述子模型对所述待标注图像标注后输出2D子检测框；对所有的所述2D子检测框进行过滤及融合后输出所述待标注图像的融合后的2D检测框，其中，所述2D子检测框和所述融合后的2D检测框均包括每个目标的类别、置信度和目标检测框在所述待标注图像内的坐标。本发明的方法可以解决现有技术中存在的标注效率低、准确度低、误分类和回归不准等问题，大幅度提高了标注的效率及准确性。

技术研发人员：侯帅鹏,宗明扬,聂小焜,王小龙,王雅儒,王述良,程建伟
受保护的技术使用者：武汉极目智能技术有限公司
技术研发日：
技术公布日：2024/1/15