一种基于多模型融合的点云三维目标自动标注方法及系统与流程

本发明涉及点云三维目标自动标注，特别涉及一种基于多模型融合的点云三维目标自动标注方法及系统。

背景技术：

1、目前，对于点云三维目标的自动标注，主要是基于单模型的三维点云目标自动化标注，其在处理点云数据时存在以下几个主要缺点：

2、1、有限的泛化能力：单一模型难以适应各种场景、目标类型和环境条件。特定模型可能在某些情况下表现良好，但在其他情况下可能性能较差，从而导致整体标注质量不稳定。

3、2、对噪声和遮挡的敏感性：点云数据通常受到噪声、不完整和遮挡等问题的影响。单一模型对此处理能力有限，从而影响目标检测和标注的准确性。

4、3、计算效率：针对不同场景和目标类型的单一模型可能需要大量的计算资源和时间，从而限制了实时应用的可行性。

5、4、优化困难：单一模型的参数可能难以调整，以满足多种应用场景的需求，因此需要针对每种场景单独优化模型，这无疑增加了优化的难度和工作量。

6、总之，目前现有的基于单模型的三维点云目标自动化标注方法在处理复杂场景、不同目标类型和环境条件方面具有局限性。

技术实现思路

1、本发明提供了一种基于多模型融合的点云三维目标自动标注方法及系统，以解决基于单模型的三维点云目标自动化标注方法在处理复杂场景、不同目标类型和环境条件方面具有局限性的技术问题。

2、为解决上述技术问题，本发明提供了如下技术方案：

3、一方面，本发明提供了一种基于多模型融合的点云三维目标自动标注方法，所述基于多模型融合的点云三维目标自动标注方法包括：

4、训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型；

5、利用训练好的多个标注模型对需要标注的点云数据分别进行结果预测；

6、将多个标注模型的预测结果进行融合，得到目标标注结果。

7、进一步地，所述训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型，包括：

8、在预设数据集上，通过调整模型超参，训练得到适用于不同类型目标的标注模型；通过不同场景数据的调整，训练得到适用于不同工况场景的标注模型。

9、进一步地，所述利用训练好的多个标注模型对需要标注的点云数据分别进行结果预测，包括：

10、对于需要标注的点云数据，按照其工况标签进行分类，对点云数据按照其工况标签进行分类后，将需要标注的点云数据划分为不同场景的点云数据；

11、针对不同场景的点云数据，选用对应的适用于当前场景的一系列标注模型进行预测；预测结果包括目标三维框，目标类别以及模型对预测结果的置信度。

12、进一步地，将多个标注模型的预测结果进行融合，得到目标标注结果，包括：

13、对于多个标注模型的预测结果，通过多轮一对一匹配的方式，确定哪些预测结果属于同一个真实目标，从而得到每一目标所对应的对其预测了同样位置同样类别的模型数量；

14、对于每个预测目标，通过其投票数确定其样本类型；其中，预测目标的投票数为对其预测了同样位置同样类别的模型数量；所述样本类型包括正样本、负样本和不确定样本；对于一个预测目标，当其投票数不少于预设的正样本阈值时，判定其为正样本；当其投票数少于预设的负样本阈值时，判定其为负样本；当其投票数介于正样本阈值和负样本阈值之间时，判定其为不确定样本；

15、对于判定为负样本的目标，予以剔除；对于判定为正样本或不确定样本的目标，通过加权平均的方式，融合同一个目标对应的不同模型的预测结果；

16、对于判定为不确定样本的目标，进行人工校验修正。

17、进一步地，所述对于多个标注模型的预测结果，通过多轮一对一匹配的方式，确定哪些预测结果属于同一个真实目标，包括：

18、步骤1，选取一个类别，作为待处理类别；

19、步骤2，获取所述待处理类别所对应的多个标注模型的预测结果，并对每一模型及每一模型的各预测框分别进行编号；

20、步骤3，在所述待处理类别所对应的多个标注模型中选取第一个模型，作为待处理模型，假设其对所述待处理类别的预测结果包括k1个预测框；

21、步骤4，将除所述待处理模型外的其他剩余模型依次与所述待处理模型进行预测框匹配操作；其中，假设当前用于匹配的模型对所述待处理类别的预测结果包括k2个预测框；则所述预测框匹配操作过程包括：通过预设的代价函数计算所述待处理模型的k1个预测框与当前用于匹配的模型的k2个预测框之间两两的匹配代价，形成一个维度为k1*k2的代价矩阵，使用匈牙利匹配算法，计算最优匹配结果；针对所述待处理模型中每一预测框，分别将其自身以及与其匹配成功的预测框的编号及对应的模型编号存入其对应的集合；并对匹配成功的预测框进行标记，标记后的预测框不再进入后续的匹配过程；

22、步骤5，从第二个模型开始，将其他剩余模型依次作为待处理模型，并在每一次确定待处理模型后，重复执行步骤4，完成其他未匹配的预测框的匹配操作；

23、步骤6，将其他剩余类别依次作为待处理类别，并在每一次确定待处理类别后，重复执行步骤2～步骤5，形成各类别对应的匹配信息集合。

24、另一方面，本发明还提供了一种基于多模型融合的点云三维目标自动标注系统，所述基于多模型融合的点云三维目标自动标注系统包括：

25、模型训练模块，用于训练多个分别适用于不同工况的用于点云三维目标自动标注的标注模型；

26、模型预测模块，用于利用经所述模型训练模块训练好的多个标注模型对需要标注的点云数据分别进行结果预测；

27、模型融合模块，用于将所述模型预测模块输出的多个标注模型的预测结果进行融合，得到目标标注结果。

28、进一步地，所述模型训练模块具体用于：

29、在预设数据集上，通过调整模型超参，训练得到适用于不同类型目标的标注模型；通过不同场景数据的调整，训练得到适用于不同工况场景的标注模型。

30、进一步地，所述模型预测模块具体用于：

31、对于需要标注的点云数据，按照其工况标签进行分类，对点云数据按照其工况标签进行分类后，将需要标注的点云数据划分为不同场景的点云数据；

32、针对不同场景的点云数据，选用对应的适用于当前场景的一系列标注模型进行预测；预测结果包括目标三维框，目标类别以及模型对预测结果的置信度。

33、进一步地，所述模型融合模块包括：

34、多轮匹配单元，用于针对多个标注模型的预测结果，通过多轮一对一匹配的方式，确定哪些预测结果属于同一个真实目标，从而得到每一目标所对应的对其预测了同样位置同样类别的模型数量；

35、投票判定单元，用于针对每个预测目标，通过其投票数确定其样本类型；其中，预测目标的投票数为对其预测了同样位置同样类别的模型数量；所述样本类型包括正样本、负样本和不确定样本；对于一个预测目标，当其投票数不少于预设的正样本阈值时，判定其为正样本；当其投票数少于预设的负样本阈值时，判定其为负样本，予以剔除；当其投票数介于正样本阈值和负样本阈值之间时，判定其为不确定样本；

36、结果融合单元，用于针对判定为正样本或不确定样本的目标，通过加权平均的方式，融合同一个目标对应的不同模型的预测结果；

37、人工校验模块，用于针对判定为不确定样本的目标，进行人工校验修正。

38、进一步地，所述多轮匹配单元具体用于执行以下步骤：

39、步骤1，选取一个类别，作为待处理类别；

40、步骤2，获取所述待处理类别所对应的多个标注模型的预测结果，并对每一模型及每一模型的各预测框分别进行编号；

41、步骤3，在所述待处理类别所对应的多个标注模型中选取第一个模型，作为待处理模型，假设其对所述待处理类别的预测结果包括k1个预测框；

42、步骤4，将除所述待处理模型外的其他剩余模型依次与所述待处理模型进行预测框匹配操作；其中，假设当前用于匹配的模型对所述待处理类别的预测结果包括k2个预测框；则所述预测框匹配操作过程包括：通过预设的代价函数计算所述待处理模型的k1个预测框与当前用于匹配的模型的k2个预测框之间两两的匹配代价，形成一个维度为k1*k2的代价矩阵，使用匈牙利匹配算法，计算最优匹配结果；针对所述待处理模型中每一预测框，分别将其自身以及与其匹配成功的预测框的编号及对应的模型编号存入其对应的集合；并对匹配成功的预测框进行标记，标记后的预测框不再进入后续的匹配过程；

43、步骤5，从第二个模型开始，将其他剩余模型依次作为待处理模型，并在每一次确定待处理模型后，重复执行步骤4，完成其他未匹配的预测框的匹配操作；

44、步骤6，将其他剩余类别依次作为待处理类别，并在每一次确定待处理类别后，重复执行步骤2～步骤5，形成各类别对应的匹配信息集合。

45、再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

46、又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

47、本发明提供的技术方案的核心创新点在于采用多模型融合技术实现三维点云目标的自动标注。这一方法结合了多个点云目标检测模型的优势，提高了检测精度、鲁棒性和适应性，从而可在各种环境和目标类型中实现高质量的三维点云目标标注。基于此，本发明相比于现有技术带来的有益效果至少包括：

48、1、提高检测性能：本发明通过组合多个点云目标检测模型的优势，可以在各种环境和目标类型中实现更高的检测精度和更低的误报率。多模型融合可以充分利用各个模型在特定场景和目标类型下的优势，提高整体标注质量。

49、2、增强鲁棒性：本发明提供的多模型融合方法在面对噪声、遮挡和不完整数据等问题时具有更强的鲁棒性。通过综合考虑多个模型的输出结果，可以降低由于单个模型的不足对最终标注结果的影响。

50、3、更好的泛化能力：本发明提供的多模型融合的方案可以在面对新的或未知的场景和目标类型时实现更好的泛化能力。由于各个模型之间可能具有互补性，因此在处理未知情况时，多模型融合方法相较于单模型具有更好的性能。

51、4、可扩展性：本发明的多模型融合方法具有良好的可扩展性，可轻松地通过添加更多检测模型或分布式计算来处理更复杂的场景或更高分辨率的点云数据。

52、总之，本发明提供的基于多模型融合的点云三维目标自动标注方法相比现有的基于单模型的目标自动标注方法具有更高的检测性能、鲁棒性、泛化能力和可扩展性，为实现高质量的点云目标检测和标注提供了有效的解决方案。