一种可用于标签生成的水下场景目标检测集成方法及系统与流程

本发明涉及深度学习图像处理技术领域，特别是指一种可用于标签生成的水下场景目标检测集成方法及系统。

背景技术：

随着海洋产业的发展，水下物体检测在海军沿海防御任务以及渔业、水产养殖等海洋经济中发挥着越来越重要的作用，由于水下作业危险系数高、捕捞成本大，面向水下场景的目标检测系统具有很高的价值，例如用于检测水下的海参，扇贝，海胆，海星等海洋生物，可用于自动的水下捕捞作业。

然而水下成像的图像具有模糊、色调差异大的特点，而且水下场景复杂多变，无论是数据采集还是样本标注都很困难。在有限的数据样本的情况下，很难得到可以应付复杂多变的水下场景的高精度检测算法。

在上述前提下，用于数据清洗和数据蒸馏的高精度模型系统是非常必要的，它不仅可以自动生成可用样本来扩充数据集，在多次迭代后还可以用于指导小模型的训练，帮助本领域技术人员获得高精度实时检测模型。

技术实现要素：

本发明要解决的技术问题是提供一种可用于标签生成的水下场景目标检测集成方法及系统，以解决水下场景目标检测中样本获取难的问题。

为解决上述技术问题，本发明提供如下技术方案：

一种可用于标签生成的水下场景目标检测集成方法，其包括：

利用已有的训练集对多个模型进行训练；

利用训练好的多个模型分别对无标签的样本进行预测，并采用预设集成策略将每个模型对同一个样本的预测结果进行集成，生成该样本的标签；

将生成标签的样本加入训练集中，用新生成的训练集重新训练每一模型。

进一步地，所述方法还包括：

迭代执行模型训练和标签生成过程，以提高模型精度和生成标签的精度。

进一步地，所述多个模型包括一个主模型和多个辅助模型；其中，

所述主模型为以resnext101-64x4d为骨干网络的cascader-cnn；

所述辅助模型包括以hrnetv2p-w48为骨干网络的cascader-cnn和以seresnext101-32x4d为骨干网络的cascader-cnn。

进一步地，所述利用已有的训练集对多个模型进行训练，包括：

对每个模型的训练集分别按照预设方式进行随机变换；

利用随机变换后的训练集分别对每一模型进行训练。

进一步地，对每个模型的训练集分别按照预设方式进行随机变换，包括：

对每个模型的训练集分别随机选择左右抖动，随机裁剪，色彩空间变换以及引入噪声中的任意一种或多种的组合进行随机变换。

进一步地，所述利用随机变换后的训练集分别对每一模型进行训练，包括：

为每一种模型都在coco数据集上进行预训练来加速模型的收敛；

在训练的不同周期把训练样本的短边随机缩放到600到1200之间，同时保持图像的长宽比不变，对每个模型都设置不同的测试尺度；其中，

对于hrnetv2p-w48，将测试样本的短边分别缩放到1200和1000并进行两次测试，再用softnms的方法将两次测试结果融合；而对resnext101-64x4d和seresnext101-32x4d，将测试样本的短边分别缩放到600,800,1100并分别进行两次测试，再分别用softnms的方法将各模型的两次测试结果融合。

进一步地，利用训练好的多个模型分别对无标签的样本进行预测，包括：

对于每一无标签的样本，分别按照预设方式进行随机变换；

将变换后的每一样本分别输入每一训练好的模型中进行预测；其中，每个所述辅助模型都使用同一样本通过不同变换方式随机变换后生成的样本。

进一步地，所述采用预设集成策略将每个模型对同一个样本的预测结果进行集成，生成该样本的标签，包括：

针对所述主模型和辅助模型对同一样本的预测结果，遍历所述主模型的预测结果，选取其中置信度大于0.1的检测框；

从所述辅助模型的预测结果中选取置信度大于0.1且与所述主模型的检测框交并比大于0.7并属于同一检测类别的检测框；

将从所述主模型的预测结果中选取的检测框和从所述辅助模型的预测结果中选取的检测框进行置信度和坐标上的平均，以生成该样本更精确的标签。

进一步地，所述采用预设集成策略将每个模型对同一个样本的预测结果进行集成，生成该样本的标签，还包括：

将集成后的预测结果中置信度大于0.3的检测框作为对应样本的标签。

相应地，为解决上述技术问题，本发明还提供如下技术方案：

一种可用于标签生成的水下场景目标检测集成系统，其包括：

模型训练模块，用于利用已有的训练集对多个模型进行训练；

模型集成模块，用于利用训练好的多个模型分别对无标签的样本进行预测，并采用预设集成策略将每个模型对同一个样本的预测结果进行集成，生成该样本的标签；

迭代模块，用于将生成标签的样本加入训练集中，用新生成的训练集重新训练每一模型。

本发明的上述技术方案的有益效果如下：

本发明设计了一种利用深度学习目标检测集成来为无标签的样本生成标签的方法。本发明通过集成多个模型的检测结果，为无标签的图像生成可靠的标签，并加入训练集迭代的训练模型，最终可得到一个具有高检测精度的、可快速生成可靠样本的集成模型系统。本发明设计的集成方法可有效的提升系统整体的精度，同时，利用本实施例的集成系统为无标签的图像生成伪标签，可快速的生成可靠的样本，为水下场景目标检测的发展提供了强大的技术支持。

附图说明

图1为本发明提供的可用于标签生成的水下场景目标检测集成方法的整体流程示意图；

图2为本发明提供的集成策略的流程示意图；

图3为本发明提供的标签生成策略的流程示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

第一实施例

本实施例针对水下场景目标检测中样本难获取的问题，提出了一种可用于标签生成的水下场景目标检测集成方法，本实施例的核心思想是使用多个模型集成为图像生成更加可靠的标签。具体地，如图1所示，其包括如下过程：

s101，利用已有的训练集对多个模型进行训练；

需说明的是，本实施例训练的多个模型包括一个主模型和多个辅助模型；其中，主模型选择resnext101-64x4d为骨干网络的cascader-cnn；辅助模型选择了hrnetv2p-w48为骨干网络的cascader-cnn和seresnext101-32x4d为骨干网络的cascader-cnn。在训练集遍历训练了12轮。同时，为了让内部不同的模型具有不同的侧重，来让整体获得更强的泛化性能，本实施例对每个模型的训练集都进行随机变换，包括：左右抖动，随机裁剪，色彩空间变换，引入噪声等等。然后利用随机变换后的训练集分别对每一模型进行训练，在获得训练完成的模型后，本实施例要使用它为无标签的样本生成可靠的标签。

在训练时，本实施例引入了一些比较先进的技巧。本实施例为每一种模型都在coco数据集上进行预训练来加速模型的收敛，本实施例在训练的不同周期把训练样本的短边随机缩放到600到1200之间，同时保持图像的长宽比不变，本实施例对每个模型都设置不同的测试尺度，对于hrnetv2p-w48，本实施例将测试图像的短边分别缩放到1200和1000并进行两次测试，再用softnms的方法将两次测试结果融合。而对剩下的两个模型，本实施例按照同样的方式进行测试，同时把短边缩放的参数修改为600,800,1100。

s102，利用训练好的多个模型分别对无标签的样本进行预测，并采用预设集成策略将每个模型对同一个样本的预测结果进行集成，生成该样本的标签；

需要说明的是，本实施例对于每一无标签的样本，也会先进行与上述相同的随机变换生成多个变换结果，然后送入系统进行测试，让每一个模型都对它们生成预测的结果。并且本实施例按照实际的需求设计了一种集成算法，将每个模型对同一张无标签图片的预测结果进行集成，来生成更加精确的标签。

具体地，本实施例的集成策略如图2所示，其执行过程如下：

对于每一测试样本，先分别使用主模型和辅助模型对它进行预测，然后针对主模型和辅助模型对同一样本的预测结果，首先，遍历主模型的预测结果，选取其中置信度大于0.1的检测框；然后，从辅助模型的预测结果中选取置信度大于0.1且与主模型的检测框交并比大于0.7并属于同一检测类别的检测框；最后，将从主模型的预测结果中选取的检测框和从辅助模型的预测结果中选取的检测框进行置信度和坐标上的平均，以生成该样本更精确的标签。

本实施例设计的这个集成策略不仅可以使得检测框更加精细，而且修正后的置信度可以作为生成标签的依据。进一步地，本实施例将集成后的预测结果中置信度大于0.3的检测框作为对应的变换后的样本的标签；然后分别送入到不同的模型进行训练，以此来抵消误差带来的影响。

进一步地，还需要说明的是，本实施例的标签生成策略为增强先行的标签生成，其执行过程如图3所示。

传统的标签生成方法是用一个训练好的模型直接生成伪标签，然后对标签进行平滑。但是本实施例基于本实施例集成的整体系统，给出了一个不同的方案，这里本实施例使用的无标签图像是部分外部数据和测试集testa。对于同一张图片，本实施例会先进行随机变换，包括左右抖动，随机裁剪，色彩空间变换，引入噪声等等，然后对每一个变换后的图像，都送入到集成系统中进行测试，并将集成后的检测结果中置信度大于0.3的检测框作为该变换后的图像的标签，最后分别送入到不同的模型进行训练，以此来抵消误差带来的影响。

s103，将带标签样本加入训练集中，用新生成的训练集重新训练每一模型。

需要说明的是，本实施例将生成标签的数据加入训练集，用新生成的训练集重新训练本实施例的每个模型，并且为了抵消误检测带来的样本错误，本实施例的每个辅助模型都使用同一样本不同随机变换后生成的样本。

本实施例的整体方案是一个迭代的过程，整个模型训练和标签生成过程是迭代进行的，随着迭代的进行，本实施例可以得到越来越强的检测系统。模型的精度会越来越高，而生成的样本也会越来越精确。

综上，在基于水下场景的目标检测样本获取和标注难的前提下，本实施例提出了一种可以自动生成可靠样本的集成方法。本实施例通过集成多个模型的检测结果，为无标签的图像生成可靠的标签，并加入训练集迭代的训练模型，最终可以得到一个具有高检测精度的、可快速生成可靠样本的集成模型系统。

本实施例的方法在测试集testa上的测试结果如表1所示，本实施例比较了本实施例的方法与现有方法效果的区别。本实施例将使用本实施例的集成策略进行融合的结果与使用nms和soft-nms方法进行融合的结果进行对比，本实施例的方法取得了最高的精度；而本实施例的增强先行的标签生成策略也远远领先于传统标签生成方法；最后，随着迭代的进行，本实施例的整体系统的检测精度不断提升，可以生成越来越精准的训练样本。

表1算法在测试集上的测试结果

第二实施例

本实施例提供一种可用于标签生成的水下场景目标检测集成系统，包括：

模型训练模块，用于利用已有的训练集对多个模型进行训练；

模型集成模块，用于利用训练好的多个模型分别对无标签的样本进行预测，并采用预设集成策略将每个模型对同一个样本的预测结果进行集成，生成该样本的标签；

迭代模块，用于将生成标签的样本加入训练集中，用新生成的训练集重新训练每一模型。：

本实施例的可用于标签生成的水下场景目标检测集成系统与上述第一实施例的可用于标签生成的水下场景目标检测集成方法相对应；其中，本实施例的可用于标签生成的水下场景目标检测集成系统中的各功能模块所实现的功能与上述第一实施例的中的可用于标签生成的水下场景目标检测集成方法中的各流程步骤一一对应；故，在此不再赘述。

此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。