目标检测网络的训练方法、目标检测方法及相关装置与流程

本技术涉及计算机视觉中弱监督目标检测的，特别是涉及一种目标检测网络的训练方法、目标检测方法及相关装置。

背景技术：

1、弱监督目标检测旨在通过仅使用图像级监督而不使用边界框标注数据来同时实现有效的定位和分类。由于标注成本低，弱监督目标检测在研究界引起了越来越多的关注。相关技术中主要是优先考虑本地化性能而不是分类，导致定位和分类这两个任务的发展不平衡，并对弱监督定位和分类的性能产生负面影响，特别是对top-1定位精确度的影响。

2、top-1定位是指当top-1分类和单纯的定位都精确时，top-1定位才被认为是准确的。因此，降低分类精度就会间接地降低top-1定位精度。虽然相关技术中可以通过设计两个独立的分类模型和定位模型以同时提高分类和定位精度，但会由此增加计算开销。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术实施例提供了一种目标检测网络的训练方法、目标检测方法及相关装置，能够使得分类器和定位器在统一的网络架构但互不影响，并有效同时提升定位和分类的精度以及性能。

2、第一方面，本技术实施例提供了一种目标检测网络的训练方法，包括：

3、获取训练数据集；所述训练数据集包括多个原始图像，所述原始图像包括分类标签；

4、将所述原始图像输入目标检测网络；所述目标检测网络包括分类器和定位器；

5、利用预设的监督模型生成所述原始图像的自注意力图，并根据所述自注意力图和所述原始图像生成掩码图像；

6、将所述原始图像输入所述定位器进行目标定位得到预测激活图像，并根据所述预测激活图像和所述掩码图像生成第一损失值；

7、获取边界框，并根据所述边界框对所述掩码图像进行采样得到增强图像；

8、将所述增强图像输入所述分类器进行目标分类得到预测分类结果，并根据所述预测分类结果和所述分类标签生成第二损失值；

9、根据所述第一损失值和所述第二损失值调节所述目标检测网络的模型权重，直至达到迭代终止条件，得到训练好的所述目标检测网络。

10、在本技术的一些实施例中，所述监督模型包括transformer编码器，所述transformer编码器具有预设数量的注意力头；所述利用预设的监督模型生成所述原始图像的自注意力图，包括：

11、将所述原始图像输入至所述监督模型，得到注意力张量；所述注意力张量具有第一预设维度，所述第一预设维度与所述注意力头对应；

12、根据所述第一预设维度选取第二预设维度；

13、从所述注意力张量中选取所述第二预设维度的注意力量值，并根据所述注意力量值计算得到所述自注意力图。

14、在本技术的一些实施例中，所述自注意力图包括多个激活值；所述根据所述自注意力图和所述原始图像生成掩码图像，包括：

15、根据所述自注意力图得到所述原始图像的前景像素和背景像素；

16、根据所述前景像素和所述背景像素创建高斯混合模型；

17、获取响应阈值范围，并根据所述响应阈值范围和所述激活值将所述自注意力图分割为前景区域、背景区域和候选区域；

18、基于所述原始图像的低级特征，利用所述高斯混合模型计算所述候选区域中每个像素的分割概率，并根据所述分割概率将所述像素划分至所述前景区域或所述背景区域；

19、根据所述前景区域和所述背景区域得到所述掩码图像。

20、在本技术的一些实施例中，所述目标检测网络还包括骨干网络，所述定位器包括unet网络，三层反卷积神经网络和归一化网络；所述将所述原始图像输入所述定位器进行目标定位得到预测激活图像，包括：

21、将所述原始图像输入至所述骨干网络得到第一特征图；

22、将所述第一特征图输入至所述unet网络得到第二特征图；

23、将所述第二特征图输入至所述反卷积神经网络得到第三特征图；

24、将所述第三特征图输入至所述归一化网络得到所述预测激活图。

25、在本技术的一些实施例中，所述获取边界框，并根据所述边界框对所述掩码图像进行采样，得到增强图像，包括：

26、在多个侯选边界框内进行均匀采样得到所述边界框；

27、利用所述边界框对所述掩码图像进行随机采样得到采样区域；

28、利用预设填充值对所述采样区域进行掩码得到增强掩码图像；

29、将所述原始图像与所述增强掩码图像进行点乘得到所述增强图像。

30、在本技术的一些实施例中，所述分类器包括transformer编码器，两层卷积神经网络和全局池化层；所述将所述增强图像输入所述分类器进行目标分类得到预测分类结果，包括：

31、将所述增强图像输入至所述分类器得到训练图像序列；

32、将所述训练图像序列输入至所述卷积神经网络和所述全局池化层得到所述预测分类结果。

33、第二方面，本技术实施例还提供了一种目标检测方法，应用如本技术第一方面实施例所述的目标检测网络的训练方法，包括：

34、获取待检测图像并输入至所述目标检测网络；其中，所述目标检测网络包括预训练的骨干网络、定位器和分类器，所述骨干网络分别与所述定位器和所述分类器连接；

35、利用所述骨干网络生成所述待检测图像对应的特征图；

36、将所述特征图输入至所述定位器中得到定位结果，并将所述特征图输入至所述分类器中得到分类结果。

37、第三方面，本技术实施例还提供了一种目标检测网络的训练装置，应用如本技术第一方面实施例所述的目标检测网络的训练方法，包括：

38、获取模块，用于获取训练数据集；其中，所述训练数据集包括多个原始图像，所述原始图像包括分类标签；

39、输入模块，用于将所述原始图像输入目标检测网络；所述目标检测网络包括分类器和定位器；

40、生成模块，用于利用预设的监督模型生成所述原始图像的自注意力图，并根据所述自注意力图和所述原始图像生成掩码图像；

41、第一训练模块，用于将所述原始图像输入所述定位器进行目标定位得到预测激活图像，并根据所述预测激活图像和所述掩码图像生成第一损失值；

42、增强模块，用于获取边界框，并根据所述边界框对所述掩码图像进行采样得到增强图像；

43、第二训练模块，用于将所述增强图像输入所述分类器进行目标分类得到预测分类结果，并根据所述预测分类结果和所述分类标签生成第二损失值；

44、调节模块，用于根据所述第一损失值和所述第二损失值调节所述目标检测网络的模型权重，直至达到迭代终止条件，得到训练好的所述目标检测网络。

45、第四方面，本技术实施例还提供了一种电子设备，包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本技术第一方面实施例所述的目标检测网络的训练方法或本技术第二方面实施例所述的目标检测方法。

46、第五方面，本技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本技术第一方面实施例所述的目标检测网络的训练方法或本技术第二方面实施例所述的目标检测方法。

47、本技术实施例至少包括以下有益效果：

48、本技术实施例提供了一种目标检测网络的训练方法、目标检测方法及相关装置，其中目标检测网络的训练方法中通过获取包括多个原始图像的训练数据集，然后输入至包括分类器和定位器的目标检测网络，并利用预设的监督模型生成原始图像对应的自注意力图，根据自注意力图和原始图像进一步生成掩码图像。将原始图像输入至定位器进行目标定位，生成得到预测激活图像，然后根据预测激活图像和掩码图像生成第一损失值。再获取边界框并对掩码图像进行采样得到增强图像，将增强图像输入分类器进行目标分类得到预测分类结果，然后根据预测分类结果和原始图像的分类标签生成第二损失值。最后根据第一损失值和第二损失值调节目标检测网络的模型权重，直至达到迭代终止条件，从而得到训练好的目标检测网络。由此设计分类器和定位器统一的网络架构，通过自注意力图和掩码图像以及增强图像，可以有效提升目标定位和分类的精度以及性能，获得高精度的定位分类结果。

49、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。