基于渐进式信息解耦的跨域模型训练方法

本发明涉及目标检测，尤其涉及一种基于渐进式信息解耦的跨域模型训练方法。

背景技术：

1、现实场景中的感兴趣目标以或大或小的尺度、或近或远的距离出现在摄像头周围。在摄像头采集得到的图像中，背景环境像素不规则地环绕在前景目标像素区域的外缘，两种不同属性的像素之间近似存在连续的边界。由于卷积神经网络深层特征图的像素以特定比例的感受野与原始图像的像素块相对应，前景目标像素与背景环境像素的区分边界将会随着网络层数加深而离散化，因此前景目标特征与背景环境特征之间的耦合性在维度越来越高的特征空间中逐渐得到增强。

2、近年来，无监督域自适应视觉目标检测在应用faster r-cnn之外，还陆续出现了使用fcos、yolo等作为视觉目标检测器的方法。一些方法对检测器多尺度图像级和实例级特征进行对抗对齐，并对位于相同尺度上的图像级和实例级域分类器进行一致性正则化。另一些方法则先使用cyclegan将源域图像转变为具有目标域风格的图像，实现源域到辅助域的训练样本扩充；接着在多尺度图像级和实例级特征对抗对齐框架中引入了“图像级类别正则化”和“类别一致性正则化”组件，从而对关键区域和重要实例进行更加充分的对齐。

3、然而，无论是cyclegan图像翻译，还是图像级特征对抗对齐，它们只能从整体角度缩小两域全局特征的差异，而忽视了前景目标特征和背景环境特征之间的耦合性。此外，用于对抗对齐的实例级特征是由最终预测框中特征经过感兴趣区域池化得到的，所得特征向量很大程度上混入了背景环境噪声，这种方式仍然没有从本质上解决前景目标特征和背景环境特征的耦合问题。

4、由此可见，在无监督域自适应视觉目标检测研究中，如果想要降低前景目标特征和背景环境特征之间的耦合性，进而着重对齐源域和目标域的前景目标特征，这将存在较大的困难。

5、因此，如何能够解决目标检测中前景目标特征和背景环境特征的耦合成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明提供了一种基于渐进式信息解耦的跨域模型训练方法，解决相关技术中存在的无法解决目标检测中前景目标和背景环境特征的耦合问题。

2、作为本发明的一个方面，提供一种基于渐进式信息解耦的跨域模型训练方法，其中，包括：

3、构建源域数据集和目标域数据集，其中所述源域数据集包括带有标签的数据集，所述目标域数据集包括无标签数据集；

4、将所述源域数据集和目标域数据集均输入至视觉目标检测器进行训练，获得跨域模型，所述视觉目标检测器包括特征提取网络、特征融合网络和检测头网络，所述特征提取网络能够对所述源域数据集和目标域数据集分别进行特征提取，所述特征融合网络能够对源域数据集在特征提取网络提取到的特征进行特征融合获得源域融合特征，以及能够对目标域数据集在特征提取网络提取到的特征进行特征融合获得目标域融合特征，所述检测头网络能够分别对源域融合特征和目标域融合特征进行边界框、置信度和分类类别进行预测；

5、其中，所述特征提取网络包括挖掘与配准组件，所述挖掘与配准组件能够分别对源域数据集和目标域数据集提取到的浅层特征进行相似性特征挖掘与配准；

6、所述特征融合网络包括语义校正组件，所述语义校正组件能够分别对源域数据集和目标数据集提取到的中层特征进行上下文感知的语义校正；

7、所述检测头网络包括聚合分散组件，所述聚合分散组件能够根据源域数据集和目标域数据集的边界框、置信度和分类类别实现不同类别前景目标的聚合和分散。

8、进一步地，所述挖掘与配准组件能够分别对源域数据集和目标域数据集提取到的浅层特征进行相似性特征挖掘与配准，包括：

9、根据所述源域数据集提取到的浅层特征确定源域数据集提取到的浅层特征对应的第一迁移权重掩码；

10、将所述第一迁移权重掩码与所述源域数据集提取到的浅层特征进行融合获得第一迁移模式特征图；

11、根据所述目标域数据集提取到的浅层特征确定目标域数据集提取到的浅层特征对应的第二迁移权重掩码；

12、将所述第二迁移权重掩码与所述目标域数据集提取到的浅层特征进行融合获得第二迁移模式特征图；

13、根据预设迁移模式配准损失函数对所述第一迁移模式特征图和所述第二迁移模式特征图进行匹配优化，获得优化后的迁移模式配准损失函数。

14、进一步地，根据所述源域数据集提取到的浅层特征确定源域数据集提取到的浅层特征对应的第一迁移权重掩码，包括：

15、将所述源域数据集提取到的浅层特征输入至像素级域分类器，获得被预测为源域的概率分数；

16、根据被预测为源域的概率分数计算源域数据集提取到的浅层特征对应的第一迁移不确定度；

17、根据所述第一迁移不确定度进行空间平均处理和归一化处理获得第一迁移权重掩码；

18、根据所述目标域数据集提取到的浅层特征确定目标域数据集提取到的浅层特征对应的第二迁移权重掩码，包括：

19、将所述目标域数据集提取到的浅层特征输入至像素级域分类器，获得被预测为目标域的概率分数；

20、根据被预测为目标域的概率分数计算目标域数据集提取到的浅层特征对应的第二迁移不确定度；

21、根据所述第二迁移不确定度进行空间平均处理和归一化处理获得第二迁移权重掩码。

22、进一步地，还包括：

23、确定像素级域分类器的损失函数，根据所述像素级域分类器的损失函数对所述像素级域分类器进行优化训练，以实现对输入的源域数据集提取到的浅层特征或目标域数据集提取到的浅层特征进行概率分数预测。

24、进一步地，所述语义校正组件能够分别对源域数据集和目标数据集提取到的中层特征进行上下文感知的语义校正，包括：

25、根据所述源域数据集提取到的中层特征确定所述源域数据集中多种类别前景目标的第一预测分数，以及根据所述目标域数据集提取到的中层特征确定所述目标域数据集中多种类别前景目标的第二预测分数；

26、根据所述第一预测分数对所述源域数据集中不同类别的前景目标的概率分布进行编码以获得第一编码，根据所述第二预测分数对所述目标域数据集中不同类别的前景目标的概率分布进行编码以获得第二编码；

27、根据预设分布一致性损失函数对所述第一编码和所述第二编码进行约束优化，获得优化后的分布一致性损失函数。

28、进一步地，根据所述源域数据集提取到的中层特征确定所述源域数据集中多种类别前景目标的第一预测分数，以及根据所述目标域数据集提取到的中层特征确定所述目标域数据集中多种类别前景目标的第二预测分数，包括：

29、将所述源域数据集提取到的中层特征和所述目标域数据集提取到的中层特征均输入至第一图像级域分类器和第二图像级域分类器；

30、从所述第一图像域分类器的中间层进行特征向量提取获得第一上下文特征向量，以及从所述第二图像域分类器的中间层进行特征向量提取获得第二上下文特征向量；

31、根据全连接层分别对所述第一上下文特征向量和所述第二上下文特征向量进行向量转变，获得不同图像级域分类器层级；

32、根据所述不同图像级域分类器层级对所述源域数据集中多种类别前景目标进行预测，获得第一预测分数，以及根据所述不同图像级域分类器层级对所述目标域数据集中多种类别前景目标进行预测，获得第二预测分数。

33、进一步地，根据所述不同图像级域分类器层级对所述源域数据集中多种类别前景目标进行预测，获得第一预测分数，以及根据所述不同图像级域分类器层级对所述目标域数据集中多种类别前景目标进行预测，获得第二预测分数，包括：

34、将所述源域数据集对应的特征融合网络中的特征输入至多标签分类器，获得源域数据集基于特征融合网络的多类别预测分数，以及将所述目标域数据集对应的特征融合网络中的特征输入至多标签分类器，获得目标域数据集基于特征融合网络的多类别预测分数；

35、根据所述不同图像级域分类器层级对所述源域数据集中多种类别前景目标进行预测的预测结果以及所述源域数据集基于特征融合网络的多类别预测分数，获得第一预测分数；

36、根据所述不同图像级域分类器层级对所述目标域数据集中多种类别前景目标进行预测的预测结果以及所述目标域数据集基于特征融合网络的多类别预测分数，获得第二预测分数。

37、进一步地，还包括：

38、分别确定第一图像级域分类器的损失函数、第二图像级域分类器的损失函数以及多标签分类器的损失函数；

39、根据所述第一图像级域分类器的损失函数对所述第一图像级域分类器进行优化训练，根据所述第二图像级域分类器的损失函数对所述第二图像级域分类器进行优化训练，以及根据所述多标签分类器的损失函数对所述多标签分类器进行优化训练，以获得第一预测分数和第二预测分数。

40、进一步地，所述聚合分散组件能够根据源域数据集和目标域数据集的边界框、置信度和分类类别实现不同类别前景目标的聚合和分散，包括：

41、分别对源域数据集对应的边界框、置信度和分类类别的分数进行预测，获得第一边界框预测分数、第一置信度预测分数和第一分类类别预测分数，以及分别对目标域数据集对应的边界框、置信度和分类类别的分数进行预测，获得第二边界框预测分数、第二置信度预测分数和第二分类类别预测分数；

42、根据所述第一边界框预测分数、第一置信度预测分数和第一分类类别预测分数计算源域数据集的特定类别前景目标的第一局部原型，以及根据所述第二边界框预测分数、第二置信度预测分数和第二分类类别预测分数计算目标域数据集的特定类别前景目标的第二局部原型；

43、根据所述第一局部原型对源域数据集的特定类别前景目标的第一全局原型进行动态更新，以及根据所述第二局部原型对目标域数据集的特定类别前景目标的第二全局原型进行动态更新；

44、根据所述第一全局原型和所述第二全局原型构建样本对进行对比学习，以获得源域数据集与目标域数据集前景目标的聚合或分散结果。

45、进一步地，根据所述第一全局原型和所述第二全局原型构建样本对进行对比学习，以获得源域数据集与目标域数据集前景目标的聚合或分散结果，包括：

46、判断所述第一全局原型和所述第二全局原型是否属于相同类别；

47、若所述第一全局原型和所述第二全局原型属于相同类别，则构建聚合损失函数，所述聚合损失函数用于训练所述样本对以获得聚合结果，所述聚合结果包括相同类别的前景目标特征的相似度大于第一预设阈值且差异度小于第二预设阈值；

48、若所述第一全局原型和所述第二全局原型属于不同类别，则构建分散损失函数，所述分散损失函数用于训练所述样本对以获得分散结果，所述分散结果包括不同类别的前景目标特征的相似度小于第三预设阈值且差异度大于第四预设阈值；

49、所述第三预设阈值小于所述第一预设阈值，所述第四预设阈值大于所述第二预设阈值。

50、本发明提供的基于渐进式信息解耦的跨域模型训练方法，利用视觉目标检测器的固有特性，通过沿视觉目标检测流程设置促使前背景信息产生解耦的域自适应组件或模块，从冗余的背景环境信息中逐渐分离出有益的前景目标信息，同时对每个阶段解耦出来的前景目标信息进行有效的利用和匹配，继而从整体上促进视觉目标检测器域自适应性能的提升。因此，本发明提供的基于渐进式信息解耦的跨域模型训练方法，能够有效解决跨域目标检测中前景目标特征和背景环境特征的耦合，使得所获得的基于渐进式信息解耦的跨域模型在进行跨域应用时不会再因背景环境特征与前景目标特征之间的耦合而无法实现应用，因此，该方法所获得的跨域模型能够适应适应新的领域数据，提高模型在跨域场景下的性能。