一种基于尺度和类别信息的域适应目标检测方法及系统与流程

本发明涉及计算机视觉，特别是涉及一种基于尺度和类别信息的域适应目标检测方法及系统。

背景技术：

1、基于深度学习的目标检测算法在近年来取得了显着的进步，这主要受益于大量高质量标注的数据集。然而，在处理未标注数据中的新场景时，检测器的性能会严重下降。为了解决这个问题，提出了域自适应目标检测。

2、域自适应目标检测是将训练好的检测器从有标注数据的场景(即源域)转移到没有标注数据的新场景(即目标域)。在自动驾驶系统中，不同城市、不同天气和不同道路条件下的数据分布可能存在很大差异。域自适应目标检测可以帮助自动驾驶车辆在新的城市或新的路况下适应并实现更可靠的物体检测。

3、源域和目标域的数据分布差异是影响检测器在目标域性能的重要原因。为了提高检测器在目标域的泛化能力，自动驾驶系统中的物体检测大多数工作是通过对抗学习的方式对齐源域和目标域的特征，进一步的工作通过区分前后背景来进行更加细粒度的对齐，并引入类内和类间关系，但是却忽略了对象尺度在迁移和对齐类别级特征时的影响。在进行物体检测时不同尺度的目标的特征的差异很大，会对类别级特征的对齐产生负面影响。对于较小目标来说，其本身包含的类别特征信息就比较少，在没有标注的目标域很难被检测出来。

技术实现思路

1、本发明实施例提供了一种基于尺度和类别信息的域适应目标检测方法及系统，解决了现有技术在引入类内和类间关系下忽略了对象尺度在迁移和对齐类别级特征时的影响的问题。

2、本发明提供一种基于尺度和类别信息的域适应目标检测方法，包括以下步骤：

3、获取源域图像数据和目标域图像数据；

4、通过源域图像数据和目标域图像数据对域适应目标检测模型进行训练；所述域适应目标检测模型包括目标检测器、多个图卷积神经网络和特征增强网络；

5、通过训练后的目标检测器对待预测图像进行目标检测，得到目标检测类别及位置；

6、通过源域图像数据和目标域图像数据对域适应目标检测模型进行训练，包括以下步骤：

7、通过目标检测器的骨干网络对源域和目标域的实例级特征进行提取；

8、根据源域和目标域的实例级特征构建图结构数据；

9、根据图结构数据搭建多个图卷积神经网络，通过多个图卷积神经网络提取并融合同一类别和同一尺度的实例级特征，得到第一融合特征；

10、通过尺度指导的对齐策略和类别指导的对齐策略来对多个图卷积神经网络进行监督训练；

11、通过特征增强网络对不同类别和不同尺度的实例级特征以及第一融合特征进行融合，得到第二融合特征；

12、使用类别损失函数对特征增强模块进行监督训练，得到训练后的目标检测模型。

13、优选的，所述源域图像数据和目标域图像数据包含的类别一致。

14、优选的，根据源域图像数据和目标域图像数据的实例级特征构建图结构数据之前，通过鉴别器将源域图像数据和目标域图像数据的像素级特征和实例级特征对齐。

15、优选的，通过下式对同一类别和同一尺度的实例级特征进行融合：

16、o＝gcninter[gcnintra_s(vs，es)∪gcnintra_t(vt，et)，e]

17、式中，o为第一融合特征，gcninter为总数据，gcnintra_s为源域图像数据，gcnintra_t为目标域图像数据，vs为源域实例级的特征，es为源域实例级的特征之间的关系，vt为目标域实例级的特征，et目标域实例级的特征之间的关系，e为邻接矩阵。

18、优选的，所述类别指导的对齐策略通过第一损失函数实现，所述第一损失函数如下所示：

19、

20、式中，lcg为第一损失函数，ns为源域实例级特征的数目，nt为目标域实例级特征的数目，yi为第i个实例级特征的类别标签，oi为第i个实例级特征，fcls为分类器。

21、优选的，所述尺度指导的对齐策略通过三个鉴别器的第二损失函数实现，所述第二损失函数如下所示：

22、

23、式中，lsg为第二损失函数，s为小目标，m为中目标，l为大目标，λi为平衡参数，di为鉴别器，oi，j为第i种尺度下的第j个实例级特征，yi，j为特征向量的gt值。

24、优选的，通过特征增强模块对不同类别和不同尺度的实例级特征以及第一融合特征进行融合，得到第二融合特征，包括以下步骤：

25、通过尺度映射函数将源域和目标域的实例级特征的位置坐标进行编码，得到固定长度的向量；

26、通过全连接层ws将向量进行编码，得到尺度相似度矩阵ss；

27、通过全连接层wq，wk和wv对第一融合特征进行编码，得到集合q、k和v；

28、通过集合q和k，对第一融合特征之间的相似度矩阵进行计算，得到特征相似度矩阵sf；

29、将尺度相似度矩阵ss和特征相似度矩阵sf进行融合，得到关系矩阵a；

30、通过关系矩阵a对集合v进行加权，得到残差；

31、将残差与第一融合特征进行相加，得到第二融合特征。

32、优选的，所述尺度映射函数如下所示：

33、

34、式中，α和β是调节参数。

35、一种基于尺度和类别信息的域适应目标检测系统，包括：

36、数据获取模块，用于获取源域图像数据和目标域图像数据；

37、训练模块，用于通过源域图像数据和目标域图像数据对域适应目标检测模型进行训练；所述域适应目标检测模型包括目标检测器、多个图卷积神经网络和特征增强网络；

38、目标检测模块，用于通过训练后的目标检测器对待预测图像进行目标检测，得到目标检测类别及位置；

39、所述训练模块包括：

40、特征提取模块，用于通过目标检测器的骨干网络对源域和目标域的实例级特征进行提取；

41、图数据构建模块，用于根据源域和目标域的实例级特征构建图结构数据；

42、第一融合模块，用于根据图结构数据搭建多个图卷积神经网络，通过多个图卷积神经网络提取并融合同一类别和同一尺度的实例级特征，得到第一融合特征；

43、第一监督模块，用于通过尺度指导的对齐策略和类别指导的对齐策略来对多个图卷积神经网络进行监督训练；

44、第二融合模块，用于通过特征增强网络对不同类别和不同尺度的实例级特征进行融合，得到第二融合特征；

45、第二监督模块，用于使用类别损失函数对特征增强模块进行监督训练，得到训练后的目标检测模型。

46、与现有技术相比，本发明的有益效果是：

47、本发明公开一种基于目标尺度和类别信息联合学习的域适应目标检测方法，在对模型的训练过程中使用图卷积网络来实现更加充分的源域和目标域的域内域间特征融合，实现更加充分的类别级对齐。在对齐特征的过程中引入目标的尺度信息，实现更加细粒度的对齐，缓解训练过程中模型的次优化问题。设计特征增强网络来增强模型对不同尺度的目标，尤其是小目标的感知能力。本发明可以在不同场景下表现出优越的目标检测性能，并且可以应用到不同的检测器上，使用简单，泛化能力强，在自动驾驶等领域具有广泛的应用前景。