基于图表示域适应的目标检测模型训练方法与流程

本发明涉及自动驾驶，尤其涉及的是一种基于图表示域适应的交通场景目标检测模型训练方法。

背景技术：

1、近年来随着人工智能技术的发展，自动驾驶得到了长足的发展。交通目标的检测与识别作为自动驾驶感知系统至关重要的部分，对智慧交通系统中车辆驾驶决策起到重要的辅助作用。而自动驾驶的应用场景较为复杂，要求目标检测模型适应不同场景下的检测任务，即需要目标检测模型有较好的域适应能力和泛化能力。

2、为了解决这一个难点，业界研究了无监督域适应技术来将目标检测器从带标注的源领域转移到未标记的目标领域。先前研究通常从类别级别来描述其语义空间，并用类别的中心代表该类别的语义知识。然而，这些基于类别中心所表示的方法有着非常大的缺陷。首先，他们忽略类内方差，直接手工对齐类别的中心。由于待检测对象的大小和外观各不相同，类内方差涵盖了表示类条件分布的基本信息，例如尺度和形状，这些都应该在域适应中对齐。忽略类内方差可能会导致大量不适应的目标实例，以及不同类别条件分布的潜在重叠和分类错误。并且，这些工作遵循高斯假设对特征分步进行刻画，这在非凸深度特征空间中不是最优的。虽然目前有些工作将图像特征嵌入非欧式空间进行表达来进行自适应对齐，但是仍然忽略节点采样时的噪声引入，造成较差的域适应性能。

3、因此，现有的训练方法训练后的目标检测模型的泛化能力不好，不能在目标域下获得较高的检测精度，限制了目标检测模型在真实交通场景中的应用。

技术实现思路

1、本发明的主要目的在于提供一种基于图表示域适应的交通场景目标检测模型训练方法、智能终端、计算机可读存储介质及面向复杂交通场景的域适应目标检测方法，旨在解决训练后的目标检测模型的泛化能力不好，不能在目标域下获得较高的检测精度的问题。

2、为了实现上述目的，本发明第一方面提供一种基于图表示域适应的交通场景目标检测模型训练方法，包括：

3、基于源域的数据集预训练目标检测模型；

4、将源域图像和目标域图像分别输入预训练后的目标检测模型，获得源域特征图和目标域特征图；

5、将所述源域特征图和所述目标域特征图分别转换为基于图表示的节点群，获得第一源域节点群和第一目标域节点群；

6、基于节点的对比学习，在所述第一源域节点群和所述第一目标域节点群中针对缺失语义补充节点，获得第二源域节点群和第二目标域节点群；

7、基于所述第一源域节点群、所述第一目标域节点群、所述第二源域节点群和所述第二目标域节点群，计算对比分布损失；

8、分别提取所述第二源域节点群和所述第二目标域节点群的协方差矩阵，根据所有的协方差矩阵获得方差矩阵；

9、根据所述方差矩阵、所述第二源域节点群和所述第二目标域节点群，计算节点协方差对齐损失；

10、将所述第二源域节点群和所述第二目标域节点群转变为图结构并进行图优化，获得源域图节点集合、源域图结构以及目标域图节点集合、目标域图结构；

11、采用环境变量表征图的分布偏移，根据所述源域图节点集合、所述源域图结构、所述目标域图节点集合和所述目标域图结构计算异常节点过滤损失；

12、根据所述对比分布损失、所述节点协方差对齐损失和所述异常节点过滤损失优化所述预训练后的目标检测模型，获得训练后的用于交通目标检测和识别的目标检测模型。

13、可选的，所述分别提取所述第二源域节点群和所述第二目标域节点群的协方差矩阵，根据所有的协方差矩阵获得方差矩阵，包括：

14、分别提取所述第二源域节点群和所述第二目标域节点群的协方差矩阵，获得源域协方差矩阵和目标域协方差矩阵；

15、拼接所述源域协方差矩阵和所述目标域协方差矩阵，获得拼接后协方差矩阵；

16、计算所述拼接后协方差矩阵的均值和方差，获得所述方差矩阵。

17、可选的，根据所述方差矩阵、所述第二源域节点群和所述第二目标域节点群，计算节点协方差对齐损失，包括：

18、对所述方差矩阵的上三角元素进行聚类，获得上三角矩阵；

19、拼接所述第二源域节点群和所述第二目标域节点群，获得拼接节点群；

20、提取所述拼接节点群的协方差矩阵，获得拼接后协方差矩阵；

21、根据所述上三角矩阵和所述拼接后协方差矩阵，计算所述节点协方差对齐损失。

22、可选的，所述基于节点的对比学习，在所述第一源域节点群和所述第一目标域节点群中针对缺失语义补充节点，获得第二源域节点群和第二目标域节点群，包括：

23、采用全局节点记忆池对所述第一源域节点群、所述第一目标域节点群的节点进行对比学习，在所述第一源域节点群和所述第一目标域节点群中针对缺失语义生成补充节点，获得补充后的源域节点群、目标域节点群；

24、将所述补充后的源域节点群、目标域节点群分别输入共享的自注意力模块，获得所述第二源域节点群和所述第二目标域节点群。

25、可选的，所述基于所述第一源域节点群、所述第一目标域节点群、所述第二源域节点群和所述第二目标域节点群，计算对比分布损失，包括：

26、将所述第一源域节点群和所述第一目标域节点群映射至隐式特征空间，获得第一源特征空间和第一目标特征空间；

27、将所述第二源域节点群和所述第二目标域节点群映射至隐式特征空间，获得第二源特征空间和第二目标特征空间；

28、根据所述第一源特征空间和所述第二源特征空间之间的相似度、所述第一目标特征空间和所述第二目标特征空间之间的相似度，获得所述对比分布损失。

29、可选的，获得源域图节点集合和目标域图节点集合之后，还包括：

30、计算所述源域图节点集合中每个图节点的第一节点分类损失值；

31、计算所述目标域图节点集合中每个图节点的第二节点分类损失值；

32、累计所有的所述第一节点分类损失值和所有的所述第二节点分类损失值，获得节点分类损失值以用于优化所述预训练后的目标检测模型。

33、可选的，获得源域图结构和目标域图结构之后，还包括：

34、基于所述源域图节点集合和所述目标域图节点集合，根据语义关系获得相似度矩阵；

35、根据所述相似度矩阵、所述源域图结构和所述目标域图结构，计算结构损失值以用于优化所述预训练后的目标检测模型。

36、本发明第二方面提供一种面向复杂交通场景的域适应目标检测方法，其中，所述方法包括：

37、采用任意一项上述的基于图表示域适应的交通场景目标检测模型训练方法训练目标检测模型，获得训练后的目标检测模型；

38、将交通图像输入所述训练后的目标检测模型进行目标检测，获得目标检测结果。

39、本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于图表示域适应的交通场景目标检测模型训练程序，上述基于图表示域适应的交通场景目标检测模型训练程序被上述处理器执行时实现任意一项上述基于图表示域适应的交通场景目标检测模型训练方法的步骤。

40、本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于图表示域适应的交通场景目标检测模型训练程序，上述基于图表示域适应的交通场景目标检测模型训练程序被处理器执行时实现任意一项上述基于图表示域适应的交通场景目标检测模型训练方法的步骤。

41、由上可见，本发明首先基于源域的数据集预训练目标检测模型，在源域中学习准确预测目标类别和边界框的能力，然后通过将特征图转换为基于图表示的节点群，采用对比分布损失和节点协方差对齐损失对节点进行精练和强化，能够解耦域特征以及类别的不变性特征，选择性地去除域风格的元素，提高目标检测模型的泛化能力。针对图中的异常节点，采用异常节点过滤损失对图进行优化，降低奇怪语义节点所占比例，提高训练后的目标检测模型的检测精度。使得训练后的目标检测模型具有良好鲁棒性和泛化性。