一种感知模型训练方法、装置及电子设备和存储介质与流程

本技术涉及计算机，更具体地说，涉及一种感知模型训练方法、装置及电子设备和存储介质。

背景技术：

1、感知系统是自动驾驶的关键组成部分，用于感知和理解车辆周围环境，当前主流的自动驾驶感知模型，通常以摄像机、激光雷达等传感器采集的数据作为输入，输出对周围环境的感知结果，如道路目标检测、车道线检测、可行驶区域分割等。基于深度学习的感知模型已取得显著进展，但模型鲁棒性仍面临严重挑战，面对交通场景中的各种恶劣环境因素（如炫光、弱光、雨、雪）、传感器故障（摄像机损坏、激光雷达损坏等）以及恶意攻击等情况，模型准确性难以保证，对自动驾驶安全构成严重威胁。

2、当前提升感知模型鲁棒性的方法通常只针对一种或某几种干扰因素，没有涵盖尽可能多的干扰因素，所获得的模型只能在一种或某几种干扰因素下具备较好的鲁棒性，当模型部署到车端，仍容易遭受其他干扰因素的影响，如针对恶劣天气因素训练的模型，仍会受到恶意攻击的影响，导致鲁棒性下降，威胁自动驾驶安全。

3、因此，如何提高感知模型的鲁棒性是本领域技术人员需要解决的技术问题。

技术实现思路

1、本技术的目的在于提供一种感知模型训练方法、装置及一种电子设备和一种计算机可读存储介质，提高了感知模型的鲁棒性。

2、为实现上述目的，本技术提供了一种感知模型训练方法，包括：

3、获取云端感知模型；其中，所述云端感知模型包括第一预设数量个基础元网络和第二预设数量个抗干扰元网络；

4、将所述云端感知模型分解为基础分支和抗干扰分支；其中，所述基础分支包括第一预设数量个基础元网络，所述抗干扰分支包括第二预设数量个抗干扰元网络；

5、基于正常场景数据训练所述基础分支，基于干扰场景数据训练所述抗干扰分支，合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，基于所述正常场景数据和所述干扰场景数据训练所述中间云端感知模型得到训练完成的云端感知模型。

6、其中，所述云端感知模型包括依次连接的输入模块、基础网络、云端元网络、元知识融合网络和任务网络，所述云端元网络包括基础元网络组和抗干扰元网络组，所述基础元网络组包括第一预设数量个基础元网络，所述抗干扰元网络组包括第二预设数量个抗干扰元网络；

7、所述基础分支包括依次连接的所述输入模块、所述基础网络、所述基础元网络组、所述元知识融合网络和所述任务网络，所述抗干扰分支包括依次连接的所述输入模块、所述基础网络、所述抗干扰元网络组、所述元知识融合网络和所述任务网络。

8、其中，所述输入模块包括多个单模态的输入单元，每个所述输入单元通过对应的基础网络连接多模态融合网络，所述多模态融合网络连接所述云端元网络。

9、其中，所述基础网络包括依次连接的预处理模块、骨干网络和多尺度特征提取网络。

10、其中，所述基础元网络包括第一基础子网络、第二基础子网络、第三基础子网络，所述第一基础子网络、所述第二基础子网络、所述第三基础子网络包括多层卷积神经网络或全连接层或注意力层。

11、其中，所述抗干扰元网络包括第一抗干扰子网络、第二抗干扰子网络、第三抗干扰子网络，所述第一抗干扰子网络的模型结构与所述第一基础子网络的模型结构相同，所述第二抗干扰子网络包括所有所述第二基础子网络、每个所述第二基础子网络对应的特征学习模型和与所有所述特征学习模型连接的特征融合模块，所述第三抗干扰子网络包括多层卷积神经网络或全连接层或注意力层。

12、其中，所述特征学习模型用于将对应的第二基础子网络输出的特征与对应的学习参数相乘得到对应的学习特征。

13、其中，所述特征融合模块用于对所有所述学习特征采用均值融合方式进行聚合得到聚合特征。

14、其中，所述基于正常场景数据训练所述基础分支，包括：

15、在正常场景数据中采样正常训练样本，将所述正常训练样本输入所述基础分支中，基于所述任务网络的损失对所述基础分支的模型参数进行训练，得到训练完成的基础分支。

16、其中，所述基于干扰场景数据训练所述抗干扰分支，包括：

17、基于训练完成的基础分支初始化所述抗干扰分支，并冻结初始化完成的抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数；

18、在干扰场景数据中采样干扰训练样本，将所述干扰训练样本输入所述初始化完成的抗干扰分支中，基于所述任务网络的损失对所述初始化完成的抗干扰分支的模型参数进行训练，得到训练完成的抗干扰分支。

19、其中，所述基于训练完成的基础分支初始化所述抗干扰分支，包括：

20、基于训练完成的基础分支中基础元网络中的第一基础子网络的参数初始化所述抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数；

21、基于训练完成的基础分支中基础元网络中的第二基础子网络构建所述抗干扰分支中每个抗干扰元网络中的第二抗干扰子网络。

22、其中，所述基于训练完成的基础分支中基础元网络中的第一基础子网络的参数初始化所述抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数，包括：

23、对训练完成的基础分支中基础元网络中的所有第一基础子网络的参数进行均值融合，基于融合后的参数初始化所述抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数。

24、其中，所述任务网络包括多个子任务网络。

25、其中，所述基于所述任务网络的损失对所述初始化完成的抗干扰分支的模型参数进行训练，得到训练完成的抗干扰分支，包括：

26、计算所述任务网络中多个所述子任务网络的损失和，基于所述损失和计算所述初始化完成的抗干扰分支中每个抗干扰元网络的输出特征的每个维度的梯度，对每个所述输出特征的每个维度的梯度进行绝对值求和得到每个所述输出特征的梯度和；

27、对所有所述输出特征的梯度和由大至小进行排序，确定排序结果中前第五预设数量个输出特征对应的抗干扰元网络作为目标抗干扰元网络；

28、冻结除所述目标抗干扰元网络之外的其他抗干扰元网络的参数，更新所述目标抗干扰元网络的参数，得到训练完成的抗干扰分支。

29、其中，所述干扰训练样本包括干扰数据和对应的标注，所述标注包括任务标注和干扰因素类型。

30、其中，所述合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，包括：

31、对训练完成的基础分支中的基础网络的参数和训练完成的抗干扰分支中的基础网络的参数进行加权合并，得到中间云端感知模型中基础网络的参数；

32、对训练完成的基础分支中的元知识融合网络的参数和训练完成的抗干扰分支中的元知识融合网络的参数进行加权合并，得到中间云端感知模型中基础网络的参数；

33、对训练完成的基础分支中的任务网络的参数和训练完成的抗干扰分支中的任务网络的参数进行加权合并，得到中间云端感知模型中任务网络的参数；

34、将训练完成的基础分支中的基础元网络组和训练完成的抗干扰分支中的抗干扰元网络组合并为中间云端感知模型中的云端元网络。

35、其中，所述基于所述正常场景数据和所述干扰场景数据训练所述中间云端感知模型得到训练完成的云端感知模型，包括：

36、确定正常训练样本的第一采样率或干扰训练样本的第二采样率；其中，所述第一采样率与所述第二采样率的和为一；

37、基于所述第一采样率或所述第二采样率在正常场景数据中采样正常训练样本、在干扰场景数据中采样干扰训练样本；

38、将所述干扰训练样本输入所述中间云端感知模型中，基于所述任务网络的损失对所述中间云端感知模型的模型参数进行训练，得到训练完成的云端感知模型。

39、为实现上述目的，本技术提供了一种感知模型训练方法，包括：

40、获取云端感知模型；其中，所述云端感知模型包括第一预设数量个基础元网络和第二预设数量个抗干扰元网络；

41、将所述云端感知模型分解为基础分支和抗干扰分支；其中，所述基础分支包括第一预设数量个基础元网络，所述抗干扰分支包括第二预设数量个抗干扰元网络；

42、基于正常场景数据训练所述基础分支，基于干扰场景数据训练所述抗干扰分支，合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，基于所述正常场景数据和所述干扰场景数据训练所述中间云端感知模型得到训练完成的云端感知模型；

43、基于所述训练完成的云端感知模型构建车端感知模型；其中，所述车端感知模型包括第三预设数量个基础元网络和第四预设数量个抗干扰元网络，所述第三预设数量小于所述第一预设数量，所述第四预设数量小于所述第二预设数量；

44、基于所述正常场景数据和所述干扰场景数据训练所述车端感知模型得到训练完成的车端感知模型。

45、其中，所述车端感知模型包括依次连接的输入模块、基础网络、车端元网络、元知识融合网络和所述任务网络，车端元网络包括第三预设数量个基础元网络和第四预设数量个抗干扰元网络。

46、其中，所述基于所述训练完成的云端感知模型构建车端感知模型，包括：

47、将所述训练完成的云端感知模型中云端元网络中的所有基础元网络划分为所述第三预设数量个类别；

48、对每个类别中基础元网络的参数进行均值融合得到车端感知模型中对应的基础元网络的参数；

49、将所述训练完成的云端感知模型中云端元网络中的所有抗干扰元网络划分为所述第四预设数量个类别；

50、对每个类别中抗干扰元网络的参数进行均值融合得到车端感知模型中对应的抗干扰元网络的参数。

51、其中，所述基于所述正常场景数据和所述干扰场景数据训练所述车端感知模型得到训练完成的车端感知模型，包括：

52、确定正常训练样本的第三采样率或干扰训练样本的第四采样率；其中，所述第三采样率与所述第四采样率的和为一；

53、基于所述第三采样率或所述第四采样率在正常场景数据中采样正常训练样本、在干扰场景数据中采样干扰训练样本；

54、将所述干扰训练样本输入所述车端感知模型中，基于所述任务网络的损失对所述车端感知模型的模型参数进行训练，得到训练完成的车端感知模型。

55、其中，所述基于所述任务网络的损失对所述车端感知模型的模型参数进行训练，得到训练完成的车端感知模型，包括：

56、基于所述任务网络的损失和知识蒸馏损失对所述车端感知模型的模型参数进行训练，得到训练完成的车端感知模型；

57、其中，所述知识蒸馏损失为基于所述训练完成的云端感知模型中的多模态融合网络输出的融合特征和所述车端感知模型中的多模态融合网络输出的融合特征计算得到的，或，所述知识蒸馏损失为基于所述训练完成的云端感知模型中的元知识融合网络输出的融合特征和所述车端感知模型中的元知识融合网络输出的融合特征计算得到的。

58、其中，所述知识蒸馏损失的计算公式为：

59、；

60、其中，为所述知识蒸馏损失，为所述训练完成的云端感知模型中的多模态融合网络或元知识融合网络输出的融合特征第(i,j)位置的第k通道处的特征值，所述车端感知模型中的多模态融合网络或元知识融合网络输出的融合特征第(i,j)位置的第k通道处的特征值，1≤i≤w，1≤j≤h，1≤k≤c，w为融合特征的宽度，h为融合特征的高度，c为融合特征的通道数量。

61、为实现上述目的，本技术提供了一种感知模型训练装置，包括：

62、获取单元，用于获取云端感知模型；其中，所述云端感知模型包括第一预设数量个基础元网络和第二预设数量个抗干扰元网络；

63、分解单元，用于将所述云端感知模型分解为基础分支和抗干扰分支；其中，所述基础分支包括第一预设数量个基础元网络，所述抗干扰分支包括第二预设数量个抗干扰元网络；

64、第一训练单元，用于基于正常场景数据训练所述基础分支，基于干扰场景数据训练所述抗干扰分支，合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，基于所述正常场景数据和所述干扰场景数据训练所述中间云端感知模型得到训练完成的云端感知模型。

65、为实现上述目的，本技术提供了一种感知模型训练装置，包括：

66、获取单元，用于获取云端感知模型；其中，所述云端感知模型包括第一预设数量个基础元网络和第二预设数量个抗干扰元网络；

67、分解单元，用于将所述云端感知模型分解为基础分支和抗干扰分支；其中，所述基础分支包括第一预设数量个基础元网络，所述抗干扰分支包括第二预设数量个抗干扰元网络；

68、第一训练单元，用于基于正常场景数据训练所述基础分支，基于干扰场景数据训练所述抗干扰分支，合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，基于所述正常场景数据和所述干扰场景数据训练所述中间云端感知模型得到训练完成的云端感知模型；

69、构建单元，用于基于所述训练完成的云端感知模型构建车端感知模型；其中，所述车端感知模型包括第三预设数量个基础元网络和第四预设数量个抗干扰元网络，所述第三预设数量小于所述第一预设数量，所述第四预设数量小于所述第二预设数量；

70、第二训练单元，用于基于所述正常场景数据和所述干扰场景数据训练所述车端感知模型得到训练完成的车端感知模型。

71、为实现上述目的，本技术提供了一种电子设备，包括：

72、存储器，用于存储计算机程序；

73、处理器，用于执行所述计算机程序时实现如上述感知模型训练方法的步骤。

74、为实现上述目的，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述感知模型训练方法的步骤。

75、通过以上方案可知，本技术提供的一种感知模型训练方法，包括：获取单元，用于获取云端感知模型；其中，所述云端感知模型包括第一预设数量个基础元网络和第二预设数量个抗干扰元网络；分解单元，用于将所述云端感知模型分解为基础分支和抗干扰分支；其中，所述基础分支包括第一预设数量个基础元网络，所述抗干扰分支包括第二预设数量个抗干扰元网络；第一训练单元，用于基于正常场景数据训练所述基础分支，基于干扰场景数据训练所述抗干扰分支，合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，基于所述正常场景数据和所述干扰场景数据训练所述中间云端感知模型得到训练完成的云端感知模型；构建单元，用于基于所述训练完成的云端感知模型构建车端感知模型；其中，所述车端感知模型包括第三预设数量个基础元网络和第四预设数量个抗干扰元网络，所述第三预设数量小于所述第一预设数量，所述第四预设数量小于所述第二预设数量；第二训练单元，用于基于所述正常场景数据和所述干扰场景数据训练所述车端感知模型得到训练完成的车端感知模型。

76、本技术提供的感知模型训练方法，针对云端感知模型，将其划分为基础分支和抗干扰分支，分别基于正常场景数据和干扰数据进行有效训练，提升云端感知模型对干扰数据的学习效果，提高了感知模型的鲁棒性。本技术还公开了一种感知模型训练装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

77、应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本技术。