一种模型训练方法、装置、飞行器及存储介质与流程

【】本技术实施例涉及人工智能，尤其涉及一种模型训练方法、装置、飞行器及存储介质。

背景技术

0、
背景技术：

1、现有技术中，通常基于长短期记忆网络(lstm，long short-term memory)来对飞行器的时序数据进行建模，从而来估计飞行器的负载重量。但是上述方式在建模过程中需要对大量时序数据进行标注，导致训练效率较低。

技术实现思路

0、
技术实现要素：

1、本技术实施例提供了一种模型训练方法、装置、飞行器及存储介质，能够在确保训练出性能较优的飞行器负载重量的预测模型的情况下，提升训练效率。

2、第一方面，本技术实施例提供了一种模型训练方法，应用于飞行器，所述方法包括：

3、获取无标签飞行状态数据，并基于所述无标签飞行状态数据对第一transformer模型进行无监督预训练，以获得第二transformer模型，其中，所述第二transformer模型用于表征所述无标签飞行状态数据对应的飞行状态的变化趋势；

4、获取带标签飞行状态数据以及飞行器负载重量数据，并基于所述带标签飞行状态数据以及飞行器负载重量数据，对所述第二transformer模型进行调整，以获得第三transformer模型，其中，所述第三transformer模型用于表征所述飞行器的飞行状态与所述飞行器的负载重量之间的关系。

5、本技术实施例中，利用大量的无标签飞行状态时序数据对第一transformer模型进行无监督预训练，从而获得第二transformer模型，该第二transformer模型可以认为学习到飞行器的飞行状态随时间的变化趋势；由于飞行器的飞行状态与飞行器负载重量具有较强关联性，因此再利用少量的有标签的飞行时序状态数据以及飞行器负载重量数据，对所获得的第二transformer模型进行调整，即利用迁移学习的思想在第二transformer模型能够预测飞行器的飞行状态的变化趋势的情况下，使第二transformer模型能够进一步学习到飞行状态与飞行器负载重量之间的对应关系，从而使最终获得的第三transformer模型能够较为准确的预测出飞行器负载重量。也就是说，仅利用少量有标签时序数据便可以训练出性能较优的飞行器负载重量的预测模型，与现有技术中完全依赖于有标签时序数据进行训练来获得飞行器负载重量的预设模型相比，节省了大量用于标注时序数据的时间，提高了训练效率。

6、可选的，所述第三transformer模型包括：

7、编码器与解码器，所述编码器用于基于目标无标签飞行状态数据，获得目标飞行状态特征并将所述目标飞行状态特征输出到所述解码器；

8、所述解码器用于基于所述目标飞行状态特征预测出所述飞行器的目标飞行状态，并基于所述飞行器的飞行状态与所述飞行器的负载重量之间的关系，预测所述目标飞行状态对应的飞行器的负载重量。

9、本技术实施例中，在飞行器起飞后一段时间内，可以基于在上述时间段内所采集的无标签飞行状态数据较为准确的预测出飞行器当前的飞行器负载重量，以便于为进一步预估飞行器续航提供可靠依据。

10、可选的，所述基于所述无标签飞行状态数据对第一transformer模型进行无监督预训练，以获得第二transformer模型，包括：

11、将所述无标签飞行状态数据输入到所述第一transformer模型中，并基于第一损失函数对所述第一transformer模型进行预训练，以获得所述第二transformer模型，所述第一损失函数可由下式表示：

12、

13、其中，l1表示所述第一损失函数，n表示所述无标签飞行状态数据包括的子飞行状态数据的种类，表示第i种子飞行状态数据的预测值，表示所述第i种子飞行状态数据的真实值。

14、本技术实施例中，各预设时刻的第一无标签飞行状态数据可以认为包括多种类型的子飞行状态数据，那么将各预设时刻的第一无标签飞行状态数据所包括多种类型的子飞行状态数据输入到第一transformer模型，并基于第一损失函数进行训练，从而获得性能较为优异的第二transformer模型。

15、可选的，所述基于所述带标签飞行状态数据以及飞行器负载重量数据，对所述第二transformer模型进行调整，以获得第三transformer模型，包括：

16、将所述带标签飞行状态数据以及所述飞行器负载重量数据输入到所述第二transformer模型，并基于第二损失函数对所述第二transformer模型进行调整，以获得所述第三transformer模型，所述第二损失函数可由下式表示：

17、

18、其中，l2表示所述第二损失函数，mpre表示飞行器负载重量的预测值，mgt表示飞行器负载重量的真实值。

19、本技术实施例中，将少量带标签的飞行状态数据以及对应的飞行器负载重量数据输入到经预训练的第二transformer模型中，并基于新的第二损失函数来对第二transformer模型进行训练，从而可以获得性能较为优异且应用于飞行器负载重量预测的第三transformer模型。

20、可选的，所述编码器包括：

21、编码器输入层，用于通过全连接的网络将所述目标无标签飞行状态数据映射为所述目标飞行状态特征；

22、位置编码层，用于通过正弦函数和余弦函数为所述目标飞行状态特征添加对应的位置编码；

23、编码器层，用于编码添加完所述位置编码的目标飞行状态特征。

24、本技术实施例中，将目标无标签飞行状态数据输入编码器，通过编码器输入层映射为目标飞行状态特征，再在位置编码层中利用三角函数为目标飞行状态特征添加位置编码，最后有编码器层实现对添加完位置编码的目标飞行状态特征的编码。

25、可选的，所述编码器层包括：

26、自注意力子层，用于计算需要编码的所述目标飞行状态特征之间的交互关系；

27、全连接前馈子层，用于增强所述目标飞行状态特征的拟合度。

28、本技术实施例中，需要基于自注意力机制计算添加位置编码的目标飞行状态特征之间的相关性，从而更多地关注相关性大的目标飞行状态特征，之后通过全连接前馈子层增强目标分析状态特征之间的拟合度。

29、可选的，所述编码器层还包括；

30、归一化层，用于与所述注意力子层和所述前馈子层连接，用于对编码后的所述目标飞行状态特征进行标准化处理。

31、本技术实施例中，通过归一化层对编码后的目标飞行状态特征进行标准化处理，减少模型训练的时间成本，加快收敛速度。

32、可选的，所述解码器包括：

33、解码器输入层，用于将编码器输出的第一维度下的所述目标飞行状态特征转换为第二维度下的所述目标飞行状态特征，其中，所述第二维度高于所述第一维度；

34、解码器层，用于基于所述第二维度下的所述目标飞行状态特征，预测出所述飞行器的中间飞行状态；

35、线性映射层，用于将所述飞行器的所述中间飞行状态进行多次线性映射，获得所述飞行器的所述目标飞行状态；并基于所述飞行器的飞行状态与所述飞行器的负载重量间的关系，预测所述目标飞行状态对应的飞行器的负载重量。

36、本技术实施例中，获得带有位置编码的目标飞行状态特征之后，需要通过解码器输入层，基于位置编码将其映射为可被解码的特定目标飞行状态特征，再通过解码器层，将可被解码的特定目标飞行状态特征以及目标飞行状态特征进行预训练，最后通过线性映射层将预训练后的目标飞行状态特征映射到指定维度。

37、第二方面，本技术实施例中提供了一种模型训练装置，所述装置包括：

38、预训练单元，用于获取无标签飞行状态数据，并基于所述无标签飞行状态数据对第一transformer模型进行无监督预训练，以获得第二transformer模型，其中，所述第二transformer模型用于表征所述无标签飞行状态数据对应的飞行状态的变化趋势；

39、调整单元，用于获取带标签飞行状态数据以及飞行器负载重量数据，并基于所述带标签飞行状态数据以及飞行器负载重量数据，对所述第二transformer模型进行调整，以获得第三transformer模型，其中，所述第三transformer模型用于表征所述飞行器的飞行状态与所述飞行器的负载重量之间的关系。

40、可选的，所述第三transformer模型包括：

41、编码器与解码器，所述编码器用于基于目标无标签飞行状态数据，获得目标飞行状态特征并将所述目标飞行状态特征输出到所述解码器；

42、所述解码器用于基于所述目标飞行状态特征预测出所述飞行器的目标飞行状态，并基于所述飞行器的飞行状态与所述飞行器的负载重量之间的关系，预测所述目标飞行状态对应的飞行器的负载重量。

43、可选的，所述预训练单元具体用于：

44、将所述无标签飞行状态数据输入到所述第一transformer模型中，并基于第一损失函数对所述第一transformer模型进行预训练，以获得所述第二transformer模型，所述第一损失函数可由下式表示：

45、

46、其中，l1表示所述第一损失函数，n表示所述无标签飞行状态数据包括的子飞行状态数据的种类，表示第i种子飞行状态数据的预测值，表示所述第i种子飞行状态数据的真实值。

47、可选的，所述调整单元具体用于：

48、将所述带标签飞行状态数据以及所述飞行器负载重量数据输入到所述第二transformer模型，并基于第二损失函数对所述第二transformer模型进行调整，以获得所述第三transformer模型，所述第二损失函数可由下式表示：

49、

50、其中，l2表示所述第二损失函数，mpre表示飞行器负载重量的预测值，mgt表示飞行器负载重量的真实值。

51、可选的，所述编码器包括：

52、编码器输入层，用于通过全连接的网络将所述目标无标签飞行状态数据映射为所述目标飞行状态特征；

53、位置编码层，用于通过正弦函数和余弦函数为所述目标飞行状态特征添加对应的位置编码；

54、编码器层，用于编码添加完所述位置编码的目标飞行状态特征。

55、可选的，所述编码器层包括：

56、自注意力子层，用于计算需要编码的所述目标飞行状态特征之间的交互关系；

57、全连接前馈子层，用于增强所述目标飞行状态特征的拟合度。

58、可选的，所述编码器层还包括：

59、归一化层，用于与所述注意力子层和所述前馈子层连接，用于对编码后的所述目标飞行状态特征进行标准化处理。

60、可选的，所述解码器包括：

61、解码器输入层，用于将编码器输出的第一维度下的所述目标飞行状态特征转换为第二维度下的所述目标飞行状态特征，其中，所述第二维度高于所述第一维度；

62、解码器层，用于基于所述第二维度下的所述目标飞行状态特征，预测出所述飞行器的中间飞行状态；

63、线性映射层，用于将所述飞行器的所述中间飞行状态进行多次线性映射，获得所述飞行器的所述目标飞行状态；并基于所述飞行器的飞行状态与所述飞行器的负载重量间的关系，预测所述目标飞行状态对应的飞行器的负载重量。

64、第三方面，本发明实施例提供一种飞行器，所述飞行器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如第一方面任一实施例所述方法的步骤。

65、第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一实施例所述方法的步骤。

66、应当理解的是，本发明实施例的第二～四方面与本发明实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。