模型训练方法、装置及设备与流程

本技术涉及计算机，尤其涉及一种模型训练方法、装置及设备。

背景技术：

1、在一些场景中，可以通过模型对气象数据进行预测，以便农业人员根据气象数据进行农事活动。

2、在相关技术中，可以通过历史气象数据对模型进行训练，以得到模型。然而，在上述训练过程中，模型通常使用循环神经网络结构，容易注重学习输入特征的末端特征，且没有考虑到气象数据变化的周期性，导致模型预测的准确性较差。

技术实现思路

1、本技术的多个方面提供一种模型训练方法、装置及设备，用以提高模型预测的准确性。

2、第一方面，本技术实施例提供一种模型训练方法，包括：

3、获取第一样本数据和第二样本数据；其中，所述第一样本数据包括多个第一时刻和每个第一时刻对应的多类型气象数据，所述第二样本数据包括多个第二时刻、以及每个第二时刻对应的参考气象数据和标注气象数据；

4、通过初始模型的时间编码层对所述多个第一时刻进行时间编码，得到每个第一时刻对应的时间编码结果；

5、通过所述初始模型的至少一个特征编码层对所述时间编码结果和所述第一样本数据进行编码处理，得到编码特征；

6、通过所述初始模型的至少一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到每个第二时刻的预测气象数据，并根据所述预测气象数据和所述标注气象数据，更新所述初始模型的模型参数。

7、在一种可能的实施方式中，针对任意一个第一时刻；通过初始模型的时间编码层对所述第一时刻进行时间编码，得到所述第一时刻对应的时间编码结果，包括：

8、通过所述时间编码层对所述第一时刻进行周期性时间编码，得到所述第一时刻对应的周期性编码结果；

9、通过所述时间编码层对所述第一时刻进行时间戳编码，得到所述第一时刻对应的时间戳编码结果；

10、根据所述周期性编码结果和所述时间戳编码结果，确定所述第一时刻对应的时间编码结果。

11、在一种可能的实施方式中，通过所述时间编码层对所述第一时刻进行周期性时间编码，得到所述第一时刻对应的周期性编码结果，包括：

12、确定时间周期、以及所述时间周期内的多个预设时刻；

13、根据所述第一时刻对应的预设时刻，对所述第一时刻进行编码处理，得到所述第一时刻对应的周期性编码结果。

14、在一种可能的实施方式中，通过所述时间编码层对所述第一时刻进行时间戳编码，得到所述第一时刻对应的时间戳编码结果，包括：

15、确定所述第一时刻对应的时间信息，所述时间信息包括如下至少一种：季节、月份、星期或小时；

16、根据所述第一时刻和所述时间信息，确定所述第一时刻对应的所述时间戳编码结果。

17、在一种可能的实施方式中，根据所述周期性编码结果和所述时间戳编码结果，确定所述第一时刻对应的时间编码结果，包括：

18、确定所述周期性编码结果对应的第一特征信息；

19、确定所述时间戳编码结果对应的第二特征信息；

20、对所述第一特征信息和所述第二特征信息进行融合处理，得到所述第一时刻对应的所述时间编码结果。

21、在一种可能的实施方式中，所述至少一个特征编码层的数量为n；通过所述初始模型的至少一个特征编码层对所述时间编码结果和所述第一样本数据进行编码处理，得到编码特征，包括：

22、通过第一个特征编码层对所述时间编码结果和所述第一样本数据进行处理，得到第一个中间特征；

23、通过第i个特征编码层对第i-1个中间特征进行处理，得到第i个中间特征；其中，所述i依次取2、3、……n，并将第n个中间特征确定为所述编码特征，所述n为大于1的整数。

24、在一种可能的实施方式中，所述特征编码层包括多头窗口注意力层和前馈网络层；通过第一个特征编码层对所述时间编码结果和所述第一样本数据进行处理，得到第一中间特征，包括：

25、通过所述第一个特征编码层中的多头窗口注意力层对所述时间编码结果和所述第一样本数据进行融合处理，得到融合特征；

26、通过所述第一个特征编码层中的前馈网络层对所述融合特征进行非线性变换处理，得到所述第一中间特征。

27、在一种可能的实施方式中，所述初始模型还包括线性层，所述至少一个特征解码层的数量为m；通过所述初始模型的至少一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到预测气象数据，包括：

28、通过第一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到第一个输出信息；

29、通过第j个特征解码层对第j-1个输出信息和所述编码特征进行处理，得到第j个输出信息；其中，所述j依次取2、3、……、m，所述m为大于1的整数；

30、通过所述线性层对第m个输出信息进行处理，得到所述预测气象数据。

31、在一种可能的实施方式中，根据所述预测气象数据和所述标注气象数据，更新所述初始模型的模型参数，包括：

32、根据所述预测气象数据和所述标注气象数据，确定损失函数的损失值；

33、根据所述损失值更新所述初始模型的模型参数。

34、第二方面，本技术实施例提供一种气象数据预测方法，包括：

35、确定目标时刻对应的参考气象数据；

36、获取所述目标时刻对应的历史时段内的多类型气象数据；

37、通过目标模型对所述参考气象数据和所述多类型气象数据进行处理，得到所述目标时刻对应的预测气象数据；其中，所述目标模型为根据第一方面任一项所述的方法训练得到的。

38、第三方面，本技术实施例提供一种模型训练装置，包括：获取模块、编码模块、第一处理模块、第二处理模块和更新模块，其中，

39、所述获取模块用于，获取第一样本数据和第二样本数据；其中，所述第一样本数据包括多个第一时刻和每个第一时刻对应的多类型气象数据，所述第二样本数据包括多个第二时刻、以及每个第二时刻对应的参考气象数据和标注气象数据；

40、所述编码模块用于，通过初始模型的时间编码层对所述多个第一时刻进行时间编码，得到每个第一时刻对应的时间编码结果；

41、所述第一处理模块用于，通过所述初始模型的至少一个特征编码层对所述时间编码结果和所述第一样本数据进行编码处理，得到编码特征；

42、所述第二处理模块用于，通过所述初始模型的至少一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到每个第二时刻的预测气象数据；

43、所述更新模块用于，根据所述预测气象数据和所述标注气象数据，更新所述初始模型的模型参数。

44、在一种可能的实施方式中，所述编码模块具体用于：

45、通过所述时间编码层对所述第一时刻进行周期性时间编码，得到所述第一时刻对应的周期性编码结果；

46、通过所述时间编码层对所述第一时刻进行时间戳编码，得到所述第一时刻对应的时间戳编码结果；

47、根据所述周期性编码结果和所述时间戳编码结果，确定所述第一时刻对应的时间编码结果。

48、在一种可能的实施方式中，所述编码模块具体用于：

49、确定时间周期、以及所述时间周期内的多个预设时刻；

50、根据所述第一时刻对应的预设时刻，对所述第一时刻进行编码处理，得到所述第一时刻对应的周期性编码结果。

51、在一种可能的实施方式中，所述编码模块具体用于：

52、确定所述第一时刻对应的时间信息，所述时间信息包括如下至少一种：季节、月份、星期或小时；

53、根据所述第一时刻和所述时间信息，确定所述第一时刻对应的所述时间戳编码结果。

54、在一种可能的实施方式中，所述编码模块具体用于：

55、确定所述周期性编码结果对应的第一特征信息；

56、确定所述时间戳编码结果对应的第二特征信息；

57、对所述第一特征信息和所述第二特征信息进行融合处理，得到所述第一时刻对应的所述时间编码结果。

58、在一种可能的实施方式中，所述至少一个特征编码层的数量为n；所述第一处理模块具体用于：

59、通过第一个特征编码层对所述时间编码结果和所述第一样本数据进行处理，得到第一个中间特征；

60、通过第i个特征编码层对第i-1个中间特征进行处理，得到第i个中间特征；其中，所述i依次取2、3、……n，并将第n个中间特征确定为所述编码特征，所述n为大于1的整数。

61、在一种可能的实施方式中，所述特征编码层包括多头窗口注意力层和前馈网络层；所述第一处理模块具体用于：

62、通过所述第一个特征编码层中的多头窗口注意力层对所述时间编码结果和所述第一样本数据进行融合处理，得到融合特征；

63、通过所述第一个特征编码层中的前馈网络层对所述融合特征进行非线性变换处理，得到所述第一中间特征。

64、在一种可能的实施方式中，所述初始模型还包括线性层，所述至少一个特征解码层的数量为m；所述第二处理模块具体用于：

65、通过第一个特征解码层对所述编码特征、所述多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到第一个输出信息；

66、通过第j个特征解码层对第j-1个输出信息和所述编码特征进行处理，得到第j个输出信息；其中，所述j依次取2、3、……、m，所述m为大于1的整数；

67、通过所述线性层对第m个输出信息进行处理，得到所述预测气象数据。

68、在一种可能的实施方式中，所述更新模块具体用于：

69、根据所述预测气象数据和所述标注气象数据，确定损失函数的损失值；

70、根据所述损失值更新所述初始模型的模型参数。

71、第四方面，本技术实施例提供一种气象数据预测装置，包括：确定模块、获取模块和处理模块，其中，

72、所述确定模块用于，确定目标时刻对应的参考气象数据；

73、所述获取模块用于，获取所述目标时刻对应的历史时段内的多类型气象数据；

74、所述处理模块用于，通过目标模型对所述参考气象数据和所述多类型气象数据进行处理，得到所述目标时刻对应的预测气象数据；其中，所述目标模型为根据第一方面任一项所述的方法训练得到的。

75、第五方面，本技术实施例提供一种电子设备，包括：存储器和处理器；

76、所述存储器存储计算机执行指令；

77、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行第一方面任一项所述的模型训练方法。

78、第六方面，本技术实施例提供一种电子设备，包括：存储器和处理器；

79、所述存储器存储计算机执行指令；

80、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行第二方面任一项所述的气象预测方法。

81、第七方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的模型训练方法。

82、第八方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时用于实现第二方面任一项所述的气象预测方法。

83、第九方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所示的模型训练方法。

84、第十方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第二方面任一项所述的气象预测方法。

85、本技术实施例提供一种模型训练方法、装置及设备，电子设备可以获取第一样本数据和第二样本数据。可以通过初始模型的时间编码层对多个第一时刻进行时间编码，得到每个第一时刻对应的时间编码结果，并通过初始模型的至少一个特征编码层对时间编码结果和第一样本数据进行编码处理，得到编码特征，进而通过初始模型的至少一个特征解码层对编码特征、多个第二时刻和每个第二时刻对应的参考气象数据进行处理，得到每个第二时刻的预测气象数据，并根据预测气象数据和标注气象数据，更新初始模型的模型参数。由于可以通过时间编码层对第一时刻进行周期性时间编码和时间戳编码，使得初始模型可以学习到气象数据变化的周期性特点和时间特点；初始模型中的任意一个特征编码层中可以包括多头窗口注意力层，可以支持动态调整初始模型的学习范围；初始模型中的任意一个特征解码层的输入信息中可以包括编码特征，使得初始模型在训练的过程中不会减弱前期学习到的特征，综合提高了模型预测的准确性。