基于改进Transformer模型的海洋温度长期预测方法及装置与流程

本技术涉及海洋温度预测，具体涉及一种基于改进transformer模型的海洋温度长期预测方法、基于改进transformer模型的海洋温度长期预测装置以及一种transformer模型。

背景技术：

1、海洋表面温度(sst)是太阳辐射、海洋热力、动力过程以及海气相互作用的综合结果，是海表面水汽和热量交换的一个重要物理参数，因此从气候研究到沿海生态系统维护等多个应用都需要对海洋表面温度(sst)进行预测。传统的sst预测主要包括数值预测和经验统计预测，预测技术多依赖于物理模型，存在一定的技术瓶颈。

2、随着大数据、人工智能等关键技术的发展，以及计算机硬件性能的提升，机器学习、深度学习等数据驱动方法逐渐受到研究者们的青睐，这些方法通过一个比较泛化的学习过程从输入数据中学习，具有非线性、容错性、自适应性等特点，能够绕开传统预测方法的技术瓶颈。

3、目前海洋温度预测领域中比较流行的深度学习方法有lstm、tcn、transformer等方法。

4、lstm

5、长短期记忆网络(lstm)是rnn的一种变体，传统rnn通过每个时间步状态的叠加，算出当前时刻的状态，进而得到当前时刻的输出。随着输入序列的增长，rnn会出现长期依赖问题，长期依赖产生的原因是当神经网络的节点经过许多阶段的计算后，之前比较长的时间片的特征已经被覆盖。为了解决该问题，lstm在rnn基础上引入了门机制用于控制特征的流通和损失，所以lstm能很好的去学习长序列输入。

6、lstm应用在sst预测上通常会采用encoder-decoder架构，即采用两个lstm分别作为编码器和解码器，编码器用来对输入序列进行编码，解码器用来输出预测序列。由于lstm解码采用的是自回归预测，即每个时刻的输入是上一时刻的预测值，当输出序列变长时，预测结果的误差就会累积放大。所以lstm只能进行短期的预测，预测时间长度通常为7至30天。

7、(2)tcn

8、时间卷积网络(tcn)是一种应用在时间上的cnn。在实际应用中，rnn在内部设计上存在一个严重的问题：由于网络一次只能处理一个时间步长，后一步必须等前一步处理完才能进行运算。这意味着rnn不能像cnn那样进行大规模并行处理，特别是在输入序列较长时。这也意味着rnn极度地计算密集，因为在整个任务运行完成之前，必须保存所有的中间结果。

9、cnn在处理图像时，将图像看作一个二维的“块”(m×n的矩阵)。迁移到时间序列上，就可以将序列看作一个一维对象(1×n的向量)。通过多层网络结构，可以获得足够大的感受野。这种做法会让cnn非常深，但是得益于大规模并行处理的优势，无论网络多深，都可以进行并行处理，节省大量时间。尽管cnn利用其出色处理空间信息的优势，去学习时序的全局信息，但无法学习每个时间点的顺序信息，难以捕捉数据的时间依赖。

10、(3)transformer

11、transformer是一种使用自注意力机制(self-attention)与位置编码的模型，同时transformer也采用encoder-decoder架构，相比于lstm，自注意力机制更容易捕获句子中长距离的相互依赖的特征，因为lstm需要根据时间序列计算预测值，对于远距离的相互依赖的特征，要经过若干时间步的信息累积才能将两者联系起来，而距离越远，有效信息也就越难提取。但是，自注意力机制在计算过程中直接将任意两个时间点之间的联系通过一个计算结果直接表示，远距离依赖特征之间的距离被极大缩短，有利于有效地利用这些特征。

12、transformer输出的每个时间步的预测结果，都是该时间步之前所有历史数据的汇聚，所以会导致两个问题：

13、模型计算复杂度为o(n2)。

14、随着预测时效的延长，直接使用自注意力机制难以从复杂时间模式中找到可靠的时序依赖。

15、这两个问题使得transformer不能对sst进行有效的长期预测。

16、因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。

技术实现思路

1、本发明的目的在于提供一种基于改进transformer模型的海洋温度长期预测方法来至少解决上述的一个技术问题。

2、本发明的一个方面，提供一种基于改进transformer模型的海洋温度长期预测方法，所述基于改进transformer模型的海洋温度长期预测方法包括：

3、获取海洋温度数据；

4、提取所述海洋温度数据的特征信息；

5、获取改进的transformer模型；

6、将所述特征信息输入至所述改进的transformer模型，从而获取海洋温度预测数据。

7、可选地，所述改进的transformer模型包括编码器以及解码器；

8、所述将所述特征信息输入至所述改进的transformer模型，从而获取海洋温度预测数据包括：

9、将所述特征信息输入编码器，获取经过编码器编码的输出信息；

10、将预处理趋势项以及预处理季节项作为解码器初始输入，将所述经过编码器编码的输出信息作为解码器的中间输入，从而获取解码器生成的最终季节项和最终趋势项，将所述最终季节项和最终趋势项信息融合从而得到海洋温度预测数据。

11、可选地，所述将所述特征信息输入编码器，获取经过编码器编码的输出信息包括：

12、将所述特征信息通过编码器中的编码器稀疏自相关计算模块进行计算，从而获取经过自相关计算的特征信息；

13、将自相关计算的特征信息经过第一编码器小波分解模块进行分解，从而获取编码器季节项；

14、将编码器季节项输入到编码器前向编码模块以及第二编码器小波分解模块从而获取经过编码器编码的输出信息。

15、可选地，所述预处理趋势项以及预处理季节项通过如下方式获取：

16、将所述特征信息中的部分信息输入至预处理小波分解模块，从而获取预处理趋势项以及预处理季节项。

17、可选地，将预处理趋势项以及预处理季节项作为解码器初始输入，将所述经过编码器编码的输出信息作为解码器的中间输入，从而获取解码器生成的最终季节项和最终趋势项，将所述最终季节项和最终趋势项信息融合从而得到海洋温度预测数据包括：

18、通过解码器中的解码器稀疏自相关计算模块对预处理季节项进行自相关计算，从而获取经过自相关计算的预处理季节项；

19、将经过自相关计算的预处理季节项进行第一解码器小波分解模块进行分解，从而获取第一解码器季节项以及第一解码器趋势项；

20、将第一解码器季节项以及经过编码器编码的输出信息经过编码-解码交叉自相关计算模块进行计算，从而获取经过编码-解码交叉自相关计算的解码器季节项；

21、将经过编码-解码交叉自相关计算的解码器季节项进行第二解码器小波分解模块进行分解，从而获取第二解码器季节项以及第二解码器趋势项；

22、将第二解码器季节项输入到解码器前向编码模块以及第三解码器小波分解模块，从而获取第三解码器季节项以及第三解码器趋势项；

23、将所述第一解码器趋势项、第二解码器趋势项、第三解码器趋势项与初始趋势项相加从而获取最终趋势项；

24、将最终趋势项通过一个全连接层进行特征映射，再将映射后的新序列与第三解码器季节项相加，从而获取海洋温度预测数据。

25、可选地，所述编码器系数自相关计算模块采用如下公式获取经过自相关计算的特征信息：

26、；其中，

27、selfcorrelation(xen)为经过自相关计算的特征信息、xen为编码器输入信息、τ为估计周期、为自相关权重系数。shift(xen,τi)表示将输入时序进行τi个滞后时延。

28、可选地，所述采用如下公式获取：

29、

30、；其中，为自相关系数，表示把原始时序时延τi个时间步后的新序列与原始时序的相关程度，softmax函数是把每个自相关系数转成0到1范围的自相关权重系数

31、可选地，所述采用如下公式获取：

32、

33、；其中，表示原始序列的t时刻时间点信息，表示原始时序的t-τ时刻时间点信息，l为原始序列长度。

34、本技术还提供了一种基于小波分解与稀疏自相关transformer的海洋温度长期预测装置，所述基于小波分解与稀疏自相关transformer的海洋温度长期预测装置包括：

35、海洋温度数据获取模块，所述海洋温度数据获取模块用于获取海洋温度数据；

36、特征信息提取模块，所述特征信息提取模块用于提取所述海洋温度数据的特征信息；

37、transformer模型获取模块，所述transformer模型获取模块用于获取改进的transformer模型；

38、海洋温度预测数据获取模块，所述海洋温度预测数据获取模块用于将所述特征信息输入至所述改进的transformer模型，从而获取海洋温度预测数据。

39、本技术还提供了一种transformer模型，用于如上所述的基于改进transformer模型的海洋温度长期预测方法，所述transformer模型包括：

40、编码器，所述编码器包括供特征信息依次进入的编码器稀疏自相关计算模块、第一编码器小波分解模块、编码器前向编码模块以及第二编码器小波分解模块；

41、解码器，所述解码器包括解码器稀疏自相关计算模块、第一解码器小波分解模块、编码-解码交叉自相关计算模块、第二解码器小波分解模块、解码器前向编码模块以及第三解码器小波分解模块；其中，

42、所述解码器稀疏自相关计算模块用于对预处理季节项进行自相关计算，从而获取经过自相关计算的预处理季节项；

43、所述第一解码器小波分解模块用于将经过自相关计算的预处理季节项进行分解，从而获取第一解码器季节项以及第一解码器趋势项；

44、所述编码-解码交叉自相关计算模块用于将第一解码器季节项以及经过编码器编码的输出信息进行计算，从而获取经过编码-解码交叉自相关计算的解码器季节项；

45、所述第二解码器小波分解模块用于将经过编码-解码交叉自相关计算的解码器季节项进行分解，从而获取第二解码器季节项以及第二解码器趋势项；

46、所述解码器前向编码模块以及第三解码器小波分解模块用于将第二解码器季节项进行处理，从而获取第三解码器季节项以及第三解码器趋势项。

47、有益效果

48、本技术的基于改进transformer模型的海洋温度长期预测方法为实现海洋温度长期预测，提出了一种能更有效挖掘时序信息并且降低计算复杂度的方法，来改善transformer在海洋温度长期预测应用中信息利用率低、计算冗余的不足。具体而言，本发明具有以下优点：

49、(1)在信号处理上，传统预测方法通常会先把信号分解成趋势项、季节项等多个潜在的时间模式，再分别对这些组分进行预测，但这样使得预测结果受限于分解效果，并且忽视了长期未来中各个组分之间的相互作用。本技术将小波分解模块内置在编码器以及解码器内，通过内置小波分解模块对输入信号进行渐进式分解，可以让模型去学习到分解量之间的关系依赖，提高模型的预测精度。

50、(2)在网络结构上，使用稀疏自相关模块替代了transformer中的自注意力模块，主要体现在使用了一种基于周期性的时延聚合去优化了自注意力的逐点聚合，这样不仅改善了传统transformer在sst长期预测中信息利用率低，而且使计算复杂度从o(l2)降到o(llogl)。