融合空间局部相关性的多尺度卷积循环单元时空序列预测方法

本发明属于时空序列预测，具体涉及一种融合空间局部相关性的多尺度卷积循环单元时空序列预测方法。

背景技术：

1、时空序列预测涉及到预测对象的运动信息、图像的像素结构以及序列的时序关联，在智慧交通、灾害预警、降水预测等领域具有重大影响和应用价值。目前基于深度学习的时空序列预测方法面临着数据稀缺、复杂场景下准确性低以及鲁棒性低等问题。因此，在处理大规模时空序列数据时，将数据驱动与知识驱动相结合，可以显著提高时空预测的计算效率和预测的准确性，但目前仍存在的两个问题，首先是在循环网络中如何有效捕捉多种空间尺度的时空特征和时空序列的边缘空间信息。其次是在高阶微分项中采用相同的方法设计可学习卷积核会导致高阶微分项的近似精度低，进而出现预测误差。

技术实现思路

1、本发明的目的是提供融合空间局部相关性的多尺度卷积循环单元时空序列预测方法，通过在神经网络中嵌入偏微分方程进行时空序列预测，提高了时空序列预测的准确性和有效性。

2、本发明所采用的技术方案是，融合空间局部相关性的多尺度卷积循环单元时空序列预测方法，具体按照以下步骤实施：

3、步骤1、在时空序列数据集中提取时空序列图像，接着在网络的每一时刻输入一个时空图像序列；

4、步骤2、将每一时刻输入的时空序列图像输入四层多尺度注意力循环单元中，每层多尺度注意力循环单元均包括st-lstm和多尺度卷积空间注意力unet模块；

5、步骤3、将经过四层多尺度注意力循环单元得到的短期记忆状态hnew进行加和，并输入到构建的多阶数泰勒近似物理模块中，用u来表示四层堆叠的hnew特征图之和；

6、步骤4、将最后一层的多尺度注意力循环单元的输出hnew以及多阶数泰勒近似物理模块的输出进行相加，形成最终预测结果。

7、本发明的特点还在于，

8、步骤2中，具体为：

9、首先，将时空图像序列输入st-lstm单元中，得到长期记忆状态ct和短期记忆状态ht，并以逐像素相加的方式将ct和ht进行融合，得到融合后的时空信息特征图像；每个维度融合了当前时刻的时空信息以及历史时刻的时空信息；

10、其次，将长期记忆状态ct和短期记忆状态ht融合得到的时空信息输入到多尺度卷积空间注意力unet模块中，使用多尺度卷积得到不同大小的特征图，然后将经过上采样对齐的不同尺度的特征图进行通道拼接，最后经过编码和解码操作后得到具有全局和局部信息的短期记忆状态hnew和长期记忆状态cnew。

11、多尺度卷积空间注意力unet模块的处理过程为：

12、步骤a、输入时空信息特征图像，使用1×1卷积来改变特征通道的数量，然后使用不同尺寸的卷积核进行逐通道卷积，得到不同尺度的时空特征图；接着，将不同尺度的特征图进行上采样，将经过上采样对齐的不同尺度的特征图进行通道拼接；最后，对拼接后的特征图使用1×1卷积操作，将特征通道的数量增加到输入通道的两倍；

13、步骤b、将经过步骤a后得到的特征图进行下采样，通过最大池化操作使图像尺寸减半，但保持通道数不变；

14、步骤c、将经过步骤a后得到的特征图输入空间注意力机制模块中，生成与原始输入尺寸和通道数相同的加权特征图；

15、步骤d、使用双线性上采样操作将步骤c得到的特征图的大小扩大一倍，然后将编码器中的加权特征图与解码器中经过上采样得到的特征图通过矩阵连接，使得特征通道数加倍；

16、步骤e、使用1×1卷积调整输出通道数，得到与原始通道数相同的输出，最终形成具有全局和局部信息的短期记忆状态hnew和长期记忆状态cnew，公式如下式(1)-(3)所示：

17、output＝sam-unet(ht+ct)  (1)；

18、

19、

20、上式中，sam为空间注意力机制，σ为sigmoid激活函数，tanh为tanh激活函数。

21、在步骤c中，首先利用空间注意力模块对输入的特征图进行全局池化和平均池化；然后，将全局池化和平均池化的结果按照通道拼接，得到维度是h×w×2c的特征图，对拼接的特征图进行卷积操作，得到维度是h×w×1c的特征图，接着通过激活函数进行输出；最终生成与原始输入尺寸和通道数相同的加权特征图。h和w分别表示特征图的高度和宽度，c表示特征通道数。

22、步骤3中，多阶数泰勒近似物理模块的具体处理过程为：

23、步骤a：将u划分为m个x、n个y网格的i个子区域，即为特征图ui；

24、步骤b：分别使用三个微分卷积核对ui进行卷积计算，并将其转换为离散形式；最终得到三个微分特征图

25、步骤c：用耦合系数对三个微分特征图进行耦合，得到子区域的预测结果；

26、步骤d：将所有子区域的结果进行合并，最终得到多阶数泰勒近似物理模块的预测结果

27、步骤b中，具体为：

28、使用泰勒展开式将特征图ui上所有的矩阵点进行一阶微分近似，如式(4)所示：

29、

30、上式中，x,y分别表示水平方向以及垂直方向上的坐标值，t表示当前时刻，x0表示选取的函数进行近似的中心点，ui(1)x0表示x0处的一阶导数，ui(x0)表示在x0处展开点的函数值，(ui(x,y,t)-ui(x0))表示函数在泰勒展开中所选取的展开点ui(x0)与所要近似的点ui(x,y,t)之间的距离；

31、将公式(4)进行离散化，可以近似表示为式(5)：

32、

33、上式中，h表示离散空间间隔，ui(x0)表示在在x0处的展开点，ui(1)x0表示x0处的一阶导数；

34、采用中心差分的方法构建一个离散微分的卷积核来近似一阶导数，可以表示为式(6)：

35、

36、上式中，h表示离散空间间隔，间隔越小近似程度越高，ui(x+h,y,t)和ui(x-h,y,t)表示t时刻(x,y)两侧的函数值；

37、根据上式(6)，构建一个在三点上应用中心差分的卷积核，如式(7)所示：

38、

39、使用泰勒展开式将特征图ui上所有的矩阵点进行二阶微分近似，如式(8)所示：

40、

41、将公式(8)进行离散化，则可以近似表示为式(9)：

42、

43、上式中，ui(2)x0代表x0处的二阶导数，采用中心差分的方法构建一个离散微分的卷积核来近似二阶导数，可以表示为式(10)：

44、

45、根据上式(10)，构建一个在三点上应用中心差分的卷积核，如式(11)所示：

46、

47、使用泰勒展开式将特征图ui上所有的矩阵点进行三阶微分近似，如式(12)所示：

48、

49、将公式(12)离散化，则可以近似表示为式(13)：

50、

51、上式中，u(3)x0是x0处的三阶导数；

52、采用中心差分的方法构建一个离散微分的卷积核来近似三阶导数，可以表示为式(14)：

53、

54、根据上式(14)，构建一个在五点上应用中心差分的卷积核为式(15)：

55、

56、在每阶微分近似的过程中，设定一个误差阈值的大小为1×e-5，通过比较每个阶数微分过程的余项误差与误差阈值的大小，决定是否动态地调整离散空间间隔h；如果微分的泰勒余项误差大于误差阈值，需要减小离散空间间隔h来提高近似精度。如果动态调整后，泰勒余项误差小于误差阈值，则将此近似结果作为此微分阶数的最终结果；最终得到三个微分特征图

57、步骤c中，整个耦合过程通过神经网络来学习不同微分阶数的卷积核以及泰勒公式中的无限微分过程的系数，耦合公式如下式(16)所示：

58、

59、其中，cij为耦合系数，表示对子区域进行不同阶数的微分过程。

60、本发明有益效果是：

61、1)本发明设计了多阶泰勒微分物理模块，使用泰勒展开式近似每个序列的微分阶数，然后将不同微分阶数的微分卷积核进行耦合，最后动态调整离散空间间隔h，提高了高阶微分的近似精度，并缓解了偏微分方程在应用中的局限性；

62、2)本发明设计了多尺度注意力循环单元，将st-lstm的长期记忆状态和短期记忆状态进行像素融合，然后与多尺度卷积空间注意力unet模块进行级联；多尺度卷积空间注意力unet模块使用多尺度卷积和空间注意力机制取代unet的卷积层，以捕获多种空间尺度的时空特征以及边缘时空特征，从而更好地捕获到每个特定对象的运动趋势；

63、3)通过大量的实验结果以及可视化分析，本发明的多尺度卷积循环单元时空序列预测方法合理有效，提高了时空序列预测的准确性和有效性。