一种关联时空关系的时序数据预测方法与流程

本发明属于数据处理和回归预测，具体涉及一种关联时空关系的时序数据预测方法。

背景技术：

1、时间序列预测是根据已有的历史数据对未来进行预测，广泛应用于气象湿度数据、油田产量预测、股市、故障检测等方面。实际生产过程获取的时序数据（尤其是气象湿度数据）具有非线性、非稳态、空间相关性强的特点。由于传统方法未考虑空间相关性，导致预测精度不高。此外，由于数据间的空间相关性难以挖掘、特别是如何将时间与空间特征进行融合目前没有较好的解决办法，因此如何细粒度刻画气象湿度数据的时空特性进而时空特征融合是影响预测精度的关键，也是生产动态预测研究的重点。

2、早期研究主要是建立诸如加权滑动平均模型、差分整合移动平均自回归模型之类的自回归参数模型进行预测，简单直观，但极易损失变量间的动态依赖信息。当前典型时序数据多使用传统浅层机器学习如人工神经网络、支持向量机难以挖掘数据间的动态依赖关系，若增加参数则又极易产生过拟合现象，而循环神经网路模型如长短期记忆网络、门控循环单元、最小门控单元、混合门控单元等变体模型，存在长期依赖和累计误差等问题。因此有学者引入自注意力机制开展时序预测，如时间融合变换网络，捕获序列间的长期依赖关系，以并行方式处理，计算速度快。但典型时序数据诸如气象湿度数据，均存在空间关联。例如，多个空气湿度采集点的数据存在相关关联，风向、风速会将某一采集点的水分分散到不同采集点，致使不同采集点的水分存在相互影响，若存在采集点间存在物理屏障如高山则可能采集点间的空间影响较小，若采集点间存在电厂蒸汽塔则传感器采集点空降影响就会变大；传统浅层机器学习仅考虑了时序特征，虽然自注意力机制可以减少长期依赖现象但忽略了数据的空间相关性，导致模型泛化性较差。

3、图神经网络是非欧空间图形数据的表示方法，擅于提取图时空结构特征，分频域和空域两种。空域图神经网络放方法如消息传递网络，能处理有向图但需要全图聚合、计算效率较低。最新的时空变换网络（sttns）提供了基于图卷积网络的空间和时间transformer模块，可有效克服累计误差问题。但该网络使用的图卷积网络仅可处理无向图，无法处理有向图，但空气湿度受风向、风速影响，不同风向的风导致的结果不尽相同，因此应该采用有向图描述湿度传感器采集点的空间关系的普适性、泛化性和鲁棒性更高。图注意力网络通过计算当前湿度采集点的一阶邻居的注意力权重聚合其相邻节点的空间影响特征，适用于有向图计算且精度较高可以用于提取空间依赖关系。

4、综上所述，现有的典型气象时序预测存在以下问题：1）仅从单条数据出发，忽略不同采集点数据间的空间依赖性。2）传统循环神经网络方法存在长期依赖关系，难以挖掘数据间的时序长程相关性，容易出现数据丢失。3）现有图神经网络空间特征提取未考虑时空特征融合，未对时间和空间特征数据分配动态权重，影像数据精度。

5、解决以上问题及缺陷的难度为：

6、早期研究有限制，几乎无法预测气象湿度数据中温度、空气湿度、风向、风速等高度非线性的数据，加入数学约束会提高运算的复杂度，且无法明显提高精度。目前很少人会使用传统方法进行预测。

7、在提取时间特征方面，浅层机器学习参数很复杂导致算法收敛较慢，这使得通过对模型的优化提升多变量时间预测效果的方式几乎不可能，而且其学习算法采用了经验风险最小化原理，无法保证期望风险最小化，这使得模型容易产生过拟合问题，并且容易陷入局部最优。

8、在提取空间特征方面，目前广泛使用的基础图卷积网络仅仅能处理无向图，若使用图注意力网络处理有向图数据则需要考虑如何针对时序数据进行适应，使用有向图表示湿度传感器采集点的空间关系。

9、在融合时间和空间特征方面，目前融合时间和空间特征的方法仅为简单加和，没有为时间特征和空间特征单独分配可供训练的动态权重，极易在融合过程中损失数据产生失真，需要设计一种可供训练的自适应权重时空特征融合模块。

技术实现思路

1、本发明的目的就是为了解决上述背景技术存在的不足，提供一种关联时空关系的时序数据预测方法。

2、本发明采用的技术方案是：一种关联时空关系的时序数据预测方法，包括：

3、包括以下步骤：

4、s1：构建所需气象湿度数据集，所述气象湿度数据集包括空气湿度数据、温度数据、风向数据、风速数据，对气象湿度数据集内的数据进行缺失平滑处理、特高值处理、归一化处理；

5、s2：根据气象湿度数据集内的数据各采集点间是否存在空间相关性建立邻接矩阵；

6、s3：使用邻接矩阵构建基于图注意力网络的空间依赖特征提取模块，用于提取气象湿度数据集内的数据各采集点间的空间依赖特征；

7、s4：使用邻接矩阵构建基于自注意力机制的时间依赖特征提取模块，用于提取气象湿度数据集内的数据各时间点的时间依赖特征；

8、s5：构建使用门控机制的时空特征融合模块用于融合空间依赖特征提取模块和时间依赖特征提取模块的输出特征；

9、s6：组合上述多个模块生成并训练综合预测模型；

10、s7：将气象湿度数据集输入已经训练好的综合预测模型并计算气象湿度预测结果。

11、步骤s1具体包括：

12、1）缺失平滑处理：

13、对气象湿度数据集内的短期缺失数据采取平均取值，取数据缺失点前后三天时序数据进行平均平滑；

14、2）特高值处理：

15、对由传感器失真所引起的非常规特高值进行处理，将重新特高值点前后五天的数据剔除；

16、3）归一化处理：

17、采用归一化方式将有量纲的气象湿度数据集内的数据化为无量纲的纯量时序数据，具体方式如下：

18、；

19、式中，为真实气象湿度数据；、分别对应时序数据的最大与最小值；为归一化的时序数据。

20、步骤s2包括：定义一个有向图结构描述空间采集点的空间关系， n个采集点，各采集点含有 f个属性，气象湿度数据集的有向图 g可以表示为：

21、；

22、式中，湿度传感器采集点结构定义为；其中 v为湿度传感器采集点； e为采集点间是否存在空间影响关系； a为基于空间关系表征的邻接矩阵；

23、气象湿度数据集的图 g为，，为历史数据长，为属性通道数目，分别作为时间依赖特征提取模块和空间依赖特征提取模块的输入；

24、所属图g的图注意力网络的初始邻接矩阵的构建方式为：

25、；

26、式中，表示采集点空间相关关系，表征邻接矩阵；表示采集点 i和 j。

27、步骤s4包括：将气象湿度数据集内的数据按时间顺序组成时序数据序列并输入时间嵌入层，时间嵌入层将时序序列中的属性数据映射到高维空间，将时序数据特征变换为细粒度特征供权重计算层提取时间特征，时间嵌入层处理计算方法为：

28、=；

29、式中，为通过嵌入得到的高维细粒度特征，并作为（ q、k、v）三元组特征的输入项；

30、权重输出层的处理计算方法为：

31、；

32、；

33、；

34、；

35、；

36、；

37、式中，、、分别对应query、key、value三元组；表示 key矩阵的转置；为时间注意力图谱；表示权重计算层的输出； d k表示的模；分别表示query、key、value三元组对应的权重矩阵；

38、信息更新层是一个全连接层，负责将权重输出层计算得到的湿度细粒度特征进行融合并映射到与原始输入数据维度相同维度，为后续提出时空特征融合模块提供时间特征数据：

39、() ；

40、式中，是与维度相同的输出，；表示全连接层；是时间依赖特征提取模块的最终输出，输出包含细粒度的长期依赖特征。

41、步骤s3包括：模块内的图注意力网络以气象湿度数据集={,},和湿度传感器采集点邻接矩阵输入，计算得到注意力系数后，依据邻接矩阵判断连通关系，当中心湿度传感器采集点和其一阶邻居湿度传感器采集点无空间影响关系时，将对应的注意力系数置0，注意力矩阵中每个元素的计算方式如下：

42、；

43、式中，表示湿度传感器采集点相对于采集点的注意力系数；为连通性表征的邻接矩阵；

44、得到注意力系数后，基于多头注意力机制，对当前中心湿度传感器采集点的邻域采集点加权求和操作得采集点的更新状态：

45、= ；

46、式中，表示湿度传感器采集点的时序数据；表示中心湿度传感器采集点的更新状态；为多头注意力头数；表示向量拼接；表示第头注意力对应的权重矩阵；

47、考虑到输入数的湿度传感器采集点特征包含多个属性通道，参考多头注意力机制，对时序数据的每一通道使用改进图注意力网络提取空间特征后进行拼接，具体传播过程为：

48、=，；

49、式中，表示空间依赖特征提取模块中提取的湿度传感器采集点间空间特征矩阵；表示 gat进行计算时的通道个数；表示中心采集点的在通道上的更新状态；表示向量拼接。

50、步骤s5包括：

51、基于标准门控机制传播方式进行改进：

52、；

53、式中， g(x)表示门控输出，为激活函数，为输入数据；为偏置项， w为权重矩阵；

54、改进时空特征融合模块的训练传播方式为：

55、；

56、；

57、；

58、式中，，分别为时间门控组件和空间门控组件的权重矩阵；是时间依赖特征提取模块、空间依赖特征提取模块的输出；和是对应生成的门控组件；是，是，用于将信息映射到[0,1]；是时空特征融合模块的输出。

59、步骤s6包括：

60、综合预测模型作为隐含层，添加输入层和输出层；

61、其中，输入层主要负责对原始气象湿度数据集内的数据进行增维，数据输入层为一层卷积层，将气象湿度数据集输入数据映射到更高维空间，提供更细粒度特征；

62、在隐含层的综合预测模型中，处理过的气象湿度数据集内部数据通过空间依赖特征提取模块、时间依赖特征提取模块提取气象湿度时空信息 o t， o s后经过时空特征融合模块聚合时空特征后得到门控输出 o g；

63、输出层一层卷积层，负责将时空特征融合模块结果 o g转换为 t+1时刻的气象湿度预测结果 y t+1，即输入数据 x的下一个时刻 t+1的气象湿度预测数据；

64、根据预测输出 y t+1和对应时间气象湿度数据 x t+1计算损失函数，通过反向传播更新所有可训练参数矩阵，并重新预测直至损失收敛或满足早期停止条件，再经过反归一化得到最终的预测序列 y。。

65、本发明不仅解决了传统时序预测方法忽略数据空间相关性，且存在长期依赖现象导致泛化性和数据预测效果较差的问题，还对如何进行时空数据融合，降低数据损失提出了解决的思路与方法，具有考虑全面，准确度高的优点。