基于双向图卷积循环神经网络的不完整时空数据预测方法

1.本发明涉及数据挖掘中的时空数据预测技术，尤其是针对不完整时空数据的修复和预测算法。


背景技术：

2.时空数据预测作为数据挖掘中一个基本研究问题，在预测降水量、交通速度、自行车流量以及共享单车需求量等广泛的实际应用中具有重要意义，然而由于真实数据中不可避免地存在许多缺失值，因此它面临严峻的挑战。通过合理地修复真实数据中的缺失值来进行准确的预测，这些应用的服务质量能够得到大幅度提高，因此有必要针对不完整时空数据的修复和预测展开技术研究。
3.早期的时间序列缺失值修复技术[1][2][3]主要是基于线性模型的方法。静态插补、k阶近邻以及矩阵分解等常规方法[4]忽略不同来自时间间隔之间的时间联系。自回归方法利用序列中的平滑部分来估计缺失值。最近，深度学习取得了很大进展，特别是循环神经网络(rnns)和图卷积神经网络(gcns)。与此同时，基于深度学习的缺失值修复方法[5][6][7][8]也取得了显着的成果。这些修复方法不仅适用于具有单个缺失的时间序列，而且还适用于存在长范围、大区域缺失的时间序列。虽然，基于深度学习的修复方法在一定程度上解决了传统方法所不能解决的问题。但是，这些方法大多数都致力于采用时间动力学去寻找相似变化趋势的片段来修复缺失值。因此，导致这些方法都只注重时空数据的时间相关性，而忽略了数据之间紧密的空间相关性。虽然这些方法能够对特定场合能取得不错的修复效果，但是如果无法在时间维度上找到相似变化趋势的片段，就不能实现长范围、大区域缺失的时间序列更为精准的修复。
[0004]
为了实现对时空数据缺失值的精准修复，需要充分考量时空数据的时间相关性和空间相关性。这里所指的时间相关性指代不同时间间隔的联系，空间相关点指代不同数据观测点之间的依赖。如果忽略了空间相关性，会使得对长范围、大区域缺失片段进行修复时造成很大的不合理性。因此，对时间相关性和空间相关性的全面考量是不完整时空数据修复和预测方法成功的关键。


技术实现要素：

[0005]
为了解决现有技术中的问题，本发明提供一种基于双向图卷积循环神经网络的不完整时空数据预测方法，解决现有技术中针对不完整时空数据不能实现长范围、大区域缺失的时间序列精准修复的问题。
[0006]
为了达到上述发明目的，本发明采用的技术方案如下：
[0007]
一种基于双向图卷积循环神经网络的不完整时空数据预测方法，综合利用长范围时空依赖性和局部时空依赖性进行不完整时空数据修复和未来表征的生成，具体包括下列步骤：
[0008]
(1)对数据进行均值方差标准化，分割出训练集和测试集；
[0009]
(2)根据数据观测点的地理空间信息构造相应的图结构；
[0010]
(3)从正向和反向循环堆叠图卷积循环单元和时空插补单元用于时空数据的修复和未来表征的生成：
[0011]
(4)通过全连接神经网络利用未来表征生成预测结果。
[0012]
所述步骤(3)具体包括：
[0013]
第1步：在长短期记忆网络的基础，加入自定义的节点权重自适应图卷积神经网络加以改进，得到图卷积循环单元，用于提取长范围的时空依赖性；
[0014]
第2步：利用衰减因子γ调整局部时间相关性，并综合来自多层图卷积网络的空间依赖性，得到时空插补单元，用于提取局部的时空依赖性；
[0015]
第3步：来自于时空插补单元的完整表征作为图卷积循环单元的输入，并从正向和反向反复堆叠以完成时空数据的修复和未来表征的生成。
[0016]
本发明的有益效果为：采用本发明所述方法，能够根据输入的带有缺失值的时空数据，生成对未来某个时刻或者多个时刻的预测结果。该方法不仅对单个缺失的时空数据具有很好的修复和预测效果，还能对长范围、大区域缺失的时空数据具有很好的修复和预测效果。
附图说明
[0017]
图1为所提网络模型结构图。
具体实施方式
[0018]
下面结合附图，对本发明的技术方案作进一步的描述。
[0019]
本发明采用双向循环结构来构建修复和预测网络模型。该网络模型整体分为三个阶段：图生成、时空修复以及模型预测阶段。图1给出了所提方法(bgcri)的网络结构图。第一阶段将观测点之间的空间邻接关系表示为对应的图，该图的顶点指代观测点，该图的边编码观测点之间的成对关系。在第二阶段，我们设计了正向和反向方向图卷积循环插补模块，以相同的结构探索复杂的时空模式，分别从正向和反向历史数据中学习缺失值。每个模块利用一个提出的图卷积循环单元(gcru)作为循环分量来提取长程时空信息并初始化缺失值的估计值。此外，还采用时空插补单元(stiu)作为插补分量，分别利用局部时间和空间相关性来获得最终估计。此外，计算正向和反向插补模块之间的差异损失，以提高插补精度。在最后阶段，bgcri使用完全连接的输出层将潜在表示映射到输出空间。
[0020]
网络模型的训练过程如下：
[0021]
1、数据预处理
[0022]
采用北京空气质量数据集来训练和测试本专利所提出的不完整时空数据预测模型。北京空气质量数据集是一年内的隔小时采样，随机选取70％的数据作为训练集，30％的数据作为测试集。北京空气质量数据集本身就存在缺失值，用于检验本专利能否提高不完整时空数据的预测准确性。
[0023]
2、根据数据观测点的地理空间信息构造相应的图结构
[0024]
由于时空数据自然呈现非欧几里德结构，我们建议构造相应的图来捕捉观测点之间的复杂关系。更具体地说，图中的节点是观察点，边表示观察点之间的关系。适当的图形
生成是基于gcn的模型成功的关键。我们在边上编码权重，因为观察点之间的关系强度可能不同。通常，应为具有类似动态模式的观测点之间的边指定较大的权重。根据地理的第一定律(一切都与其他事物有关，但近处事物比远方事物更相关)，我们认为当两个观察点彼此接近时，它们可能共享相似的变化模式。根据这一思想，空间邻接权重矩阵可以通过阈值高斯核加权函数计算，如下所示：
[0025][0026]
其中w
ij
是观测点p
i
与p
j
之间的权重，dist(p
i
，p
j
)是观测点p
i
与p
j
之间的距离。
[0027]
给定未加权的邻接矩阵a，我们可以基于空间邻接权重矩阵为现有边分配权重获得加权邻接矩阵s：
[0028]
s＝a
⊙
ω
[0029]
3、图卷积循环单元
[0030]
考虑到长范围时空序列对缺失值插补的依赖性，我们构建了一个图卷积循环单元，它集成了图卷积运算和长短期记忆网络。为了充分提取观测点之间的空间信息，我们设计了一个节点权重自适应图卷积网络作为图卷积循环单元中的图卷积运算，如下所示：
[0031][0032]
其中x是图信号矩阵，y是卷积后的信号矩阵，q是对应于s的度矩阵，w
k
是加和操作的线性权重。
[0033]
结合上述图卷积，我们提出了一个基本单元：图卷积循环单元，用于从长期历史数据中同步捕获时间和空间依赖性。具体而言，图卷积循环单元遵循长短期记忆网络的结构，并采用节点权重自适应图卷积运算来替换长短期记忆网络中输入到状态和状态到状态转换的完整连接。
[0034]
图卷积循环单元的输出存储着从先前时间步提取的长范围时空信息，可用于估计下一次观测中的缺失值。一个简单的想法是使用估计作为下一个时间步骤的输入，以完成带有有缺失值的时空预测任务。但早期估计的误差可能会在接下来的时间段内迅速扩大。因此，应为图卷积循环单元构建更合适的缺失值估计。我们通过对局部时间和空间模式建模来解决这个问题。其技术细节将在下一节中显示。
[0035]
4、时空插补单元
[0036]
我们设计了一个时空插补单元，通过从时间和空间维度探索局部相关性，可以进一步细化图卷积循环单元的估计。在下一个时间步中，来自时空插补单元的精细估计作为图卷积循环单元的输入，图卷积循环单元和时空插补单元实现良性互动，以全面估计缺失值，并从历史数据中迭代提取特征，从而在循环系统中完成预测任务。
[0037]
局部时间相关性建模：
[0038]
利用衰减因子γ
t
，线性层可用于将修改后的隐藏状态h
t
‑1转换为时间估计矩阵如下所示：
[0039]
γ
t
＝exp{
‑
max(0，w
γ
δ
t
+b
γ
)}
[0040][0041]
其中，δ
t
表示缺失间隔，w.和b.表示对应的参数。
[0042]
局部空间依赖性建模：
[0043]
多层图卷积神经网络可以聚集来自相邻观测点的信息来估计缺失值。但是，如果某些观测点的值在当前时间步长内丢失，则图卷积神经网络无法工作。根据这个想法，我们设计了一个重建层能够使用时间估计矩阵中的值来替换原始矩阵中缺失的值并获得时间完整矩阵x
tc
，如下所示：
[0044][0045]
其中，m
t
是原始矩阵x
t
的缺失状态矩阵。
[0046]
由此，空间估计矩阵能被计算得到，如下所示：
[0047][0048]
时空融合：
[0049]
通过一个回归层，时间估计矩阵和空间估计矩阵可以被整合为时空估计矩阵其中衰减因子γ
t
控制俩者之间的比例，如下所示：
[0050][0051]
经过一个重建层，时空完整矩阵能够获得，该矩阵作为最终估计被放入图卷积循环单元完成一个完整的循环，如下所示：
[0052][0053][0054]
5、双向修复
[0055]
估计误差将被延迟，直到下一次观测真正存在。换言之，如果值在很长时间间隔内丢失，则估计值的验证将进一步延迟。这种延迟使得模型收敛速度慢，导致训练效率低。因此，我们引入双向插补来缓解上述问题并提高估计的准确性。
[0056]
6、模型预测
[0057]
为了达到多步预测的目的，我们将多个图卷积循环单元和时空修复单元堆叠为编码器，对时空模式进行建模，并在正向和反向修复缺失值。通过应用线性变换，将正向的最终表示投影为预测结果。
[0058]
表1展示了本发明所提方法和当前最新最先进的基线方法在北京空气质量数据集(pm2.5和no2数据)上的预测结果对比，包含平均绝对误差(mae)和均方根误差(rmse)。pm2.5和no2的缺失率分别是13％和5％。从预测结果中可以看出，本发明所提出的不完整时空数据预测方法不仅能够对低缺失率的数据起到很好的预测效果，而且能对高缺失率的数据起到惊人的预测效果。
[0059]
表1部分实验结果
[0060][0061]
应理解，上述实施例仅用于说明本发明而不用于限制本发明的范围。对于本发明创造所属技术领域技术人员来说，在不脱离本发明创造构思的前提下，可以做出若干改动或替换，都应当视为属于本发明创造的保护范围。
[0062]
参考文献：
[0063]
[1]volker tresp and thomas briegel.1997.a solution for missing data in recurrent neural networks with an application to blood glucose prediction.in neurips,vol.10.curran associates,usa,971
–
977.
[0064]
[2]tianqi chen and carlos guestrin.2016.xgboost:a scalable tree boosting system.in acm sigkdd.association for computing machinery,usa,785
–
794.
[0065]
[3]melissa j azur,elizabeth a stuart,constantine frangakis,and philip j leaf.2011.multiple imputation by chained equations:what is it and how does it work？international journal of methods in psychiatric research 20,1(2011),40
–
49.
[0066]
[4]jerome friedman,trevor hastie,and robert tibshirani.2001.the elements of statistical learning.vol.1.springer series in statistics new york,usa.
[0067]
[5]jinsung yoon,william r zame,and mihaela van der schaar.2017.multidirectional recurrent neural networks:a novel method for estimating missing data.in time series workshop at the 34th icml.jmlr.org,usa,1
–
5.
[0068]
[6]zhengping che,sanjay purushotham,kyunghyun cho,david sontag,and yan liu.2018.recurrent neural networks for multivariate time series with missing values.scientific reports 8,1(2018),1
–
12.
[0069]
[7]wei cao,dong wang,jian li,hao zhou,lei li,and yitan li.2018.brits:bidirectional recurrent imputation for time series.in neurips,vol.31.curran associates,usa,6775
–
6785.
[0070]
[8]xianfeng tang,huaxiu yao,yiwei sun,charu c aggarwal,prasenjit mitra,and suhang wang.2020.joint modeling of local and global temporal dynamics for multivariate time series forecasting with missing values..in aaai.aaai press,usa,5956
–
5963.