一种基于连续演化图神经受控微分方程的交通预测方法

本发明属于交通预测，具体涉及一种基于连续演化图神经受控微分方程的交通预测方法。

背景技术：

1、交通预测是智慧城市建设的关键技术，也是智能交通系统的重要组成部分，对人们的日常生活有着重要的影响。几十年来，交通预测一直是学术界和工业界的研究热点，准确的交通预测可以帮助市民出行时避免道路拥堵和高峰时段，从而节省时间和经济成本；同时，也可以为交通调度、公共安全预警提供可靠的指导，提高道路通行的效率。

2、交通预测任务是，根据历史的交通状况和交通网络，预测未来的交通状况，包括交通流量数据和速度数据。由于交通数据具有复杂且动态的时空依赖，交通预测极具挑战性。近年来，深度学习高度发展，为解决交通预测提供了高效的方法。早期的方法用循环神经网络(recurrent neural networks，rnns)和时间卷积网络(temporal convolutionalnetworks，tcns)去捕获交通数据的时间依赖。另外，这些方法利用卷积神经网络(convolutional neural networks，cnns)去捕获交通数据的空间依赖。但是，这些方法忽略了基于图结构的非欧空间依赖。自然地，图神经网络(graph neural networks，gnns)因为其适用于建模基于图结构的数据，在交通预测中得到了广泛的探索。在这些基于图神经网络的模型中，每个节点表示一个交通监测站，每个边表示站点之间的空间依赖。最近，时空图神经网络(spatio-temporal graph neural networks，stgnns)将用于捕获空间依赖的图神经网络与用于捕获时间依赖的网络相结合，在交通预测上取得了最先进的性能。

3、尽管stgnns取得了重大成功，但仍存在两个局限性。一方面，其使用的数据本质上是现实世界中连续过程的离散观测序列，这意味着在使用rnns或tcns来捕获时间依赖时，都无法反映现实中连续时间过程中的所有历史交通状况对未来交通状况的影响。另一方面，在现实世界中，空间依赖随着时间的推移而不断演变，但stgnns无法捕获这种随时间推移而连续演化的空间依赖。神经受控微分方程(neural controlled differentialequations，ncdes)为解决stgnns的第一个局限提供了思路。最新的方法将ncdes应用在stgnns捕获时间依赖的网络中，其捕获到的时间依赖，可以反映连续时间过程中所有历史交通状况对未来交通状况的影响。但是，这些方法在捕获空间依赖时使用静态图，依旧无法捕获连续演化的空间依赖。

技术实现思路

1、鉴于上述，本发明的目的是提供一种基于连续演化图神经受控微分方程的交通预测方法，通过构建交通预测模型，将交通数据序列转换为在时间上连续的控制路径，利用神经受控微分方程构建空间依赖演化分量，并通过节点嵌入表示构建空间依赖静态分量，将空间依赖演化分量和空间依赖静态分量融合并利用掩码机制进行优化得到连续演化图，最后构建图神经受控微分方程进行求解得到交通数据预测值，能够同时捕获交通数据连续的时间依赖和随时间连续演化的空间依赖，有效提升交通预测精度。

2、为实现上述发明目的，本发明提供的技术方案如下：

3、本发明实施例提供的一种基于连续演化图神经受控微分方程的交通预测方法，包括以下步骤：

4、对给定的交通数据序列进行预处理，构建训练样本；

5、构建包括输入模块、神经受控微分方程模块、图生成融合模块、图神经受控微分方程模块和输出模块的交通预测模型，其中，将交通监测站视为节点，输入模块用于生成随机初始化的节点嵌入并基于每个训练样本生成时间上连续的控制路径，神经受控微分方程模块用于基于控制路径利用神经受控微分方程生成节点的连续隐状态，图生成融合模块用于基于节点的连续隐状态生成空间依赖演化分量和基于随机初始化的节点嵌入生成空间依赖静态分量并将空间依赖演化分量和空间依赖静态分量进行融合得到连续演化图，图神经受控微分方程模块用于基于连续演化图利用图神经受控微分方程求解得到捕获时空依赖后的交通数据预测表示，输出模块用于将捕获时空依赖后的交通数据预测表示转化为交通数据预测值；

6、利用训练样本对交通预测模型进行训练；

7、利用训练好的交通预测模型进行交通预测。

8、优选地，所述对给定的交通数据序列进行预处理，构建训练样本，包括：

9、根据交通传感器采集的交通数据构建交通数据序列，对交通数据序列进行预处理后利用滑动窗口进行划分得到训练数据集；将训练数据集按照固定的批量大小m进行分批，批次总数为b；从训练数据集中选取索引为b的一批训练样本，其中b∈{1，2，...，b}。

10、优选地，所述输入模块用于生成随机初始化的节点嵌入并基于每个训练样本生成时间上连续的控制路径，包括：

11、利用三次样条插值法，将每个训练样本转换为在时间上连续的控制路径x(t)，表示如下：

12、x(t)＝xt，t∈[t1，t2，...，tt]

13、式中，xt为在时间步t处的观测值，t为总时间步；

14、随机初始化所有节点的可学习嵌入表示e，表示节点的静态特征。

15、优选地，所述神经受控微分方程模块用于基于控制路径利用神经受控微分方程生成节点的连续隐状态，包括：

16、给定节点i的控制路径xi(t)，利用神经受控微分方程生成节点i的连续隐状态hi(t)，表示如下：

17、

18、式中，hi(t1)为节点i在t1时刻的初始隐状态，fμ(hi(t))为用神经网络拟合的向量场函数；

19、将所有节点隐状态堆叠成矩阵表示，所有节点连续隐状态h(t)计算过程表示如下：

20、

21、式中，初始隐状态h(t1)由控制路径起点值x(t1)经线性变换得到，计算过程表示如下：

22、h(t1)＝relu(x(t1)wh)

23、式中，wh为可学习参数矩阵，relu为激活函数；

24、拟合向量场函数fμ(h(t))的神经网络由l层全连接层和1层维度转换层组成，表示如下：

25、

26、式中，w1，...，wl为每一层全连接层的可学习参数矩阵，b1，...，bl为每一层全连接层的输出，ψ为维度转换层，以便于fμ(h(t))和进行点乘计算。

27、优选地，所述图生成融合模块用于基于节点的连续隐状态生成空间依赖演化分量和基于随机初始化的节点嵌入生成空间依赖静态分量并将空间依赖演化分量和空间依赖静态分量进行融合得到连续演化图，包括：

28、通过线性变换根据节点的连续隐状态h(t)分别生成自注意力机制中的查询q(t)和键k(t)，查询和键都是随时间连续的，表示如下：

29、q(t)＝h(t)wq

30、k(t)＝h(t)wk

31、式中，wq和wk为可学习参数矩阵；

32、利用自注意力机制获取节点之间空间依赖演化分量ae(t)，表示如下：

33、

34、式中，d为q(t)和k(t)的维度，t为转置，ae(t)为关于时间的函数，表明空间依赖演化分量是随时间连续的；

35、利用节点嵌入机制根据随机初始化的节点嵌入e生成节点之间空间依赖静态分量as，表示如下：

36、as＝softmax(relu(eet))

37、式中，softmax为使用softmax函数来规范化学习到的自适应邻接矩阵，relu为激活函数；

38、将空间依赖演化分量ae(t)和空间依赖静态分量as融合为表示最优空间依赖的连续演化图a(t)，表示如下：

39、a(t)＝(1-β)ae(t)+βas

40、式中，β为控制两种分量比例的超参数。

41、优选地，在图生成融合模块中，通过掩码机制对连续演化图进行优化，包括：

42、根据基于功能相似性的语义掩码机制，利用时间序列相似性来表示两个节点的功能相似性，使用dtw算法计算节点之间的相似性，对每个节点取与其相似性最高的节点作为其语义邻居；

43、根据基于距离的地理掩码机制，利用欧式距离来表示两个节点的地理相似性，距离越短表示地理相似性越大，对每个节点取与其距离最近的节点作为其地理邻居；

44、根据语义掩码机制和地理掩码机制得到掩码矩阵m，对连续演化图进行优化，表示如下：

45、

46、式中，softmax为使用softmax函数来规范化学习到的自适应邻接矩阵，relu为激活函数，a(t)为优化前的连续演化图，为优化后的连续演化图，为矩阵叉乘运算。

47、优选地，所述图神经受控微分方程模块用于基于连续演化图利用图神经受控微分方程求解得到捕获时空依赖后的交通数据预测表示，包括：

48、基于优化后的连续演化图构建向量场函数，表示如下：

49、

50、

51、

52、

53、式中，wz、bz、wr、br、和为可学习参数矩阵，tanh为双曲正切函数，⊙为矩阵点乘运算，h(t)为向量场函数的输出；

54、根据语义掩码机制和地理掩码机制构建两个并行的向量场函数，分别为语义向量场函数和地理向量场函数，这两个向量场函数的输出分别表示为hsem(t)和hgeo(t)，通过连接两个向量场函数构建总向量场函数fε(h(t))，表示如下：

55、fε(h(t))＝cat(hsem(t)，hgeo(t))

56、式中，hsem(t)为语义向量场函数的输出，hgeo(t)为地理向量场函数的输出，cat为连接操作，h(t)为所有节点连续隐状态；

57、基于总向量场函数构建图神经受控微分方程，表示如下：

58、

59、式中，z(t)为图神经受控微分方程的解，即捕获时空依赖后的交通数据预测表示，z(t1)为t1时刻的初始交通数据预测表示，x(t)为在时间上连续的控制路径x(t)。

60、优选地，所述输出模块用于将捕获时空依赖后的交通数据预测表示转化为交通数据预测值，包括：

61、将图神经受控微分方程模块输出的捕获时空依赖后的交通数据预测表示z(t)转化为交通数据预测值表示如下：

62、

63、式中，t∈[tt+1，tt+2，...，tt+t′]，t为交通数据的历史数据总时间步，t′为交通数据的未来预测总时间步。

64、优选地，所述利用训练样本对交通预测模型进行训练，包括：

65、基于训练样本对应的真实值和交通预测模型输出的预测值之间的误差计算预测损失根据每个批次所有样本的损失对交通预测模型中的网络参数进行调整，直到所有训练样本都参与了模型训练并达到指定迭代次数，得到训练后的交通预测模型。

66、优选地，所述利用训练好的交通预测模型进行交通预测，包括：

67、将待预测的交通数据序列输入到训练好的交通预测模型中，根据n个交通监测站过去t个时间步的历史数据，预测未来t′个时间步的交通数据，实现交通预测。

68、与现有技术相比，本发明具有的有益效果至少包括：

69、(1)本发明方法利用自注意力机制和节点嵌入机制显式地建模空间依赖演化分量和空间依赖静态分量，将两种分量融合为最优空间依赖，能够捕获交通数据中复杂且不断演化的空间依赖。

70、(2)本发明方法在图生成融合模块中通过语义掩码机制和地理掩码机制对连续演化图进行优化，能够进一步增加交通预测模型的表达能力。

71、(3)本发明方法利用基于连续演化图的图神经受控微分方程模块得到交通数据预测表示，不仅能够捕获连续的时间依赖，而且能够捕获连续演化的空间依赖，有效提升预测精度。