一种基于时空嵌入注意力网络的交通流量预测方法

本发明属于交通流量预测领域，具体涉及一种基于时空嵌入注意力网络的交通流量预测方法。

背景技术：

1、随着智慧城市的发展，智慧交通系统开始用于管理、分析和改善城市的交通状况。而交通流量预测作为智慧交通系统的核心技术，受到了广泛的研究。交通流量序列来自于人类活动数据，存在明显的时空分布和周期模式，是一个典型的时空序列。现有的研究主要存在以下两个问题。

2、交通流量的周期模式难以建模：由于人类活动存在明显的周期性，故交通数据的变化呈现一定的周期性。早期的时空神经网络将时间信息作为交通数据的特征进行建模，然而添加时间特征只能对不同时刻的交通数据加以区分，缺少了交通数据的周期信息。随后，注意力时空图神经网络（astgcn）和延迟传播动态远程transformer（pdformer）通过使用多周期的历史数据和对历史的交通序列进行聚类等方法来引入更多的周期信息来提高了模型的预测精度。然而上述方法受限于狭窄的滑动窗口难以建模整体的周期模式。时空身份信息网络（stid）则使用嵌入向量对时间信息进行位置编码，却忽略了天与天之间周期模式的差异。例如，周五和周四同属工作日，两天的上午可能拥有相同的表现，但周五的下午则可能和周四截然不同。因此，如何挖掘交通数据中更细致、更准确的周期模式，并使其具备可解释性仍是一个巨大的挑战。

3、传感器节点间的空间关系难定义：早期convlstm将交通数据处理为网格数据，使用二维卷积建模传感器节点间空间相关性。然而，传感器节点分布在道路网络的拓扑结构中，卷积操作导致空间上临近却不相关的节点也被建模。由于图神经网络优秀的拓朴结构建模能力，扩散卷积循环神经网络（dcrnn）和图小波网络（graph wavenet）将交通数据的空间分布建模为拓扑图，使用图神经网络建模传感器节点的空间相关性。然而，交通序列中的拓扑关系往往是不明确且动态变化的，如何建立准确、动态的拓扑结构成为了研究的重点。自注意力机制本质是一个动态的全连接图，其由输入决定融合权重的特性成为了建模动态空间相关性的首选方法。注意力时空图神经网络（astgcn）和图多注意力网络（gman）开始将自注意力机制应用到时空特征的动态建模。但是上述方法仍基于预定义的邻接矩阵，先验知识的好坏可能决定了模型空间相关性建模的能力上限。因此，如何避免先验知识的限制，从数据本身挖掘出节点间的空间相关性是影响预测精度的关键。

技术实现思路

1、为了解决上述问题，本发明提出了一种基于时空嵌入注意力网络的交通流量预测方法，时空嵌入注意力网络（stean）由时间趋势层、时空位置编码器和空间掩码注意力层构成，在时间趋势层中使用一维卷积提取交通序列的时间趋势，在时空位置编码器中使用时间点在周期中的时间位置和传感器的索引对时间趋势进行时空位置编码，使用嵌入向量隐式的学习历史序列中的周期模式和节点间的空间相关性；并使用可学习的空间位置编码构建掩码矩阵，使用注意力层建模节点间的空间相关性；该方法实现了交通流量的准确预测。

2、本发明的技术方案如下：

3、一种基于时空嵌入注意力网络的交通流量预测方法，包括如下步骤：

4、步骤1、从公开网站上获取现有交通流量数据集，对现有交通流量数据集进行滑动窗口采样，得到用于训练的历史交通流量数据、时间信息、空间信息和未来交通流量标签数据；

5、步骤2、根据设定的时间周期长度和传感器节点分别构建时间和空间的位置编码矩阵；

6、步骤3、使用空间位置编码矩阵计算传感器节点间的余弦相似度，得到空间掩码矩阵；

7、步骤4、使用时间和空间的位置编码矩阵、空间掩码矩阵构建基于时空嵌入注意力网络的交通流量预测模型，并对交通流量预测模型进行训练；

8、步骤5、采集前一个时间段的交通流量数据，输入训练完成的交通流量预测模型，对未来一个时间段的交通流量数据进行预测。

9、进一步地，所述步骤1中，将历史交通流量数据视作一个时空序列，其中，表示传感器节点的数量；表示历史数据的时间点总数，对应历史交通流量的输入长度；表示第一个传感器节点的历史数据在第一个时间点的交通流量；表示第一个传感器节点的历史数据在第个时间点的交通流量；表示第个传感器节点的历史数据在第一个时间点的交通流量；表示第个传感器节点的历史数据在第个时间点的交通流量；

10、将时间信息定义为，由周几、时间点、是否为节假日和每天的时间切片数构成；其中，表示设定周期内的时间点总数；时间信息的具体公式如下：

11、 (1)；

12、将空间信息定义为；

13、将交通流量预测问题定义为一个时空序列预测问题，使用历史交通流量数据、时间信息和空间信息，学习一个映射函数，得到未来时刻的交通流量数据，其中表示预测交通流量的输出长度，具体公式如下：

14、 (2)。

15、进一步地，所述步骤2的具体过程为：

16、步骤2.1、在时间上构建一个时间嵌入矩阵，其中表示嵌入向量的维度；使用时间信息从时间嵌入矩阵中取出对应的时间位置向量对序列中提取的趋势信息进行时间位置编码，进而得到时间位置编码矩阵；时间位置编码过程描述为下列公式：

17、 (3)；

18、 (4)；

19、其中，为设定周期内第个时间点的时间嵌入向量；

20、步骤2.2、在空间上构建一个空间嵌入矩阵，使用空间信息从空间嵌入矩阵中取出对应的空间位置向量对序列提取的趋势信息进行空间位置编码，进而得到空间位置编码矩阵；空间位置编码过程描述为下列公式：

21、 (5)；

22、 (6)；

23、其中，为在第个传感器节点的空间嵌入向量。

24、进一步地，所述步骤3中，空间掩码矩阵的构建过程表示为：

25、 (7)；

26、 (8)；

27、其中，为空间嵌入向量间的余弦相似度矩阵；为负无穷；为空间掩码矩阵的余弦相似度阈值；余弦相似度矩阵中大于等于阈值的位置掩码赋值为0，小于阈值的位置掩码赋值为负无穷。

28、进一步地，所述步骤4中，构建的交通流量预测模型包含多个时间趋势层、一个时空位置编码器和一个空间掩码注意力层；每个时间趋势层包括两个一维时间卷积层和一个残差连接；堆叠多个时间趋势层，底层的时间趋势层提取局部的走势，顶层的时间趋势层则汇总全局的走势；使用处理得到的历史交通流量数据和未来交通流量标签数据训练交通流量预测模型。

29、进一步地，所述步骤4中，交通流量预测模型的工作过程为：

30、步骤4.1、将历史交通流量数据输入第一个时间趋势层，历史交通流量数据首先经过两个并行的一维卷积层提取特征，随后经过门控单元控制信息的流动，最后使用残差连接来避免梯度消失，整个过程描述为下列公式：

31、 (8)；

32、其中，表示第个时间趋势提取层输出的时间趋势信息；表示哈达玛积；表示tanh激活函数；表示sigmoid激活函数；、分别是两个时间卷积层的权重；、分别为两个时间卷积层的偏置；

33、步骤4.2、使用跳跃连接将不同尺度的时间趋势信息进行融合，得到最终的时间趋势信息，整个过程描述为下列公式：

34、 (9)；

35、其中，表示使用的时间趋势提取层的层数，表示最终的时间趋势特征；

36、步骤4.3、堆叠多个时间趋势层得到多个尺度的时间趋势信息；

37、步骤4.4、通过时空位置编码器将时间位置编码矩阵、空间位置编码矩阵与最终的时间趋势信息级联在一起，对时间趋势信息进行时空位置编码，得到时空位置编码后的时间趋势信息；时空位置编码过程描述为下列公式：

38、 (10)；

39、其中，为级联操作，将进行拼接；

40、步骤4.5、将时空位置编码后的时间趋势信息输入空间掩码注意力层进行融合，得到融合后的时空特征，融合过程表示为：

41、 (11)；

42、其中，为softmax函数；、和分别为查询、键和值的参数矩阵，为的特征维度；

43、步骤4.6、将经过一个多层感知机进行特征维度变换，得到最终预测结果，即未来时刻的交通流量数据，计算公式如下：

44、 (12)；

45、其中，为多层感知机。

46、本发明所带来的有益技术效果如下。

47、本发明考虑交通流量的周期变化规律，提出了时空位置编码器，使用当前时间点在一个周期内（周、月或年）的位置和传感器编号对历史交通流量数据的变化趋势进行时空位置编码，有效的建模了交通流量的周期模式，提升了交通流量的预测精度；

48、本发明考虑传感器节点间空间相关性难以预定义的问题，提出了空间掩码注意力层，使用学习得到的空间位置编码矩阵创建空间掩码矩阵，在相关的传感器节点间建模动态的空间相关性，突破了预定义邻接矩阵的限制，实现了交通流量预测精度的提升；

49、本发明基于时空嵌入注意力网络的交通流量预测方法，创新性地提出了使用时空位置编码和空间掩码注意力建模交通流量的周期性和动态空间相关性，解决了传统统计模型和现有深度学习预测方法难以进行周期性建模和难以预定义空间邻接矩阵的问题。