基于扩散神经网络的交通缺失数据填补方法

本发明涉及交通，尤其涉及基于扩散神经网络的交通缺失数据填补方法。

背景技术：

1、随着智能交通系统的快速发展，基于深度神经网络的数据驱动方法在解决交通相关问题中日益被广泛探索和应用，如交通流预测和拥堵识别。然而，这些方法对于高质量历史时空交通数据的依赖极大，而来自现实世界传感器设备的数据常常因自然或人为因素(例如传感器故障、网络通信错误或存储异常)而显现不完整或损坏。完整的交通数据对于进一步的任务至关重要，因此需要设计合适的算法，从多维时空交通特征中提取模式以估计缺失值。过去几十年来，已有许多工作致力于解决缺失数据问题。经典的统计时间序列模型，例如自回归积分移动平均模型，用于估计缺失值，但这些模型通常对数据施加线性或平滑性假设，当这些假设不成立时，性能下降。新型的机器学习方法如k近邻因其处理复杂交通问题(例如缺失数据预测和事件检测)的能力而备受关注，通常能更好地捕捉非线性关系。同时，基于矩阵分解和基于张量的降维技术已提出用于解决交通数据填补问题，并在实践中表现良好，然而这些方法需要低秩矩阵，并且对维度信息十分敏感。近期，基于深度学习的方法作为机器学习的一支，显示出对缺失值估计具有显著吸引力。许多研究已经运用深度学习方法填补缺失的交通数据，例如长短时记忆神经网络和双向循环神经网络，并取得了有希望的性能。

2、由于交通网络具有典型的图结构，而道路网络上传感器记录的数据具有很强的空间相关性，因此在填补缺失数据方面，基于图神经网络的方法尚未有效考虑图数据的相关性，导致获得的填补结果并不精确。

3、为此，我们提出基于扩散神经网络的交通缺失数据填补方法。

技术实现思路

1、本发明主要是解决上述现有技术所存在的技术问题，提供基于扩散神经网络的交通缺失数据填补方法。

2、为了实现上述目的，本发明采用了如下技术方案，基于扩散神经网络的交通缺失数据填补方法，具体包括以下步骤：

3、s1.获取和预处理交通数据集：首先，获取路网传感器记录的不包含缺失值的原始交通流量和速度等数据，对数据进行预处理，构建二维矩阵该矩阵中，行代表不同时间点，列代表不同传感器；

4、s2.划分和处理数据集：将交通数据集按时间维度划分为训练集xtrain，验证集xval和测试集xtest，为模拟数据缺失情况，随机删除一定比例的数值，形成含有缺失率的数据集；

5、s3.处理路网拓扑结构图：计算邻接矩阵表示交通网络g中节点之间的关系，使用距离信息计算节点之间的可达性，并基于距离计算邻接矩阵中的值，其计算公式为：

6、

7、其中，dij为节点vi到节点vj的距离，σ为距离标准差，ε为控制加权矩阵稀疏度的超参数；

8、s4.计算正向和反向转移矩阵：计算正向转移矩阵和反向转移矩阵这些转移矩阵描述了节点之间的信息传递方向，描述正向信息传递，描述反向信息传递，其中，随机游走的正向转移矩阵可以由原始邻接矩阵w和度数矩阵d计算得出，其计算公式为：

9、

10、其中，w是原始的邻接矩阵，表示节点之间的连接关系，d是对角矩阵，其对角线元素为节点的度数(即连接到该节点的边的数量)，d的对角线元素计算方式为：

11、di＝∑jwij，

12、其中，di是节点i的度数。然后，反向转移矩阵可以由的转置得到，其计算公式为：

13、

14、s5.构建扩散图卷积网络模型的基本模块：扩散图卷积网络能够通过多次迭代扩散过程来更新节点的特征表示，捕获图结构中的局部和全局信息，它利用转移矩阵和对节点特征进行迭代更新，具体计算公式为：

15、

16、其中，分别为正向转移矩阵和反向转移矩阵，w是邻接矩阵。k是扩散卷积的阶，使用chebyshev多项式近似扩散图卷积网络中的卷积过程，而后得到计算公式为：

17、tk(x)＝2xtk-1(x)-tk-2(x)，

18、以递归方式定义为t0(x)＝i，t1(x)＝x，和是第l层的学习参数，控制各节点如何变换接收到的信息，hl+1是第l层的输出，如果第l层为第一层，则hl为含缺失数据的输入x，如果第l层为最后一层，则hl+1为整个基本模块的最后输出，输出结果为填补后的数据

19、s6.模型训练和数据填补：利用含有数据缺失的训练集xtrain输入模型进行训练，对含有缺失值的数据进行填补形成完整数据，通过计算缺失数据x和完整数据之间的均方误差来评估填补效果；

20、s7.模型优化和停止策略：使用反向传播不断优化模型，并引入提前停止策略，根据验证集xval的均方误差，当误差不再降低时停止训练，得到训练好的数据填补模型；

21、s8.模型评估：将测试集xtest输入训练好的模型，得到填补后的完整数据，计算与真实数据之间的误差指标来评估模型的性能，如平均绝对误差(mae)，均方根误差(rmse)，中位数绝对百分比误差(mape)；

22、s8.实验结果验证：将本发明的实验结果与传统的数据填补方法进行比较，验证模型的有效性和优越性。

23、作为优选，所述s6中模型训练过程中采用了模型优化技术，并引入了提前停止策略，基于验证集的误差监控模型训练。

24、有益效果

25、本发明提供了基于扩散神经网络的交通缺失数据填补方法。具备以下有益效果：

26、(1)、该基于扩散神经网络的交通缺失数据填补方法，本发明采用网络训练方式，能够直接处理包含缺失值的交通数据，并且填补的缺失值更接近真实值，这种方法有助于提高数据填补的准确性和可靠性。

27、(2)、该基于扩散神经网络的交通缺失数据填补方法，本发明引入的扩散神经网络考虑了不同传感器数据之间的相关性，更充分地捕捉了路网的图结构特征，从而更有效地填补数据，这种方法更细致地分析了交通网络的拓扑特征，为数据填补提供了更准确的建模基础。

技术特征：

1.基于扩散神经网络的交通缺失数据填补方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的基于扩散神经网络的交通缺失数据填补方法，其特征在于：所述s5中扩散图卷积网络模型的迭代更新采用

3.根据权利要求1所述的基于扩散神经网络的交通缺失数据填补方法，其特征在于：所述s6中模型训练过程中采用了模型优化技术，并引入了提前停止策略，基于验证集的误差监控模型训练。

技术总结
本发明涉及交通技术领域，且公开了基于扩散神经网络的交通缺失数据填补方法，具体包括以下步骤：S1.数据获取与预处理：获取路网传感器记录的不包含缺失值的原始交通流量和速度数据，对其进行预处理，构建二维矩阵其中行代表不同时间点，列代表不同传感器；S2.数据集划分和处理：将交通数据按时间维度划分为训练集X<subgt;train</subgt;，验证集X<subgt;val</subgt;和测试集X<subgt;test</subgt;，为模拟数据缺失情况，随机删除一定比例的数值，形成含有缺失率的数据集；本发明采用网络训练方式，能够直接处理包含缺失值的交通数据，并且填补的缺失值更接近真实值，这种方法有助于提高数据填补的准确性和可靠性。

技术研发人员：邱忠权,梁瑶,廖壮志,袁红霞,周垲轶,吴兵,唐晓波,李昀泓
受保护的技术使用者：西南交通大学
技术研发日：
技术公布日：2024/3/24