一种针对区域出租车订单需求的联邦预测方法

文档序号:38028154发布日期:2024-05-17 13:05阅读:9来源:国知局
一种针对区域出租车订单需求的联邦预测方法

本发明属于出租车订单预测,具体涉及一种针对区域出租车订单需求的联邦预测方法。


背景技术:

1、随着大数据、智慧交通等行业的快速发展,网约车已经成为了人们普遍使用的出行方式。各公司产生了大量的出租车订单数据。针对历史订单数据进行建模,对未来订单需求进行预测,能够对订单匹配、热点区域筛选等其他任务提供参考依据,有着重要的现实意义。

2、针对交通领域的时序预测问题,近年来,许多研究人员提出了各种模型,包括早期的机器学习方法,如arima,快速新兴的深度学习模型,如st-resnet和convlstm,以及时空图神经网络(st-gnn)领域的多种先进算法,如stgcn、st-mgcn、stdgat和stwave等。鉴于时空图神经网络在处理图结构数据方面的固有优势,各种st-gnn在多个交通流预测数据集上一直表现出优异性能,这些算法同样也可以应用于出租车的订单需求预测问题。

3、传统的机器学习方法训练流程如图1所示,数据被统一收集、汇总后集中于一处,然后进行模型训练。然而,在数据安全逐渐得到重视的环境下,出租车订单数据往往分布在不同的网约车公司中。如图2所示,这些公司处于同一行业,具有竞争关系,其数据具有商业机密和较强的隐私性,无法按照传统的机器学习模型训练方式将数据集中于一处。即使这些数据位于同一城市内,有空间、时间上的相关性,也无法通过共享数据的方式获得更好的共同训练的机器学习模型,公司遇到了“数据孤岛”的困境。因此,如何研究针对出租车订单数据的协同训练机制,在保护参与方的数据隐私安全的情况下,提高模型预测的准确性,有着非常重要的现实意义。

4、联邦学习作为一种分布式机器学习范式,可以在参与者之间不共享原始数据的情况下一起训练全局模型。因此,采用联邦学习机制来解决上述问题是合适的。它的核心理念是:数据不动模型动,数据可用不可见。每一个拥有数据源的节点利用自身的数据单独训练一个模型,之后各节点的模型彼此之间进行交互,通过模型聚合得到一个全局模型,最终各客户端可以基于训练好的全局模型提升本地的预测准确度。但联邦学习存在泄露隐私的风险,尤其是针对时空图神经网络的联邦学习初始化,还需要通过各方数据联合构建全局模型的图结构,如何在这个过程中保护客户端的隐私不被泄露是一个很关键的问题。

5、虽然已有的各类时空图神经网络算法在有效捕捉不同区域订单数据中的时空关系方面取得了显著的进展,但是这些模型和算法都是以集中式方式进行训练的,这一限制影响了处理来自多个企业的数据时可能出现的“数据孤岛”问题。并且联邦学习在时空图神经网络方面的研究仍相对较少,目前仅有在一些初级的图神经网络(如gcn)上的研究,并且还均存在隐私泄露问题。

6、在现有的联邦交通预测解决方案中,模型参数、梯度和其他信息大多以明文形式传输。此外,在数据预处理过程中提供隐私保护的研究也相对不足,而在出租车需求预测的背景下,这一点尤为重要。与交通预测问题不同的是,出租车需求预测问题的图结构是未知的,因此构建图结构依赖于数据集本身,从而在全局模型初始化时构建图结构的过程中面临着隐私风险。


技术实现思路

1、本发明针对城市出租车订单需求预测问题,选择目前较为先进的时空图神经网络模型,提出了一种基于stwave的解决方案即一种针对区域出租车订单需求的联邦预测方法,并设计可以在一定程度上解决各客户端之间“数据孤岛”问题的fed-stwave模型,提高各客户端的本地预测准确率。

2、本发明为解决技术问题所采用的技术方案如下:

3、本发明的一种针对区域出租车订单需求的联邦预测方法,包括以下步骤:

4、步骤s1:密钥生成和分发;

5、通过可信第三方生成同态加密中公钥和私钥的密钥对,并将秘钥对分发给每个客户端;

6、步骤s2:全局模型安全初始化;

7、s2.1:各个客户端基于本地数据集生成本地图结构,并用公钥将其加密后的加密图矩阵发送给服务端;

8、s2.2:服务端对各个客户端的加密图矩阵直接做逐元素加法聚合,得到加密后的全局图结构矩阵,并将其直接分发给各客户端;

9、s2.3:客户端用私钥解密得到全局图结构,与本地图结构进行对比,计算公共节点在全局图结构中的节点占比,得到该客户端的权重系数;并根据全局图结构生成邻接矩阵及本地模型,将本地模型加密后的加密本地模型和权重系数发送给服务端;

10、s2.4:服务端存储各客户端的权重系数并进行模型参数聚合,得到加密后的初始全局模型,并将其发送给各客户端;

11、步骤s3:服务端和客户端的协同训练。

12、进一步的,所述公钥和私钥分别用于客户端发送数据时的加密操作和客户端接收数据时的解密操作。

13、进一步的,步骤s3中,对于服务端,执行n轮全局模型参数更新,对于第t+1轮更新,其具体操作流程如下:

14、步骤s3.1.1:服务端随机选择多个客户端,向各客户端发送加密状态下的第t轮训练得到的全局模型,并发送请求以获取它们的梯度更新信息;

15、步骤s3.1.2:服务端从每个客户端收集加密后的第t+1轮更新的本地模型;

16、步骤s3.1.3:服务端聚合每个客户端加密后的第t+1轮更新的本地模型,以获得加密后的第t+1轮更新的全局模型;

17、步骤s3.1.4:将加密后的第t+1轮更新的全局模型发送给参与下一轮训练的各客户端。

18、进一步的,步骤s3中,对于客户端,其具体操作流程如下:

19、步骤s3.2.1:客户端接收服务端发送的加密状态下的第t轮训练得到的全局模型,用私钥解密得到第t轮训练得到的全局模型;

20、步骤s3.2.2:客户端用本地模型将全局模型的参数复制过来,进行本地训练;

21、步骤s3.2.3:客户端计算本地模型参数更新,并使用公钥获得加密后的第t+1轮更新的本地模型;

22、步骤s3.2.4:客户端将加密后的第t+1轮更新的本地模型发送到服务端。

23、本发明的有益效果是:

24、stwave作为目前先进的时空图神经网络算法,能够有效捕捉和表示复杂交通数据中动态的空间相关性,在解决出租车订单预测问题上具有极大潜力。但是stwave以及在此之前的多种时空图神经网络算法(如stgcn、stdgat、st-mgcn等),目前尚无针对此类算法的联邦化解决方案,因此在应对来自多个企业的数据时,存在着“数据孤岛”问题。

25、本发明以stwave为例设计联邦化解决方案,提供了一个针对区域出租车订单需求的联邦预测框架,提出用于解决出租车订单预测中“数据孤岛”的fed-stwave模型,能够充分利用各方数据训练出全局模型,各客户端再基于全局模型进行本地训练,大大提高了各客户端本地模型的预测准确度。

26、对于出租车订单需求预测问题,现有的图神经网络相关模型仍然需要利用数据本身进行分析和处理,以获得构建全局模型所需的图结构,在这一过程中会泄露客户端数据。而本发明基于同态加密的模型安全初始化技术,客户端在全程不会泄露本地数据,服务端在两阶段对客户端传输的数据进行加密聚合,最终将加密全局模型发送给客户端,对客户端的数据做到了全程保护,提高数据隐私安全。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1