自组网场景下基于区块链和边缘计算的轨道交通网络资源分配方法

本发明涉及一种在多跳自组网场景下基于区块链共识和移动边缘计算辅助的智能轨道交通系统的卸载中继路径规划和资源分配决策方法，通过深度强化学习算法，面向移动边缘计算辅助的智能轨道交通系统，优化计算任务的卸载路径规划和资源分配策略，有效减少系统时延和经济开销的决策优化方法，同时保证轨道交通数据安全存储和有效传输，属于轨道交通中资源分配和系统决策的相关领域。

背景技术：

1、当前，随着智能轨道系统的不断发展，迫切需要通过构建高性能的计算能力来实现各种应用数据的动态聚集、深度挖掘和有效利用。由于列车的计算能力有限，云计算被广泛应用于解决此问题。然而，由于列车的快速移动，云计算架构显然无法满足智能铁路系统中信息处理的实时要求。对此，移动边缘计算(mobile edge computing,mec)技术作为一项新兴技术，很好地解决了上述问题。mec技术在靠近设备的边缘服务器上执行计算任务，满足了敏感的延迟要求。同时，它为用户带来了更高质量的服务。

2、然而，配备mec服务器的车站通常覆盖范围有限，因此，仅考虑列车在mec服务器范围内的情况是不切实际的。多跳adhoc网络是一种没有固定拓扑的分布式通信网络。列车节点可以自发地创建用于列车之间通信的无线网络，用于信息和数据交互。每辆列车不仅可以视为是一个收发器，也是一个路由器。因此，我们考虑将多跳ad hoc网络与mec技术相结合。通过列车之间的多跳传输将任务卸载到mec服务器，这使得服务器覆盖范围更大，同时满足低延迟要求。

3、虽然多跳adhoc网络和mec技术在智能轨道系统中的结合可以带来巨大的优势，但由于其中涉及到大量与轨道交通相关的信息，如何有效地保证数据多跳传输时的安全性和可靠性是值得考虑的。为应对数据安全性问题，新兴的区块链(blockchain)技术被引入到本发明提出的网络架构中。区块链的分布式、不可篡改和安全性等特点使其自然地应用于具有多跳连接的分布式的mec使能的智能轨道系统。

4、然而，多跳adhoc网络和区块链在mec使能的智能轨道系统中的联合应用仍然面临重大挑战。例如，在列车高速移动和网络拓扑快速变化的情况下，如何正确选择路由路径和卸载决策。此外，还需要考虑如何平衡基于mec的智能轨道系统中数据传输、卸载和共识过程造成的延迟和经济成本。因此，在进行系统设计时，应慎重考虑这些问题。

5、同时，针对城市轨道交通数据传输系统中环境状态的高动态性、高维度性等特点，近年来，深度强化学习(deep reinforcement learning,drl)逐渐成为一类热门高效的优化方法。智能体agent按照一定策略对环境施加动作。环境返回给agent即时奖励并转移至下一状态。两者交互过程持续进行直到环境达到最终状态，agent在此过程中不断调整策略以获得最大的长期奖励。drl自提出以来，由于其通用性和有效性而被广泛研究，并不断的被实际应用在各个领域。然而，当前对智能轨道交通系统的相关研究十分欠缺，如何针对该系统的时延、经济成本的性能优化问题，使用drl来进行解决，仍需要仔细斟酌。

6、综上所述，本发明面向基于mec技术的智能轨道系统，提出了一个改进的优化框架。为了使mec服务器能够在更大范围内使用，同时满足低延迟要求，在所提出的网络模型中应用了多跳ad hoc网络。此外，为了有效保证多跳数据传输的安全性和可靠性，还引入了区块链技术中的委托拜占庭容错(delegated byzantine fault tolerance,dbft)共识机制。通过联合考虑路由路径选择、卸载决策和区块大小选择，协同优化卸载通信和计算过程的系统延迟和经济成本。

技术实现思路

1、本发明的主要目的是在场景内资源优化分配最优的角度上，考虑场景内存在多列车和多个配置mec服务器的车站的情况下，以降低系统中计算任务的卸载传输、共识和计算过程中时延和经济成本为优化目标，对场景进行建模，并应用drl算法对模型进行迭代学习，获得省时且低经济成本的路径规划和资源优化分配最优策略。本方法解决了在场景下存在多列车、和多个配置mec服务器的车站的情况下，如何确定最优卸载路径和资源分配策略的问题，并通过执行最优卸载路径和资源分配策略有效减少系统时延和经济成本

2、本发明所适应的多列车、多个配置mec服务器的车站环境场景模型见图1。

3、本发明技术方案中的系统运行原理流程图见图2。

4、本发明系统总延迟与任务数据量关系图见图3。

5、本发明系统总经济成本与任务数据量关系图见图4。

6、本发明系统加权开销与区块间隔关系图见图5。

7、本发明系统总延迟与区块间隔关系图见图6。

8、本发明的多列车、多个配置mec服务器的车站环境场景模型如图1所示，基于多跳自组网与区块链共识的移动边缘计算辅助的智能轨道交通系统的路径规划和资源分配决策方法，其特点在于：在智能轨道交通的某个通信场景下，存在着v辆正在行驶的列车和轨道两侧的车站，车站部署着r个由不同运营商管理的mec服务器。当列车在行驶过程中产生卸载需求时，即使其并未进入mec服务器的通信覆盖范围内，也可以最大限度地利用列车间的多跳ad hoc网络将计算任务卸载至mec服务器。此外，v辆列车中的k辆还作为区块链节点参与区块链共识过程。根据系统实际环境情况设置多跳路由路径模型、通信模型、计算任务模型和区块链模型，并确定时延和经济成本的加权参数。而后构造drl中的状态空间、动作空间和奖励函数，并设置训练网络中的样本空间大小、抽样数量等参数，结合场景模型进行迭代学习，训练深度神经网络参数，用以估计状态动作值。最后在策略网络指导下执行卸载路径和资源分配最优策略，从而有效减少处理实时计算任务的时延和经济成本。具体依次按以下步骤实现：

9、当在行驶过程中产生卸载要求时，请求列车可以最大限度地利用多跳自组织网络将计算任务卸载到mec服务器，即使其尚未进入mec服务器的通信覆盖范围。当最后一个中继列车接收到卸载任务时，启动协商一致过程，当所有协商一致节点成功达成协商一致时，信息的安全性得到保证。

10、步骤(1)，请求卸载的列车通过多跳自组织网络将计算任务卸载到最后一跳中继列车。具体步骤如下：

11、计算任务imv(t)的卸载路由路径中的中继列车集合表示为：(请求列车除外)，任务imv(t)在n跳列车之间的传递延迟可以表示为

12、

13、其中，fcn(t)为数据包沿着n跳路由路径成功的从源列车传递到目的地时的预期传输次数，bmv(t)为任务imv(t)所需的输入数据的大小，rs1(t)是源列车(即请求卸载的列车)和第一辆中继列车之间的传输速率，r(n-1)n(t)为中继列车vn-1和vn之间的传输速率。

14、假设每辆列车存在不同的中继成本。在任务imv(t)的路由路径中，对应中继车辆集合中继成本(每单位数据量)序列为{pr1(t),pr2(t),…,prn(t),…,prn(t)}。因此，列车总中继成本计算为：

15、

16、步骤(2)，最后一跳中继列车在接收到中继任务后，将数据发送到区块链系统进行交易验证和共识，以保证数据真实无篡改。具体步骤如下：

17、共识节点采用授权拜占庭容错(dbft)共识机制对区块和交易进行验证共识，验证签名所需的计算轮数为α，产生和验证消息验证码所需的计算轮数为β，共识过程的时延表示为：

18、

19、其中，sbc(t)为总交易大小，l为平均交易大小，fsp(t)是主节点的计算能力，fk(t)为共识节点k的计算能力，ti(t)表示块生成间隔，tb(t)指节点之间的广播延迟。

20、步骤(3)，最后一跳中继列车通过lte蜂窝网络将计算任务卸载到由不同运营商管理的mec服务器中，服务器在本地进行任务的处理。具体步骤如下：

21、通信场景中存在r个由不同运营商管理的mec服务器。最后一跳中继列车通过lte蜂窝网络将任务卸载至mec服务器所产生的传输时延表示为：

22、

23、其中，rr(t)为数据通过lte蜂窝网络从最后一跳中继列车到mec服务器的上行链路传输速率。

24、在实时环境中每个服务器的可用计算资源和计算成本是不同的，mec服务器的计算能力和计算成本(每单位任务复杂度)分别为和在这一阶段产生的计算延迟和成本分别表示为：

25、

26、和

27、

28、其中，cmv(t)是实现计算任务imv(t)所需的cpu周期数。

29、由此可以计算出系统总延迟和总经济成本为(包括卸载交付过程和计算过程)：

30、tsum(t)＝ttran(t)+tcal(t)＝ttran,v2v(t)+tbc(t)+ttran,v2i(t)+tcal(t)

31、和

32、psum(t)＝prsum(t)+pcsum(t)

33、步骤(4)，根据步骤(1)-(3)，结合场景和优化目标，设置drl中的状态空间、动作空间和奖励函数，具体步骤如下：

34、步骤(4.1)，根据所有列车之间的链路质量pl(t)＝{pij(t)}i,j＝1,2,…,v、所有列车的中继成本pr(t)＝{pr1(t),pr2(t),…,prv(t)}、mec服务器的计算资源f(t)＝{f1(t),f2(t),…,fr(t)}和服务器的计算成本pc(t)＝{pc1(t),pc2(t),…,pcr(t)}，设置状态空间：

35、s(t)＝{pl(t),pr(t),f(t),pc(t)}

36、步骤(4.2)，根据卸载路由路径的选择、卸载决策和区块大小选择，设置动作空间：

37、

38、其中，为多跳路由路径中的中继列车的集合(按连续路由顺序排列)，a0(t)＝{0,1,…,r-1}为卸载决策动作，sbc(t)∈{1,2,…,smax}为调整区块尺寸动作。

39、步骤(4.3)，根据优化目标，设置奖励函数：

40、

41、约束条件：c1:tsum(t)≤τ,

42、c2:tbc(t)≤ε×ti(t),

43、c3:sbc(t)≤smax,

44、其中，w1和w2分别为延迟和经济成本的加权系数，θ为惩罚值，c1表示为完成卸载任务的时间限制，其中τ是最大容许延迟，c2表示区块完成时限，c3表示一个共识过程中总交易规模的限制。

45、步骤(5)，采用基于竞争构架q网络(dueling dqn)算法来解决所述联合优化问题。根据步骤(4)中构建的状态空间、动作空间和奖励函数，设置样本空间大小、抽样数量以及网络层数，对深度神经网络进行训练，通过合并独立于状态的动作的优势函数a(st,at；ω,ξ)和该状态的状态价值v(st；ω,θ)来获得竞争构架q网络的输出状态动作值(q值)：

46、

47、其中，ω为网络卷积层参数，θ为状态值函数的特定全连接层的参数，ξ为动作优势函数的特定全连接层的参数。

48、计算目标网络中的目标q值：

49、qtarget(s)＝r(t)+γmaxa∈aq(s′,a′；ω',θ′,ξ)

50、其中，r(t)为即时奖励，γ为奖励延迟，maxa∈aq(s',a'；ω',θ',ξ)表示下一状态中可选动作中的最大q值。深度神经网络中的参数θ损失函数进行训练，可表示为：

51、l(ω)＝e[(qtarget(s)-q(s',a'；ω',θ',ξ'))2]

52、通过减小损失函数，逐渐将深度神经网络中的参数调整到足以近似描述q值；

53、步骤(6)，根据步骤(5)中训练完成的深度神经网络在各状态下生成所有可选动作的q值，将q值最大的动作作为该状态下的最优动作，持续执行各状态的最优动作，直至执行指令结束。

54、本发明的优势在于，在具有多列车、多mec服务器的通信场景下，通过考虑各列车之间的链路质量、列车中继成本以及各服务器的计算资源和计算成本状态，使工作周期内系统总延迟和经济开销有效减少。通过仿真实验考察基于多跳自组网与区块链共识的移动边缘计算辅助的智能轨道交通系统的路径规划和资源分配决策方法对场景中系统时延和经济成本的加权开销的影响。