基于Q学习的基于交叉路口的车载自组网路由方法

本发明属于车用无线通信，具体地说，是涉及一种基于q学习的基于交叉路口的车载自组网路由方法。

背景技术：

1、近年来，智能交通系统(itss)已成为一个热门话题。车联网(iov)是汽车互联网的重要组成部分，已成为无线网络研究的研究热点。在车辆自组网(vanets)中，车辆与其他车辆或路测单元(roadside units,rsu)共享状态信息，以促进安全驾驶决策，并通过获得基于位置的服务，改善道路安全，实现轻松的驾驶体验。

2、要在vanets中传递消息，数据包必须通过车辆到车辆(v2v)和车辆到基础设施(v2i)通信的多跳无线通信从源节点发送到目标节点。车载自组网(vanets)中的节点比移动自组网(mobile ad hoc networks,manets)中的普通节点具有更强大的设备和更强的计算能力，因此，它们有负担计算最优下一跳的任务的函数。

3、然而，车载自组网(vanets)的特性使得设计路由协议变得困难：车辆的高速移动性导致节点分布不均匀，通信链路容易断开。此外，网络结构还受到道路拓扑结构的约束。交叉路口、建筑物和障碍物可能会降低信号强度，并产生阴影效应。因此，设计一种高效、可靠的基于车载自组网(vanets)路由协议具有重要意义。

4、现有技术中，为了适应vanets的动态性质和变化的环境，在基于位置的地理路由协议中引入了分段度量和交通意识。因为车辆网络的拓扑结构受城市场景中道路和建筑的限制，所以通过评估每个交叉口相邻路段来选择最佳路径。人们选择源节点与目标节点之间的一组相交序列作为分组传输轨迹。在车联网(iov)领域中广泛使用的一种获取分段和交通信息的方法是通过在交叉路口传输收集器数据包(collector packets,cps)来进行的实时链路评估。cps从当前交叉口转发到下一个路口，收集路口之间各段的网络和交通状态，然后根据链接质量给该段分配权重。在传输数据包时，根据数据包传输率或延迟，选择权重最大的路径来满足需求。在传输数据包时，根据数据包传输率或延迟，选择权重最大的路径进行路由。尽管这些协议适用于各种动态vanet场景，但在数据包通信过程中，路由度量的持续可用性需要节点之间的频繁交互和不断更新计算结果。连续的测量过程需要额外的通信带宽和时间，从而增加了开销和延迟。

技术实现思路

1、本发明的目的在于提供一种基于q学习的基于交叉路口的车载自组网路由方法，主要解决现有车载自组网的中车辆的高速移动性导致节点分布不均匀，通信链路容易断开的问题。

2、为实现上述目的，本发明采用的技术方案如下：

3、一种基于q学习的基于交叉路口的车载自组网路由方法，s1，将用于与车辆通信的rsu与组网中的服务器相连并部署在交叉路口，并将rsu和车辆作为组网的网络节点；

4、s2，服务器根据路段的历史交通流信息对q学习算法进行训练得到q表，并将q表发送到交叉路口的rsu；

5、s3，服务器根据从路段两端的交叉路口的两端交叉口进入和离开路段的数据包的总量的统计信息来估计该路段的资源利用率；

6、s4，当数据包到达交叉路口时，rsu接收数据包并决定将数据包转发到对应的路段，并由该路段中的车辆接收数据包；

7、其中，rsu根据q表选择动作的逻辑为：首先选择交叉路口中四个方向的路段中q值最大的路段，再查看s3中统计的该路段的资源利用率，如果该路段的资源利用率超过设定的阈值，则选择q值第二大的路径作为要选择的路径；

8、s5，车辆将数据包发送给所选择的路径的路段上距离目标车辆更近的车辆或相邻的下一个交叉路口的rsu；具体为，如果在交叉路口的rsu的接收信息范围内，则发送给rsu，否则发送给车辆；其中，数据包从车辆到车辆的通信过程称为v2v通信。

9、进一步地，在本发明中，在步骤s2中，用于迭代更新q表的公式定义如下：

10、

11、式中，表示在当前交叉口处采取行动的动作到达目的地交叉口dk的q值，α为学习率，rt为q学习算法中的奖励；γt为折扣因子；γt的表达式为：

12、γt＝β×spt+(1-β)×dpt

13、式中，β为权重因子，0≤β≤1；spt为车辆密度的影响因子；dpt为从出发点到终点的距离缩短的程度；其中：

14、

15、

16、

17、式中，sij为当前交叉口与下一交叉口之间路段的车辆密度，smax为路段上的最大车辆密度；smin为路段上的最小车辆密度；sbest为最优的路段车辆密度；distt为当前交叉口与目的地交叉口dk的距离。

18、进一步地，在本发明中，在所述步骤s4中，数据包发送的具体过程为：

19、将发送数据包的车辆当前所在路段临近的两个交叉路口作为候选源点交叉路口，按下述规则选择其中的一个候选源点交叉路口作为源点交叉路口，源点车辆将数据包发送到源点交叉路口的rsu，在目的车辆所在路段临近的两个交叉路口是候选目的地交叉路口，按下述规则选择其中的一个候选目的地交叉路口作为目的地交叉路口，源点交叉路口的rsu根据q表信息，把数据包发送到路段上的车辆，该车辆接收数据包并发送到下一个rsu，该rsu再根据q表将数据包发送给路段上的车辆，该车辆发送到下一个rsu，继续该过程，直到将数据包发往目的地交叉路口的rsu，该rsu将数据包发送给目标车辆；

20、其中，在候选源点交叉路口、候选目的地交叉路口中分别选择源点交叉路口、目的地交叉路口的规则如下：对于源点的两个候选的交叉路口而言，它是源点所在路段两侧的交叉路口，分别比较它们到目的地车辆的距离，然后选择距离较短的交叉路口作为源点所在的交叉路口；对于目的地交叉路口而言，根据到目标车辆的距离和车辆运动角度的余弦值来选择目标交叉路口，选择权重ωi最大的候选交叉路口作为目标交叉路口，其中，ωi定义为：

21、

22、式中，

23、

24、

25、

26、式中，c是对距离进行归一化的常数；是目的地车辆在信标间隔δt处的位移向量，是从目的地车辆开始到候选目的地交叉路口之间的位置向量。

27、进一步地，在本发明中，在步骤s4中，选择q表中具体路段的具体过程为：

28、在路由开始时，数据包被转发到源点交叉路口，在源点交叉路口的rsu根据q值将数据包转发到适当的路段；首先，源点交叉路口的rsu通过检查当前的源点交叉路口和目标交叉路口，即二元组，来确定当前所处的状态(state,s)；然后，源点交叉路口的rsu查找q表，选择当前状态下“状态-动作值”最大的动作(action,a)，即将数据包转发给东南西北四个方向中的其中一个方向的路段，源点交叉路口的rsu采取动作，将数据包转发到选中的动作对应的方向的路段，并且数据包通过路径上的v2v通信到达道路临近的交叉路口的rsu，即源点交叉路口的rsu将数据包依次发给道路上的一个或多个中继，然后中继再发给交叉路口的rsu；重复上述过程，直到数据包到达目的地交叉路口。

29、进一步地，在本发明中，在步骤s3中，资源利用状态由数据转发链路的平均负荷来估计，其中，平均负荷的表达式为：

30、

31、式中，r_ini是从交叉路口ii进入道路r的数据包数量；r_outi是从交叉路口ii离开道路r的数据包数量；r_inj是从交叉路口ij进入道路r的数据包数量；r_outj从交叉路口ij离开道路r的数据包数量；ii和ij交叉路口位于待评估的道路r的两端；numr是道路r上被统计的车辆总数。

32、6.根据权利要求5所述的基于q学习的基于交叉路口的车载自组网路由方法，其特征在于，所述步骤s5中，v2v通信的转发策略为：如果源车辆和目的地车辆在同一路段上，则目标地址td是目的地车辆vd，车辆通过贪心策略直接将包转发给目的地车辆；否则，当数据包位于源交叉路口和目标交叉路口之间的路径上时，数据包将首先被转发到接近目的地址的路段上：目标地址td是s4中根据q表在每个交叉路口处确定的下一个交叉路口，在交叉路口之间的路段上执行贪心转发策略，将数据包转发到目标地址；车辆节点选择最接近目的地交叉路口的相邻rsu或目标车辆在同一路段上的邻近车辆作为中继数据包的下一跳；当在通信范围内没有可用的邻居节点时，车辆节点将数据包存储在缓冲队列中，并继续移动，直到它遇到适当的中继，并将数据包转发到下一跳。

33、与现有技术相比，本发明具有以下有益效果：

34、(1)本发明采用分层路由框架，将基于q学习的路由路径规划和基于位置的算法的中继跳选择相结合。首先，将数据包转发到通信条件最好的道路上，然后在道路上选择最合适的中继器，从而提高了传输的可靠性。

35、(2)本发明通过改进的q学习算法计算一个多维q表来实现任意两个交叉点之间的路由路径选择。在q学习中，采用车辆密度等交通流量特征作为参数。代理根据q表进行路由决策。用于交通感知的开销和延迟大大减少。

36、(3)本发明在路由算法中引入了一种拥塞控制机制来防止潜在的网络拥塞。通过实时监控连接状态，一旦网络拥堵，将选择一个替代路段，从而提高了分组传输的成功率。