面向应急通信场景的无人机动态轨迹优化方法及系统

本发明涉及无人机通信领域，更具体地说，它涉及面向应急通信场景的无人机动态轨迹优化方法及系统。

背景技术：

1、目前，常见的传统应急通信方式有陆地移动无线电系统、卫星通信和车载应急通信系统等。无人机可以作为移动空中基站，为战场、灾难现场、拥挤的道路、盲区和农村地区的地面终端提供应急通信服务。

2、无人机辅助应急通信网络存在网络拓扑变化快、热点内容高度动态等问题，传统以基于主机地址寻址和端到端连接为特征的ip网络在时效性、移动性和安全性方面存在一定缺陷。因此，采用命名数据网络为代表的未来网络范式，以信息为核心的理念，加上基于内容名字的路由和泛在网络缓存等特性，将更适用于无人机辅助应急通信网络进行业务感知。

3、此外，无人机辅助地面通信需要解决的主要问题是如何部署无人机以及如何根据地面需求对无人机轨迹进行动态调整。现有研究中，以无人机的能耗、吞吐量、时延、覆盖范围等为优化目标，研究其3d部署及轨迹优化的比较常见，大多数忽略了应急通信场景的业务需求差异和紧急程度对优化目标的影响。即较少考虑应急通信场景的业务需求差异和紧急程度对优化目标的影响，不能及时满足紧急业务的需求，缺乏实际应用能力。

4、因此，如何感知业务，并根据业务差异快速响应紧急任务是目前应急通信网络亟需解决的问题。

技术实现思路

1、本发明的目的是提供面向应急通信场景的无人机动态轨迹优化方法及系统，本发明可以显著提高在应急通信场景下发出的紧急业务的响应率，并有效降低无人机的平均能耗，提升无人机在应急通信场景的应急通信能力。

2、本技术的第一方面，提供了一种面向应急通信场景的无人机动态轨迹优化方法，方法包括：

3、基于命名数据网络构建应急通信场景的业务感知模型，其中业务感知模型是指动态调整无人机轨迹为用户发送的紧急业务提供数据传输服务，其中应急通信场景是指由无人机集合、救援人员设备集合和普通用户设备集合建立的应急通信网络，无人机、救援人员设备和普通用户设备在应急通信网络内均采用命名数据网络的协议进行数据传输；

4、建立使无人机对用户端的覆盖率和加权业务响应率达到最大，无人机平均能耗达到最小的优化问题，并将所述优化问题表述部分可观察马尔可夫决策过程模型；

5、建立无人机群智能体，利用多智能体深度确定性策略梯度算法以所述部分可观察马尔可夫决策过程模型输出的效用函数对所述无人机群智能体进行训练；

6、根据训练好的无人机群智能体对本地状态数据进行决策，以调整无人机的飞行轨迹及服务的业务类别。

7、在一种实现方式中，在基于命名数据网络构建应急通信系统的业务感知模型之前，方法还包括：添加一种push的数据主动传输机制对命名数据网络的协议进行扩展，以使当内容发布后由内容生产者直接推送给用户端。

8、在一种实现方式中，基于命名数据网络构建应急通信场景的业务感知模型，包括：

9、在兴趣包和数据包中增加请求信息，其中请求信息包括请求者身份和业务类别，请求者身份包括普通用户设备或救援人员设备，业务类别包括紧急业务、实时业务或非实时业务；

10、为紧急业务、实时业务和非实时业务划分不同权重系数，分别为λ1、λ2和λ3，且满足条件λ1＞＞λ2>>λ3，条件λ1>>λ2>>λ3表示优先处理紧急程度高的业务。

11、在一种实现方式中，在命名数据网络中增加紧急业务队列，将三种不同紧急程度的兴趣包信息分别存储在不同优先级的紧急业务队列中，将存储有不同紧急程度的兴趣包信息的紧急业务队列添加到未决兴趣表，以使无人机节点优先响应紧急程度高的请求。

12、在一种实现方式中，当救援人员设备和/或普通用户设备向无人机发起请求后，无人机会在应急通信场景内广播兴趣包，在应急通信场景中的路由节点接收到兴趣包后，业务感知模型的具体处理过程为：

13、s1.1、查询路由节点的本地内容存储库中是否已经缓存与兴趣包对应的数据包的副本，若查询命中，返回给请求者并丢弃对应的兴趣包；否则，跳转至s1.2和s1.3；

14、s1.2、查询路由节点的未决兴趣表中是否已记录兴趣包的条目，若查询命中，记录兴趣包的来源信息和转发接口并等待对应的数据包；否则，跳转至s1.3；

15、s1.3、查询路由节点的转发信息库中是否已记录兴趣包转发的一个或多个下一接口，若查询命中，转发兴趣包到对应的接口；否则，跳转至s1.4；

16、s1.4、以相同的方式向所有与路由节点相邻接口连接的所有路由节点广播兴趣包；

17、其中，兴趣包是指上行数据，数据包是指下行数据。

18、在一种实现方式中，当救援人员设备和/或普通用户设备发送的请求被响应，救援人员设备和/或普通用户设备会在应急通信场景内广播数据包，在应急通信网络中的路由节点接收到数据包后，业务感知模型的具体处理过程为：

19、s2.1、查询路由节点的未决兴趣表中与数据包对应的兴趣包正在等待响应，若查询命中，记录兴趣包中源地址信息，并删除未决兴趣表中对应的记录，跳转至s2.3；否则，跳转至s2.2；

20、s2.2、查询路由节点的转发信息库是否有与数据包对应的转发信息，若查询命中，根据转发信息库和记录的源地址信息选择最短路径将数据包转发到所有需要数据包的路由节点，跳转至s2.3；否则，丢弃数据包；

21、s2.3、根据最少使用的缓存策略判断数据包是否在路由节点缓存，如果需要缓存，则缓存至本地；否则，不缓存数据包。

22、在一种实现方式中，所述效用函数的表达式为：其中，it表示t时刻的覆盖率，jt表示t时刻的加权业务响应率，kt表示t时刻的平均能耗，γi、γj和γk分别代表覆盖率、加权业务响应率和平均能耗对应的折扣因子，τ表示目前时刻；

23、其中，折扣因子满足以下约束条件：γi≥0,γj≥0,γk≥0&γi+γj+γk＝1。

24、在一种实现方式中，建立无人机群智能体，建立无人机群智能体的状态空间、动作空间和奖励函数；将所述优化问题表述部分可观察马尔可夫决策过程模型，包括：

25、初始化经验回放池；

26、在每个时刻t开始时，无人机群智能体i根据当前策略网络πi、当前状态si＝{ou,od,oi}和噪声，选择并执行一个动作ai,t，ai,t～πi(·|si,t)，同时，无人机群智能体i与发起紧急请求的救援人员设备和/或普通用户设备建立连接并响应紧急业务；

27、在无人机群智能体i与相应的目标设备之间建立通信链路之后，无人机群智能体i将当前状态si,t转移至第二状态si,t+1，并获取到奖励数据ri,t，ri,t为无人机群智能体i在时刻t获得的奖励数据；

28、在状态转移以及奖励数据获取完成后，经验回放池记录状态转移(xt,xt+1,at,rt)，xt+1为智能体在时刻t+1的状态数据集合。

29、在一种实现方式中，利用多智能体深度确定性策略梯度算法以所述部分可观察马尔可夫决策过程模型输出的元素对所述无人机群智能体进行训练，包括：

30、在时刻t结束时，采用深度确定性策略梯度算法对智能体i的策略网络进行更新：目标值为：其中，是拥有延迟参数θ′i的目标策略网络集合，j代表随机采样的状态转移编号，γ代表折扣率，为无人机i的目标价值网络；分别为无人机1,…,nw对应的动作数据；表示无人机i的奖励函数；nw为无人机的设备数量；

31、在时刻t结束时，通过最小化损失来更新无人机群智能体i的价值网络；其中，代表所有的策略网络集合；为无人机群智能体i的价值网络；

32、在决策时刻t结束时，利用深度确定性策略梯度算法更新智能体i的策略网络的权值：

33、更新目标网络的权值θ′i：θ′i←βθi+(1-β)θ′i；β为学习率；

34、重复策略网络和价值网络的更新步骤，直至无人机群智能体i的策略网络πi和价值网络收敛。

35、本技术的第二方面，提供了一种面向应急通信场景的无人机动态轨迹优化系统，系统包括：

36、业务感知模型建立模块，用于基于命名数据网络构建应急通信场景的业务感知模型，其中业务感知模型是指动态调整无人机轨迹为用户发送的紧急业务提供数据传输服务，其中应急通信场景是指由无人机集合、救援人员设备集合和普通用户设备集合建立的应急通信网络，无人机、救援人员设备和普通用户设备在应急通信网络内均采用命名数据网络的协议进行数据传输；

37、优化问题建立模块，用于建立使无人机对用户端的覆盖率和加权业务响应率达到最大，无人机平均能耗达到最小的优化问题，并将所述优化问题表述部分可观察马尔可夫决策过程模型；

38、训练模块，用于建立无人机群智能体，利用多智能体深度确定性策略梯度算法以所述部分可观察马尔可夫决策过程模型输出的效用函数对所述无人机群智能体进行训练；

39、轨迹优化模块，用于根据训练好的无人机群智能体对本地状态数据进行决策，以调整无人机的飞行轨迹及服务的业务类别。

40、与现有技术相比，本发明具有以下有益效果：

41、在本发明提供的一种面向应急通信场景的无人机动态轨迹优化方法及系统中，首先，通过基于命名数据网络ndn构建应急通信场景的业务感知模型，动态调整无人机轨迹为紧急业务及时提供服务，同时，建立使无人机对用户的覆盖率、系统加权业务响应率达到最大，系统平均能耗达到最小的优化问题。其次，将上述优化问题表述为部分可观察马尔可夫决策过程，将无人机的运动映射到动作空间，并观察周围环境记录状态空间。然后，基于多智能体深度确定性策略梯度将接收到的部分可观察马尔科夫决策过程模型的元素对应的数据，对建立的无人机群智能体进行集中式训练，直至智能体收敛；最后，无人机群智能体利用收集到的本地状态数据进行决策，及时调整无人机轨迹以所服务的紧急业务。由此，本发明可以显著提高在应急通信场景下发出的紧急业务的响应率，并有效降低无人机的平均能耗，提升在应急通信场景的应急通信能力。