基于蜂窝网络的无人机轨迹规划和视频传输方法

本发明属于无线网络通信，具体涉及一种基于蜂窝网络的无人机轨迹规划和视频传输方法。

背景技术：

1、蜂窝网无人机通信系统能带来巨大的性能提升，但其也面临着如下几个主要的挑战：首先，地面蜂窝网基站是为了地面用户建立的，所以它的天线角度都是朝下的，基站只能通过其天线旁瓣接收功率受限的无人机信号，这会导致天线增益较低。其次，基站到无人机的下行链路会受到邻近基站的干扰，无人机到基站的上行链路会影响到地面用户的上行链路。除此之外，无人机连接基站进行视频传输的过程中，由于无人机的高移动性，所以无人机会进行基站之间的切换，且在蜂窝网覆盖不到的区域或者蜂窝网边缘区域，可能会造成连接的中断，这可能会导致视频质量的下降或者视频传输的中断，即视频的卡顿。最后，无人机通常有严格的尺寸、重量和功率(size weight and power,swap)限制。无人机的能量受限问题是制约无人机通信系统发展的最主要问题。无人机的能量消耗主要分为两部分，分别为无人机飞行时的耗能和发射射频信号的耗能，一般来说，飞行时的耗能要远高于发射射频信号所需的能量。无人机能量的来源于机载的容量有限的电池，当电池的容量较小时，无人机需要返回地面进行充电，这将导致通信或任务传输的中断。因此，无人机通信系统一般不能提供连续的信息和能量传输服务，而是分为多个任务周期为用户提供服务，每个任务周期之间为无人机的充电时间。根据市面上的一些无人机，例如，dji无人机的性能参数，单次充满电后续航时间通常为20-30分钟，这极大地限制了无人机单次任务周期内的信息和能量传输量。

2、无人机蜂窝网通信系统在监测系统有着广泛的应用，但是由于地面基站天线的角度导致无人机的接收信号强度低，同时还存在邻近基站和地面用户的干扰，且无人机具有高移动性，会导致信道条件时刻发生变化。并且有的地点处在蜂窝网的边缘，或者处于蜂窝网覆盖不到的区域，监测过程中选择直接悬停在监测点上方，这会造成视频质量的降低甚至是视频的中断。此外无人机的swap限制需要进行无人机的节能设计。因此，如何规划无人机的飞行轨迹，并联合优化无人机发射功率，无人机的能源消耗等资源变量，使系统性能最优，将会具有极大的难度。

技术实现思路

1、本发明针对上述问题，提供了一种基于蜂窝网络的无人机轨迹规划和视频传输方法，旨在找到无人机视频传输过程中能耗最小并且满足视频传输质量要求的最优解。

2、根据本公开实施例，一种基于蜂窝网络的无人机轨迹规划和视频传输方法，所述方法包括以下步骤:

3、构建蜂窝网络下的基站天线模型、无人机与基站之间的信道模型、无人机的能量消耗模型以及无人机与基站之间的视频传输模型；

4、以最小化无人机的能量消耗为优化目标，以满足通信服务质量qos、无人机监测所有目标点为约束条件，建立最小化无人机的能量消耗优化问题p1；

5、将最小化无人机的能量消耗优化问题p1转化为马尔科夫决策过程问题，所述马尔科夫决策过程问题以无人机作为代理，包括状态空间、动作空间、状态转移过程和奖励函数，其中所述状态转移过程根据当前状态和动作转化为新的状态和动作的过程；

6、利用基于深度强化学习的联合优化算法求解马尔科夫决策过程问题，找到无人机能耗最小并且满足视频传输质量要求的最优解。

7、在一些实施例中，所述基站天线模型中无人机与基站之间的天线单位功率增益ge具体表达式为：

8、其中g0表示天线零阈值，hpbwv表示半功率波束宽度，θn(t)表示t时刻基站到无人机的仰角。

9、在一些实施例中，所述无人机与基站之间的信道模型采用概率los信道模型，t时刻无人机与基站bn之间的los传输概率具体表达式为：其中a和b是与环境相关的常量参数，θn(t)表示t时刻基站到无人机的仰角。

10、在一些实施例中，所述无人机的能量消耗模型中无人机的能耗包括通信能耗和推进能耗，所述通信能耗具体表达式为其中，n为基站的个数，k为监测目标点的个数，pk(t)为无人机监测目标点k所选择的发射功率，xk(t)∈{0,1}表示t时刻的监测调度指标，zn(t)∈{0,1}表示t时刻的传输调度指标；所述推进能耗具体表达式为：其中，p0和pi分别表示无人机悬停状态下的叶片型线和感应功率，a和s分别表示无人机圆盘面积和旋翼固体度，d0为无人机机身阻力比，ρ表示空气密度，o表示无人机旋翼在悬停状态下的平均感应速度，utip表示无人机旋翼叶片的叶尖速度，v(t)为无人机的飞行速度。

11、在一些实施例中，所述无人机与基站之间的视频传输模型中时刻t无人机与基站bn的最大可达率r(t)具体表达式为：其中b表示带宽，σ2表示噪声功率，pk(t)表示时刻t无人机连接基站监测目标点tk时的发射功率，hn(t)表示t时刻无人机与基站之间的基带等效信道，β0表示无人机与基站距离为1m时的信道功率增益，表示t时刻无人机与基站bn之间的los传输概率，μ＜1表示由于nlos传播而产生的额外信号衰减因子，gn(t)表示无人机与基站之间的天线总增益，u(t)表示无人机飞行轨迹，hb和hu为基站的高度和无人机的高度，设置基站二维水平坐标为b＝{b1,b2...bn}，其中所以bn为第n个基站的水平坐标。

12、在一些实施例中，最小化无人机的能量消耗优化问题p1，具体表达式为：

13、

14、其中zn(t)∈{0,1}表示t时刻的传输调度指标，xk(t)∈{0,1}表示t时刻的监测调度指标，t表示完成整个监测任务的所需时长，pu(t)表示无人机的推进能耗，pk(t)表示时刻t无人机连接基站监测目标点tk时的发射功率，τ表示无人机在目标点进行视频传输悬停的时长，p表示无人机发射功率，r表示监测目标点可访问半径，约束表示无人机悬停点要在目标点的服务范围内，r(t)和rmin分别表示无人机传输速率和最小传输速率，tk表示无人机访问第k个目标点的时刻，ui和uf分别表示无人机的起始位置和终止位置，emax为无人机的最大能量，监测目标点二维水平坐标为c＝{c1,c2...ck}，其中无人机悬停点用h＝{h1,h2...hk}来表示，其中hk表明在第k个监测目标点进行悬停，c1和c2表明在时刻[tk,tk+τ]无人机只能与一个基站和一个目标点相连，且只在这个时间段无人机发射功率传输视频；c3表明所有目标点都被访问；c4表明无人机起点与终点固定；c5表明要满足视频传输最小速率要求；c6表明无人机最大能量消耗约束；c7表明无人机悬停点要在目标点的访问范围内。

15、在一些实施例中，状态空间表示所有无人机可达的悬停点和可达的视频传输速率的组合；动作空间表示无人机在第n步选择的速度方向、连接的基站、监测的目标点和无人机发射功率的组合。

16、在一些实施例中，奖励函数的具体表达式为：

17、其中，en为时间步长n时的总能量消耗，表示无人机到达目的地并监控了所有目标的奖励，注意，当所有可达速率r都大于最低值所需速率rmin时，in+1＝1，否则in+1＝0，λ是能量消耗的一个标准化因子，un+1＝uf为无人机最终到了终点。

18、在一些实施例中，所述基于深度强化学习的联合优化算法，具体包括以下步骤：

19、步骤1、初始化目标q网络参数θ和参数θ-＝θ，初始化体验重放缓冲区c，其中参数θ用于选取最优动作，参数θ-用于对选取的最优动作进行评估；

20、步骤2、输入：体验重放缓冲区c大小nr；训练批量大小nb；目标网络更新频率ω，次数变量m＝1，n＝1；

21、步骤3、设置训练次数最大值ψmax；

22、步骤4、当m≤ψmax，实施步骤5，当m＞ψmax，结束步骤实施，其中，ψmax为每集的最大剧集数；

23、步骤5、设置初始状态u1＝ui；

24、步骤6、当n≤nmax，实施步骤7，当n＞nmax，实施步骤14，其中，nmax为最大时间步长；

25、步骤7、根据ε-贪婪策略选择无人机动作

26、步骤8、无人机采取行动获得无人机状态un+1，获得即时奖励

27、步骤9、存储转换的在初始化体验重放缓冲区c中，其中sn表示无人机在第n步时的状态，表示无人机在第n步选择的速度方向，表示无人机在第n步奖励函数；

28、步骤10、从c中随机抽取一小批过渡样本

29、步骤11、让其为最佳动作选择函数，并且设置

30、其中，γ为折扣因子；

31、步骤12、使用rmsprop梯度下降方法进行计算

32、步骤13、n＝n+1，返回步骤6；

33、步骤14、每隔一个ω集，定期更新目标网络参数θ-＝θ；、

34、步骤15、m＝m+1，返回步骤4。

35、本公开实施例提供的技术方案：一种基于蜂窝网络的无人机轨迹规划和视频传输方法，在考虑实际信道和监测场景的基础上，创新性地引入了地面目标监视半径，以便基站连接的无人机能够有效监视整个区域内的所有目标，并保持良好的蜂窝网络连接进行视频传输；在优化无人机的飞行轨迹的基础上，对无人机的发射功率也进行优化。由于无人机的视频传输速率由空地信道条件和无人机发射功率有关，所以无人机的发射功率会影响达到无人机最小视频传输速率的有效基站覆盖范围，从而影响无人机的监测悬停点的选择，进一步影响无人机的飞行能量消耗，即影响完成监测任务的总能量消耗；建立了最小化能量消耗并满足视频流的qos要求，建立了优化无人机轨迹、传输调度和功率分配的优化问题，优化问题为混合整数非线性规划(mixed-integer non-linear programming,minlp)问题，难以直接解决，在此基础上将其进行离散化，转换为马尔可夫决策过程问题，采用dueling深度q网络(dqn)模型和double dqn的深度强化学习(drl)算法进行求解，本发明提出的解决方案显著提高了无人机在视频监测场景下的能量利用率。

36、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。