基于深度强化学习的无人机协同集群通信覆盖方法

技术特征：

1.基于深度强化学习的无人机协同集群通信覆盖方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于深度强化学习的无人机协同集群通信覆盖方法，其特征在于，所述无人机集群的运动学模型中考虑无人机作为一个质点模型，其中无人机的速度是由法向加速度和切向加速度决定，在时刻t无人机飞行时与坐标x轴形成的夹角为α,由次可以得出，无人机质点运动方程如下：

3.根据权利要求1所述的基于深度强化学习的无人机协同集群通信覆盖方法，其特征在于，所述覆盖率模型：

4.根据权利要求1所述的基于深度强化学习的无人机协同集群通信覆盖方法，其特征在于，所述公平因子、避碰因子及能耗模型：

5.根据权利要求1所述的基于深度强化学习的无人机协同集群通信覆盖方法，其特征在于，s2中将无人机对应为智能体，给定对应的状态空间、动作空间和奖励函数设定如下：

6.根据权利要求1所述的基于深度强化学习的无人机协同集群通信覆盖方法，其特征在于，s3中，在子集群内的无人机采用的是联合策略π＝(π1,π1,…,πn)与环境进行交互；critic网络的输入为：在t时刻，该子集群内所有无人机的联合动作值和联合状态观察值

7.根据权利要求1所述的基于深度强化学习的无人机协同集群通信覆盖方法，其特征在于，s3中训练为：考虑n个无人机的策略参数μθ＝{θ1,θ2,…,θn}，所有无人机的策略集合为π＝{π1,π2,…,πn}；得出无人机i的期望收益梯度如下：

8.根据权利要求1所述的基于深度强化学习的无人机协同集群通信覆盖方法，其特征在于，s5中无人机的链路连通性的邻接矩阵的表示公式如下：

技术总结
本发明涉及无人机的智能协同技术领域，尤其涉及基于深度强化学习的无人机协同集群通信覆盖方法，包括如下步骤：S1：对无人机集群的通信覆盖任务进行建模；S2：对无人机集群的通信覆盖问题进行部分马尔科夫决策过程建模；S3：无人机集群通过能效函数、并基于多智能体深度强化方法进行自主训练，得到无人机集群的通信覆盖策略模型；S4：依据所述无人机集群的通信覆盖策略模型，合理的部署与控制无人集群；S5：采用栈方式的深度优先搜索算法来检验无人机在执行任务过程中的链路连通性；S6：通过覆盖矩阵得到各个子集群无人机的通信覆盖状态。该方法无需进行大量复杂的集群系统建模，具有一定优势。

技术研发人员：吴杰宏,谷林鹏,李丹阳,高利军,刘奎,周振辉,杨华,毕静,陈程程
受保护的技术使用者：沈阳航空航天大学
技术研发日：
技术公布日：2024/1/15