无人机集群任务规划方法、装置、存储介质和设备

本发明涉及无人机，具体涉及无人机集群任务规划方法、装置、存储介质和设备。

背景技术：

1、无人机具有造价低廉、机动灵活、部署便捷、续航力长等特点，在军事和民用领域的应用日益广泛，是执行侦察、巡航等任务的最佳选择。由于单架无人机可覆盖的范围较小、发挥的效能有限，在执行任务日渐复杂的情况下，无人机集群协同配合执行任务成为无人机的发展趋势。

2、现有的无人机集群任务规划分为航迹规划和任务分配两个部分，由于任务分配和航迹规划都是预先设定的，在设定的时候也没有考虑两者的耦合性，导致该无人机集群任务规划方法无法应对带有不稳定因素的动态环境。另外，现有的强化学习算法设置任务规划的过程中，平等地对待无人机集群中每一个无人机，认为每一个无人机对于集群的奖励值造成的影响是相同的，导致计算得到的结果存在局部最优解的可能；而且集群内无人机较多的情况下，交互过程容易占用大量的通信和计算资源，不利于提高任务规划的效率。

技术实现思路

1、基于此，本发明提供无人机集群任务规划方法、装置、存储介质和设备，能够使无人机及时获取全局的环境信息及其变换，并考虑无人机的信用分配问题，引导无人机集群做出最优的决策。

2、第一方面，本发明提供无人机集群任务规划方法，包括：

3、在无人机集群中任意选取一个无人机作为第一无人机，其他无人机作为第二无人机，所述第二无人机组成剩余无人机集群；

4、获取第一无人机的实际任务执行环境和无人机集群任务规划模型；

5、将所述实际任务执行环境输入至无人机集群任务规划模型，得到无人机集群的任务规划；

6、其中，所述无人机集群任务规划模型是以模拟任务执行环境为训练样本对改进的coma模型进行学习训练得到；所述改进的coma模型包括coma网络和图卷积模块，其中所述图卷积模块设置在所述coma网络中。

7、第二方面，本发明提供无人机集群任务规划装置，包括：

8、无人机选取模块，用于在无人机集群中任意选取一个无人机作为第一无人机，其他无人机作为第二无人机，所述第二无人机组成剩余无人机集群；

9、参数获取模块，用于获取第一无人机的实际任务执行环境和无人机集群任务规划模型；

10、任务规划模块，用于将所述实际任务执行环境输入至无人机集群任务规划模型，得到无人机集群的任务规划；

11、其中，所述无人机集群任务规划模型是以模拟任务执行环境的训练样本对改进的coma模型进行学习训练得到；所述改进的coma模型包括coma网络和图卷积模块，其中所述图卷积模块设置在所述coma网络中。

12、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项无人机集群任务规划方法的步骤。

13、第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，执行第一方面中任一项无人机集群任务规划方法。

14、采用上述技术方案的有益效果为：本申请基于coma和图卷积的深度强化学习构建无人机集群任务规划模型，无人机集群可根据联合奖励的设置以及评价函数的估计值的不断更新引导无人机集群做出全局最优的动作；并且在评价函数估计值的计算过程中考虑相邻无人机的局部状态堆叠结果，减少交互过程中通信资源和计算资源的使用，提高任务规划的效率。

技术特征：

1.一种无人机集群任务规划方法，其特征在于，该方法包括：

2.如权利要求1所述的无人机集群任务规划方法，其特征在于，所述coma网络包括依次连接的策略网络和评价网络，其中所述图卷积模块嵌套设置在所述评价网络中；建立所述无人机集群任务规划模型包括：

3.如权利要求2所述的无人机集群任务规划方法，其特征在于，图卷积模块包括观测编码层、卷积层、全连接网络层和relu非线性激活函数层；所述将当前时刻所有无人机的模拟局部状态以及剩余无人机集群集合输入图卷积模型，得到第一无人机的模拟局部状态特征以及第一无人机与各个第二无人机之间的权重，包括：

4.如权利要求2所述的无人机集群任务规划方法，其特征在于，所述将所述第二无人机的局部状态堆叠结果、策略网络计算得到的第一无人机的模拟动作向量、以及无人机集群中第一无人机的模拟联合奖励输入评价网络，得到策略参数，包括：

5.如权利要求2所述的无人机集群任务规划方法，其特征在于，计算所述第一无人机的联合奖励包括：

6.如权利要求5所述的无人机集群任务规划方法，其特征在于，所述第一奖励值包括：

7.如权利要求2所述的无人机集群任务规划方法，其特征在于，计算下一时刻无人机集群中第一无人机的模拟局部状态包括：

8.一种无人机集群任务规划装置，其特征在于，该装置包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项无人机集群任务规划方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，执行权利要求1-7中任一项无人机集群任务规划方法。

技术总结
本申请提供无人机集群任务规划方法、装置、存储介质和设备，包括：在无人机集群中任意选取一个无人机作为第一无人机，其他无人机作为第二无人机，第二无人机组成剩余无人机集群；获取第一无人机的实际任务执行环境和无人机集群任务规划模型；将实际任务执行环境输入至无人机集群任务规划模型，得到无人机集群的任务规划；其中，无人机集群任务规划模型是以模拟任务执行环境为训练样本对改进的COMA模型进行学习训练得到；改进的COMA模型包括COMA网络和图卷积模块，其中图卷积模块设置在COMA网络中。无人机集群可根据联合奖励的设置以及评价函数的估计值的不断更新引导无人机集群做出全局最优的动作。

技术研发人员：丘昌镇,刘紫薇,张志勇,徐雪阳
受保护的技术使用者：中山大学
技术研发日：
技术公布日：2024/1/13