一种面向护送任务的集群协同运动控制方法及电子设备

本发明涉及智能体集群协同运动控制，尤其涉及一种面向护送任务的集群协同运动控制方法及电子设备。

背景技术：

1、智能体集群系统是指多个智能体根据其任务分工，合作完成一个或一些复杂任务的系统。智能体可以是无人机、无人艇、无人车、机器人等，单个智能体的性能有限，执行任务的种类单一，难以完成复杂任务。与单个智能体相比，智能体集群具有更高的容错性和灵活性，可以更好地完成拦截围捕、编队护送、搜索巡逻等各种任务。护送任务是指为了保护智能体或智能体编队安全而进行的特定任务。护送通常涉及智能体或智能体编队与被保护的智能体或智能体编队共同行动，以减少或消除来自威胁或敌对行动的风险。

2、在实际应用中，智能体的能力往往存在差异，因为它们可能担负着不同的任务和角色。有些智能体在智能体编队中扮演着重要的通信和情报角色，因此其可能配备了更先进的通信设备和情报系统，使得能够提供更强大的信息收集和传输能力。在进行护送时不可避免的会出现智能体编队中的一个或多个智能体出现护送能力降低或故障的情况。该智能体并不能十分完美的完成分配给它的任务，此时编队护送存在防线薄弱区域。不能较好的对被护送对象进行防护。

技术实现思路

1、本发明主要解决的技术问题是提供一种面向护送任务的集群协同运动控制方法，解决在智能体编队中的一个或多个智能体出现护送能力降低或故障的；不能较好的对被护送对象进行防护的问题。

2、为解决上述技术问题，本发明采用的一个技术方案是提供一种面向护送任务的集群协同运动控制方法，包括步骤：响应于集群信号，智能体根据集群策略，分布于被护送对象周围；智能体根据灵活编队策略，确定智能体相对于被护送对象的期望位置，智能体根据期望位置分布在被护送对象的周围，对被护送对象进行防护。

3、在一实施例中，集群策略中，预设被护送对象的预航行轨迹，被护送对象以预航行轨迹行驶，智能体随被护送对象行驶；智能体环形分布在被护送对象周围，设定一智能体位于被护送对象的正前方，智能体与其相邻智能体的侦测区域之间具有重叠区域。

4、在一实施例中，灵活编队策略中定义智能体的编队为：

5、

6、其中， agent表示智能体，n表示编队中智能体的数量，表示被护送对象；

7、， i∈n，具体如下：

8、

9、

10、

11、

12、式中：为智能体 i的能力参数，，为智能体侦测区域的半径， r为智能体最大可探测半径；为智能体侦测区域的最小扇面角度，为不可被分配的角度；为相邻智能体侦测范围重叠区域的夹角，为智能体的当前位置与被护送对象位置的连线与被护航对象航向之间的夹角，为智能体与被护送对象之间的距离。

13、在一实施例中，设定波动阈值，若被护送对象在预设时间范围内的航向变化大于波动阈值，被护送对象向智能体发送不完全跟踪信号，智能体响应于不完全跟踪信号，智能体根据不完全跟踪策略，调整智能体在被护送对象周围的目标位置，智能体根据目标位置，分布在被护送对象周围，对被护送对象进行护送。

14、在一实施例中，不完全跟踪策略中通过被护送对象的实际位置，以及基于当前智能体的历史轨迹，预测得到智能体在下一时刻的预测位置来确定目标位置；

15、为每个智能体设置了一个预测模块，预测模块内设置有存储单元和处理单元，存储单元与处理单元连接，存储单元用于存储其对应的智能体的历史位置信息，处理单元用于根据历史位置信息，预测下一时刻智能体的预测位置；

16、目标位置表示为：

17、

18、其中，为期望位置，为预测位置，表示权重系数，用于调节预测位置对目标位置的影响。

19、在一实施例中，存储单元中存储处理单元所需要的历史位置信息，将其余的历史位置信息移除。

20、在一实施例中，通过强化学习算法来对灵活编队策略和不完全跟踪策略进行强化学习训练，在强化学习算法中，设定灵活编队策略和不完全跟踪策略的奖励函数、强化学习感知状态和输出动作，智能体根据输出动作相应地调整智能体的运动。

21、在一实施例中，强化学习算法中的奖励函数，包括单个智能体的奖励函数，设定奖励，智能体当前的位置与其目标位置之间的距离为，当时，；当时，；为预设的距离阈值；当智能体当前的位置与其目标位置之间的距离，小于设定的距离阈值时，给予正向奖励，且距离越近奖励值越大；当智能体当前的位置与其目标位置之间的距离，大于或等于设定的距离阈值时，给予惩罚，且距离越近惩罚越小；

22、设定奖励，将设定为负值，奖励用于使得智能体在行驶中避让障碍物；

23、单个智能体的奖励函数为：

24、

25、其中，表示奖励和奖励对应的权重值。

26、在一实施例中，强化学习算法中的奖励函数，还包括整个智能体编队的奖励函数；编队队形为理想队形时，给予奖励；当编队中所有智能体其自身位置与其目标位置的距离，都小于设定的距离阈值时，给予正向奖励，该奖励促使编队中所有智能体协作完成护送任务；

27、设定时间惩罚，其中 maxsteps为当前训练回合的最大步数；通过时间惩罚促使智能体快速的形成编队；

28、设定编队辅助奖励 r5，当有且仅有一个智能体位于被护送对象正前方时，给予正向奖励 r5。

29、本发明还提供一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述的面向护送任务的集群协同运动控制方法。

30、本发明的有益效果是：本发明中，通过灵活编队策略调整智能体在被护送对象周围的分布，按照灵活编队策略，无论编队中智能体的能力是否一致，均可获得较好的编队。实现能力不一致的智能体的编队控制。当编队中某个智能体部分故障使其自身能力降低或者因避障而偏离编队，而使得其不能完全发挥其护送能力的情况下，编队中的其他智能体会通过调整各自位置来弥补该智能体的能力缺失，从而不影响护送任务的执行。

技术特征：

1.一种面向护送任务的集群协同运动控制方法，其特征在于，包括步骤：

2.根据权利要求1所述的面向护送任务的集群协同运动控制方法，其特征在于，所述集群策略中，预设所述被护送对象的预航行轨迹，所述被护送对象以所述预航行轨迹行驶，所述智能体随所述被护送对象行驶；所述智能体环形分布在所述被护送对象周围，设定一所述智能体位于所述被护送对象的正前方，所述智能体与其相邻智能体的侦测区域之间具有重叠区域。

3.根据权利要求1所述的面向护送任务的集群协同运动控制方法，其特征在于，所述灵活编队策略中定义所述智能体的编队为：

4.根据权利要求3所述的面向护送任务的集群协同运动控制方法，其特征在于，设定波动阈值，若所述被护送对象在预设时间范围内的航向变化大于所述波动阈值，所述被护送对象向所述智能体发送不完全跟踪信号，所述智能体响应于不完全跟踪信号，所述智能体根据不完全跟踪策略，调整所述智能体在所述被护送对象周围的目标位置，所述智能体根据所述目标位置，分布在所述被护送对象周围，对所述被护送对象进行护送。

5.根据权利要求4所述的面向护送任务的集群协同运动控制方法，其特征在于，所述不完全跟踪策略中通过所述被护送对象的实际位置，以及基于当前所述智能体的历史轨迹，预测得到所述智能体在下一时刻的预测位置来确定目标位置；

6.根据权利要求5所述的面向护送任务的集群协同运动控制方法，其特征在于，所述存储单元中存储所述处理单元所需要的历史位置信息，将其余的历史位置信息移除。

7.根据权利要求4所述的面向护送任务的集群协同运动控制方法，其特征在于：通过强化学习算法来对所述灵活编队策略和不完全跟踪策略进行强化学习训练，在所述强化学习算法中，设定灵活编队策略和不完全跟踪策略的奖励函数、强化学习感知状态和输出动作，所述智能体根据输出动作相应地调整所述智能体的运动。

8.根据权利要求7所述的面向护送任务的集群协同运动控制方法，其特征在于，所述强化学习算法中的奖励函数，包括单个所述智能体的奖励函数，设定奖励，所述智能体当前的位置与其所述目标位置之间的距离为，当时，；当时，；为预设的距离阈值；当所述智能体当前的位置与其所述目标位置之间的距离，小于设定的所述距离阈值时，给予正向奖励，且距离越近奖励值越大；当所述智能体当前的位置与其所述目标位置之间的距离，大于或等于设定的所述距离阈值时，给予惩罚，且距离越近惩罚越小；

9.根据权利要求8所述的面向护送任务的集群协同运动控制方法，其特征在于，所述强化学习算法中的奖励函数，还包括整个智能体编队的奖励函数；编队队形为理想队形时，给予奖励；当编队中所有智能体其自身位置与其所述目标位置的距离，都小于设定的距离阈值时，给予正向奖励，该奖励促使编队中所有智能体协作完成护送任务；

10.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至9任一项所述的面向护送任务的集群协同运动控制方法。

技术总结
本发明公开了一种面向护送任务的集群协同运动控制方法及电子设备；该方法包括响应于集群信号，智能体根据集群策略，分布于被护送对象周围，对被护送对象进行护送；智能体根据灵活编队策略，确定智能体相对于被护送对象的期望位置，智能体根据期望位置分布在被护送对象的周围，对被护送对象进行防护。本发明中，通过灵活编队策略调整智能体在被护送对象周围的分布，按照灵活编队策略，无论编队中智能体的能力是否一致，均可获得较好的编队。实现能力不一致的智能体的编队控制。而使得其不能完全发挥其护送能力的情况下，编队中的其他智能体会通过调整各自位置来弥补该智能体的能力缺失，从而不影响护送任务的执行。

技术研发人员：徐明亮,王华,李佳欣,尚丽芳,郭漩,李超超
受保护的技术使用者：郑州大学
技术研发日：
技术公布日：2024/1/15