一种AUV集群路径规划方法、装置、设备、存储介质

本发明涉及无线传感器网络，特别涉及一种auv集群路径规划方法、装置、设备、存储介质。

背景技术：

1、水下数据收集离不开无线传感器网络技术的支持。由于海水的离子浓度高，电导率高，电磁波在海洋中的衰减是极为严重的，所以基于电磁波通信的传统无线传感器网络难以适应水下环境。与之相比，水声通信网络技术因其对水下复杂环境的适应性更好，被广泛应用于水下各领域，为水下数据收集提供了基础技术支持。然而水下声学传播存在长传播延迟、高能耗、窄带宽等问题，并且水下节点会受到能量和功率的限制，因此传播过程中数据的干扰、碰撞、丢失现象会更加频繁，由此造成的高能耗也会显著降低水下无线传感器网络的寿命。上述问题为水下数据的收集与传输带来了巨大的挑战。

2、考虑到水下无线传感器网络本身存在的限制，现有技术多采用auv来辅助水下网络的数据收集。auv利用自身移动性，靠近传感器节点，可实现短距离、低能耗、高可靠性的数据收集。水下的传感器节点布放范围通常很大，而单个auv又因其能量、移动范围和观察空间的限制，不适用于较大规模的水下数据收集场景。所以如今的研究工作中通常会使用多auv合作的形式来提高数据收集效率和覆盖范围。为了实现多auv路径规划的高动态和实时性要求，以论文“multi-auv collaborative data collection algorithm based on q-learning in underwater acoustic sensor networks”为例，该论文设计的算法分为两个阶段：多auv任务分配和基于q学习的auv路径规划。各个集群的数据传输请求被视为一组不同的任务，将其分配给不同的auv。随后，执行路径规划算法以引导auv迅速完成任务，但是使用的路径规划算法没有体现复杂动态环境下auv之间的实时影响与任务协同，在水下环境中缺乏灵活性。

3、综上，如何实现auv集群中各个auv之间的相互观测，实现实时调整后续各个auv的规划路径，保障更加智能的auv动作执行策略，提高水下数据收集效率是本领域有待解决的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种auv集群路径规划方法、装置、设备、存储介质，能够实现auv集群中各个auv之间的相互观测，实现实时调整后续各个auv的规划路径，保障更加智能的auv动作执行策略，提高水下数据收集效率。其具体方案如下：

2、第一方面，本技术公开了一种auv集群路径规划方法，包括：

3、获取各个auv的观察空间数据和动作空间数据；

4、将所述观察空间数据和所述动作空间数据输入至训练后的目标路径规划模型，以便所述目标路径规划模型对目标观察空间数据和目标动作空间数据进行特征化提取，获取相应的目标特征值；其中，所述目标观察空间数据和目标动作空间数据为任一所述观察空间数据和动作空间数据；

5、将所述目标特征值输入至所述目标路径规划模型的多头注意力网络中，利用多头注意力机制计算所述目标特征值对应的目标auv对于其他auv的注意力值向量；

6、将所述目标特征值和所述注意力值向量输入至所述目标路径规划模型的critic网络中，利用所述critic网络计算各个auv的动作评价值，并基于所述动作评价值确定各个auv的路径规划。

7、可选的，所述获取各个auv的观察空间数据和动作空间数据，包括：

8、获取各个auv的位置信息、速度信息、能量消耗信息、水下环境的洋流速度信息、传感器节点位置信息和障碍物位置信息和动作空间数据。

9、可选的，所述将所述观察空间数据和所述动作空间数据输入至训练后的目标路径规划模型之前，还包括：

10、构建以所述auv的收集覆盖范围最大化、每个所述auv的数据收集平衡化、所述auv移动总能耗最小化以及所述auv任务执行完整化路径规划目标的目标路径规划模型。

11、可选的，所述将所述观察空间数据和所述动作空间数据输入至训练后的目标路径规划模型之前，还包括：

12、构建包含动作网络、多头注意力网络、critic网络的目标路径规划模型。

13、可选的，所述构建包含动作网络、多头注意力网络、critic网络的目标路径规划模型之后，还包括：

14、利用预设策略优化算法对目标路径规划模型进行更新训练，基于经验数据并利用最小化损失函数更新所述critic网络，利用确定性策略梯度更新所述动作网络。

15、可选的，所述利用预设策略优化算法对目标路径规划模型进行更新训练，基于经验数据并利用最小化损失函数更新所述critic网络，包括：

16、采用随机方式抽取预设数量个所述auv存储在经验回放缓存器的经验数据，并基于目标回报值计算均方差获得损失函数；

17、对所述损失函数进行最小化计算，以更新所述critic网络。

18、可选的，所述目标路径规划模型还包括：

19、与所述动作网络和critic网络结构一致的目标网络。

20、第二方面，本技术公开了一种auv集群路径规划装置，包括：

21、数据获取模块，用于获取各个auv的观察空间数据和动作空间数据；

22、特征值确定模块，用于将所述观察空间数据和所述动作空间数据输入至训练后的目标路径规划模型，以便所述目标路径规划模型对目标观察空间数据和目标动作空间数据进行特征化提取，获取相应的目标特征值；其中，所述目标观察空间数据和目标动作空间数据为任一所述观察空间数据和动作空间数据；

23、向量计算模块，用于将所述目标特征值输入至所述目标路径规划模型的多头注意力网络中，利用多头注意力机制计算所述目标特征值对应的目标auv对于其他auv的注意力值向量；

24、路径规划模块，用于将所述目标特征值和所述注意力值向量输入至所述目标路径规划模型的critic网络中，利用所述critic网络计算各个auv的动作评价值，并基于所述动作评价值确定各个auv的路径规划。

25、第三方面，本技术公开了一种电子设备，包括：

26、存储器，用于保存计算机程序；

27、处理器，用于执行所述计算机程序，以实现前述公开的auv集群路径规划方法的步骤。

28、第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的auv集群路径规划方法的步骤。

29、由此可见，本技术公开了一种auv集群路径规划方法，包括：获取各个auv的观察空间数据和动作空间数据；将所述观察空间数据和所述动作空间数据输入至训练后的目标路径规划模型，以便所述目标路径规划模型对目标观察空间数据和目标动作空间数据进行特征化提取，获取相应的目标特征值；其中，所述目标观察空间数据和目标动作空间数据为任一所述观察空间数据和动作空间数据；将所述目标特征值输入至所述目标路径规划模型的多头注意力网络中，利用多头注意力机制计算所述目标特征值对应的目标auv对于其他auv的注意力值向量；将所述目标特征值和所述注意力值向量输入至所述目标路径规划模型的critic网络中，利用所述critic网络计算各个auv的动作评价值，并基于所述动作评价值确定各个auv的路径规划。可见，通过目标路径规划模型的特征化提取、多头注意力网络、critic网络计算auv集群中各个auv的动作评价值，进而能够实时的获取各个auv的动作情况，能够根据动作情况调整各个auv的规划路径，保证auv集群的动作执行策略，提升水下数据的收集效率。