低照度条件下快速移动目标多视角协同跟踪方法及装置

本发明涉及无人机目标跟踪，特别涉及一种低照度条件下快速移动目标多视角协同跟踪方法及装置。

背景技术：

1、近年来，无人机技术得到快速发展，与深度学习、强化学习等人工智能技术的结合，使得无人机技术能够完成多种任务。同时，因为无人机具有小巧灵活、自主智能等特点，被广泛运用于民用、军事等领域中，例如位置场景的定位建图、路径规划等。在无人机的各类应用领域中，目标跟踪是大部分任务的核心，无人机目标跟踪任务受制于场景的复杂性以及追踪目标的多变性，使得目标特征提取以及模型建立存在困难，对追踪性能提出了巨大挑战。

2、传统目标追踪技术多采用视觉数据作为目标追踪的数据来源，但是在低照度场景下，这类数据大多会出现视觉信息模糊、目标特征包含信息量不足等缺陷，从而严重影响最终的追踪性能；另一方面，基于无人机的目标追踪方法大都采用单体无人机进行相关目标追踪，在诸如地下洞穴等复杂环境中极易因为障碍物遮挡和地形突变导致目标丢失。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种低照度条件下快速移动目标多视角协同跟踪方法及装置，在低照度场景中，部署无人机集群，并为每台无人机配备相应的多源融合感知器件，作为多视角融合数据来源，在无人机集群中任意一个智能体完成目标定位后，使用多智能体强化学习算法实现协同跟踪，达到低照度条件下快速移动目标多视角协同跟踪的目的。

2、为解决上述技术问题，本发明的实施例提供如下方案：

3、一方面，提供了一种低照度条件下快速移动目标多视角协同跟踪方法，所述方法包括低照度条件下快速移动目标多视角跟踪算法和无人机集群协同跟踪算法；

4、所述低照度条件下快速移动目标多视角跟踪算法包括以下步骤：

5、利用无人机搭载的包括毫米波雷达传感器、rgb视觉传感器与红外视觉传感器在内的传感器进行多源环境感知；

6、通过三时空异构对齐算法将不同传感器接收到的多源感知数据在时间和空间维度上归一化；

7、将时空归一化后得到的多源融合感知数据输入多源融合感知特征计算网络进行当前帧下被追踪目标的世界坐标计算；

8、将计算结果与上一帧的计算结果进行对比，判断被追踪目标在世界坐标系下的位置和移动方向的变化；

9、所述无人机集群协同跟踪算法包括以下步骤：

10、通过集群通信共享被追踪目标的世界坐标信息，使用多智能体强化学习进行无人机集群的轨迹制定与更新，保证被追踪目标处在无人机感知范围的中心，实现无人机集群协同跟踪。

11、优选地，所述三时空异构对齐算法具体包括：

12、首先，对传感器采集的多源感知数据进行预处理；对于毫米波雷达传感器的感知数据，剔除包括静止目标、空目标在内的无效数据；对于rgb视觉传感器与红外视觉传感器的感知数据，进行图像去噪，突出目标特征；

13、之后，对去噪后的rgb视觉传感器与红外视觉传感器的感知数据进行时空对齐，由于二者在同一无人机上的视角方向相对固定，因此使用机器学习方法中的sift算子进行对齐；

14、在此基础上，以rgb视觉传感器的感知数据为依据，对毫米波雷达传感器的感知数据进行校准；对于时间异构性，以毫米波雷达的感知数据采样频率为基准，进行雷视时间校准，对于空间异构性，根据两种传感器的实际部署位置进行统一坐标系的建立，构建各自坐标系与世界坐标系之间的转换关系；最后完成三种感知数据的时空异构对齐。

15、优选地，在完成数据预处理之后，使用三时空异构对齐算法进行多源感知数据的尺度归一化；以rgb视觉传感器的感知数据所在的空间尺度以及时间纬度为基准，将红外视觉传感器与毫米波雷达传感器的感知数据分别对齐；

16、对于红外视觉传感器与rgb视觉传感器的感知数据对齐，由于二者相对于无人机机体本身固定，视角变化浮动较小，因此使用sift算子进行标定，将rgb视觉传感器感知数据的空间参数固定，使用同一时间纬度下的红外视觉传感器感知数据作为输入，输出得到像素对齐的红外视觉传感器感知数据；在时间纬度上，二者采用相同的采样频率进行对齐；

17、对于毫米波雷达传感器与rgb视觉传感器的感知数据对齐，对于二者的时间校准，将rgb视觉传感器采样频率作为时间基准，每次采样发送一个脉冲频率，中控在接收到该脉冲频率后在毫米波雷达传感器采样中进行帧数确定作为采样结果，达到时间校准的目的；对于二者空间校准，需要统一坐标系，将雷达视频定义为求解一个特征矩阵[x,y,1]t，采集4对目标的雷达物理坐标与视频左边进行标定，之后建立雷达与世界坐标系的标定关系，其转换关系计算公式如下：

18、

19、其中(x,y)为雷达检测目标坐标，(x',y')为转换后的世界坐标，δ为相关坐标轴之间的缩放关系，α和β表示对应坐标轴的平移量，θ表示坐标系旋转角度。

20、优选地，所述多源融合感知特征计算网络是卷积神经网络，包含各传感器的特征提取模块、特征融合模块以及目标位置预测模块；

21、特征提取模块对各个传感器的感知数据进行目标特征提取，将完成提取的特征送入特征融合模块得到多源融合感知特征，最后根据目标位置预测模块计算出目标在当前帧的位置，并根据拍摄该目标的无人机的传感器相对位置向世界坐标系进行转换，得到目标在当前世界坐标系中的位置。

22、优选地，在特征提取模块，针对三种传感器感知数据搭建特征提取网络，使用轻量化的cspdarknet53网络进行rgb视觉传感器感知数据和红外视觉传感器感知数据的特征提取，使用轻量化的vgg-13网络进行毫米波雷达传感器感知数据的特征提取，将毫米波雷达传感器输入感知数据转换为与rgb视觉传感器感知数据大小相同的雷达特征；

23、在特征融合模块，将三种传感感知数据的特征进一步处理后拼接为一个复合向量，计算公式为：

24、ffusion＝σ(fradar+frgb+fir)

25、f*＝w2·τ(w1·τ(w0(avgpool(f*))))

26、式中σ和τ代表sigmoid激活函数和relu激活函数，w0、w1和w2为网络权重参数，f*为特征图，fradar为提取的雷达特征，frgb为提取的rgb视觉特征，fir为提取的红外视觉特征，ffusion为融合特征，f*为拼接的特征图；

27、经过拼接后的特征图送入目标位置预测模块进行目标位置的确定；之后根据rgb视觉传感器坐标系与世界坐标系之间的转换关系，计算出当前目标在世界坐标系中的位置。

28、优选地，所述无人机集群协同跟踪算法具体包括：

29、对于无人机集群中的任意一台无人机，在完成目标定位之后，通过无人机集群通信功能共享目标的世界坐标以及自身位置信息；

30、之后使用多智能体强化学习方法使得无人机集群中其他的无人机以被追踪目标坐标为中心靠拢，实现无人机集群协同跟踪。

31、优选地，所述的使用多智能体强化学习方法使得无人机集群中其他的无人机以被追踪目标坐标为中心靠拢具体是指：

32、通过多智能体强化学习方法，使得无人机集群中其他尚未定位目标的无人机个体向目标位置进行靠拢，完成目标定位的无人机将目标保持在各自感知范围的中心，最终实现无人机集群协同跟踪。

33、另一方面，提供了一种低照度条件下快速移动目标多视角协同跟踪装置，包括低照度条件下快速移动目标多视角跟踪算法模块和无人机集群协同跟踪算法模块；

34、所述低照度条件下快速移动目标多视角跟踪算法模块用于：

35、利用无人机搭载的包括毫米波雷达传感器、rgb视觉传感器与红外视觉传感器在内的传感器进行多源环境感知；

36、通过三时空异构对齐算法将不同传感器接收到的多源感知数据在时间和空间维度上归一化；

37、将时空归一化后得到的多源融合感知数据输入多源融合感知特征计算网络进行当前帧下被追踪目标的世界坐标计算；

38、将计算结果与上一帧的计算结果进行对比，判断被追踪目标在世界坐标系下的位置和移动方向的变化；

39、所述无人机集群协同跟踪算法模块用于：

40、通过集群通信共享被追踪目标的世界坐标信息，使用多智能体强化学习进行无人机集群的轨迹制定与更新，保证被追踪目标处在无人机感知范围的中心，实现无人机集群协同跟踪。

41、另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述低照度条件下快速移动目标多视角协同跟踪方法。

42、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述低照度条件下快速移动目标多视角协同跟踪方法。

43、本发明实施例提供的技术方案带来的有益效果至少包括：

44、本发明实施例中，提供一种低照度条件下快速移动目标多视角协同跟踪方法，在低照度场景下，将无人机集群多源融合传感数据进行特征提取，确定目标的世界坐标系位置，并通过集群通信共享坐标信息，协同追踪高速移动目标。

45、所述的低照度条件下快速移动目标多视角协同跟踪方法，将毫米波雷达传感器、rgb视觉传感器与红外视觉传感器输出数据进行融合特征提取，完成特征提取后，使用多源融合感知特征计算网络进行目标的世界坐标系位置确定，之后将无人机目标追踪结果通过集群通信进行共享，使用多智能体强化学习算法进行轨迹制定与更新，提高了目标特征信息提取质量，降低了感知及通信损耗，改善了低照度场景下目标追踪效果。

46、本发明提出的一种低照度条件下快速移动目标多视角协同跟踪方法，能够在地下弱纹理、低照度环境中对高速移动物体进行多角度协同观测，提高无人机集群的追踪质量与效率。