基于去模糊网络的无人机目标跟踪方法和装置与流程

本发明涉及无人机，具体涉及一种基于去模糊网络的无人机目标跟踪方法和装置。

背景技术：

1、视觉对象跟踪对于智能无人机 （uav） 应用至关重要，例如监控、巡逻和测量。一旦无人机获得新帧，跟踪模型就会根据初始模板快速预测物体的位置。由于其高机动性和敏捷性，无人机容易与被跟踪物体产生快速的相对运动。这种特性经常伴随着视觉跟踪的两个挑战，即目标物体超出视野和运动模糊。目标失视问题已通过全局跟踪策略和搜索区域扩大来解决。然而，关于处理无人机视觉跟踪中的运动模糊问题解决较为缓慢。

2、利用siamese跟踪模型是目前的主流，通常能够处理各种具有挑战性的无人机跟踪情况。它们通过与卷积神经网络（cnn）的模板匹配来区分目标，与基于过滤器的跟踪模型相比，实现了卓越的跟踪性能。然而，siamese追踪模型仍然遭受运动模糊的困扰。具体来说，应用轻量级cnn的跟踪模型，如alexnet，在面对模糊的外观时，很难可靠地定位物体。虽然增加内核大小或跟踪模型骨干的深度提取更深的特征将缓解一些运动模糊问题，但跟踪速度将被牺牲，从而无法满足机载载荷和计算能力有限的无人机的实时要求。因此，如何有效和高效地进行去模糊，以实现无人机的鲁棒跟踪是一个紧迫的问题。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于去模糊网络的无人机目标跟踪方法和装置。

2、依据本发明的一个方面，提供了一种基于去模糊网络的无人机目标跟踪方法，所述方法包括：

3、获取无人机图像传感器实时的时序图像；

4、将所述时序图像输入到预训练好的去模糊网络模型得到去模糊时序图像；

5、将所述去模糊时序图像输入到预训练好的目标跟踪网络模型得到置信图，并基于所述置信图进行目标识别；

6、在损失函数的监督下预测所述目标的准确位置。

7、在一些实施方式中，所述去模糊网络模型的训练步骤包括：引入模糊生成网络模型，对所述去模糊网络模型进行对抗训练，具体包括如下的步骤：

8、将原始时序图像输入到模糊生成网络模型中；

9、根据所述模糊生成网络模型生成模糊时序图像；

10、将所述模糊时序图像输入到去模糊网络模型中进行训练。

11、在一些实施方式中，所述模糊生成网络模型包括目标裁剪层、st偏移层、瞬时图像生成层、运动模糊生成层；则根据所述模糊生成网络模型生成模糊时序图像包括：

12、基于图像的目标真实框从连续帧的所述原始时序图像中裁剪出对象区域；

13、对所述对象区域进行水平和垂直方向上的偏移；

14、根据偏移结果生成多个瞬时图像；

15、将各所述瞬时图像和权重相乘，根据相乘的结果生成所述模糊时序图像。

16、在一些实施方式中，所述去模糊网络包括像素阶段网络、空间阶段网络和通道阶段网络，则所述去模糊网络模型的训练步骤还包括：

17、将所述模糊时序图像经过第一像素阶段网络后得到第一时序图像；

18、将所述第一时序图像经过第一空间阶段网络后得到第二时序图像；

19、将所述第二时序图像经过通道阶段网络后得到第三时序图像；

20、将所述第二时序图像和所述第三时序图像进行拼接卷积操作后输入到第二空间阶段网络中，得到第四时序图像；

21、将所述第一时序图像和第四时序图像进行拼接卷积操作后输入到第二像素阶段网络中，得到第五时序图像；

22、将所述第五时序图像和所述模糊时序图像融合相加后得到去模糊时序图像。

23、在一些实施方式中，所述像素阶段网络包括多个卷积层，所述空间阶段网络包括多个卷积层、最大池化层和平均池化层，所述通道阶段网络包括多个卷积层、最大平均池化层和全局平均池化层；其中，

24、所述像素阶段网络用于从所述模糊时序图像通过卷积操作得到像素级特征；

25、所述空间阶段网络用于增强所述像素级特征的空间信息，得到空间级特征，然后利用平均池化层和最大池化层得到不同的空间信息，并通过拼接卷积层后得到空间权重信息；

26、所述通道阶段网络用于获取通道级特征，然后通过最大平均池层和全局平均池层得到不同的通道信息，并通过拼接卷积操作后融合得到通道权重信息。

27、在一些实施方式中，引入模糊生成网络模型，对所述去模糊网络模型进行对抗训练还包括：

28、将所述模糊生成网络模型生成的模糊时序图像输入到所述目标跟踪网络模型中；

29、利用模糊生成损失监督所述目标跟踪网络模型单独训练所述模糊生成网络模型，所述模糊生成损失是基于目标预测结果和目标真实值的差值预构建的。

30、在一些实施方式中，所述损失函数包括运动去模糊损失和分类回归损失。

31、依据本发明的另一个方面，提供了一种基于去模糊网络的无人机目标跟踪装置，所述装置包括：

32、获取模块，适于获取无人机图像传感器实时的时序图像；

33、去模糊模块，适于将所述时序图像输入到预训练好的去模糊网络模型得到去模糊时序图像；

34、跟踪模块，适于将所述去模糊时序图像输入到预训练好的目标跟踪网络模型得到置信图，并基于所述置信图进行目标识别；

35、预测模块，适于在损失函数的监督下预测所述目标的准确位置。

36、依据本发明的又一方面，提供了一种基于去模糊网络的无人机目标跟踪系统，包括：无人机平台、图像传感器和机载图像处理板，所述图像传感器和所述记载图像处理板设置在所述无人机平台上；

37、所述机载图像处理板包括处理器以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据上述实施方式中任一项所述的基于去模糊网络的无人机目标跟踪方法。

38、依据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现根据上述中任一项基于去模糊网络的无人机目标跟踪方法。

39、由上述可知，根据本发明公开的上述技术方案，通过引入去模糊网络模型提高了跟踪网络模型整体的鲁棒性及对无人机跟踪的适应性，从而能够有效克服无人机跟踪的运动模糊问题。

40、进一步的，上述去模糊网络模型，用于通过多个阶段协作对目标图像进行去模糊处理，分别关注像素、空间和通道信息。

41、并且，上述实施方式提出一种以模糊生成损失为指导的模糊生成网络模型，以生成自然的模糊图像，同时考虑被跟踪对象的大小和两个连续帧之间的偏移，以帮助对抗性训练过程。

42、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种基于去模糊网络的无人机目标跟踪方法，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述去模糊网络模型的训练步骤包括：引入模糊生成网络模型，对所述去模糊网络模型进行对抗训练；具体包括如下的步骤：

3.根据权利要求2所述的方法，其特征在于，所述模糊生成网络包括目标裁剪层、st偏移层、瞬时图像生成层、运动模糊生成层；则根据所述模糊生成网络模型生成模糊时序图像包括：

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述去模糊网络包括像素阶段网络、空间阶段网络和通道阶段网络，则所述去模糊网络模型的训练步骤包括：

5.根据权利要求4所述的方法，其特征在于，所述像素阶段网络包括多个卷积层，所述空间阶段网络包括多个卷积层、最大池化层和平均池化层，所述通道阶段网络包括多个卷积层、最大平均池化层和全局平均池化层；其中，

6.根据权利要求2-3中任一项所述的方法，其特征在于，引入模糊生成网络模型，对所述去模糊网络模型进行对抗训练还包括：

7.根据权利要求1-3中任一项所述的方法，其特征在于，所述损失函数包括运动去模糊损失和分类回归损失。

8.一种基于去模糊网络的无人机目标跟踪装置，所述装置包括：

9.一种基于去模糊网络的无人机目标跟踪系统，其特征在于，包括：无人机平台、图像传感器和机载图像处理板，所述图像传感器和所述记载图像处理板设置在所述无人机平台上；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现根据权利要求1-7中任一项所述的基于去模糊网络的无人机目标跟踪方法。

技术总结
本发明公开了一种基于去模糊网络的无人机目标跟踪方法和装置，所述方法包括：所述方法包括：获取无人机图像传感器实时的时序图像；将所述时序图像输入到预训练好的去模糊网络模型得到去模糊时序图像；将所述去模糊时序图像输入到预训练好的目标跟踪网络模型得到置信图，并基于所述置信图进行目标识别；在损失函数的监督下预测所述目标的准确位置。上述方案通过引入去模糊网络模型提高了跟踪网络模型整体的鲁棒性及对无人机跟踪的适应性，从而能够有效克服无人机跟踪的运动模糊问题。

技术研发人员：任雪峰
受保护的技术使用者：北京卓翼智能科技有限公司
技术研发日：
技术公布日：2024/1/16