一种无人机目标人员跟踪方法及系统与流程

1.本技术属于无人机控制技术领域，特别涉及一种无人机目标人员跟踪方法及系统。


背景技术：

2.在进行基于手势的人机交互时，需要持续锁定指令发出人员，避免其他进入画面人员的动作干扰，影响指挥识别效果。目前，基于视觉的目标检测算法能够感知画面中的指令人员的位置，但无法对连续帧内的同一目标进行锁定，缺乏对连续帧输出的结果的相关性进行准确建模，若出现误检测、漏检测等情况，对于下游姿态估计与动作识别算法将产生重大影响。


技术实现要素：

3.为了解决上述问题，本技术提供了一种无人机目标人员跟踪方法及系统，对视野中的手势识别人员进行锁定，当场景中出现其他人员或其他指挥人员时，无人机应该只服从于被锁定指挥人员所发出的手势信号，而不对其他人员的手势信号采取动作。
4.本技术第一方面提供了一种无人机目标人员跟踪方法，主要包括：
5.步骤s1、通过目标检测算法输出的首帧画面中目标所在的位置及其边框，形成目标检测框，所述目标为无人机指控人员；
6.步骤s2、通过标签对首帧画面中的目标检测框进行标记，通过deepsort人体追踪算法对后一帧画面中标签的目标检测框所可能出现的位置及尺寸进行先验估计；
7.步骤s3、将所述先验估计与目标检测算法输出的后一帧画面中目标所在的位置及其边框进行匹配，若匹配成功，则将首帧画面中对目标的标签继承到后一帧；
8.步骤s4、将前一帧及后一帧的目标检测结果共同输入到deepsort人体追踪算法中，对再下一帧画面中标签的目标框所可能出现的位置及尺寸进行先验估计，重复上述步骤，直至完成对目标的连续跟踪。
9.优选的是，步骤s2中，通过deepsort人体追踪算法对后一帧画面中标签的目标框所可能出现的位置及尺寸进行先验估计包括：
10.步骤s21、通过特征提取网络提取所述目标检测框的特征；
11.步骤s22、计算所述目标检测框与预计的各轨迹对应的轨迹表观特征之间的余弦距离，形成距离矩阵；
12.步骤s23、利用卡尔曼滤波基于过去的帧结果预测每条轨迹在当前帧的状态先验估计，当预测的结果与目标检测的马氏距离超过阈值时，将对应于距离矩阵中该轨迹的值置为无穷大，更新所述距离矩阵；
13.步骤s24、对所述距离矩阵，通过匈牙利算法将所述目标检测框匹配到最优轨迹，对于匹配未成功的目标检测框及轨迹通过iou匹配，最终都未匹配成功的检测框则认为是新的目标并分配新的id。
14.优选的是，在步骤s24中，对任一轨迹，若所述轨迹连续无法匹配到检测结果的次数超过阈值，则放弃对该轨迹的跟踪。
15.本技术第二方面提供了一种无人机目标人员跟踪系统，主要包括：
16.目标检测模块，用于通过目标检测算法输出的首帧画面中目标所在的位置及其边框，形成目标检测框，所述目标为无人机指控人员；
17.人员跟踪模块，用于通过标签对首帧画面中的目标检测框进行标记，通过deepsort人体追踪算法对后一帧画面中标签的目标检测框所可能出现的位置及尺寸进行先验估计；
18.比对模块，用于将所述先验估计与目标检测算法输出的后一帧画面中目标所在的位置及其边框进行匹配，若匹配成功，则将首帧画面中对目标的标签继承到后一帧；
19.循环模块，用于将前一帧及后一帧的目标检测结果共同输入到deepsort人体追踪算法中，对再下一帧画面中标签的目标框所可能出现的位置及尺寸进行先验估计，重复上述步骤，直至完成对目标的连续跟踪。
20.优选的是，所述人员跟踪模块包括：
21.特征提取单元，用于通过特征提取网络提取所述目标检测框的特征；
22.余弦距离计算单元，用于计算所述目标检测框与预计的各轨迹对应的轨迹表观特征之间的余弦距离，形成距离矩阵；
23.过滤单元，用于利用卡尔曼滤波基于过去的帧结果预测每条轨迹在当前帧的状态先验估计，当预测的结果与目标检测的马氏距离超过阈值时，将对应于距离矩阵中该轨迹的值置为无穷大，更新所述距离矩阵；
24.轨迹匹配单元，用于对所述距离矩阵，通过匈牙利算法将所述目标检测框匹配到最优轨迹，对于匹配未成功的目标检测框及轨迹通过iou匹配，最终都未匹配成功的检测框则认为是新的目标并分配新的id。
25.优选的是，所述轨迹匹配单元包括轨迹更新单元，用于对任一轨迹，若所述轨迹连续无法匹配到检测结果的次数超过阈值，则放弃对该轨迹的跟踪。
26.本技术引入了目标跟踪算法实现无人机感知画面中的连续帧内目标人员的人体追踪功能，提高了对无人机指挥人员感知的鲁棒性以及在复杂环境下对干扰信号的抗干扰性。
附图说明
27.图1为本技术无人机目标人员跟踪方法的一优选实施例的流程图。
28.图2为本技术图1所示实施例的deepsort算法示意图。
具体实施方式
29.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施方式中的附图，对本技术实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本技术一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施方式，
本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本技术保护的范围。下面结合附图对本技术的实施方式进行详细说明。
30.本技术第一方面提供了一种无人机目标人员跟踪方法，如图1所示，主要包括：
31.步骤s1、通过目标检测算法输出的首帧画面中目标所在的位置及其边框，形成目标检测框，所述目标为无人机指控人员；
32.步骤s2、通过标签对首帧画面中的目标检测框进行标记，通过deepsort人体追踪算法对后一帧画面中标签的目标检测框所可能出现的位置及尺寸进行先验估计；
33.步骤s3、将所述先验估计与目标检测算法输出的后一帧画面中目标所在的位置及其边框进行匹配，若匹配成功，则将首帧画面中对目标的标签继承到后一帧；并再次将标签结果与目标检测结果输入到人体追踪算法中，纠正人体追踪算法的先验估计。
34.步骤s4、将前一帧及后一帧的目标检测结果共同输入到deepsort人体追踪算法中，对再下一帧画面中标签的目标框所可能出现的位置及尺寸进行先验估计，重复上述步骤，直至完成对目标的连续跟踪。
35.在一些可选实施方式中，步骤s2中，如图2所示，通过deepsort人体追踪算法对后一帧画面中标签的目标框所可能出现的位置及尺寸进行先验估计包括：
36.步骤s21、通过特征提取网络提取所述目标检测框的特征。该步骤通过一个特征提取网络提取每个目标检测框内目标的128维表示特征。
37.步骤s22、计算所述目标检测框与预计的各轨迹对应的轨迹表观特征之间的余弦距离，形成距离矩阵。
38.该步骤中，使用余弦距离衡量差异，对于每个检测框dj，计算外观描述符rj，其中||rj||＝1,此外，对于每个轨迹k，利用一个gallary(类似滑动窗口)存放最近的若干个外观描述符。最后，度量了在第i个轨迹和第j个探测之间的最小余弦距离，如下所示：
[0039][0040]
该步骤中，每个轨迹对应于一个轨迹表观特征，目标检测框与每一个轨迹表观特征的余弦距离表征该目标检测框与轨迹的匹配程度，将其写入矩阵中，形成距离矩阵，该距离矩阵作为后续的匈牙利算法的代价矩阵，基于匈牙利算法找到最优匹配。
[0041]
步骤s23、利用卡尔曼滤波基于过去的帧结果预测每条轨迹在当前帧的状态先验估计，当预测的结果与目标检测的马氏距离超过阈值时，将对应于距离矩阵中该轨迹的值置为无穷大，更新所述距离矩阵。
[0042]
在采用匈牙利算法寻找最优匹配之前，通过步骤s23对一些明显不符合的匹配进行过滤，本技术采用马氏距离进行过滤，具体的如下所示：
[0043]d(l)
(i，j)＝(d
j-yi)
tsi-1
(d
j-yi).
[0044]
其中用dj表示第j个检测框信息，si是轨迹卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，由卡尔曼滤波给出，yi是轨迹在当前时刻的预测观测量。上述整个式子表示，第j个预测结果与第i条轨迹的匹配度，计算结果再与阈值比较，如果超过阈值，则认为当前帧的目标检测框与状态先验估计的跟踪框之间的距离较大，因此应当将该预测的状态先验估计删除，本实施例将其对应在距离矩阵中的值修改为无限大即可。
[0045]
步骤s24、对所述距离矩阵，通过匈牙利算法将所述目标检测框匹配到最优轨迹，
对于匹配未成功的目标检测框及轨迹通过iou匹配，最终都未匹配成功的检测框则认为是新的目标并分配新的id。
[0046]
在一些可选实施方式中，在步骤s24中，对任一轨迹，若所述轨迹连续无法匹配到检测结果的次数超过阈值，则放弃对该轨迹的跟踪。
[0047]
由于采用了以上的方案，本技术提高了系统整体的时效性，并为复杂背景下的目标检测，姿态估计以及手势识别算法节省了推理时间；克服了指挥人员短暂丢失导致的手势识别中断问题，提高了对连续复杂动作的识别准确性；扩大了手势识别指挥的应用场景，剔除背景和相似着装人员对手势识别的干扰，降低对使用场景的限制，同时避免因误识别造成冲撞、中止等失控现象发生。
[0048]
本技术第二方面提供了一种无人机目标人员跟踪系统，主要包括：
[0049]
目标检测模块，用于通过目标检测算法输出的首帧画面中目标所在的位置及其边框，形成目标检测框，所述目标为无人机指控人员；
[0050]
人员跟踪模块，用于通过标签对首帧画面中的目标检测框进行标记，通过deepsort人体追踪算法对后一帧画面中标签的目标检测框所可能出现的位置及尺寸进行先验估计；
[0051]
比对模块，用于将所述先验估计与目标检测算法输出的后一帧画面中目标所在的位置及其边框进行匹配，若匹配成功，则将首帧画面中对目标的标签继承到后一帧；
[0052]
循环模块，用于将前一帧及后一帧的目标检测结果共同输入到deepsort人体追踪算法中，对再下一帧画面中标签的目标框所可能出现的位置及尺寸进行先验估计，重复上述步骤，直至完成对目标的连续跟踪。
[0053]
在一些可选实施方式中，所述人员跟踪模块包括：
[0054]
特征提取单元，用于通过特征提取网络提取所述目标检测框的特征；
[0055]
余弦距离计算单元，用于计算所述目标检测框与预计的各轨迹对应的轨迹表观特征之间的余弦距离，形成距离矩阵；
[0056]
过滤单元，用于利用卡尔曼滤波基于过去的帧结果预测每条轨迹在当前帧的状态先验估计，当预测的结果与目标检测的马氏距离超过阈值时，将对应于距离矩阵中该轨迹的值置为无穷大，更新所述距离矩阵；
[0057]
轨迹匹配单元，用于对所述距离矩阵，通过匈牙利算法将所述目标检测框匹配到最优轨迹，对于匹配未成功的目标检测框及轨迹通过iou匹配，最终都未匹配成功的检测框则认为是新的目标并分配新的id。
[0058]
在一些可选实施方式中，所述轨迹匹配单元包括轨迹更新单元，用于对任一轨迹，若所述轨迹连续无法匹配到检测结果的次数超过阈值，则放弃对该轨迹的跟踪。
[0059]
本技术引入了目标跟踪算法实现无人机感知画面中的连续帧内目标人员的人体追踪功能，提高了对无人机指挥人员感知的鲁棒性以及在复杂环境下对干扰信号的抗干扰性。
[0060]
虽然，上文中已经用一般性说明及具体实施方案对本技术作了详尽的描述，但在本技术基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本技术精神的基础上所做的这些修改或改进，均属于本技术要求保护的范围。