一种应用于武器系统的多目标检测身份保持方法与流程

本发明属于多目标自动检测，具体涉及一种应用于武器系统的多目标检测身份保持方法。

背景技术：

1、随着无人机作战模式逐渐从单平台作战向多平台“集群”作战方向发展，为了精确打击“集群”作战中的某一个无人机目标，需要武器系统能够实现多目标的检测、定位及精确锁定。与单目标检测相比，多目标检测需要检测的目标类别和数目未知，且会随时间发生动态出现和消失；二是单目标检测只需给出每个目标在单帧的位置信息，而多目标检测不仅需要定位单帧潜在目标的位置，还要保持目标在连续帧的身份信息对应；三是多目标检测场景存在多个相似目标，且目标位置可能会产生交叠和遮挡，综上得出多目标检测远远难于单目标检测。

2、目前武器系统对多目标检测的实现主要为两种手段，一种方法是通过人工实现，射手操作地面终端手柄实现目标的远程手动锁定；一种方法是通过弹上导引头自动完成目标的搜索及锁定。对于第一种方法，虽然射手可以第一时间发现目标，但移动手柄及点击确认按钮都耗费时间，而火箭弹飞行速度非常高，留给射手的反应时间极短，且弹体在飞行状态下会产生抖动，射手难以在短时间内精确锁定目标。对于第二种方法，导引头作为弹上部件严苛限制了硬件平台的尺寸及功耗，使得图像处理平台的运算能力有限，若同时对多目标完成检测及锁定，需要对全视场进行遍历搜索，耗时大、精度低，难以满足武器系统实时性的应用要求。

3、随着深度学习技术的快速发展，将深度学习应用于多目标检测领域是未来武器系统的重要研究方向。由于武器系统打击目标的类别特殊，能获得的目标数据总量少且类型单一，使得深度学习算法的训练容易过拟合，泛化性差；另一方面受限于武器系统尺寸及功耗的要求，只能选用体积小、功耗低、运算能力有限的嵌入式gpu处理器，同时还要精简深度学习算法网络模型，降低算法的时延，保证武器系统的实时性。训练样本集少、硬件平台的算力受限、网络模型的轻量化设计等多方面原因都会导致多目标检测在真实场景应用时发生误警及虚警的情况，使得同一目标在视频连续序列中的编号不一致，射手难以选择及判断，因此需要研究一种基于深度学习模型的多目标检测身份保持方法，在模型检测出结果后实现目标身份的稳定，方便射手的快速选择及决策。

技术实现思路

1、(一)要解决的技术问题

2、本发明要解决的技术问题是：如何提供一种多目标检测后的身份保持方法，要求该方法能够提高目标身份信息稳定性，方便射手快速选择并确认目标，完成目标的锁定。

3、(二)技术方案

4、为了解决上述技术问题，本发明提供一种应用于武器系统的多目标检测身份保持方法，所述方法包括：

5、步骤1：实时采集导引头下传的视频图像序列s(s1,s2,s3,s4......)，并传给目标检测模型；

6、步骤2：判断当前图像帧计数的值；若图像帧计数frame_cnt≤1，则进入步骤3；若图像帧计数frame_cnt＞1，则转入步骤4；

7、步骤3：将深度学习算法作为目标检测器，通过输入大量包含目标特征的图像序列完成了检测模型的离线训练，利用训练好的目标检测模型实时对视频图像序列进行逐帧全图检测；

8、设置检测模型阈值为θmid，若检测得到的某个结果i置信度为θi，且θi≥θmid，则将该结果i标记为目标targeti，并记录目标targeti的位置(xi,yi)、置信度θi及目标出现频次timei；整幅图像遍历完成后，统计当前帧满足置信度要求的目标个数n，判断目标个数n是否大于等于μ，若n＜μ，则返回步骤1；若n≥μ，则将当前帧图像标记为目标初始帧so，帧计数frame_cnt由此开始自动累加，并将所有目标放入目标集u中，对目标集u中的n个目标按照目标置信度由高到低进行编号target1,target2,...,targeti,i＝1,2...n；

9、步骤4：由于每帧图像的光照、位移、采集角度的变化，图像中目标特性在每帧会有差异，设置当前帧检测模型的阈值为θlow，阈值θlow比阈值θmid略低，尽可能保证初始帧so检测到的目标在后续帧不会漏掉，若检测得到的结果置信度θi≥θlow，则将该结果标记为目标target'i，并记录目标target'i的位置(x'i,y'i)、置信度θi及目标出现频次timei，假设满足条件的目标个数为m，则将检测出的m个目标结果放入备选集v中；

10、步骤5：计算目标集u和备选集v所有元素的距离特征，建立目标集和备选集之间的二分图；

11、所述步骤5包括如下步骤：

12、步骤5.1：计算目标集u所有元素{u1,u2,...,un}与备选集v所有元素{v1,v2,...,vm}的目标中心坐标之间的欧式距离，设ui的位置坐标表示为(xi,yi)，vj的位置坐标表示为(x'j,y'j)，则ui与vj的欧式距离可表示为：

13、

14、目标集u与备选集v所有元素的欧式距离矩阵可表示为：

15、

16、步骤5.2：设置目标距离特征向量阈值为α，若ui与vj的欧式距离小于等于阈值α，则认为ui与vj建立匹配关系，sji置为1，反之sji置为0；根据公式

17、

18、可以得到目标集u与备选集v所有元素的匹配关系矩阵s；

19、

20、步骤5.3：根据匹配关系矩阵s，建立目标集u与备选集v所有元素之间的二分图，如图1所示；

21、步骤6：利用匈牙利算法解决二分图匹配中的最大匹配问题，尽量实现上一帧目标集在备选集中都有匹配关系，并将目标集u中已匹配的目标按匹配关系赋序列号给备选集中对应目标；

22、所述步骤6包括如下步骤：

23、步骤6.1：用(*)标记目标集u中所有的非m-顶点，m定义为二分图的一个匹配，然后交替进行步骤6.2及步骤6.3；

24、步骤6.2：选取一个刚标记(用(*)或在步骤6.3中用vj标记)过的u中顶点，例如顶点ui，然后用(ui)去标记v中顶点v，如果ui与v为同一非匹配边的两端点，且在本步骤中v尚未被标记过；重复步骤6.2，直至对刚标记过的u中顶点全部完成一遍上述过程；

25、步骤6.3：选取一个刚标记(在步骤6.2中用ui标记)过的v中结点，例如vj，用vj去标记u中结点u，如果vj与u为同一匹配边的两端点，且在本步骤中u尚未被标记过；重复步骤6.3，直至对刚标记过的v中结点全部完成一遍上述过程；

26、步骤6.4：步骤6.2及步骤6.3交替执行，直到下述情况之一出现为止：

27、(i)标记到一个v中顶点v，它不是m-顶点；这时从v出发循环记回溯，直到(*)标记的u中顶点u,求得一条交替链；

28、(ii)步骤2或3找不到可标记结点，而又不是情况(i)；

29、步骤6.5：当步骤6.2、步骤6.3中断于情况(i)，则将交替链中非匹配边改为匹配边，原匹配边改为非匹配边(从而得到一个比原匹配多一条边的新匹配)，回到步骤6.1，同时消除一切现有标记；

30、步骤6.6：对于步骤6.2和6.3中断于情况(ii)，或步骤6.1无可标记结点，遍历终止；

31、步骤6.7：将u中目标编号赋给m匹配对应的v中目标；

32、步骤7：设置检测器阈值为高阈值θhigh，利用高阈值筛选出置信度高的目标，这类目标极有可能为视场中出现的新目标，将这类目标与步骤6匹配结果的目标进行比较分为四种情况：

33、(1)若上一帧目标位置在当前帧都可配对，且高阈值集得到的目标也都在该匹配对内，则将上一帧目标的编号一一赋值给当前帧相匹配的目标；

34、(2)若上一帧各目标位置在当前帧都可配对，而高阈值集得到的目标有部分在该匹配对外，则将高阈值未在集内的目标按照图像中由上至下、由左至右的位置关系赋予未用的目标序号；

35、(3)若上一帧目标集内有未匹配上的，且高阈值集在配对集内，则将缺失序号保留，并记录丢失次数，若连续累计次数大于n次，则认为该目标丢失，序号可重新复用；

36、(4)若上一帧目标集内在当前帧集有未匹配的，且高阈值内有不匹配的，则将缺失序号保留，并记录丢失次数，若连续累计次数大于n次，认为该目标丢失，序号可重新复用；高阈值内不匹配的，则记录目标位置，并标记为新目标序号；

37、步骤8:将目标编号结果及位置、置信度的信息通过串口信号发送至地面终端设备，地面终端将目标编号及位置叠加至终端显示界面上，射手通过操纵地面终端设备按钮确认目标，终端设备自动将选定的目标位置、帧编号等结果信息通过无线数据链上传至导引头，导引头收到指令完成目标的锁定。

38、(三)有益效果

39、与现有技术相比较，本发明针对模型检测后的结果编号不稳定问题，提出了一种多目标身份保持方法，利用相邻帧目标位置的相关性，可以提高目标身份信息的稳定，避免连续帧目标编号的跳变引起射手的误操作，采用双阈值对多目标进行判断，可以甄别出虚假目标及新增目标，该方法运算量小，实时性好，准确率高，在检测模型运算完成后使用该方法可以有效保证目标的稳定编号。