联合遮挡目标检测及目标跟踪方法

本发明涉及视频处理方法，尤其涉及一种联合遮挡目标检测及目标跟踪方法。

背景技术：

1、多年来，目标跟踪(object tracking)一直是计算机视觉领域的热门研究课题。在20世纪50年代甚至更早时候，目标跟踪是基于雷达信号进行的，雷达仅能实现以点的形式对目标进行跟踪。随着科学技术的进步，基于计算机视觉信息的目标跟踪逐渐发展，可利用的目标跟踪信息越来越丰富。目标跟踪具有重要的学术研究价值及应用前景。从学术研究角度看，目标跟踪涉及图像处理、机器视觉和多媒体技术等诸多学科领域。从实际应用角度看，目标跟踪在监控领域、虚拟现实、人工智能和自动驾驶等诸多方面得到应用。尽管研究者已提出大量目标跟踪方法，但遮挡问题仍是目标跟踪方法亟待解决的难题。

2、目标跟踪性能常常受目标检测影响，目标检测的上限决定了目标跟踪性能的上限。目标检测难点主要发生于两种情况：一种情况是当目标发生遮挡时，是否能准确检测及标注目标检测框，即漏检。另一种情况是当出现相似于目标的背景时，是否能正确区分目标与背景，即误检。当前目标跟踪方法是对高分目标检测进行跟踪，低分目标检测常常被忽略。如果缺失这些误认为是背景的低分检测框会导致mot的不可逆误差，并带来不可忽略的检测缺失和轨迹断连。因此，亟须一种联合遮挡目标检测及目标跟踪方法解决上述问题。

技术实现思路

1、本发明所要解决的技术问题是如何提供一种能够解决目标在遮挡情况下的漏检及误检并提升目标在遮挡情况下的跟踪性能的方法。

2、为解决上述技术问题，本发明所采取的技术方案是：一种联合遮挡目标检测及目标跟踪方法，包括步骤：

3、s1：通过目标检测器对视频帧进行检测，保留高分检测框，同时保留低分检测框；

4、s2：运用目标跟踪方法将高分检测框目标与历史轨迹信息进行匹配，并预测下一帧中目标位置；

5、s3：将低分检测框和不匹配的历史轨迹线关联，通过轨迹预测框与低分检测框的运动相似度，以及历史轨迹时空特征与低分检测时空特征的相似度进行判断；

6、s4：若历史轨迹与低分目标检测框关联匹配成功，则恢复该低分检测框为确定目标；若低分检测框没有与历史轨迹进行匹配，则认定该低分检测框为背景，舍弃该低分检测框。

7、进一步的技术方案在于，所述步骤s1中：目标检测器由yolox作为主干网络，设置低分检测阈值为0.3，高分检测阈值为0.5；即保留检测得分大于0.3且小于0.5的检测框为低分检测框，检测得分大于0.5的检测框为高分检测框。

8、进一步的技术方案在于：所述目标跟踪方法为基于时空特征的目标跟踪方法，通过运动轨迹特征与时空特征联合进行数据关联，用于过滤背景对真实目标进行跟踪。

9、进一步的技术方案在于，所述基于时空特征的目标跟踪方法包括如下步骤：

10、为每个目标检测框赋予id身份信息，再对目标进行特征提取及下一帧目标边界框预测；

11、如果当前帧检测框和轨迹预测框之间的iou值大于预设的阈值，或者两帧目标的外观特征相似匹配大于阈值，则认为两帧目标为同一id；若匹配得分小于阈值，则认为数据关联失败；

12、若关联成功，则完成目标跟踪并记录目标的当前帧位置及外观特征；若关联失败，可能是发生严重遮挡情况，再使用严重遮挡下目标跟踪方法再次进行数据关联；若是第二次数据关联仍未匹配，则将其认为是一条新的轨迹，并给予其新的id编号。

13、优选的，所述运动轨迹特征通过卡尔曼滤波方法对目标进行运动轨迹预测。

14、进一步的技术方案在于：时空特征的提取，使用空间局部相关层来建模关系结构，空间上建立目标与周围环境之间位置的局部相关性；同时在时序信息帧进行相关性学习，将历史帧信息保存下来加强当前帧目标信息。

15、进一步的技术方案在于，所述时序信息帧进行相关性学习，外观特征部分提取显著性特征，时序信息插入显著特征帧及中间帧与当前帧进行特征增强，在不同的帧目标之间进行多尺度相关性学习，将之前帧保存下来同时加强当前帧的信息。

16、采用上述技术方案所产生的有益效果在于：所述方法为了提升遮挡目标检测的成功率，提出了跟踪恢复低分目标检测的方法，以区分低分检测框为跟踪目标还是背景。两个低分检测框通过运动模型的预测框联合时空特征关系与历史轨迹进行匹配，从而正确恢复跟踪目标。同时，将判断为背景的低分检测框移除。为了增强预测能力，利用卡尔曼滤波在线性系统中的运动预测能力，通过目标运动轨迹预测帮助跟踪定位，而跟踪定位又能更好的更新卡尔曼滤波器的观测，从而达到相互促进的作用。在mot challenge官方网站进行了验证，实验结果充分的证明了该方法的有效性。

17、所述方法为了提升局部遮挡情况下的目标跟踪性能，提出了一种基于时空特征的目标跟踪方法。基于时空特征的目标跟踪方法结合时空特征与行人运动轨迹预测，从而增强行人与周围环境之间的关系信息，增强行人数据关联效果。将空间局部相关性模块拓展到时间维度上，在时序信息不同的帧之间进行多尺度相关性学习。在mot challenge官方网站进行了验证，实验结果充分的证明了该方法的有效性。

18、本次发明所述方法在应对遮挡情况下的目标检测及目标跟踪中，实现了更好的检测遮挡目标，区分低分检测框为遮挡目标或是背景。通过运动轨迹与时空特征联合进行数据关联，有效提升遮挡目标检测及跟踪性能。此外，本发明所提方法具备可移植性，可应用于监控视频及自动驾驶等诸多领域进行实时目标检测及目标跟踪。

技术特征：

1.一种联合遮挡目标检测及目标跟踪方法，其特征在于包括步骤：

2.根据权利1所述的联合遮挡目标检测及目标跟踪方法，其特征在于，所述步骤s1中：

3.根据权利1所述的联合遮挡目标检测及目标跟踪方法，其特征在于：所述目标跟踪方法为基于时空特征的目标跟踪方法，通过运动轨迹特征与时空特征联合进行数据关联，用于过滤背景对真实目标进行跟踪。

4.根据权利3所述的联合遮挡目标检测及目标跟踪方法，其特征在于，所述基于时空特征的目标跟踪方法包括如下步骤：

5.根据权利3所述的联合遮挡目标检测及目标跟踪方法，其特征在于：所述运动轨迹特征通过卡尔曼滤波方法对目标进行运动轨迹预测。

6.根据权利3所述的联合遮挡目标检测及目标跟踪方法，其特征在于：时空特征的提取，使用空间局部相关层来建模关系结构，空间上建立目标与周围环境之间位置的局部相关性；同时在时序信息帧进行相关性学习，将历史帧信息保存下来加强当前帧目标信息。

7.根据权利6所述的联合遮挡目标检测及目标跟踪方法，其特征在于：所述时序信息帧进行相关性学习，外观特征部分提取显著性特征，时序信息插入显著特征帧及中间帧与当前帧进行特征增强，在不同的帧目标之间进行多尺度相关性学习，将之前帧保存下来同时加强当前帧的信息。

技术总结
本发明公开了一种联合遮挡目标检测及目标跟踪方法，涉及视频处理方法技术领域。所述方法包括：通过目标检测器同时保留高分检测框及低分检测框；利用卡尔曼滤波进行运动目标轨迹预测，得到目标当前帧预测框；运用基于时空特征的目标跟踪方法对高分检测框进行目标跟踪；并利用轨迹预测框与低分检测框的运动轨迹相似度以及时空特征相似度计算，以区分低分检测框为跟踪目标还是背景，达到恢复低分检测目标并过滤掉背景误检的目的。所述方法可以有效的解决目标在遮挡情况下的检测问题，并有效提升在目标遮挡情况下的跟踪性能。

技术研发人员：王正友,高新月,张硕,庄珊娜,王辉,白晶,李泽义
受保护的技术使用者：石家庄铁道大学
技术研发日：
技术公布日：2024/1/15