一种目标跟踪丢断帧的处理方法及系统与流程

本发明涉及在视频图像个跟踪监测中，对跟踪目标丢断帧的处理方法及系统。

背景技术：

在市场经济的快速发展过程中，视频监控系统因其对现实场景的有效还原，能够通过对远程监控对象的录像、回放、联动报警、监控策略制定、应急指挥等应用，达到监控与通讯的双重功能，全面满足了交通、水利、电信、安防、银行、军队、政府管理、智能家居等各个领域的远程监控与指挥管理需求。

对目标的跟踪监控需通过目标检测算法实现，现有的目标跟踪算法主要包括生成式算法、判别式算法、基于kcf(kernelcorrelationfilter，核相关滤波器)改进算法。其中，生成式算法通过人工设计目标的特征提取方法或者通过全局的像素扰动特征检测来获得目标在图像获取装置中的位置，从而完成跟踪的过程。判别式算法预先获取特定跟踪目标的特征信息同时获取目标背景的特征信息，然后在跟踪的过程中根据预先获得的特征信息来区分目标和背景，从而完成对特定目标的跟踪。kcf算法在首次提出基于首帧手动框选目标，然后输入框选区域进行hog特征提取，得到跟踪目标的特征正样本，同时算法自动框选首帧非目标部分的hog特征作为负样本，得到划分目标对象和背景的分类器，将这个分类器运用到往后的视频帧中对每一帧识别出目标和背景，从而完成目标的跟踪过程。

为达到目标跟踪的稳定性，可以采用高端的硬件设备对每一帧视频图像进行深度卷积网络检测，但在得到比较稳定的跟踪结果的同时，也会增加算法在产品化落地上的硬件成本，而深度卷积网络在对目标对象进行特征提取的过程中也会产生庞大的参数集合，这些参数集合在算法调用的过程中也耗费大量的服务器的内存资源，导致算法的可移植性能受限。然而，任何跟踪算法都不可避免在跟踪过程中出现丢帧、断帧的情况，导致一开始赋予的跟踪目标的id(identity，身份识别信息)发生改变，从而使系统无法维系原目标的状态进行跟踪。

如何在降低硬件成本的基础上满足目标跟踪的稳定性和时效性？在现有技术中均未有相应的解决方案。

技术实现要素：

针对现有技术问题，本发明将传统的kcf跟踪算法结合ssd检测框架通过逻辑结构进行联结，提供一种目标跟踪丢/断帧的处理方法及系统。

为了完成上述发明目的，本发明提供一种目标跟踪丢/断帧的处理方法，，包括，

步骤a，依次获取待跟踪视频图像的帧信息，调用ssd检测模型，检测跟踪目标，并获取跟踪目标的质心及检测框；

步骤b，跟踪检测所述跟踪目标的检测框帧信息，判断并获取丢/断帧；

步骤c，调用丢/断帧前一帧信息，获取并筛选跟踪目标的临近检测框，选择符合条件的检测框作为丢/断帧的跟踪目标检测框，完成所述丢/断帧的接续。

更进一步，所述获取跟踪目标的质心及检测框的步骤包括，

步骤a-1，判断是否检测到所述跟踪目标及所述跟踪目标是否为首次检测到目标；

步骤a-2，计算所述跟踪目标框和外围框的hog特征和raw特征，完成对所述跟踪目标的正样本特征采集和背景环境的负样本特征采集；

步骤a-3，采用线性回归进行训练获得所述跟踪目标首帧的质心及检测框。

更进一步，所述判断丢/断帧的步骤包括，

步骤b-1，计算当前帧跟踪目标和外围框的hog特征和raw特征；

步骤b-2，采用线性回归对所述当前帧的目标位置和背景进行分类；

步骤b-3，计算获得所述跟踪目标的回归置信度值m；

步骤b-4，若m≤预先设定的阈值n，则判定所述当前帧为丢/断帧。

更进一步，n＝0.6。

更进一步，所述选择符合条件的检测框作为丢/断帧中中跟踪目标检测框的步骤包括，

步骤c-1，以所述丢/断帧前一帧中所述跟踪目标检测框的质心为中心进行尺度变化得到p个候选检测框，进行平移变化变化得到q个候选检测框，p、q为正整数；

步骤c-2，对所述p+q个候选检测框调用ssd检测模型，筛选出置信度值最高的候选检测框作为所述丢/断帧的所述跟踪目标的检测框，并获取所述检测质心；

步骤c-3，将所述跟踪目标的检测框输入至kcf中完成断帧接续。

本发明还提供了一种目标跟踪丢/断帧的处理系统，包括，

跟踪目标获取模块，用于获取跟踪目标的质心及检测框；

丢/断帧获取模块，用于检测获取丢/断帧；

接续模块，用于对所述丢/断帧进行接续。

更进一步，所述跟踪目标模块还包括，

跟踪目标获取子模块，用于获取所述跟踪目标并判断是否为所述跟踪目标的首帧；

特征采集模块，用于对所述跟踪目标的首帧的正样本特征采集和背景环境的负样本特征采集；

位置获取模块，用于获取步所述跟踪目标首帧的质心及检测框。

更进一步，所述丢/断帧模块还包括，

特征计算模块，用于计算当前帧跟踪目标和外围框的hog特征和raw特征；

分类模块，用于对采用线性回归对所述当前帧的目标位置和背景进行分类；

回归置信度计算模块，用于计算获得所述跟踪目标当前帧的回归置信度值m。

更进一步，所述接续模块还包括，

二次获取模块，用于获取所述丢/断帧前一帧中所述跟踪目标的候选检测框；

筛选模块，用于筛选出置信度值最高的候选检测框作为所述丢/断帧的所述跟踪目标的检测框，并获取所述检测质心。

采用本发明技术方案，针对跟踪目标短帧中出现的丢/断帧情况，利用跟踪目标的回归置信度值判断丢/断帧，并利用ssd检测模型获取丢/断帧的跟踪目标信息，将传统的kcf跟踪算法结合ssd检测框架通过逻辑结构进行联结，在尽可能减少硬件成本的基础上满足跟踪的稳定性和时效性的需求。

附图说明

图1为本发明提供的一种目标跟踪丢/断帧的处理方法的一个实施例的流程示意图；

图2为本发明提供的一种目标跟踪丢/断帧的处理方法的另一个实施例的流程示意图；

图3为本发明提供的一种目标跟踪丢/断帧的处理系统的一个实施例的结构示意图；

图4为本发明提供的一种目标跟踪丢/断帧的处理系统的另一个实施例的结构示意图；

图5-1为本发明实际场景检测到跟踪行人的首帧图；

图5-2为本发明一个实际场景跟踪行人的当前帧回归置信度低于阈值图；

图5-3为本发明一个实际场景以丢/断帧之前一帧跟踪行人检测框的质心为中心进行尺度变化得到多个候选框图；

图5-4为本发明一个实际场景以丢/断帧之前一帧跟踪行人检测框的质心为中心进行平移变化得到多个候选框图。

图5-5为本发明一个实际场景将筛选出的置信度最高的检测框接续到丢/断帧图。

具体实施方式

本发明提供了一种目标跟踪丢/断帧的方法及系统，针对跟踪目标短帧中出现的丢/断帧情况，利用跟踪目标的回归置信度值判断丢/断帧，并利用ssd检测模型获取丢/断帧的跟踪目标信息，将传统的kcf跟踪算法结合ssd检测框架通过逻辑结构进行联结，在尽可能减少硬件成本的基础上满足跟踪的稳定性和时效性的需求。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

图1为本发明提供的一种目标跟踪丢/断帧的处理方法的一个实施例的流程示意图，包括：

步骤101，依次获取待跟踪视频图像的帧信息，调用ssd检测模型，检测跟踪目标，并获取跟踪目标的质心及检测框；

首先通过视频图像获取设备，如摄像头获取视频图像的帧信息，调用ssd模型定位待跟踪目标的位置，也就是待跟踪目标的质心和跟踪检测框。

步骤102，跟踪检测跟踪目标的检测框帧信息，判断并获取丢/断帧；

实时跟踪并检测跟踪目标检测框的帧信息，当跟踪目标检测框当前帧信息满足丢帧或断帧的条件时，判定为丢/断帧，获取该丢/断帧的信息。

步骤103，调用丢/断帧前一帧信息，获取并筛选跟踪目标的临近检测框，选择符合条件的检测框作为丢/断帧的跟踪目标检测框，完成所述丢/断帧的接续。

在确定当前帧为丢帧或断帧后，需要对该丢/断帧进行修正接续，所采用的方法是在丢/断帧的前一帧中的跟踪目标的临近检测框中选择符合条件的检测框作为丢/断帧的跟踪目标的检测框，从而完成对丢/断帧的修正接续工作。

本实施例中，利用ssd模型获取跟踪目标的检测框，选择丢/断帧前一帧中跟踪目标的临近检测框中符合条件的检测框作为丢/断帧的跟踪目标检测框，以完成对丢/断帧的修正接续。将传统的kcf跟踪算法结合ssd检测框架通过逻辑结构进行联结，在尽可能减少硬件成本的基础上满足跟踪的稳定性和时效性的需求。

实施例2：

图2为本发明提供的一种目标跟踪丢/断帧的处理方法的另一个实施例的流程示意图，包括：

步骤201，依次获取待跟踪视频图像的帧信息；

视频图像获取设备可以是摄像头。

步骤2011，调用ssd检测模型检测，判断是否检测到跟踪目标及是否为该跟踪目标的首帧，若是，则执行步骤2012，若否，则执行步骤2021；

步骤2012，计算跟踪目标和外围框的hog特征和raw特征，完成对所述跟踪目标的正样本特征采集和背景环境的负样本特征采集；

kcf算法的提出是基于目标出现的首帧框选待跟踪目标，在调用ssd检测模型后，对输入框选区域进行hog特征提取，得到跟踪目标的特征正样本，同时算法自动框选首帧非目标部分的hog特征作为负样本，得到区分跟踪目标和背景的分类器，将这个分类器运用到往后的视频帧中对每一帧识别出目标和背景，作为跟踪目标检测框与背景的分离器。

需要说明的是，这里的外围框是围绕着目标框生成的一系列矩形框，囊括目标周围的部分背景图。

步骤2013，采用线性回归进行训练获得所述跟踪目标首帧的质心及检测框；

所属领域的技术人员应当知道，训练是一种寻找不同分类的特征的划分线的一种手段，在本步骤中训练前景和背景划分线的参数。

步骤2021，计算跟踪目标当前帧跟踪目标和外围框的hog特征和raw特征；

步骤2022，采用线性回归对跟踪目标框和外围框进行分类，获得当前目标和背景的分类模型；

步骤2023，根据分类模型，计算当前帧跟踪目标的回归置信度值m；

步骤2024，若当前帧跟踪目标的置信度值m≤预先设定的阈值n，判断当前帧为丢/断帧，执行步骤2031，否则，执行步骤2011；

对于短帧内出现的跟踪目标丢/断帧，需要引入判定跟踪目标帧是否丢失的机制，本实施例预先设定回归置信度的阈值，用来与跟踪目标的回归置信度值进行对比，从而判定是否为丢/断帧，当判定为丢/断帧时，执行步骤203，否则，执行步骤2011。

步骤2031，以丢/断帧前一帧中跟踪目标检测框的质心为中心进行尺度变化得到p个候选检测框，进行平移变化变化得到q个候选检测框；

对于丢/断帧跟踪目标进行修正接续，本实施例所采用的方法是在丢/断帧的前一帧的跟踪目标的临近检测框中选择符合条件的检测框作为丢/断帧的跟踪目标的检测框，这里临近检测框，也就是候选检测框通过丢/断帧前一帧的质心为中心进行尺度变化、平移变化得到。

步骤2032，对步骤2031中的p+q个候选检测框调用ssd检测模型，筛选出置信度值最高的候选检测框作为所述丢/断帧的所述跟踪目标的检测框，并获取所述检测质心。

步骤2033，将步骤2032获得的跟踪目标检测框通过坐标转换，输入至kcf，完成丢/断帧接续。

本发明提供了一种目标跟踪丢/断帧的方法及系统，针对跟踪目标短帧中出现的丢/断帧情况，利用跟踪目标的回归置信度值判断丢/断帧，并利用ssd检测模型获取丢/断帧的跟踪目标信息，将传统的kcf跟踪算法结合ssd检测框架通过逻辑结构进行联结，在尽可能减少硬件成本的基础上满足跟踪的稳定性和时效性的需求。

本实施例中，利用ssd模型获取跟踪目标的检测框，选择丢/断帧前一帧中跟踪目标的临近检测框中符合条件的检测框作为丢/断帧的跟踪目标检测框，以完成对丢/断帧的修正接续。将传统的kcf跟踪算法结合ssd检测框架通过逻辑结构进行联结，在尽可能减少硬件成本的基础上满足跟踪的稳定性和时效性的需求。尤其以预先设定的阈值判断丢/断帧，选择丢/断帧跟踪目标检测框是在前一帧跟踪目标的临近检测框中筛选出回归置信度值最高的检测框，进一步提高了处理精度。

实施例3：

图3为本发明提供的一种目标跟踪丢/断帧的处理系统一个实施例的结构示意图，包括，

跟踪目标获取模块301，用于获取跟踪目标的质心及检测框；

丢/断帧获取模块302，用于检测获取丢/断帧；

接续模块303，用于对丢/断帧进行接续。

本实施例三大模块分别用于获取跟踪目标，判断丢/断帧，修正接续丢/断帧，完成了对跟踪目标度丢/断帧的处理，在尽可能减少硬件成本的基础上满足跟踪的稳定性和时效性的需求。

实施例4：

图4为本发明提供的一种目标跟踪丢/断帧的处理系统另一个实施例的结构示意图；

跟踪目标获取模块401，用于获取跟踪目标的质心及检测框，具体还包括，

跟踪目标获取子模块4011，用于获取所述跟踪目标并判断是否为所述跟踪目标的首帧；

特征采集模块4012，用于对所述跟踪目标的首帧的正样本特征采集和背景环境的负样本特征采集；

位置获取模块4013，用于获取步所述跟踪目标首帧的质心及检测框。

丢/断帧获取模块402，用于检测获取丢/断帧，具体还包括，

特征计算模块4021，用于计算当前帧跟踪目标和外围框的hog特征和raw特征；

分类模块4022，用于对采用线性回归对当前帧的目标位置和背景进行分类；

回归置信度计算模块4023，用于计算获得所述跟踪目标当前帧的回归置信度值m；

接续模块403，用于对丢/断帧进行接续，具体还包括，

二次获取模块4031，用于获取所述丢/断帧前一帧中所述跟踪目标的候选检测框；

筛选模块4032，用于筛选出置信度值最高的候选检测框作为所述丢/断帧的所述跟踪目标的检测框，并获取所述检测质心。

本实施在实施例3的基础上细化了每个模块子模块的功能，由4011、4012、4013根据跟踪目标首帧的正负样本采集获取跟踪目标，由4021、4022、4023引入回归置信度阈值判断丢/断帧，由4031、4032在丢/断帧前一帧的跟踪目标尺度变化、平移变化的检测框中选择最优检测框作为丢/断帧跟踪目标的检测框，进一步达到了减少硬件成本、满足跟踪的稳定性和时效性的技术效果。

实施例5：

图5-1到图5-5为本发明一个实际场景根据本技术方案披露的目标跟踪断帧处理方法过程图。

图5-1为摄像头获取实际场景检测到某个行人，调用ssd检测模型，确定该行人为跟踪目标，通过计算行人和行人外围的hog特征和raw特征，完成对行人目标的正样本特征采集和背景环境的负样本特征采集，采用线性回归对跟踪目标框和外围框进行训练，获取到跟踪行人的检测框；

图5-2为通过计算当前帧跟踪目标和外围框的hog特征和raw特征，并采用线性回归对跟踪目标框和外围框进行分类，检测到当前帧的回归置信度值低于预先设定的阈值，此时，认为该帧为断帧；

图5-3为调用断帧之前一帧中目标行人的检测框的质心为中心进行尺度变化得到4个候选检测框；

图5-4为调用断帧之前一帧中目标行人的检测框的质心为中心进行平移变化得到8个候选检测框；

图5-5为将前述12个候选框输入到ssd检测模型，筛选出置信度最高的候选框作为断帧的行人目标检测框输入到kcf中。

本实施例中，利用ssd模型获取目标行人的检测框，当目标行人检测框的回归置信度值低于预设阈值时，启动断帧修正接续，调用断帧之前一帧目标行人临近检测框中回归置信度值最大的检测框作为断帧的目标检测框，完成了对丢/断帧的修正接续。本实施例将传统的kcf跟踪算法结合ssd检测框架通过逻辑结构进行联结，采用出现断帧的判断逻辑和断帧目标行人检测框的筛选逻辑，在尽可能减少硬件成本的基础上满足跟踪的稳定性和时效性的需求。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。