一种视频运动目标检测与跟踪方法与流程

本发明涉及信息处理技术领域，具体为一种视频运动目标检测与跟踪方法。

背景技术：

视频目标检测和跟踪技术在很多领域都得到了应用，在未来的发展中肯定会不断提高以满足我们的需求。无论是军事上应用在导弹末制导视频制导阶段、光学跟踪仪器和红外小目标检测跟踪，在工业中应用在流水线的自动识别、工业机器人和工业危险入侵检测等，还是在生活中应用在智能视频监控、车载跟踪仪和视频会议等。在这些方面目标检测和跟踪技术都为我们提供了安全、方便、快捷和智能化的保障，使我们生活在更加智能化，安全化的环境中。

视频运动目标检测技术即检测出视频中我们所关注的移动目标。运动目标检测技术既基础又有难度。从视频源的运动性来看，可以把运动目标检测分为两种：背景变化和背景不变。背景不变即视频源固定的移动目标，其跟踪算法难度相对较小比较成熟，背景变化即移动平台下的移动目标检测，由于背景的不断更新或由于摄像机抖动造成的噪声干扰，使这种情况下的算法难度大大增高。

目前，针对背景变化条件下的目标检测技术很多研究学者提出背景补偿法的方法。背景补偿法即通过坐标变换消除相机运动带来的全局运动，然后补偿背景再做差分，这种方法有两个问题，一是背景补偿不准确，对背景平移的情况效果良好，但在背景旋转或景深变化的情况下很难实现；二是运动补偿运算复杂度高，已造成累积误差。

技术实现要素：

针对现有技术存在的问题，本发明提出一种视频运动目标检测与跟踪方法，基于背景建模和特征点边缘约束实现联合检测，并基于特征重匹配实现跟踪，以克服背景建模的误差和目标丢失问题，达到运动目标检测和跟踪的快速高效实现。

本发明的运动目标检测和跟踪包括两个问题：运动的目标检测问题和运动目标的跟踪问题。

对于目标检测问题：在有复杂的背景的一段视频或者图像序列中检测到我们所关注的运动目标，需要抑制背景干扰去除背景，使目标和背景区分开来。为每个像素建立混合高斯模型并且使用在线估计方法来更新模型参数，自适应混合高斯模型可以判断哪些区域更加可能属于背景。然后采用速度和精确度优良的orb特征点，用图像边缘轮廓来对进行高斯混合模型处理和特征约束后的图像做空间约束，进一步处理得到运动目标。

对于目标跟踪问题：进行目标跟踪时会构造一个滤波器，用于区分背景和目标。用滤波器检测目标是否存在于视频帧目标区域附近搜索窗内。在构造滤波器时需要进行训练，训练样本的选取以当前帧目标区域为正样本，除去所选取目标框的其他区域作为负样本，当其他像素点的坐标和目标框的距离越小，该点为正样本的概率越大。而相关滤波方法开始应用于信号与信息处理方向，后来被拓展应用于数据检测和鉴别。相关滤波被应用于目标追踪方面是由于相关性是衡量两个信号相似度的一个度量，就像数学中的相似性，当两个信号的差距越小其相似性越高。在目标跟踪领域，可用于衡量前一帧和当前帧目标和预测目标的相似度，从而达到追踪目的。这就需要设计一个滤波模板，使得它作用在跟踪的预测目标区域得到最大的响应，最大值的位置就是目标的位置。

本发明的技术方案为：

所述一种视频运动目标检测与跟踪方法，其特征在于：包括以下步骤：

步骤1：对视频采集设备采集到的视频信号中的每一帧图像进行预处理，包括颜色空间转换和滤波；对于经过预处理后的视频信号，每隔若干帧图像，就采用高斯混合模型建立背景模型；

步骤2：对于当前帧图像，根据建立好的背景模型，提取当前帧图像的前景图像；

步骤3：对当前帧图像提取orb特征点；

步骤4：对当前帧图像做canny边缘检测，用双阈值法去除细小边缘并将边缘连接；若采用双阈值法无法将当前帧图像的边缘完全连接，则对当前帧图像采用腐蚀膨胀处理，去除当前帧图像中的空洞，实现边缘连接，得到若干具有完整边缘轮廓的准目标；

步骤5：采用评价函数对步骤4得到的准目标打分，评价指标为

其中m表示第m个准目标，sm,0表示第m个准目标内具有前景值的像素个数，sm,in表示第m个准目标内的总像素数，nm表示第m个准目标中的orb特征点个数；若所有准目标评价指标均小于阈值，则认为当前帧没有运动目标，重新对下一帧返回步骤2进行运算；如果有准目标评价指标大于阈值，则以评价指标最大的准目标作为运动目标；

步骤6：对识别出来的运动目标用目标框标记，将目标框设置为匹配模板，并存储运动目标orb特征点的特征描述子信息，每隔设定帧更新一次存储的运动目标orb特征点特征描述子信息，以便标丢失时使用；

步骤7：使用kcf算法跟踪目标，若目标丢失，则进行orb特征重匹配重新获取目标。

进一步的优选方案，所述一种视频运动目标检测与跟踪方法，其特征在于：步骤7中在使用kcf算法跟踪目标过程时，对于目标尺度的变化使用多尺度kcf跟踪，通过采用比当前尺寸大一些和小一些的尺寸来检测，并比较匹配函数峰值来进行尺寸调整。

进一步的优选方案，所述一种视频运动目标检测与跟踪方法，其特征在于：步骤7中，若kcf峰值函数循环检测最大值小于阈值，认为目标丢失，则进行orb特征重匹配重新获取目标。

有益效果

本发明与现有技术相比具有以下优点：

第一，相对于传统的目标检测和跟踪方法，本发明提出新的目标检测算法和目标跟踪算法，算法的实现提高了检测跟踪效率；

第二，本发明针对目标跟踪问题提出了特征重匹配的方式，增加了系统的健壮性；

第三，本发明针对背景建模方法容易检测错误的前景目标的问题进行改进和补偿，使得运动目标检测更加准确。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的实现流程图；

图2是用本发明对目标检测的实现流程图；

图3是用本发明对多尺度目标跟踪的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提出一种视频运动目标检测与跟踪方法，其中背景建模方法采用效果好速度快的混合高斯模型做前景检测。选取orb特征点作为视频目标检测特征点，利用梯度边缘作为空间约束进行联合检测。当对未知移动目标检测时，先使用混合高斯模型初步检测运动目标，由于混合高斯模型检测结果会因相机运动造成背景噪声，此时，结合特征点对运动物体区域检测对运动目标进行筛选。为应对运动目标跟踪的尺度变化和遮挡问题，采用特征点重匹配跟踪方法fp-kcf。假设前一帧的跟踪位置是准确的并且目标运动轨迹是平滑的，则在当前帧的预测目标位置附近执行局部窗搜索，计算能力允许的搜索步长用于获得最大速度，足够小以提高匹配精度。为了不影响跟踪速度，采用3个尺度，通过采用比当前尺寸大一些和小一些的尺寸来检测，比较匹配函数峰值来进行尺寸调整。对于目标丢失，采用orb特征重匹配重新获取目标。

如图1所示，本实施例中的具体实现步骤为：

步骤1：视频采集设备采集到的目标场景视频信号通过usb接口实时输入目标检测跟踪系统，对目标场景视频信号中的每一帧图像进行预处理，将采集到的yuv视频转化为rgb三通道视频，并采用双边滤波对图形平滑处理以保护边缘；对于经过预处理后的视频信号，每隔2帧图像，就采用高斯混合模型建立背景模型；

步骤2：对于当前帧图像，根据建立好的背景模型，提取当前帧图像的前景图像：将前景像素点像素值置为0，背景像素值置为1，以得到前景二值图；

步骤3：对当前帧图像提取orb特征点：计算出当前帧图像orb特征点，将特征点像素值置为0，非特征点像素值置为1，以得到特征点二值图；

步骤4：对当前帧图像做canny边缘检测，用双阈值法去除细小边缘并将边缘连接；若采用双阈值法无法将当前帧图像的边缘完全连接，则对当前帧图像采用腐蚀膨胀处理，去除当前帧图像中的空洞，实现边缘连接，得到若干具有完整边缘轮廓的准目标；

步骤5：采用评价函数对步骤4得到的准目标打分，评价指标为

其中m表示第m个准目标，sm,0表示第m个准目标内具有前景值的像素个数，sm,in表示第m个准目标内的总像素数，nm表示第m个准目标中的orb特征点个数；若所有准目标评价指标均小于阈值，则认为当前帧没有运动目标，重新对下一帧返回步骤2进行运算；如果有准目标评价指标大于阈值，则以评价指标最大的准目标作为运动目标；

步骤6：对识别出来的运动目标用目标框标记，将目标框设置为匹配模板，并存储运动目标orb特征点的特征描述子信息，每隔5帧更新一次存储的运动目标orb特征点特征描述子信息，以便标丢失时使用；

步骤7：使用kcf算法跟踪目标，若kcf峰值函数循环检测最大值小于阈值，认为目标丢失，则进行orb特征重匹配重新获取目标：比较两个特征点特征描述子字符数组的汉明距离，即相同位置上数值不同的位数之和，汉明距离越小越匹配。选择已经匹配的点对的汉明距离小于最小距离的两倍作为判断依据，如果小于该值则认为是一个错误的匹配，过滤掉；大于该值则认为是一个正确的匹配。若满足匹配条件则找到目标，否则超过重匹配时间认为目标丢失，程序终止运行。

参照图2，目标检测的实现流程为：

背景建模采用混合高斯模型，在选用特征点时对比几种常用的特征点提取方法的性能。采用性能优良的orb特征点，在做边缘空间约束时为去除空洞、边缘连接形成完整的边缘二值图，进行腐蚀膨胀运算和去噪运算。按照评价指标中评价函数计算得分得到最后运动目标区域，判断目标区域是否满足最小特征点数，若不满足重新提取当前帧图像做重复判断。

参照图3，多尺度目标跟踪的流程为：

根据当前帧图像以及目标位置及尺寸，利用样本回归的响应如公式和高斯核的快速运算如公式

得到目标响应结果和值；然后读取下一帧图像，使用幅值做差来定位峰值的位置，返回的是需要改变的偏移量大小确定最佳匹配目标中心位置；先用原尺度求出快速检测的响应结果峰值和上一帧跟踪结果的0.95倍作比较。这里取0.95是由于在其他尺度做检测时，为了增加系统的稳定性，在原峰值上做一定的衰减。若响应峰值大于0.95t说明预测位置尺度小于等于当前尺度，选用小尺度检测，其中为尺度变化步长，可选取0.005、0.01等，值越小运算量越大越精确，反之收敛比较快不精确。为适应在arm上的速度要求本文采取0.01的步长。重复以上过程，每重复一次，直到响应峰值大于0.95t说明已达到尺度最小值，更新尺度为下次检测做准备。若尺度增大，即预测结果的响应峰值小于0.95t说明预测位置尺度大于当前尺度，需要选用更大的尺度来检测，直到检测峰值大于0.95t为止。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。