一种支持目标尺寸变化的实时对象跟踪方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体涉及一种支持目标尺寸变化的实时对象跟 踪方法。
【背景技术】
[0002] 实时目标跟踪是智能视频监控系统中非常重要的功能之一，也是计算机视觉领域 非常重要的研究方向之一。同时，目标跟踪也可以为计算机视觉领域其他问题，如动作识 另IJ、视频内容分析等问题提供良好的输入数据。
[0003] 目标跟踪算法可以简单划分为基于轮廓的目标跟踪算法，基于特征匹配的目标跟 踪算法和基于区域搜索的目标跟踪算法。基于主动轮廓跟踪的方法同时考虑了目标的灰度 信息以及目标轮廓的几何信息，增强了跟踪的可靠性;但是由于跟踪过程是通过不断地寻 找最优过程，计算量非常大，且对于高速运动的物体或者形变较大的情况，跟踪效果不够理 想。基于特征的跟踪算法的优点在于对运动目标的尺度、形变和亮度等变化不敏感，即使目 标部分被遮挡，仍可以通过其他部分特征进行匹配跟踪;但是这类方法对于视频中噪声比 较敏感，图像特征的提取也依赖于各种特征算子及其参数的设置，此外，连续视频帧之间的 特征也可能发生变化，难以匹配。基于区域的搜索方法的优点在于当目标未被遮挡时，跟踪 精度非常高、跟踪非常稳定;但这类方法的缺点是当搜索区域较大时需要大量的计算匹配， 其次，对于目标在视频中发生的形变以及遮挡等情况的处理效果也很差。
[0004] 由于跟踪目标距离相机的距离不同导致其在相机内成像大小发生变化，而目前效 果较好的跟踪方法几乎都没有考虑目标成像缩放的问题，如Struck算法，压缩感知算法 (CT)，核协同滤波算法(KCF)，局部稀疏外观模型算法(ASLA)等，这无疑会导致跟踪框精度 下降。而一些考虑缩放问题带来的精度问题一般都是通过目标检测的方式获取到目标较为 准确的大小，再做关联匹配的，然而这类方法在目标受到遮挡时经常会检测不到或者检测 错误，如TLD算法。针对这一问题，本发明通过建立目标位置与成像大小的映射函数来解决 缩放带来的跟踪框精度问题，同时对目标提取了局部的Haar-like特征、全局的颜色直方图 信息以及空间位置的约束，增强了跟踪的鲁棒性，并且由于计算复杂度不高，能够很好地达 到实时性的要求。
【发明内容】
[0005] 本发明的目的是解决目前目标跟踪算法难以解决的目标尺寸变化的情况，提出了 一种支持目标尺寸变化的实时对象跟踪方法，可以达到实时性，能够准确的跟踪目标，并且 跟踪框的精度非常高。
[0006] 为完成本发明的目的，本发明采用的技术方案是一种支持目标尺寸变化的实时对 象跟踪方法，包括以下步骤：
[0007] 步骤(1)、目标跟踪预处理阶段：
[0008] a)对于运动物体在视频帧序列中成像大小的参数方程进行求解;首先根据手工标 定的不同运动物体在视频帧序列中的矩形框位置及大小，利用最小二乘法对矩形框大小计 算公式的参数进行求解；
[0009] b)设定模板矩形框大小S;
[00?0] c)根据模板框rs大小在模板框内随机生成Nh(Nh为常数，一般取模板框的长度或者 高度)个不同位置不同大小的Haar-1 ike特征；
[0011]步骤(2)、可变尺度跟踪模型的初始化：
[0012] a)获取需要跟踪目标的视频序列帧ft及目标初始位置矩形框r〇;
[0013] b)对每个Haar-like特征的特征值的概率分布进行初始化，对于每一个特征值作 为正样本和负样本均初始化为以特征值为中心位置的正态分布；
[0014] c)计算目标矩形框ro颜色直方图H。作为全局特征；
[0015] d)初始化跟踪目标在图像中的运动速度为V〇= (0,0)(在图像二维平面运动速度 为〇);
[0016] e)初始化跟踪目标在当前帧的匹配度S = l;
[0017] f)跳到步骤(3)f)。
[0018] 步骤(3)、可变尺度跟踪过程：
[0019] a)根据视频上一帧目标位置r，在当前帧对应位置周围进行采样，采样矩形框大小 根据当前采样位置、初始位置矩形框ro以及步骤(l)a)得到的参数方程进行计算；
[0020] b)对于每一个采样框，将其缩放到模板框大小，计算Nh个Haar-l ike特征值;利用 朴素贝叶斯分类器对每一个Haar-like特征值根据其对应的正态分布计算分类并求和，然 后通过sigmoid函数归一化，得到局部特征的相似度；
[0021 ] c)对于每一个采样框，计算其颜色直方图Hi，利用Bhattacharrya系数计算H。和Hi 的距离，利用sigmoid函数归一化，得到全局特征的相似度；
[0022] d)根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标 运动速度V。进行距离和角度比较，对空间运动关系进行约束，利用sigmoid函数归一化，得 到空间位置相似度；
[0023] e)根据每一个采样框的局部特征相似度、全局特征相似度以及空间位置相似度计 算最终的相似度，取最终相似度最大的采样框作为当前帧的跟踪目标的位置，若所有采样 框的最终相似度的最大值小于一定阈值则认为跟踪丢失，跳到步骤(4);否则，执行f)。 [0024] f)在跟踪目标的位置r临近的小范围区域生成正样本框，在跟踪目标的位置r 一定 距离范围的区域生成负样本框，通过将正负样本框缩放到模板框大小计算局部Haar-like 特征、全局颜色直方图特征以及速度;对跟踪目标的局部特征的概率分布、全局的颜色直方 图信息以及运动速度进行更新，特别的，将当前帧所有候选目标采样框中相似度最高的采 样框的相似度作为学习率，进行动态的更新；
[0025] g)获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则 跳到步骤(4)。
[0026] 步骤(4)、目标跟踪结束。
[0027]在预处理阶段对视频的成像进行了分析，得到了物体在视频中成像大小与其位置 的关系。具体来说，在相机成像的图像中，假设地平面上沿深度方向直线的消失点在图像中 位置为Pv，物体与地面接触点在图像中成像位置为P，则必定存在一条直线，使得物体在图 像中的大小，与Pv和P连线在该直线上的投影长度成线性的正比例关系(假设物体与地平面 接触并且物体各个部分的位置处于同一深度）。又因为点在直线上投影是线性变换关系，所 以对于固定场景下的静态相机而言，存在常数Μ、 &1、&2使得同一目标在相机中成像大小有 如下关系：
[0028]
[0029] 其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中的大小，size(UQ，vo) 表示目标处于图像中坐标(u〇，VQ)处在图像中的大小。对于常数的求解，利用最小二 乘法根据标定的不同运动物体在视频帧序列中的矩形框位置及大小进行求解。
[0030] 在跟踪阶段，对生成候选目标位置的采样框的大小会根据当前采样位置以及初始 位置矩形框ro进行计算，得到较为准确的目标在图像中的大小。
[0031] 对于特征匹配，采用了局部Haar-like特征和全局颜色直方图特征以及空间位置 关系约束对目标进行跟踪。具体来说，首先通过对当前帧图像的不同颜色通道分别计算预 先定义好的Haar-1 ike特征，利用大量的Haar-1 ike特征充分表示跟踪目标的局部特征，通 过朴素m Π+浙分悉翌讲轩剌另丨匕