a) 对于运动物体在视频帧序列中成像大小的参数方程进行求解； b) 设定模板矩形框大小； c) 根据模板框大小在模板框内随机生成Nh个不同位置不同大小的Haar-Iike特征;其中 Nh为常数，取模板框的长度或者高度； 步骤(2 )、可变尺度跟踪模型的初始化： a) 获取需要跟踪目标的视频序列帧及目标初始位置矩形框； b) 对每个Haar-Iike特征的特征值的概率分布进行初始化，对于每一个特征值作为正 样本和负样本均初始化为以特征值为中心位置的正态分布； c) 计算目标矩形框颜色直方图H。作为全局特征； d) 初始化跟踪目标在图像中的运动速度为1=(0,0)，即在图像二维平面运动速度为0; e) 初始化跟踪目标在当前帧的匹配度S = 1; f) 跳到步骤(3)f); 步骤(3 )、可变尺度跟踪过程： a) 根据视频上一帧目标位置，在当前帧对应位置周围进行候选目标采样，采样矩形框 大小根据当前采样位置以及初始位置矩形框以及步骤(Da)得到的参数方程进行计算； b) 对于每一个采样框，将其缩放到模板框大小，计算Nh个Haar-Iike特征值;利用朴素贝 叶斯分类器对每一个Haar-Iike特征值根据其对应的正态分布计算分类并求和，然后通过 sigmoid函数归一化，得到局部特征的相似度； c) 对于每一个采样框，计算其颜色直方图Hi，利用Bhattacharrya系数计算H。和Hi的距 离，利用sigmoid函数归一化，得到全局特征的相似度； d) 根据每一个采样框的位置，计算其相对于上一帧的运动速度，与当前跟踪目标运动 速度V。进行距离和角度比较，对空间运动关系进行约束，利用sigmoid函数归一化，得到空 间位置相似度； e) 根据每一个采样框的局部特征相似度、全局特征相似度以及空间位置相似度计算最 终的相似度，取最终相似度最大的采样框作为当前帧的跟踪目标的位置，若所有采样框的 最终相似度的最大值小于预定阈值则认为跟踪丢失，跳到步骤(4);否则，执行f); f) 在跟踪目标的位置临近的小范围区域生成正样本框，在跟踪目标的位置一定距离范 围的区域生成负样本框，通过将正负样本框缩放到模板框大小计算局部Haar-I ike特征、全 局颜色直方图特征以及速度;对跟踪目标的局部特征的概率分布、全局的颜色直方图信息 以及运动速度进行更新;将当前帧所有候选目标采样框中相似度最高的采样框的相似度作 为学习率，进行动态的更新； g) 获取视频下一帧作为当前视频帧，跳到步骤(3)a)，若无法获取视频下一帧，则跳到 步骤(4); 步骤(4)、目标跟踪结束。2. 根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:在 预处理阶段对视频的成像进行了分析，得到了物体在视频中成像大小与其位置的关系，具 体来说，在相机成像的图像中，假设地平面上沿深度方向直线的消失点在图像中位置为Pv， 物体与地面接触点在图像中成像位置为P1,则必定存在一条直线，使得物体在图像中的大 小，与Pv和P连线在该直线上的投影长度成线性的正比例关系，其中，假设物体与地平面接 触并且物体各个部分的位置处于同一深度;又因为点在直线上投影是线性变换关系，所以 对于固定场景下的静态相机而言，存在常数加、 &1、&2使得同一目标在相机中成像大小有如 下关系：其中，size(u，v)表示目标处于图像中坐标(u，v)处在图像中的大小，size(ut)，Vo)表示 目标处于图像中坐标(UQ，VQ)处在图像中的大小;对于常数ao、ai、a2的求解利用最小二乘法 根据标定的数据进行求解。3. 根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:所 述步骤3,在跟踪阶段，对生成候选目标位置的采样框的大小会根据当前采样位置以及初始 位置矩形框ro进行计算得到准确的目标在图像中成像的大小。4. 根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:所 述步骤3,采用了局部Haar-Iike特征和全局颜色直方图特征以及空间位置关系约束对目标 进行跟踪;首先通过对当前帧图像的不同颜色通道分别计算预先定义好的Haar-Iike特征， 利用大量的Haar-Iike特征充分表示跟踪目标的局部特征，通过朴素贝叶斯分类器进行判 别；其中，Fi表示所有的Haar-Iike特征值，k表示不同颜色通道，表示符合Gaussian 分布的随机矩阵，表示在k颜色通道的第i个采样框的Nh个Haar-Iike特征值，y表示对当 前采样框的分类，y = 〇表示当前采样框不是跟踪目标，y=l表示采样框是跟踪目标，P(c |y =0)表示投影值c作为负样本的概率分布，P(c|y=l)表示投影值c作为正样本的概率分布 函数； 然后考虑了全局的颜色直方图特征，对于跟踪框内的不同位置的像素给予不同的权 重，认为越靠近跟踪框的中心的像素，其更可能属于跟踪目标，故其权重越高，位于跟踪框 边缘的像素，其属于跟踪目标的可能性比较低，故为其分配较低的权重;根据这样的特点， 采用二维的正态分布为矩形跟踪框的每个像素分配权重；其中，H(X)表示第X个颜色区间Bin(X)的像素个数，r表示矩形框，^、~、^和^分别表 示矩形框的中心位置和矩形的宽和高，灰％^^>表示按照矩形框r基于正态分布生成的权 重，It表示当前视频帧图像，表示处于图像(u，v)处的像素值;h x(p)表示像素p是否 属于第X个颜色区间Bin(X); 最后，对候选目标采样框的位置进行了约束，对于运动目标的位置来说，在连续视频帧 中，运动目标的位置的变化具有连续性，并且变化较为平滑，不会发生突然的跳变，这对于 运动目标的跟踪来说，是一个非常有用的约束条件；其中，V。表示当前跟踪目标的速度向量，V表示从上一帧目标矩形框中心位置指向当前 矩形框中心位置的向量，看作是当前移动速度，arccos(V。· V)为向量V。和向量V之间通过点 积计算夹角，s为候选目标采样框的范围大小的一半，π为圆周率常数，α为权重常数。5.根据权利要求1所述的一种支持目标尺寸变化的实时对象跟踪方法，其特征在于:步 骤(3)f)采用动态更新跟踪目标数据的方式对跟踪模型进行更新;将当前帧所有候选目标 采样框中相似度最高的采样框的相似度作为学习率，这样在动态的视频帧序列中，跟踪目 标的变化会因较高的学习率而快速更新到模型中，同时对于受到干扰的跟踪目标，在被其 他目标或场景中物体遮挡造成相似度较低的情况下，由于学习率较低，所以会更多地保留 原来的数据，使得模型更加鲁棒。
【专利摘要】本发明公开了一种支持目标尺寸变化的实时对象跟踪方法，首先通过相机成像原理以及一些标定数据，对于物体在视频中成像大小建立了模型，可以通过当前目标位置及初始位置和大小准确地获取当前跟踪目标大小，有效提高跟踪效果的准确度和精度。另外，本方法联合了局部Haar-like特征、全局颜色直方图信息以及空间位置约束，使得目标的表示模型更加鲁棒，同时计算复杂度低，能够保持实时性；其次，对于模型的更新采用了动态更新的机制，对于匹配度低的情况，更新率较低，抑制了噪音的引入，更好的对目标进行跟踪。本发明所述方法对于实时性要求较高且目标在视频中成像大小变化的场景非常适合，特别是现实的监控环境。
【IPC分类】G06T7/20
【公开号】CN105488815
【申请号】CN201510844876
【发明人】周忠, 张景昌, 姜那
【申请人】北京航空航天大学
【公开日】2016年4月13日
【申请日】2015年11月26日