动目标及特征模板变化条件下的快速人物跟踪方法与流程

本发明是关于动态跟踪自拍三角架图像跟踪领域，特别是关于一种动目标及特征模板变化条件下的快速人物跟踪方法。

背景技术

现有动态跟踪自拍三角架图像跟踪技术是基于动目标捕获的跟踪识别，不能主动设定被跟踪对象，当目标被短暂遮挡后，不能在一定范围内从新捕获目标。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现要素：

本发明的目的在于提供一种步骤简单合理的动目标及特征模板变化条件下的快速人物跟踪方法，该动目标及特征模板变化条件下的快速人物跟踪方法基于分类准则和相似度准则分类器算法改进，提高的遮挡判断效果，能主动设定被跟踪对象，并通过复合技术手段进行跟踪，当目标被短暂遮挡后，能够在一定范围内从新捕获目标。

为实现上述目的，本发明提供了一种动目标及特征模板变化条件下的快速人物跟踪方法，该快速人物跟踪方法的压缩特征提取步骤为：

以x表示目标区域内高维水的特征，p表示压缩特征维数的稀疏矩阵，v表示压缩后的低维特征，压缩跟踪的提取特征如下式所示：

v＝px(9)

算法中稀疏矩阵的定义方式如式(2)所示：

其中s取值为2或3，并采用式(3)提取压缩特征：

式(3)中其中p是特征矩阵中的元素，rectsi,k为目标区域内的随机矩形块内灰度和，nr为该特征中实际的矩形块数目；

稀疏矩阵p中，白色矩形，黑色矩形，灰色矩形分别代表矩阵元素为0,-1,1；以系

数矩阵与高维特征的乘积作为压缩特征v；

该快速人物跟踪方法的分类器的构造和更新为：

压缩跟踪算法采用朴素贝叶斯分类器检测图像中目标的位置，分类器定义如下：

假设v＝(v1,…,vn)^t中所有的低维特征元素相互独立，p(y＝1),p(y＝0)表示待见测图像块为目标或是样本的先验概率，这两个先验概率均高斯分布，即：

式中和代表压缩特征vi在目标样本计算特征值符合正态分布的均值和标准差，而和则分别代表压缩特征vi在背景样本计算的特征值符合正态分布的均值和标准差；

分类器跟踪时，以分类器h(v)响应的最大值处的搜索图像块作为最终的跟踪结果；分类器更新时，以上一帧目标周围选取一定数量的正样本，并在远离目标的区域选取一定数量的负样本对分类器进行更新，压缩特征vi在目标区域的特征值高斯概率分布更新公式如式(6)：

其中λ为学习速率，μ¹，σ¹分别为上一帧提取的目标样本和背景样本的均值和方差；vi在背景区域的特征值高斯概率分布更新公式同目标区域类似；

该快速人物跟踪方法的搜索策略采用fct算法，并包括遮挡判断方法，fct算法的具体过程如下：

setp1、以步长为dc像素，搜索半径为γc像素。搜索目标，得到目标模糊位置；

step2、在目标模糊位置周围，以步长df像素，搜索半径为γf像素精确搜索目标；

其中dc通常取4，df通常取1，γc通常取25至50，γf取10；

所述遮挡判断方法包括：分类准则判断遮挡和目标相似度准则。

在一优选的实施方式中，所述分类准则判断遮挡是将分类器的响应值作为判断目标是否被遮挡的准则，当某一帧分类器的响应值h(v)突然下降了一定的幅度，那么则认为目标已经发生遮挡，或产生了严重的形变；h^k-1为第k-1帧分类器的最高响应值，h^k为第k帧的分类器最高响应值，那么存在阈值ξ，当满足(7)式时，则认为目标被遮挡或已移除画面，而当(7)式不等号反向时，也即说明目标又重新返回到视野中来；

所述目标相似度准则采用tld算法，在正负样本在线模型存储以及待检测样本分类时，首先要对样本进行归一化，归一化采用如下步骤进行：1)将样本缩小至15×15大小；2)计算缩小后样本的灰度均值，将样本内所有像素灰度值与均值做差，使归一化后的样本均值为0；

运行时，正样本在线模型中，只选取临近t帧的跟踪结果为正样本，即负样本则选取上一帧远离目标区域的f个一般矩形块，记负样本为同时，判定方式上，将待检测样本p同正样本在线模型和负样本在线模型相互比对，分别计算其归一化相关系数；

记待检测样本与正样本在线模型间的最大相似度为

记待检测样本与负样本在线模型间的最大相似度为

比较s⁺和s^-的大小，如果s⁺＞s^-，则待检测目标判断为目标，否则认为待检测目标时背景干扰。

在一优选的实施方式中，遮挡判断方法采用中值光流法作为第一帧跟踪时的替代跟踪算法，再后续连续多帧均判定目标没有被遮挡后，才继续使用所述fct算法。

与现有技术相比，根据本发明的动目标及特征模板变化条件下的快速人物跟踪方法具有如下有益效果：

(1)基于分类准则和相似度准则分类器算法改进，提高的遮挡判断效果。

有效的遮挡判断可以防止分类器在目标被遮挡或移出视野后产生漂移，同时可以在目标重新出现在视野中时继续跟踪目标。本发明提出的遮挡判断方法从分类准则和目标相似度准则两方面出发，融合简化tld算法中最近邻分类器的思想协同判断目标遮挡问题。

(2)遮挡及目标特征异化的跟踪锁定优化方法。

遮挡判断可以防止目标由于遮挡或移出视场造成的分类器漂移，并可以在目标重新回到视场中时，重新检测到目标。本文采用中值光流法作为第一帧跟踪时由于目标变化剧烈造成的“遮挡误判”问题的替代跟踪算法，再连续n帧均判定目标没有被遮挡后，才继续使用改进的fct算法。

附图说明

图1是根据本发明一实施方式的动目标及特征模板变化条件下的快速人物跟踪方法的算法整体流程图。

图2是根据本发明一实施方式的动目标及特征模板变化条件下的快速人物跟踪方法的压缩特征产生第一示意图。

图3是根据本发明一实施方式的动目标及特征模板变化条件下的快速人物跟踪方法的压缩特征产生第二示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

根据本发明优选实施方式的动目标及特征模板变化条件下的快速人物跟踪方法是在压缩跟踪算法的基础上，改变其搜索策略，实现高速跟踪。下面从压缩特征提取，分类器的构造与更新，搜索策略的改进三个方面来简要介绍改进的快速压缩跟踪算法，其中：

①压缩特征提取

以x表示目标区域内高维水的特征，p表示压缩特征维数的稀疏矩阵，v表示压缩后的低维特征，压缩跟踪的提取特征如下式所示

v＝px(17)

算法中稀疏矩阵的定义方式如式(2)所示：

其中s取值为2或3。由此可知，压缩跟踪算法大大的压缩了特征的维数。算法实际生成特征时，为了提高算法速度，采用式(3)提取压缩特征：

式(3)中其中p是特征矩阵中的元素，rectsi,k为目标区域内的随机矩形块内灰度和。nr为该特征中实际的矩形块数目。由上式可知，实际跟踪过程中，每一组特征的表达方式即为搜索区域内多个随机矩形块灰度值的加权和。特征生成过程如图2所示。

稀疏矩阵p中，白色矩形，黑色矩形，灰色矩形分别代表矩阵元素为0,-1,1。以系数矩阵与高维特征的乘积作为压缩特征v。

②分类器的构造和更新

压缩跟踪算法采用朴素贝叶斯分类器检测图像中目标的位置，分类器定义如下：

假设v＝(v1,…,vn)^t中所有的低维特征元素相互独立。p(y＝1),p(y＝0)表示待见测图像块为目标或是样本的先验概率，这两个先验概率均高斯分布，即：

式中和代表压缩特征vi在目标样本计算特征值符合正态分布的均值和标准差，而和则分别代表压缩特征vi在背景样本计算的特征值符合正态分布的均值和标准差。

分类器跟踪时，以分类器h(v)响应的最大值处的搜索图像块作为最终的跟踪结果。分类器更新时，以上一帧目标周围选取一定数量的正样本，并在远离目标的区域选取一定数量的负样本对分类器进行更新，压缩特征vi在目标区域的特征值高斯概率分布更新公式如式(6)：

其中λ为学习速率，表示分类器对新产生目标的学习程度，λ越大表示更新速度越小，概率分布保留目标先前信息越多，反之则更新速度越快，概率分布保留先前信息则越少。μ¹，σ¹分别为上一帧提取的目标样本和背景样本的均值和方差。vi在背景区域的特征值高斯概率分布更新公式同目标区域类似，在此便不详细表述。算法执行过程如图3所示。

③搜索策略

fct算法通过改变原ct算法搜索策略实现处理速度的提高，原始ct算法获取当前帧目标时，需要以上一帧目标为圆点，搜索半径为γ的区域，待检测目标图像块数量庞大，于是作者采用先粗后精的搜索策略对原算法进行优化。具体过程如下：

setp1、以步长为dc像素，搜索半径为γc像素。搜索目标，得到目标模糊位置。

step2、在目标模糊位置周围，以步长df像素，搜索半径为γf像素精确搜索目标。

其中dc通常取4，df通常取1，γc通常取25至50，γf取10。通过以上先粗后精的搜索策略，可有效提升算法效率。

压缩跟踪算法处理速度快，鲁棒性高，但其算法本身不能判断目标是否被遮挡，如果目标遮挡时继续运行压缩跟踪算法更新分类器，则会导致分类器产生漂移。同时，在目标在视野中消失后，分类器无法判断目标是否又重新回到视野中来继续进行跟踪。

为克服以上困难，本文对原始算法提出改进方案。

(1)基于分类准则和相似度准则分类器算法改进，提高的遮挡判断效果。

有效的遮挡判断可以防止分类器在目标被遮挡或移出视野后产生漂移，同时可以在目标重新出现在视野中时继续跟踪目标。本发明提出的遮挡判断方法从分类准则和目标相似度准则两方面出发，融合简化tld算法中最近邻分类器的思想协同判断目标遮挡问题。下面从两方面讨改进遮挡判断。

a、分类准则判断遮挡

在fct(快速压缩跟踪算法)算法中，通过(4)式计算待分类样本的响应值，在一系列候选样本集合中，响应值h(v)最大的待分类样本作为跟踪结果。由此，我们可以将分类器的响应值作为判断目标是否被遮挡的准则，也就是说，当某一帧分类器的响应值h(v)突然下降了一定的幅度，那么则认为目标已经发生遮挡，或产生了严重的形变。h^k-1为第k-1帧分类器的最高响应值，h^k为第k帧的分类器最高响应值，那么存在阈值ξ，当满足(7)式时，则认为目标被遮挡或已移除画面，而当(7)式不等号反向时，也即说明目标又重新返回到视野中来。

在判断遮挡时，如果单纯从分类准则角度出发判断遮挡有很大的局限性，首先，遮挡判断阈值ξ需人为经验给定，针对不同视频时，ξ的值可能不同，其次，视频图像往往变动较为剧烈，有时目标未发生遮挡，但其最高响应值仍变化较为剧烈。针对上述两点不足，我们在给定判断阈值ξ较大(通常为1)的基础上，引入目标相似度准则协同判断目标遮挡问题。

b、目标相似度准则

在tld算法中，级联分类器中的最近邻分类器是保障跟踪器和检测器能够相互配合准确跟踪目标的关键，但原算法中正样本模型和负样本模型选择时需要进行一系列判断和提取，同时模型中样本数量没有上限，这导致随程序运行时间的增加，算法整体跟踪效率降低明显。本文中，由于遮挡判断是双重准则协同判断，且待跟踪目标一般均为人物，目标本身不会产生较大的瞬时形变。因此，本文算法简化原tld算法中最近邻分类器，使之实时性和准确性均能得到保障。

算法在正负样本在线模型存储以及待检测样本分类时，首先要对样本进行归一化，归一化采用如下步骤进行：1)将样本缩小至15×15大小；2)计算缩小后样本的灰度均值，将样本内所有像素灰度值与均值做差，使归一化后的样本均值为0。通过如上操作，可以减少分类器应用时样本比对时间。

运行时，正样本在线模型中，只选取临近t帧的跟踪结果为正样本，即负样本则选取上一帧远离目标区域的f个一般矩形块，记负样本为同时，判定方式上，将待检测样本p同正样本在线模型和负样本在线模型相互比对，分别计算其归一化相关系数(normalizedcorrelationcoefficient，ncc)。

记待检测样本与正样本在线模型间的最大相似度为

记待检测样本与负样本在线模型间的最大相似度为

比较s⁺和s^-的大小，如果s⁺＞s^-，则待检测目标判断为目标，否则认为待检测目标时背景干扰。

(2)遮挡及目标特征异化的跟踪锁定优化方法

遮挡判断可以防止目标由于遮挡或移出视场造成的分类器漂移，并可以在目标重新回到视场中时，重新检测到目标。但是在遮挡判断的同时也会造成一定的问题。实际应用时随着摄像机焦距的不同，目标的大小也随即变化，创建的跟踪框不可能恰好将目标包裹，可能会携带一定的冗余信息，此时会造成在跟踪目标第二帧时即判断目标跟丢，大大影响程序应用体验。鉴于以上原因，本文采用中值光流法作为第一帧跟踪时由于目标变化剧烈造成的“遮挡误判”问题的替代跟踪算法，再连续n帧均判定目标没有被遮挡后，才继续使用改进的fct算法。

中值光流法是z.kalal对原始金字塔光流法的改进。中值光流法认为，跟踪与时间的流动方向是不相关的，也就是说，当运动反向进行时，跟踪的结果应于正向运动轨迹相同。

在实际应用中，在图像中生成一系列待跟踪点，首先进行一次金字塔光流跟踪。再生成目标跟踪点后，再将当前帧作为初始帧，反向跟踪。如果得到跟踪点的位置与原始跟踪点偏差较大，则认为跟踪不准确。将跟踪准确的点组合到一起，并由初始目标的位置和大小对当前帧跟踪目标的位置和目标大小做出预测，得到最终的跟踪结果。

中值光流法在目标运动变化较慢的情况下有很好的跟踪效果，但不能长时间跟踪目标，因此选取中值光流法作为在改进fct算法初始跟踪失败时的替代算法。(3)算法整体流程

整合以上算法，得到改进后算法执行步骤如图1所示。

综上，该动目标及特征模板变化条件下的快速人物跟踪方法基于分类准则和相似度准则分类器算法改进，提高的遮挡判断效果，能主动设定被跟踪对象，并通过复合技术手段进行跟踪，当目标被短暂遮挡后，能够在一定范围内从新捕获目标。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。