专利名称：基于分块的非特定目标实时跟踪方法
技术领域：
本发明涉及视频中目标跟踪方法，特别涉及一种基于分块的非特定目标实时跟踪 方法。
背景技术：
目标跟踪是计算机视觉和自动化领域一个重要的工作，在军事和民用方面都有着 非常广泛的应用。如人机交互，智能交通，安全监控，机器人，空中预警等。这些应用都对自 动的实时目标跟踪提出了较高的需求和要求。目前视频目标跟踪方法有许多种，如基于轮廓或者模板匹配的，基于滤波器的，基 于分类的等等。比较突出的是最近两年由Dorin Comaniciu提出的mean-shift跟踪算法， AmitAdam提出的基于片段的跟踪方法(Frag Tracker)，Helmut Grabner提出的(监督\半 监督)在线Adaboost跟踪算法(OABTracker)和美国加州大学Boris Babenko提出的多示 例学习跟踪算法(MILTracker)。前两种方法都对目标运动和外观变化显著的目标跟踪能力 较弱，在线Adaboost方法能较好的适应目标的外观变化，但是容易出现漂移，跟踪时间稍 长则可能丢失目标，而且对遮挡的处理能力较弱，第四种方法较在线Adaboost方法增强了 对目标外观的自适应能力，也有一定的遮挡处理能力，但是运算复杂度较高，实时性低。此 外这些方法都是将目标作为一个整体进行跟踪，不能区分地处理目标不同部分，由姿态、遮 挡等因素引起的局部外观变化会对跟踪结果产生明显不利的影响。Bo Wu等人2007年提出 了分部式行人跟踪方法，该方法是专门针对行人为目标的跟踪，其分块是结构化的具有语 义概率的头部，躯干等等，需要预先训练的身体各部位检测器，对一般化的目标不具有普适 性。
发明内容
本发明的目的在于将跟踪的注意力集中于目标区域相对较稳定的部分，并主要根 据这些部分做出判决，提高对目标外观变化的自适应能力和对遮挡的鲁棒性，弥补现有目 标跟踪方法的缺点，实现对非特定类型目标的准确而实时的跟踪。因此我们对目标进行非 语义的分块处理，先分别以各个块为目标进行分类器学习和检测，然后综合各个块的结果 确定目标在新视频帧中的位置，为对各目标块区别对待，我们赋予每个块一个权重，并设计 了一个权重更新机制，根据前一帧的跟踪结果逐帧地更新权重。该方法在保持低计算复杂 度的同时，显著的提高了跟踪的准确性。为达到上述目的，本发明提供一种基于分块的非特定目标实时跟踪方法，对视频 逐帧地进行目标定位，对每一帧的处理都包括分类器更新，目标检测和权重更新三大步骤。所述的分类器学习步骤为步骤a，分块。根据已经获得的目标位置和大小信息，将目标区域划分为均勻大 小互不重叠的矩形块，它们并不需要具有语义特征，分割非常简单对任意目标都适用，块与 块相互之间的关联也仅仅是空间邻接关系。在第一帧时确定块的大小和数目，后续的每一帧都照此划分，各个块中心与目标中心具有一个固定的偏移量(X.,J^t1，块的大小控制在 16*16-50*50像素之间，块的数目K控制在4-12之间，但是以上的限制都非强制性的；步骤b，对每一个目标图像块维护一个分类器Ck，并在每一帧进行更新在线 Adaboost分类器，具体的步骤又可分为(1)抽取训练样本。以当前图像块为正样本，从其附近的区域随机取出20-50个图 像块为负样本，提取N维haar-like特征；(2)用在线Adaboost算法更新弱分类器并选择出η个弱分类器组成新的Ck。所述的目标检测步骤为
步骤C，对于新得到的第t帧，用分类器Ck在第k块附近R个像素半径区域内进行 遍历检测，计算分类器对每个位置(i，j)的得分值Ck(i，j)(未进行类别量化的连续值)， 得到分类器得分图Ik，并进一步计算K个局部置信图(PiJ^1 步骤d，对全部的K个局部置信图加权平均得到全局的置信图P
是块中心点到目标中心点的偏移
k=l
量，对局部置信图的加权求和考虑了各块的相对偏移，求得的全局置信度是P(i，j)表达的 是对整个目标处于位置(i，j)的信心，这样使得在步骤C中并不需要考虑块与目标的相对 位置关系；步骤e，采用mean-shift方法在全局置信图上寻找置信峰值，该位置既被认为是 目标在第t帧中的位置 所述的权重更新步骤为步骤f，对每个块得分图
认为在像素点pos+(xk，yk)附近
Γι个像素范围内的为正反馈值，拟合一个高斯分布Ν( μ !,O1),^个像素范围外的为负反馈
值，也拟合一个高斯分布Ν( μ μ σ0),由此计算得到分类阈值K = ^ ，这是两高
crO
斯分布的理论最小误差界，如图1 ；步骤g，用Tk对正负反馈值进行分类，计算错误率<，并计算分类器的可信度
步骤h，更新各个块的权重< =αω[~λ + (1 — α)λ[，0<α< 1为滞后因子，α通
常接近1，以保证权重变化的平稳，提高系统稳定性；并根据各个块的错误率大小设置分类 t 0 el>E
器更新标记，彳 k ，若 说明分类器Ck在当前帧的错误率过高，此时分类 Uk, [ 1 else u[=0,
器不能分辨目标与背景，则接下来的分类器更新时不更新分类器Ck，暂停分类器更新，能避 免更多噪声的引入。本发明的有益效果在于，通过分块，对不同状态的块区别对待。主要是通过权重的 更新，外观变化剧烈或者发生大面积遮挡的块，其对应的在线Adaboost分类器Ck不能较好的分辨目标和背景，该方法就自动的降低其发言权，减少对目标位置判断的干扰，相反相对 稳定的块则会获得越来越大的权重，其对判断的贡就会增大，跟踪的结果就会更准确。本发 明所述的方法不需要任何的预先学习，能对任意类型的目标都能处理并且能够实时跟踪。实验结果显示本发明继承并显著提高了在线Adaboost方法对光照，姿态，运动， 遮挡等所引起的目标外观变化的鲁棒性。如图2及表1。此外本发明采用计算复杂度低的 特征和学习算法，而且候选的弱分类器和迭代次数少，能实现实时的跟踪(搜索半径R为15 个像素时，普通的奔腾双核2. OG CPU处理速度能达到每秒超30帧)。表1跟踪方法的准确性比较，视频数据除Squeezer是自行拍摄外，均来源于网络 http://www.cs.toronto.edu/ dross/ivt/ ；http://vision. ucsd. edu/ bbabenko/ project—miltrack· shtml ； 及 http://www.cs.technion.ac.il/ amita/fragtrack/ fragtrack. htm,是该领域研究的常用数据。
图1是高斯拟合及分类阈值示意图。图2是跟踪效果对比图，左图视频为walking woman，右图对应视频Coke can。图3是基于分块的跟踪流程示意图。图4是分类器更新流程。
图5是目标检测流程图。图6是权重更新流程图。
具体实施例方式下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基 于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其 他实施例，都属于本发明保护的范围。如图3所示，为应用本发明基于分块的非特定目标实时跟踪流程意图。对于一个 输入视频，给定目标在第一帧的位置和大小，先将目标区域分为图像块，利用这些数据更新 每个块对应的分类器，然后在后续帧上进行检测，确定目标新的位置，最后依据检测的结果 更新权重，如此循环，直到确定目标在最后一帧的位置，初始时刻各个块的权重被设置为相 等。值得一提的是在第一帧中，用于学习的正样本不止一个，而是把偏移量小于3个像素的 图像块都视为正样本。在对跟踪方法的过程进行详细说明之前，对本发明的思想进行阐明。本发明核心 思想就是对目标的不同部分区别对待，将注意力集中到相对稳定的块上面，以它们的分类 器响应作为判断的主要依据，以提高跟踪的准确性和稳定性。本发明对目标类别和形状没有特殊要求，对于任意类别的目标都可以进行有效跟 踪，精确度高，且能实时跟踪，可广泛应用于各种需要跟踪的场合，例如视频监控，电影分 析，人机交互等等。此外其他的在线和增量学习方法都能很方便的应用到本发明的框架中来。下面对跟踪过程进行详细说明。如图4所示，本发明分类器更新流程为步骤101 开始；步骤102 判断是否第一帧，如果是则根据目标区域大小估计块的大小S和数目K， S控制在16*16-50*50像素之间，块的数目K控制在4_12之间，后续帧的划分与第一帧一 致。否则执行步骤103 ；步骤103 对目标区域进行分块；步骤104 :k = k+1，判断k彡K，是则执行步骤105，否则更新结束；步骤105 判断<=0 是则回到步骤104 ；步骤106 准备学习样本。计算整张图像的积分图，将当前块作为更新分类器的正 样本，并在其附近随机抽取一些(20-40个)块作为负样本，根据积分图计算每个样本的N 维 haar-like 特征；步骤107 用在线Adaboost算法进行分类器更新，选择错误率最小的η个弱分类 器组成新分类器；步骤108 执行步骤104。如图5，目标检测的流程为步骤201 :t = t+1切换到新的视频帧；步骤202 确定各个分类器的检测范围。将每个块在前一帧的位置上上下左右扩展R个像素，形成的矩形区域作为待检测的范围；
步骤203 判断k > K ？即是否已经检测完毕，是则执行步骤207 ；步骤204 用分类器Ck在对应的待检测范围内遍历检测，得到块分类器得分图Ik ；步骤205 将分类器得分换算成置信度，得到K个局部置信图 步骤206 :k = k+1，执行步骤 203 ；步骤207 计算全局置信图，即将各个局部置信图加权求和 步骤208 采用mean-shift算法估计置信图的峰值位置。此处即作为目标在新视 频帧中的位置。如图6，权重更新的流程为步骤301:开始；步骤302 判断k > K ？即可信度是否已经计算完毕，是则执行步骤308 ；步骤303 对每个得分图Ik，以目标位置偏移(xk，yk)为中心，在半径为rj建议值 3)范围内的得分值为正反馈，落在半径为r2(建议值5)范围之外的为负反馈；步骤304 分别估计其正负反馈值的均值和方差(μ ρ σ i ； μ『σ。)；步骤305 计算分类阈值K =--“1—； 步骤306:用这个阈值对正负样本集进行分类，计算误差ef和可信度 步骤307 :k = k+1，执行步骤 302 ；步骤308 对全部块分类器的可信度{<+1}二进行归一化；步骤309 更新各个块的权重{ωΓ1 = CCfDtk + (1 - α)λ[+χ}κ^，0 < α < 1为滞后因 子，建议值为0. 75-0. 9 ；
步骤310:重新设置各个分类器的更新标记^+1=彳 k ‘ ,k^l,2,...,K ,本发明对于非特定的目标类型，只依据空间关系将目标区域划分为互不重叠的 块，对每一块赋予权重，并在后续的跟踪过程中在线更新分类器和权重，能有效的捕获目标 外观变化，并作出自适应调整，将注意力集中到较稳定的块，能减小不稳定因素的干扰，对 光照，姿态，运动，遮挡等多种因素的变化，都具有良好的鲁棒性。并且本发明的跟踪方法原 理简单，计算复杂度小，能在普通PC机上做到实时处理。并且具有很强的可灵活性，其他的 一些学习方法，特征和更新方法都能方便的应用到本方法中。此外以上描述中的参数都可 调，而对于设定的相同参数在对不同目标的跟踪应用中都能高效准确的处理，不需要另外 调整。虽然以上的描述都是针对单个目标的跟踪，但是只需要作简单的修改即能实现对多目标的跟踪。
以上对本发明的描述是说明性的，而非限制性的，本专业技术人员理解，在权利要 求限定的精神与范围之内可对其进行许多修改、变化或等效，如分类器学习方法并不限于 在线Adaboost，在线MILBoost，在线SVM等许多其他学习方法都能用于其中，图像的特征表 达也可以替换许多其他特征，再例如在目标检测步骤中可以设置尺度因子以适应目标尺度 的变化，每次都把图像缩放到多个尺度上进行检测，在最终确定目标位置时不仅在空间上， 而且在尺度上取置信度峰值，……；这些变形都将落入本发明的保护范围内。
权利要求
基于分块的非特定目标实时跟踪方法，包括分类器更新，目标检测和权重更新三大步骤，其特征在于，所述的分类器更新步骤为步骤a，分块，根据已经获得的目标位置和大小信息，将目标区域划分为均匀大小互不重叠的矩形块；步骤b，对每一个区域块维护一个分类器Ck，并在每一帧进行在线更新；所述的目标检测步骤为步骤c，用分类器在新视频帧上进行检测，并计算局部置信图pk；步骤d，对全部的K个局部置信图加权平均得到全局的置信图P；步骤e，采用mean-shift方法在全局置信图上寻找置信峰值，该位置既被认为是目标在当前帧中的位置pos＝(x，y)＝meanshift(P)；所述的权重更新步骤为步骤f，对检测结果采样获得正负反馈数据，计算分类阈值Tk；步骤g，用Tk对正负反馈值进行分类检验分类器的分辨能力，并据此计算分类器的可信度；步骤h，更新各个块的权重，重设分类器更新标记。
2.根据权利要求1所述的基于分块的非特定目标实时跟踪方法的分类器更新步骤，其 特征在于，所述的步骤a中，根据给定的目标大小自动的将目标区域分割为均勻大小互不 重叠的块，它们并不需要具有语义特征，分割非常简单对任意目标都适用，块与块相互之间 的关联也仅仅是空间邻接关系，各个块中心与目标中心具有一个固定的偏移量(ΧρΛ)^。
3.根据权利要求1所述的基于分块的非特定目标实时跟踪方法的目标检测步骤，其特 征在于，所述的步骤c、d中，将分类器的检测输出的得分图Ik转换为置信图，该置信图能更 好的描述目标在某个位置的概率■ = pkPk(i + W + yk)^PSJ) =。
4.根据权利要求1所述的基于分块的非特定目标实时跟踪方法，其特征在于，所述的 步骤f、g、h，在目标检测步骤确定目标位置之后，又根据检测结果评估分类器在当前帧的分 辨能力，继而据此更新各个块的权重。
5.根据权利要求1所述的基于分块的非特定目标实时跟踪方法的权重更新步骤，其特 征在于，所述的步骤f中，以pos+(Xk，yk)附近个像素范围内的为正反馈值，r2个像素范 围外的为负反馈值进行分类器Ck的分辨力检验数据集。
6.根据权利要求1所述的基于分块的非特定目标实时跟踪方法的权重更新步骤，其特 征在于，所述的步骤f中，用高斯分布拟合正反馈值和负反馈值，继而利用其分布参数(μ ”O ！ ； μ ο, O 0)计算一个分类阈值巧=‘。CT0 -t- CJ1
7.根据权利要求1所述的基于分块的非特定目标实时跟踪方法的权重更新步骤，其特 征在于，所述的步骤g、h中，以分类器在当前帧的分类性能的对数似然函数<衡量分类器Ck 的可信度，权重更新法则为心=Cra^ +(1-αμ；，滞后因子α通常接近1，以保证权重 变化的平稳。
8.根据权利要求1所述的基于分块的非特定目标实时跟踪方法的权重更新步骤，其特 征在于，所述的步骤h中，设置一个分类器更新标记，当分类器Ck在当前帧的错误率过高 时，暂停分类器更新。
全文摘要
本发明涉及一种基于分块的非特定目标实时跟踪方法，包括分类器更新，目标检测和权重更新三大步骤；该方法将目标区域分割为多个块，对每个块维护一个分类器，并逐帧更新，综合考虑各个分类器的检测结果来确定目标在新视频帧中的位置。该方法设计了一个自动的权重更新机制，使得相对稳定的块对结果的判定具有更大的决定权，从而降低了各种干扰的影响，跟踪性能优于目前国际上最近发布的多种算法。该方法能捕获各种干扰引起的物体外观变化并准确跟踪，对各种形状和类型的目标物体具有普适性，而且计算复杂度低，能实时处理。在各种需要跟踪技术的场合，如视频监控，自动驾驶，人机交互，智能交通，机器人，空中预警等许多方面，具有广泛的应用前景。
文档编号G06K9/00GK101867699SQ20101018487
公开日2010年10月20日 申请日期2010年5月25日 优先权日2010年5月25日
发明者俞能海, 周维, 庄连生 申请人:中国科学技术大学