基于局部特征学习的目标跟踪方法
【技术领域】
[0001 ]本发明涉及计算机视觉领域，更具体地，涉及到一种基于局部特征学习的目标跟 踪方法。
【背景技术】
[0002] 目标跟踪作为计算机视觉领域的一个重要研究方向，目前已受到了广泛的关注。 该技术在安全监控、无人驾驶和军事防御等领域具有宽广的应用前景。尽管目前已经存在 着相当数量的目标跟踪方法，但这些方法往往在光照变化、物体形变和严重遮挡等情况下 不稳定甚至失效。因此，提出一种有效的目标跟踪算法具有重要的应用价值和现实意义。
[0003] 当前，已有不少目标跟踪算法投入使用，完整的目标跟踪算法可分成四个主要部 分:特征提取的方法、表观模型的建立、目标的定位方法、模型更新机制的设计。其中，特征 提取和模型的更新机制最为重要，同时也是当前已有跟踪算法中最为薄弱的环节。一方面， 有效的特征提取方法能够捕捉目标相关的特征，是实现准确跟踪的关键所在;另一方面，设 计良好的模型更新机制可以保证表观模型具备动态适应目标物体形态变化的能力，是决定 目标跟踪算法适应能力的重要因素。然而，现有的目标跟踪算法在这两方面仍然十分欠缺， 因此，开发一种同时具备两方面性质的目标跟踪算法是很有必要的。
[0004] 现有的目标跟踪方法采用过于简单的或传统的手工特征，其对目标物体的表达能 力受到限制，难以适应目标的复杂形态变化，往往无法得到理想的跟踪结果。同时，在模型 的更新机制的设计方面相当局限，当跟踪过程中存在光照变化及目标遮挡，尤其是相似物 体的遮挡等情况时，表观模型常被错误地更新，导致其将背景区域误判为目标区域。
【发明内容】
[0005] 为了克服现有技术的不足，即针对目标跟踪方法所提取的特征表达能力较弱，模 型的更新机制适应能力差等问题，本发明提出一种基于局部特征学习的跟踪方法，首先将 目标物体和背景分解成大量的具有尺度和形状不变性的局部单元，即图像的局部区域，并 将其作为目标和背景分类模型的训练样本，采用深度学习的方式，从训练样本中学习出目 标物体以及背景的局部表达。在此基础上，进一步判断出图像中每个特定区域属于目标物 体的置信度，从而实现目标物体的准确定位。由于这种由大量样本学习得出的局部表达具 有高度的目标识别能力，该跟踪方法对目标形变、目标遮挡等情况具有较高的适应能力。更 新物体表观模型时，抽取出目标置信度较高的局部区域作为模型的训练样本，并对模型进 行更新。本方法在目标跟踪的过程中，不断更新表观模型，学习目标物体的关键特征，在诸 如遮挡、变形等外观变化较大的情景下能够取得更好的跟踪效果。
[0006] 为了克服现有技术的不足，本发明的技术方案为：
[0007] -种基于局部特征学习的目标跟踪方法，包括以下步骤：
[0008] S1.在视频的第一帧中，将目标区域和背景区域分解成大量的局部单元，以分解后 的大量局部单元作为训练样本，采用深度学习的方式训练、构建表观模型，学习出目标的局 部表达；
[0009] S2.获取视频的下一帧，计算图像中每个局部区域属于目标的置信度，得到用于目 标定位的置信度图；
[0010] S3.根据置信度图确定目标所在的位置和大小，并令k = 1;
[0011] S4.从该帧的整幅图像中选取第k个局部区域，当该局部区域的目标置信度大于设 定的阈值T PC1S，则转入步骤S5，否则转入步骤S6;
[0012] S5.将该局部区域加入到目标样本训练集，转入步骤S7;
[0013] S6.当该局部区域的目标置信度小于设定的阈值Tneg，将该局部区域加入到背景样 本集；
[0014] S7.当第k个局部区域所指向的局部区域是最后一个局部区域，则利用目标样本训 练集和背景样本训练集更新表观模型，同时跳转至步骤S8;否则将k+Ι赋值给k，转入步骤 S4;
[0015] S8.判断当前帧是否为视频的最后一帧，若是则结束;否则转入步骤S2。
[0016] 更进一步地，所述步骤S1中所建立的表观模型是通过对大量局部区域进行学习而 得到的，具体的表观模型构造方法为：
[0017] 给定第一帧图像I及其对应的目标区域，抽取目标区域内的所有像素：
[0018] P={(x,y) |xi<x< xi+wi,yt < y < yt+ht}
[0019] 其中，xdPyi表示目标区域所在的横纵坐标，奶和匕分别表示目标区域的宽和高，P 为目标区域内的所有像素点集；
[0020] 同时，提取背景区域内的所有像素：
[0021] N={(x，y) |x<xi} U {(x，y) |x>xi+wi} U {(x，y) |y<yi} U {(x，y) |y>yi+hi}这 里，N表示非目标区域，即背景区域内的所有像素点集；
[0022]然后，分别提取所有目标相关的局部块UPC1S和所有背景相关的局部块Uneg:
[0023] Upos={lr,x,y| (x,y)ep}
[0024] Uneg={Ir,x,y| (x,y)[N}
[0025] 其中，r为预先设定的局部块半径；
[0026] 定义三层稀疏，其中自动编码机作为待训练的表观模型，该自动编码机是一个三 层神经网络，其中输入层有(2r+l)2个节点，用于接收输入的局部块;隐含层的节点个数是 输入层的1/4，用于获取针对目标和背景的判别特征;输出层有1个节点，输出结果为输入局 部块属于目标的置信度；
[0027] 表观模型的训练和构建过程最终通过下式实现：
[0028]
[0029] 其中，ω是网络的权值，/ra,.r，是输入的第i个局部块，勿表示网络输出，gp 局部块4 %"所对应的目标置信度。
[0030] 更进一步地，所述步骤S2中对于新一帧的图像，根据所构建的表观模型，计算出其 对应的目标置信度图；具体实现如下：
[0031] 设U为包含新一帧图像中所有像素点的集合，则对于集合U中的每一个元素，即图 像中的每一个像素点(x，y)，均可找到一个以该像素点为中心，且大小为r的局部块Ir,x, y;利 用步骤S1中所构造的表观模型，即稀疏自动编码机，得到局部块Ir,x,y所对应的目标置信度 Φ (队/w);在此基础上，计算出与一幅图像大小相同的置信度图C，其中 C(x,v)，（〇;，/....、），该置信度图反映了目标物体出现位置的大致分布情况，对进一步估计 目标所在位置及其大小具有重要的指导作用。
[0032] 更进一步地，所述步骤S3中计算目标所在位置和大小的方法，具体方法如下：
[0033] 生成大量的用于描述目标位置和大小的候选矩形框{C1，C2，H_，Cn}，计算每个候选 矩形框的得分T 1，并选取得分最高的候选矩形框以最终确定目标所在位置和大小;其中，得 分T1由以下两个因素决定：1)候选矩形框中所有局部块的目标置信度总和， 1; 2)候选矩形 框中高置信度局部块所占的比例Rel;Mel可由下式计算得到：
[0034]
[0035] 要计算Rel，先找出候选矩形框中置信度较高的局部块：
[0036]
[0037] 其中Thlgh为预先设定的阈值，置信度高于此阈值的局部块可以认为其置信度较 高，即属干目标的一部分：咖^^的计算方式如下：
[0038]
[0039] 上式中，表示为候选矩形框所包含的局部块总个数；最后，可以通过式子 afgimWWaU找出最佳的描述目标所在位置和大小的矩形框。
[0040] 更进一步地，所述步骤S4到步骤S7所采用的表观模型更新机制;具体方法如下：
[0041] 设在第t帧中已计算出目标置信度图Ct，且已计算出描述目标所在位置和大小的 最佳矩形框;则分别选出目标置信度较高和较低的局部块：
[0042] P = {lr,x,y|C(X，y)〉Tpos}，N = {lr,x,y|C(X，y) <Tneg}，
[0043] 其中，TPQS和为预先设定的阈值，pt和Nt分别表示置信度较高和较低的局部块 集合;在此基础上，通过求解下式实现表观模型的更新：
[0044]
[0045] 与现有技术相比，本发明具有以下有益效果：
[0046] 1)能够通过样本学习，获得目标相关的局部特征表达，这种特征表达具有相当强 的判别能力，对目标和背景的分类起到关键作用，大幅度提高了目标跟踪能力，尤其是当跟 踪过程中出现遮挡、目标形变等情况时，本发明的方法具有明显的优越性。
[0047] 2)表观模型的更新机制以大量局部单元为基础，这些局部单元在目标物体发生形 变或出现遮挡时，依然能够保持自身的稳定性。这种更新机制保证了在长时间的跟踪过程 中，表观模型不易受遮挡和形变的影响，具有较好的场景适应能力。
【附图说明】
[0048] 图1为本发明的方法中所涉及的稀疏自动编码机结构示意图。
[0049] 图2为本发明的方法执行步骤示意图。
[0050] 图3为本发明方法为跟踪具有剧烈形变挑战的视频序列"trans"时，计算所得的置 信度图，以及描述目标所在位置和大小的矩形框。
[0051] 图4为本发明方法为跟踪具有尺度变化的视频序列"carScale"时，计算所得的置 信度图，以及描述目标所在位置和大小的矩形框。
【具体实施方式】
[0052] 下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。
[0053] 本发明的方法执行步骤示意图如附图1所示，具体包括如下步骤：
[0054] S1.给定第一帧图像I及其对应的目标区域，抽取目标区域内的所有像素：
[0055] P={(x,y) |xi<x< xi+wi,yt < y < yt+ht}
[0056] 其中，XjPyi表示目标区域所在的横纵坐标，奶和匕分别表示目标区域的宽和高，P 为目标区域内的所有像素点集。同时，提取背景区域内的所有像素：
[0057] N={(x，y) |x&l