一种基于后验模板字典学习的目标跟踪方法
【技术领域】
[0001] 本发明主要涉及到计算机视觉中的目标跟踪领域，特别是涉及一种基于后验模板 字典学习的目标跟踪方法。
【背景技术】
[0002] 目标跟踪在计算机视觉领域中是相当活跃的研究课题，自从上世纪末被提出以 后，众多学者纷纷加入研究行列，是当今国内外研究的前沿问题之一。目标跟踪在视觉分析 领域属于中层部分，为后续高层视觉分析奠定了基础，因此具有非常重要的研究价值。
[0003] 目标跟踪算法中最为关键的组成部分是表观模型。表观模型，简单的说，如何能够 对跟踪目标物体的表观进行简洁有效地表达。一般来说，目标的表观模型主要可以分为产 生式和判别式两大类。产生式模型从目标本身出发，采用不同的描述模型来提取不同的目 标特征，从而构建一个紧致的目标表示。目标区域的颜色直方图是最常见的基于产生式的 表观模型，但是，它完全忽略了目标表观颜色的空间分布信息。基于混合高斯的表观模型利 用混合加权的高斯分布来动态地学习像素颜色的时间统计特性。R 0ss等人提出了基于增量 子空间学习的方法来建模目标表观的时空统计特性。Mei等人提出了一种基于稀疏表示的 目标表观模型。稀疏表示关心的是如何用尽量少的训练样本去重构新来的候选样本。
[0004] 判别式模型同时考虑目标（正样本）和背景信息（负样本），它关注的是如何构建 一个分类器或者分类界面能够精准地区分目标和背景，此时，跟踪问题就可以看成一个二 分类问题。Avidan提出基于支持向量机（Support Vector Machine)的分类器来区分目标 和背景，并将其融入到基于光流的跟踪算法中去。Grabner等人采用在线的Adabooting算 法来构建强分类器，强分类器由一系列的弱分类器通过Adabooting算法组合而成，每个弱 分类器对应于一个区分目标和背景的分类界面，同时通过不断地更新弱分类器，或者选择 新的分类器来实现在线更新。Saffari等人提出了基于随机森林的分类器构建方法，在该 算法中，首先采用随机森林算法选择特征，然后对经过选择的特征构建分类器。Babenko等 人提出了基于多示例学习 （multiple instance learning)的表观模型。在该算法中，在选 择正样本进行更新分类器的时候，不只把当前帧的跟踪结果作为正样本，同时选取了与跟 踪结果非常接近的一些区域，把它们一起形成一个"包"，使用包来更新分类器。通过包的机 制，使得该算法对跟踪误差具有一定的容错性，即使当前帧跟踪结果稍微不精确，也不会使 得分类器被错误地更新。
[0005] 近年来基于稀疏表示的目标跟踪及其改进算法受到人们的广泛关注。稀疏表示描 述的是如下问题：给定一个候选的目标区域，用尽量少的模板对其进行重构。在稀疏表示 的框架下，模板字典由一系列目标模板（object template)和自定义的辅助模板（trivial template)组成，新的候选样本将通过模板字典的线性重构来表示。目标模板表示的是待跟 踪目标的视觉特征，自定义的辅助模板是为了表示噪声和遮挡，每个辅助模板只有一个元 素的值为1，其他元素均为〇,因此不同的辅助模板对应着目标模板不同位置的像素。如果 某个辅助模板的重构系数不为零，则表明其对应的像素有可能被噪声污染或者被其他物体 遮挡。所以在稀疏表示的框架下，通过辅助模板与目标模板的组合，可以有效地处理图像噪 声和遮挡，而不需要采用其他额外的策略。
[0006] 尽管基于稀疏表示的表观模型在处理遮挡和噪声方面取得了巨大的成功，然而该 模型还是存在如下问题：在稀疏表示的跟踪框架下，当前帧图像的候选样本通过模板字典 的线性重构误差来评价。在该评价过程中，目标的模板字典是固定不变的。因此，当目标表 观发生较大变化时，由之前跟踪结果所确定的模板字典将无法表示目标的表观变化，从而 导致跟踪失败。此外，传统的稀疏表示跟踪算法只是简单的用最新得到的跟踪结果去代替 旧的目标模板，很容易将跟踪结果中的误差（如噪声、遮挡引起的）引入到模板字典中，当 误差积累到一定程度就会导致模型漂移问题（model drifting)。
【发明内容】
[0007] 为了解决上述问题，本发明提出一种基于后验模板字典学习的目标跟踪方法。该 方法能够有效将当前帧的目标表观数据有效地融入到字典模板中，从而提高跟踪系统的鲁 棒性和适应性。
[0008] -种基于后验模板字典学习的目标跟踪方法是：
[0009] 1)在第一帧对目标区域进行初始化，在初始状态周围做1-2个像素的平移，并由 此产生对应的目标模板图像，将这些目标模板图像等分成4*4的子块，通过对相应位置子 块的随机抽取，重组出一系列新的目标模板图像；
[0010] 2)在视频后续帧的跟踪过程中，利用粒子滤波器产生一系列目标候选图像，将每 个目标候选图像分割成同样大小的4*4的子块，选定目标候选图像的某一个子块，从目标 模板图像中的对应子块位置开始，进行局部搜索，获得与目标候选图像子块最为相似的位 置，对于目标模板图像中所有子块采用上述的局部搜索策略，多个图像子块之间允许重叠， 经过上述局部搜索后，获得新的目标模板字典；
[0011] 3)利用上述新的目标模板字典，对目标候选图像进行稀疏重构，将目标模板图像 和目标候选图像从水平、垂直方向分为4个半图像，在4个半图像模式下进行稀疏重构，获 得基于半图像的稀疏系数，在某一个半图像模式下，首先，获得目标候选半图像在目标模板 字典下的稀疏重构系数，然后，固定该稀疏重构系数不变，对于一个半图像而言，其包含8 个子块，对目标模板模板图像的8个子块进行同时采样，计算目标候选半图像在固定稀疏 重构系数下的重构误差，记录重构误差最小的采样位置，并更新目标模板字典，完成4个半 图像模式下的模板字典更新后，再重复利用更新后的目标模板字典对目标候选图像进行稀 疏重构，重复上述采样过程，直到重构误差不再下降。
[0012] 4)利用最终的目标模板字典对所有目标候选图像在4个半图像模式下进行稀疏 重构，计算重构误差和，将重构误差最小的目标候选图像作为当前帧的目标跟踪结果进行 保存；
[0013] 5)每完成5帧图像的跟踪，对目标模板字典进行更新，将5帧图像所得获得跟踪结 果与目标模板字典作为样本，计算所有两个样本对之间的距离，形成一个距离矩阵，对该距 离矩阵进行特征分解，计算最大特征值所对应的特征向量，按照特征向量中元素绝对值的 大小进行排序，取前若干个元素所对应的样本作为下一帧跟踪的目标模板字典。
[0014] 所述的步骤1)具体为：
[0015] 首先，对第一帧图像中的目标进行初始化，在初始状态周围做1-2个像素的平移， 并由此产生对应的目标模板；
[0016] 其次，将这些目标模板图像等分成4*4的子块，通过对相应位置子块的随机抽取， 重组出一系列新的模板D =[山，d2,…，dj，其中第i个模板(Ii的子块表示为d u，j = 1，2,…，160
[0017] 所述的步骤1)中，将目标模板图像等分成4*4的子块，相邻子块之间可以有2-3 个像素的重叠。
[0018] 所述的步骤2)具体为：
[0019] 首先，利用粒子滤波器产生一系列目标候选图像，将每个目标候选图像分割成同 样大小的4*4的子块；
[0020] 其次，选定目标候选图像的某一个子块，从模板图像中的对应子块位置开始，进行 局部搜索，获得与目标候选图像子块最为相似的位置，对于目标模板字典中所有子块采用 上述的局部搜索策略，多个图像子块之间允许重叠，经过上述局部搜索后，获得新的目标模 板字典。
[0021] 所述的步骤3)具体为：
[0022] 首先，将模板字典图像、目标候选图像在水平、垂直方向分成4个半图像模式，在 某个半图像模式下，利用字典对目标候选图像进行稀疏重构，获得基于半图像的稀疏系 数；
[0023] 其次，固定该稀疏重构系数不变，对模板半图像包含的8个子块进行同时采样，计 算目标候选半图像在固定稀疏重构系数下的重构误差，记录重构误差最小的采样位置，并 更新模板字典。
[0024] 最后，完成4个半图像模式下的模板字典更新后，再重复利用更新后的字典对目 标候选图像进行稀疏重构，重复上述采样过程，直到重构误差不再下降，或者下降幅度非常 小。
[0025] 所述的步骤4)具体为：
[0026] 首先，采用步骤3)对每个目标候选图像的后验字典进行学习；
[0027] 其次，利用最终的目标模板字典对所有目标候选图像在4个半图像模式下进行稀 疏重构，计算重构误差和，将重构误差最小的目标候选图像作为当前帧的目标跟踪结果进 行保存。
[0028] 所述的步骤5)具体为：
[0029] 首先，将5帧图像所得获得跟踪结果与目标字典模板作为样本，计算所有两个样 本对之间的距离，形成一个距离矩阵；
[0030] 其次，对该距离矩阵进行特征分解，计算最大特征值所对应的特征向量。按照特征 向量中元素绝对值的大小进行排序，取前若干个元素所对应的样本作为下一帧跟踪的目标 模板字典。
[0031] 本发明的有益效果是：
[0032] (1)本发明所提出一种基于后验模板字典学习的目标跟踪方法，实现了对目标表 观变化的有效跟踪，对被跟踪目标的类型没有要求，充分说明本算法的实用性强、普适性 好。
[0033] (2)本发明首次提出基于当前帧观测数据的后验模板字典学习策略。一方面，该策 略利用目标候选图像的信息来指导模板字典构建过程，使得所构建的字典模板与当前目标 候选图像尽可能吻合，可以有效地表示目标的表观变化。另一方面，目标候选图像仅用于模 板字典构建方式，因此可以有效避免过拟合。
[0034] (3)本发明提出基于稀疏主成分分析的字典更新算法，该算法能够有效保证更新 后的字典模板之间都保持了一个相对较大的距离，使得该字典可以表示更大范围的目标表 观变化，并且计算效率高。
【附图说明】
[0035] 图1为基于后验模板字典学习的目标跟踪方法流程图；
[0036] 图2为目标的分割示意图，目标被分成4*4的块；
[0037] 图3为半图像的划分示意图。
【具体实施方式】
[0038] 通过以下实施步骤对本发明做具体的描述，只是为了对本发明做进一步解释说 明，不能误解为对本发明权限保护范围的限定，相关的技术人员可以对上述
【发明内容】
根据 实际的需求做非本质性改动和调整，以便在实际应用中达到更加理想的效果。
[0039] 如图1所示，图1为本发明