一种基于关键帧的在线学习的离线视频跟踪方法
【技术领域】
[0001] 本发明设及计算机视觉跟踪技术领域，具体设及一种基于关键帖的在线学习的离 线视频跟踪方法。
【背景技术】
[0002] 根据视频来源的不同可W简单地把视频目标跟踪分为两大类：在线视频目标跟踪 和离线视频目标跟踪。在线视频的目标跟踪只有当前帖之前的视频数据，因此在线视频的 目标跟踪问题是一个开环控制系统，使得误差不可避免地发生积累。而离线视频的目标跟 踪在跟踪之前已具有完整的视频，因此可W通过对少量的关键帖进行标注，从将开环控制 系统转化为闭环控制系统，使得离线视频跟踪可W用于视频标注、视频检索、事件分析W及 基于运动目标的视频压缩等。
[0003] 总的来说，目前的目标跟踪算法主要两个关键性的问题；（1)表观模型；（2)跟踪 框架。表观模型就是如何对目标物体进行有效的表达，并且进行实时的更新。因此，如何构 建一个好的表观模型对目标视觉跟踪起着至关重要的作用。
[0004] 目标灰度模板，是一种最直接的目标建模方法，不过该模型缺乏判别性和鲁椿性。 尽管目标区域的颜色直方图对于目标尺度、旋转W及非刚性形变较为鲁椿，但是由于其忽 略了目标表观的颜色空间分布信息，存在一定的缺陷。虽然基于核密度估计的表观模型很 好的解决了该一缺陷，不过换来的代价是计算与存储复杂度的增长。另外，基于条件随机场 的表观模型通过马尔可夫随机场来建模邻近像素之间的内在关系，但是其训练代价非常巨 大。基于子空间学习的表观模型由于其子空间不变假设更为合理，因而被广泛地应用于视 觉跟踪领域。但是该模型在训练时需要足够多的样本，在实际运用中很难达到实时性的要 求。基于此，Levy 和 Lindenbaum 提出了序列 KL(Sequential Karhunen-Loeve)变换算法 用于增量地学习图像的特征基。Lim等扩展了序列化变换算法，同时对目标图像的均值和 特征基进行增量更新，并将该算法首次应用于目标的视觉跟踪。而后，鲁椿估计策略，Yang 的基于数据驱动的加强自适应方法，Liao的基于鲁椿卡尔曼滤波的跟踪方法W及Gai和 Stevenson基于动态模型的方法，虽然在某些特定的场景中获得了较好的跟踪性能，但是 有一定的不足之处；即上述所有基于子空间的跟踪算法首先要将图像展成一维向量，目标 表观的空间分布信息几乎完全丢失，从而使得模型对目标表观的全局性变化W及噪音非常 敏感。针对该一缺点，化等引入张量思想，在一定程度上起到了效用。不过由于其在使用 R-SVD更新过程中只保留了前R个较大特征值所对应的特征向量，从而带来了一定的误差， 并且随着跟踪的进行，误差会逐步累计，导致模型漂移。虽然基于动态张量分析的模型避免 了上述误差，得到了更加精确的结果，但是由于小样本问题使得计算得到的协方差矩阵无 法描述样本的分布情况，从而导致子空间的计算退化。
[0005] 近年来，基于L1正则化稀疏表示的目标表观模型受到人们的广泛关注。稀疏表 示模型描述了 W下问题：给定一个候选的目标区域，用尽量少的模板对其进行重构。在稀 疏表示的框架下，模板字典由一系列目标模板（object template)和自定义的辅助模板 (trivial template)组成，新的候选样本将通过模板字典的线性稀疏重构来表示。目标模 板表示的是待跟踪目标的视觉特征，自定义的辅助模板是为了表示噪声和遮挡，每个辅助 模板只有一个元素的值为1，其他元素均为0,因此不同的辅助模板对应着目标模板不同位 置的像素。如果某个辅助模板的重构系数不为零，则表明其对应位置的像素有可能被噪声 污染或者被其他物体遮挡。所W在稀疏表示的框架下，通过辅助模板与目标模板的组合，可 W有效地处理图像噪声和遮挡，而不需要采用其他额外的策略。
[0006] 尽管基于稀疏表示的表观模型在处理遮挡和噪声方面取得了巨大的成功，然而该 模型还是存在如下问题；模板字典中目标模板的数量过少（一般为10)，远远没有达到稀 疏表示理论对字典模板过完备（over-complete)的要求。此外，传统的稀疏表示跟踪算 法只是简单的用最新得到的跟踪结果去代替旧的目标模板，很容易将跟踪结果中的误差 (如噪声、遮挡引起的）引入到模板字典中，当误差积累到一定程度就会导致模型漂移问题 (model化ifting)。对于在线视频跟踪，由于无法获取整段视频，建立过完备字典是很难 的；而离线视频在目标跟踪之前提供所有视频数据，为构建一个完备充分的目标模板字典 提供了基础。在跟踪过程中字典的更新也是重要环节，在线跟踪字典的更新是根据当前跟 踪到的区域与已有字典进行相似性度量，如果大于预先设定的阀值就更新，否则就不更新。 该样的字典更新方法也可能导致误差积累，如果更新频率过快误差累积量就大。而另一方 面，如果更新太慢，则难W适应目标表观的变化。
【发明内容】
[0007] 针对现有技术存在的不足，本发明的目的在于提供一种可W避免每次模板更新所 带来的误差累积，采用循环跟踪的策略将开环问题转化为闭环问题，从而有效的提高目标 跟踪的鲁椿性的基于关键帖的在线学习的离线视频跟踪方法。
[000引为实现上述目的，本发明提供了如下技术方案；一种基于关键帖的在线学习的离 线视频跟踪方法，包括W下步骤：
[0009] (1)对于给定的离线视频，选择一定数量的关键帖进行标注，并由此构建完备的模 板字典，该模板字典包含=个部分：纯净模板、动态模板和辅助模板；
[0010] (2)在跟踪过程中，对于每一个候选图像区域，计算其与纯净模板子块之间的距 离，从而有效对纯净模板子块进行选择，提高计算效率；
[0011] (3)为了减少跟踪误差的积累，采用循环跟踪的策略将开环问题转化为闭环问题， 从而有效地提局目标跟踪的鲁椿性；
[0012] (4)利用跟踪的结果，对动态模板进行在线地半监督学习，W适应目标表观的变 化。
[0013] 通过采用上述技术方案，在跟踪过程中对目标模板字典进行有效地在线学习，从 而避免每次模板更新所带来的误差累积；采用循环跟踪的策略将开环问题转化为闭环问 题，从而有效的提高目标跟踪的鲁椿性。
[0014] 本发明进一步设置为：所述的步骤（1)具体包括W下子步骤：
[0015] (1. 1)，从整个视频中选择一定数量的关键帖，手工标定目标区域；
[0016] (1.2)，在每个关键帖标定的区域中，上下左右各扰动1-2个像素产生十个纯净模 板；相邻关键帖之间，由对应的纯净模板线性组合生产一系列动态模板；
[0017] (1. 3)，构建产生一系列辅助模板，每个辅助模板只有一个元素的值为1，其他元素 均为0,不同的辅助模板对应着目标模板不同位置的像素；如某个辅助模板的重构系数不 为零，则表明其对应的像素有可能被噪声污染或者被其他物体遮挡。
[0018] 本发明还进一步设置为：
[0019] 所述的步骤（2)具体包括W下子步骤：
[0020] (2. 1)，将纯净模板根据产生它的关键帖分成不同的子块；
[0021] (2. 2)，对于每一个候选图像区域，计算其与纯净模板子块之间的距离；
[0022] (2. 3)，只要候选区域与纯净模板子块中任一模板之间的距离小于一定的阔值，就 采用该纯净模板子块对候选区域进行稀疏重构；否则就不采用该纯净模板子块对候选区域 进行稀疏重构。
[0023] 本发明还进一步设置为；所述的步骤（3)具体包括W下子步骤：
[0024] (3. 1)，将整段视频序列根据关键帖分成若干段子序列；
[0025] (3. 2)，在每段子序列上，从两个关键帖节点开始，分别进行跟踪，在跟踪过程中， 采用步骤（2)中所选择的模板字典进行对所有候选区域进行稀疏重构，按重构误差从小到 大排序，选择重构误差最小的候选区域作为跟踪结果；
[0026] (3. 3)，将两个关键帖节点循环跟踪的结果进行