专利名称：用于使提升分类器适合于新样本的方法
技术领域：
本发明总体上涉及机器学习，更具体地说，涉及使用提升分类器(boosted classifier)跟踪视频中的对象。
技术背景对象跟踪在许多计算机视觉应用中使用，参见Stauffer等，"Training Patterns of Activity Using Real-Time Tracking", PAMI， 22 (8)， 747-757 页，2000， Avidan， "Support Vector Tracking", IEEE Trans. Pattern Analysis and Machine Intelligence, 2004;以及人机交互，Bobick等，"The KidsRoom"， Communications of the ACM ， 43 (3)， 2000。要跟踪的对象的宽范围对于任何对象跟踪应用带来了挑战。不同的 对象和特征表达(例如颜色直方图、表观模型或关键点)已经被用于对 象跟踪。特征选择可使用不同特征空间的集合并且"切换"到最有判别力 的特征，Collins 等，"On-Line Selection of Discriminative Tracking Features" ， Proceedings of the International Conference on Computer Vision (ICCV'03), 2003。对象跟踪可使用Kalman滤波器、或粒子滤波器(particle filter)。时 间积分方法(例如粒子滤波)在时间上对测量结果进行积分，Isard等， "CONDENSATION - Conditional Density Propagation for Visual Tracking", International Journal of Computer Vision,巻29(1)， 5-28页，1998。滤波 对不同的匹配分配了概率。不幸地是，滤波器方法不影响对象的描述。还可以使用均值位移(mean-shift)方法。均值位移是在分布梯度上 进行操作以寻找峰值的模式查找处理。均值位移搜索图像中的具有与给 定颜色直方图类似的颜色直方图的区域。为了提高性能，Comanciu等使 用了空间平滑，Comanciu等，"Kernel-Based Object Tracking", IEEE Trans.Pattern Analysis and Machine Intelligence, (PAMI)， 25:5， 564-575页。此 外，在对象外部出现的颜色被用于使在对象上出现的颜色'权重降低 (down-weight)，。简单对象跟踪在视频的一序列帧中寻找与对象匹配的区域。在机器 学习方面，这等效于最近邻居分类。简单的方法忽略了背景的作用。因 此，对象分类器可用于对象跟踪，参见ShaiAvidan， "Ensemble tracking"， IEEE Conference on Computer Vision and Pattern Recognition, 494-501页， 2005 ， Helmut Grabner禾口 Horst Bischof， "On-line boosting and vision", IEEE Conference on Computer Vision and Pattern Recognition, 260-267页，2006， 以及Avidan在2005年1月24日提交的美国专利申请20060165258， "Tracking objects in videos with adaptive classifiers"。基于分类器的方法对二值分类器(binary classifier)进行'训练，，以 在场景中从背景中辨别感兴趣的对象。接着，将该分类器应用于图像序 列，以定位并跟踪对象的位置。通常，强分类器组合了一组弱分类器。 该组合可以是线性或非线性的。例如，已知的AdaBoost处理针对越来越 '困难'的训练数据对一组弱分类器中的每一个分类器进行训练。然后，组 合这些弱分类器以产生比任一单独的弱分类器更好的强分类器，Freimd 等，"A decision-theoretic generalization of on-line training and an application to boosting"， Computational Training Theory, Eurocolt'95, 23-37页，1995， 在此通过引用将其并入。基于分类器的方法的一个问题是，当连续正确地跟踪对象时要使分 类器适合于场景随时间的变化。应当注意，背景和对象的外观都会随时 间变化。例如，物品(item)可随时间在场景中出现或消失，并且对于许 多场景，尤其是户外场景，入射光和阴影随时间和空间而改变。传统的基于分类器的方法通过随时间添加和删除弱分类器来更新强 分类器，以处理场景的变化。Avidan的整体跟踪(ensemble tracking)不 试图更新弱分类器本身。而是删除'老，的弱分类器并且添加'新，的弱分类 器。Grabner等的在线提升方法通过高斯分布对特征密度进行建模。它们 使用Kalman滤波方法在每一个帧更新它们的参数。Grabner等的方法还删除任何产生大于预定阈值(例如0.5或50。％)的错误的弱分类器。这消除了以后可有效使用被删除的弱分类器的可能性。即使高斯分布足以对特征密度进行建模(可能不总是这种情况)，如 果期望更高维数的分类器，则更新机制很快变得复杂并且缓慢。发明内容本发明的实施方式提供了一种用于当分类数据样本时自适应地提升 分类器的方法。该分类器可用于跟踪视频中的对象。在该应用中，分类 的样本是前景和背景像素，并且该方法将对象跟踪作为二值分类问题进 行处理。训练一组弱分类器以辨别从场景获得的视频的一序列帧中的对 象和背景。当处理视频时进行训练。即，本发明自适应地实时工作，并 且可适合于场景和光的变化。对每个帧中的每个像素构造特征向量。该特征向量用于训练弱分类 器。这些弱分类器将与对象相关联的单独像素从与背景相关联的像素分 类出来。该组弱分类器被组合成强分类器。本发明的一个实施方式提供了在线提升(on-line boosting)。在根据 本发明的在线提升中，根据输入样本随时间对弱分类器进行调整，以考 虑场景变化。在现有技术中，只要弱分类器的错误率超过预定阈值，则 通常删除全部弱分类器。
图1是根据本发明实施方式的使用强线性分类器来跟踪对象的方法 的框图；图2是根据本发明实施方式的用于在线提升和弱学习的伪代码； 图3是根据本发明实施方式的初始样本和初始弱分类器的图； 图4A-4F是图3的分类器随时间更新的图；以及 图5A和5B是弱分类器的错误率随时间的条形图。
具体实施方式
本发明提供了 一种用于自适应地更新提升分类器的方法，该提升分 类器是弱分类器的组合。使用初始样本对该提升分类器进行训练。根据新样本和旧样本来更新累加(accumulation)矩阵。使用新样本来更新弱 分类器，并且从弱分类器中删除旧样本的贡献(contribution),以调整该 提升分类器。该分类器可用于跟踪通过摄像机从场景获取的视频的一序列帧(图 像)中的对象。本发明允许变化的场景和移动的摄像机。本发明将对象 跟踪作为二值分类问题进行处理，在该问题中对象处于'前景'中并且场景 的剩余部分是'背景'。对于每一个帧更新一组弱分类器。这些弱分类器被 组合为强分类器。强分类器从背景识别对象，并且使得能够进行对象跟踪。本发明没有显式地表示对象。而是， 一组分类器确定特定像素是否 与对象相关联，或与背景相关联。针对正训练样本和负训练样本对每一 个弱分类器进行训练。正样本与对象相关联，而负样本与背景相关联。如图1中所示，我们的发明的实施方式提供了一种用于跟踪一序列 帧(视频)101中的对象的方法。将从场景获取的视频101的一个或更多 个初始图像102中的样本(像素)用于训练110—组弱分类器111-112。 例如，使用了八个分类器。然而，该数量可以根据应用和分类任务的难 易来改变。对于一个示例的面部跟踪应用，该训练使用从'面部'像素提取的特征 作为正样本(+1)，而使用从'背景'或非面部像素提取的特征作为负样本 (-1)。对于当前帧中的各个像素，我们提取表征了该像素附近的局部边缘 和纹理(texture)信息的d维特征向量。例如，该特征向量是11维的。 该特征向量例如是基于亮度(intensity)梯度的八柄(bin)局部方向直方 图与三种像素颜色(RGB)的组合。在以该像素为中心的5x5窗口上确 定该8柄局部方向直方图。在图像上逐像素地扫描该窗口，以获得特征 向量。为了提高性能，仅对高于某些预定阈值(例如IO个亮度值)的边缘进行计数。这些特征易于提取并且为对象检测传递了足够的边缘信息。 特征向量是在像素的局部邻居中的定向边缘的计数。例如，给定像素的 特征向量可以表示在像素附近有三个水平边缘、两个垂直边缘，并且没 有对角边缘。该表示有多个优点。首先，该表示对于照明变化不敏感，因为特征 向量不依赖于边缘的长度，仅依赖于边缘高于某些阈值(例如io个亮度 值)。第二，特征向量给出了对于小图像平面变换不变化的像素的局部描 述。实际上，该特征向量是包括像素的RGB值以及5x5窗口中的定向边 缘的数量的直方图的11维向量。即，对窗口中的高于阈值的所有边缘进 行定位和计数，并且根据边缘的方向和计数将它们群集到柄中。还可以使用其它特征，例如从滤波器库(bank)获得的那些特征。 可使用其它分类器(例如stump分类器(stump)，即单个节点判定树或 感知器)，而不是基于最小二乘法的分类器。在优选实施方式中，对于所 有分类器使用相同特征。然而，其它技术(例如合并各种提示(cue)) 可以改善该跟踪。这些弱分类器被组合120为强分类器300。来自后续帧103的新样 本被用于以在线和动态的方式更新130弱分类器，以考虑场景中的变化。 同时，删除不再表示场景并因此不可靠的旧样本。经更新的提升分类器 随后可用于跟踪140对象141 。在更新步骤130中，如果弱分类器的错误率小于预定阈值，例如0.5， 则保留它们。在现有技术中，当弱分类器不再有用时简单地丢弃它们。 相反，我们使弱分类器适合于场景变化，直到弱分类器不再有用为止。 这简化了分类器的训练，尤其在使用高维度的弱分类器时。我们的对象跟踪的基本思想是，当为了对象跟踪140而获取并处理 视频101的帧103中的新样本时，以在线方式增量地和动态地调整该提 升分类器。这与传统的批量训练相反，在传统的批量训练中，在为了对 象跟踪而对视频进行处理之前，根据视频构造分类器。只要弱分类器111-112有用，我们就更新130这些分类器以适合于场景变化。我们提供在计算上高效处理方式，以通过'记住，旧样本的方式适 合于新样本。自适应线性回归量矩阵X包括N个样本的集合，例如特征向量x。这些样本的对应分类标签存储在向量ye {-1，1} N中。这些标签表示样本的二值分类。为 解决线性关系# = y (1)通过加权最小二乘法，我们使错误函数最小化 (y-场,(y-励其中，T是转置运算符，W是根据样本的权重向量w构造的对角矩阵。 使错误最小化的线性系数^由下式给出 ^-(^^『义)-'义r『y其表示提升分类器中使用的样本的概率分布。在我们的方法中我们为什 么使用加权回归量在下面将变得清楚。考虑方程(1)中的线性关系中的截距(intercept)。我们可通过分解 以下分量来重写该解〃=[3 i]r『[i i])—'[义i]r『yxr ir虹f『i--1(2)矩阵X+eRW+"包含新样本，且向量y+1包含新样本的分类标签。可 以示出，经组合的旧样本和新样本的新线性系数A，即[H+]t，可通过添 加仅与新样本相关的量来确定。一ir『y + l，+y+(3)注意，为了对到目前为止进行了处理的所有样本确定系数/ ，每次对样本进行处理时，我们仅确定与新样本相关的量。 包含新样本的贡献的后向累积矩阵是Hi、 iH丄 f『丄添加到旧矩阵的(向量的)新矩阵的大小是LxL (L)，其通常较小,因此，存储要求较低。在每一个新样本到达时，该线性关系适合于场景变化，同时保留以 前的特性。这里，将该现象描述为线性回归，以'记住'旧样本(X.)。如方程(4)中所示，我们还可通过减去类似的矩阵来'忘记，某些特性。<formula>formula see original document page 10</formula>(4) 我们保留旧样本的持续时间，即'记住'M的持续时间确定了对场景 中的变化的灵敏度。包含旧样本的贡献的前向累积矩阵是<formula>formula see original document page 10</formula>我们可使用如针对GentleBoost描述的形式为g:^ ^R的线性回归 量，参见Jerome Friedman, Trevor Hastie禾卩Robert Tibshirani， "Additive logistic regression: a statistical view of boosting", The Annals of Statistics, 38 (2) :337-374， 2000年4月，在此通过引用将其并入。另选的是，对 于离散AdaBoost处理可以使用阈值版本: R—{-1, 1}。初始地，我们使用针对初始的样本集合(例如，从视频101中的一 个或少量帧102提取的样本)的离散AdaBoost，来训练110该T弱分类 器111-112。这通过首先确定线性关系，并随后将响应XP的阈值限定为 0来完成。对于来自新帧的新样本，根据方程(3)更新这些弱分类器中 的每一个。然后，在每一轮提升中，我们选择具有最小加权分类错误的 最佳弱分类器并相应地更新与最佳弱分类器相关联的样本的权重。为了 仅考虑M个以前样本的贡献，我们保持方程(3)中表示的量的先进先 出队列，并且通过减法删除这些量。图2总结了在线提升步骤201 ，其使用了弱学习过程202 。在线提升对于每一个新的样本集合X+，即每一个新帧1. 使用相同的分布加权向量w和tl开始。2. 对于每一个帧(新样本的集合)，重复(a)训练弱分类器-WeakTrain(W)(弱训练(W))(b)选择具有最小加权分类错误的弱分类器h -& 0) = arg min "二 | x - ~ ) | 。(C)更新并归一化加权向量W。 (d)根据方程(4)删除与X.M相关的旧样本。 WeakTrain(W)(弱训练(W))1. 确定X+的新量。(什么量)2. 根据方程(3)训练线性系数卩。图3示出了对于示例数据集的我们的更新处理。我们生成了样本的 二维数据集。垂直和水平轴表示在生成样本的二维空间中的不同维度。 十字101和圆102表示两种不同类别的样本，例如对象或非对象。根据 2D高斯分布生成这些样本。线111-112表示将样本分离为二值类别的弱 分类器。在t-l (帧l)处的开始的强提升分类器300是根据初始数据集102 进行了训练的弱二值分类器111-112的线性组合1209。如上所述通过回 归量使这些线'适合(fit)'。如图4A-4F所示，将新样本增量地添加到数据集，并相应地为t2，...，t7 更新弱分类器。随时间而删除'旧'样本。在图4A-4F中，注意，由于在添 加新样本并删除旧样本时自适应地更新弱分类器，而不是如现有技术中 那样替换全部弱分类器，所以线的方向逐渐地偏移。这更好地适于在缓 慢演变的场景中跟踪对象。图5A和5B示出了八个弱分类器随时间的错误率，例如分别为帧 ti，...,u^Bt31,...,4Q。图5A的第一行示出了各个分类器产生的错误，表示为 对第一帧中的面部进行分类的各列。如果错误^).5，则不将该弱分类器组 合到强分类器中。但是，不删除它。注意帧1到5和帧9、 10中的线性 分类器7的错误特性。尽管初始的较差性能，但是在后面的帧中由于我 们的调整而使得相同的线性分类器变得非常有用。这里应当指出，对样 本的提升权重在确定线性分类器的错误时起重要作用。使用更'困难'的示 例来训练分类器7以导致大的错误是很可能的情况。此后，可能由于场 景中的变化，分类器7很好地分离了某些新样本。因此，如在现有技术中所进行的删除具有高错误率的分类器可能是不利的。尽管已经通过优选实施方式的示例描述了本发明，但是应该理解， 可以在本发明的精神和范围内进行各种其它调整和修改。因此，所附权 利要求的目的是覆盖落入本发明的真实精神和范围内的所有这种变化和 修改。
权利要求
1、一种使提升分类器适合于新样本的方法，该方法包括以下步骤使用初始样本对提升分类器进行训练，其中所述提升分类器是弱分类器的组合；以及通过添加新样本的贡献并删除旧样本的贡献，自适应地更新所述提升分类器的各个弱分类器。
2、 根据权利要求1所述的方法，其中，所述样本与从场景获取的视 频的帧中的前景像素和背景像素相对应，并且所述方法还包括跟踪与所述视频中的前景像素相对应的对象。
3、 根据权利要求2所述的方法，其中，所述场景和所述对象随时间 变化。
4、 根据权利要求1所述的方法，其中，所述提升分类器中的弱分类 器的数量随时间变化。
5、 根据权利要求2所述的方法，其中，通过多维特征向量来表示各 个像素。
6、 根据权利要求5所述的方法，其中，所述特征向量对视频中的边 缘和纹理信息进行编码。
7、 根据权利要求1所述的方法，其中，只要特定的弱分类器的错误 率小于预定阈值，就保留该弱分类器。
8、 根据权利要求1所述的方法，其中，矩阵X包括N个样本，每 一个样本是一个特征向量x，并且这些样本的对应标签存储在向量ye(-1，1)n中，其中，所述标签表示所述样本的二值分类，并且通过加权 最小二乘法求解线性关系;^-y，这最小化了错误函数 (y-抓『(y-场，其中，T是转置运算符，W是根据样本的权重向量w构造的对角矩阵，并 且使错误最小化的线性系数^由下式给出其表示由所述提升分类器使用的样本的概率分布。
9、 根据权利要求8所述的方法，其中，通过使用以下公式添加仅与新样本相关的新量，使用新样本义+sR&"和对应标签y+1 来确定组合数据的线性系数<formula>formula see original document page 3</formula>
10、 根据权利要求8所述的方法，其中，通过如下减去旧样本的权 重来去除它们的贡献<formula>formula see original document page 3</formula>
11、 根据权利要求3所述的方法，其中，保留旧样本的持续时间确 定了所述提升分类器对于场景和对象中的变化的灵敏度。
12、 根据权利要求2所述的方法，其中，每一个帧都导致新样本， 并且对于每一个帧，所述方法还包括选择具有最小加权分类错误的最佳弱分类器；以及相应地更新与所述最佳弱分类器相关联的新样本和旧样本的权重。
13、 根据权利要求1所述的方法，其中，通过使用Gentle-boost更新 函数的线性回归量使所述提升分类器适合于新样本。
14、 根据权利要求1所述的方法，其中，通过使用离散Adaboost更 新函数的线性回归量使所述提升分类器适合于新样本。
全文摘要
一种用于使提升分类器适合于新样本的方法。使用初始样本对提升分类器进行训练。该提升分类器是弱分类器的组合。通过添加新样本的贡献并且删除旧样本的贡献来自适应地更新该提升分类器的各个弱分类器。
文档编号G06T7/20GK101256629SQ20081008281
公开日2008年9月3日 申请日期2008年2月28日 优先权日2007年2月28日
发明者图菲·帕拉格, 法提赫·M·波里克利 申请人:三菱电机株式会社