一种基于流形判别非负矩阵分解的目标跟踪方法
【专利摘要】一种基于流形判别非负矩阵分解的目标跟踪方法，包括：S1获取当前帧正负样本，S2获取正负样本特征和样本矩阵Xl；S3读取下一帧，获取候选样本矩阵Xu；S4合并Xl和Xu为数据矩阵X，将X分解为非负矩阵乘积，再经学习得到分类器；S5通过分类器计算每个候选样本的响应值，选取最大响应作为跟踪目标；S6判断是否最后一帧，若是，进入S7输出每一帧目标的状态，若否，跳至S1。本发明通过非负矩阵分解来获得更高层图像特征，能更好描述局部特性，排除遮挡和背景干扰；使用半监督流形正则方法，结合标记和无标记样本训练含空间结构信息的分类器，可保留更多判别信息，有效应对光照和目标形变；通过在线训练更新特征提取模型，快速定位视频中的指定目标。
【专利说明】
一种基于流形判别非负矩阵分解的目标跟踪方法
技术领域
[0001] 本发明涉及一种基于流形判别非负矩阵分解的目标跟踪方法，属于计算机视觉、 模式识别以及视频监控技术领域。
【背景技术】
[0002] 目标跟踪旨在从视频中定位、识别场景中的指定目标，并估计其运动轨迹。计算机 视觉的许多高层任务，如场景理解、事件检测、行为识别等，都很大程度上依赖于目标跟踪 的结果。在计算机视觉和模式识别领域的国际顶级学术刊物和会议上，目标跟踪都占据了 不低的篇幅和比重。作为一个融合了计算机视觉、图像处理、模式识别、机器学习、统计分析 和随机过程等多学科交叉的前沿性研究方向，目标跟踪在视频监控、人机交互、视觉导航、 运动分析、视频检索等系统等领域中具有很重要的实际应用价值。近年来出现的目标跟踪 方法，大致可以分为生成式和判别式两类。生成式的跟踪方法通常为需要跟踪目标生成一 个表观模型，通过模型匹配，寻找当前帧中与被跟踪目标最相似的候选目标作为跟踪结果， 其中的关键问题是，如何衡量目标之间相似程度，以确保跟踪结果的正确性。而判别式的方 法则采用了不同的思路，它将跟踪看成一个二分类问题，把目标作为正样本，背景信息作为 负样本，通过训练一个分类器来区分目标和背景，其中的关键是训练一个鲁棒的分类器，减 少错分的发生。
[0003]目前已有的生成式跟踪方法，通常使用低层视觉特征(如颜色、边缘、纹理等)描述 目标的表观信息，并根据表观特征在特征空间中的空间分布构建有判别力的表观模型。然 而在实际跟踪任务中，由于存在目标被遮挡、目标变形和快速位移以及光照变化等干扰，仅 仅依靠表观特征的空间分布很容易使得被跟踪目标与背景或遮挡物混淆，限制了表观模型 在实际中起的作用。常见的一些判别式方法也仅仅是考虑标记样本，由于标记样本的数目 往往很少，很难获得有效的判别信息。因此，考虑半监督的判别式跟踪方法，充分利用标记 信息的同时，综合考虑无标记样本的特性和空间结构信息，提高分类器的判别能力势在必 行。
[0004] 近年来，非负矩阵分解作为一种有效的图像表示方法，已经被广泛应用于图像分 类和人脸识别领域。它将图像低层特征进行非负分解，将得到的系数矩阵作为新的中层特 征，由于非负中层特征能够更好地表示图像的局部信息，语义比仅仅考虑低层视觉特征要 丰富的多。
[0005] (1)在Signal Processing 2013年第93卷第6号第 1608页至 1623页，题目为："On-line learning parts-based representation via incremental orthogonal projective non-negative matrix factorization"文章中，Wang等人首次将非负矩阵分 解应用于跟踪领域，提出了基于正交非负矩阵分解的生成式跟踪方法。但是该方法仅仅把 分解获得的基向量作为目标模板，而没有利用目标的标记信息，使得跟踪方法的准确度不 1? 〇
[0006] (2)在IEEE Transactions on Circuits and Systems for Video Technology 2014年第24卷第3号第374至383页，题目为："Visual tracking via online nonnegative matrix factorization"的文章中，Wu等人提出了基于一般非负矩阵分解的判别式跟踪方 法，取得了较好的跟踪性能。然而，该方法虽然利用了标记信息，但是没有考虑数量巨大的 无标记样本，并且只使用单一流形正则来拟合样本的几何特性，不能很好的表示样本的空 间结构信息。
[0007] 针对上述已有方法的不足，本发明一种基于流形判别非负矩阵分解的目标跟踪方 法提出基于半监督流形判别的非负矩阵分解跟踪方法，在利用样本标记信息的同时，考虑 无标记样本共同提供的空间结构信息，使得跟踪方法对于目标变形和遮挡等干扰更加鲁 棒。
【发明内容】
[0008] 本发明的目的要解决现有目标跟踪方法采用的表观模型或者训练的分类器判别 能力不足，不能有效处理复杂场景中遮挡、目标变形和位移、光照变化为主的问题、从而导 致目标容易丢失和跟踪失败，提出了一种基于流形判别非负矩阵分解的目标跟踪方法。
[0009] -种基于流形判别非负矩阵分解的目标跟踪方法，包括如下步骤：
[0010] S1:在当前帧，按照粒子滤波框架在目标位置附近分别提取正样本和负样本，且每 个样本都包含一组仿射参数；
[0011]所述的正样本为nP个，所述的负样本为nn个;且每个样本可以为nP个正样本中的一 个，或者为nn个负样本中的一个；
[0012] S2:根据S1输出的每个样本包含的仿射参数获取对应该样本的图像块并提取此图 像块的图像特征，生成样本矩阵；
[0013] 其中，生成样本矩阵记为χ:，其中1=ηρ+ηη;
[0014] S3 :读取下一帧，在前一帧目标位置附近提取候选样本，获取对应的候选样本矩 阵；
[0015] 其中，所述的候选样本为u个，候选样本矩阵记为Xu;
[0016] 其中，S1中的当前帧、S3中的前一帧及下一帧均指某监控视频流图像帧，所述的监 控视频图像帧来自于场景中监控摄像机采集的在线视频流；
[0017] S4:合并S2输出的样本矩阵和S3输出的候选样本矩阵为数据矩阵，将此数据矩阵 分解为两个低秩的非负矩阵的乘积，同时考虑样本的标记信息和几何特性，引入判别约束 和流形约束，最终学习得到一个贝叶斯分类器；
[0018] 其中，S4中的数据矩阵记为X，两个低秩的非负矩阵记为U和V，其乘积记为X = UV;
[0019] S5:通过S4输出的贝叶斯分类器计算S3中每个候选样本的响应值，选取响应值最 大的候选样本作为当前帧的跟踪目标；
[0020] S6、判断当前帧数是否是最后一帧，并进行相应操作，具体为：
[0021] S6.1如果当前帧数是最后一帧，表明跟踪结束，跳至S7;
[0022] S6.2如果当前帧数不是最后一帧，表明还需要继续跟踪，跳至S1，继续下一帧图像 的目标跟踪；
[0023] S7、输出每一帧目标的状态；
[0024]至此，从S1到S7完成了一种基于流形判别非负矩阵分解的目标跟踪方法。
[0025] 有益效果
[0026] 本发明一种基于流形判别非负矩阵分解的目标跟踪方法，用于快速定位视频中的 指定目标，与已有目标跟踪方法相比，具有如下有益效果：
[0027] 1、本发明通过非负矩阵分解来获得更高层的图像特征，相比于目标的表观特征能 够更好地描述局部特性，有利于排除遮挡和相似背景的干扰；
[0028] 2、本发明使用半监督的流形正则方法，结合标记样本和候选无标记样本共同训练 带有空间结构信息的分类器，能够保留更多的判别信息，有效应对光照变化和目标形变； [0029] 3、本发明通过在线训练更新特征提取模型，在保持跟踪性能的同时保证了跟踪的 实时性，即可以用于实时跟踪监控视频中的指定监控目标。
【附图说明】
[0030] 图1是本发明一种基于流形判别非负矩阵分解的目标跟踪方法的目标跟踪方法流 程图；
[0031] 图2是本发明一种基于流形判别非负矩阵分解的目标跟踪方法及实施例具体实施 非负矩阵分解的跟踪示意图。
【具体实施方式】
[0032] -种基于流形判别非负矩阵分解的目标跟踪方法，通过对低层图像特征进行非负 矩阵分解来获得能更好表达目标局部特性的中层特征，综合考虑目标的空间结构，在线训 练分类器利用标记样本的判别信息来实现候选位置与实际目标的精确匹配;其流程图如图 1所示。
[0033] 由图1可以看出：S1获取当前帧正负样本，S2获取正负样本特征和样本矩阵Xi; S3 读取下一帧，获取候选样本矩阵Xu; S4中合并Χι和Xu为数据矩阵X，并将此X分解为非负矩阵U 和V，再经学习得到分类器;S5通过分类器计算每个候选样本的响应值，选取最大响应作为 跟踪目标;S6判断是否最后一帧，若是，进入S7输出每一帧目标的状态，若否，跳至S1。
[0034]以下通过具体实施例详细描述本发明的实施方式，实施例不作为对本发明的保护 范围的限制。
[0035] 实施例1
[0036] 本发明具体实施时的目标跟踪方法，包含如下步骤：
[0037]步骤一获取正样本和负样本；
[0038] 其中，正样本和正样本均通过上一帧目标位置附近获取;在本实例中，选取正样本 5个和负样本200个；
[0039]与此同时，按照粒子滤波框架，每个粒子由6个仿射参数构成，分别表示目标纵轴 方向方向X的位移、横轴方向y的位移、旋转角度、尺度变化比例、纵横比和倾斜度，通过此6 个仿射参数的随机变化，就能获得和目标位置相近的其他图像区域的位置参数;对于上述 放射参数，正样本的X方向的位移和y方向的位移设定为5:即在目标位置为中心边长为10的 区域内随机采样;负样本X方向的位移和y方向的位移设定为7.5，即在边长为15的区域内随 机采样;随机采样的示意图如图2中的上一帧中的实线框和虚线框所示:具体的，实线方框 内获取的为正样本，虚线方框中获取的为负样本。
[0040]步骤二提取样本特征；
[0041 ]通过仿射参数变换，将步骤一选取的对应区域图像转化为宽高为32 X 32大小的矩 阵，然后对每一个样本提取图像特征并转化为列向量;通常使用的图像特征有灰度、H0G、 LAB为主的特征;在本实例中，我们使用了三种特征的组合，其中，灰度特征向量是32 X 32 = 1024维，采用的优化H0G特征向量是6 X 6 X 31 = 1116维，LAB特征向量是32 X 32 X 3 = 3072 维，针对跟踪视频原始图像的不同，分别采取灰度及H0G和LAB及H0G的组合;得到样本矩阵 X, e IT·和对应的样本标记γ e IR'其中e表示属于，联表示实数空间，贤&舰表示d X 205维的实数空间，賤表示205维实数空间，d表示最终特征的维度，205表示总的有标记样 本个数，含正样本200个和负样本5个；
[0042]步骤三获取候选样本，生成候选样本矩阵；
[0043] 读取当前帧，参照上一帧的目标位置，同样采用粒子滤波框架获取候选样本;对应 图2中的第二行图像实线方框内获取的为候选样本;具体在在本实例中，选取300个无标记 的候选样本，在边长为10的范围内随机采样;按照S2步骤中的特征提取方法，提取图像特征 后获得的候选样本矩阵为X" e;
[0044] 步骤四学习半监督分类器；
[0045] 数据矩阵X= [XpXJ e 为所有的数据组成的矩阵，其中505表示全部样本的 个数，包括有标记样本205个，无标记样本300个;根据非负矩阵分解的理论，我们可以将数 据矩阵X分解为两个低秩的非负矩阵的乘积，在本实例中，选择分解的维度为30,即，X=UV， 其中，U e e，V e R^5，其中表示正实数空间，如图2所示；
[0046] 此时，求解U矩阵和V矩阵就转化为以下优化问题：
[0047] ||X - UV III
[0048] s.t. U彡0 V彡0
[0049] 其中，min表示最小化(minimize的英文缩写），s.t.表示受制于（subject to的英 文缩写），| I · I If表示矩阵的Frobenius范数，即矩阵元素绝对值的平方和再开平方;矩阵U 可以看做一个字典，V可以看做数据矩阵相对于字典的系数，也可以作为字典的一种新的表 示。在本发明中，我们把V作为一种新的中层特征来训练分类器。如图2所示，字典U直观上可 以看作是原始图像局部特征的具体刻画。
[0050]考虑样本的标记信息和空间结构信息，引入流形判别约束，即在原优化问题的基 础上增加约束： 「00511 h- lx …?νΒ+σ (iir …+λΗΜΡμ 咖（f
[0052] s.t. U^0 V^0
[0053] S(10，71，，、'，.p
[0054]第二项和第三项分别是分类器的判别误差和流形正则约束，其中 F[奶;….,_坊;0;…，0]2 € Hyi，· · ·，yi表示1个样本的标记，[· · · =1?示中括号中的矩阵 或者向量的转置，f=[f(vi)，. . .，f(vn)]T = VTw，f表示分类器函数，向量vi是矩阵V的第i列， w为分类器的最佳分界面;J … ；1:()e 示对角化操作算子，即将其后的向量转化成一个对角矩阵，表示nXn维的实数空间;矩 阵ι = ，是p个预定的图所形成的阵的线性组合，衡量了样本之间 的相似程度，包含了目标的结构信息，其中Σ表示求和符号，在这里求多个矩阵的和，处表 示第k个预定的Laplacian矩阵的L(k)的权重。对其中每一项，L(k)=D(k)-A (k)，A(k)是样本的亲 近矩阵，D(k)是一个对角矩阵，其每个对角元素1)^ = ，其中Σ表示求和符号，在这 里求多个数的和。
[0055] 通过对上述分步迭代求解，可以得到分类器的最佳分界面w和Laplacian矩阵的最 优组合参数a k。通过联合优化，一方面提高了运算效率，另一方面也避免陷入局部最优值。
[0056] 步骤五选取最优候选目标；
[0057] 学习得到分类器以后，候选样本中响应值最大的目标就可以认为是当前帧的目 标。在本发明中，我们在考虑分类器的分类结果的基础上综合考虑了图像非负矩阵分解的 重构误差，进一步提高了准确度。如图2所示，直观上，最优候选样本对应的特征向量与模板 矩阵U的乘积可以得到当前帧的目标图像，在本发明中，我们只计算得到候选样本的响应 值，直接把最优候选样本的位置代入下一步计算。
[0058]步骤六判断是否结束；
[0059]跟踪流程的最后是判断跟踪是否结束，在本发明中，正负样本的获取放在流程第 一步进行，避免跟踪流程已经结束依旧在最后一帧获取正负样本的额外步骤。
[0060] 综上所述，给定一个在线视频流，本发明通过对每一帧图像依次运行步骤一到步 骤六，完成了一种基于流形判别非负矩阵分解的目标跟踪方法。
[0061] 通过发明主体及实施例的细节描述，解决了现有目标跟踪方法不能有效处理复杂 场景中遮挡、目标变形和位移、光照变化等问题的不足，获得了较为鲁棒的跟踪结果。
[0062] 以上所述的【具体实施方式】，对本发明的目的、技术方案和有益效果进行了进一步 详细说明。应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡 在本发明的精神和原则之内，所做的任何修改、等同替换、局部改进等，均应包含在本发明 的保护范围之内。
【主权项】
1. 一种基于流形判别非负矩阵分解的目标跟踪方法，其特征在于： 包括如下步骤： S1:在当前帧，按照粒子滤波框架在目标位置附近分别提取正样本和负样本，且每个样 本都包含一组仿射参数； S2:根据S1输出的每个样本包含的仿射参数获取对应该样本的图像块并提取此图像块 的图像特征，生成样本矩阵； S3:读取下一帧，在前一帧目标位置附近提取候选样本，获取对应的候选样本矩阵； S4:合并S2输出的样本矩阵和S3输出的候选样本矩阵为数据矩阵，将此数据矩阵分解 为两个低秩的非负矩阵的乘积，同时考虑样本的标记信息和几何特性，引入判别约束和流 形约束，最终学习得到一个贝叶斯分类器； S5:通过S4输出的贝叶斯分类器计算S3中每个候选样本的响应值，选取响应值最大的 候选样本作为当前帧的跟踪目标； 56、 判断当前帧数是否是最后一帧，并进行相应操作； 57、 输出每一帧目标的状态； 至此，从S1到S7完成了一种基于流形判别非负矩阵分解的目标跟踪方法。2. 如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在 于： S1中所述的正样本为nP个，所述的负样本为nn个;且每个样本可以为nP个正样本中的一 个，或者为nn个负样本中的一个。3. 如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在 于： S2中生成样本矩阵表示为:Χι，其中1 = ηΡ+ηη。4. 如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在 于： 其中，S3所述的候选样本为u个，候选样本矩阵记为Xu。5. 如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在 于： 其中，S1中的当前帧、S3中的前一帧及下一帧均指某监控视频流图像帧，所述的监控视 频图像帧来自于场景中监控摄像机采集的在线视频流。6. 如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在 于： 其中，S4中的数据矩阵记为X，两个低秩的非负矩阵记为U和V，其乘积记为X = UV。7. 如权利要求1所述的一种基于流形判别非负矩阵分解的目标跟踪方法，其特征还在 于： S6中判断当前帧数是否是最后一帧，并进行的相应操作，具体为： S6.1如果当前帧数是最后一帧，表明跟踪结束，跳至S7; S6.2如果当前帧数不是最后一帧，表明还需要继续跟踪，跳至S1，继续下一帧图像的目 标跟踪。
【文档编号】G06T7/20GK106097381SQ201610365886
【公开日】2016年11月9日
【申请日】2016年5月27日
【发明人】马波, 贺辉
【申请人】北京理工大学