一种基于在线学习跟踪监控视频中多个运动目标的方法
【专利摘要】本发明公开了一种基于在线学习的监控视频中运动目标跟踪方法，其首先利用离线训练的特定类别测器检测出视频序列中目标区域；然后结合外观特性，采用双阈值保守关联思路关联相邻两帧之间的目标，得到可靠保守的短跟踪片；再在得到的跟踪片上，利用时空域分布约束信息，定义正负样本集，分别提取颜色、纹理外观特征相似度以及运动信息，作为在线学习器训练特征集，通过机器学习在线学习算法的训练过程，得到轨迹片分布规律上基于运动和外观特性的概率统计特性；最后将两轨迹片关联形式化为求解基于运动和外观的联合后验概率最大问题。本发明缓解了近距离外观相似的拥挤场景下多运动目标跟踪问题出现的轨迹身份标定误切换问题。
【专利说明】一种基于在线学习跟踪监控视频中多个运动目标的方法
【技术领域】
[0001] 本发明属于模式识别【技术领域】，更具体地，涉及一种基于在线学习跟踪视频监控 中多个运动目标的方法。
【背景技术】
[0002] 视频目标跟踪一直是计算机视觉研究领域的热点和难点问题，目的是为了检索出 视频序列中运动目标轨迹，进而为后续计算机视觉系统更高级识别性能提供有效保障，对 加快基于目标跟踪技术的交通管理自动化、智能化具有很高的实用价值。传统的单目标跟 踪中面临的问题包括：运动目标非刚性，视角、光照变化导致的形变问题，目标运动的随意 性，目标消失与重现，复杂背景中相似目标干扰，背景遮挡，目标自遮挡等，以上这些问题使 得单目跟踪算法研究具有很大的挑战性。除了传统的单目跟踪所面临的问题之外（例如目 标消失后重现后的检测、复杂背景环境下的目标干扰、遮挡问题等），多目标跟踪处理的场 景更复杂，不确定性因素更多。多目跟踪还需解决以下问题：运动目标个数不确定性、相同 目标的相互干扰、同类目标之间遮挡、如何在复杂背景或者拥挤场景条件下分辨相似的小 目标等。如拥挤街道场景下行人跟踪应用备受广大学者关注。
[0003] 在拥挤街道的行人跟踪问题中，行人外观特征很相似，且运动模式很相近，但是随 意性特别大，人与人的遮挡将导致很容易出现错跟现象，而目前尚不存在有解决该错根现 象的目标跟踪方法。
【发明内容】
[0004] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于在线学习跟踪视频 监控中多个运动目标的方法，其目的在于，解决现有交通拥挤条件下出现的轨迹标定问题， 如街景环境下拥挤行人跟踪问题，交通路口车辆跟踪问题等，其将多目标跟踪问题转化为 最大后验概率准则（Maximum Posterior Probability)问题下轨迹片逐级关联问题。任何 已知类别运动目标和可行在线学习机制适用于本发明框架。
[0005] 为实现上述目的，按照本发明的一个方面，提供了一种基于在线学习跟踪视频监 控中多个运动目标的方法，包括以下步骤：
[0006] (1)接收输入视频序列，利用离线训练的行人检测器并采用多尺度遍历搜索框的 方法标定输入视频序列中目标的位置；
[0007] (2)采用基于颜色特性的保守关联方法对输入视频序列中连续两帧之间的检测目 标进行数据关联，以得到多个可靠保守的短时跟踪轨迹片；
[0008] (3)根据短时跟踪轨迹片并利用同一目标的运动分布特性和颜色相似特性构建 正、负样本集，其中正样本集均来自同一目标的运动轨迹，负样本集来自不同目标的运动轨 迹；
[0009] (4)利用构建的正、负样本集训练霍夫随机森林，该霍夫随机森林种的叶子节点存 储了正、负样本集的类别统计特性和轨迹运动特性；
[0010] (5)利用时域约束特性将短时跟踪片中首尾间隔差小于阈值Tp的任意两个短时跟 踪片构建成可能关联轨迹对，所有的可能关联轨迹对构成可能关联轨迹对集合，将每个可 能关联轨迹对进行特征描述，以生成检测样本的特征集，并将检测样本的特征集送入霍夫 森林中，以得到该特征集对应的叶子节点；
[0011] (6)获取叶子节点的类别统计特性舛|i)和运动统计特性|i)，从而得 到所有关联轨迹对的关联概II勾，所有关联概率构成关联概率 矩阵；
[0012] (7)判断关联概率矩阵中横、纵最大的两个元素是否大于一阈值，如果是则初步判 断这两个元素分别对应的轨迹片属于同一轨迹，然后转入步骤（8)，否则表示不属于同一轨 迹，然后转入步骤（8);
[0013] (8)用匈牙利算法对两个元素进行再次判断，以最终确定二者对应的轨迹片属于 同一轨迹；只有匈牙利算法判断属于同一轨迹且在步骤（7)中判定属于同一轨迹的轨迹片 才认为是真正的关联轨迹对；
[0014] (9)对步骤⑶得到的属于同一轨迹的两个元素重复执行步骤（3)，以得到新的训 练样本集，并对该训练样本集执行步骤（4)的学习步骤；
[0015] (10)增加阈值τρ的值，并重复上述步骤（5)至（9)，直到不能再生成可关联的轨 迹对为止。
[0016] 优选地，步骤（3)包括以下子步骤：
[0017] (3-1)随机提取短时跟踪轨迹片上两个检测目标的颜色信息和位置信息，用于生 成正样本，多个正样本构成正样本集；
[0018] (3-2)在不同的一对短时跟踪轨迹片上分别提取一个检测目标的颜色信息和位置 信息，用于生成负样本，多个负样本构成负样本集。
[0019] 优选地，步骤（4)包括以下子步骤：
[0020] (4-1)根据正、负样本集生成输入训练样本的特征集A =的=(Xpy)，F2 = (χ2， y2)......Fn = (xn，yn)}，其中yi e 〇, 1，i = 1，2. . . n，n表示正、负样本集中样本的个数， Xi是第i个输入训练样本的特征向量，且Xi = ，fralM?，表示第i个输入训 练样本的颜色直方图相似度，表示第i个输入训练样本的局部灰度熵局部二进制相似 度，表示第i个输入训练样本的运动偏移量，且·
【权利要求】
1. 一种基于在线学习跟踪视频监控中多个运动目标的方法，其特征在于，包括以下步 骤： (1) 接收输入视频序列，利用离线训练的行人检测器并采用多尺度遍历搜索框的方法 标定输入视频序列中目标的位置； (2) 采用基于颜色特性的保守关联方法对输入视频序列中连续两帧之间的检测目标进 行数据关联，以得到多个可靠保守的短时跟踪轨迹片； (3) 根据短时跟踪轨迹片并利用同一目标的运动分布特性和颜色相似特性构建正、负 样本集，其中正样本集均来自同一目标的运动轨迹，负样本集来自不同目标的运动轨迹； (4) 利用构建的正、负样本集训练霍夫随机森林，该霍夫随机森林种的叶子节点存储了 正、负样本集的类别统计特性和轨迹运动特性； (5) 利用时域约束特性将短时跟踪片中首尾间隔差小于阈值Tp的任意两个短时跟踪片 构建成可能关联轨迹对，所有的可能关联轨迹对构成可能关联轨迹对集合，将每个可能关 联轨迹对进行特征描述，以生成检测样本的特征集，并将检测样本的特征集送入霍夫森林 中，以得到该特征集对应的叶子节点； (6) 获取叶子节点的类别统计特性μ)和运动统计特性
从而得到所 有关联轨迹对的关联概_
，所有关联概率构成关联概率矩 阵； (7) 判断关联概率矩阵中横、纵最大的两个元素是否大于一阈值，如果是则初步判断这 两个元素分别对应的轨迹片属于同一轨迹，然后转入步骤（8)，否则表示不属于同一轨迹， 然后转入步骤（8); (8) 用匈牙利算法对两个元素进行再次判断，以最终确定二者对应的轨迹片属于同一 轨迹；只有匈牙利算法判断属于同一轨迹且在步骤（7)中判定属于同一轨迹的轨迹片才认 为是真正的关联轨迹对； (9) 对步骤（8)得到的属于同一轨迹的两个元素重复执行步骤（3)，以得到新的训练样 本集，并对该训练样本集执行步骤（4)的学习步骤； (10) 增加阈值!；的值，并重复上述步骤（5)至（9)，直到不能再生成可关联的轨迹对 为止。
2. 根据权利要求1所述的方法，其特征在于，步骤（3)包括以下子步骤： (3-1)随机提取短时跟踪轨迹片上两个检测目标的颜色信息和位置信息，用于生成正 样本，多个正样本构成正样本集； (3-2)在不同的一对短时跟踪轨迹片上分别提取一个检测目标的颜色信息和位置信 息，用于生成负样本，多个负样本构成负样本集。
3. 根据权利要求2所述的方法，其特征在于，步骤（4)包括以下子步骤： (4-1)根据正、负样本集生成输入训练样本的特征集A =的=(x^ y)，F2 = (x2， y2)......Fn = (xn，yn)}，其中yi e 〇, 1，i = 1，2. . . n，n表示正、负样本集中样本的个数， Xi是第i个输入训练样本的特征向量，且Xi = ，fralM?，表示第i个输入训 练样本的颜色直方图相似度，表示第i个输入训练样本的局部灰度熵局部二进制相似 度，表示第i个输入训练样本的运动偏移量，且
，Pi 和P2分别表示第i个输入训练样本构建时随机抽取的两个检测目标在其所在帧中的中心 点位置
其中vl和v2分别对应第i个输 入训练样本构建时对应的两个检测目标的速度，tl和t2分别对应第i个输入训练样本构 建时对应的两个检测目标的时间帧，yi是第i个输入训练样本的类别标量； (4-2)利用递归划分法对输入训练样本的特征集A进行不断划分，以生成霍夫随机森 林，直到霍夫随机森林的叶子节点满足终止条件为止，最终获得叶子节点的类别统计特性 和运动统计特性。
4. 根据权利要求3所述的方法，其特征在于，当yi = 0时，表示该样本是负样本，即特 征向量Xi来自不同的轨迹片，当yi = 1时，表示该样本是正样本，即特征向量Xi来自同一 轨迹片。
5. 根据权利要求3所述的方法，其特征在于，叶子节点的终止条件为：（1)叶子节点中 保存的样本集数量小于第一阈值，该阈值的大小由正、负样本集的类别特性决定；（2)霍夫 随机森林的深度小于第二阈值，该阈值的大小由输入训练样本的特征集信息决定。
6. 根据权利要求3所述的方法，其特征在于，到达某个节点k的样本集S的划分步骤如 下： (4-2-1)随机挑选特征向量
并从中随机挑选fMlOT，或fmt作为节点划 分阈值，挑选的或fmt以及特征向量Xi构成参数池{ τ J，以挑选的节点划分阈值为 例，小于或等于该节点划分阈值的训练样本为左子节点，大于该节点划分阈值的训练样本 为右子节点，左、右子节点对应的样本集为S K :
(4-2-2)获取类别不确定测度UJS) = |S卜H(Y)或轨迹运动偏移一致性不确定测度
其中I S |表示到达节点k的样本集S个数，S+表示S中 正样本集个数
J节点k中所有正样本对应的运动偏移均值，Η(Y)为样本集S的类别 熵； (4-2-3)选择使类别不确定测度仏^或轨迹运动偏移一致性不确定测度U2(S)最大 的最优参数τ k#，以使划分后两子节点较划分前节点不确定度下降最大；
(4-2-4)在左、右子节点对应的样本集&，SK基础上继续划分左、右子节点，并重复上述 步骤（4-2-1)至（4-2-3)以获取最优参数，直到满足终止条件为止，最终得到的终止子节点 就是叶子节点； (4-2-5)计算叶子节点的类别统计特t
和运动统计特性 ，其分别 为
其中队表示叶子节点L中样本集个数，表示叶子节点L中正样本个数； 运动统计特性是采用基于高斯核-Parzen窗估计法得到：
其中σ为方差，其取值为5。
【文档编号】G06T7/20GK104112282SQ201410333142
【公开日】2014年10月22日 申请日期:2014年7月14日 优先权日:2014年7月14日
【发明者】项俊, 桑农, 高常鑫, 陈飞飞, 况小琴, 王润民 申请人:华中科技大学