基于粒子滤波的多摄像头多目标跟踪算法
【专利摘要】本发明提供一种基于粒子滤波的多摄像头多目标跟踪算法，首先建立二阶自回归运动模型及基于目标颜色直方图和运动直方图的观测模型，利用粒子滤波在各个单摄像头中进行跟踪，通过各摄像头目标检测数据在中心处理机进行融合并基于粒子滤波对多个摄像头的目标进行有效地跟踪；该算法能够在实现多摄像头多目标鲁棒地跟踪。多个摄像头间目标人主轴的检测主要基于视野中目标人的主轴和转换的另一视角中与第一视角中对应的“地面点”的交点，该交点用于更新单个摄像机视野中目标人的“地面点”。该算法利用了一种基于主轴的快速且细致的数据融合过程，当目标各目标相隔较近，作为一个联合状态时，在每个单摄像机中利用了MCMC取样步骤的优势。
【专利说明】基于粒子滤波的多摄像头多目标跟踪算法
【技术领域】
[0001] 本发明涉及一种基于粒子滤波的多摄像头多目标跟踪算法。
【背景技术】
[0002] 对于单摄像头跟踪的方法而言，对于在复杂环境中准确跟踪多个目标并计算目标 的3D位置而言，必须使用多个摄像头。此时，遮挡处理会因为多个摄像头的使用变得简单。 然而，许多方法只把2D视角作为输入信息，遮挡主要通过持续跟新运动模型来处理，使用 卡尔曼滤波或更普遍使用的马尔科夫模型。如果过程开始离散化，这些方法将不能再进行 持续准确地跟踪。多摄像头环境下的跟踪分为以下三类：
[0003] (1)基于二进制块的跟踪方法：最新的技术提出了一种基于降维的方法来学习跨 越多个视图的外观行人之间的对应关系，卡尔曼滤波技术应用于一个最佳的假设和多假设 的方法进行比较，以发现人跟踪从多个校准点提取前景二进制点从而获得三维位置。
[0004] (2)基于颜色的跟踪方法：该方法下能够实现一种系统段，能够在场景中使用多 达16个同步摄像机的宽基线设置用以检测和跟踪多个目标人，强度信息被直接用来进行 单个相机视图像素分类和匹配同样标记的区域从而推导三维情况下目标人的位置。有两种 方式进行遮挡分析。第一，对像素进行分类，先验概率的计算需要闭塞考虑。第二，证据是 所有相机的聚集计算，用地平面上每个被占用的点在每个相机视图中的可见性，即地平面 的存在可能性的地图来判断，根据地平面的位置，然后随时间跟踪使用卡尔曼滤波器。无论 是在图像平面和顶视图跟踪，计算每个目标单独的2D和3D位置，以便最大限度地定义从一 个卡尔曼滤波器导出的基于颜色的外观模型和2D和3D运动模型的产品的联合概率。
[0005] (3)基于栅格的跟踪及定位方法：最近的技术明确地使用一个离散地图投影到其 中的摄像机图像检测的对象。国外的cvlab(计算机视觉实验室）研究并实现了将地面栅格 化实现多个目标检测的方法，并结合动态规划的方法实现多个摄像头之间多目标的跟踪。
[0006] Leistner等提出运用不同相机作为不同视角作为同一个分类的问题。与Khan和 Shah的方法相似，主要思路是利用强烈的真实世界的几何限制（地平面以及相机间的单应 矩阵）。考虑建立一个部分重叠视野的η个相机，每个都能观测到3D场景，基于地平面上被 识别的点图像坐标系能够用单应矩阵互相求出，如图1. 2所示。
[0007] 多目标跟踪技术一直以来都是计算机视觉跟踪领域研究的热点和难点，目前虽然 在科技和生活中得到了广泛的应用，但是由于各种情况下现实场景的复杂性，目前还没有 一种通用技术可以适用于各个领域。
[0008] 在计算机视觉的研究领域中，目标跟踪是最基本、最重要的研究要点，也是当下一 个非常活跃的研究领域。在现实生活的跟踪应用（如机场的监控系统、小区的监控系统等） 中，需要通过大量的摄像头之间的协同工作才能对目标进行准确并且一致的跟踪。因此，利 用多摄像头网络来进行多个目标的跟踪已成为当前目标跟踪领域的重点。多摄像头的跟踪 系统对于单摄像头的跟踪系统而言，有许多无法比拟的优势，如能在广阔的区域上实行监 控、对跟踪的目标进行三维重建、能分析和解释监控区域内的事件等。但是，多摄像头跟踪 系统也会出现很多新的问题，比如多摄像头环境下的目标检测及确认、信息融合和目标跟 踪等问题，这些都是目前多摄像头跟踪领域中所研究的重点及难点问题。多个摄像头组成 的摄像头网络系统正逐步成为视频监控领域的主流方向。
【发明内容】
[0009] 本发明提供一种多摄像头下多个目标的跟踪算法，在单摄像头下基于粒子滤波的 跟踪方法的基础上实现多个摄像头之间的跟踪算法，从而实现跟踪的实时性，然后分别利 用外观模型处理多目标跟踪时出现的目标遮挡问题，该方法有更加稳健的遮挡处理性能。 [0010] 本发明的技术解决方案是：
[0011] 一种基于粒子滤波的多摄像头多目标跟踪算法，
[0012] 建立二阶自回归运动模型及基于目标颜色直方图和运动直方图的观测模型，利用 粒子滤波在各个单摄像头中进行跟踪，
[0013] 通过各摄像头目标检测数据在中心处理机进行融合并基于粒子滤波对多个摄像 头的目标进行有效地跟踪。
[0014] 进一步地，使用消息传递框架来执行从单摄像头到多摄像头的推断，其结果近似 于地平面上每个跟踪器k的跟踪结果，其后验概率表示为
[0015] u,)p(Ku.JZ^cix,(23)
[0016] 其中，\k为的关联测量数，COtkj(Xtktl)为从相机j到地平面的传递信息， 估计值为Xt，k，Q。
[0017] 进一步地，使用从多摄像头跟踪到单摄像头跟踪的反馈机制，这使得有遮挡情况 下实现正确的跟踪效果；通过单摄像头改进的建议分布实现：
[0018] P(Xt,k,JI^t-I,k,j> ^t-I,k,〇) 00αt,k,jP^t,k,JI^t-I,k, + (I-αt,k,P^t,k,JI^t-I,k,Ο-*
[0019] (27)
[0020] 用&投影得到从相关联地平面跟踪器I或从之前的粒子滤波器中取 样，参数at ^控制其混合；用质量测量来设置此值Citlu=Ytkj。
[0021] 进一步地，利用联合关系的暂时的先验来加速数据融合处理过程。
[0022] 进一步地，首先基于马氏距离来检验，如果符合，就保持，否则就通过下述方法搜 索相应的匹配关系：每个潜在的联系（Ukj)，马氏距离的候选值计算如下：
[0023] - ⑵）
[0024] 其中，矣~为kj的平均投影分割，1^,,()为kQ的平均状态；
[0025] 低于门限值βM的候选关联值A被舍弃；式（21)计算的对于Iij的距离 只适用于目标h的领域况^，余下的关联值)遵循>爲"并满足如下：
【权利要求】
1. 一种基于粒子滤波的多摄像头多目标跟踪算法，其特征在于： 建立二阶自回归运动模型及基于目标颜色直方图和运动直方图的观测模型，利用粒子 滤波在各个单摄像头中进行跟踪， 通过各摄像头目标检测数据在中心处理机进行融合并基于粒子滤波对多个摄像头的 目标进行有效地跟踪。
2. 如权利要求1所述的基于粒子滤波的多摄像头多目标跟踪算法，其特征在于：使用 消息传递框架来执行从单摄像头到多摄像头的推断，其结果近似于地平面上每个跟踪器k 的跟踪结果，其后验概率表示为
(23) 其中，Nt，k为的关联测量数，^(Xt，k，J为从相机j到地平面的传递信息，估计 值为
3. 如权利要求2所述的基于粒子滤波的多摄像头多目标跟踪算法，其特征在于，使用 从多摄像头跟踪到单摄像头跟踪的反馈机制，这使得有遮挡情况下实现正确的跟踪效果； 通过单摄像头改进的建议分布实现：
用&投影得到从相关联地平面跟踪器1?./1 或从之前的粒子滤波器中取样，参 数at&控制其混合；用质量测量来设置此值Citlu= Yt，kj。
4. 如权利要求1-3任一项所述的基于粒子滤波的多摄像头多目标跟踪算法，其特征在 于，利用联合关系的暂时的先验来加速数据融合处理过程。
5. 如权利要求4所述的基于粒子滤波的多摄像头多目标跟踪算法，其特征在于，首先 基于马氏距离来检验，如果符合，就保持，否则就通过下述方法搜索相应的匹配关系：每个 潜在的联系（k。，U，马氏距离的候选值计算如下 ：
其中，为h的平均投影分割，为1?的平均状态； 低于门限值β Μ的候选关联值被舍弃；式（21)计算的对于h的距离只适 用于目标h的领域，余下的关联值(4為）遵循Ai4i:, > 并满足如下：
6. 如权利要求5所述的基于粒子滤波的多摄像头多目标跟踪算法，其特征在于，多个 摄像头之间主轴检测匹配： 首先由各个单个摄像头检测到各目标人的主轴并跟踪，各摄像机同步进行； 然后把通过结合单应矩阵把检测结果融合，实现多个摄像头之间的匹配，从而得到对 应的融合后的统一的检测结果，并将此结果又反馈到各个摄像机的的检测中。
7. 如权利要求6所述的基于粒子滤波的多摄像头多目标跟踪算法，其特征在于：主轴 匹配算法的步骤如下： (1) 两个摄像机视野中检测到的目标人的主轴两两组合，创建一个所有可能主轴相匹 配的表（Θ )，计算这些配对中相应的主轴匹配距离； (2) 对于表Θ中每个匹配对{m，n}，将检查他们是否满足限制条件< Dr，其中Dt为 分辨相应对关系真假的预定义门限值；如果判定为假，则lm，n}将在表Θ中删除，从而表 Θ包括了满足对应关系对的限制关系； (3) 从对列表Θ中可找到所有的配对模型，配对模型Θ由配对的最大对数1表示成： 〇*=彳(4 4)，(4、4:)"*"(4.,，兮）丨其中1^表示配对模型指数； ? ' - J , (4) 在配对模型Θ中，找寻与配对模型（λ)相应距离最小的值：
所有在模型θλ中的主轴对都是配对的； (5) 标记模型θλ中的主轴对。
8. 如权利要求7所述的基于粒子滤波的多摄像头多目标跟踪算法，其特征在于：单摄 像头下，基于MCMC采样粒子滤波的多目标跟踪具体算法如下 ： (1) 在t-Ι时刻，目标的状态由未分配权重的粒子集PC,表示，每个样本包含联合 状态尤,=UW.
， (2) 初始化MCMC取样器，在时刻t从预测密度 由取Xt，如随机选 择一个联合样本,并通过运动模型不〇 I,)移动其中所有目标i ; (3) 通过MH迭代得到样本； (4) 在t时刻从中取样，代表目标的联合状态。
9. 如权利要求8所述的基于粒子滤波的多摄像头多目标跟踪算法，其特征在于，MH迭 代得到样本的具体步骤为： 1. MH迭代步骤： i、从前一巾贞中未分配权重的样本中随机选取联合样本不....| 5 i i、从η个目标中随机选取一个目标i，该目标将被认为是将要迭代的目标； iii、用ι?.,,的ith的目标状态，从其运动模型忾I At ,,)中条件取样，得到X'it ; 2) 计算接收率：
其中，Ψ (X' it，X'.t)表示两粒子之间的相互作用势能； 3) 如果r > 1，则接收X'it，令Xt中第i个目标为X'it ;否则以概率r接收；如果接收被 拒，则认为该目标状态改变； 4) 把当前Xt作为副本增加到新的样本集中。
【文档编号】G06T7/20GK104376577SQ201410564116
【公开日】2015年2月25日 申请日期:2014年10月21日 优先权日:2014年10月21日
【发明者】梁志伟, 徐小根, 刘洋 申请人:南京邮电大学