专利名称：对象追踪系统的制作方法
技术领域：
本发明涉及监控且具体地涉及基于#_像机(camera)的监控。更 具体地，本发明涉及跨越摄像机网络追踪对象。发明内容本发明包括用于跨越多种视场来追踪对象的摄像机网络和用于在 其视场中注释对象追踪的处理器。
图1是基于多个摄像机的追踪系统的概观； 图2表示实例用户接口的部件； 图3示出图像处理器的基本部件；图4显示一种具有直方图、多分辨率和对象表示的对象操作的基础；图5是具有线索(thread)和坐标测定器的管理器模块的图； 图6示出具有多个抓取器的视频捕捉；图7是用于在另一个或相同摄像机视场中追踪对象(例如目标模 型)的流程图；图8是用于计算特征矢量的流程图；图9、 10、 11和12示出同一人的不同图像的特征表示；图13示出图9-12的图像的多分辨率代表曲线；图14是在像素坐标空间中的被追踪对象的两维概率密度函数的图；图15a和15b示出静态场景的背景减法的实例；图16a和16b示出包括非静态对象的场景的背景减法的实例；图17示出用于从场景的背景分离前景区域的减法技术；图18a和18b是示出从具有目标对象的场景减去背景的效果的图；图19示出目标对象的多分辨率直方图；图20示出多信道、多分辨率直方图的流程图；图21示出在另外的人之中被追踪的人的图像； 图22示出使用子窗口的粒子滤波处理；图23示出用于图21中的图像的图22中的多种子窗口的得分的图； 图24a和24b显示对于选择的图像片(image patch)的背景减法； 图25显示在某一位置追踪一个或多个对象的一系列图像帧； 图26a和27a示出从图25的系列帧中选择的帧； 图26b和27b分别示出图26a中的帧的目标片和图27a中的帧的 选择的图像；图28示出图27a中的帧的相同尺寸子窗口的匹配得分； 图29a、 29b、 30a和30b示出用于多分辨率直方图评价的图像实 例；以及图31a和31b示出具有直方图和被示为追踪任务的矩形的粒子的 图像。
具体实施方式
基于摄像机的监控和监视系统的有效使用可以需要通过具有重叠 和/或非重叠视场(FOV)的摄像机网络来连续的(即时间上的)追踪 对象。采用这些系统的实际原因，特别是用于在大区域中追踪对象的 那些系统，可能限制使用的摄像机的数量。此外，为了最大化有用追 踪的覆盖区域，摄像机可以被配置为具有非重叠F0V。另外，严格的安 全需求偏爱可以一直具有被追踪对象(例如飞机场中的人)的位置的 监视系统。本发明系统可以涉及跨越具有或不具有重叠视场的摄像机 网络的连续对象追踪的问题。本系统可以合并被视为某种顺序的蒙特卡罗(SMC)法的贝叶斯方 法。SMC法通过统计采样可以提供基于图像的追踪问题的解决方法。结 果，这种追踪方法可以应付这样的情节，其中只要对象留在摄像机的 FOV中就持续追踪对象，当它在FOV之外时停止追踪，并且当对象重新 出现在摄像机的FOV中时就自动继续追踪。本系统可以使用被追踪对 象的颜色和形状信息的组合。通过两个或更多个摄像机的追踪可以根据下列描述实现。追踪可 以在第一个摄像4几中手动地或通过用户输入或自动地启动，当,皮追踪 的对象在第一摄像机的FOV中时追踪就一直持续。对象信息可以同时传送到在第 一摄像机的拓朴邻近中的其他摄像机。在其他摄像机中的 追踪任务可以被启动并且放置到这样的模式，其中似乎对象从其他摄像机的F0V中消失了，等待直到对象再次出现在它们的F0V中时再次 追踪。为了实施和使用本系统，可以根据人们或感兴趣的运动对象在他 们的典型的运动活动中所跟随的潜在行程或路径来设置摄像机列表。 基于摄像机设置，因此可以归结到拓朴邻近概念上。 一个或多个计算 机可以被采用用于处理摄像机图像。每个摄像机的计算资源可以预定 的或自适应的方式分配。运动对象的追踪任务可以通过具有对象的轮 廓的单个点击启动。运动检测程序可以用于导出运动对象的颜色和形 状表示。如果对象不是运动的，那么包括感兴趣的对象的矩形可以被 使用。实施SMC追踪的线索(thread)可以由摄像机的F0V开始。由 于对象以特定方向向着摄像机的图像边界运动，因此在拓朴相邻的摄 像机可被要求预期开始被追踪对象的到来。摄像机调整是指另 一个SMC 追踪，其通过使用由前述追踪等所提供对象的表示而产生。该系统对对象的表示可使用颜色和形状的组合。特定对象的表示 可被嵌入SMC框架中用于追踪。覆盖大面积的摄像机拓朴排列可基于 运动对象潜在的路径或路线。分配给摄像机的计算资源可基于服务品 质(QoS)概念，它是从网络摄像机的拓朴邻近得来的。图1示出了执行本发明的系统10的概观。存在用户接口 11,其用 于处理从操作者到系统的各个模块的输入。从用户接口 ll的输出可以 经过管理模块12，图像处理模块13,操作器模块14,直接(direct) X才莫块15，以及MFC6. 0才莫块16。如图2所示，用户接口 11可以具有来自SafeskiesTM用户接口子 才莫块21以及SafeskiesTM测试用户接口子才莫块22的输入。用户接口子模块22可用于快速测试系统10的不同模块。该子模 块22可用于暴露系统的能力以及处理开销。当用户接口子模块准备就 绪以及使用插入式框架调试时，该子模块21可以被执行。图像处理模块13可以具有背景减法器子模块23以及图3所示的 与它相连的粒子滤波器子模块24。该模块覆盖粒子滤波和模型追踪。 该背景减法器子模块23可用于场景中的移动对象检测。处理器模块14可执行对象的外观模型，例如彩色以及多分辨率直方图。图4表示子模块25的直方图，其与多分辨率子模块26相连接。 多分辨率子模块26可与对象表示子模块27相连，其又与处理器模块 14连接。直方图子模块25可处理多种彩色空间的直方图，例如红色， 绿色以及蓝色组合，HSV等等。多分辨率处理可补充场景中的对象表示。 对象表示子模块27可与粒子滤波器接口连接用于粒子与目标模型的关 联。如图5所示，管理模块12可具有线索字模28,其可执行与每个摄 像机节点相关联的多个线索，所述每个摄像机节点构成摄像机网络。 具体对于一个摄像机可以存在一个线索。对一个摄像机，具体对于一个人可以存在一个线索，以及对于不同的摄像机，对于同样的人可以 存在多个线索。对于一个摄像机，对于不同的人可以存在不同的线索。 坐标测定器子模块29负责测定适当线索之间的信息交换的坐标。管理 模块12可表示进行下一个的模块，无论其是顺序地，按时间地还是其 它方式J也。直接X模块15可以是用于连接数码相机的接口 。 MFC 6. 0模块16 用于与特定MicrosoftTM软件接口连接。管理器12模块可以具有和图像处理器模块13的连接，其又具有 与MIL7模块18的连接。管理器13可以包括覆盖给定区域的摄像机网 络的摄像机选择器。这些摄像机可以或者可以不具有重叠的F0V。模块 18是能够与摄像机直接连接的接口 。图像处理器模块13也与处理器模 块14连接。管理器模块12被连接到视频捕捉模块17。视频捕捉模块17可具 有视频抓取器子模块31，其促进抓取图像帧来进行处理。其用于普通 的摄像机悬挂装置(hook-up)。模块17可以具有Mil抓取器32,其 支持Mil系统用于模拟摄像机。图像帧可以被帧抓取器(例如MIL抓 取器)或经由USB或火线连接被数字地捕捉。此外，子模块17可促进 视频剪辑或者如来自四台摄像机的四视频(quad video)的合成图像 帧的处理。DS视频抓取器子模块34可作为模块17的一部分。因为允 许从数字媒体中捕捉图像，因此子模块34可以是用于数字接口的直接 显示连接。可以存在四抓取器子模块33。图7是系统10所使用的方法的流程图，系统10用于追踪在另一 个或相同摄像机视野中的人。该系统可在点41处净皮初始化并且在项30处选择所要追踪的感兴趣的对象。可对将使用相同摄像机还是使用初始摄像机作出决定42，假定在该结合之前对象已经是追踪的目标。如 果是，那么感兴趣的对象的目标模型在点43处产生。如杲不是，那么 在点44处从最初使用的摄像机获得被跟踪对象的目标模型。在最初的 摄像机与另 一个摄像机之间前面所提到的差异将从信息4 5中被合并用 于其它摄像机的补偿要求。在摄像机补偿之后，点46处的目标模型可 被转换到主流粒子或者帧处理。在点47处，从点43处产生的目标模 型或者转换的目标模型进入用于初始粒子及权重生成的处理流。下一 时间的粒子在点48处被预测。在点49,对具有特征如色彩、形状、紋 理等的每个粒子进行计算。计算之后，候选者从点50的粒子的特征中 形成。于是在点51处形成目标和候选设置之间的匹配。匹配标记可用 于更新在点52处的粒子及权重。该更新的信息可用于报告点53处的 记录和存储。这里，权重粒子的位置被归结为被报告的追踪结果。更 新粒子和权重信息经过点52到点54,目标模型在点54处被更新。更 新的目标模型数据可进入点48处的处理流，在点48处下一时间的粒 子可被动态模型预测。该处理可通过点49 - 54反复持续进行。当前系统10的追踪算法可使用直方图。对象的一个特征表示可作 为对象的彩色直方图。该彩色直方图可被有效地计算以及实现 (achiever)显著图像数据减少。然而这些直方图可提供低水平的语 义图像信息。为进一步改善对象或目标的追踪能力，增加多分辨率直 方图以得到对象的紋理以及形状信息。多分辨率直方图可以是在多分 辨率处的图像片(或粒子)的组合直方图。例如，为计算图像片的多 分辨率直方图，图像片的多分辨率分解可被首先获得。通过高斯滤波 可降低图像分辨率。在每个分辨率k的图像片可以给出不同的直方图 hk。于是多分辨率直方图H可通过将在不同分辨率H= [h。， h,， h2, ...hjj 的强度直方图连接在一起来构造。多分辨率直方图对于追踪与噪声、旋转、强度、分辨率以及比例 相关的对象可增加鲁棒性。这些属性使得系统成为很强大的再现工具， 用于在追踪时将人的外貌模型化。图8示出了用于计算多分辨率直方图特征矢量的流程图60。在点 61，分辨率级可在系统的输入处^皮输入。然后在点62处，具有高斯滤 波器5*5的Burt-Adelson图像锥体。在点63处，对于对象图像分辨率的全部指定级计算直方图。这些直方图在点64处被L1规范标准化。 在点65处，累积直方图可由对象的全部级分辨率图像形成。在下一点 66,差异直方图可在连续图像分辨率之间被计算出来。原始图像的直 方图被丟弃。然后在点67处，差异直方图可反复形成特征矢量。人们可以注释人体部分(即上部和下部身体以及头部)的多分辨 率直方图的性能。图9-12示出了在不同位置、取向、比例以及照明 下由摄像机所看到的同样的人。图13中示出了多分辨率直方图或特征 矢量的比较。从理论的观点看，差异直方图可与一般化的Fisher信息测量相关， 如下式所描述的。2 >-0 q-l dl其中，I是强度图像，I(x)是在像素x处的强度值；G(l)是高斯滤波器，I是分辨率，"G(1)是滤波的图像； " 是在连续图像分辨率之间的差异直方图；Vj是直方图强度j的值，且Jq(l)是一般化的Fisher 信息，其与差异直方图是成比例的。图9示出了第一图像的详细特征表示。歹ij A示出由Burt-Adelson 图像锥体的多分辨率分解，且级为Q-4级。对于每级的多分辨率图像 的直方图在列B中示出。列C显示了对每级的多分辨率图像的累积直 方图。连续多分辨率级的差异直方图在列D中表示。差异直方图示出 了转换率，在该转换率下当图像分辨率变化到一般化的Fisher信息测 量时图像变化。人们可看到差异直方图也表示在直方图随图像分辨率 变化到形状和紋理属性的速率下的一般化的信息测量链接。图10中示出了对于第一图像中的具有不同姿势和不同照明情况下 相同的人的第二图像的详细特征表示。列A示出了由具有级0到级4 的Burt-Adelson图4象锥体的多分辨率分解。列B显示了对每级的多分 辨率图像的直方图。列C示出了对每级的多分辨率图像的累积直方图。 列D示出了连续多分辨率级的差异直方图。图11示出了对于第一图像和第二图像中的具有不同姿势和不同照明情况下相同的人的第三图像的详细特征表示。列A示出了由具有级0 到级4的Burt-Adelson图像锥体的多分辨率分解。列B显示了对每级 的多分辨率图像的直方图。列C示出了对每级的多分辨率图像的累积 直方图。列D示出了连续多分辨率级的差异直方图。图12示出了对于第一图像、第二图像及第三图像中的具有不同姿 势和不同照明情况下相同的人的笫四图像的详细特征表示。列A示出 了由具有级0到级4的Burt-Adelson图像锥体的多分辨率分解。歹寸B 显示了对每级的多分辨率图像的直方图。列C示出了对每级的多分辨 率图像的累积直方图。列D示出了连续多分辨率级的差异直方图。图9-12示出同一人在不同姿势、比例和照明之下的多分辨率直 方图表示。在图13中示出连接在一起的不同直方图。该图显示对于四 个图像的四个曲线如此相似以便识别相同人。曲线71、 72、 73和74 分别是第一、第二、第三和第四图像的多分辨率表示。人们可以通过讨论用于确定两个不同的对象表示之间的相似度并 且最终匹配度的匹配处理来继续建立于表示方法学。粒子滤波器追踪 中的两个步骤可以是第一预测步骤(其预测目标状态，也就是目标对 象的位置和尺寸的改变)；以及第二测量步骤，也就是图像测量，其 有助于对关于临近的目标的预测建立信心的处理。对象表示和相关的 匹配算法是测量方法的基本项。匹配算法可以首先使用颜色信息以便形成对象表示。对象表示可以是使用下列公式建立的加权直方图。("候选对象表示可以通过下列公式中示出的相似加权色彩直方图给出。(2)在目标表示(1)和候选对象表示(2)中，C是标准化因数，且 f (.)可以是核函数(kernel function)以便在区域的中心更多地加 权。然后匹配算法可以使用下列由下列Bhattacharyya系数(3)给出的距离函数。<formula>formula see original document page 12</formula>(3)在目标;溪型和候选区域之间的距离越小，区域越相似。粒子滤波 追踪算法中的测量步骤中的匹配距离函数的关系可以由下列公式(4 ) 给出，<formula>formula see original document page 12</formula>(4)其中加权的采样组(W")，"-i"..，//N表示用于追踪的粒子的数量。粒子可以用于近似所述追踪算法预 测的目标状态的概率分布。看得见的各个概率密度函数示出在图14中。 图14示出像素坐标空间中被追踪对象的两维概率密度函数"p( . )"75。对于目标表示，人们可以使用多分辨率直方图，而不是上述公式 (1)和(2)中描述的方案。多分辨率直方图可以以一种紧凑的形式 包4舌色彩、形状和紋理信息。背景减法可以示出在图15a、 15b、 16a和16b中。图15a示出实 验室场景的背景99。图15b显示实验室背景99的静态场景的背景学习 (learning)。图16a示出实验室场景中的非静态人102。图16b从背 景99区别非静态人102。它实际上是通过背景99减法的运动对象102 检测。图17示出一种方法，其中在多分辨率直方图被应用之前背景减法 技术可以应用于从背景77分离前景区域76 (也就是人)。通过首先执 行前景/背景减法78和头和上部身体选择79,可以保证人的更加鲁棒 的表示，因为考虑噪声的背景的影响被最小化了。在目标对象76表示 上的背景减法78的影响被示出在图18a和18b中。这些图显示在目标 对象76表示上的背景减法78的影响。图16a示出具有背景77的整个 图像的平滑色彩直方图并且图18b示出背景从图像中减去的遮蔽色彩 直方图82。可以注意到只有前景目标对象或人76的直方图82表现出 比包括背景77的直方图81更好的分布性。在图18a中，背景77在直方图81的笫一柄(bin)中表现为另一模式83。图19示出目标对象76的多分辨率直方图。列A示出通过具有级0 至级4的Burt-Adelson图4象锥体的多分辨率分解。歹"B示出对每级的 多分辨率图像的直方图。在列C中示出对每级的多分辨率图像的累积 的直方图。列D示出连续的多分辨率级的不同直方图。示出的多分辨 率直方图可以在从背景77分离的人76上执行。这里可以使用列C的 累积直方图。例如，人们可能想要如下述比较实例直方图， hA= (1; 0; 0), hB= (0; 1; 0)以及hC= (0; 0; 1)。与直方图hA相似于 直方图hC相比，直方图hA与直方图hB更相似。但是，hA与hB之间 的距离LI与hA与hC之间的距离Ll相同。也就是，因此，原始形式的直方图不必表示出比起hA与hC相似，hA与hB更相 似的事实。相应的累积直方图是hcum_A=(l; 1; l)，hcum—B=(0; 1; l)以 及hcum—C=(0; 0; 1)。累积直方图之间的距离满足正如人们可能期望的。图20示出用于发展色彩空间的3通道(HSV)多分辨率直方图的 流程图。由RGB图像84,作为实例，通道85可以用于色调，第二通道 86可以用于饱和度，以及第三通道87可以用于值。多分辨率直方图 88、 89和91可以用于通道85、 86和87。这些直方图可以^支链接或连 接在一起。在追踪过程中，匹配图像区域可能是重要的(虽然匹配不等于追 踪)。在粒子滤波器框架中，匹配性能可以大大地影响测量步骤。图 21示出与初始被追踪时人76的姿势、位置和方位都不同的人76的图 ^象。另外，另一人92也在图21的图4象中。粒子滤波处理可以通过以 固定尺寸子窗口 93检查图像而被模仿，因而在图22中对于合适的目 标76掠过整个图像。目标76的原始表示在不同于图21中的图像中执 行。图23示出对于出现在图21中的图像的各种子窗口 93的匹配分数。 在没有任何背景减法的情况下，所选择的人或目标76 (具有最小距离 的子窗口 93)作为图像片示出在图24a中。应注意，即使在固定的子窗口下，匹配算法也表现出较好的性能。但是，当增加背景77减法时， 并且对于图24b中示出的所选择的图像片跟随相同的步骤时，可以证 实更好的性能。图25示出在机场拍摄的25个连续帧的序列。这里，应注意，对 于具有来自机场的视频序列的人追踪使用多分辨率直方图的实例。帧 80和90可以是特别感兴趣的。在图像帧80和图像帧90之间存在时间 间隙，如分别在图26a和27a中示出的。在帧90中，存在出现在帧90 的左上角的人94,其没有出现在帧80中。因此存在由匹配裁切不正的 (cropped)目标片95和随照明改变的候选片而引入的困难度。通过 匹配图像帧90中候选区域上目标的多分辨率直方图，图像片96由于 具有相似或匹配直方图而成为^皮选择的区域。帧80的目标片95和帧 90的选择的图像片96被分别示出在图26b和27b中。图28示出图像 帧90上相同尺寸子窗口上的匹配分数。应注意，对于图27b中选择的 图像片96,给出了当与图26b的原始目标图像片95相比较时的最小 Ll距离，如图28中示出的，其示出帧90的相同尺寸子窗口上的近似 匹配的分数。图29a、 29b、 30a和30b表示在预先记录的一见频序列上评估多分 辨率直方图表示的性能的情形，其可以表示不断增加的复杂的追踪情 形。在图29a中，图像可以是视频序列中的帧号101。使用这个图像可 以首先收获包括一个人的目标片97,如图29b中所示。图30a的图像 可以是相同视频序列中的帧号110。通过在图像帧101和110的候选区 域上使用和匹配多分辨率直方图，可以从图像帧110中得到所选择的 图像片98,如图30b中所示。很明显，基于匹配直方图从后一图像中 选择出来的人是目标片中的同一人。这一选择揭示了用于在拥挤的情 形下追踪的多分辨率直方图的较好性能。图31a示出在人口相对密集区域诸如机场中的人104上的目标片 103。色彩直方图可以取自片103。图31b揭示了在使用配置了色彩直 方图表示的粒子滤波器的追踪任务期间作为矩形示出的粒子105。在本说明书中， 一些事情可以具有假定的或预测的性质，尽管以 另外的方式或时态陈述。虽然已经参照至少 一 个说明性实例描述了本发明，但是多种变化虑到现有技术，本发明所附权利要求被尽可能宽泛地解释以便包括所 有变化和修改。
权利要求
1.一种追踪系统，包括用户接口；连接到所述用户接口的管理器；连接到所述用户接口的图像处理器；连接到所述用户接口和图像处理器的图像操纵器；以及连接到所述管理器的视频捕捉机构。
2. 如权利要求1所述的系统，进一步包括 连接到所述管理器的线索模块；以及 连接到所述管理器的坐标测定器。
3. 如权利要求1所述的系统，进一步包括 连接到所述操纵器的对象表示模块； 连接到所述对象表示模块的多分辨率模块；以及 连接到所述多分辨率模块的直方图模块。
4. 如权利要求1所述的系统，进一步包括连接到所述视频捕捉机 构的多个视频抓取器。
5. 如权利要求1所述的系统，进一步包括 连接到所述图像处理器的背景减法模块；以及 连接到所述图像处理器的粒子滤波器。
6. —种用于追踪对象的方法，包括 初始化追踪；选择摄像机；获得追踪对象的目标模型； 产生第一粒子；通过动态才莫型预测下一时间的粒子；以及 计算第一粒子的特征。
7. 如权利要求6所述的方法，进一步包括 由所述特征形成候选者；将目标模型与候选者相匹配； 更#斤所述粒子；以及 更新所述目标模型。
8. 如权利要求7所述的方法，其中所述更新目标模型包括基于粒子的位置报告追踪。
9. 如权利要求7所述的方法，进一步包括 从第 一摄像机改变到第二摄像机；从第一摄像机传输所追踪的对象的目标模型到所述第二摄像机； 产生粒子；通过目标模型预测下一粒子；以及 计算所述粒子的特征。
10. 如权利要求9所述的方法，其中视场不与第一摄像机的视场重叠。
11. 如权利要求9所述的方法，进一步包括 由所述特征形成候选者；将所述目标模型与所述候选者匹配； 更新所述粒子；基于所述粒子的位置报告追踪；以及 更新所述目标模型。
12. 如权利要求11所述的方法，进一步包括重复权利要求10的方法。
13. 如权利要求6所述的方法，其中所述粒子的特征通过下述来确定计算目标模型的各级分辨率图像的直方图； 标准化所述直方图；由所述各级分辨率图像的直方图形成累积直方图；计算连续的各级分辨率图像的直方图之间的差异直方图；以及 将所述差异直方图连接在一起来确定所述粒子的特征。
14. 一种追踪系统，包括 多个摄像机；连接到所述多个摄像机的摄像机选择器；以及连接到所述多个摄像机和所述摄像机选择器的图像处理器。
15. 如权利要求14所述的系统，其中 所述多个摄像机的每个摄像机位于区域的位置处；以及每个摄像机的位置不同于所述多个摄像机中的另 一摄像机的位置。
16. 如权利要求15所述的系统，其中所迷多个摄像机中的一些損L 像机具有非重叠视场。
17. 如权利要求15所述的系统，其中所述图像处理器包括 目标模型产生器；以及连接到所述目标模型产生器的粒子产生器。
18. 如权利要求17所述的系统，其中所迷粒子产生器包括粒子特 征产生器。
19. 如权利要求18所述的系统，其中所述图像处理器进一步包括 连接到所述粒子产生器的候选者产生器；以及连接到所述候选者产生器和所述目标模型产生器的匹配器。
20. 如权利要求19所述的系统，其中所述粒子特征产生器包括直 方图产生器。
全文摘要
一种用于通过在具有重叠和非重叠视场的摄像机网络的区域中来追踪对象的系统。所述系统可以使用色彩、形状、文本的组合和/或多分辨率直方图来用于对象表示或目标模型以用于从一个摄像机向另一个摄像机追踪对象。所述系统可以包括用户和输出接口连接。
文档编号G06T7/20GK101243470SQ200680029810
公开日2008年8月13日 申请日期2006年6月15日 优先权日2005年6月16日
发明者J·安德鲁, M·E·巴扎科斯, V·莫尔拉斯, 马云潜 申请人:霍尼韦尔国际公司