对象跟踪方法和装置制造方法

对象跟踪方法和装置制造方法
【专利摘要】提供了对象跟踪方法和装置。对象跟踪方法包括：顺序输入图像；利用第一跟踪模板确定对象在输入图像中的第一位置，以及利用第二跟踪模板确定对象在输入图像中的第二位置，其中第一跟踪模板基于第一特征集合形成，第二跟踪模板基于第二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合的每个包括一个或多个特征；以及基于该第一位置和第二位置，确定对象在输入图像中的最终位置，其中，每预定帧数进行第一跟踪模板更新，以及根据预设规则对第二跟踪模板进行更新，第二跟踪模板与第一跟踪模板独立进行更新，且第二跟踪模板的更新频率低于第一跟踪模板。该对象跟踪方法和装置很好地平衡了对象跟踪技术的稳定性和自适应性。
【专利说明】对象跟踪方法和装置

【技术领域】
[0001] 本发明涉及图像处理，更具体地涉及计算机视觉技术中的对象跟踪方法和装置。

【背景技术】
[0002] 目前，人机交互控制系统受到了人们广泛的关心，因为它的操作模式对于用户来 说，非常容易且便利。特别是手势控制系统对用户来说，尤其方便。一个有效的手势识别系 统将能提供自然且有效的交互方式。而在手势识别系统中，非常重要且关键的一部分就是 手的跟踪。
[0003] 为了方便用户操作，手跟踪系统不应该要求用户穿戴任何特殊的设备，如特殊手 套，彩色标志物等。同时，手是非刚性物体，具有运动快、易变形、自遮挡等特点，因此手跟踪 技术是一项非常具有挑战性的工作。。
[0004] 美国专利公开US20100310127A1中公开了一种物体跟踪方法。在该专利中，采用 两种不同的模板进行跟踪：初始模板和动态模板。跟踪结果由初始模板跟踪结果和动态模 板跟踪结果中的一个或两个决定。同时决策标记单元用来判断是否需要对动态模板进行更 新。动态模板通过初始模板和当前目标图像进行更新。在该专利中，初始模板从不更新，而 动态模板根据初始模板和目标图像进行更新。因此，当跟踪环境变化太快时，初始模板可能 不再适用于当前环境，因此该跟踪方法不太鲁棒。
[0005] 2008 年 2 月 发表于 Image Pr 〇 ce s s i ng, IEEE Tran sac t i on s on(Volume:17，Issue:2)的、作者为 Junqiu Wang 等的标题为"Integrating Color and Shape-Texture Features for Adaptive Real-Time Object Tracking，'的文章中提出了一 种基于在线特征选择的新目标模板更新方法。该跟踪方法通过联合直方图将最好的两种特 征组合到一起。在该文章中，每8到12巾贞进行一次特征选择。通过计算当前模板和初始模 板之间的相似度，对目标模板进行更新。该文章提出了一种二选一的更新方法，通过考虑初 始模板，先前模板和当前候选图像之间的关系。在该文章中，初始模板是一种固定模板，由 跟踪启动前人工标定或者检测得到的对象形成，在整个过程中都不被更新。


【发明内容】

[0006] 现有技术中，许多研究者认为在整个跟踪过程中，初始跟踪模板是可信且不被污 染的，因此初始跟踪模板一般在整个跟踪过程中都进行使用且保持不变。但是，发明人发 现，当跟踪环境改变较多时，初始跟踪模板可能变为噪声，从而降低系统的鲁棒性。
[0007] 另一方面，为了增强跟踪方法的鲁棒性，跟踪模板更新非常必要。目前有两类常用 的模板更新方法。第一类为通过当前跟踪结果图像进行模板更新，该方法具有较强的环境 适应性，但容易引入噪声，导致跟踪漂移。第二类方法则根据当前候选图像和先前模板进行 模板更新，该方法在更新过程中，由于目标和背景不完整分类，将缓慢引入噪声，从而导致 模板漂移。
[0008] 因此，希望提供一种既保证稳定性也能保证自适应性的对象跟踪方法。
[0009] 根据本发明的一个方面，提供了一种对象跟踪方法，包括：顺序输入图像；利用第 一跟踪模板确定对象在输入图像中的第一位置，以及利用第二跟踪模板确定对象在输入图 像中的第二位置，其中第一跟踪模板基于第一特征集合形成，第二跟踪模板基于第二特征 集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合的每个包括 一个或多个特征；以及基于该第一位置和第二位置，确定对象在输入图像中的最终位置，其 中，每预定帧数进行第一跟踪模板更新，以及根据预设规则对第二跟踪模板进行更新，第二 跟踪模板与第一跟踪模板独立进行更新，且第二跟踪模板的更新频率低于第一跟踪模板。 [0010] 一种对象跟踪装置，包括：图像输入部件，用于顺序输入图像；第一跟踪模板位置 确定部件，利用第一跟踪模板确定对象在输入图像中的第一位置，其中第一跟踪模板基于 第一特征集合形成；第二跟踪模板位置确定部件，利用第二跟踪模板确定对象在输入图像 中的第二位置，第二跟踪模板基于第二特征集合形成，第一特征集合不同于第二特征集合， 第一特征集合和第二特征集合的每个包括一个或多个特征；对象最终位置确定部件，基于 该第一位置和第二位置，确定对象在输入图像中的最终位置；以及第一跟踪模板更新部件 和第二跟踪模板更新部件，其中，第一跟踪模板更新部件每预定帧数更新第一跟踪模板，以 及第二跟踪模板更新部件根据预设规则对第二跟踪模板进行更新，第二跟踪模板与第一跟 踪模板独立进行更新，且第二跟踪模板的更新频率低于第一跟踪模板。
[0011] 本发明上述对象跟踪方法和装置综合了两种跟踪模板：第一跟踪模板和第二跟踪 模板。第一跟踪模板和第二跟踪模板采用不同的特征建立得到。同时，本发明中的两种跟 踪模板更新的频率不同，两者独立进行更新，第二跟踪模板更新的频率低于第一跟踪模板， 这样第一跟踪模板更多地体现了自适应性，第二跟踪模板更多地考虑了稳定性同时也根据 情况在必要时进行更新。因此最终形成的跟踪模板能更好的适应不同的环境且保证足够鲁 棒，彼此互补，从而增强了跟踪方法的鲁棒性。
[0012] 进一步地，发明人认识到：实际上，跟踪成功或者失败，主要依赖于如何将物体从 它的周围背景中分离出来，而能否有效的分离物体和背景与所使用的特征直接相关。因此 为了在不同的时刻，不同的背景下都能得到最优的特征，实时进行特征的选择非常必要，同 时为了应对跟踪漂移问题，对跟踪模板进行更新也非常必要。
[0013] 为此，进一步地，在一个实施例中，该对象跟踪方法和装置还包括：根据所确定的 对象在输入图像中的最终位置，分割对象和背景区域；通过分析对象和背景区域，评估各个 候选特征集合区分对象和背景区域的能力；确定区分能力最强的第一候选特征集合和第二 候选特征集合；判断是否要用第一候选特征集合来更新第一特征集合，以及判断是否要用 第二候选特征集合来更新第二特征集合；以及如果确定要用第一候选特征集合来更新第一 特征集合，则更新第一特征集合，以及基于该更新的第一特征集合和先前预定帧数的跟踪 结果来重构第一跟踪模板，否则每预定帧数的图像更新第一跟踪模板且第一特征集合保持 不变；以及如果确定要用第二候选特征集合来更新第二特征集合，则更新第二特征集合，以 及基于该更新的第二特征集合和先前预定帧数的跟踪结果来重构第二跟踪模板。
[0014] 由此，上述对象跟踪方法和装置一方面实时进行特征的选择，从而能够适应于不 同的时刻和不同的环境采用最佳的特征；另一方面对跟踪的模板进行更新，因此能够使跟 踪系统更加鲁棒。

【专利附图】

【附图说明】
[0015] 从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和 优点将变得更加清楚并更容易理解，其中：
[0016] 图1示意性地示出了根据本发明一个实施例的手跟踪技术用于人机交互的情景 的示意图。
[0017] 图2示出了根据本发明实施例的对象跟踪装置100的配置框图。
[0018] 图3示出了根据本发明一个实施例的对象跟踪方法200的总体流程图。
[0019] 图4(a)_(c)示出了一种给定手的位置信息，将深度信息用于分割过程中的手部 区域和背景区域的分割方法示意图
[0020] 图5(a)-(d)示出了示例性特征评估过程的一个示意图。
[0021] 图6示出了根据本发明实施例的基于输入图像进行对象定位的示例性过程。
[0022] 图7(a)_(c)图形地示意性示出了根据本发明实施例的基于第一跟踪模板和第二 跟踪模板对输入图像进行对象定位的过程。
[0023] 图8示出了根据本发明第二实施例的示例性对象跟踪方法300的总体流程图。
[0024] 图9从另一角度示意性地图示了第三实施例的对象跟踪方法的过程。
[0025] 图10示出了适于用来实现本发明实施方式的示例性计算系统600的框图。

【具体实施方式】
[0026] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0027] 将以下述顺序进行描述
[0028] 1、应用情景示例
[0029] 2、对象跟踪装置
[0030] 3、对象跟踪方法的第一实施例
[0031] 4、对象跟踪方法的第二实施例
[0032] 5、用于进行对象跟踪的计算系统
[0033] 在下面的描述中，以跟踪对象为手进行说明，不过这仅为示例，实际上，本发明所 跟踪的对象没有限制。
[0034] 1、应用情景示例
[0035] 图1示意性地示出了根据本发明一个实施例的手跟踪技术用于人机交互的情景 的示意图。如图1所示，一部摄像机放置于计算机上方，用户站立于摄像机范围内。当用户 在摄像机范围内移动他/她的手时，计算机能计算出手的真实位置信息，以达到对手实时 跟踪的目的，手在不同时刻的位置点如图1中的圆点所示。
[0036] 优选地，该摄像机能进行彩色图和深度图的采集，例如为双目相机。如本领域人员 公知的，深度图像（Depth image)是图像中的像素点的值为深度的图像。相比于灰度图像， 深度图像具有物体的深度(距离)信息，因此特别适合于需要立体信息的各种应用。另外，如 公知的，一个像素点的深度值和视差值之间具有简单的换算关系，因此本发明的深度信息 的含义是广义的，包括视差信息。
[0037] 需要说明的是，图1只是一个示意性示例，用于跟踪手的设备不限于计算机，可以 是例如游戏机，投影仪，电视机等等。
[0038] 2、对象跟踪装置
[0039] 下面参考图2描述根据本发明实施例的对象跟踪装置的配置示例。
[0040] 图2示出了根据本发明实施例的对象跟踪装置100的配置框图。
[0041] 如图2所示，对象跟踪装置100可以包括：图像输入部件110,用于顺序输入图像， 例如从双目相机来输入彩色图像和深度图像；第一跟踪模板位置确定部件120,用于利用 第一跟踪模板180确定对象在输入图像中的第一位置，其中第一跟踪模板基于第一特征集 合；第二跟踪模板位置确定部件130,用于利用第二跟踪模板190确定对象在输入图像中的 第二位置，第二跟踪模板基于第二特征集合，第一特征集合不同于第二特征集合，第一特征 集合和第二特征集合的每个包括一个或多个特征；对象最终位置确定部件140,用于基于 该第一位置和第二位置，确定对象在输入图像中的最终位置；第一跟踪模板更新部件150 和第二跟踪模板更新部件160,第一跟踪模板更新部件每预定帧数的图像更新第一跟踪模 板180,以及第二跟踪模板更新部件根据预设规则对第二跟踪模板190进行更新，第二跟踪 模板190与第一跟踪模板180独立进行更新，且第二跟踪模板190的更新频率低于第一跟 踪模板180。
[0042] 可选地而非必需地，对象跟踪装置100可以包括在线特征更新部件170,如图2中 的虚线方框和虚线箭头所指示的，该在线特征更新部件170可以根据对象最终位置确定部 件140所确定的对象在输入图像中的最终位置，分割对象和背景区域；通过分析对象和背 景区域，评估各个候选特征集合区分对象和背景区域的能力；确定区分能力最强的第一候 选特征集合和第二候选特征集合；判断是否要用第一候选特征集合来更新第一特征集合， 以及判断是否要用第二候选特征集合来更新第二特征集合；以及如果确定要用第一候选特 征集合来更新第一特征集合，则更新第一特征集合，以及第一跟踪模板更新部件150基于 该更新的第一特征集合来重构第一跟踪模板；以及如果确定要用第二候选特征集合来更新 第二特征集合，则更新第二特征集合，以及第二跟踪模板更新部件160基于该更新的第二 特征集合来重构第二跟踪模板。
[0043] 需要说明的是，上述对象跟踪装置100的部件可以用软件程序来实现，例如通过 通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以 存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM 上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来 实现。所述集成电路包括通过例如MPU (微处理单元)、DSP (数字信号处理器)、FPGA (现场 可编程门阵列)、ASIC (专用集成电路）等中的至少一个来实现。这样的通用计算机或者专 用集成电路等例如可以与成像设备例如照相机来通信，以便对照相机拍摄获得的彩色图像 和/或立体图像进行处理来得到对象跟踪结果，以及可选地还可以根据对象跟踪结果对所 运行的应用进行控制。另外，对象跟踪装置100的各个部件可以用专门的硬件来实现，例如 特定的现场可编程门阵列、专用集成电路等。另外，对象跟踪装置100的各个部件也可以利 用软件和硬件的结合来实现。
[0044] 需要说明的是，图2中所示的箭头只表示两个部件的功能之间存在逻辑关系，两 个部件之间可以直接或者间接地操作性地连接。另外，即便图2中的某两个部件之间未示 出某方向的箭头连接，但是这并不表明两者之间必然不存在该方向的逻辑关系，相反，两者 之间可以存在操作性的连接关系，例如第一跟踪模板更新部件150和第二跟踪模板更新部 件160和图像输入部件110之间可以存在逻辑关联，其中第一跟踪模板更新部件150和第 二跟踪模板更新部件160在操作过程中可能需要利用图像输入部件110所输入的一帧或多 帧图像。
[0045] 上述对象跟踪装置100中的各个单元的结构和数量不对本发明的范围构成限制。 根据本发明的一个实施例，上述图像输入部件110、第一跟踪模板位置确定部件120、第二 跟踪模板位置确定部件130、对象最终位置确定部件140、第一跟踪模板更新部件150和第 二跟踪模板更新部件160可以合并为一个独立的部件来执行和实现相应的功能和操作，或 者可以将图像输入部件110、第一跟踪模板位置确定部件120、第二跟踪模板位置确定部件 130、对象最终位置确定部件140、第一跟踪模板更新部件150和第二跟踪模板更新部件160 进一步拆分为更小的单元来实现他们各自的功能和操作。
[0046] 另外，需要说明的是，图2中所示的结构并不是排他式的，相反道对象跟踪装置 100可以包括其他部件，例如显示部件，用于例如显示对象最终位置确定部件140处理后的 结果，以及例如通信部件，用于将有关信息和/或中间处理结果传递到外部等。
[0047] 3、对象跟踪方法的第一实施例
[0048] 下面详细描述对象跟踪装置100的各部件的功能和操作的示例。如前所述，将以 手为跟踪对象进行说明。
[0049] 图3示出了根据本发明一个实施例的对象跟踪方法200的总体流程图。
[0050] 如图3所示，在步骤S210中，图像输入部件110顺序输入图像。
[0051] 例如可以通过普通相机、双目相机、多目相机、立体相机拍摄图像，然后输入到图 像输入部件110。输入到图像输入部件Iio的图像可以仅包括RGB彩色图像，也可以既包括 RGB彩色图像也包括深度图像。
[0052] 可选地，替代在本地直接从相机输入图像，也可以通过有线网络或者无线网络从 远程接收图像。
[0053] 在步骤S220中，第一跟踪模板位置确定部件120利用第一跟踪模板确定对象在输 入图像中的第一位置，以及第二跟踪模板位置确定部件130利用第二跟踪模板确定对象在 输入图像中的第二位置，其中第一跟踪模板基于第一特征集合形成，第二跟踪模板基于第 二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合的每 个包括一个或多个特征。
[0054] 3. 1特征集合的评估和跟踪模板的确定
[0055] 对于跟踪启动前的初始第一和第二跟踪模板的确定，首先需要确定对应的第一特 征集合和第二特征集合。
[0056] 为此，可以针对一幅或多幅图像通过自动的手检测结果或人工标定得到手及其周 围背景图像，即实现对象区域和背景区域的划分，由此得到一个或多个已经标识或者分类 了的手部区域图像和背景区域图像的样本。然后可以基于这些样本来评估有关候选特征集 合的区分对象和背景的能力。
[0057] 下面参考图4(a)_(c)描述一种给定手的位置信息，将深度信息用于分割过程中 的手部区域和背景区域的分割方法示例。
[0058] 首先初步定位手和背景区域，例如可以使用现有的"中心环绕法"来初步划分手区 域及手所对应的背景区域，如图4中的（a)图所示，标号1指示的矩形框(下文简称为矩形 框1)内初步划分为手区域，矩形框1和标号2指示的矩形框(下文简称为矩形框2)之间的 区域划分为背景区域。在图4的（a)中，可以观察到，在矩形框1内，除了真正属于手的图 像像素外，还包括部分背景区域像素，如果将整个矩形框1内像素作为手前景像素，则会引 入部分噪声。为了有效移除背景噪声，本实施例加入了深度信息，根据深度信息，可得到真 实的手区域像素，如图4中的（b)所示。因此，如图4中的（c)所示，在矩形框2内，除了真 实的手像素外，其余像素都定义为背景像素。基于图4中的（c)中所定义的手区域像素和 背景像素，可以选择最能区分手及其背景像素的图像特征。
[0059] 根据手的有效特征，可以确定一个种子特征库，每个种子特征都有可能在一定情 况下将手从背景中区分开来，如颜色特征，形状特征，轮廓特征、面积特征等。各个种子特征 之间的可能组合形成各个候选特征集合。在各个候选特征集合的形成中，可以事先添加一 些限制以缩小搜索的范围从而提高计算效率，例如可以限定特征集合中的元素数目为1个 或2个，特征集合的元素限于从颜色特征和形状特征中选择等等。在一个示例中，可以预先 形成感兴趣的各个候选特征集合，例如以颜色特征形成一个候选特征集合、以形状特征形 成另一个候选特征集合、以轮廓特征形状再一个候选特征集合、或者以某种特征组合形成 其他候选特征集合，诸如此类。后续的第一特征集合和第二特征集合将从这样的预先形成 的感兴趣的各个候选特征集合中进行选择，由此可以提高搜索效率。
[0060] 这样，具有了手部区域和背景区域图像的样本，以及具有了候选特征集合，可以进 行初始第一特征集合和第二特征集合的选择。需要说明的是，关于最初的第一特征集合和 第二特征集合的确定，可以人工凭经验确定，也可以通过自动评估特征集合区分对象和背 景区域的能力（下文中，适当地可简称为特征或特征集合的区分能力）、确定区分能力最强 的第一候选特征集合和第二候选特征集合来分别作为第一特征集合和第二特征集合。
[0061] 在一个实施例中，在后续跟踪过程中，可以不断重新评估各个候选特征集合的区 分对象和背景区域的能力，并根据预定规则来进行第一特征集合和第二特征集合的更新。 [0062] 关于评估特征集合的区分对象和背景区域的能力的方法，可以利用例如开放检验 (CHI)、信息增益（information gain, IG)、互信息（mutual information, MI)、主成分分析 (Principle Component Analysis, PCA)等方法。
[0063] 在通过评估区分能力选定了第一特征集合和第二特征集合之后，则可以通过基于 这些特征，对训练样本进行学习，来得到对应的第一跟踪模板和第二跟踪模板。例如，可以 基于训练样本，计算所有特征的均值和方差来形成跟踪模板。
[0064] 下面介绍一种采用对数相似度函数的方差比值作为最优特征评价依据来确 定第一特征集合和第二特征集合的方法示例，以及再之后将介绍一种通过对象和背景 的直方图分布的对数似然度比值（log likelihood ratio)来构造跟踪模板的方法示 例。有关采用对数相似度函数的方差比值作为最优评价依据的详细介绍可以参考作 者为 Robert Τ· Collins 等的发表于 IEEE transactions on pattern analysis and machine intelligence, vol. 27, no. 10, 2005 年 10 月的标题为"Online Selection of Discriminative Tracking Features，'的文章。
[0065] 下文中，假定种子特征库有R、G、B三种颜色特征，最后选择的特征集合中只含有 一种颜色特征，将参考图5描述特征选择过程(可以在后续跟踪过程中在线使用）的一个方 法示例。
[0066] 图5(a)_(d)示出了示例性特征评估过程的一个示意图。
[0067] (1)首先，分割对象像素区域和背景像素区域，如图5(a)所示，细节过程例如如图 4中所示。
[0068] (2)从种子特征库中抽取一种特征f，分别计算该特征f在对象像素和背景像素上 的直方图分布。下文中，分别使用Htjw和Hbg代表被跟踪对象和背景区域像素在各个特征值 所对应的直方图分布。以图5(a)中所对应的对象和背景像素为例，假定采用R，G，B三种颜 色特征作为示例，计算其直方图分布，如图5 (b)所示，其中标号1指示的曲线表示对象像素 在不同特征值上对应的直方图分布，而标号2指示的曲线表示其背景像素在不同特征值上 所对应的直方图分布。
[0069] (3)通过特征评估函数计算打分并排序找到最具有区分能力的特征。在本实施 例中，使用方差比值（variance ratio)评估方法，首先计算每个特征的各个特征值i的 所对应的对数相似度比例值L(i)，计算公式如式（1)所示；然后通过公式（2)计算方差比 值（variance ratio)，最后基于方差比值，找到区分能力排名靠前的特征，其中方差比值越 大，表明该特征区分能力越强。

【权利要求】
1. 一种对象跟踪方法，包括： 顺序输入图像； 利用第一跟踪模板确定对象在输入图像中的第一位置，以及利用第二跟踪模板确定对 象在输入图像中的第二位置，其中第一跟踪模板基于第一特征集合形成，第二跟踪模板基 于第二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合 的每个包括一个或多个特征；以及 基于该第一位置和第二位置，确定对象在输入图像中的最终位置， 其中，每预定帧数进行第一跟踪模板更新，以及根据预设规则对第二跟踪模板进行更 新，第二跟踪模板与第一跟踪模板独立进行更新，且第二跟踪模板的更新频率低于第一跟 踪丰旲板。
2. 根据权利要求1的对象跟踪方法，还包括： 根据所确定的对象在输入图像中的最终位置，分割对象和背景区域； 通过分析对象和背景区域，评估各个候选特征集合区分对象和背景区域的能力； 确定区分能力最强的第一候选特征集合和第二候选特征集合； 判断是否要用第一候选特征集合来更新第一特征集合，以及判断是否要用第二候选特 征集合来更新第二特征集合；以及 如果确定要用第一候选特征集合来更新第一特征集合，则更新第一特征集合，以及基 于该更新的第一特征集合和先前预定帧数的跟踪结果来重构第一跟踪模板，否则每预定帧 数的图像更新第一跟踪模板且第一特征集合保持不变；以及如果确定要用第二候选特征集 合来更新第二特征集合，则更新第二特征集合，以及基于该更新的第二特征集合和先前预 定帧数的跟踪结果来重构第二跟踪模板。
3. 根据权利要求1的对象跟踪方法，利用第一跟踪模板确定对象在输入图像中的第一 位置和利用第二跟踪模板确定对象在输入图像中的第二位置包括： 根据对象的运动信息，预测对象在输入图像中的候选出现区域； 在候选出现区域内，利用第一跟踪模板确定对象在输入图像中的第一位置和利用第二 跟踪模板确定对象在输入图像中的第二位置。
4. 根据权利要求1的对象跟踪方法，其中每预定帧数的图像更新第一跟踪模板包括：每帧输入图像都更新第一跟踪模板。
5. 根据权利要求1的对象跟踪方法，所述利用第一跟踪模板确定对象在输入图像中的 第一位置，和利用第二跟踪模板确定对象在输入图像中的第二位置包括： 分别根据第一跟踪模板和第二跟踪模板，计算对象在输入图像中所对应的候选区域的 第一置信度图和第二置信度图；以及 分别根据第一置信度图和第二置信度图，利用均值漂移得到对象在第一置信度图上的 第一位置和对象在第二置信度图上的第二位置，作为所述对象在输入图像中的第一位置和 所述对象在输入图像中的第二位置。
6. 根据权利要求1的对象跟踪方法，所述基于该第一位置和第二位置，确定对象在输 入图像中的最终位置包括： 分别确定第一位置的可信度和第二位置的可信度； 根据第一位置的可信度和第二位置的可信度来确定第一位置所占的权重比例值和第 二位置所占的权重值；以及 根据第一位置的权重和第二位置的权重，计算第一位置和第二位置的加权和，作为所 述对象在输入图像中的最终位置。
7. 根据权利要求1的对象跟踪方法，其中所述每预定帧数的图像更新第一跟踪模板包 括： 基于当前跟踪模板和当前跟踪到的对象的加权和来得到更新后的第一跟踪模板。
8. 根据权利要求2的对象跟踪方法，其中每个特征集合可由一个单独特征组成也可以 为多个特征的组合组成，以及所述通过分析对象和背景区域，评估各个候选特征区分对象 和背景区域的能力包括： 分别计算各个特征集合在对象和背景区域像素上的直方图分布；以及 通过特征评估函数来评估各个特征集合区分对象和背景区域的能力。
9. 根据权利要求2的对象跟踪方法，其中所输入的图像包括深度信息，以及所述根据 所确定的对象在输入图像中的最终位置，分割对象和背景区域包括结合深度信息来分割对 象和背景区域。
10. -种对象跟踪装置，包括： 图像输入部件，用于顺序输入图像； 第一跟踪模板位置确定部件，利用第一跟踪模板确定对象在输入图像中的第一位置， 其中第一跟踪模板基于第一特征集合形成； 第二跟踪模板位置确定部件，利用第二跟踪模板确定对象在输入图像中的第二位置， 第二跟踪模板基于第二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合 和第二特征集合的每个包括一个或多个特征； 对象最终位置确定部件，基于该第一位置和第二位置，确定对象在输入图像中的最终 位置；以及 第一跟踪模板更新部件和第二跟踪模板更新部件，其中，第一跟踪模板更新部件每预 定帧数更新第一跟踪模板，以及第二跟踪模板更新部件根据预设规则对第二跟踪模板进行 更新，第二跟踪模板与第一跟踪模板独立进行更新，且第二跟踪模板的更新频率低于第一 跟踪模板。
【文档编号】G06T7/20GK104424634SQ201310373327
【公开日】2015年3月18日 申请日期:2013年8月23日 优先权日:2013年8月23日
【发明者】梁玲燕 申请人:株式会社理光