对象跟踪方法和设备、跟踪特征选择方法
【技术领域】
[0001] 本发明总体涉及人机交互领域，更具体地涉及人机交互中的对象跟踪方法和设 备。
【背景技术】
[0002] 对象跟踪是人机交互领域中非常重要且关键的一部分。目前，对于作为对象跟踪 的代表的手的跟踪，研究者已经进行了大量的研究，并提出了一些手的跟踪方法，例如采用 手的颜色特征进行跟踪的方法、采用手的深度特征进行跟踪的方法等。
[0003] 然而，手是非刚性物体，其在运动过程中会产生形变以及形状不统一等现象；另 夕卜，手的运动有很多独特的特性，例如手的运动速度时刻会发生变化，而手的快速运动会导 致图像中手的信息发生模糊等等。因此，很难找到某种单一的手的特征，其在手的整个运动 过程中的各种场景下均能获得最好的跟踪效果。
[0004] 美国专利US8213679B2公开了一种用于移动目标跟踪和计数的方法。在该方法 中，基于在线特征选择，在相邻的每两个视频帧上，利用预先建立的特征池中的所有特征计 算当前帧的目标区域与上一帧的目标区域之间的匹配度，然后利用具有最高匹配度的特征 进一步计算综合匹配度。按照该方法，在进行跟踪时，在目标移动过程中拍摄的不同的视频 帧上可能采用不同的特征进行跟踪。然而，该方法在每两个视频帧上都进行复杂的匹配计 算，计算量较大，处理速度慢。
【发明内容】
[0005] 根据本发明的实施例，提供了一种对象跟踪方法，包括：利用预先选择的第一跟踪 特征在包含所述对象的视频帧序列中进行对象跟踪；在视频帧的场景发生改变时，选择对 于改变后的场景具有最佳跟踪性能的第二跟踪特征；利用该第二跟踪特征继续进行对象跟 1?示。
[0006] 根据本发明的另一实施例，提供了一种对象跟踪设备，包括：特征选择部件，在视 频帧的场景发生改变时，选择对于改变后的场景具有最佳跟踪性能的跟踪特征，并通知跟 踪部件该跟踪特征；以及跟踪部件，利用选定的跟踪特征在包含所述对象的视频帧序列中 进行对象跟踪。
[0007] 根据本发明的另一实施例，提供了一种用于对象跟踪的跟踪特征选择方法，包括： 响应于包含所述对象的视频帧的场景发生改变，选择对于改变后的场景具有最佳跟踪性能 的跟踪特征。
[0008] 根据本发明实施例的对象跟踪和跟踪特征选择技术能够在跟踪过程中，根据场景 的改变动态选择在相应场景具有最佳跟踪性能的特征，从而实现精确的跟踪。
【附图说明】
[0009] 图1示意性地示出了根据本发明实施例的对象跟踪技术的可能的应用场景。
[0010] 图2示出了根据本发明实施例的对象跟踪方法的流程图。
[0011] 图3示出了根据本发明实施例的利用预先选择的跟踪特征在包含手的视频帧序 列中进行手的跟踪的流程图。
[0012]图4例示了两种不同的跟踪特征在整个训练数据集上的特征分布的示意图。
[0013] 图5例示了采用跟踪误差来表示跟踪性能时两个不同的特征在训练数据集上的 跟踪性能的对比。
[0014]图6例示了根据本发明实施例的在视频帧的场景发生改变时选择对于改变后的 场景具有最佳跟踪性能的跟踪特征的流程图。
[0015]图7例示了应用根据本发明实施例的跟踪方法的示意图。
[0016] 图8示出了根据本发明实施例的对象跟踪设备的功能配置框图。
[0017] 图9示出了根据本发明实施例的对象跟踪系统的总体硬件框图。
【具体实施方式】
[0018]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0019] 图1示意性地示出了根据本发明实施例的对象跟踪技术的可能的应用场景。如 图1所不，用户站在摄像机101的摄像沮围内，该摄像机101对用户进彳丁拍摄。摄相机101 可以是仅提供彩色图像的相机，也可以是既提供彩色图像也提供深度图像的相机，例如 Primesense,Kinect等等。当用户在摄像机范围内移动他/她的例如手时，诸如计算机的处 理设备102能够基于摄像机101拍摄的视频帧，选择适当的特征进行手的跟踪，最终输出手 在视频帧中的位置。需要说明的是，图1仅仅图示了本发明的一种可能的应用场景，根据实 际情况，应用场景中的装置可以相应地增加或减少，并具有不同的配置。
[0020] 为了便于描述，下文中将以手的跟踪为例，对根据本发明的对象跟踪技术进行描 述。
[0021] 首先对本发明的手跟踪技术的基本思想进行简要的描述。如前所述，手是非刚性 物体，具有运动快、易变形等特点。因此，很难找到某种单一的手的特征，其在手的整个运 动过程中的各种场景下均能获得最好的跟踪效果。针对这一情况，本发明提出了一种在手 的跟踪过程中根据具体场景的变化、动态选择适合于当前场景的特征来进行跟踪的跟踪技 术。例如，当手进行快速运动时，手的模糊边缘信息不清晰甚至会丢失，对于这一场景，颜色 特征具有很好的区分效果。因此当在跟踪过程中出现这一场景时，可以考虑动态选择颜色 特征来进行跟踪。再比如，当手运动到脸部附近时，由于二者颜色相近，颜色特征区分度下 降，而深度特征却显示了很好的区分效果。因此当在跟踪过程中出现这一场景时，可以考虑 动态选择深度特征来代替颜色特征进行跟踪。另外，对于某一场景，不仅可以选择单一特征 用于手的跟踪，也可以选择多种特征的组合进行跟踪。这样，通过在手的跟踪过程中根据具 体场景的变化、动态选择适合于当前场景的特征来进行跟踪，能够实现精确的跟踪。
[0022] 图2示出了根据本发明实施例的对象跟踪方法的流程图。
[0023] 如图2所示，在步骤S210,利用预先选择的第一跟踪特征在包含手的视频帧序列 中进行手的跟踪。
[0024] 跟踪特征是作为手的表征特征的、能够在手的跟踪中产生好的跟踪性能的特性。 例如前面提到的颜色特征、深度特征，还可以是例如边缘特征、灰度特征等等。
[0025] 在该步骤中，用来进行跟踪的第一跟踪特征可以是预先选择的适合于当前场景的 跟踪特征，或根据任何其他适当的方式预先选择的跟踪特征。以下将参考图3对该步骤 S210的处理进行描述。
[0026] 如图3所示，在步骤S310,逐帧顺序计算利用所述第一跟踪特征进行跟踪所获得 的跟踪结果的置信度，直至跟踪结果的置信度小于预定的置信度阈值的起始视频帧T，其中 该起始视频帧T的前一视频帧T-1的跟踪结果的置信度大于等于该置信度阈值。
[0027] 利用第一跟踪特征进行的具体跟踪处理可以按照任何公知方法来进行，例如卡尔 曼滤波方法，或粒子滤波方法等等，此处不进行详细描述。
[0028] 根据本发明实施例的手的跟踪是一个实时的在线过程。在该步骤中，对于获取到 的每一个包含手的视频帧，实时地利用第一跟踪特征进行手的跟踪，并计算跟踪所获得的 跟踪结果的置信度，直至出现了跟踪性能下降的起始视频帧T，即利用第一跟踪特征在视频 帧T中的跟踪结果的置信度小于预定置信度阈值，而在视频帧T-1中的置信度大于等于该 置信度阈值。置信度反映跟踪结果的可信程度，能够理解，置信度降低表明当前选择的跟 踪特征的跟踪性能降低，也就是说当前选择的跟踪特征不再适合目前的视频帧下的场景， 即发生了场景的改变。因此，举例来说，假设在包含手的视频帧序列的前100帧中，手一直 在做快速运动，由于在该1〇〇帧中一直采用颜色作为跟踪特征进行跟踪，因此各帧的跟踪 性能均较高，而在第101帧，手移动到了脸部附近，由于手和脸的颜色相近，颜色特征区分 度下降，导致在第101帧采用颜色进行跟踪的跟踪结果的置信度降低，跟踪性能下降，该第 101帧即上述跟踪性能下降的起始视频帧T。
[0029] 置信度可以通过任何适当的方式来计算。考虑到手在同一场景的相邻两帧上的例 如颜色距离和位置距离应该变化不大，一种计算置信度的示例方式如下所示：
[0030] Confidence^1/(D(Color"ColorH)+D(Pos"Posh) ) ... (1)
[0031] 其中，Confidencei表示第i巾贞的跟踪结果的置信度，DGolori，colors)表示第 i帧与第i_l帧的颜色距离，DpospPoSg)表示第i帧与第i-1帧的位置距离。可以采用 任何适当的方法来计算颜色距离和位置距离。例如，一种计算颜色距离的方法是计算相邻 两帧中跟踪到的手的跟踪区域的颜色直方图的距离，例如Bhattacharyya距离；一种计算 位置距离的方法是计算相邻两帧中跟踪到的手的位置的欧式距离。如果ConfidenCei小于 预先设定的置信度阈值，则认为当前选择的跟踪特征在第i帧中的跟踪性能下降，其中置 信度阈值可以根据具体应用环境按照经验来设定。
[0032] 回到图3,在步骤S320,在起始视频帧T之后的k个视频帧中继续利用所述第一跟 踪特