对象跟踪方法和设备、跟踪特征选择方法
【技术领域】
[0001] 本发明总体涉及图像识别，更具体地涉及对象跟踪方法和设备，W及用于对象跟 踪的跟踪特征的选择方法。
【背景技术】
[0002] 对象跟踪技术在监控、人机交互、车载导航、视讯索引等众多领域中有着广泛的应 用。众所周知，进行对象跟踪所使用的特征在跟踪过程中起着至关重要的作用。目前，研究 者已经进行了大量的研究，并提出了诸如采用梯度特征、采用SIFT特征、采用SURT特征等 的对象跟踪方法。在大多数送样的对象跟踪方法中所使用的特征都是人为预先设定的，并 且在整个跟踪过程中是不变的。然而由于诸如光照等环境干扰因素的影响，W及由于被跟 踪对象在运动过程中可能会产生形状、运动速度等的变化，因此，预先设定的固定特征在跟 踪过程中并不总是能很好的表达被跟踪对象的信息。
【发明内容】
[0003] 本发明的目的在于至少解决上述一个问题，具体而言，本发明的目的在于提出一 种能够在跟踪过程中始终采用能够较好地表达被跟踪对象的特征来跟踪对象W提高对象 跟踪的精确度的对象跟踪方法和设备、W及跟踪特征选择方法。
[0004] 根据本发明一个方面的实施例，提供了一种对象跟踪方法，包括：根据对象在前一 顿图像中的位置，生成训练样本；对于每一个训练样本，计算在前一顿图像中跟踪所述对象 所采用的各个特征的值；针对每个特征，获取其在前预定数量顿图像中的统计信息；利用 计算出的所述各个特征的值及其统计信息来确定该特征的可靠性；根据各个特征的可靠 性，重新确定在当前顿图像中进行对象跟踪将采用的特征；W及利用所述重新确定的特征， 确定所述对象在当前顿图像中的位置。
[0005] 根据本发明的另一方面的实施例，提供了一种对象跟踪设备，包括：样本产生单 元，配置为根据对象在前一顿图像中的位置，生成训练样本；第一计算单元，配置为对于每 一个训练样本，计算在前一顿图像中跟踪所述对象所采用的各个特征的值；统计单元，配置 为针对每个特征，获取其在前预定数量顿图像中的统计信息；可靠性确定单元，配置为利用 计算出的所述各个特征的值及其统计信息确定该特征的可靠性；特征选择单元，配置为根 据各个特征的可靠性，重新确定在当前顿图像中进行对象跟踪将采用的特征；W及检测单 元，配置为利用所述重新确定的特征，确定所述对象在当前顿图像中的位置。
[0006] 根据本发明的第Η方面的实施例，提供了一种用于对象跟踪的跟踪特征的选择方 法，包括：根据对象在前一顿图像中的位置，生成训练样本；对于每一个训练样本，计算在 前一顿图像中跟踪所述对象所采用的各个跟踪特征的值；针对每个跟踪特征，获取其在前 预定数量顿图像中的统计信息；利用计算出的所述各个跟踪特征的值及其统计信息确定该 跟踪特征的可靠性；根据各个跟踪特征的可靠性，选择在当前顿图像中进行对象跟踪将采 用的跟踪特征。
[0007] 根据本发明实施例的对象跟踪和跟踪特征选择技术，能够在跟踪过程中不断地在 线更新表现较差的特征，使得在跟踪过程始终采用能够较好地表达被跟踪对象的特征来跟 踪对象，由此提高了对象跟踪的精确度。
【附图说明】
[000引图1示出了根据本发明实施例的对象跟踪方法的流程图。
[0009] 图2示出了在图像中生成的训练样本的示例性示意图。
[0010] 图3a例示了对于一个正训练样本进行仿射变换后得到的多个示例性的仿射变换 后的正训练样本，图3b例示了对于一个负训练样本进行仿射变换后得到的多个示例性的 仿射变换后的负训练样本。
[0011] 图4示出了一个泛哈尔特征的示例性示意图。
[0012] 图5示出了多个泛哈尔特征的示例性示意图。
[0013] 图6例示了正训练样本序列和负训练样本序列及特征在正训练样本序列和负训 练样本序列上的高斯分布。
[0014] 图7示出了根据本发明实施例的对象跟踪方法中、根据各个特征的可靠性重新确 定在当前顿图像中进行对象跟踪将采用的特征的处理的流程图。
[0015] 图8示出了特征更新过程的示例性示意图。
[0016] 图9示出了根据本发明实施例的对象跟踪方法中、利用重新确定的特征确定对象 在当前顿图像中的位置的处理的流程图。
[0017] 图10例示了从当前顿图像的预定区域中选择多个候选图像块的示意图。
[001引图11示出了根据本发明实施例的对象跟踪设备的功能配置框图。
[0019] 图12示出了根据本发明实施例的对象跟踪系统的总体硬件框图。
【具体实施方式】
[0020] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0021] 首先对根据本发明实施例的对象跟踪技术的基本思想进行简要的描述。如前所 述，预先设定的固定特征在跟踪过程中并不总是能很好的表达被跟踪的目标对象的信息， 因此在本发明的一个实施例中，当在每一顿图像中进行对象跟踪时，都先进行在线特征更 新过程，然后采用更新后的特征在本顿图像中进行对象跟踪。具体的，当要在当前顿（例如 第T顿）中进行对象跟踪时，首先判断目前用于进行跟踪的各个特征（即在前一顿（第T-1 顿）中进行对象跟踪时采用的各个特征）是否适当，如果其中有些特征表现不佳，则用新的 特征替换送些表现不佳的特征W进行特征的更新，随后利用更新后的特征在当前顿（第T 顿）中进行对象跟踪。送样，通过在跟踪过程中不断地在线更新表现较差的特征，使得在跟 踪过程始终采用能够较好地表达被跟踪对象的特征来跟踪对象，由此提高了对象跟踪的精 确度。
[0022] 图1示出了根据本发明实施例的对象跟踪方法的流程图。
[002引如图1所示，在步骤S110,根据对象在前一顿图像中的位置，生成训练样本。
[0024] 对象在图像中的位置可W通过任何适当的方式来表示，在本实施例中，采用所述 对象的最小外接矩形框来表示该对象在图像中的位置区域。在该步骤中，将根据对象在前 一顿图像中的位置区域处的图像块，在该前一顿图像中生成多个训练样本。
[0025] 可W采用任何适当的方式来生成所述训练样本，例如可选的，可W在前一顿图像 中，选取与对象在前一顿图像中的位置的距离小于第一距离的各个图像块，作为正训练样 本；并选取与对象在前一顿图像中的位置的距离大于第二距离并小于第Η距离的各个图像 块，作为负训练样本，其中第二距离大于或等于所述第一距离。图2示出了在图像中生成的 训练样本的示例性示意图。具体的，如图2所示，假设被跟踪对象是车辆，图中的矩形框表 示该车辆在前一顿（第Τ-1顿）图像中的位置区域，该矩形框的中必点A表示车辆的中必。 图2中还示出了 W中必点A为圆必，分别W长度R1、R2和R3为半径的Η个虚线圆C1，C2和 C3。在该示例中，可W选取中必点在圆C1的区域内、与图中的矩形框相同大小的任意矩形 框作为正训练样本；并选取中也点在圆C2和C3之间的区域内、与图中的矩形框相同大小的 任意矩形框作为负训练样本。
[0026] 另外，为了获得更多的训练样本，可选的，可W对于如上所述生成的正训练样本和 负训练样本中的每个训练样本进行仿射变换，得到多个仿射变换后的训练样本。每个训练 样本进行仿射变换后产生的训练样本的个数可W根据具体情况任意设定。图3a例示了对 于一个正训练样本进行仿射变换后得到的多个示例性的仿射变换后的正训练样本，图3b 例示了对于一个负训练样本进行仿射变换后得到的多个示例性的仿射变换后的负训练样 本。
[0027] 在步骤S120,对于每一个训练样本，计算在前一顿图像中跟踪所述对象所采用的 各个特征的值。
[002引如前所述，目前，研究人员已经提出了采用诸如梯度特征、SIFT、SURF等各种特征 的对象跟踪方法。在本发明的实施例中，可W采用任意所述特征进行对象跟踪。下文中，将 W采用generalized haar (泛哈尔）特征为例进行说明。
[0029] 泛哈尔特征是一种公知的常用梯度特征，用于表示图像中一系列小图像块内像素 和的加权和。例如，一个泛哈尔特征i的值可W通过表达式（1)来计算：
[0030]
-.，(巧
[003。 其中，Pk表示小图像块k中的像素的化9 k是小图像块k的权重。权重值9 k可 W任意设定，例如，Θ k = -1，0, 1，并且对于图像中的一系列小图像块，大部分小图像块的权 重设置为0,只有随机选择的若干小图像块的权重设置成-1或1。另外，对于任意小图像块 k，应满足0<k"《w，0<kh《h，其中kw kh分别是小图像块k的宽和高，W和h分别是图像的 宽和局。
[0032] 由于权重值为0的小图像块对于泛哈尔特征的值实际上没有任何贡献，因此也可 W理解成一个泛哈尔特征由图像中若干个权重值不为零的小图像块形成。例如，图4示出 了泛哈尔特征的示例性示意图，如图4所示，为图中的5个小图像块内像素和的加权和， 其中由实线指示的3个小图像块的权重值被设置成-1或1，由虚线指示的2个小图像块的 权重值被设置成0,对于送一情形，也可W认为是图中由实线指示的3个小图像块形成的 泛哈尔特征的值。能够理解，对于一个图像，通过随机选择不同的小图像块（送些小图像块 的权重值不为零），可W得到多个泛哈尔特征。
[0033] 在该步骤中，对于如图3a和3b所例示的每