征进行手的跟踪，并逐帧计算所获得的跟踪结果的置信度，其中k>0。
[0033] 在前面的步骤S310中提到由于跟踪场景发生改变，导致出现了跟踪性能下降的 起始视频帧T。然而，事实上，在视频帧T中跟踪性能下降有可能是是由于获取的视频帧中 存在噪声等其他干扰因素造成的。为此，在步骤S320中，在出现了性能下降的起始视频帧 T后，并不立即改变用于进行跟踪的跟踪特征，而是设定一个"容忍期"，在该"容忍期"中继 续利用所述第一跟踪特征进行手的跟踪，并观察在此期间跟踪性能是否发生了好转。"容忍 期"的长度可以根据具体的跟踪环境按照经验来设定，例如"容忍期"可以是性能下降的起 始视频帧T之后的k个视频帧，其中k>0。在步骤S330,如果确定从所述k个视频帧中的某 一视频帧开始丢失被跟踪的手，或者如果视频帧T+k的跟踪结果的置信度仍小于所述置信 度阈值，则确定视频帧的场景发生了改变；否则，利用所述第一跟踪特征继续进行跟踪。 [0034] 在该步骤中，根据利用第一跟踪特征在所述k个视频中进行跟踪的跟踪结果进行 相应的处理。具体的，如果从k个视频帧中的某一视频帧开始丢失被跟踪的手（即跟踪失 败)，或者如果在视频帧T+k中的跟踪结果的置信度仍小于所述置信度阈值，8卩"容忍期"结 束后，跟踪性能仍未好转，则说明场景已经发生了改变，并且在当前的场景下，第一跟踪特 征不能获得好的跟踪性能。相反，如果跟踪性能发生了好转，例如从"容忍期"内的某一视 频帧开始置信度恢复为大于等于置信度阈值，并且在后续帧内置信度保持大于等于置信度 阈值，则说明第一跟踪特征在当前的场景下能够获得好的跟踪性能，因此可以利用所述第 一跟踪特征继续进行跟踪。
[0035] 回到图2,在步骤S220,在视频帧的场景发生改变时，选择对于改变后的场景具有 最佳跟踪性能的第二跟踪特征。
[0036] 如果视频帧的场景发生了变化，第一跟踪特征在改变后的场景下不能获得好的跟 踪性能，则在该步骤S220中，可以采用任何适当的方式选择对于改变后的场景具有最佳跟 踪性能的跟踪特征。在一种示例方式中，可以基于预先计算的每种跟踪特征在训练数据集 中的每种场景下的跟踪性能，来选择具有最佳跟踪性能的第二跟踪特征，其中训练数据集 是由各种场景下的、包含手的训练视频帧组成的。在该示例方式中，预先计算每种可能的跟 踪特征在每种可能的场景下的跟踪性能，由此在确定了改变后的场景是哪种场景后，可以 容易地选择在该场景具有最佳跟踪性能的跟踪特征。可以使用本领域中任何公知的方法来 预先计算每种可能的跟踪特征在每种可能的场景下的跟踪性能，为了说明的完整，下面将 对其中的一种示例性方法进行简单的介绍。
[0037] 首先，构建特征池，其中包括根据经验可能在手的跟踪中产生好的跟踪性能的特 性，例如上文中提到颜色特征、深度特征、边缘特征、灰度特征等单一特征，以及多种单一特 征的组合特征，等等。此外，收集训练数据集。能够理解，训练数据集应当尽可能涵盖手的运 动所涉及到的各种不同场景，尤其是人机交互领域中手的运动可能涉及的各种不同场景。 随后，将训练数据（即包含手的视频帧）按照手的运动所涉及的场景进行分组。所述手的运 动所涉及的场景例如前文中提到的手进行快速运动的场景、手运动到脸部附近的场景，等 等。可以理解，这两种场景仅仅是一个示例，场景的数量以及具体的场景种类均可以根据实 际应用来设定。
[0038] 在训练数据被分组为不同场景后，对于每个场景下的每一个视频帧，可以通过利 用矩形框描绘手的区域或者利用点描绘手的中心点位置等等，来人工标注手在其中的位 置，作为真实基准（groundtruth)。此外，对于每一个场景，计算特征池中的每个特征在该 场景上的特征分布。特征分布反映了跟踪特征在该场景中的每一帧上的具体值。例如，如 果采用深度值作为跟踪特征，则每一帧上的具体值即在每一帧上检测出的手的深度值。例 如，参见图4,其例示了两种不同的跟踪特征在整个训练数据集上的特征分布的示意图。 [0039] 另外，在训练数据被分组为不同场景后，利用特征池中的每种特征在所有场景下 进行离线的手的跟踪。例如，如果特征池中包含有r种特征(单一特征或组合特征)，则针对 这r种特征中的每一种特征进行一轮手的跟踪，并在每一轮跟踪中，利用该轮跟踪所针对 的特征在所有场景下进行手的跟踪。随后，针对每种跟踪特征，计算其在每种场景下的平均 跟踪性能。跟踪性能可以通过例如跟踪精度、跟踪误差、跟踪失败的次数(丢失跟踪对象)等 各种参数或其组合来表示。例如，下面的表达式（2)示出了利用跟踪失误和跟踪失败的次 数的组合来表示平均跟踪性能的示例方式：
【主权项】
1. 一种对象跟踪方法，包括： 利用预先选择的第一跟踪特征在包含所述对象的视频峽序列中进行对象跟踪； 在视频峽的场景发生改变时，选择对于改变后的场景具有最佳跟踪性能的第二跟踪特 征； 利用选择的该第二跟踪特征继续进行对象跟踪。
2. 如权利要求1所述的对象跟踪方法，其中所述选择对于改变后的场景具有最佳跟踪 性能的第二跟踪特征包括： 基于预先计算的每种跟踪特征在训练数据集中的每种场景下的跟踪性能，选择对于 所述改变后的场景具有最佳跟踪性能的第二跟踪特征，其中所述训练数据集由各种场景下 的、包含所述对象的训练视频峽组成。
3. 如权利要求2所述的对象跟踪方法，其中所述利用预先选择的第一跟踪特征在包含 所述对象的视频峽序列中进行对象跟踪包括： 逐峽顺序计算利用所述第一跟踪特征进行跟踪所获得的跟踪结果的置信度，直至跟踪 结果的置信度小于预定的置信度阔值的起始视频峽T，其中该起始视频峽T的前一视频峽 T-1的跟踪结果的置信度大于等于该置信度阔值； 在起始视频峽T之后的k个视频峽中继续利用所述第一跟踪特征进行对象跟踪，并逐 峽计算所获得的跟踪结果的置信度，其中k〉0。
4. 如权利要求3所述的对象跟踪方法，其中所述利用预先选择的第一跟踪特征在包含 所述对象的视频峽序列中进行对象跟踪还包括： 如果从所述k个视频巾贞中的某一视频峽开始丢失跟踪对象，或者如果视频峽T+k的跟 踪结果的置信度仍小于所述置信度阔值，则确定视频峽的场景发生了改变；否则，利用所述 第一跟踪特征继续进行跟踪。
5. 如权利要求4所述的对象跟踪方法，基于预先计算的每种跟踪特征在训练数据集中 的每种场景下的跟踪性能、选择对于所述改变后的场景具有最佳跟踪性能的第二个跟踪特 征包括： 计算所述第一跟踪特征在从视频峽T到视频峽T+k的k+1个视频峽上的特征分布； 计算该特征分布与预先计算的所述第一跟踪特征在训练数据集中的每种场景下的特 征分布之间的距离； 确定与所述距离中的最小距离相对应的训练数据集中的场景； 基于预先计算的每种跟踪特征在训练数据集中的每种场景下的跟踪性能，确定对于所 述与最小距离相对应的训练数据集中的场景具有最佳跟踪性能的跟踪特征，作为所述第二 跟踪特征。
6. 如权利要求2所述的对象跟踪方法，还包括；对于开始进行跟踪时的第一视频峽，选 择在整个训练数据集上具有最佳平均跟踪性能的跟踪特征来进行对象跟踪。
7. 如权利要求1-6中任一项所述的对象跟踪方法，其中所述跟踪性能利用跟踪精度、 跟踪误差、跟踪失败次数中的至少一种来表示。
8. -种用于对象跟踪的跟踪特征选择方法，包括： 响应于包含所述对象的视频峽的场景发生改变，选择对于改变后的场景具有最佳跟踪 性能的跟踪特征。
9. 一种对象跟踪设备，包括： 特征选择部件，在视频峽的场景发生改变时，选择对于改变后的场景具有最佳跟踪性 能的跟踪特征，并通知跟踪部件该跟踪特征； 跟踪部件，利用选定的跟踪特征在包含所述对象的视频峽序列中进行对象跟踪。
10. 如权利要求9所述的对象跟踪设备，其中所述特征选择部件基于预先计算的每种 跟踪特征在训练数据集中的每种场景下的跟踪性能，选择对于所述改变后的场景具有最佳 跟踪性能的跟踪特征，其中所述训练数据集由各种场景下的、包含所述对象的训练视频峽 组成。
【专利摘要】提供了一种对象跟踪方法和设备，以及跟踪特征选择方法。所述对象跟踪方法包括：利用预先选择的第一跟踪特征在包含所述对象的视频帧序列中进行对象跟踪；在视频帧的场景发生改变时，选择对于改变后的场景具有最佳跟踪性能的第二跟踪特征；利用选择的该第二跟踪特征继续进行对象跟踪。通过该对象跟踪方法，能够在手的跟踪过程中根据场景的改变动态选择在相应场景具有最佳跟踪性能的特征，从而实现精确的跟踪。
【IPC分类】G06T7-20, G06T7-40, G06K9-66
【公开号】CN104574433
【申请号】CN201310479162
【发明人】刘丽艳
【申请人】株式会社理光
【公开日】2015年4月29日
【申请日】2013年10月14日
【公告号】US20150104067