专利名称：目标姿态分析装置及其目标姿态分析方法
技术领域：
本发明涉及姿态估计技术，更具体地，涉及一种目标姿态分析装置及其目标姿态 分析方法。
背景技术：
在计算机视觉领域中，目标姿态分析技术是一个重要的研究课题。目标姿态分析 广泛应用于人机交互、电视购物、真人姿态动画和TOF(time offlight)深度相机相关的应 用。传统的目标分析方法集中于利用CCD相机的色彩图像。在标题为“目标识别的图形结 构(Pictorial Structure for Object Recognition)，P. Felzenszwalb，，的发明专利中，为 了提取目标的姿态，目标被模型化为不同部件的可变形的配置结构，通过“类弹性部件”连 接而互相关联。目标姿态分析方法是用于在各个部件的可能的位置、大小、方向的巨大配置 空间中进行搜索的过程。但是，即使对于一幅静态图像来说，该方法也非常耗时。为了减少 搜索空间，从目标提取特定特征来定位某些目标部件，例如，皮肤颜色特征可帮助用于定位 裸露的人的手臂、腿和面部。在公开号为W0200605^53的专利申请中提到了利用皮肤颜色 特征定位的方法。减少搜索空间的另一种方法是使用姿态初始化的模型和姿态追踪。公开 号US20080112592A1和W02008079541A2的发明申请中，使用简单的姿态(例如，T形姿态) 用于检测目标部件的简易检测作为目标姿态的初始化，随后使用姿态参数的追踪来估计目 标的姿态。这要求被检测者按照该方法在线协同工作，还要求被检测者在姿态追踪失败时 做出简单的姿态。为了避免巨大的运算量，还采取了基于示例的姿态识别，模拟从姿态估计 的发起到姿态识别，提供了有限数量的姿态用于复杂的姿态空间。用于目标姿态估计的新 方法还使用深度摄像机，串接深度图用于前景段，然后基于深度图子串的部件分析提取骨 架。该方法可以用于简单的目标姿态估计，例如，可用于没有闭合的扩展的目标部件，并使 用简单的拓扑图来定位骨架的外在部件。以上的方法均设计用于串行处理。总的说来，传统的姿态估计技术在实践中遇到以下两个挑战。一个是在搜索姿态 参数期间花费的计算量或时间巨大。对于具有实时要求的应用来说，如果不进行空间压缩 则不可能完成搜索。具有皮肤颜色特征的目标部件的位置也不适当。第二个问题是，在串 行处理框架下，过于依赖单个特征。在上述的目标姿态分析方法中，通常都只利用一种特征 (例如，皮肤颜色特征)来识别目标姿态，一旦此特征的识别失败，则系统就不能正常工作。 这样的串行框架不能适应于新的应用的要求。
发明内容
在本发明中，提供了一种用于高效率地分析目标姿态的方法和装置。根据本发明 实施例的目标姿态估计设备可接收深度视频作为输入，并计算目标姿态作为输出。在目标 姿态估计处理中，首先测试多种类别的目标部件的特征指示位置，然后选择若干特征作为 当前视频目标的显著特征，随后独立和并行地提取这些显著特征，最后，使用数据驱动马尔 科夫链蒙特卡罗(DDMCMC，Data Driven Markov Chain Monte Carlo)方法来基于检测到的不完整的显著特征集合推算目标的姿态参数。因此，当一个目标具有更多的显著特征时，本 发明可更容易地定位和推算目标的姿态，同时花费的时间更少。此外，由于本发明将传统技 术中被串行处理的显著特征进行并行处理，因此，基于本发明实施例的方法和设备能够显 著减少时间花费，同时避免系统由于独立的显著特征的检测失败而导致的崩溃。另外，本发 明可并行处理的显著特征是可扩展的，允许在根据本发明的特征数据库(DB)中增加目标 的特征类别以及特征类别中的特征。为了实现以上的优点，根据本发明的一方面，提供了一种目标姿态分析装置，包 括特征数据库存储模块，用于存储特征数据库，特征数据库包括至少一个特征类别；特征 测试器，将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的 特征类别进行并行测试，以从特征数据库中选择至少一个特征组；显著特征选择器，根据所 述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集 合；显著特征检测器，基于显著特征集合对输入的图像执行特征检测，确定输入的图像中是 否存在显著特征集合中的特征，以获得输入图像的显著特征检测结果；姿态推算模块，根据 显著特征检测结果执行姿态估计。根据本发明的另一方面，还提供了一种目标姿态分析方法，包括以下步骤将接收 的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的特征类别进行 并行测试，以从特征数据库中选择至少一个特征组；根据所述至少一个特征组的有效性指 示参数对所述至少一个特征组进行评估，以选择显著特征集合；基于显著特征集合对输入 的图像执行特征检测，确定输入的图像中是否存在显著特征集合中的特征，以获得输入图 像的显著特征检测结果；根据显著特征检测结果执行姿态估计。根据本发明的另一方面，还提供了一种使用本发明的目标姿态分析装置的目标姿 态估计设备。除了上述的目标姿态分析装置之外，所述目标姿态估计设备还包括输入装 置，用于接收图像数据的输入；用户设置单元，用于对姿态估计设备的功能进行设置；显示 装置，用于显示姿态分析装置的姿态估计的结果；主机控制接口单元，用于姿态分析装置与 外围设备的数据交换。
通过下面结合附图对实施例的详细描述，本发明的上述和/或其他方面将会变得 清楚和更容易理解，其中图1是示出根据本发明实施例的姿态估计设备的示图；图2是示出根据本发明实施例的姿态估计设备的输入装置的示图；图3是示出根据本发明实施例的姿态估计设备中的姿态分析装置的详细框图；图4示出了根据本发明实施例的特征数据库所包含的特征类别；图5是示出根据本发明实施例的特征测试器和显著特征选择器的操作处理的示 意图；图6是示出根据本发明实施例的姿态推算模块1 的示意图；图7是示出根据本发明实施例的姿态估计设备的姿态分析方法的流程图；图8示出的是根据本发明实施例采用一个TOF深度相机和一个彩色CCD相机的姿 态估计设备对拍摄的图像进行姿态估计的示意图9示出的是根据本发明实施例采用一个TOF深度相机作为输入装置的姿态估计 设备对拍摄的图像进行姿态估计的示意图；图10示出的是根据本发明实施例采用一个彩色CCD相机作为输入装置时的姿态 估计设备对拍摄的图像进行姿态估计的示意图。
具体实施例方式下面将参照附图来详细说明根据本发明实施例的无线中继调度信息交换系统和 方法。应理解，在此参照附图描述的实施例仅是示意性的，不应将本发明理解为限制于在此 描述的实施例。图1是示出根据本发明实施例的姿态估计设备的示图。如图1所示，姿态估计设 备包括输入装置110、姿态分析装置120、用户设置单元130、显示装置140和主机控制接 口 HCI 单元 150。 输入装置110用于接收输入的图像和/或视频。图2是示出根据本发明实施例的 姿态估计设备的输入装置的示图。如图2所示，输入装置110用于接收图像数据的输入。 输入装置110可以是一组相机，也可以是多组相机。每组相机中可具有至少一个深度相机 (图2中示出的TOF相机)。可选地，每组相机还可包括彩色/灰度摄像机。每组相机中的 相机可以是活动的，也可以是静止的。输入装置110通过拍摄目标获得多幅图像或视频，并 将拍摄的图像或视频帧发送到姿态分析装置120。不同相机拍摄的图像之间存在相关性。 输入装置110对输入图像或视频帧进行登记。可采用诸如美国的RebsselaerPolytechnic Institute提出的⑶B-ICP方法来对图像或视频帧登记。用户设置单元130用于对姿态估计设备的功能进行设置。具体地，用户设置单元 130可以是触摸屏、键盘、鼠标等任意的用户输入装置。用户可通过用户设置单元130对输 入装置110(静止或活动的相机)进行配置，选择姿态分析装置120所分析的目标和类别， 并选择姿态估计设备的输出模式等。显示装置140用于显示对图像的姿态估计结果。根据本发明实施例的显示装置可 以是任意的可显示图像的装置，例如，液晶显示器(LCD)、CRT显示器等。HCI单元150用于 与外围设备进行数据交换。姿态分析装置120通过内置的存储装置中的特征数据库(DB)对输入的图像数据 进行并行测试，选择适用于输入的图像数据的有效的显著特征集合，并基于选择的有效的 显著特征集合来检测输入的图像数据的显著特征，并根据检测到的显著特征来估计目标姿 态。稍后将参照图3详细描述姿态分析装置120进行姿态估计的处理过程。图3是示出根据本发明实施例的姿态估计设备中的姿态分析装置120的详细框 图。如图3所示，姿态分析装置120包括特征数据库存储模块121、特征测试器122、 显著特征选择器123、显著特征检测器IM和姿态推算模块125。下面将参照图3到图6详 细说明姿态分析装置120进行姿态分析的详细过程。首先，从输入装置110接收到的视频数据输入到特征测试器122。特征测试器122 将接收的图像数据的特征与存储在特征数据库存储模块121中的特征数据库中的特征进 行并行测试。
图4示出了根据本发明实施例的特征数据库所包含的特征类别。在本实施例中， 特征数据库包括四个类别部件检测特征A、颜色特征B、re提取特征C和形状提取特征D。 具体地，由于目标的某些部件具有固有的特征，因此可通过特定的方法发现这些特征，从而 可确定部件。以人作为例子，人的头部、脸部、上身/下身、手和躯干都具有固定的模式。因 此，部件检测特征A可具有头部模式、脸部模式、上身/下身模式、手模式、躯干模式。颜色 特征β可包括皮肤颜色、手套颜色、长袜颜色、目标主体上的显著颜色补丁。前景(re)提取 特征C可包括帧差、背景(BG)消减、目标轮廓、边缘特征。形状提取特征D可包括棍形、圆 形、四方形、柱形。对于本领域技术人员很明显的是，可以具有更多或较少的特征类别。另 外，可根据需要更新特征类别。通常，特征数据库具有大量的特征，特征中的某些部分对于一种特定的目标类别 有效，另一部分对另一种特定的目标类别有效。对于用户选择的一个目标，必然具有其有效 特征集合。特征测试器122将输入的图像数据与特征数据库中的四个类别进行并行的测 试。例如，特征测试器122在将输入的图像数据与特征数据库中的颜色特征进行对比的同 时，可将输入的图像数据与特征数据库中的部件特征进行对比，可对输入的图像数据进行 前景提取，可将输入的图像数据与特征数据库中的形状特征进行比较。这样，就得到了四个 不同的特征组。经过此并行测试之后，显著特征选择器123对来自特征测试器122的四个特征集 合进行评估，以选择有效的显著特征集合。下面将参照图5来详细描述根据本发明实施例的特征测试器122和显著特征选 择器123的处理。图5是示出根据本发明实施例的特征测试器122和显著特征选择器123 的操作处理的示意图。具体地，对于来自部件检测特征A和颜色特征B的显著特征，显著特 征选择器123使用标准的检测率和虚警率作为特征有效性的指示参数。具体地，特征测试 器122可包括部件检测器，用于检测系统采集的图像数据并检测其中的目标部件，如果检 测率和虚警率达到预设的阈值，则显著特征选择器123将检测到的目标部件选择作为显著 特征，否则，舍弃该目标部件。部件检测器的一个示例是窗口扫描类型的部件检测器。对于 测试的图像集合来说，假设其中真正含有的目标个数为X，如果总共扫描了 N个窗口，其中， 正确的目标数为M，不正确的目标数为K，则检测率为M/x，虚警率为K/N。另外，特征测试 器122还可包括颜色特征测试器。颜色特征测试器基于颜色特征B来检测将从图像选用的 颜色特征，显著特征选择器123将测试的结果与预设的指示参数进行比较，如果指示参数 达到预设的阈值，则将该颜色特征选择作为显著特征。这里的指示参数是指检测率和误检 率。对于测试的图像集合来所，假设总共具有的像素个数为N，属于目标的像素个数为X，检 测结果中属于目标的像素个数为M,不正确的像素个数为K，则检测率为M/X，误检率为K/N。 为了方便统计，像素统计方法可以简化为图像块统计方法，即，将图像划分为大小相同的多 个块，并统计块的个数。特征测试器122还可包括前景提取器，使用背景去除方法得到前景区域特征，该 前景区域特征部分或全部地对应于图像中运动目标所在的区域。具体地，通常对于具有静 止背景的图像使用前景提取方法。而对于运动背景来说，背景去除方法将变得过于复杂，因 此将不会选择前景提取特征。特征测试器122还可包括形状提取器。对于具有较强的形状特征的目标(例如，刚体或者近似于刚体的目标)，运动时形状变化较小，这时，形状特征将起到作用，从而可以 进行目标(或目标部件)的特征检测。例如，人体的头部可以用椭圆形状来逼近，而可以用 梯形圆台来逼近人体的躯干，用梯形逼近胳膊、腿部，从而人体可以用一定的轮廓曲线来逼 近。形状提取器的性能指示参数为检测率和误检率。假设待检测目标(或目标部件)区域 的像素个数为X，实际检测到的正确的像素个数为M,不正确的像素个数为K，则检测率为M/ X，误检率为K/(M+K)。显著特征选择器123从高到低将每个类别中的各个特征的有效性指示参数排名， 并选择具有最高有效性的特征作为显著特征，即，选择指示参数大于预定阈值的显著特征。 上述处理是从特征数据库选择用于指定目标的显著特征集合的过程。在显著特征选择器123为指定目标选择了显著特征集合之后，显著特征检测器 1 基于新的显著特征集合执行检测，确定输入的图像或视频帧中是否存在显著特征集合 中所包含的特征，从而获得用于姿态推算的显著特征检测结果。注意，这里获得的显著特征 集合并不能实现100%的检测率或精确率以及0虚警率。因此，需要姿态推算模块125基于 获得的用于姿态推算的显著特征检测结果来执行推算处理。另外，对于不同的场景图像或 视频中的不同的目标，通常具有不同的显著特征集合。因此，每当目标改变时，需要特征测 试器122和显著特征选择器123重新测试和选择对于不同的目标的显著特征集合。图6是示出根据本发明实施例的姿态推算模块125的示意图。如图6所示，根据本发明实施例的姿态推算模块125包括数据驱动姿态假设产生 模块127、姿态假设评估模块1 和姿态确定模块129。数据驱动姿态假设产生模块127通 过组合对于每个目标部分/部件的检测结果来产生姿态假设。姿态假设评估模块1 将对 数据驱动姿态假设产生模块127所产生的每种姿态假设组合进行评估，从而验证其作为可 能的目标姿态的概率。在姿态假设评估模块1 评估完每个姿态假设组合之后，姿态确定 模块1 最后决定哪种姿态假设组合具有成为期望的目标姿态的最高的概率。这里仅示出 了一种姿态推算方法。本领域的技术人员也可采用其他方式来实现基于显著特征检测结果 的姿态推算。如图3的虚线框所示，根据本发明另一实施例的姿态分析装置120还可包括目标 模型约束模块126。在进行姿态推算之前，目标模型约束模块1 根据用户通过用户设置单 元130选择的目标模型来进一步限制显著特征集合的特征类别。具体地，目标模型约束模 块126可根据用户设置单元130的选择来确定目标类别是人类还是非人类。目标的类别的 分类的一个示例在以下的表1中示出
权利要求
1.一种目标姿态分析装置，包括特征数据库存储模块，用于存储特征数据库，特征数据库包括至少一个特征类别； 特征测试器，将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征 数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组；显著特征选择器，根据所述至少一个特征组的有效性指示参数对所述至少一个特征组 进行评估，以选择显著特征集合；显著特征检测器，基于显著特征集合对输入的图像执行特征检测，确定输入的图像中 是否存在显著特征集合中的特征，以获得输入图像的显著特征检测结果； 姿态推算模块，根据显著特征检测结果执行姿态估计。
2.如权利要求1所述的目标姿态分析装置，还包括目标模型约束模块，在进行姿态推算之前根据用户选择的目标模型来限制显著特征集 合的特征类别。
3.如权利要求1所述的目标姿态分析装置，其中，所述有效性指示参数是特征组的检 测率、误报率和虚警率中的至少一个。
4.如权利要求1所述的目标姿态分析装置，其中，特征数据库的特征类别包括部件检 测特征、颜色特征、前景提取特征和形状提取特征。
5.如权利要求4所述的目标姿态分析装置，其中，特征数据库的特征类别根据用户的 设置更新。
6.一种目标姿态分析方法，包括以下步骤将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的特 征类别进行并行测试，以从特征数据库中选择至少一个特征组；根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择 显著特征集合；基于显著特征集合对输入的图像执行特征检测，确定输入的图像中是否存在显著特征 集合中的特征，以获得输入图像的显著特征检测结果； 根据显著特征检测结果执行姿态估计。
7.如权利要求6所述的方法，还包括在进行姿态推算的步骤之前，根据用户选择的目标模型来限制显著特征集合的特征类别。
8.如权利要求6所述的方法，其中，所述有效性指示参数是特征组的检测率、误报率和 虚警率中的至少一个。
9.如权利要求6所述的方法，其中，特征数据库的特征类别包括部件检测特征、颜色 特征、前景提取特征和形状提取特征。
10.如权利要求9所述的方法，其中，特征数据库的特征类别根据用户的设置更新。
11.一种目标姿态估计设备，包括 输入装置，用于接收图像数据的输入；姿态分析装置，用于对来自输入装置的图像数据中的目标进行姿态分析； 用户设置单元，用于对姿态估计设备的功能进行设置； 显示装置，用于显示姿态分析装置的姿态估计的结果；主机控制接口单元，用于姿态分析装置与外围设备的数据交换，其中，姿态分析装置包括特征数据库存储模块，用于存储特征数据库，特征数据库包括至少一个特征类别；特征测试器，将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征 数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组；显著特征选择器，根据所述至少一个特征组的有效性指示参数对所述至少一个特征组 进行评估，以选择显著特征集合；显著特征检测器，基于显著特征集合对输入的图像执行特征检测，确定输入的图像中 是否存在显著特征集合中的特征，以获得输入图像的显著特征检测结果；姿态推算模块，根据显著特征检测结果执行姿态估计。
12.如权利要求11所述的目标姿态估计设备，其中，所述姿态分析装置还包括目标模型约束模块，在进行姿态推算之前根据用户选择的目标模型来限制显著特征集 合的特征类别。
13.如权利要求11所述的目标姿态估计设备，其中，所述有效性指示参数是特征组的 检测率、误报率和虚警率中的至少一个。
14.如权利要求11所述的目标姿态估计设备，其中，特征数据库的特征类别包括部件 检测特征、颜色特征、前景提取特征和形状提取特征。
15.如权利要求14所述的目标姿态估计设备，其中，特征数据库的特征类别根据用户 的设置更新。
16.如权利要求11所述的目标姿态估计设备，所述输入装置是CCD相机和深度相机中 的至少一个。
全文摘要
提供了一种目标姿态分析装置，包括特征数据库存储模块，用于存储特征数据库，特征数据库包括至少一个特征类别；特征测试器，将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组；显著特征选择器，根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集合；显著特征检测器，基于显著特征集合对输入的图像执行特征检测，确定输入的图像中是否存在显著特征集合中的特征，以获得输入图像的显著特征检测结果；姿态推算模块，根据显著特征检测结果执行姿态估计。
文档编号G06T7/00GK102136139SQ20101010550
公开日2011年7月27日 申请日期2010年1月22日 优先权日2010年1月22日
发明者林华书, 楚汝峰, 胡芝兰, 陈茂林 申请人:三星电子株式会社, 北京三星通信技术研究有限公司