用于姿势识别的部位和状态检测的制作方法
【专利说明】用于姿势识别的部位和状态检测
[0001] Μ?
[0002] 用于人机交互、计算机游戏和其它应用的姿势识别难以达到准确和实时。许多姿 势，诸如那些用人手作出的，是细节的并且难以互相区分。同样，用于捕捉姿势的图像的设 备可能是嘈杂和易于出错的。
[0003] -些先前的方法已经在游戏玩家的图像中标识了身体各部位并随后，在分开的阶 段，使用身体各部位计算身体各部位的3D空间坐标以形成玩家的骨架模型。该方法可能是 计算密集的并且可能易于出错，其中身体部位标识不稳健。例如，当发生身体部位遮挡时， 其中非寻常的关节角发生或归因于身体大小和形状改变。
[0004] 其它先前的方法通过缩放和旋转图像来匹配所存储的对象模板来使用模板匹配。 这些类型的方法涉及大的计算能力和存储容量。
[0005] 以下描述的各实施例不限于解决已知姿势识别系统的缺点中的任一个或全部的 实现。
【发明内容】
[0006] 下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的 穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是 以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
[0007] 用于姿势识别的部位和状态检测对人机交互、计算机游戏，和实时识别姿势的其 它应用是有用的。在各种实施例中，使用决策森林分类器以部位和状态标记两者来给输入 图像的图像元素加标记，其中部位标记标识可变形对象的组件（诸如指尖、手掌、手腕、唇、 笔记本电脑盖），并且其中状态标记标识可变形对象的配置（诸如打开、关闭、上、下、张开、 握紧）。在各实施例中，部位标记被用于计算身体各部位的重心，且部位标记、重心和状态标 记被用于实时或接近实时地识别姿势。
[0008] 通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
[0009] 附图简沐
[0010] 根据附图阅读以下【具体实施方式】，将更好地理解本发明，在附图中：
[0011] 图1是使用传统键盘输入、空中姿势和键盘上姿势来操作桌面计算系统的用户的 示意图；
[0012] 图2是图1的捕捉系统和计算设备的示意图；
[0013] 图3是姿势识别的方法的流程图；
[0014] 图4是生成训练数据的装置的示意图；
[0015] 图5是随机决策森林的示意图；
[0016] 图6是存储在随机决策树的叶节点处的概率分布的示意图；
[0017] 图7是存储在随机决策树的叶节点处的两个概率分布的示意图；
[0018] 图8是用于分类部位和状态的第一第二阶段随机决策森林的示意图；
[0019] 图9是在测试时使用经训练的随机决策森林的方法的流程图；
[0020] 图10是训练随机决策森林的方法的流程图；
[0021] 图11示出可在其中实现姿势识别系统的实施例的示例性的基于计算的设备。
[0022] 在各个附图中使用相同的附图标记来指代相同的部件。
【具体实施方式】
[0023] 下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构 建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作 本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
[0024] 虽然在本文中将本发明的示例描述并示出为用于人手的部位和状态识别系统中 实现，但所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将会理解，本 示例适于应用于各种不同类型的部位和状态识别系统，包括但不限于完全身体姿势识别系 统、手和臂姿势识别系统、面部姿势识别系统和用于识别关节连接的对象、可变形对象或静 态对象的部位和状态的系统。做出要被识别的姿势的实体可以是人、动物、植物或其它对象 (可以是或者不是活的），诸如膝上计算机。
[0025] 描述了部位和状态识别系统，其包括被训练来针对部位和状态两者分类图像的图 像元素的随机决策森林。例如，人手和前臂的深度图像的实况视频馈送被实时处理，以检测 诸如指尖、手掌、手腕、前臂的各部位，并且还检测诸如握紧、张开、上、下的状态。在一些示 例中，部位和状态标记被经训练的森林同时分派。这可被用作姿势识别系统的一部分，用于 控制基于计算的设备，如现在参照图1描述的。然而，这是一个示例；部位和状态识别功能 可被用于其它类型的姿势识别或者用于识别可改变配置的对象（诸如膝上计算机）或静态 对象（可改变它们相对于视点的朝向）的部位和状态。
[0026] 首先参考图1，图1示出了用于控制基于计算的设备102的示例控制系统100。在 此示例中，控制系统100允许基于计算的设备102由传统输入设备（例如鼠标和键盘）和 手部姿势控制。所支持的手部姿势可以是触摸手部姿势、空中姿势或其组合。"触摸手部姿 势"可以是一只或多只手在与表面接触时的任何预定义的移动。表面可以包括或不包括触 摸传感器。"空中姿势"可以是一只或多只手在空中时（一只或多只手没有接触表面）的任 何预定义的移动。
[0027] 通过整合控制的两个模式，用户以便于使用的方式体验了每种控制模式的益处。 具体而言，许多基于计算的设备102的行为被调整到传统输入（例如，鼠标和键盘），特别是 那些需要广泛的创作、编辑或细化的操纵，诸如文档撰写、编码、创建演示或图形设计任务。 然而，存在这些任务的各元素，诸如模式转换、窗口和任务管理、菜单选择和特定类型的导 航，它们被卸载到快捷方式和辅助按键或上下文菜单（可使用诸如触摸手部姿势和/或空 中手部姿势的其它控制方式更容易地实现）。
[0028] 图1所示的基于计算的设备102是传统的桌面计算机，具有分开的处理器组件104 和显示屏106 ;然而，在此描述的方法和系统同样可以应用到处理器组件104和显示屏106 为集成的（诸如膝上计算机或平板计算机）基于计算的设备102。
[0029] 控制系统100还包括诸如键盘的输入设备108,其与基于计算的设备通信以允许 用户通过传统方式控制基于计算的设备102 ;捕捉设备110 (例如，输入设备108)，用于检测 用户手部相对于环境中的参照物的位置和移动；以及用于解释从捕捉设备110获得的信息 以控制基于计算的设备102的软件（未示出）。在一些示例中，用于解释来自捕捉设备110 的信息的软件的至少一部分被集成到捕捉设备110。在其它示例中，软件被集成或加载到基 于计算的设备102。在其它示例中，软件位于与基于计算的设备102诸如通过因特网进行通 信的另一个实体处。
[0030] 在图1中，捕捉设备110安装在上方并向下指着用户的工作表面112。然而，在其 它示例中，捕捉设备110可被安装在参照物（例如，键盘）或环境中的另一个合适的对象之 中或之上。
[0031] 在操作中，可以使用捕捉设备110相对于参照物（例如，键盘）跟踪用户的手，以 使得用户手的位置和移动可以被基于计算的设备1〇2(和/或捕捉设备110)解释为可用于 控制由基于计算的设备102执行的应用的触摸手部姿势和/或空中手部姿势。结果，除了 能够通过传统的输入（例如，键盘和鼠标）来控制基于计算的设备102之外，用户可通过以 预定义的方式或模式在参照物（例如，键盘）上或上方移动他或她的手来控制基于计算的 设备102。
[0032] 因此，图1的控制系统100能够识别在参照物（例如，键盘）上和围绕参照物的触 摸以及在参照物上方的空中姿势。
[0033] 现在参考图2,示出了可在图1的控制系统100中使用的捕捉设备110的示意图。 图2中的捕捉设备110的位置只是一个示例。可使用捕捉设备的其它位置，诸如在桌面上 向上看或其它位置。捕捉设备110包括至少一个用于捕捉用户的手的图像流的成像传感器 202。成像传感器202可以是任何深度相机、RGB相机、捕捉或产生轮廓图像的成像传感器 中的一个或多个，其中轮廓图像描绘对象的外形。成像传感器202可以是被安排成捕捉场 景的深度信息的深度相机。深度信息可以是包括深度值的深度图像的形式，即深度值是与 深度图像的每个图像元素相关联的值，该值和该深度相机和由该图像元素描绘的项目或物 体之间的距离有关。
[0034] 深度信息可以使用任何合适的技术获得，包括例如飞行时间、结构化光、立体图像 等。
[0035]