用于演示的相机导航的制作方法

专利名称：用于演示的相机导航的制作方法
用于演示的相机导航背景诸如计算机游戏、多媒体应用、办公应用等许多计算应用使用控制来允许用户操纵游戏角色或应用的其他方面。通常使用例如控制器、遥控器、键盘、鼠标等等来输入这样的控制。例如，演示管理通常涉及用于与控制器/点击器交互和/或直接与正在演示的计算设备的用户交互。这些控制方法具有各种缺点。例如，这些控制可能是难以学习的，由此造成了用户和这些游戏及应用之间的障碍。控制器通常具有有限数量的按钮，因此可用的导航是有限的，并且各种类型的命令在点击器的不同类型和能力之间可以是广泛不同的。在演示的同时使用控制器可能分散观看者的注意力。并且，为了在多个用户之间共享对演示的控制，用户必须各自具有对控制器的访问权和/或分发控制器。概述 此处公开了用于管理基于姿势的系统中的信息演示的技术，其中姿势是从用户身体在物理空间中的姿态或运动导出的。用户可使用姿势来控制演示信息的方式或以其他方式与基于姿势的系统交互。例如，捕捉设备可捕捉表示用户姿势的数据，并且可采用姿势识别技术来识别可适用于控制基于姿势的系统的各方面的姿势。信息的演示者可经由化身或其他视觉表示来结合到演示中。由此，用户以能够与信息演示交互的视觉表示的形式沉静于系统中。演示的观众可以类似地沉浸于系统中。由此，包括演示者和观察者两者的用户在系统中的沉浸提供了用户之间的虚拟关系，这比信息的简单显示更具交互性。用户可使用控制该系统的各方面的姿势来向观众演示信息，或者多个用户可使用姿势来一起工作以共享对系统的控制。由此，在一示例实施例中，单个用户能够经由姿势来控制对观众的信息演示。在另ー示例实施例中，多个參与者能够经由捕捉设备所捕捉到的姿势来共享对演示的控制，或以其他方式与系统交互以控制演示的各方面。姿势可以适用于各种演示格式。在一示例实施例中，姿势控制包括非顺序信息格式的演示应用的各方面。提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的ー些概念。本概述并不g在标识所要求保护主题的关键特征或必要特征，也不g在用于限制所要求保护主题的范围。附图简述当结合附图进行阅读时，可以更好地理解以上概述以及以下对说明性实施例的详细说明。出于说明各实施例的目的，在附图中示出各实施例的示例性构造；然而，各实施例不局限于所公开的具体方法和手段。在附图中图I示出目标识别、分析、及跟踪系统以及正在玩游戏的用户的示例实施例。图2A和2B各自示出了共享的演示体验的示例实施例。图2C描绘了示例目标识别、分析和跟踪系统以及物理空间中的多个用户和每ー个用户的视觉表示的显示的示例实施例。图2D和2E分别从侧视图和俯视图描绘了示例目标识别、分析和跟踪系统，以及用户经由定点聚焦功能进行交互的示例实施例。图3是通过网络的对演示的共享控制的图示。
图4示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。图5A示出了从诸如图3所示的目标识别、分析和跟踪系统生成的用户的骨架映射。图5B示出了诸如图4所 示的姿势识别器架构的附加细节。图6描绘了建立共享演示体验并且生成视觉表示以便在物理空间中表示多个用户的方法的示例流程图。图7示出了其中可实现本文描述的技术的计算环境的示例实施例。图8示出了其中可实现本文描述的技术的计算环境的另ー示例实施例。说明性实施例的详细描述此处公开了用于经由姿势来管理对观众的信息演示的技木。所公开的实施例的主题用细节来描述以满足法定的要求。然而，该描述本身并非_在限制本专利的范围。相反，所要求保护的主题可结合其它当前或未来技术按照其它方式来具体化，以包括与本文中所描述的元素相类似的元素。姿势可以从用户在物理空间中的位置或运动中导出，并且可包括任何动态或静态的用户运动，诸如跑步、移动手指或静态姿态。根据ー示例实施例，诸如相机等捕捉设备可捕捉用户图像数据，包括表示用户的姿势的数据。计算机环境可用于识别和分析用户在该用户的三维物理空间中作出的姿势，以使得该用户的姿势可被解释成控制系统或应用空间的各方面。计算机环境可通过将用户的姿势映射到屏幕上的化身来显示用户反馈。基于姿势的系统可采用使用姿势来管理或控制信息演示的技术。用户可使用姿势来控制演示信息的方式或以其他方式与基于姿势的系统交互。在一示例实施例中，单个用户能够经由姿势来控制对观众的信息演示。在另ー示例实施例中，多个參与者能够经由捕捉设备所捕捉到的姿势来共享对演示的控制，或以其他方式与系统交互以控制演示的各方面。演示管理的系统、方法、技术和组件可以被实现在诸如游戏控制台之类的多媒体控制台或者期望显示目标的视觉表示的任何其他计算环境中，作为示例但非限制，这些其他计算环境包括卫星接收机、机顶盒、电子游戏机、个人计算机(PC)、便携式电话、个人数字助理(PDA)、以及其他手持式设备。图I示出了目标识别、分析和跟踪系统10的配置的示例实施例，该目标识别、分析和跟踪系统10可以采用所公开的用于使用户沉浸于允许经由姿势来进行交互的基于姿势的系统中的技术。在该示例实施例中，用户18正在玩保龄球游戏。在示例性实施例中，系统10可以识别、分析和/或跟踪诸如用户18之类的人类目标。系统10可以收集与物理空间中用户的运动、面部表情、身体语言、情緒等相关的信息。例如，系统可以标识并扫描人类目标18。系统10可以使用身体姿态识别技术来标识人类目标18的体型。系统10可标识用户18的身体部位以及它们如何移动。如图I所示，目标识别、分析和跟踪系统10可包括计算环境212。计算环境212可以是多媒体控制台、个人计算机(PO、游戏系统或控制台、手持式计算设备、PDA、移动电话、云计算机、捕捉设备等。根据ー示例实施例，计算环境212可包括硬件组件和/或软件组件以使得计算环境212可用于执行应用。应用可以是操作或由计算环境执行的任何程序，包括游戏和非游戏应用，诸如文字处理程序、电子表格、媒体播放器、数据库应用、计算机游戏、视频游戏、聊天、论坛、社区、即时消息收发，等等。如图I所示，目标识别、分析和跟踪系统10还可包括捕捉设备202。捕捉设备202可以是例如相机，该相机可用于在视觉上监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势，以执行应用中的ー个或多个控制或动作。在图I所示的示例实施例中，虚拟物体是保龄球且用户在三维物理空间中移动，就好像实际握有保龄球。物理空间中用户的姿势可控制屏幕14上显示的保龄球17。在各示例实施例中，诸如用户18等人类目标可实际持有一物理物体。在这些实施例中，基于姿势的系统的用户可手持物体，使得可使用玩家和物体的运动来调整和/或控制游戏的參数。例如，可以跟踪并利用手持球拍的玩家的运动来控制电子体育游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武器。根据ー个实施例，目标识别、分析和跟踪系统10可连接到可向诸如用户18等用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境212可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适 配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境212接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据ー个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境212。如此处所使用的，计算环境可以指的是单个计算设备或计算系统。计算环境可包括非计算组件。如此处所使用的，计算系统、计算设备、计算环境、计算机、处理器或其他计算组件可被互換地使用。例如，计算环境可包括图I所示的整个目标识别、分析和跟踪系统
10。计算环境可包括视听设备16和/或捕捉设备202。示例性的视听设备16或捕捉设备202中的任一个或两者可以是单独的、但耦合到计算环境的实体，或者可以是例如进行处理和显示的计算设备的一部分。由此，计算环境可以是包括可处理捕捉到的数据的处理器的独立捕捉设备。由此，捕捉设备202可被配备成不仅处理捕捉到的数据，而且分析并存储数据，将数据输出到屏幕，等等。如图I所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18之类的人类目标。例如，可使用捕捉设备202来跟踪用户18，使得可将用户18的姿势解释为可用于影响由计算机环境212执行的应用的控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用。系统10可以跟踪用户的身体以及用户的身体所作的运动，包括控制诸如应用、操作系统等系统的各方面的姿势。系统10可以将到捕捉设备202的输入转化成动画，该输入表示用户的运动，使得该动画由该输入来驱动。从而，用户的运动可映射到诸如化身等视觉表示，使得物理空间中的用户运动由该化身来模拟。捕捉并显示图像数据帧的速率可确定视觉表示的所显示的运动的连续性水平。图I描绘了在计算环境212上执行的、可以是用户18可能正在玩的保龄球游戏的应用的示例实施例。在该示例中，计算环境212可使用视听设备16来向用户18提供保龄球馆和保龄球道的视觉表示。计算环境212还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身19的视觉表示。目标识别、分析和跟踪系统10的计算机环境212和捕捉设备202可用于识别和分析用户18在其三维物理空间中做出的姿势，使得该用户的姿势可被解释为对游戏空间中的玩家化身19的控制。例如，如图I所示，用户18可在物理空间中做出打保龄球运动来使得玩家化身19在游戏空间中做出打保龄球运动。用户18的其他移动也可被解释为控制或动作，例如对行走、选择球、将化身定位在保龄球道上、扔球等的控制。多个用户可以从远程位置彼此交互。计算环境212可以使用视听设备16来提供另ー用户可以用他或她的移动来控制的玩家化身的视觉表示。例如，视听设备16上的另ー保龄球手的视觉表示可以表示另ー用户，诸如物理空间中的与该用户在一起的第二用户或第二物理空间中的联网用户。对于參与该系统的多个用户而言，各自佩戴沉浸式显示器或通过捕捉真实世界环境的显示来观看可能是有益的。例如，用户能够查看广阔的环境区域或者能够通过调整个人沉浸式显示器来聚焦于环境中的感兴趣的物体或事件。示例沉浸式显示器是包括捕捉设备和显示组件的头戴式部件(wearable head piece)。姿势可以在诸如图I所示的保龄球游戏示例等视频游戏专用上下文中使用。在诸 如驾驶游戏等另一游戏示例中，手和脚的各种运动可对应于在一方向上操控车辆、换挡、カロ速和刹车。玩家的姿势可被解释为对应于除了控制化身19之外的动作的控制，诸如用于在通用计算上下文中进行输入的姿势。例如，用户18的手或其他身体部位的各种运动可用于结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。虽然图I在视频游戏专用上下文中描绘用户，但可以构想目标识别、分析和跟踪系统10可解释用于控制游戏范围之外的操作系统和/或应用的各方面的目标移动。操作系统和/或应用的基本上任何可控方面都可以通过诸如用户18之类的目标的移动来控制。例如，用户姿势可对应于常见的系统级任务，如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。用户的姿势可以是适用于操作系统、游戏的非游戏方面、或非游戏应用的控制。例如，用户的姿势可被解释为对象操纵，例如控制用户界面。例如，考虑具有从左向右垂直排列的叶片(blades)或选项卡式界面的用户界面，其中对每个叶片或选项卡的选中将打开应用或系统内的各种控制的选项。该系统可以标识出用户的移动选项卡的手姿势，其中物理空间中的用户的手实际上与应用空间中的选项卡对齐。包括暂停、抓取运动以及然后的手向左扫动在内的姿势可被解释成对选项卡的选中、以及然后将其移开以打开下ー选项卡。图2A和2B示出了可捕捉物理空间201中所示的一个用户或多个用户的基于姿势的系统200的示例实施例。系统200可以从对应于对系统200的控制的捕捉到的数据中识别姿势。用户可使用姿势来管理信息的演示，或者多个用户可经由姿势来一起工作以便与所演示的信息协作。系统200可包括任何数量的计算环境、捕捉设备、显示器或其任意組合。图2A所示的系统200包括捕捉设备202、计算环境212和显示设备222。图2B所示的系统200表示具有多个计算环境212、213、214、捕捉设备202、203、204和显示器222、223、224的基于姿势的系统200。计算环境可以是多媒体控制台、个人计算机(PC)、游戏系统或控制台、手持式计算设备、PDA、移动电话、云计算机等，并且可包括或以其他方式连接到捕捉设备或显示器。捕捉设备、计算设备和显示设备可以包括执行所需功能的任何合适的设备，诸如參考上述图I或下述图3-8所描述的设备。图2A和2B两者都描绘了可涉及物理空间中的诸如用户260、261、262、263等多个用户的用于计算机管理的生产カ场景的示例。例如，物理空间可以是会议室，并且用户260、261、262、263可能參加会议或协调意见。还可构想远程用户可以从诸如沿着大厅的另ー个房间等第二位置，或者从诸如位于另一州的用户的家或办公室等甚至更远的远程位置与系统200交互。以下描述的图3描绘了允许本地和远程用户两者都经由基于姿势的系统来进行交互以便进行这ー场景中的计算机管理的联网环境的示例。
该上下文中的生产カ场景可以是可经由诸如图2A和2B所示的示例系统等基于姿势的系统200来管理的任何信息演示的形式。在一示例场景中，用户260、261、262、263可能正在开会，其中向显示器222显示演示应用的输出。信息演示可包括动画、图形、文本等，并且在文字处理格式、视频和/或音频演示、幻灯片放映、数据库应用、媒体播放器、图表(例如，流程图、饼图)、聊天、论坛、社区、即时消息收发、或任何其他形式的工作产品中演示。捕捉设备202可捕捉表示诸如用户260、261、262、263中的每ー个的姿势等用户姿势的数据。如图2A和2B所示，用户与系统200或该系统中的特定组件的距离可以是不同的，并且仍旧具有对该系统的各方面的控制。姿势可被识别为对信息演示的控制。姿势可控制基于姿势的系统的各方面。姿势可控制显示在屏幕上的任何东西，诸如向文档添加单词、向下滚动或在文档中翻页、跨越电子表格中的列、对三维图进行枢转或旋转、放大或缩小，等等。例如，考虑显示器222显示虚拟粉笔板或干式擦除板，用户的姿势可被识别成向屏幕绘制或写字母、在幻灯片放映中的幻灯片之间进行切換、暂停幻灯片放映等。用户可作出姿势以便向word文档添加着重号。姿势可结合音频命令或者音频命令可补充用户姿势。例如，用户可作出姿势以便向文档添加着重号，然后说出随后被添加到文档的、在着重号点之后的单词。系统可将添加着重号和音频的姿势的组合识别为添加着重号并且然后将说出的单词写到着重号之后的控制。因为用户可作出姿势以控制演示，所以用户在房间中来回走动具有很多灵活性。用户不被限于使用控制器或必须在计算环境上直接按下按钮。然而，可以构想对姿势的使用可以与对控制器/按钮的使用相结合以适应这两种类型的控制。除了包括例如身体运动的用户姿势之外，一些姿势可使用经由控制器输入的信息。出于示例性目的，图2A所示的示例信息演示的快照包括显示在屏幕上的图225。考虑诸如用户261等用户正向房间中的其他用户260、262、263和/或远程用户(未示出)演示信息。姿势可替换或补充对控制器的需求或对管理演示的类似需求。能够经由鼠标或点击器或激光器或话筒或其他外围设备完成的应用的一方面能够由姿势来完成。姿势可控制先前可能要求用户具有控制器的基于姿势的系统的任一方面。例如，姿势可控制在屏幕上显示光的虚拟激光器。用户可以用手指来作出姿势，而不是使用激光指示器通过将小的亮光点投影在显示器上来突出显示感兴趣的某ー东西。用户手指的移动可模拟激光指示器的移动，并且该系统可识别姿势并且在屏幕上显示对应于手指移动的光点；实际上不需要控制器。姿势还可控制不同的、或由于其他原因无法用控制器来控制的系统的各方面。例如，控制视觉表示的运动以直接对应于用户在物理空间中的运动是经由姿势可用的，而视觉表示的动画在需要控制器来进行输入时并不是用户姿势的直接转化。图2B示出了系统200的另ー示例实施例，该系统200可捕捉物理空间201中的用户并且将捕捉到的数据映射到虚拟环境中的视觉表示。类似于图2A，系统200包括捕捉设备202、计算环境212和显示设备222。然而，在该示例中，系统200还包括附加计算环境，诸如另一捕捉设备205以及分别与用户260、263相关联并位于离用户260、263的近距离内的计算环境213、214，以及分别与计算环境213，214相关联的捕捉设备203和204。基于姿势的系统中的各种设备或组件可以经由网络彼此进行信息交換，并且进行通信以共享信息。例如，捕捉设备202、203、204、205以及每ー个计算环境212、213、214可通过有线或无线连接来进行通信，诸如经由电缆连接、Wi-Fi连接或家庭无线网络。各个捕捉设备202、203、204、205可以彼此共享捕捉到的数据，或者中央计算环境可以聚集数据以便处理和解释数据。例如，计算环境212可以是存储和执行对物理空间中的多个用户260、261、262、263可见的演示应用的计算环境。计算环境212可以从系统中的其他组件接收捕捉到的数据，诸如直接从例如捕捉设备204或者从例如计算环境214接收数据。显示器222可以是在房间前部的主显示器，被选择成对即使不是房间中的所有用户，也是对大多数用户可见的大小。该显示器可以是诸如沉浸式设备等头戴式显示器。例如，头戴式显示器可以用人造可视环境来替换用户的视野。在另ー示例中，用户视野的仅仅一部分被人造环境替换。例如，头戴式显示器能够进行头部跟踪以便在用户视野的显示画 面上叠加信息。该显示器可取决于用户头部对准的方向来调整所显示的图像。例如，如果用户正在显示器上查看地图，则每一个用户的头戴式显示器都可包括表示用户正在查看哪里的放大部分。或者，用户可通过与他或她的个人显示器进行交互来不同于房间中的其他用户地在演示中导航。由此，虚拟环境的真实性可使得模拟的环境更吸引人，其中用户具有与虚拟现实的更真实和个性化的交互。附连到主显示器222的计算环境212可聚集来自捕捉设备202，203，204，205和计算环境213、214的数据，以分析在物理空间中捕捉到的数据的汇編。姿势可以从聚集的数据中识别并导致对基于姿势的系统的一方面的控制。提供基于姿势的系统中的组件之间的这ー通信的示例网络设置在以下參考图3更详细地描述。如图2B所示的示例所反映的，可以构想多个用户260、261、262、263可以经由联网的系统组件来进行交互。该系统使得多个组件能够组合其输入以应用姿势。由此，多个用户260、261、262、263可控制该系统的各方面。例如，具有用于捕捉触摸、深度、音频、视频等的不同能力的多个捕捉设备可以捕捉关于来自物理空间的多个用户260、261、262、263的数据。可聚集和处理捕捉到数据以代表多个用户控制系统的各方面。这使得多个用户能够经由姿势并经由系统来彼此交互,从而经由姿势来增强生产カ环境中的协作特性。參考图2B，考虑用户260、261、262和263正在开会并被捕捉设备205捕捉，其中用户260与另ー捕捉设备203相关联，而用户263与另ー捕捉设备204相关联。物理空间可以是诸如大型会议室等大空间，并且诸如用户263之类的用户可以远离捕捉设备205就座。然而，用户可以更靠近物理空间中的捕捉设备204，并且还可经由诸如显示器224或蜂窝设备(未示出)在更靠近的、更小的屏幕上查看共享的演示。计算环境212可执行演示应用并输出到多个显示器，诸如显示器222、223和224。可以分析来自任一捕捉设备的捕捉到的数据以便进行姿势识别，并因此联网的捕捉设备的视野内的任一用户都可经由姿势来控制显示在主显示器222上的演示。用户可通过对物理空间中的第二计算环境或捕捉设备作出姿势来控制共享演示的各方面。例如，用户可以对更靠近用户263的计算环境214作出小規模姿势。如果房间中的其他用户或诸如显示器224等物体遮挡例如捕捉设备205的视野，则该小規模姿势可能不由该捕捉设备捕捉。用户263的姿势可由捕捉设备204捕捉并由本地计算环境214处理或例如经由网络与计算环境212、213共享。在同一基于姿势的系统中联网的任何计算环境因此可以处理来自也在该基于姿势的系统中联网的任何数量的捕捉设备的捕捉到的数据。用户263的姿势可被识别为对在计算环境之间共享的演示的控制。由此，与第一捕捉设备/计算环境相关联的第一用户的姿势可控制第二计算环境的各方面。例如，用户260、263可经由姿势分别与近距离的计算环境213、214交互，并且相应的控制可以转换到系统中的其他计算环境，诸如主计算环境212或与该系统联网的其他个人计算环境。该用户的姿势可控制会话中的其他计算环境和/或姿势的结果可被呈现或以其他方式指示在其他每ー个人的显示器上。例如，用户263可以在与计算环境214的近距离处作出姿势。用户263的姿势可以有助于管理显示在主显示器222上的演示。近距离捕捉设备204可捕捉表示用户263的姿势的数据，并且计算环境214可采用姿势识别技术来从捕捉数据中标识姿势。姿势可控制与用户263相关联的计算环境214的各特定方面。姿势可以转化成对主计算环境212的控制。由此，用户能够相对于近距离设备和/或捕捉设 备作出姿势，并且具有就像他们相对于主计算系统作出姿势那样的相同效果。对附加捕捉设备和/或计算环境的使用可提供用于控制系统200的附加灵活性。例如，考虑其中用户坐在房间后部的大型会议室。在某些情况下，在房间前部的捕捉设备可能无法捕捉到坐在房间后部的用户。例如，在用户和捕捉设备之间可能存在视野遮挡，捕捉设备可能无法注册该用户，或者捕捉设备可能不具有标识用户或标识例如用户的访问级别的分辨率。用户能够对物理空间中的与系统联网的第二捕捉设备作出姿势，诸如更靠近用户的捕捉设备或与用户的个人计算环境相关联的捕捉设备。由此，基于姿势的系统能够以各种方式将多个用户集成到系统中以管理演示的各方面。在一示例实施例中，诸如在图2A和2B所示的示例场景中，可以存在管理信息演示的单个用户或主要用户。协作系统允许并鼓励经由姿势的观众參与以使得观众成员可控制该系统的各方面。诸如附连到显示器222的顶部的捕捉设备202或悬挂在墙上的捕捉设备205的单个捕捉设备或捕捉设备的组合可捕捉表示物理空间中的多个人的数据。多个人可作出姿势以控制单个应用，诸如在计算环境212上执行的应用。例如，如果应用是地图绘制程序并且各用户在一起工作以生成旅行计划，则各用户能够与该单个地图绘制程序交互以放大、摄全景等。因为多个用户能够经由姿势来提供控制该应用的各方面的输入，所以不必在房间中传递多个控制器。其他用户可加入房间并且他们也可使用姿势，而不必找到例如额外的控制器。该系统能够出于控制系统之外的其他目的被动地评估表示多个用户及其姿势的捕捉到的数据。例如，用户的姿势可能并非是用户为了控制系统的一方面而故意执行的，但仍然可以出于数据收集的目的而被标识。由此，可收集并记录姿势或关于姿势的信息。考虑物理空间中的多个用户260、261、262和263。该系统可以在显示器222上提出一个问题，或经由例如扬声器系统可听地传送该问题。该问题可由诸如用户261等可以向其他用户演示信息的用户来提示。该系统可标识多个用户响应于该问题而作出的运动，包括对应于姿势的那些运动。可收集该信息并实时地提供给诸如存储在存储器中的文件或显示器等输出。例如，系统可由于用户或系统提出的问题而轮询观众。问题可通过简单的是或否来回答，或者问题可包括多个可能的回答并且每ー个回答都可对应于一姿势。例如，问题可以是“多少人投票同意选项A”，并且“是”回答可由包括用户在空中笔直向上举手的姿势来表示。该系统可以从捕捉到的数据中检测举起他或她的手的每ー个用户以及没有举手的每ー个用户。该系统因此可以基于为每一个用户标识的姿势来对“是”响应的数量进行计数。由此，系统可提供即时轮询結果。
系统在演示期间识别出的姿势可触发该系统的后续动作。例如，系统可识别出两个用户之间的握手，并且该握手可被识别为房间中的两个用户之间的“介绍”姿势，其中该“介绍”姿势包括两个人握手。系统可标识每ー个用户，标识“介绍”姿势，并且自动将关于每ー个用户的联系信息记录在日志中，该日志在会议结束时被提供给每ー个用户。由此，通过对联系信息的汇编列表的访问，用户可具有关于该用户与其握手的每ー个人的联系信息。在会议期间记录的信息的另ー示例可以是对显示画面中的用户感兴趣的点的标识，其中对该信息的记录可通过姿势触发。例如，在会议期间，用户可作出姿势以指示该用户对演示中的特定屏幕截图或点感兴趣，并且系统可包括标识日志中的信息以使得用户能够在稍后容易地找到要查阅的信息。姿势可包括次要姿势，诸如手指轻击桌子或抬起手指。由此，在不中断演示流程的情况下，系统可基于每ー个用户的各种姿势来记录关于每ー个用户的数据。每ー个用户然后可访问特定于该用户的信息日志。其他动作可以在系统识别出姿势的情况下触发。例如，除了上述讨论的事件之外，考虑在会议期间发生的其他常见事件，诸如向会议參与者委派职责、拨打给远程用户、指示想要特定文档的副本的用户，等等。会议的一部分可包括向各个用户委派职责。系统或用户可请求或指定志愿者，并且识别出的用于指定用户的姿势可包括演示者指向志愿者或者志愿者举起他或她的手。系统可将该姿势识别为接受动作项，并且诸如在项目化列表或电子表格中将该用户与该动作项相关联。在另ー示例中，可以向用户提出诸如“你想要该文档的副本吗？”等问题，并且取决于房间中的“是”姿势的，系统可以自动生成电子邮件，包括与作出“是”姿势的每一个用户相关联的电子邮件地址，并将附加文档的电子邮件发送到每一个用户。动作能够实时发生，以使得用户可以在仍然在开会的同时获得对文档的访问权，或者可将动作放置在队列中以便系统在会议结束时采取动作。动作可触发系统中的硬件组件的动作。例如，如果用户举起他或她的手，则第一捕捉设备可接收并处理捕捉到的数据并将举起的手识别为指示该用户期望与系统交互的姿势。该第一捕捉设备可将指令提供给第二捕捉设备以便转向用户，以使得该用户在第二捕捉设备的视野内或者更好地聚焦于该用户。另ー姿势可以是将所演示的信息的一部分保存到存储器或诸如个人计算设备中的本地存储器等用户的本地存储器的指示，该个人计算设备是诸如与用户263相关联的计算环境214等计算设备。用户姿势可以是开灯、降低屏幕、打开显示设备等的指示。由于姿势而被触发的动作可由用诸如宏等简写格式表示的指令集来确定。由此，系统将由于特定姿势而采取的动作可以提前定义，诸如在会议开始之前。系统可具有由于特定姿势而实现的任何数量的宏，从而产生对用户可以是无缝的动作，诸如向日志添加信息或向演示者提供结果，或者这些动作对用户可以是已知的，诸如在接收到具有经由用户的姿势来请求的信息的电子邮件吋。宏可以与系统或应用预先打包在一起，或者这些宏可由用户定义。系统还可以按动态方式采取由于姿势而产生的动作。例如，用户可使用姿势和/或陈述的命令的组合并请求对通过电子邮件接收文档感兴趣的用户将手举在空中，并且然后陈述用于向所选用户发送电子邮件的命令。系统可响应命令和姿势的组合并将主题文档通过电子邮件发送到举手的每ー个用户。在另ー示例中，系统可收集关于用户在物理空间中的行为的数据。例如，演示者可能期望具有关于他或她的演示方法的有效性的反馈。例如，在演示期间，系统可采用脸部或身体识别技术来识别存在于物理空间中的各个用户的脸部特征/移动或身体姿态/移动。脸部特征/移动、身体姿态/移动或其组合可对应于指示用户的特定表情或情緒的姿势。系统可以向演示者提供信息以指示观 众成员的关注、留心或相关行为的级别。用户可使用该信息来标识在整个演示期间使用的有效演示方法。例如，如果系统收集到关于用户的指示一定比例的用户表现出无聊或不感兴趣的姿势并将该数据相关到用户在显示器上显示大量单词的时间，则该用户可使用该信息来指示显示大量单词对于这组用户而言不是有效的。然而，对于不同的观众，单词可能是适当的，诸如在观众成员正在评估文档中的单词吋。在另ー示例中，用户可使用动画和交互式技术并且系统可识别兴奋或积极的用户參与。由此，演示者可基于实时提供给用户的信息来在演示中针对用户定制演示，或者基于先前收集的数据来准备会议。系统可基于其对与演示情况相关的观众行为的检测来在演示期间向用户提供动态建议。例如，在演示期间，系统可以在多文本幻灯片期间标识无聊的姿势并建议用户跳过多文本幻灯片。系统可标识当用户在房间前部来回走动而不是坐在ー边时，用户获得更好的观众參与。系统可以在演示期间向用户提供这一信息，或者系统可随时间监视观众參与并生成向用户提供结果的报告。每ー用户參与，无论是演示信息、经由姿势与系统交互、观看演示、还是仅仅在捕捉设备的视野内演示，都可由视觉表示来表示。图2C描绘了可包括捕捉设备292、计算设备294和显示设备291的另ー示例基于姿势的系统200。例如，捕捉设备292、计算设备294和显示设备291各自可包括执行所需功能的任何合适的设备，诸如此处所描述的设备。在此示例中，深度相机292捕捉在其中存在多个用户260、262、263的物理空间293中的场景。深度相机292处理深度信息，和/或向诸如计算机294等计算机提供深度信息。深度信息可被解释以供显示用户260、262、263的视觉表示。例如，深度相机292或如所示的其所耦合到的计算设备294可向显示器291输出。视觉表示是通常采取ニ维(2D)或三维(3D)模型形式的计算机表示。物理空间293中的用户的视觉表示可以采取任何形式，诸如动画、角色、化身等。例如，视觉表示可以是化身，诸如图2C所示的分别表示用户260和263的化身295或296。视觉表示可以是指针、箭头或其他符号，诸如表示用户262的手符号297。在该示例中，猴子角色295表示用户260并显示类似于捕捉设备292捕捉到的用户260的身体姿态的身体姿态。表示用户263的化身296具有与用户263类似的身体特性，捕捉设备甚至分析用户263的衣服并应用于用户的视觉表示296。将视觉表示引入共享演示体验可通过给予用户在虚拟空间内的身份感来将另ー维度添加到体验。用户的视觉表示可被呈现在显示器上，并且会话中的其他用户的化身可被呈现在其他每ー个人的显示器上，从而产生同一虚拟空间中的ー组化身，即使各个用户可能在不同的物理空间中。可将会话中每个人的化身各自呈现在其他每个人的电视机、监视器上，从而得到看上去正在虚拟环境中交互的ー组化身。因为会话中的用户可包括远程和本地用户两者，所以显示器可呈现远程和本地用户两者的视觉表示，以使得所有用户都可基于每ー视觉表示的在场来标识其他參与者。每ー个用户都可由其自己的定制视觉表示来表示，诸如定制的化身或角色。用户的视觉表示可反映如由捕捉设备捕捉到的用户的特性。例如，捕捉设备可采用身体/脸部识别技术并将捕捉到的数据变换成像用户的视觉表示。由此，屏幕上的化身可以看上去像且行动上也像用户。物理空间293中检测到的用户的视觉表示还可以采取替换形式，诸如动画、角色、化身等。用户可以为了该用户的屏幕上表示从系统或应用提供的各种库存模型中进行选择。例如，用于可视地表示用户的库存模型可包括任何角色表示，诸如著名人物的表示、一块太妃糖或ー只大象。库存模型可以是虚幻角色(例如，龙、怪兽)或符号(例如，指针或手符号)。视觉表示可包括用户特征和动画的组合。例如，用户的视觉表示可以是诸如角色295等猴子角色，但穿着如在物理空间中捕捉到的用户的衣服或戴着像物理空间中检测到 的用户的眼镜。用户的脸部表情、身体姿态、所说的话语、或任何其他可检测的特性可被应用到视觉表示。库存模型可以是应用专用的，诸如与程序打包在一起，或者库存模型可以是跨应用可用的或在系统范围内可用的。用户姿势可导致对应于同该姿势相关联的控制的多媒体响应。例如，用户的视觉表示的动画可由于ー姿势而被呈现在显示器上。多媒体响应可以是诸如视觉表示的移动等动画、出现在屏幕上的文本消息、音频、静止图像、视频等中的任一个或组合。例如，如果执行文字处理应用的系统识别出的用户姿势包括下一页姿势，则对文字处理文档的控制可以是翻到文档中的下ー页。与执行姿势的用户相关联的视觉表示可以是例如具有与物理空间中的如由基于姿势的系统捕捉到和标识的用户眼镜类似的眼镜的大型卡通手。响应于用户的下一页姿势，大型卡通手可移动穿过屏幕并且看上去抓取文档一角，然后下拉以掲示文档中的下ー页。由此，不仅其他用户可基于观察对特定用户唯一的视觉表示的动画来知晓该用户已执行该姿势，而且动画增加了经由姿势控制系统的体验。用户能够可视化他或她的姿势的结果，并且其他用户能够可视化結果。用户可以更容易地确认姿势被系统适当地识别出并应用。多媒体响应可以是系统范围的，诸如显示出现在每一个其他用户的电视机或监视器上的动画。当用户使得他或她的化身用姿势表达时，姿势可被同时呈现在所有客户机位置处。类似地，当用户讲话或以其他方式产生音频事件(例如通过语音聊天)或文本事件(例如通过文本聊天)时，音频或文本可被同时呈现在所有客户机位置处。特定视觉表示可以与特定用户相关联。由此，每ー个用户可具有作为他或她自身的视觉表示的、可以将相关到该用户执行的姿势的动画付诸行动的化身。当系统显示特定视觉表示的动画时，用户和其他用户可辨别与特定视觉表示相关联的用户。由此，当用户姿势和视觉表示动画化以对应于同该姿势相关联的控制时，基于哪ー个视觉表示动画化来辨别哪ー个用户执行了姿势是可能的。在另ー示例实施例中，用户的视觉表示在用户之间可以是通用或共同的，而不具有区别特征。由此，从所显示的动画中得知哪ー个用户对应于特定视觉表示可能并非是始終可能的。在一示例实施例中，系统可存储表示所跟踪的用户的运动的信息，存储在运动捕捉文件中。系统可将来自特定运动捕捉文件的用户专用的运动应用于化身或游戏角色，以使得化身或游戏角色可以动画化以便以类似于用户运动的方式模拟运动。例如，运动捕捉文件可包括用户跳跃的方式的指示。当跳跃动画被应用于用户的视觉表示时，系统可以应用来自运动捕捉文件的跳跃以使得视觉表示模拟由系统捕捉到的用户的实际运动。在另一示例实施例中，捕捉文件包括在用户中是共同的通用运动。例如，来自运动捕捉文件的跳跃可以是通用的或与系统预先打包在一起的，以使得在由系统应用时视觉表示执行通用跳跃。多媒体响应可以是预定响应，诸如响应于特定姿势的身份实现的存储的动画或音频剪辑。多媒体响应库可包括表示如由系统识别出的用户姿势的选项。例如，多媒体响应库可包括预定或预先记录的且与特定姿势相关联的动画数据。或者，多媒体响应库可包括在识别出特定姿势时实现的各种选项，并且可基于各种情况来进行选择。例如，可以选择特定动画，因为该动画可应用于特定应用、特定用户、特定姿势、特定运动、技巧等级，等等。
在一示例性实施例中，应用于化身的动画例如可以是选自预先打包的动画库的动画，比如伴随着程序、应用或系统的动画。所选动画可以是与系统学习到的用户输入相对应的动画。在另ー示例性实施例中，库中的动画可以是由用户输入和记录到化身的动画词汇表中的动画。—些动画可以应用于用户的视觉表示，尽管该用户未执行ー姿势。例如，在推断出用户的身体语言之后，系统可以确定要应用到该用户的视觉表示以反映该用户性情的适当的动画。在另ー示例中，系统可检测在ー特定时间段内特定用户是空闲的或者未作出姿势。系统可动画化用户的视觉表示以反映该用户的空闲。例如，如果用户的视觉表示是猴子角色，则系统可应用动画，该动画包括该猴子角色抓取虚拟枕头并在该猴子附近显示“ZZZZZ”以暗示该猴子正在睡觉。在一示例实施例中，多媒体响应可包括与声音组合显示的预定化身动画。例如，当导致化身行走时，可以播放轻微的脚步声。在另ー示例中，当导致化身跑动时，可以播放沉重的脚步声。在另ー示例中，当导致化身侧移时，可以播放刮擦或滑动脚步声。在另ー示例中，当导致化身碰撞某一物体时，可以播放碰撞声。在另ー示例中，当化身导致某一物体落下或与另一物体相撞时，可以播放重的碰撞声。动画级别或动画量可取决于例如应用当前正在执行或观众的人ロ统计数据而变化。例如，正在庭审期间演示法律文档的应用可以不包括比用于教导关于操场上的安全性的对孩子的演示更多的动画。由此，可以存在由系统定义和/或由用户改变以对应于用户偏好的各种动画和级别。在一示例中，演示范例可以是其中存在以预定次序演示的ー组幻灯片的顺序幻灯片演示。在另ー示例中，应用可以按非顺序方式演示信息。例如，演示可包括幻灯片、图片、图像、文本等的汇编，并且演示可被组织成各章节。在演示期间，演示者可放大或缩小幻灯片放映中的各个幻灯片和幻灯片章节。可以不定义预定义次序。这ー非顺序演示的演示材料的显示可采取许多形式。例如，主屏幕可包括地图或大型流程图。用户可放大地图或流程图的不同部分，并且可以在屏幕上扩大对应于该部分的ー个或多个幻灯片。用户可以在地图或流程图上来回移动，而不必遵循任何预定义次序。考虑包括具有显示在屏幕上的许多门的走廊或房屋的演示格式。用户可以渐进地在门和门之间来回跳跃，进门等。用户可使用可缩放画布来演示幻灯片，该画布允许用户或来自观众的參与者从演示的一部分跳跃到另一部分，放大和缩小以及定义各章节。观众成员可经由姿势导航到演示的不同部分，并且如上所述，视觉表示可以与各种形式的演示风格交互。由此，演示可以是内容汇编，而不要求特定演示次序。用户能够经由视觉表示本质上进入虚拟世界并且经由姿势控制演示的各方面。由此，基于姿势的系统可显示资产画布以供讨论，并且用户可以实时地在该信息中导航。画布可包括大量信息，并且演示者可取决于观众来选择画布的各部分。画布或演示可包括比所演示的信息更多的信息，但因为灵活的格式，用户和/或演示者可选择可适用于讨论的信息章节。在一示例实施例中，诸如在图2A和2B所示的示例场景中，可以存在管理信息演示的单个用户或主要用户。例如，可能期望单个用户正在管理演示，而不具有来自观众成员的交互式控制。考虑如果用户260正在开会或教导ー个班级的学生一他或她可能想要单独控制演示。由此，单个用户可主持信息演示并且经由姿势控制信息演示，但房间中的其他用户的姿势可能无法控制信息演示。在另ー示例实施例中，多个用户能够控制系统的各方面。例如，可能期望多个演示者可控制系统的各方面，或者可能期望给予至少ー个观众成员控制 权。由此，ー队用户可经由单个或多个捕捉设备来共享对演示的控制以更好地启用协作。用户可共享控制演示的各方面的访问，具有有限的访问或不具有访问。例如，用户可以是例如主要用户，次要用户或观察用户。主要用户是具有控制系统的各方面的选项的任一用户。主要用户可具有向其他用户分发控制的选项。例如，主要用户可将房间中的第ニ用户指定为另ー主要用户、次要用户或观察用户。观察用户可以是能够与其他用户交互但不经由姿势控制系统的用户。次要用户可被授予控制系统的各方面的选项。次要用户可被给予临时控制，该控制一旦被授予就可以无限持续，或者该控制可以持续直到被取走。例如，主要用户可能正在演示信息，但最初不想要来自观众的交互。然而，在用户的演示结束吋，主要用户可以向观众成员请求评论和反馈。在一示例中，主要用户可选择特定用户并给予该用户临时访问以便在次要用户正在提供反馈时控制系统。次要用户可作出姿势以控制所显示的信息，诸如通过返回到文字处理文档中的前ー页、突出显示一章节或者在显示器上绘制虚拟线条(例如，圆圈和箭头)。由此，次要用户能够容易地经由姿势来与信息交互，这可提供对用户反馈的更高效且更好的理解。当完成时，主要用户可移除次要用户对控制的访问或者次要用户可放弃控制。对系统的控制可以在用户之间转移或者在多个用户之间共享。例如，经由姿势的控制的转移或共享提供了供用户管理信息的更容易的方式，而不需要传递控制器或不必靠近计算环境来控制演示的各方面。用户可以从他们的座位经由姿势与系统交互。不止ー个用户可以是主要用户，诸如存在多个演示者的情況。每ー个演示者都可控制演示的特定方面，以使得在他们可能共存时，所演示的内容可以是专用的并可由特定用户访问。在另ー示例中，主要用户可开放发言权以获得来自任何用户的反馈，由此向次要用户提供对房间中的任何用户的访问。主要用户可经由诸如參与的任何用户等任何參与者的姿势来促进对信息控制的访问。例如，在演示结束时，主要用户可以向系统发出命令以使得该系统处理并识别房间中的任何用户的姿势并将该姿势转化成控制。在另ー示例中，系统可识别对控制的请求，并确定是否同意该请求。例如，请求控制的姿势可包括用户将手臂笔直向上举在空中。系统可识别观众成员执行的姿势。系统可指示用户已经经由姿势请求控制。系统可以在识别出请求控制的姿势时向用户提供对控制该系统的各方面的访问，或者系统可以等待直到主要用户授权给予次要用户控制。
在另ー示例中，系统可以诸如经由演示者设置的设置来被指示为等待直到演示中的特定时刻以便向次要用户提供任何访问。例如，在允许其他用户具有控制之前，系统可被指示为等待主要用户请求反馈，这可由供系统识别的姿势来指示。然而，与此同时，系统可通过标识作出请求控制的姿势的每一个用户来生成用户请求的队列。然后，当主要用户准备好来自观众的反馈时，系统可显示队列以指示用户请求控制的次序。系统可标识作出请求的用户的姿势的其他情况，诸如当前信息演示。例如，在主要用户正在演示时，观众成员可作出请求控制的姿势，以指示该用户期望给予反馈和/或具有对系统的控制权。如上所述，系统可识别该用户的姿势并在队列中标识该用户，而不是此时给予该观众成员控制权。当主要用户请求反馈时，系统可以不仅指示该用户的请求，而且可以返回到演示中该用户作出姿势的时间点。由此，系统可以自动返回到用户作出姿势时的显示画面。注意，数据可由用户在其视野内的任何捕捉设备捕捉，并且与该捕捉设备联网的任何计算环境可以对捕捉到的数据采用姿势识别技木。例如，主计算环境210可以对捕捉设备205捕捉到的数据采用姿势识别。在另ー示例中，与特定用户相关联的计算环境可识别姿势。例如，用户263可以与计算环境214交互并且捕捉设备204可捕捉表示用户263的姿势的数据。用于对系统进行相同控制的姿势可以变化。在上述示例中，用户可通过经由完全伸展手臂举手来作出请求控制的姿势。然而，用于请求控制的姿势可以是小规模姿势，诸如手指或手运动。可定义姿势以限制演示流程中的中断。姿势可取决于用户与其交互的计算环境而变化。例如，图2B中的用户263可以与计算环境214进行小規模交互，并且可应用用户或计算环境专用的姿势。用户可具有在例如该用户的个人计算环境或蜂窝电话上可用的一组定义的姿势数据。用户由此可以取决于该用户的个人偏好来以独特的方式作出姿势。对用户的访问级别的指定可经由多个可用源来授予，诸如由物理空间中的另ー用户或应用的管理员、系统本身，等等。例如，系统可捕捉物理空间中的数据。系统可以从捕捉数据中标识物理空间中的所有四个用户260、261、262、263。系统可以简单地标识人类目标在物理空间中，或者系统能够基于例如身体/脸部识别技术来标识特定用户。系统可以为每ー个用户指定特定访问级别。系统可单独基于在场或基于用户在物理空间中的位置来指定用户的访问级别。例如，系统可分析图2A和2B所示的捕捉设备202捕捉到的数据，并从捕捉到的数据中标识人类。物理空间中检测到的每ー个用户都可以被默认指定为具有特定访问级别。例如，仅基于在场的用户访问级别可被默认设置成次要用户访问。系统可基于用户在房间中的位置来标识用户的访问级别。例如，房间的特定部分中的就座的一个或多个用户或例如孩子可被默认指定为观察用户。可修改对用户访问级别的指定。用户的指定可以是动态的，改变的以反映用户的活动。例如，当用户正在说话时，系统可聚焦于正在说话的用户以便进行姿势控制。具有多个參与者的各种场景可以各自具有不同的需求，并由此此处描述的各种特征对ー场景可以是唯一的并且包括任何变化的特征组合。例如，来自此处描述的示例方法的第一方法或用于标识物理空间中的主要用户的这样的类似方法可能对于第一场景更加适合，但用于选择主要用户的第二方法可能在另ー场景中更加适合。类似地，访问级别可取决于任何数量的特性而变化，诸如应用、会议类型、用户类型、所演示的信息的类型、甚至ー天中的时间或房间中的光照。在另ー示例中，用户可以登录到系统并且该用户的身份可以与特定访问级别相关联。例如，信息演示的创建者可被 关联为主要用户，并且在标识出物理空间中的创建者吋，系统可将目标指定为主要用户。系统检测到的其他用户可被给予次要用户指定。或者，将成为主要用户的演示的观众的用户可以登录到系统并在登录时被给予指定。或者，主要用户可以为会议的參与者定义访问级别。用户简档可指示该特定用户的适当访问级别。例如，系统可具有用户简档信息的数据库(例如，身体或脸部特征数据)，并且可将用户相关到用户简档。系统可基于用户简档或基于如从捕捉到的数据中标识的身体特性来标识特定用户。例如，系统可分析捕捉设备202捕捉到的数据并采用身体/脸部识别技术来标识特定用户。如果ー用户的用户简档不存在，则系统可创建ー个用户简档。用户简档可提供对系统将要采用的该用户的访问级别的指示。作为主要用户、次要用户或观察用户的用户指定可以是永久指定。或者，指定可以改变或被改变。此外，可修改每ー访问级别的设置/限制/約束。例如，次要用户可具有控制系统的各方面的访问，但可以不具有向其他用户授予控制权的授权。然而，设置可被修改以使得次要用户可向其他用户授予访问。系统或应用可基于默认信息来设置访问级别，或者可以为ー场景专门定义级别。如上所述，用户可执行一姿势以指定另ー用户的访问级别。姿势还可适用于控制或管理信息演示的各方面。例如，如果演示以文字处理应用的形式执行，则用户可作出姿势以便在文档中前进或后退ー页。姿势可以适用于突出显示文档的一方面和/或在屏幕上放大该方面以供具有对所显示的演示的访问的用户进行更靠近的分析。视觉表示可对应于共享对系统的控制的方法。例如，如果对系统的控制从ー个用户转移到下ー个用户，则视觉表示可保持不变，但转换与其相关联的用户以对应于获得控制权的用户。在另ー示例中，每ー个用户都可具有与他或她相关联的视觉表示，如上所述。系统可通过与用户的视觉表示相关的某一指示来指示哪些用户当前具有控制权。例如，不具有控制权的用户的视觉表示可以从显示画面中变灰或淡出。在另ー示例实施例中，只有当前正在作出姿势的用户的视觉表示才被显示和/或动画化。对控制权的指定可经由姿势完成。例如，主要用户可以按特定方式作出姿势以给予次要用户控制系统的各方面的选项。考虑诸如图2B中的用户260等主要用户向诸如用户261、262、263等一组用户进行演示。主要用户可使用姿势来管理信息演示，诸如改变显示画面、在屏幕上来回移动物体、虚拟地在屏幕上绘图、突出显示文档的章节，等等。系统可访问或以其他方式存储不需要是用户专用的简档，但这些简档可能包括关于不同风格的信息。例如，风格简档可包括适用于演示类型、演示者类型、观众类型等的姿势信息。可以设置偏好或者可以包括定义应用于每ー风格的姿势的默认信息。用户可选择要为特定演示实现的风格简档的类型。例如，如果演示者是为ー个班级学生教音乐的作曲家，则姿势可以是张大的、大幅度姿势。然而，如果演示者是具有矜持姿势的图书资料员，则演示者可选择包括较小規模的运动的姿势。考虑可能存在于向ー组潜在客户演示游戏信息的销售人员和在庭审期间向陪审团演示信息的律师之间的差异。销售人员可能希望以可具有有趣语调的娱乐方式进行演示。由此，适用于该演示的风格简档可以是具有较大的大幅度运动的简档，而风格简档可指示应显示具有高动画水平的视觉表示。然而，在庭审的示例中，风格简档可包括较小的姿势和最少的动画。
如上所述，远程计算环境可通过网络共享资源，包括应用以及经由来自各自物理空间中的用户的输入的对系统的控制。由此，远离图2A和2B所示的物理空间201的用户可通过在该用户的本地物理空间中作出姿势来控制系统200的一方面。经由网络，对于远程用户是本地的计算环境可以经由网络与其他远程或本地计算环境共享信息，从而使得远程用户能够经由姿势控制与系统联网的其他计算环境的一方面。由此，如果例如应用正在远程系统上执行，则可处理和分析用户姿势以控制远程系统的各方面。图2D和2E描绘了可包括捕捉设备202、计算设备212和显示设备222的系统200。例如，捕捉设备202、计算设备212和显示设备222各自可包括执行所需功能的任何合适的设备，诸如此处所描述的设备。图2D和2E分别从侧视图和俯视图描绘了示例目标识别、分析和跟踪系统，以及用户265经由定点聚焦功能进行交互的示例实施例。该示例将控制示例描绘成与用户的视角相关。用户可以经由定点姿势与系统交互，其中该系统具备定点和聚焦功能两者的能力。換言之，该系统对用户定点姿势的分析可以是多维的，考虑用户的视线和手运动以确定该用户在屏幕上的焦点。捕捉设备202例如可以跟踪用户的手位置以确定用户的头对准的方向。捕捉设备可具有跟踪用户的实际眼睛运动的保真度，以检测用户眼睛的对应于屏幕上的位置的视线。系统还可跟踪用户的手、手臂和手指运动，诸如跟踪用户的手、手臂或手指在物理空间中的位置变化。系统可分析该运动并确定用户的身体部位与屏幕上的预期兴趣点之间的视线。通过用手/手臂/手指坐标来跟踪头/眼睛视线，系统允许用户用更自然和本能的运动来作出运动或姿势，其中用户指向屏幕上的特定位置，系统可使用来自捕捉设备的关于该用户的附加输入来确定屏幕上的感兴趣的位置。系统可以在屏幕上显示表示该系统对用户指向哪里的解释的指针或某一其他符号。图3是可结合所公开的用于增强生产カ场景的技术的示例性联网或分布式系统300的示例。当然，实际网络和数据库环境可以按各种配置来安排；然而，这里示出的示例环境提供用于理解在其中实施例可以操作的环境类型的框架。系统300可包括计算环境302、304、306、308和捕捉设备312、314、316的网络。这些实体302、304、306、308、312、314和316中的每ー个都可以包括或利用程序、方法、数据存储、可编程逻辑等。用户322、324、326和328被示为本地地分别与计算环境302、306、304相关联。在此处公开的各实施例中，一组用户可复制与其他用户开会的真实世界体验以便在会议类型的设置中进行协作。体验可在其中用户处于不同物理位置且经由网络进行通信的虚拟世界中被复制。用户位置处的显示器可呈现表示该组用户的化身。计算环境302、304、306和308以及捕捉设备312、314和316可通过网络250通信。网络250可表示任何数量或类型的网络，以使得在相同或不同位置的计算环境302、304、306,308可经由任何类型、数量的网络或其组合来联网。网络250可以是被安排成消息可以通过任何数量的链接或节点从网络的ー个部分传递至另ー个部分的任何网络。例如，根据当前所公开的主题的一方面，每ー实体计算环境、捕捉设备和显示设备都可以包含可使用API或其它对象、软件、固件和/或硬件来请求其它计算环境、捕捉设备和显示设备中的一个或多个的服务的离散的功能程序模块。与任何数量的相应的本地计算环境相关联的任何数量的用户都可经由网络250访问同一应用。由此，通过经由网络250来进行通信，任何数量的用户可以经由姿势与多个其他用户交互。例如，在第一位置执行的姿势可被转化并映射到包括第一位置的多个位置处的显示器。该网络250本身可以包括向此处描述的基于姿势的系统提供服务的其它计算实体，且其本身可以表示多个互连的网络。网络250可包括例如内联网、互连网络、因特网、个人区域网(PAN)、校园网(CAN)、局域网(LAN)、广域网(WAN)、计算机网络、游戏网络等。网络250还可表示连接网络中的各个设备的技术，诸如光纤、公共交换电话网络(PSTN)、蜂窝电话网络、全球Telex网络、无线LAN、以太网、电源线通信等。计算环境可以通过有线或无线系统、本地网络或广泛分布的网络连接在一起。任何合适的无线接ロ都可用于网络通信。例如，无线链接可以根据以下协议GSM、CDMA、UMTS、LTE、WIMAX、WIFI、ZIGBEE或其组合。网 络可包括云或云计算。例如，云基础结构可包括通过数据中心传递并构建在服务器上的多个服务。这些服务可以在提供对联网基础结构的访问的任何地方访问。云对于用户可以看上去是单个接入点，而基础结构对客户机可以不是可见的。如上所述，计算环境可以是用于处理捕捉设备接收到的数据的任何合适的设备，诸如专用视频游戏控制台或更一般的计算设备，诸如蜂窝电话或个人计算机。出于示例性目的，计算环境308是服务器，计算环境306是移动手持式计算设备，而计算环境302和306表示任何类型的计算环境。在这些示例中，诸如捕捉设备312、314和316等捕捉设备可捕捉用户存在于其中的物理空间中的场景。诸如用户322、324、326和328等用户可以分别在位置#1、#3和#4的捕捉设备312、314和316的捕捉视野内。每ー捕捉设备都可捕捉表示用户在该位置的姿势的数据。每ー个位置的捕捉设备都可以经由有线连接、无线连接和/或经由网络连接来连接到本地计算环境。例如，在位置#1，捕捉设备312被示为经由线缆304连接到计算环境302。有线连接可包括将捕捉设备耦合到计算环境的电缆，诸如S视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等。捕捉设备可以适用于直接插到计算环境中，或者可以按其他方式结合到能够处理捕捉数据的计算环境中。捕捉设备可将捕捉到的数据提供给计算环境以供处理。计算环境可以对数据采用姿势识别技术，其中用户可作出姿势以控制基于姿势的系统的各方面，包括计算环境或应用的各方面。在一示例实施例中，捕捉设备本身可以是能够处理捕捉到的数据的计算环境。例如，任何捕捉设备312、314、316都可具有诸如处理器等用于处理捕捉数据并采用姿势识别技术的能力。例如，在位置#2，捕捉设备314被示为结合到手持式计算设备304中。每ー个计算环境302、304、306、308和对应的捕捉设备被示为在各个位置，即位置#1、位置#2、位置#3和位置#4。如此处所使用的，位置是包括系统的各个部分可位于其中的任何位置的宽泛术语。例如，位置#1，#2，#3, and#4可以是彼此非常靠近的，诸如在房屋中的不同房间，彼此非常远离，诸如在不同的州，或其任何组合。各个位置可以指相同、一般、本地位置中的特定位置。例如，每ー个位置#1、#2、#3和M可以指系统的组件在诸如会议室等一般位置中的特定位置。系统300的各个部分可以诸如经由网络250来进行本地或远程通信。例如，考虑可被发现为适应工作环境的联网系统。例如，位置#1和位置#3可表示相同的会议室，以使得计算环境302、306和捕捉设备312、314在相同的房间中。本地设备可经由本地连接，诸如经由网络250，来连接。位置#2可以是远程位置，以使得远程服务器308可以在远程位置维护。并且计算环境304可以是用户在家工作的居所并且经由家庭网络连接登录到网络250。由此，可以构想位置指的是用于捕捉或处理姿势数据的设备可位于其中的任何位置。在另ー示例中，考虑其中远程用户连接到在服务器308处主存的游戏服务的游戏网络。 每ー个位置#1、#3和M的远程用户可经由网络250连接并且可以彼此玩同一个游戏。在另ー示例中，位置可以是本地的，其中本地用户可以在同一房间中的各自计算环境上工作并且通过局域网250来彼此交互。捕捉设备可将捕捉到的数据提供给计算环境以供处理。计算环境可以对数据采用姿势识别技术，其中用户可作出姿势以控制基于姿势的系统的各方面，包括计算环境或应用的各方面。在一示例实施例中，捕捉设备本身可以是能够处理捕捉到的数据的计算环境。例如，任何捕捉设备312、314、316都可具有诸如处理器等用于处理捕捉数据并采用姿势识别技术的能力。例如，在位置#2，捕捉设备314被示为结合到手持式计算设备304中。在位置#1，捕捉设备312被示为经由线缆305连接到计算环境302，但还可经由与网络250的连接251来与本地计算环境通信。例如，在相同的位置#1的捕捉设备312和计算环境302可以是家庭无线网络250的一部分。捕捉设备312可捕捉表示用户322的姿势的数据并通过家庭无线网络250将该数据提供给计算环境302。由此，捕捉设备312和计算环境302可以是在不同的房间，例如在更一般的位置，即位置#1。例如，计算环境302可以是家庭无线网络250中的中央计算环境302，并且可位于诸如办公室等一个房间中。捕捉设备312和显示器303可位于另一房间中，诸如家里的媒体或游戏房。捕捉设备312可以与计算环境302联网以使其能够捕捉用户322的数据，将该数据提供给计算环境302以供处理，并接收从计算环境到显示器303的输出。类似地，计算机环境或捕捉设备可以输出到对于计算环境或捕捉设备中的任ー个或两者是本地或远程的显示器。例如，在位置#1，计算环境302被示为具有显示组件303。然而，可以构想，类似于捕捉设备304，显示器303可经由有线连接、无线连接和/或经由网络连接来连接到计算环境302。由此，显示组件303可以是例如家庭无线网络250的一部分，并且经由线缆或经由网络250从捕捉设备304接收供显示的输出。联网系统的组件可以在一位置内本地地共享信息或跨位置远程地共享信息。在一示例实施例中，本地计算环境302从捕捉设备312接收表示用户322的数据。计算环境302可输出到本地显示器，诸如计算环境302的显示组件303或以其他方式连接到计算环境302的另ー显示设备。计算环境302可以另选地或者也将数据提供给远程计算环境或远程显示组件以供显示。例如，计算环境302可以通过网络250与计算环境316通信。计算环境306可以从计算环境302接收数据并将用户322的姿势映射到对计算环境306是本地的显示组件 307。在另ー示例实施例中，捕捉设备312可通过网络250提供数据以供诸如计算环境304、306或308等远程计算环境来分析或显示。由此，对用户是远程的计算环境可处理由对用户322是本地的捕捉设备312捕捉的数据，但在远程计算环境处显示该用户的视觉表示。存在支持分布式计算环境的各种系统、组件和网络配置。例如，计算系统可以通过有线或无线系统、本地网络或广泛分布的网络连接在一起。目前，许多网络被耦合至因特网，后者从而为广泛分布的计算提供基础架构并涵盖多个不同的网络。无论是否被耦合至因特网，任何这样的基础架构都可以用于所提供的系统和方法。网络基础架构可以允许诸如 客户机/服务器、对等或混合体系结构等各种网络拓扑结构的主机。“客户端”是使用与其无关的另ー类或组的服务的ー类或组中的成员。在计算中，客户端是进程，即大致上是请求由另ー程序提供的服务的ー组指令或任务。客户端进程使用所请求的服务，而无需关于其他程序或服务本身的任何工作细节。在客户端/服务器体系结构中，尤其在联网系统中，客户端通常是访问另ー计算机(例如，服务器)所提供的共享网络资源的计算机。取决于环境，任何实体302、304、306、308、312、314和316可被认为是客户机、服务器或两者。并且，此外，关于娱乐控制台，它可以是对于服务器的客户机。服务器通常，但不必须是可通过诸如因特网等远程或本地网络访问的远程计算机系统。客户端进程可在第一计算机系统中活动，而服务器进程可在第二计算机系统中活动，它们通过通信介质相互通信，由此提供分布式功能并允许多个客户端利用服务器的信息收集能力。任何软件对象可以跨多个计算设备或对象分布。客户机和服务器利用由协议层提供的功能来彼此通信。例如，超文本传输协议(HTTP)是结合万维网(WWW)，Srweb”使用的常见协议。通常，诸如网际协议(IP)地址等计算机网络地址或诸如统ー资源定位器(URL)等其它引用可以用于彼此标识服务器或客户计算机。网络地址可以被称为URL地址。可以通过通信介质来提供通信，例如客户机和服务器可以通过TCP/IP连接来彼此耦合以进行大容量通信。由此，可以构想位置指的是用于处理或捕捉姿势数据的设备可位于其中的任何位置。在另ー示例中，考虑其中远程用户连接到在服务器308处主存的游戏服务的游戏网络。每ー个位置#1、#3和M的远程用户可经由网络250连接并且可以彼此玩同一个游戏。在另ー示例中，位置可以是本地的，其中本地用户可以在同一房间中的各自计算环境上工作并且通过相同的系统组件或通过局域网来彼此交互。如此处所使用的，对系统的引用可以是对图2A-3所示的系统200中的任ー单个部分、其任何组合或能够执行类似功能的任何附加组件或计算环境的应用。例如，计算设备302可以提供參考图I所示的计算设备212或以下參考图8描述的计算机的功能。可以构想诸如来自

图1-2C的210、212、213、214等此处描述的计算环境或来自图3的计算环境302、304、306、308中的任一个可被配置为诸如參考图I描述的目标识别、分析和跟踪系统10的目标识别、分析和跟踪系统，并且计算环境中的任一个可采用用于姿势识别、缩放或转化的技木。如图1、2A-2E和3所示，计算环境210，212，213，214可包括显示设备或可以按其他方式连接到显示设备。计算环境可包括其自己的相机组件，连接到独立捕捉设备，或者可以连接到具有诸如捕捉设备202等相机组件的设备。例如，计算环境212可以耦合到可以从物理空间捕捉数据的捕捉设备202或以其他方式从捕捉设备202接收用户204的姿势信息。考虑到可以根据此处提供的通用架构构建的各种计算环境，以及在诸如图3的网络环境中的计算中可能发生的进ー步变化，此处提供的系统和方法不能被解释为以任何方式限于某ー特定的计算体系结构或操作系统。相反，当前所公开的主题不应限于任何单个实施例，而是应该根据所附权利要求书的广度和范围来解释。最后，应当注意，此处描述的各种技术可以结合硬件或软件，或在适当时以两者的组合来实现。因此，当前所公开的主题的方法、计算机可读介质、以及系统或其特定方面或部分可采取包含在诸如软盘、⑶-ROM、硬盘驱动器或任何其它机器可读存储介质等有形介质中的程序代码(即，指令)的形式，其中当程序代码被加载到诸如计算机等机器内并由其执行时，该机器成为用于实现本主题的装置。在程序代码在可编程计算机上执行的情况下，计算环境通常可以包括处理器、该处理器可读的存储介质(包括易失性和非易失性的存储器和/或存储元件)、至少ー个输入设备、以及至少ー个输出设备。可例如通过使用数据处理API等来利用本发明的域专用编 程模型的创建和/或实现的各方面的一个或多个程序较佳地用高级过程语言或面向对象的编程语言来实现以与计算机系统通信。然而，如果需要，该程序可以用汇编语言或机器语言来实现。在任何情形中，语言可以是编译语言或解释语言，且与硬件实现相结合。图4示出了可用于目标识别、分析和跟踪的捕捉设备202的示例性实施例，其中该目标可以是用户或物体。根据ー示例实施例，捕捉设备202可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉带有包括深度图像的深度信息的视频，该深度信息可包括深度值。根据ー个实施例，捕捉设备202可以将所计算的深度信息组织成“Z层”，或与从深度相机沿其视线延伸的Z轴垂直的层。如图4所示，捕捉设备202可包括图像相机组件22。根据ー个示例性实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可以包括所捕捉场景的ニ维(2-D)像素区域，其中2-D像素区域中的每个像素都可表示深度值，比如例如所捕捉场景中的对象距相机的以厘米、毫米等为单位的长度或距离。如图4所示，根据ー示例性实施例，图像相机组件22可以包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备202的IR光组件24可将红外光发射到场景上，并且随后可使用传感器(未示出)、用例如3-D相机26和/或RGB相机28来检测从场景中的一个或多个目标和物体的表面反向散射的光。在一些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备202到场景中的目标或物体上的特定位置的物理距离。附加地，在其他示例性实施例中，可以将出射光波的相位与入射光波的相位相比较来确定相移。该相移然后可以用于确定从捕获设备202到目标或物体上的特定位置的物理距离。根据另ー示例性实施例，可以使用飞行时间分析来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的強度来间接地确定从捕捉设备202到目标或物体上的特定位置的物理距离。在另ー示例性实施例中，捕捉设备202可以使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案或条纹图案之类的已知图案的光)可以经由例如IR光组件24被投影到场景上。在落到场景中的一个或多个目标或物体的表面上以后，作为响应，图案可以变为变形的。图案的这样的变形可以被例如3-D相机26和/或RGB相机28捕捉，并且随后可被分析以确定从捕捉设备202到目标或物体上的特定位置的物理距离。
根据另ー实施例，捕捉设备202可包括可以从不同的角度观察场景的两个或更多个在物理上分开的相机，以获取可以被解析以生成深度信息的视觉立体数据。在另ー示例实施例中，捕捉设备202可使用点云数据(point cloud data)和目标数字化技术来检测用户的特征。捕捉设备202还可以包括话筒30或话筒阵列。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据ー个实施例，麦克风30可以被用来減少目标识别、分析，及跟踪系统10中的捕捉设备202和计算环境212之间的反馈。附加地，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境212执行的诸如游戏应用、非游戏应用等之类的应用。在一示例性实施例中，捕捉设备202还可包括可与图像相机组件22可操作地通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。例如，计算机可读介质可包括用于接收场景数据的计算机可执行指令，其中该数据包括表示物理空间中的目标的数据。指令包括用于如此处所描述的姿势简档个性化和姿势简档漫游的指令。捕捉设备202还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、3-D相机26或RGB相机28所捕捉的图像或图像的帧、或任何其他合适的信息、图像等等。根据ー示例性实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图4所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的単独的组件。根据另ー实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。如图4所示，捕捉设备202可经由通信链路36与计算环境212进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802. Ilb,802. llg、802. Ila或802. Iln连接等的无线连接。根据ー个实施例，计算环境212可以经由通信链路36向捕捉设备202提供时钟，该时钟可用于确定何时捕捉例如场景。附加地，捕捉设备202可以通过通信链路36向计算环境212提供由例如3_D相机26和/或RGB相机28捕捉到的深度信息和图像、以及可以由捕捉设备202生成的骨架模型。计算环境212然后可使用该骨架模型、深度信息和捕捉的图像来例如控制诸如游戏或文字处理程序之类的应用。例如，如图4所示，计算环境212可包括姿势库192。如图所示，在图4中，计算环境212可包括姿势库192和姿势识别引擎190。姿势识别引擎190可包括姿势过滤器191的集合。过滤器可包括可识别姿势或以其他方式处理深度、RGB或骨架数据的代码和相关联的数据。每个过滤器191都可包括一并定义姿势和该姿势的參数或元数据的信息。例如，包括一只手从身体背后到经过身体前方的运动可被实现为包括表示用户的ー只手从身体背后到经过身体前方的移动的信息的姿势过滤器191，该移动将由深度相机来捕捉。然后可以为该姿势设置參数。在姿势是投掷的情况下，參数可以是该手必须达到的阈值速度、该手必须行进的距离(要么为绝对的、要么相对于用户的整体大小而言)、以及识别器引擎对发生了该姿势的置信度评级。用于姿势的这些參数可以因应用而异、因单个应用的各上下文而异、或者在一个应用的ー个上下文内随时间变化。尽管构想了姿势识别引擎190可包括姿势过滤器的集合，其中过滤器可包括表示用于处理深度、RGB或骨架数据的代码或以其他方式表示用于进行这样的处理的组件，但对过滤器的使用不g在将分析限于过滤器。过滤器是分析系统所接收的场景的数据，并将该数据与表示姿势的基本信息进行比较的示例组件或代码部分的表示。作为分析的结果，系统可产生对应于输入数据是否对应于姿势的输出。表示姿势的基本信息可被调整为对应于代表用户的捕捉运动的数据历史中重复出现的特征。例如，基本信息可以是如上所述的姿势过滤器的一部分。但是，构想了任何合适的用于分析输入数据和姿势数据的方式。在一示例实施例中，姿势可被识别为进入修改模式的触发，在修改模式中，用户可修改该用户的姿势简档中的姿势參数。例如，姿势过滤器191可包括用于识别修改触发姿 势的信息。如果识别到修改触发姿势，则应用可进入修改模式。修改触发姿势可在应用之间、在系统之间、在用户之间等变化。例如，网球游戏应用中相同的姿势可能不是保龄球游戏应用中相同的修改触发姿势。可将由相机26、28和设备202捕捉的骨架模型以及与其相关联的移动的形式的数据与姿势库192中的姿势过滤器191进行比较来标识用户(如骨架模型所表示的)何时执行了ー个或多个姿势。由此，到诸如过滤器191之类的过滤器的输入可以包括诸如关于用户的关节位置的关节数据，如关节处相交的骨骼所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。如所提到的那样，可以为姿势设置參数。来自过滤器191的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及姿势发生的时间之类的内容。计算环境212可以包括处理器195，处理器195可处理深度图像来确定场景中有什么目标，如房间中的用户18或物体。这例如可以通过将深度图像的共享相似距离值的像素编组在一起来实现。该图像也可被解析以产生用户的骨架表示，其中标识出诸如关节以及关节间流动的组织之类的特征。存在骨架映射技术，其使用深度相机来捕捉个人，并从中确定如下各项该用户骨架上的多个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括将图像变换成人的人体模型表示以及将图像变换成人的网格模型表
/Jn o在实施例中，处理是在捕捉设备202本身上执行的，并且深度和色彩(其中捕捉设备202包括3D相机26)值的原始图像数据经由链路36被传送给计算环境212。在另ー实施例中，处理由耦合到相机402的处理器32来执行，并且然后经解析的图像数据被发送给计算环境212。在又一实施例中，原始图像数据和经解析的图像数据二者都被发送给计算环境212。计算环境212可以接收经解析的图像数据，但是它仍然可以接收原始数据以用于执行当前过程或应用。例如，如果场景的图像经过计算机网络被传送给另ー用户，则计算环境212可以传送原始数据以供另ー计算环境处理。计算环境212可使用诸如图4所示的姿势库192和姿势简档205来解释骨架模型的移动并基于移动来控制应用。计算环境212可以例如以诸如显示设备193之类的显示器上的化身或指针的形式来对用户的表示进行建模和显示。显示设备193可包括计算机监视器、电视机屏幕、或任何合适的显示设备。例如，相机控制的计算机系统可捕捉用户图像数据，并在电视机屏幕上显示映射到用户的姿势的用户反馈。用户反馈可以如图I中所示那样被显示为屏幕上的化身。化身的运动可直接通过将化身的移动映射到用户的移动来控制。用户的姿势可以被解释来控制应用的某些方面。根据ー示例性实施例，目标可以是处于诸如站着或坐着等任何姿势的人类目标、具有物体的人类目标、两个或更多人类目标、一个或多个人类目标的ー个或多个附加物等，所述目标可被扫描、跟踪、建模和/或评估以实现如下各项生成虚拟屏幕、将用户与ー个或多个所存储的简档进行比较、和/或在诸如计算环境212等计算环境中存储与用户相关联的姿势简档205。姿势简档205可 以是用户、应用或系统专用的。姿势简档205例如可以经由应用来访问，或者可以是在系统范围内可用的。姿势简档205可以包括用于加载特定用户简档信息的查找表。虚拟屏幕可以与可由上面參照图I所述的计算环境212执行的应用进行交互。姿势简档205可以包括用户标识数据，诸如目标的所扫描的或所估计的身体大小、骨架模型、身体模型、语音样本或ロ令、目标性別、目标年龄、先前的姿势、目标限制、以及目标对系统的标准使用，比如例如坐、惯用左手或惯用右手的倾向性，或站在非常靠近捕捉设备之处的倾向性。该信息可用于确定捕捉场景中的目标与ー个或多个用户之间是否存在匹配。如果存在匹配，则用户的姿势简档205可被加载，并在一个实施例中可允许系统使得姿势识别技术对用户进行自适应，或者根据姿势简档205来使得计算或游戏体验的其他元素进行自适应。ー个或多个姿势简档205可被存储在计算机环境212中，并在多个用户会话中使用，或者一个或多个个人简档可以是仅为单个会话而创建的。用户可以具有建立简档的选项，其中他们可向系统提供信息，比如语音或身体扫描、年龄、个人偏好、惯用右手或左手、化身、姓名等。还可以为除进入捕捉空间以外不向系统提供任何信息的“访客”生成或提供姿势简档。可以为ー个或多个访客建立临时的个人简档。在访客会话的结束时，可以存储或删除访客姿势简档。姿势库192、姿势识别引擎190、以及姿势简档205可以用硬件、软件或两者的组合来实现。例如，姿势库192和姿势识别引擎190可被实现为在图4所示的计算环境212的诸如处理器195等处理器上执行的，或在图7的处理单元101或图8的处理单元259上执行的软件。要强调的是，以下描述的图4以及图7和8中描绘的框图是示例性的，且不g在暗示一具体实现。由此，图4的处理器195或32、图7的处理单元101、和图8的处理单元259可被实现为单个处理器或多个处理器。多个处理器可以分布式或集中式地定位。例如，姿势库192可被实现为在捕捉设备的处理器32上执行的软件，或者它可被实现为在计算环境212中的处理器195上执行的软件。构想了适用于执行此处公开的技术的处理器的任意组合。多个处理器可无线地、经由硬连线、或以其组合来通信。姿势库和过滤器參数可由姿势工具为应用或应用的上下文微调。上下文可以是文化上下文，并且可以是环境上下文。文化上下文指的是使用系统的用户的文化。不同的文化可使用相似的姿势来传递明显不同的含义。例如，希望向另ー个用户告知“看”或“使用他的眼睛”的美国用户可将他的食指放在他头上靠近他的眼睛的末端处。然而，对意大利用户而言，该姿势可被解释为对黑手党的指代。
类似地，在单个应用的不同环境之中可能存在不同的上下文。以涉及操作摩托车的第一用户射击游戏为例。当用户在步行时，将手指朝向地面握拳井向前且从身体向外伸出拳头可表示出拳姿势。当用户在驾驶上下文中时，相同的运动可表示“换挡”姿势。姿势可以被一起编组到互补姿势的风格包中，这些互补姿势可能以该风格被应用使用。互补姿势一要么如通常一起使用的那些姿势中那样是互补的，要么如ー个姿势的參数的改变将改变另一姿势的參数中那样是互补的一可被一起分组到风格包中。这些包可被提供给应用，该应用可选择至少其中ー个。应用可微调或修改姿势或姿势过滤器191的參数来最佳地适合应用的独特方面。当微调该參数时，也微调该姿势或第二姿势的第二互补參数(在相互依赖的意义上)使得这些參数保持互补。用于视频游戏的风格包可包括诸如第一用户射击、动作、驾驶和体育等风格。图5A描绘了可从捕捉设备202生成的用户的示例骨架映射。在该实施例中，标识出各个关节和骨骼每一手502、每一前臂504、每ー肘506、每一二头肌508、每ー肩510、每一髋512、姆一大腿514、姆一膝516、姆一小腿518、姆一足520、头522、躯干524、脊椎的顶部526和底部528，以及腰530。在跟踪更多点的情况下，可标识出附加的特征，比如手指或 脚趾的骨骼和关节，或面部的各个特征，如鼻和眼。用户可通过移动他的身体创建姿势。姿势包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。姿势可以是动态的，包括运动，如模仿投球。姿势可以是静态姿态，如在ー个人的躯干524前面交叉握住他的前臂504。姿势可以是单个移动(例如，跳跃)或连续的姿势(例如，驾驶)，并且在持续时间上可短可长(例如，驾驶202分钟)。姿势也可结合道具，如通过挥动仿制的剑。姿势可包括多于ー个身体部位，如拍双手502，或是较微小的运动，如撅起ー个人的嘴唇。用户的姿势可用作一般计算上下文中的输入。例如，手502或其他身体部位的各种运动可对应于常见的系统级任务，如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。例如，用户能以手指向上指且掌心面向捕捉设备202来使他的手保持不动。他然后可以将手指朝向手掌收拢来形成拳头，并且这可以是指示基于窗ロ的用户界面计算环境中的焦点窗ロ应被关闭的姿势。姿势也可在视频游戏专用上下文中取决于游戏来使用。例如，对于驾驶游戏，手502和脚520的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。由此，姿势可指示映射到所显示的用户表示的、在诸如视频游戏、文本编辑器、文字处理、数据管理等各种各样应用中的各种各样的运动。用户可通过自己在原地行走或奔跑来生成对应于行走或奔跑的姿势。例如，用户可另选地提起并放下每ー腿512-520来在不移动的情况下模拟行走。系统可通过分析每ー髋512和每一大腿514来解析该姿势。当一个髋部-大腿角(如相对于垂直线测量的，其中站立的腿具有0°的髋部-大腿角，而向前水平伸展的腿具有90°的髋部-大腿角)超过相对于另一大腿的特定阈值时，可识别一歩。行走或奔跑可在交替腿的某一数量的连续步之后被识别。两个最近的步之间的时间可被认为是一周期。在不满足阈值角度达某ー数量的周期之后，系统可确定行走或奔跑姿势已停止。给定“行走或奔跑”姿势，应用可为与该姿势相关联的參数设定值。这些參数可包括上述阈值角度、发起行走或奔跑姿势所需的歩数、结束姿势的没有发生步的周期数、以及确定姿势是行走还是奔跑的阈值周期。快周期可对应于奔跑，因为用户将快速地移动他的腿，而较慢的周期可对应于行走。姿势最初可以与ー组默认參数相关联，应用可用其自己的參数来覆盖该组默认參数。在这ー场景中，不迫使应用提供參数，而是应用可改为使用一组允许在没有应用定义的參数的情况下识别姿势的默认參数。与姿势有关的信息可被存储用于预录制的姿势动画的目的。存在可以与姿势相关联的各种输出。可以存在关于姿势是否正在发生的基线“是或否”。还可以有置信度水平，其对应于用户跟踪的移动对应于姿势的可能性。这可以是范围为0和I之间(包括端点)的浮点数的线性标度。在接收该姿势信息的应用不能接受假肯定作为输入的应用中，它可仅使用具有高置信度水平，如至少0. 95的已识别的姿势。在应用必须识别姿势的每ー实例的情况下，即使以假肯定为代价，它可使用至少具有低得多的置信度水平的姿势，如仅仅大于0. 2的那些姿势。姿势可具有在两个最近步之间的时间的输出，并且在仅注册了第一歩的情况下，这可被设为保留值，如-1 (因为任何两步之间的时 间必须为正)。姿势也可具有关于在最近一歩期间达到的最高大腿角的输出。另ー示例性姿势是“脚跟提起跳”。在该姿势中，用户可通过将他的脚跟提离地面，但保持他的脚趾着地来创建该姿势。另选地，用户可跳向空中，其中他的脚520完全离开地面。该系统可通过分析肩510、髋512和膝516的角度关系来解析该姿势的骨架，以查看它们是否是等于直立的对齐位置。然后，可监视这些点和较高526和较低528脊椎点来发现任何向上加速。足够的加速度组合可触发跳跃姿势。加速度与某一姿势的足够的组合可满足转变点的參数。给定该“脚跟提起跳”姿势，应用可为与该姿势相关联的參数设定值。參数可包括上述加速度阈值，其确定用户的肩510、髋512和膝516的某种组合必须向上移动多快来触发该姿势；以及包括肩510、髋512和膝516之间仍可触发跳跃的最大对齐角。输出可包括置信度水平，以及用户在跳跃时的身体角度。基于将接收姿势的应用的细节来为姿势设定參数对于准确地标识姿势而言是重要的。正确地标识姿势以及用户的意图极大地有助于创建积极的用户体验。应用可以为与各种转变点相关联的參数设置值来标识出使用预先录制的动画的点。转变点可由各种參数来定义，如特定姿势的标识、速度、目标或物体的角度、或其任何组合。如果转变点至少部分地由特定姿势的标识来定义，则正确地标识姿势有助于提高转变点的參数已被满足的置信水平。对于姿势的另ー參数可以是移动的距离。在用户的姿势控制虚拟环境中的化身的动作的情况下，该化身可以是手臂离球的长度。如果用户希望与该球交互并抓住它，则这可要求用户伸展他的手臂502-510到全长同时作出抓握姿势。在这ー情形中，用户仅部分地伸展他的手臂502-510的类似的抓握姿势可能无法达到与球交互的結果。类似地，转变点的參数可以是对抓握姿势的标识，其中如果用户仅部分地伸展他的手臂502-510，从而没有实现与球交互的結果，则用户的姿势将不满足转变点的參数。姿势或其一部分可将它必须在其中发生的空间体作为參数。在姿势包括身体移动的情况下，该空间体通常可相对于身体来表达。例如，对于惯用右手的用户的美式足球投掷姿势可仅在不低于右肩510a、且与投掷手臂502a-310a在头522的相同侧的空间体中识另IJ。可能不必要定义空间体的所有边界，如对于该投掷姿势，其中从身体向外的边界留着不被定义，并且该空间体无限地向外延伸，或者延伸到正被监视的场景的边缘。图5B提供了图4的姿势识别器引擎190的一个示例性实施例的进ー步细节。如图所示，姿势识别器引擎190可包括用于确定一个或多个姿势的至少ー个过滤器519。过滤器519包括定义姿势526 (以下称为“姿势”)的信息，并可包括例如用于该姿势526的至少一个參数528或元数据。例如，包括一只手从身体背后越过身体前方的运动可被实现为包括表示用户的ー只手从身体背后越过身体前方的移动的信息的姿势526，该移动将由深度相机来捕捉。然后可设定该姿势526的參数528。在姿势526是投掷的情况下，參数528可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及由识别器引擎190进行评级的姿势526发生的置信度。姿势526的这些參数528可以因应用而异、因单个应用的上下文而异、或在一个应用的ー个上下文内随着时间而变化。过滤器可以是模块化的或是可互换的。在一实施例中，过滤器具有多个输入和多个输出，这些输入中的每个都具有ー类型，这些输出中的每个都具有ー类型。在这ー情形中，第一过滤器可用与第一过滤器具有相同数量和类型的输入和输出的第二过滤器来替 换，而不必更改识别器引擎190体系结构的其他方面。例如，可能具有用于驱动的第一过滤器，该第一过滤器将骨架数据作为输入并输出与该过滤器相关联的姿势526正在发生的置信度和转向角。在希望用第二驱动过滤器来替换该第一驱动过滤器的情况下(这可能是因为第二驱动过滤器更高效且需要更少的处理资源)，可以通过简单地用第二过滤器替换第一过滤器来这样做，只要第二过滤器具有同样的输入和输出——骨架数据类型的ー个输入、以及置信度类型和角度类型的两个输出。过滤器不需要具有參数528。例如，返回用户的高度的“用户高度”过滤器可能不允许可被微调的任何參数。备选的“用户高度”过滤器可具有可微调參数，比如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。对过滤器的输入可包括诸如关于用户的关节位置的关节数据，像在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。姿势识别器引擎190可具有向姿势过滤器519提供功能的基础识别器引擎517。在一实施例中，识别器引擎517实现的功能包括跟踪已识别的姿势和其他输入的随时间输入(input-over-time)存档、隐马尔可夫模型实现(其中模型化系统被假定为具有未知參数的马尔可夫过程ー其中当前状态封装了确定将来状态所需的任何过去状态信息，因此不必为此目的而维护任何其它过去状态信息的过程，并且隐藏參数从可观察数据来确定)、以及求解姿势识别的特定实例所需的其他功能。基础识别器弓丨擎517可包括姿势简档520。例如，基础识别器弓丨擎517可以为用户将姿势简档520临时加载到姿势识别引擎中，将姿势简档520与姿势过滤器信息存储在一起，或以其他方式从远程位置访问姿势简档520。姿势简档520可提供是过滤器519中的信息自适应以对应于特定用户的參数。例如，如上所述，姿势526可以是具有手必须行进的阈值速度或距离的參数的投掷。姿势简档520可以为投掷姿势526重新定义手必须行进的阈值速度或距离。因此，基础识别器引擎517可以用来自姿势简档520的參数来补充或替换过滤器519中的參数。过滤器519可以是默认姿势信息并且姿势简档520可以专门为特定用户加载。过滤器519在基础识别器引擎517之上加载并实现，并且可利用引擎517提供给所有过滤器519的服务。在一实施例中，基础识别器引擎517处理所接收到的数据来确定它是否满足任何过滤器519的要求。由于这些诸如解析输入等所提供的服务是由基础识别器引擎517 —次性提供而非由每ー过滤器519提供的，因此这一服务在一段时间内只需被处理一次而不是在该时间段对每ー过滤器519处理一次，由此减少了确定姿势所需的处理。应用程序可使用识别器引擎190所提供的过滤器519，或者它可提供其自己的过滤器519，该过滤器被插入到基础识别器引擎517中。类似地，姿势简档可以插入到基础识别器引擎517中。在一实施例中，所有过滤器519具有启用该插入特性的通用接ロ。此外，所有过滤器519可利用參数528，因此可使用如下所述的单个姿势工具来调试并微调整个过滤器系统519。这些參数528可由姿势工具521为应用或应用的上下文来调节。在一实施例中， 姿势工具521包括多个滑块523以及身体524的图表示，每ー滑块523对应于ー參数528。当用相应的滑块523来调整參数528时，身体524可展示将被识别为具有这些參数528的姿势的动作以及将不被识别为具有这些參数528的姿势的动作,如所标识的。姿势的參数528的这一可视化提供了调试并细调姿势的有效手段。图6描绘了为多个用户建立共享的演示体验的方法的示例流程图。例如，诸如图1-3所示的系统200、300可执行此处示出的操作。在602，系统可呈现信息演示。如上所述，信息演示可包括其中演示信息的任何生产カ场景，其中该演示可采取各种格式。在604，系统从包括诸如用户或非人类对象等目标的物理空间捕捉数据。如上所述，捕捉设备可捕捉场景的数据，诸如场景的深度图像，并扫描场景中的目标。捕捉设备可以确定场景中的一个或多个目标是否对应于诸如用户等人类目标。例如，为了确定场景中的目标或对象是否对应于人类目标，可对每个目标进行泛色填充并将其与人体模型的图案作比较。然后可扫描匹配人体模型的每个目标或物体来生成与其相关联的骨架模型。例如，可扫描被标识为人类的目标来生成与其相关联的骨架模型。然后可将该骨架模型提供给计算环境来跟踪该骨架模型并呈现与该骨架模型相关联的视觉表不。可使用提供扫描已知/未知对象、扫描人类、以及扫描场景中的背景方面(例如，地板、墙)的能力的任何已知技术或此处公开的技术来检测物理空间中的目标的特征。可使用每ー对象的所扫描的数据，包括深度和RGB数据的组合，来创建该对象的三维模型。该RGB数据被应用于该模型的对应区域。各帧之间的时间跟踪可以提高置信度并实时地自适应对象数据。由此，可使用对象特性以及随时间对对象特性中的变化的跟踪来可靠地跟踪其位置和定向实时地在各帧之间变化的对象。捕捉设备以交互式速率来捕捉数据，从而提高了数据的保真度，并允许所公开的技术处理原始深度数据，数字化场景中的对象，提取对象的表面和纹理，以及实时地执行这些技术中的任ー种，以使得显示画面可以提供该场景的实时描绘。此外，多个捕捉设备可捕捉物理空间的数据。可以合并数据以使得姿势识别的保真度増加，其中识别基于附加数据。捕捉设备可以聚焦于单个用户或可以捕捉关于许多用户的数据。如果存在可共享数据的多个捕捉设备，则如果第一捕捉设备不具有视图或不具有用户的良好视图，则物理空间中的第二捕捉设备可捕捉该用户的数据。
在606,系统可标识物理空间中的姆一个用户并在614将姆一个用户与视觉表不相关联。在608，系统可以为每ー个用户指定控制级别，其中控制经由物理空间中的姿势来完成。例如，用户可以是主要用户，次要用户或观察用户。取决于姿势和执行姿势的用户，姿势可控制信息演示的各方面。在610，系统可确定用户是否执行姿势并在612使用该姿势来控制程序。例如，姿势包括用户的姿态或运动，其可被捕捉为图像数据并解析其含义。在610，可由例如姿势识别引擎来过滤经解析的图像数据以确定是否执行姿势。由此，经由基于姿势的系统，信息演示可由多个用户控制。对于演示的各个參与者，控制可以被共享、转移等。在614，可将视觉表示与每ー个用户相关联并且在616，系统可动画化视觉表示以对应于姿势或从该姿势得出的控制。视觉表示可以与不止一个用户相关联，或者每ー个用户可具有唯一的视觉表示。例如，如果多个用户与同一视觉表示相关联，则系统可以在用户之间转移控制。在618，如果信息演示是非顺序的，如上所述，则姿势可控制该非顺序信息的一方面。由此，姿势可应用于用户对非顺序信息的所需部分的选择。所选部分的显示可提供非 顺序信息的画布到这一画布的聚焦部分的转换。用户可以在画布中导航以改变演示中可用的资产的聚焦部分。计算机可执行指令可包括用于建立共享的演示体验并在用户之间转移控制的指令，如此处所描述的。此处描述的用于经由姿势来共享演示体验的任ー种方法都可被实现为计算机可执行指令。图7示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。以上參考附图I所描述的诸如计算环境212的计算环境可以是多媒体控制台100，诸如游戏控制台。如图7所示，多媒体控制台100具有含有ー级高速缓存102、ニ级高速缓存104和闪存ROM (只读存储器)106的中央处理单元(CPU) 101。ー级高速缓存102和ニ级高速缓存104临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和呑吐量。CPU 101可被提供为具有一个以上的核，并且由此具有附加的ー级高速缓存102和ニ级高速缓存104。闪存ROM 106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。图形处理单元(GPU) 108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V (音频/视频)端ロ 140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM (随机存取存储器)。多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接ロ控制器124、第一 USB主控制器126、第二 USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142 (I)-142 (2)、无线适配器148、以及外置存储器设备146 (例如，闪存、外置⑶/DVD ROM驱动器、可移动介质等)的主机。网络接ロ 124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何ー种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144，且其可包括DVD/⑶驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制台100内置的或外置的。应用数据可经由介质驱动器144访问，供多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器2120。系统管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理単元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理単元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端ロ 140，以供外置音频播放器或具有音频能力的设备再现。前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152、以及任何LED (发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。 多媒体控制台100内的CPU 101、GPU 108、存储器控制器110、以及各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中，并且可在CPU 101上执行。应用可在导航到多媒体控制台100上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以将附加功能提供给多媒体控制台100。多媒体控制台100可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许ー个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接ロ 2124或无线适配器148可用的宽带连接集成的情况下，多媒体控制台100还可作为更大网络社区中的參与者来操作。当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统用作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5%)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用视角而言是不存在的。具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。对于GPU保留量，通过使用调度代码来将弹出窗ロ呈现为覆盖图的GPU中断来显示由系统应用程序生成的轻量消息(例如，弹出窗ロ)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同歩。在多媒体控制台100引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的ー组系统应用中。操作系统内核标识出与游戏应用线程的线程相対的作为系统应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便提供对应用而言一致的系统资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存分裂最小化。当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所描述的)在系统应用活动时控制游戏应用的音频级别(例如，静音、衰减)。输入设备(例如,控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切換，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切換的状态信息。相机26、28和捕捉设备202可为控制台100定义附加输入设备。图8示出了可用于在目标识别、分析和跟踪系统中解释ー个或多个姿势的计算环境220的另ー示例实施例，该计算环境可以是图I所示的计算环境212。计算系统环境220 只是合适的计算环境的ー个示例，并且不g在对当前公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任ー组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本发明的各具体方面的电路。例如，本公开中使用的术语“电路”可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地歩，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。由此，对于硬件实现还是软件实现的选择是设计选择之ー并留给实现者。在图8中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能被计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM) 223和随机存取存储器(RAM) 261。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224(BIOS)通常储存储在ROM 223中。RAM 261通常包含处理单元259可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图8示出了操作系统225、应用程序226、其他程序模块227和程序数据228。计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图8示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如⑶ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限干，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常由例如接ロ 234等不可移动存储器接ロ连接至系统总线221，而磁盘驱动器239和光盘驱动器240通常由例如接ロ 235等可移动存储器接ロ连接至系统总线221。以上讨论并在图8中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图8中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘251和定点设备252——通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他 输入设备通常通过耦合到系统总线的用户输入接ロ 236连接到处理单元259，但也可通过诸如并行端ロ、游戏端ロ或通用串行总线(USB)之类的其他接口和总线结构来连接。相机
26、28和捕捉设备202可为控制台100定义附加输入设备。监视器242或其他类型的显示设备也通过诸如视频接ロ 232之类的接ロ连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接ロ 233连接的诸如扬声器244和打印机243之类的其他外围输出设备。计算机241可使用到一个或多个远程计算机(诸如，远程计算机246)的逻辑连接而在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上相对计算机241所描述的元件，但在图8中仅示出了存储器存储设备247。图8中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN) 249，但还可包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。当在LAN联网环境中使用时，计算机241通过网络接ロ或适配器237连接到LAN245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置的或外置的，可经由用户输入接ロ 236或其他适当的机制连接到系统总线221。在联网环境中，相对于计算机241所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图8示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不被认为是限制性的。此处所述的具体例程或方法可表示任何数量的处理策略中的ー个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样，可以改变上述过程的次序。此外，尽管已经结合某些方面按各附图所示描述了本发明，但要理解，可使用其它相似方面或者可对所述方面进行修改或添加来执行本发明的相同功能而不脱离本发明。本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。因此，所公开的各实施例的方法和装置或其某些方面或部分可采用包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码(即，指令)的形式。当程序代码被加载到诸如计算机等机器并由其执行时，该机器变为被配置成实施所公开的各实施例的装置。除了此处明确阐述的具体实现之外，考虑此处所公开的说明书，其它方面和实现将对本领域的技术人员是显而易见的。因此，本发明不应该仅限于任何单个方面，而是应该在根据所附权利要求书的广度和范围内解释。例如，本文描述的各种过程可用硬件或软件、 或两者的组合来实现。
权利要求
1.一种用于建立共享的演示体验的方法，所述方法包括 呈现信息的演示； 捕捉物理空间的数据，其中捕捉到的数据表示多个用户的姿势；以及从所述捕捉到的数据中识别所述姿势，其中每ー个姿势都适于控制所述演示的一方面，以使得所述多个用户经由所述姿势共享对所述演示的控制。
2.如权利要求I所述的方法，其特征在于，所述多个用户中的至少ー个被指定为主要用户、次要用户或观察用户中的至少ー个。
3.如权利要求I所述的方法，其特征在于，所述捕捉到的数据是多个捕捉设备捕捉到的所述物理空间中的数据的合并。
4.如权利要求I所述的方法，其特征在于，所述姿势中的至少ー个是用于关于所述姿势的信息收集的触发，其中所述信息收集包括关于所述姿势的信息的被动收集以及记录所述信息以供后续访问。
5.如权利要求4所述的方法，其特征在干，所收集的信息被实时提供给所述多个用户中的至少ー个或作为输出提供给显示器。
6.如权利要求I所述的方法，其特征在于，对所述演示的主要控制可以在所述多个用户之间转移。
7.一种用于在共享的演示体验中呈现视觉表示的方法，所述方法包括 呈现信息的演示； 捕捉物理空间的数据，其中捕捉到的数据表示所述物理空间中的多个用户；以及呈现对应于所述多个用户中的每ー个的至少ー个视觉表示，其中所述至少一个视觉表示适于与所呈现的信息演示交互。
8.如权利要求7所述的方法，其特征在于，所述至少一个视觉表示适于经由与所述演示的一部分交互的动画来与所呈现的信息演示交互。
9.如权利要求8所述的方法，其特征在于，所述至少一个视觉表示的动画对应于所述多个用户中的至少ー个用户的姿势。
10.如权利要求7所述的方法，其特征在于，所述多个用户中的至少ー个对应于 不同的视觉表示，或者 相同的视觉表示。
11.如权利要求7所述的方法，其特征在于，所述至少一个视觉表示对应于捕捉设备检测到的用户的特征。
12.如权利要求7所述的方法，其特征在于，所述多个用户中的至少ー个对所述演示的控制可由对应于所述多个用户中的至少ー个的视觉表示的特征来指示。
13.一种用于建立非顺序演示体验的方法，所述方法包括 汇编多个信息以供演示； 呈现所述信息的非顺序演示，其中所述演示包括适于所述信息的渐进式导航的信息格式； 捕捉物理空间的数据，其中捕捉到的数据表示多个用户的姿势；以及 识别控制所述非顺序演示的一方面的姿势。
14.如权利要求13所述的方法，其特征在于，多个用户经由姿势共享对所述非顺序演示的控制。
15.如权利要求13所述的方法，其特征在于，所述非顺序演示的显示适于从资产画布中选择所述非顺序演示的至少一部分。
全文摘要
用于管理基于姿势的系统中的信息演示的技术可使得用户能够使用姿势来控制演示信息的方式或者能够以其他方式与基于姿势的系统交互，其中姿势是从用户身体在物理空间中的姿态和运动导出的。用户可使用控制该系统的各方面的姿势来向观众演示信息，或者多个用户可使用姿势来一起工作以控制该系统的各方面。由此，在一示例实施例中，单个用户能够经由姿势来控制对观众的信息演示。在另一示例实施例中，多个参与者能够经由捕捉设备所捕捉到的姿势来共享对演示的控制，或以其他方式与系统交互以控制演示的各方面。
文档编号G06F3/01GK102656542SQ201080057583
公开日2012年9月5日 申请日期2010年11月18日 优先权日2009年12月17日
发明者A·库普萨米, C·H·普拉特里, J·F·弗兰德, R·S·迪茨, S·巴斯彻 申请人:微软公司