自主nui设备的自发现的制作方法
【专利说明】自主NUI设备的自发现
[0001]
[0002]在过去，诸如计算机游戏和多媒体应用之类的计算应用已使用控制器、遥控器、键盘、鼠标等来允许用户操纵应用的游戏角色或其他方面。近来，计算机游戏和多媒体应用已开始使用相机和运动识别来提供人机接口(“HCI”)。使用HCI，检测、解释用户姿势并使用用户姿势来控制应用的游戏角色或其他方面。
[0003]存在其中用户寻求在同一位置使用不同的处理设备来共同参与游戏的多个游戏应用。通常，当使用成像来提供人机接口的设备中的每一者都在其自身的处理系统上分开地操作时，这些设备不具有用于确保正确操作的机制。
[0004]概述
[0005]提供了使得多个捕捉设备能够在同一物理空间中以自主方式进行交互的技术。每一捕捉设备都包括使用具有视野和照明源的成像传感器来捕捉用户在第一物理环境中的设备检测移动的能力。在初始化或校准设备之际，代码指令控制照明源和传感器的处理器使照明源断电并使用深度成像传感器扫描视野以查找在循环时间窗口中操作的任何其他照明源。如果检测到任何其他照明源，则确定该循环窗口内其他照明源的操作时间窗口的定时，并在这些操作窗口之外但在这些设备的循环脉宽窗口之内建立当前设备的非冲突操作窗口。这允许每一设备在此后通过使深度照明源重复地在任何现有操作窗口之外的时间处加入新循环操作窗口来在其自己的操作窗口内操作，并在该新操作窗口内接收从该设备照明源反射的照明。
[0006]提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。该概述不意图标识所要求保护的主题的关键特征或基本特征，也不意图被用来帮助确定所要求保护的主题的范围。
[0007]附图简沐
[0008]图1示出了目标识别、分析及跟踪系统的一个实施例，其中用户正执行姿势以控制用户界面。
[0009]图2示出根据本技术的捕捉设备的一个实施例。
[0010]图3示出本技术的相机照明和捕捉技术的一个实施例。
[0011]图4是描述用于跟踪用户运动的过程的一个实施例的流程图。
[0012]图5是对物理空间中正利用两个不同的捕捉设备和处理系统的两个用户的描绘。
[0013]图6是描述用于在存在其他捕捉设备的情况下校准或初始化一捕捉设备的一个实施例的流程图。
[0014]图7A和7B相对于循环窗口示出各操作窗口。
[0015]图8示出了根据本技术的第一处理设备。
[0016]图9示出了根据本技术的第二处理设备。
[0017]详细描沐
[0018]提供了用于使得提供自然用户界面的多个捕捉设备能够在同一物理空间中进行交互的技术。每一捕捉设备都包括捕捉检测用户在第一物理环境中的移动的设备的能力。每一捕捉设备都包括具有视野的深度成像传感器和设备照明源。在初始化或校准设备之际，代码指令控制照明源和传感器的处理器使照明源断电并使用深度成像传感器来扫描视野以查找该捕捉设备附近的、在循环时间窗口中操作的任何其他照明源。如果检测到任何其他照明源，则确定关于循环窗口内的其他照明源的任何操作时间窗口，并在这些操作窗口之外但在这些设备的循环脉宽窗口之内建立当前设备的非冲突操作窗口。这允许每一设备在此后通过使深度照明源在任何现有操作窗口之外的时间处重复地加入新循环操作窗口来在其自己的操作窗口之内操作，并在新操作窗口内接收从该设备照明源反射的照明。
[0019]图1示出了目标识别、分析和跟踪系统10(下文中统称为跟踪系统)的一个实施例，其中用户18正在与用户界面23进行交互。目标识别、分析和跟踪系统10可用来识别、分析和/或跟踪诸如用户18之类的人类目标，并提供人类控制的界面。
[0020]如图1所示，跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等。根据一个实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行操作系统和诸如游戏应用、非游戏应用等的应用。在一个实施例中，计算环境12可包括诸如标准化处理器、专用处理器、微处理器等处理器，该处理器可执行存储在处理器可读存储设备上的用于执行本文中描述的过程的指令。
[0021]如图1所示，跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机，该相机可用于在视觉上监视诸如用户18之类的一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势以执行针对操作系统或应用的用户界面的一个或多个控制或动作。
[0022]捕捉设备可被定位在三轴定位马达上，从而允许捕捉设备相对于其上安装该捕捉设备的底座元件移动。定位马达使得捕捉设备能够扫描其中放置有捕捉设备20的物理环境100的更大范围。
[0023]根据一个实施例，跟踪系统10可连接至可向诸如用户18等的用户提供游戏或应用视觉和/或音频的视听设备16，诸如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可以接收来自计算环境12的视听信号，并可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
[0024]如图1所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18之类的一个或多个人类目标。例如，可使用捕捉设备20来跟踪用户18，使得可将用户18的移动解释为可用于影响正由计算环境12执行的应用或操作系统的控制。
[0025]考虑诸如在计算环境12上执行的拳击游戏之类的用户界面应用。计算环境12可以使用视听设备16来向用户18提供拳击对手的视觉表示，并使用视听设备16来提供用户18可用他或她的移动来控制的游戏化身的视觉表示。用户18可在物理空间中作出移动(例如，挥拳)以使得玩家化身在游戏空间中作出相应的移动。可在物理空间中识别并分析用户的移动，使得执行用于对游戏空间中玩家化身的游戏控制的相应移动。
[0026]某些移动可被解释为可与除控制玩家化身或其他游戏对象之外的动作相对应的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。玩家可使用移动来从主用户界面选择游戏或其他应用。用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用或操作系统进行交互。
[0027]在图1中，用户18正与跟踪系统10交互以控制系统用户界面(UI) 23，在该具体示例中该系统用户界面正在显示菜单项320-330的列表310。个体项目可代表应用或其他UI对象。用户可在列表310中向左或向右滚动(如从用户的视点来看)以查看不在当前显示中但也与该列表相关联的其他菜单项，选择该菜单项以触发诸如打开该菜单项所表示的应用之类的动作或对该项的进一步UI控制。用户还可通过UI回退移动到UI层次结构中更高级的菜单项。
[0028]该系统可包括姿势识别，以使得用户可通过执行一个或多个姿势来控制正在计算环境12上执行的应用或操作系统，计算环境12如以上所讨论的可以是游戏控制台、计算机等。在一个实施例中，姿势识别器引擎(其架构在以下更完全描述)用于从用户的骨架模型确定用户何时作出了特定姿势。
[0029]—般来说，如图1中所指示的，用户18在使用捕捉设备20时被限制于物理环境100。环境100 —般是捕捉设备20的最佳执行范围。
[0030]虚拟对象导航系统可利用身体部位跟踪系统，该身体部位跟踪系统使用诸如头部、肩部、髋中心、膝盖、踝部等一些身体部位的位置来计算一些导出量，并随后使用这些量来按模拟方式而非数字方式实时地连续(即逐帧地)计算出虚拟观察者的相机位置(即，用户的细微移动导致相机的细微移动，以使得不是简单的向左/向右移动，用户可精确地向左/向右或以任何其他方向慢速或快速地移动相机)。
[0031]例如，手或其他身体部位的各种运动可对应于常见的系统级任务，诸如在分层菜单结构中向上或向下导航、在菜单列表中滚动各项、打开文件、关闭文件和保存文件。姿势也可取决于游戏在视频游戏专用上下文中使用。例如，在驾驶游戏中，手和脚的各种运动可对应于在某方向上驾驶车辆、换档、加速和刹车。
[0032]在图1中，用户执行用右手的姿势以如从用户的视点来看向左滚动菜单项列表。如图1中所示，用户以他的右手在位置304开始，然后朝向他的身体的左侧将右手移动到位置306。当用户以他的手在位置304开始该姿势时，菜单项320-328的列表310处于图1中的第一位置。在图2中，用户已经将其手移到位置306，通过将菜单项的列表310向左滚动使得菜单项的列表改变。作为向左(如在用户18的视角中定义的)滚动的结果，已将菜单项320从该列表移走。项322-328中的每一者都已向左移动一个位置，从而取代紧接在前的项的位置。作为从右到左滚动的结果，已将项330添加到列表。
[0033]图2示出了捕捉设备20和计算设备12的一个实施例，它们可以在目标识别、分析和跟踪系统10中使用，以识别捕捉环境100中的人类或非人类目标(而无需将特殊的感测设备附连到这些主体)，并在三维空间中唯一地标识这些目标并跟踪这些目标。根据一个实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉具有深度信息的视频，该深度信息包括可以包括深度值的深度图像。根据一个实施例，捕捉设备20可将计算出的深度信息组织成“Z层”，即可与从深度相机沿其视线延伸的Z轴相垂直的层。
[0034]如图2所示，捕捉设备20可包括图像相机组件32。根据一个