布尔/浮点控制器和姿势识别系统的制作方法
【专利说明】布尔/浮点控制器和姿势识别系统
[000。 背景
[0002] 游戏系统已经从提供孤立的游戏体验的系统进化成可实时地在朋友和其他玩家 之间共享的、提供丰富的交互式体验的联网系统。自然用户界面(NUI)集成到游戏系统中的 最近进展已经打开了用户对接并控制游戏和其它应用的众多新可能。
[0003] 当前在使用更传统的手持式控制器的游戏系统和使用NUI系统的游戏系统之间存 在割裂。开发提供运两种系统的优点的系统将是有益的。
[0004] 而且，传统NUI系统一般使用全部或部分骨架跟踪和识别作为输入W供软件应用 使用。运样的输入可能比软件开发者在设计软件应用时所需的更多。
[0005] 概述
[0006] 粗略描述的本技术一般设及用于与诸如游戏应用等软件应用交互的系统。输入可 从手持式控制器和接受姿势输入的NUI系统之一或两者接收。本技术的实施例进一步包括 姿势和控制器应用编程接口（API)。姿势和控制器API可接收来自控制器的输入作为布尔或 浮点数据。姿势和控制器API还可接收来自NUI系统的骨架姿态数据并将该数据处理为布尔 或浮点数据。W此方式，来自控制器和NUI系统两者的数据可按相同格式作为能够容易消费 的数据被披露给软件应用。
[0007] 在一个示例中，本技术设及内容呈现和交互系统，包括:控制器，所述控制器提供 触觉控制输入并通信地禪合到所述内容呈现和交互系统，所述控制器包括多个触觉输入机 制并向所述内容呈现和交互系统提供第一控制输入集合；目标识别和跟踪系统，所述目标 识别和跟踪系统通信禪合到所述内容呈现和交互系统，所述目标识别和跟踪系统检测姿态 信息，所述姿态信息包括具有身体关节的绝对和相对位置的骨架数据；W及姿势和控制器 应用编程接口，所述姿势和控制器应用编程接口用于接收来自所述目标识别和跟踪系统的 姿态信息并处理所述姿态信息W标识具有与所述触觉控制输入的格式兼容的格式的姿势 输入。
[000引在另一示例中，本技术设及一种向内容呈现和交互系统提供输入的方法，所述方 法包括:a.接收来自手持式控制器的触觉控制器输入，所述输入包括布尔和浮点值;b.接收 来自姿势识别和跟踪系统的姿势输入，所述姿势输入包括具有身体关节的绝对和相对位置 的骨架数据;C .接收基于从所述骨架数据对预定义姿势的标识的布尔或浮点值；W及d.将 来自所述步骤a和/或C的布尔和/或浮点值作为输入提供给在所述内容呈现和交互系统上 运行的软件应用。
[0009]在一进一步示例中，本技术设及一种用于对处理器编程W执行一种向游戏控制台 提供输入的方法的计算机可读介质，所述方法包括:a.接收来自手持式控制器的触觉控制 器输入，所述输入包括布尔和浮点值;b.接收来自姿势识别和跟踪系统的姿势输入，所述姿 势输入包括具有身体关节的绝对和相对位置的骨架数据;C.经由所述目标识别和跟踪系统 的话筒接收语音输入;d.经由所述内容呈现和交互系统的处理器分析所述语音输入和骨架 数据来辨别由所述语音输入或身体部位的位置和/或移动定义的预定义姿势；e.向在所述 步骤d中辨别的预定义姿势指派布尔或浮点值；W及f.将来自所述步骤a和/或e的布尔和/ 或浮点值作为输入提供给在所述游戏控制台上运行的游戏应用。
[0010] 提供本概述W便W简化的形式介绍W下在详细描述中进一步描述的一些概念。本 概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求 保护的主题的范围。
[0011] 附图简述
[0012] 图1描绘了根据本技术的一实施例的示例性游戏和媒体系统。
[0013] 图2描绘了根据本技术的一实施例的游戏和媒体系统的示例性使用。
[0014] 图3解说了根据本技术的一实施例的游戏和媒体系统的控制器的进一步细节。
[0015] 图4描绘了用于实现本技术的实施例的组件的概览的框图。
[0016] 图5是包括用于实现本技术的实施例的应用编程接口的示例性系统的框图。
[0017]图6是解说了本技术的一实施例的示例性操作的流程图。
[001引图7是示例性处理设备的框图。
[0019]图8是示例性控制台设备的框图。
[0020] 详细描述
[0021] 现在参考附图1-8描述本技术，其一般设及包括来自控制器和NUI系统中的一者或 两者的输入W与诸如游戏应用等软件应用交互的系统和方法。本技术的实施例进一步包括 姿势和控制器API。来自控制器的输入可W是布尔型，即两种状态之一。示例包括按下按钮、 拉动触发器或拨动控制器上的开关。来自控制器的输入可替换地是浮点型的，即，被归一化 到例如-1和1之间的模拟值。示例包括测量沿游戏操纵杆的相应X和y轴的度数和位置。姿势 和控制器API可接受来自控制器的输入并将其传递W作为由软件应用使用的控制输入。
[0022] 来自NUI系统的姿势输入在姿势和控制器API中被作为骨架数据接收，包括例如在 S维空间中各身体部位相对于彼此的位置。姿势和控制器API接收运些输入并将其转换为 布尔或浮点数据，W使得它们按照与从控制器接收的控制输入相同的格式作为能够容易地 消费的控制输入被披露给软件应用。
[0023] 图1-4示出了示例性内容呈现和交互系统，在本文中被称为游戏和媒体系统10。如 图1-4中所示，游戏和媒体系统10包括计算控制台（后文称为"控制台"）202。控制台202可包 括硬件组件和/或软件组件，W使控制台202可用于执行诸如游戏和非游戏应用之类的应 用。在一个实施例中，控制台202可包括诸如标准化处理器、专用处理器、微处理器之类的处 理器，该处理器可执行存储在处理器可读的存储设备上的用于执行此处所描述的过程的指 令。
[0024] 控制台202配备有内部硬盘驱动器(未示出）和支持如光学存储盘208所表示的各 种形式的便携式存储介质的便携式介质驱动器206。合适的便携式存储介质的示例包括 DVDXD-R0M、游戏盘等。控制台202还包括用于容纳可移动闪存型存储器单元240的两个存 储器单元卡插座225(1)和225(2)。控制台202上的命令按钮235可启用和禁用无线外围支 持。
[0025] 控制台202还包括用于与一个或多个设备进行无线通信的光学端口 230和支持附 加控制器或其他外围设备的有线连接的两个USB(通用串行总线)端口 210(1)和210(2)。在 某些实现中，可修改附加端口的数量和安排。电源按钮212和弹出按钮214也位于游戏控制 台202的正面。电源按钮212被选择来对游戏控制台供电，且还可W提供对其它特征和控件 的访问，而弹出按钮214交替地打开和关闭便携介质驱动器206的托盘W允许存储盘208的 插入和取出。
[00%]控制台202可连接到具有显示器14的音频/视觉设备16。设备16可W例如是可向用 户提供游戏或应用视觉和/或音频的电视机、监视器、高清电视机化DTV)等。例如，控制台 202可包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，运些适配器可 提供与游戏或其他应用程序相关联的音频/视觉信号。音频/视觉设备16可W从控制台202 接收音频/视觉信号，并且然后可W输出与该音频/视觉信号相关联的游戏或应用视觉和/ 或音频。根据一个实施例，音频/视觉设备16可经由AV电缆220连接到控制台202,该AV电缆 220可W例如是S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆等。 [0027]电源电缆222向游戏控制台供电。控制台202可进一步被配置成具有如电缆或调制 解调器连接器224所表示的宽带能力W便于访问诸如因特网等网络。还可通过诸如无线保 真(Wi-Fi)网络等宽带网络来无线地提供宽带能力。
[00%]控制台202能够接收来自至少两个源的用户输入:控制器100和NUI系统，NUI系统 也被称为目标识别和跟踪系统200,如下面解释的。每一控制器100经由有线或无线的接口 禪合到控制台202。在所示实现中，控制器100经由无线连接禪合到控制台202。在图1和2解 说的示例中，控制器100装备有各种手和手指/拇指致动的控件，包括例如两个拇指操纵杆 (或游戏操纵杆)112(a)和112(b)、方向垫114、按钮106、W及两个触发器110,在下面会更详 细地解释。来自控制器100上的运些或其他致动器中的任一者的输入在本文中被称为触觉 控制输入。
[0029] 图2解说了触觉控制器100的示例性实施例的进一步细节。如图2所示，用户可使用 控制台202观看显示器14上的内容。控制器100例如可包括用于气6〇义"设备的控制器。然而， 要理解，控制器100可被用于其它交互平台。此外，控制器100的一个示例的描述在后面，但 是其不旨在对可与本技术联用的控制器的类型进行限制。
[0030] 控制器100包括形成控制器的大部分外部表面的外壳或主体102,具有与用户的手 对接的形状。一对手柄104从主体的下部延伸。一组输入或动作按钮106位于主体的右上部。 运些输入按钮可被称为面按钮，运是因为它们在控制器的主体102的顶面上的定向。运些输 入按钮可W是简单的开关，所述开关生成具有用于指示用户的选择的二元输出的信号。在 其他示例中，输入按钮可W是压敏开关，生成指示用户的不同级别的选择的信号。附加输入 按钮108设置在主体的上部中央位置，并可提供附加功能，如用于导航图形用户界面菜单。 输入按钮108还可W提供二元或多级响应信号。一组输入按钮110设置在控制器主体102的 顶面，通常称为用于通过手指对它们预期致动的触发器。在许多示例中，运些类型的触发器 是压敏的，但并不必须如此。
[0031] 第一模拟拇指杆112a设置在主体102的面部的左上部，第二模拟拇指杆11化设置 在主体102的面部的右下部。每个模拟拇指杆通过确定拇指杆相对于固定基座部分的精确 角度而允许所谓的模拟输入。而且，模拟拇指杆W精确角度测量杆的移动量，W便响应于任 何方向上的不同输入量而生成信号。
[0032] 方向垫(D-pad) 114形成在主体102的面的中央左部处的凹部116中。在其他示例 中，D-pad可无需凹部而形成在控制器表面之上。D-pad包含致动表面，致动表面包括十字形 输入垫120和四个填充片152。在此示例中，该输入垫包括四个输入臂128。在其他示例中，输 入垫可包括多于四个或少于四个输入臂。在一个示例中，D-pad允许用户为与四个输入臂 128相对应的四个不同坐标方向（如NSEW(北南东西））提供方向输入控制。
[0033] D-pad 114的致动表面布局可由用户配置。在一个示例中，填充片152可相对于输 入垫120移动W改变输入垫120的上表面和填充片的上表面之间的距离。W此方式，D-pad的 致动表面布局可由用户更改。利用填充片15