专利名称：通过用户交互控制电子设备的功率级的制作方法
技术领域：
本发明涉及控制电子设备的功率级，尤其涉及通过用户交互控制电子设备的功率级。
背景技术：
提供了各种技术来允许电子设备的高效功耗和能量利用。例如，可使用电源开关来打开或关闭设备，以降低设备的功耗。另选地，可在设备没有被活动地使用的时间段向电子设备提供降低的功率状态，以用于高效能量利用。例如，传输视频、音频和控制的多媒体系统可进入待机模式以降低功耗。已经开发了无需使用物理硬件来与通电电子设备交互的技术。
发明内容
本文公开的是一种用于通过用户交互智能地控制对电子设备的供电的方法和系统。当在电子设备的视野中检测到用户的存在时，自动改变多媒体系统中电子设备的功率级。还检测采用来自用户的姿势或话音输入的形式的、与电子设备的附加用户交互。基于附加用户交互进一步改变电子设备的功率级。在各实施例中，基于附加用户交互为用户激活电子设备。在一个实施例中，提供了一种用于控制对设备的供电的计算机实现的方法。该方法包括接收和与多媒体设备中的设备的第一用户交互有关的数据。该方法包括确定第一用户交互是否对应于用户与设备交互的意图。然后基于该第一用户交互为设备设置功率级。 接收和与设备的第二用户交互有关的数据。第二用户交互可对应于来自用户的姿势或话音输入。基于第二用户交互进一步改变设备的功率级，以为用户激活设备。提供本发明内容以便以简化形式介绍将在以下的具体实施例中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
图IA和IB示出了用户玩游戏的目标识别、分析和跟踪系统的示例实施例。图2示出了可以用于目标识别、分析和跟踪系统中的捕捉设备的示例实施例。图3A示出了可以被用来解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。图IBB示出了可以被用来解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的另一示例实施例。图4示出了可利用本技术的多媒体系统中的计算环境的操作的示例实施例。图5A和5B示出了由所公开的技术执行的用以通过用户交互自动激活图4所示的多媒体系统中的电子设备的示例操作集。
图6描绘了用于通过用户交互激活图4所示的多媒体系统中的一个或多个附加设备的示例方法。图7是根据本发明的一个实施例的与设备相关联的功率级级数的图示。图8示出了可利用本技术的图4中所示的多媒体系统中的功率控制单元的示例实施例。
具体实施例揭示了一种技术，通过该技术可基于检测用户的与电子设备的交互级别来自动地改变电子设备的功率级。图像捕捉设备捕捉和用户的与多媒体系统中的电子设备的交互有关的数据。在一实施例中，电子设备是在多媒体系统中执行游戏或其他应用的多媒体控制台或计算环境。在所公开的技术执行的一个操作集中，基于在计算环境的视野中检测到用户的存在而自动改变计算环境的功率级。图像捕捉设备检测采用来自用户的姿势或话音输入的形式的、与计算环境的附加用户交互。在所公开的技术执行的另一操作集中，基于附加用户交互进一步改变计算环境的功率级，以及基于改变的功率级为用户自动激活计算设备。此外，揭示了一种技术，通过该技术可实现系统中设备的智能功率控制，并且可顺应诸如能源之星程序或1瓦倡议程序之类的总能量节省程序通过降低系统中设备的待机功率使用和设备的平均功耗来执行设备的高效设备资源利用和降低的设备功耗。图1A-2示出了可由所揭示的技术使用来识别、分析和/或跟踪诸如用户18等的人类目标的目标识别、分析和跟踪系统10。目标识别、分析和跟踪系统10的各实施例包括用于执行游戏或其他应用的计算环境12，以及用于从游戏或其他应用提供音频和视觉表示的视听设备16。系统10还包括用于检测设备20捕捉的用户的姿势的捕捉设备20，计算环境接收并使用姿势来控制游戏或其他应用。下面将更详细地描述这些组件中的每一个。如图IA和IB所示，在一示例实施例中，在计算环境12上执行的应用可以是用户 18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身M的视觉表示。例如，如图IB所示，用户18可在物理空间中挥重拳来使得玩家化身M在游戏空间中挥重拳。因此，根据一示例实施例，目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析用户18在物理空间中的重拳，从而使得该重拳可被解释为对游戏空间中的玩家化身M的游戏控制。用户18的其他移动也可被解释为其他控制或动作，诸如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同力度的重拳等控制。此外，如以下所解释的，一旦系统确定姿势是重拳、上下快速摆动、闪避、滑步、格挡等中的一个，则可确定该姿势在物理空间中的附加性质方面。这些性质方面可影响该姿势(或其他音频或视觉特征)如何在游戏空间中显示，如以下所解释的。在各示例实施例中，诸如用户18等的人类目标可具有一物体。在这些实施例中， 电子游戏的用户可手持物体从而可以使用玩家和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武器。图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。 根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，或可与从深度相机沿其视线延伸的Z轴垂直的层。如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可以捕捉场景的深度图像的深度相机。深度图像可包括被捕捉的场景的二维O-D)像素区域，其中2-D像素区域中的每一个像素都可以(例如以厘米、毫米等等为单位)表示来自相机的被捕捉的场景中的对象的长度。如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的顶光组件对、三维(3-D)相机沈、和RGB相机观。例如，在飞行时间分析中，捕捉设备20的顶光组件M可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D相机沈和/或RGB相机观，来检测从场景中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外，在其他示例实施例中，可将入射光波的相位与出射光波的相位进行比较来确定相移。然后可以使用相移来确定从捕捉设备到目标或对象上的特定位置的距离。根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。根据另一实施例，捕捉设备20可包括可以从不同的角度观察场景的两个或更多个在物理上分离的相机，以获取可以被解析以生成深度信息的视觉立体数据。在一个实施例中，捕捉设备22可包括一个或多个传感器36。传感器36中的一个或多个可包括诸如运动传感器、震动传感器、电场传感器等之类的可通过周期性地扫描计算环境12的视野来检测视野中的用户的存在的被动式传感器。被动式传感器可以非常低的功率级或待机功率级操作，以检测计算环境12的视野中的用户的存在，从而允许系统的组件的高效功率利用。一旦检测到用户的存在，传感器36中的一个或多个可被激活以检测用户的与计算环境交互的意图。在一个实施例中，可基于诸如来自用户的拍手声之类的音频输入、轻量级有限词汇语音识别、或例如以IHz速率寻找站在捕捉设备前或面向捕捉设备的用户等的轻量级图像处理来检测用户的与计算环境交互的意图。基于用户交互数据， 可自动改变计算环境100的功率级并且可为用户激活计算环境100。所公开的技术执行的操作在图5A和5B中更详细地描述。捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可以被用来减少目标识别、分析和跟踪系统10 中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。在一示例实施例中，捕捉设备20还可以包括可以与图像相机组件22进行可操作的通信的处理器32。处理器32可包括标准化处理器、专业化处理器、微处理器等等，它们可以执行用于接收深度图像、判断合适的目标是否可以被包括在深度图像中、将合适的目标转换为目标的骨架表示或模型的指令，或任何其他合适的指令。捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器 32执行的指令，由3-D相机或RGB相机捕捉到的图像或图像的帧，或任何其他合适的信息、 图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器 (ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线 802. lib,802. llg、802. Ila或802. Iln连接等无线连接。根据一个实施例，计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路36确定何时捕捉，例如，场景。另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如 3-D相机沈和/或RGB相机观捕捉到的图像，以及可以由捕捉设备20生成的骨架模型。 计算环境12然后可使用该骨架模型、深度信息和捕捉的图像来例如识别用户姿势以及作为响应来控制诸如游戏或文字处理程序等应用。例如，如图2所示，计算环境12可包括姿势识别器引擎190。姿势识别引擎190可被实现为包括用以执行所公开的技术的操作的可执行指令的软件模块。姿势识别器引擎190可包括姿势过滤器集合，每一姿势过滤器包括关于骨架模型(在用户移动时)可执行的姿势的信息。可将由相机26 J8和设备20捕捉的骨架模型形式的数据以及与其相关联的移动同姿势识别器引擎190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算环境12可使用姿势识别器引擎190来解释骨架模型的移动并基于该移动来控制应用。在一实施例中，计算环境12可从捕捉设备20接收姿势信息， 姿势识别器引擎190可从该信息标识姿势和姿势风格。关于用于本技术的姿势识别引擎的进一步细节在2009年12月18日提交的同时待决的专利申请号12/642589中提出，该申请通过引用而整体上结合于此。如图2中进一步示出的，计算环境还可包括功率控制单元M0。在一个实施例中， 功率控制单元540可以是包括用以通过用户交互自动控制对计算环境12的供电的可执行指令的软件模块。在一实施例中，功率控制单元540可分析姿势识别引擎190中的姿势以确定用户的与计算环境12的交互的意图，并可自动地为用户激活计算环境12。功率控制单元540执行的操作将参考下面的图5和6更详细地讨论。图3A示出了可以被用来解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台102。控制台102具有中央处理单元(CPU) 200，以及便于对包括闪存只读存储器(ROM) 204、随机存取存储器(RAM) 206、硬盘驱动器208、以及便携式媒体驱动器106在内的各种类型的存储器进行处理器访问的存储器控制器202。在一个实施例中，CPU 200包括一级高速缓存210和二级高速缓存212，以用于临时地存储数据并且因此减少了对硬盘驱动器208进行的存储器访问周期数，从而提高处理速度和吞吐量。CPU 200、存储器控制器202、以及各种存储器设备通过一个或多个总线(未示出)互连。在此实现中使用的总线的细节并不特别地与理解此处所讨论的感兴趣的主题相关。 然而，将理解，这样的总线可能包括使用各种总线架构中的任何一种的串行和并行总线、存储器总线、外围总线、处理器或局部总线中的一个或多个。作为示例，这样的架构可以包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线和外围部件互连(PCI)总线(也被称为夹层(Mezzanine)总线)。在一个实现中，CPU 200、存储器控制器202、R0M 204、以及RAM 206被集成到公共模块214上。在该实现中，ROM 204被配置为通过PCI总线和ROM总线(两者都未示出) 连接到存储器控制器202的闪存ROM。RAM 206被配置为由存储器控制器202通过单独的总线(未示出)被独立控制的多个双倍数据率同步动态RAM (DDR SDRAM)模块。硬盘驱动器208和便携式媒体驱动器106被示为通过PCI总线和AT附加设备(ATA)总线216连接到存储器控制器202。然而，在其他实现中，还可以在替代方案中应用不同类型的专用数据总线结构。三维图形处理单元220和视频编码器222形成用于进行高速和高分辨率(例如， 高清晰度)图形处理的视频处理流水线。数据通过数字视频总线(未示出)从图形处理单元220输送到视频编码器222。音频处理单元2M和音频编解码器(编码器/解码器)226 形成用于对各种数字音频格式进行多通道音频处理的相应音频处理流水线。音频数据通过通信链路(未示出)在音频处理单元2M与音频编解码器2 之间输送。视频和音频处理流水线将数据输出到A/V(音频/视频)端口 2 以传输到电视机或其他显示器。在示出的是实现中，视频和音频处理组件220-2 被安装在模块214上。图3A示出包括USB主控制器230和网络接口 232的模块214。USB主控制器230 被示为通过总线(例如PCI总线)与CPU 200和存储器控制器202通信，并用作外围控制器104(1)-104⑷的主机。网络接口 232提供对网络(例如因特网、家庭网络等)的访问， 并且可以是包括以太网卡、调制解调器、无线接入卡、蓝牙模块、电缆调制解调器等各种有线或无线接口组件中的任一种。在图3A中所描绘的实现中，控制台102包括用于支持四个控制器104(1)-104(4) 的控制器支持子部件M0。控制器支持子部件240包括为支持对诸如媒体与游戏控制器等外部控制设备进行有线和无线操作所需的任何硬件和软件组件。前面板I/O子部件242支持暴露在控制台102的外表面上的电源按钮112、弹出按钮114、以及任何LED(发光二极管)或其他指示器的多个功能。子部件240和242通过一个或多个电缆部件244与模块 214进行通信。在其他实现中，控制台102可包括附加的控制器子部件。示出的实现还示出了被配置为发送和接收可被传送到模块214的信号的光学I/O接口 235。MU 140(1)和 140(2)被示为可以分别连接到 MU 端口 “A” 130 (1)和 “B” 130 (2)。 附加MU(例如MU140(3)-140(6))被示为可以连接到控制器104(1)和104(3)，即每一控制器两个MU。控制器104(2)和104(4)也可以被配置为容纳MU (未示出)。每个MU 140提供上面可以存储游戏、游戏参数、以及其他数据的附加存储设备。在某些实现中，其他数据可以包括数字游戏组件、可执行游戏应用、用于扩展游戏应用的指令集、以及媒体文件中的任何一个。在被插入到控制台102或控制器中时，MU 140可以由存储器控制器202来访问。 系统供电模块250向游戏系统100的组件供电。风扇252冷却控制台102内的电路。在一实施例中，控制台102还包括微控制器单元254。微控制器单元邪4可在例如通过用户按下控制台102的电源按钮112或弹出按钮114等的用户物理激活控制台102时被激活。一旦激活，微控制器单元2M就可以非常低的功率状态或待机功率状态操作，以根据所公开的技术的各实施例执行控制台102的各种组件的智能功率控制。例如，微控制器单元2M可基于各种组件执行的功能的类型或各种组件通常操作的速度来执行控制台102 的各种组件的智能功率控制。在另一实施例中，一旦接收到定时器形式的控制台设备激活请求、控制台102的用户的远程请求或离线请求，微控制器单元邪4还可将控制台102中的组件中的一个或多个激活到更高的功率级。或者，微控制器单元2M可从远程服务器接收采用例如局域网(LAN)查验(ping)形式的控制台设备激活请求，以改变控制台102中的组件的功率级。包括机器指令的应用260被存储在硬盘驱动器208上。在控制台102通电时，应用 260的各部分被加载到RAM 206、和/或高速缓存210和212中，以供在CPU 200上执行，其中应用260是一个这样的示例。可以将各种应用存储在硬盘驱动器208上以供在CPU 200 上执行。可通过简单地将系统连接到视听设备16 (图1)、电视机、视频投影仪、或其他显示设备来将游戏和媒体系统100用作独立系统。在该独立模式中，游戏与媒体系统100允许一个或多个玩家玩游戏、或例如通过看电影或听音乐来享受数字媒体。然而，随着通过网络接口 232宽带连接的集成变为可用，游戏和媒体系统100还可用作较大的网络游戏社区中的参与者。图IBB示出了可用于目标识别、分析和跟踪系统中的计算环境的另一示例实施例。 图:3B示出了诸如个人计算机等合适的计算系统环境300的示例。参见图:3B，用于实现本发明的示例性系统包括计算机310形式的通用计算设备。计算机310的组件可包括，但不限于，处理单元320、系统存储器330和将包括系统存储器在内的各种系统组件耦合至处理单元321的系统总线320。系统总线321可以是若干类型的总线结构中的任何一种，包括使用各种总线架构中的任何一种的存储器总线或存储器控制器、外围总线、以及局部总线。作为示例而非限制，这样的架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层(Mezzanine)总线的外围组件互连(PCI)总线。计算机310通常包括各种计算机可读介质。计算机可读介质可以是能由计算机 310访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于， RAM、ROM、EEPR0M、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储设备、磁带盒、磁带、磁盘存储设备或其他磁存储设备、或能用于存储所需信息且可以由计算机310访问的任何其他介质。通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并包括任意信息传送介质。术语 “已调制数据信号”指的是一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制，通信介质包括有线介质，如有线网络或直接线连接，以及诸如声学、 RF、红外及其它无线介质之类的无线介质。上述中任一组合也应包括在计算机可读介质的范围之内。系统存储器330包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM) 331和随机存取存储器(RAM) 332。基本输入/输出系统333 ￠10 包括如在启动时帮助在计算机310内的元件之间传输信息的基本例程，它通常储存在ROM 331中。 RAM 332通常包含处理单元320可以立即访问和/或目前正在操作的数据和/或程序模块。 作为示例而非限制，图3B示出了操作系统334、应用程序335、其他程序模块336，以及程序数据337。计算机310还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。只作为示例，图3B示出了读写不可移动、非易失性磁性介质的硬盘驱动器340，读写可移动、非易失性磁盘352的磁盘驱动器351，以及读写诸如CD ROM或其他光学介质之类的可移动的，非易失性光盘356的光盘驱动器355。可以在示例性操作环境中使用的其他可移动 /不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器341通常由不可移动存储器接口，诸如接口 340连接至系统总线321，磁盘驱动器351和光盘驱动器355通常由可移动存储器接口，诸如接口 350连接至系统总线321。上面讨论并在图;3B中说明的驱动器及其相关联的计算机存储介质为计算机310 提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图3B中，硬盘驱动器341被示为存储了操作系统344、应用程序345，其他程序模块346，以及程序数据 347。注意，这些组件可以与操作系统334、应用程序335、其他程序模块336和程序数据337 相同，也可以与它们不同。在此给操作系统344、应用程序345、其他程序模块346、以及程序数据347提供了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘362 和定点设备361 (通常被称为鼠标、跟踪球或触摸垫)之类的输入设备向计算机20输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口 360连接至处理单元320，但也可以由诸如并行端口、游戏端口或通用串行总线(USB)等其他接口和总线结构来连接。监视器391或其他类型的显示设备也通过接口，诸如视频接口 390，连接至系统总线321。除监视器之外，计算机还可以包括可以通过输出外围接口 390连接的诸如扬声器 397和打印机396之类的其他外围输出设备。在一实施例中，计算机310还可包括如图;3B中所讨论的微控制器单元254，以执行计算机310的各种组件的智能功率控制。计算机310可使用至一个或多个远程计算机，诸如远程计算机380的逻辑连接在网络化环境中操作。远程计算机380可以是个人计算机、 服务器、路由器、网络PC、对等设备或其他公共网络节点，通常包括上文相对于计算机310 所描述的许多或全部元件，但是图3B中只示出了存储器设备381。图;3B中所描绘的逻辑连接包括局域网(LAN)371和广域网(WAN) 373，但是，也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。当在LAN联网环境中使用时，计算机310通过网络接口或适配器370连接至LAN 371。当在WAN联网环境中使用时，计算机310通常包括调制解调器372或用于通过诸如因特网等WAN 373建立通信的其他装置。调制解调器372可以是内置或外置的，它可以经由用户输入接口 360或其他适当的机制连接至系统总线321。在网络化环境中，相对于计算机310所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图 3B示出了驻留在存储器设备381上的远程应用程序385。能够理解，所示的网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其他手段。图4示出了可利用本技术的多媒体系统中的计算化境的操作的示例实施例。诸如上述参考图3A描述的计算环境100之类的计算环境例如可以是用于在多媒体系统530中执行游戏或其他应用的多媒体控制台。在一实施例中，计算环境100可进一步作为诸如多媒体系统530之类的更大的网络社区中的电子设备来操作。如所示，多媒体系统530还可包括诸如紧致盘(CD)播放器508、数字视频盘/视频带记录器(DVD/VCR)播放器510、音频/ 视频(A/V)放大器512、电视机(TV) 514以及个人计算机(PC) 516之类的一个或多个设备。 设备(508-516)可经计算环境100中的外围控制器142(1)-142(2)(图3A中示出)或经通信链路518与计算环境100通信，通信链路518可包括包含例如USB连接、火线连接、以太网线缆连接等有线连接和/或诸如无线802. lib,802. llg、802. Ila或802. Iln连接之类的无线连接。计算环境100还可包括将数据输出到A/V(音频/视频)端口 140(示于图3A 中)以传输到TV 514或PC 516的音频/视频处理流水线。诸如端口 140之类的A/V(音频/视频)端口可被配置用于使用A/V接口电缆进行内容受保护的数字通信，A/V接口电缆例如适用于耦合到TV 514上的高清晰度多媒体接口 “HDMI”端口或PC 516上的显示监视器的A/V电缆。捕捉设备20可定义用于计算环境100的附加输入设备。捕捉设备20可包括诸如参考图2所讨论的那些图像相机组件，以捕捉进入计算环境100的视野的用户的深度图像。 将理解，多媒体系统530中的各种设备(508-516)、计算环境100以及捕捉设备20之间的互连是示例性的，可根据多媒体系统530的要求使用在设备(508-516)之间建立通信链路的其他手段。在一实施例中，系统530可经网络520连接到游戏网络服务522，以允许与其他系统上的用户交互以及对用户数据的存储和检索。功率控制技术由所公开的技术实现，其中捕捉设备20最初检测和用户的与计算环境100进行交互的意图有关的数据，并将用户交互数据传递到计算环境100。基于捕捉设备20接收到的用户交互数据，计算环境100的功率级自动改变，且为用户激活计算环境 100。在一实施例中，计算环境100中的处理模块(例如图3A中所示的CPU 101等)可执行用于执行为用户激活计算环境100的操作的指令。具体来说，处理模块可包括用于从捕捉设备20接收用户交互数据，以及基于用户交互数据设置捕捉设备20和计算环境100的功率级的指令。计算环境100中的处理模块还可包括用于从捕捉设备20接收附加用户交互数据以及基于附加用户交互数据改变计算环境100的功率级的指令。处理模块还可包括用于基于改变的功率级激活计算环境100的指令。在替换操作集中以及下面将参考图6更详细地讨论的，计算环境100中的处理模块还可执行在激活计算环境100之后为用户激活多媒体系统530中的一个或多个电子设备(508-516)的指令。在一个实现中，多媒体系统530中的设备之间的用以执行所公开的技术的操作的通信可使用高清晰度多媒体接口(HDMI)来执行，HDMI是用于在电子设备之间传输非压缩数字数据的小型音频/视频接口。在一实施例中，HDMI用于将诸如DVD/VCR播放器510、A/ V放大器512、捕捉设备20和计算环境100之类的数字A/V源连接到诸如TV 514或PC 516 之类的兼容数字音频设备。如将理解的，HDMI在单条电缆上支持包括标准、增强和高清晰度视频的任何TV或PC视频格式，多达8个通道的数字音频和消费电子控制(CEC)连接。消费电子控制(CEC)连接使得HDMI设备能够在需要时彼此控制并允许用户同时操作多个设备。图5A示出了由所公开的技术执行的用以通过用户交互自动激活图4所示的多媒体系统530中的电子设备的示例操作集。在一实施例中，为用户激活的电子设备是计算环境100。在步骤399，周期性地扫描计算环境的视野以检测视野中用户的存在。如图2中所讨论的，以非常低的功率级或待机功率级操作的多个传感器36中的一个或多个被动式传感器可周期性地扫描计算环境的视野，以检测视野中用户的存在。在步骤400，作出检查以确定是否检测到用户的存在。如果没有检测到用户的存在，则如步骤399中所讨论的那样， 传感器可继续周期性地扫描视野以检测用户的存在。如果检测到用户的存在，则在步骤401 中传感器36中的一个或多个可被激活以检测用户的与计算环境交互的意图。在步骤402， 接收和与计算环境的第一用户交互有关的数据。在步骤404，作出检查以确定与第一用户交互有关的数据是否对应于用户的与计算环境交互的意图。可基于各种因素来确定用户的与计算环境交互的意图。在一个实施例中，可基于诸如来自用户的拍手声之类的音频输入、 轻量级有限词汇语音识别、或基于例如以IHz速率寻找站在捕捉设备前或面向捕捉设备的用户等由捕捉设备执行的轻量级图像处理来检测用户的与计算环境交互的意图。如果在步骤404中确定用户意图与计算环境交互，则将计算环境的功率级设置为某一级别以允许用户与计算环境的交互。如果在步骤404确定用户不意图与计算环境交互，则计算环境的功率级保持在原始功率级。所公开的技术执行的用以执行系统530的计算环境和其他设备的智能功率控制的操作在图5B和6中更详细地描述。图5B示出了由所公开的技术执行的用以通过更详细的用户交互自动激活图4所示的多媒体系统530中的电子设备的示例操作集。在一实施例中，为用户激活的电子设备是计算环境100。在步骤400中，如图5A所讨论的，通过捕捉设备20中的一个或多个传感器36检测计算环境100的视野中的用户的存在，以及将用户交互数据传递给计算环境100。 具体来说，在步骤402中，由计算环境100接收与第一用户交互有关的数据。在判决步骤 404，作出检查以确定第一用户交互是否对应于用户的与计算环境100交互的意图。可使用各种因素来确定用户是否意图与诸如计算环境100等电子设备交互。例如，用户的朝向计算环境100的视野的移动可指示出用户的与计算环境100交互的意图的更高可能性。另一方面，如果用户一般处于一个位置并且看上去非常静止，则用户的与计算环境100交互的意图可能是低的。或者，例如用户穿过计算环境100的视野的快速移动或用户离开视野的移动可指示出用户不与计算环境100交互的意图。此外且如图5A中所讨论的，可基于诸如来自用户的拍手声之类的音频输入、轻量级有限词汇语音识别、或基于例如以IHz速率寻找站在捕捉设备前或面向捕捉设备的用户等由捕捉设备执行的轻量级图像处理来检测用户的与计算环境交互的意图。如果判决步骤404为真，即如果第一用户交互对应于用户的与计算环境100交互的意图，则执行步骤408，其中将捕捉设备20和计算环境100的功率级设置为某一功率级。 在一个实现中，捕捉设备20和计算环境100的功率级可从初始功率级增加到中间功率级。 要理解，捕捉设备20和计算环境100可在接收用户交互数据之前以初始功率级操作。例如， 捕捉设备20和计算环境100的初始功率级可被设置为大约0瓦至大约10瓦的范围内。一旦检测到用户的与计算环境100交互的意图，则捕捉设备20和计算环境100的初始功率级可被自动增加到中间功率级。例如，中间功率级可被设置为处于大约10瓦至到约30瓦的范围内。注意，在接收用户交互数据之前将捕捉设备20和计算环境100的功率级设置到初始功率级提供了多媒体系统530中对设备20、100的高效能量利用。如果判决步骤404为假，即如果确定用户不意图与计算环境100交互，则执行步骤406，其中将捕捉设备20和计算环境100的功率级保持在初始功率级。处理继续到判决步骤410，其中作出检查以确定用户是否意图与计算环境100进一步交互。如果判决步骤410为假，S卩如果没有检测到来自用户的附加输入，则执行步骤 406，其中将捕捉设备20和计算环境100的功率级保持在初始功率级。如果判决步骤410为真，则执行步骤412，其中接收和与计算环境100的第二用户交互有关的数据。第二用户交互可包括例如来自用户的姿势或附加话音输入。例如，用户可在捕捉设备20处举起他的或她的手臂并挥动，以指示与计算环境100进一步交互的意图。或者，用户可发出诸如“开始” 或“准备”或“打开”之类的话音命令以指示参与计算环境100的意图。话音输入可包括说出的单词、口哨、喊叫或其他发声。诸如拍手之类的非口声声音也可由捕捉设备20检测。例如，耦合到捕捉设备20的话筒可任选地被用于检测从中检测到声音的方向，并将其与用户的检测到的位置相关以提供关于用户意图参与计算环境100的可能性的更为可靠的度量。此外，话音数据的存在可以与用户意图参与电子设备的增加的概率相关。此外，话音数据的音量或响度可以与用户意图参与设备的增加的概率相关。同样，可以检测言语，使得诸如“打开设备”、“开始”或“准备”等命令指示参与设备的意图。用户的参与设备的意图还可包括检测指示出参与设备的意图的言语和/或检测指示出参与设备的意图的话音首量。在步骤414，作出检查以确定与第二用户交互有关的数据是否指示出用户的激活计算环境100的意图。如果判决步骤414为真，则执行步骤416以基于第二用户交互来改变计算环境100的功率级，并为用户激活计算环境。例如，可将计算环境100的功率级从中间功率级改变到激活功率级。在一个实现中，计算环境100的激活功率级可处于大约30瓦至大约50瓦的范围内。例如，计算环境100的激活可包括向用户提供与计算环境100相关联的音频输出或视频显示。在步骤418，作出检查以确定用户是否意图与多媒体系统530中的附加设备交互。如果步骤418为真，则执行步骤420以为用户激活附加设备。由所公开的技术执行的为用户激活附加设备的操作在下文图6中更详细地描述。在用户完成了对计算环境的使用之后，用户可能希望关闭单元。在步骤422，执行检查以确定用户是否意图关闭计算环境100。例如，可从用户接收指示用户的停止与计算环境100交互的意图的姿势或话音输入。如果判决步骤422为真，则执行步骤406，其中将计算环境100和捕捉设备20的功率级改变到初始功率级。如果步骤422为假，即如果用户不意图停止与计算环境100交互，则控制传回步骤416，其中计算环境100保持对用户激活。要理解，在一个实施例中，上面讨论的操作(402-422)可由计算环境100中的处理模块执行。在替代实施例中，操作可由诸如捕捉设备20中的处理器之类的替代处理器执行，或可由如图2中所示的计算环境12中的功率控制单元540执行。图6描绘了用于通过用户交互激活图4所示的多媒体系统中的一个或多个附加设备的示例方法。在一实施例中，计算环境100中的处理模块还可执行在激活计算环境100之后为用户激活多媒体系统530中的电子设备(508-516)中的一个或多个电子设备的指令。 例如，计算环境100中的处理模块可包括分析从捕捉设备20接收的与第二用户交互有关的数据是否指示出用户的除了激活计算环境100之外的激活系统530中的一个或多个附加设备(508-516)的意图的指令。另选地，计算环境100中的处理模块可从捕捉设备20接收与附加用户交互有关的数据，其中附加用户交互涉及用户的激活系统530中的另一设备的意图。具体来说，计算环境100中的处理模块可包括进一步分析从用户接收的姿势或话音输入的指令。计算环境100中的处理模块执行的用以激活多媒体系统530中的一个或多个附加设备(508-516)的示例性操作(500-506)在下文讨论。图6示出图5中步骤418处作出的确定的一个示例。最初，在步骤500，分析与第二用户交互有关的数据以确定用户是否意图与系统530中的附加设备(508-516)中的一个或多个交互。在判决步骤502，作出检查以确定来自用户的姿势和/或话音输入是否指示出用户的与系统530中的一附加设备交互的意图。例如，用户可发出诸如“打开电视”之类的命令以指示出参与多媒体系统530中的TV 312的意图。如果判决步骤502为真，则执行步骤506以改变用户意图与之交互的附加设备的功率级，并为用户激活该附加设备。如果判决步骤502为假，即如果确定用户不意图与附加设备交互，则执行步骤504，其中将附加设备的功率级保持在初始功率级。可理解，诸如系统530中的TV 514、⑶播放器508和DVD/ VCR播放器510等某些设备的激活功率级可能通常比例如与系统530中的计算环境相关联的激活功率级低。因此，所公开的技术提供了基于设备(508-516)的能量利用和功耗要求对多媒体系统530中的设备(508-516)进行智能功率控制。在一实施例中，计算环境100的处理模块还可包括用于显示与和多媒体系统530 中的计算环境100或一个或多个设备(508-516)相关联的特定功率级设置相对应的功率级级数的指令。例如，与诸如计算环境100、TV 514或PC 516等设备相关联的功率级级数可包括当设备被设置为中间功率级时，向用户显示可与和设备相关联的、诸如黑屏或屏幕保护程序显示等特定功率级设置相对应的特定音频/视频控制。图7是根据本发明的一个实施例的与设备相关联的功率级级数的图示。在所示示例中，图的y轴示出在一个实施例中可向设备分配的各种功率级。图的χ轴示出对于分配给设备的相应功率级的设备的示例功率值(以瓦为单位)。在某些情况下，用户还可能希望经图4所示的网络520与多媒体系统530中的计算环境100和其他设备(508-516)交互。因此，多媒体系统530中的计算环境100还可接收来自经网络520连接到游戏网络服务522的用户的指示出与计算环境100交互的意图的话音输入。当用户位于计算环境100的视野外时，计算环境100的功率级可被改变且可为用户激活计算环境100。此外，基于来自用户的话音输入计算环境还可改变一个或多个设备 (508-516)的功率级。图8示出所公开的技术的一个示例实施例，其中图4所示的多媒体系统中使用了一单独的功率控制单元。功率控制单元540可通过基于对用户的与设备的交互级别的确定来向设备分配变化的功率级，从而可激活多媒体系统530中的计算环境100和一个或多个设备(508-516)。如图8所示，在一实施例中，功率控制单元540可经通信链路316与捕捉设备20和计算环境100通信。然而，要理解的是功率控制单元540可与系统530中所示的设备(508-516)中的任何一个或其组合通信。如上所述，通信链路518可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802. lib,802. llg、802. Ila 或802. Iln连接等无线连接。此外，功率控制单元540可以是经通信链路518与捕捉设备 20和计算环境100通信的单独组件，或可以是集成在图2所示的计算环境100中的组件。功率控制单元540还可包括处理器(未示出)，处理器可在操作上与多媒体系统 530中的捕捉设备20和计算环境100通信。处理器可包括可执行用于接收和与计算环境 100的用户交互有关的数据、基于用户交互改变计算环境100的功率级以及基于对用户的与计算环境100的交互的级别的确定来激活计算环境100的指令的标准处理器、专用处理器、微处理器等。功率控制单元540还可基于计算环境100的激活来激活多媒体系统530中的设备(508-516)中的一个或多个。功率控制单元540可包括可存储可由处理器执行的指令的存储器。根据一示例实施例，存储器可包括随机存取存储器(RAM)、只读存储器(ROM)、 高速缓存、闪存、硬盘或任何其他合适的存储组件。所公开的技术具有若干有点，包括基于对用户的与设备交互的意图的确定且无需用户与设备的物理交互而自动激活电子设备的能力，导致增强的用户体验。此外，所公开的基于用户意图自动激活一组设备的技术导致高效的设备资源利用和降低的功耗，从而导致对用户的显著成本节省。尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
权利要求
1.一种用于控制对多媒体系统(530)中的设备(100)的供电的计算机实现的方法，包括接收和与设备(100)的第一用户交互有关的数据； 确定第一用户交互是否对应于与设备(100)交互的用户意图； 基于第一用户交互为设备(100)设置功率级； 接收和与设备(100)的第二用户交互有关的数据；基于第二用户交互改变设备(100)的功率级，以为设备(100)生成改变的功率级；以及基于改变的功率级为用户激活设备(100)。
2.如权利要求1所示的计算机实现的方法，其特征在于，接收数据包括检测设备的视野中的用户的存在。
3.如权利要求1所述的计算机实现的方法，其特征在于，所述设备是多媒体系统中的计算环境。
4.如权利要求1所述的计算机实现的方法，其特征在于，设置功率级包括向用户显示与设备相关联的功率级级数。
5.如权利要求1所述的计算机实现的方法，其特征在于，激活设备包括向用户显示与设备相关联的音频输出或视频显示中的至少一个。
6.如权利要求1所述的计算机实现的方法，其特征在于，所述第二用户交互包括来自用户的姿势或话音输入中的至少一个。
7.如权利要求1所述的计算机实现的方法，其特征在于，还包括分析所述和第二用户交互有关的数据，以确定用户的与多媒体系统中的至少一个附加设备交互的意图。
8.如权利要求7所述的计算机实现的方法，其特征在于，包括基于第二用户交互改变所述至少一个附加设备的功率级。
9.如权利要求7所述的计算机实现的方法，其特征在于，包括基于改变的功率级为用户激活所述至少一个附加设备。
10.如权利要求1所述的计算机实现的方法，其特征在于，还包括分析来自用户的话音输入，其中所述话音输入对应于当用户处于设备的视野之外时用户的与设备交互的意图。
11.一种多媒体系统(530)，包括捕捉设备(20)，所述捕捉设备00)检测视野中用户(18)的存在；以及与多媒体系统(530)中的捕捉设备00)和一个或多个设备(514，508，510，512，516) 通信的计算环境(100)，其中所述计算环境(100)包括处理模块O00)，所述处理模块(200) 包括指令用于从捕捉设备00)接收与第一用户交互有关的数据； 基于第一用户交互为计算环境(100)设置功率级； 从捕捉设备00)接收与第二用户交互有关的数据；基于第二用户交互改变计算环境(100)的功率级，以为计算环境(100)生成改变的功率级；以及基于改变的功率级为用户(18)激活计算环境(100)。
12.如权利要求11所述的多媒体系统，其特征在于，所述一个或多个设备包括紧致盘 (CD)播放器、数字视频盘/视频带记录器(DVD/VCR)播放器、音频/视频(A/V)放大器、电视机(TV)以及个人计算机(PC)中的至少一个。
13.如权利要求11所述的多媒体系统，其特征在于，所述处理模块包括基于改变的功率级向用户显示与计算环境相关联的音频输出或视频显示中的至少一个的指令。
14.如权利要求11所述的多媒体系统，其特征在于，所述处理模块包括向用户显示与计算环境相关联的功率级级数的指令。
15.一种用于控制对多媒体系统(530)中的计算环境(100)的供电的计算机可读存储介质，包括可执行指令用于接收和与计算环境(100)的第一用户交互有关的数据；基于第一用户交互为计算环境(100)设置功率级；向用户(18)显示与计算环境(100)相关联的功率级级数；接收和与计算环境(100)的第二用户交互有关的数据；基于第二用户交互改变计算环境(100)的功率级，以生成改变的功率级；以及基于改变的功率级为用户(18)激活计算环境(100)。
全文摘要
本发明涉及通过用户交互控制电子设备的功率级。提供了用于基于用户意图智能地控制多媒体系统中的电子设备的功率级的处理器实现的方法、系统和计算机可读介质。该方法包括接收和与多媒体设备中的设备的第一用户交互有关的数据。该方法包括确定第一用户交互是否对应于用户与设备交互的意图。该方法然后包括基于第一用户交互为设备设置功率级。该方法还包括接收和与设备的第二用户交互有关的数据。该方法然后包括基于第二用户交互改变设备的功率级以为用户激活设备。
文档编号G06F1/32GK102323853SQ20111015992
公开日2012年1月18日 申请日期2011年6月3日 优先权日2010年6月4日
发明者J·克拉维恩, J·塔迪夫 申请人:微软公司