电子设备的手势检测管理的制作方法
【专利说明】电子设备的手势检测管理
【背景技术】
[0001] 人们越来越多地以新的和有趣的方式与计算机和其它电子设备交互。一种这样的 交互方法涉及产生关于设备的可检测的运动或手势，其可使用照相机或其它这样的元件来 检测。虽然图像识别可与现有的照相机一起用于确定各种类型的运动，但是分析全色高分 辨率图像所需的处理的量通常非常高。这对于可具有有限的处理能力和/或有限的电池寿 命的便携式设备可能特别成问题，使得图像捕获和处理总是不实际的。在很多情况中，设备 将进入低功率或"睡眠"模式中，以便节约功率，其中设备的很多部件（包括各种处理器）将 在低功率模式中，如果不是完全断电。由于在这样的低功率模式中处理器可阻止设备检测 手势，然而，这可阻止使用手势来唤醒设备或以其它方式向设备指示回到活动状态中的能 力。
【附图说明】
[0002] 将参考附图描述根据本公开的各种实施方案，其中：
[0003] 图1示出示例环境，其中可根据各种实施方案实现各种方面；
[0004] 图2示出可根据各种实施方案使用的示例计算设备；
[0005] 图3示出可根据各种实施方案使用的计算设备的部件的示例配置；
[0006] 图4示出可根据各种实施方案使用的用于监测手势的示例过程；
[0007] 图5(a)、5(b)和5(c)示出可根据各种实施方案捕获的在运动中的手的图像的例 子；
[0008] 图6示出可根据各种实施方案使用的计算设备的部件的第一示例配置；以及
[0009] 图7示出示例环境，其中各种实施方案可被实现。
【具体实施方式】
[0010] 根据本公开的各种实施方案的系统和方法可克服在与电子环境交互的常规方法 中经历的一个或多个前面提到的和其它缺点。特别是，各种方法使基于手势、行动和/或运 动的输入能够提供到电子设备，即使设备在低功率、睡眠或其它这样的模式中，其中设备的 至少一些部件或功能可能不是容易得到的。在至少一些实施方案中，设备包括应用处理器、 主传感器处理核心、传感器处理部件或可管理设备上的一个或多个传感器并分析来自一个 或多个传感器的数据以试图检测由用户执行或提供的一个或多个手势或输入的其它这样 的处理部件。当部件例如传感器处理部件进入睡眠模式或其它这样的低功率操作状态时， 可在至少一些实施方案中执行主传感器处理代码的传感器处理部件可接触与传感器相关 的微控制器（或微处理器等）以使微控制器承担管理传感器的责任。在一些实施方案中， 主传感器处理代码可由应用处理器或其它这样的部件执行以执行类似的功能。微控制器可 至少进行基本分析，以便可能确定例如由用户执行的唤醒行动，且当置信度水平或其它这 样的度量满足至少最小阈值或其它这样的标准时，微控制器可使传感器处理部件进入活动 模式并重新开始传感器的管理。如果事件被确定为对应于唤醒行动，则传感器处理部件可 重新开始传感器的管理。如果事件被确定为不对应于唤醒行动，则传感器的管理可留在微 控制器，且传感器处理部件可返回到睡眠状态。这样的方法使设备能够在低功率模式中时 检测唤醒行动，即使用于确定这样的手势的一般设备处理器也在低功率状态中且因此不可 用来检测唤醒事件。
[0011] 下面关于各种实施方案提出各种其它应用、过程和使用。
[0012] 图1示出示例情况100,其中用户102想要向计算设备104提供基于手势和/或运 动的输入。虽然示出了便携式计算设备（例如智能电话、电子书阅读器或平板计算机），但 是应理解，可根据本文讨论的各种实施方案使用能够确定和处理输入的各种其它类型的电 子设备。这些设备可包括例如笔记本计算机、个人数据助理、蜂窝电话、视频游戏控制台或 控制器和便携式媒体播放器等。在这个例子中，计算设备104具有可操作来为了诸如自拍 像捕获或视频聊天的目的而执行功能例如图像和/或视频捕获的至少一个照相机106。设 备还包括可操作来为了诸如手势检测的目的而捕获较低分辨率图像的至少两个手势传感 器108、110。照相机、手势传感器和在设备上的任何其它这样的图像捕获元件可以是例如照 相机、电荷耦合器件（CCD)、运动检测传感器或红外传感器，或可利用另一适当的图像捕获 技术。此外，也可在各种实施方案的范围内使用其它数量的部件，例如一个或四个手势传感 器。
[0013] 在这个例子中，用户102使用用户的手110来执行选定的运动或手势，例如以执 行"挥动以唤醒"或可使设备从低功率、睡眠或其它这样的状态进入活动、正常或其它这样 的状态的类似手势。运动可以是特定的运动或由设备识别为对应于特定的输入或行动的一 组运动或手势之一。如果运动在设备上的一对手势传感器108、110的可见区域或角范围 112内被执行，则传感器可捕获包括运动的一个或多个图像，使得设备可使用至少一个图 像分析或特征识别算法来分析图像，并确定在随后的帧之间的用户的特征的运动。这可使 用已知的或用于确定运动例如找出在一个或多个初始图像中的"唯一"特征并接着在随后 的图像中跟踪那些特征的位置的任何过程来执行，由此，那些特征的运动可与对应于这组 运动或手势等的一组运动比较。可例如在2008年12月10日提交的且标题为"Movement Recognition and Input Mechanism"的共同未决的美国专利申请号12/332, 049中找到用 于确定基于运动或手势的输入的其它方法，该专利申请特此通过引用被并入本文。如果检 测到匹配已知的运动或手势的运动或手势，则可确定相应的输入提供到在计算设备上执行 的软件。这可包括例如将输入发送到在设备上执行的用户界面应用，由此，用户可通过在一 个或多个手势照相机或其它这样的元件的视场内执行一个或多个手势来向用户界面应用 提供输入。
[0014] 也可在各种实施方案的范围内检测其它类型的唤醒行动。这些可包括例如由用户 发出的音频命令，其可由至少一个麦克风或设备的其它音频传感器检测。另一唤醒行动可 包括设备的特定运动或重定向，如可使用至少一个运动或方位传感器检测的。又一唤醒行 动可涉及用户触摸或几乎触摸设备，如可使用压力传感器、电容触摸传感器、超声传感器等 检测的。
[0015] 图2示出可根据各种实施方案使用的示例计算设备200。在这个例子中，设备具有 在与显示元件202的设备的相同侧上的常规数字照相机204,使设备能够在一般操作期间 捕获关于设备的用户的图像信息，其中用户至少部分地在显示元件的前方。此外，存在位于 设备的同一侧上的两个手势传感器210、212,其当在相对相同的位置处时可用于确定来自 用户的手势输入。应理解，在各种实施方案的范围内也可以有在设备的相同或其它侧或位 置上的额外的照相机、手势传感器或其它这样的元件，例如可使相对于设备来自任何期望 方向或位置的手势或图像输入变得可能。可在各种情况中有利地一起使用照相机和至少一 个手势传感器，例如其中设备想要使用手势传感器在延长的一段时间期间以相对低的功率 使手势识别变得可能，并使用常规较高分辨率照相机在特定的时间执行面部识别或其它处 理器和功率密集过程。
[0016] 这个示例设备还示出可如在本文稍后讨论使用的额外元件，包括用于确定在待捕 获的图像的大致方向上的光的数量的光传感器206和用于在例如存在由光传感器确定的 不足的环境光时提供在特定范围的方向上的照明的照明元件208,例如，如在本文稍后将讨 论的白色发光二极管（LED)或红外（IR)发射器。设备还包括使语音或音频输入能够被提 供到设备的麦克风214。在各种实施方案的范围内也可使用各种其它元件和元件的组合，如 按照教导和包含在其中的建议应明白的。
[0017] 然而如上面讨论的，分析数据例如由一个或多个照相机捕获的图像数据可以是非 常处理器、资源和功率密集的，特别是对于移动设备，使得对于至少一些设备，连续地操作 用于手势检测的常规部件不实际。当设备进入低功率模式中时，具有最高功率消耗速率的 部件进入低功率模式、睡眠状态或其它这样的配置中可能是合乎需要的，其中部件消耗很 少功率到不消耗功率。虽然将部件例如处理器置于低功率状态中可节约相当大数量的功 率，但是这样的使用可阻碍设备执行特定任务的能力。例如，在常规设备中，部件例如应用 处理器（即，处理数据而不是控制功能的处理器，如数据库服务器）可用于监测和分析传感 器数据，以便确定运动何时被执行，以便确定将被提供到在设备上执行的应用的相应输入 信号。然而，如果处理器不在正常或活动操作状态中，则处理器可能不能够评估传感器数据 以确定手势例如"唤醒"手势是否正被执行。
[0018] 在一些实施方案中，传感器对运动的检测可使应用处理器或另一这样的部件进入 正常操作模式中，以便确定运动是否对应于唤醒手势，且如果不，则部件可返回到低功率模 式中。这样的方法可导致处理器被连续置于正常操作模式中，特别是对于便携式设备，其中 设备的运动可使传感器检测运动，这可能不仅在处理器处于正常操作状态中的时间期间而 且在处理器正改变到操作状态中的时间期间浪费相当大数量的功率和资源，并接着回到低 功率状态。虽然额外的传感器数据的使用可潜在地限制这些和其它误报（false positive) 的数量，但是来自传感器的数据仍然需要被分析，这将需要处理器停留在操作状态中。
[0019] 图3示出根据各种实施方案可与计算设备一起使用的部件的示例配置300。应理 解，在各种配置中可以有也被使用的各种其它部件，如对提供计算设备中的各种类型的功 能已知的。在这个例子中，计算设备包含处理器子系统304,例如芯片组或多处理器核心，其 包含可用于特定类型的功能的各种处理器或处理器核心。例如，如所示的处理器子系统包 含用于处理数据和指令的至少一个应用处理器306,如在计算设备中的常规应用处理器可 实现的。在这个例子中的子系统也包含专用传感器处理器308、协处理器、处理器核心或配 置成执行主传感器处理器代码的传感器处理部件，例如主传感器处理器代码可用于为了诸 如手势识别的目的而分析从在设备302上的各种传感器314、316、318接收的数据。
[0020] 专用传感器处理部件的使用可具有各种优点，包括手势识别的提高的速度和应用 处理器聚焦于其它任务的能力。潜在的不利方面是，传感器处理器308可能是相对重负荷 处理器核心，其可仍然消耗相当大数量的功率。此外，当处理器子系统进入低功率模式时， 传感器处理器308将连同应用处理器306 -起进入睡眠模式，且因此不能支持可在处理器 子系统在较低功率模式中时执行的事件或行动，例如"挥动以唤醒"手势。
[0021] 图3的设备使计算设备能够利用单独的微控制器312,以便在设备的处理器子系 统304在低功率模式中时的时期期间提供手势检测。在至少一些实施方案中，微控制器312 可使用适