使用环境光传感器的手势检测的制作方法
【专利摘要】描述了一种用于检测与设备进行非触摸通信的对象做出的手势的设备和方法。所述设备包括：两个或更多个环境光传感器，被布置在所述设备的相应表面位置处，所述两个或更多个环境光传感器中的每一个被配置为测量在所述相应表面位置处的光强度。该设备还包括：处理器，被配置为基于在两个或更多个时刻或测量周期在所述相应表面位置中的每一个处测量的光强度的比较来检测手势。
【专利说明】使用环境光传感器的手势检测
【背景技术】
[0001]计算机、移动电话、平板计算机和其他计算和通信设备包括各种输入接口。例如，计算机包括键盘和鼠标输入接口。使用鼠标，用户可以导航到显示区域并作出选择。处于各种原因，鼠标或等同输入接口不实际可用于诸如平板计算机和移动电话等的手持设备。原因之一是手持设备通常不用在用于适应鼠标操作的平稳表面上。大多数平板计算机和许多移动设备包括构建在屏幕下方的电容性触摸传感器用作主要导航和数据输入方法。这些触摸传感器要求用户利用他们的手指来对显示进行导航，从而在他们试图作出选择时潜在地遮挡屏幕并随着时间在屏幕上留下指纹和污迹。
【专利附图】
【附图说明】
[0002]为了更全面地理解本公开，现在结合附图和详述，参照以下简要描述，附图中相似的附图标记表示相似的部分。
[0003]图1示出了包括环境光传感器的示例性布置的设备；
[0004]图2描绘了图1中所示的设备的另一视图；
[0005]图3示出了根据另一实施例的包括环境光传感器的示例性布置的设备；
[0006]图4示出了根据另一实施例的包括环境光传感器的示例性布置的设备；
[0007]图5是用于处理手势的系统的框图；
[0008]图6是用于控制两个或更多个环境光传感器的系统的框图；
[0009]图7示出了检测手势的方法的处理流程；以及
[0010]图8是如本文所述的便于非触摸手势检测的示例性设备的框图。
【具体实施方式】
[0011]首先应当理解，尽管以下提供了本公开的一个或多个实施例的示意性实施方式，但是所公开的系统和/或方法也可以使用任何数量的技术而实现，不论这些技术是当前已知还是已存在。本公开绝不应局限于包括本文示意和描述的示例性设计和实施方式在内的以下所示的示意性实施方式、附图和技术，而是可以在所附权利要求的范围及其等同替换方式的整个范围内进行修改。
[0012]如上所述，当前用作移动设备的输入设备的触摸屏可能呈现准确性(由于在输入期间用户手指覆盖选择)和维护(由于在使用期间留下的指纹和污迹)的问题。在一些移动设备中，基于手势的输入已经被认为是触摸输入的备选。这些系统包括例如用于记录和解释手势输入的摄像机和处理器。其他示例性实施例包括耦合到一个或更多个红外光传感器以记录在每个红外光传感器处的强度的一个或更多个红外发光二级管。
[0013]本文所描述的系统和方法的实施例包括环境光传感器，环境光传感器便于对由与设备(例如智能电话或平板计算机)进行非触摸通信的对象(例如用户的手)作出的手势进行识别。
[0014]图1示出了包括环境光传感器110的示例性布置的设备100。设备100可以是任何计算、通信或数据存储设备，例如平板计算机、膝上型计算机、智能电话、音乐播放器、存储设备等。图1所描绘的图示示出了向用户显示信息的机身125表面上的设备100的屏幕120 (例如玻璃或其他透明表面)，该信息可以是基于用户选择或由设备100生成的。设备所生成的信息可以包括通信连接(移动网络、wifi连接、蓝牙连接等)、电话呼叫或电子消息或其任何组合的状态。屏幕120可以充当设备100和用户之间的输入/输出(I/O)。图1中所示的示例性设备100具有占据设备100的一个表面的大部分的屏幕120。其他示例性设备100可以取而代之地包括键盘或其他组件，使得屏幕120相对于设备100的表面大小的相对大小小于图1中所示的大小(例如见图4)。三个环境光传感器(ALS)110x、110y、IlOz布置在图1中屏幕120的下方。尽管所示ALSllO布置在屏幕120的下方以保护免受环境和意外损坏，然而因为屏幕120是允许环境光穿过的透明设备元件，不论ALS布置在屏幕120上方还是下方，ALSllO接收相同强度的环境光或至少充足的环境光以检测环境光的改变。屏幕120包括可以过滤或漫射一些光(例如特定范围的光波长)的玻璃或聚合物外层。如本文所描述的用于检测的充足的光穿过屏幕120的外层。环境光是指使用设备100的环境中可用的光(光的亮度和方向)。因此，ALSllO是被动(passive)设备。例如，ALSllO不具有用于提供由ALSllO检测的光的设备100上的发射器并且不与其相关联。在另一示例中，设备100不为了手势检测的目的而发射光。在一个示例中，环境光是在设备所在的环境中存在的光。
[0015]图2描绘了图1中所示的设备100的另一视图。图2所示的图示包括光源210。该光源210可以是太阳、灯或在使用设备100的给定环境中提供可用光的光源的某种组合。如果白天时设备100在户外，太阳提供环境光，该环境光是扩频光。如果设备正用在没有外窗的室内，则由室内发光系统(例如灯、荧光灯泡、白炽灯泡、LED等)生成环境光。环境光还可以是自然光(例如日光)和人造光(例如荧光、白炽光)的组合。每个ALSllO输出与所测量的光强度115相对应的电流电平(例如见图5)。模数转换器可以用于从ALSllO导出数字输出。ALS中的每个可以具有可调灵敏度(可调增益设置)。每个ALS还可以是具有在两个或更多个范围(波长频带或范围)中的可选操作范围的扩频传感器。以下参考图6讨论在此选择中进行的处理。每个ALSllO的操作的完全范围可以接近可见光的波长范围(400nm至700nm)。通常商业上可用的ALS可以检测例如350nm至700nm波长范围中的环境光。因为每个ALSllO测量其接收区域(见例如230y和230y’定义ALSllOy的接收区域，230z和230z’定义ALSllOz的接收区域)中的可用(环境)光的强度，ALSllO是不需要对应发射器或发射机的被动传感器。接收区域通常是圆锥体形，圆锥体尺寸由半灵敏度的角度确定。图2是示例性接收区域的截面图。每个ALSllO可以以提供每平方米的流明的测量的光度单位(勒克斯)或以提供每平方米的瓦特的测量的辐射度单位(辐照度)来测量其接收区域中的光强度115。在图1和图2所示的实施例中，三个ALS110x、110y、110z以三角形图案布置。即，至少一个ALSllO与至少两个其他ALSllO偏离或不线性对齐。
[0016]通过包括两个或更多个ALSllO (例如三个ALSllOx、IlOyUlOz)，图1和图2中所示的设备100便于对对象240的手势的检测，由于对象240的移动，所述手势改变ALSllO中的一个或更多个ALSllO的检测区域中的光强度115(例如见图5)。通过以三角形图案包括具有三个或更多个ALSl 10中的至少三个的三个或更多个ALSl 10，可以以三维识别对象240的移动。如以下进一步详述，基于在不同时刻或测量周期由ALSllO中的每一个测量的由于对象240的移动导致的光强度115的改变，检测和识别手势。即，ALSllO中的每个ALSllO在给定时刻与其他ALS110同时或在测量周期中与其他ALS110按顺序测量光强度115，使用对不同时刻或测量周期的光强度115测量的比较来检测手势。例如，假定ALSllO在图2所示的时刻同时(或近似同时)测量光强度115，对象240被放置为使得由ALSllOz检测的光强度115受影响，但由ALSI1x和IlOy检测的光强度115不受对象240的影响。基于对象240的移动方向，由ALSl 10x、I 1y、I 1z中的不同ALS检测的光强度115可能在不同时刻受对象240的位置的影响。对象240可以是手、一个或更多个手指、棒或另一非透明物体，它们部分地或完全地阻挡环境光的通过，使得可以基于对所测量的光强度115的作用来检测其位置。
[0017]无触摸手势可以模仿划动(还被称为挥动)，划动是触摸敏感显示器上的特定类型的触摸。划动或挥动可以从原点开始并持续到终点(例如手势的结束点)。手势可以由手势的属性或特性来识别，如以下进一步讨论。这些属性可以包括例如(ALS110检测的)原点、终点、对象240行进的距离、持续时间、速度和方向。手势在距离和/或持续时间上可长可短。可以利用手势的两点来确定手势的方向。手势还可以包括悬停。悬停可以是对象240在一个时段内在大致不变的位置不移动。
[0018]在图1和图2中所示的ALSllO的布置中，可以要求ALSllOx、IlOy和IlOz之间的最小距离(例如ALSllOy和IlOz之间的距离220)以区分对象240的移动。该最小距离通常是2厘米(cm)的数量级。更具体而言，ALSllO之间的最小距离是基于对象240的预期大小作为一个因素。例如，与使用一个手指作为对象240时相比，当使用张开的手作为对象240时，可能需要更大的最小距离来区分手势。这是因为在更多时刻，张开的手会覆盖所有三个ALS110x、110y、110z，使得仅当对象240处于ALSllOx、110y、IlOz集合的边缘时，张开的手的移动才能被区分出来。根据一个或更多个实施例，ALSl 10可以位于角部或沿着屏幕120的边缘，因此屏幕120大小可以确定ALSllO之间的距离。当预期张开的手作为用于执行手势的对象240时，ALSllO之间的最小距离可以使用3.5cm。ALSllO之间的增加的距离便于更清晰地区分手势(例如方向、速度)，因为对于多数手势移动，张开的手对象240将不会覆盖所有ALSl 10。
[0019]另一必须考虑的距离是对象240和ALSllO之间的距离(例如对象240和ALSllOz之间的距离)。首先，如图2明确示出，对象240必须在光源210和ALSllO之间，以便由ALSllO中的一个或更多个ALSllO基于对象240对由ALS110中的一个或更多个ALS110所检测的光强度115的作用来对对象240进行检测。尽管通常在对象240和ALS110之间不要求最小距离(即对象240可能几乎触摸屏幕120表面)，对象240在执行手势时通常距离屏幕120有2-3cm远。当对象240离ALS110 (屏幕120表面)太近时，则可能检测不到手势的开始或结束的某个部分。这是由于ALSllO的接收区域的宽度(如例如在图2的截面图中的230y和230y’以及230z和230z’所示)是在ALS110的表面处最窄的，并随着与ALS的距离增加而增加。因此，从图2中可以清楚地看到，距离上更靠近ALSllO (屏幕120表面)的对象240还必须更靠近ALSllO的中心(在垂直尺寸上，沿着屏幕120)以进入ALS110的接收区域。通过将对象240悬停在给定ALSllO之上并将其移动更远离(降低对象240作用并增加光强度115测量)或更靠近一起(增加对象240作用并降低光强度115测量)，可以作出与鼠标点击类似的手势。因此，可以将双击和三击手势添加到可用可区分手势。
[0020]图3示出了根据另一实施例的包括环境光传感器110的示例性布置的设备100。图3中所示的示例性设备100与图1和图2中所示的设备100相似在于屏幕120占据设备100的一个表面中的大部分。图3中所不的设备100包括被布置在屏幕120的周长周围的七个 ALS110a、110b、110c、110d、110e、110f、110g。如图 3 所示，ALSllOa偏离 ALSllOb、IlOc和IlOd的公共轴线111以及ALSl1eUlOf和IlOg的公共轴线111’。在备选实施例中，可以布置ALSllOb、IlOc和IlOd或ALS110e、110f和IlOg中的一个或更多个ALS，使得它们不分别沿着111或111’与其他ALS线性对齐。例如，ALSI1c和ALSllOf可以布置在更靠近屏幕120的中心并因此分别偏离ALSllOb和IlOd公共的轴线111以及ALSllOe和IlOg公共的轴线111’。增加ALSllO的数量增加了设备100可以检测的手势的数量。例如，图3示出了一个挥手手势(对象240从设备100的一侧向另一侧移动)。因为在屏幕120周长周围的ALSllO的数量，可以与图3中所示的挥手手势区分的其他挥手手势也是可能的。对象240可以从ALSllOd和IlOe移动到ALSllOa或从ALSllOd移动到ALSllOg0应当注意，如果ALSllO更靠近地聚集在一起并且对象240是手(如图3所示)，则与当如图所示布置ALSllO时相比，更少的可区别手势是可能的。
[0021]图4示出了根据另一实施例的包括环境光传感器110的示例性布置的设备100。不同于图1-3中所示的示例性设备100，图4中所示的设备100将键盘或其他组件包括在空间410中，使得屏幕120相对于图1-3中所示的屏幕120占据设备100的一个表面中的较少部分。所示三个ALSl 10m、I1nUlOo在屏幕120的周长附近。如上所述并如图1中所示，ALSl 10m、IlOnU10可以更靠近地布置在一起，使得对象240作出的手势更类似于触摸板的用户利用手指作出的手势。
[0022]图5是用于处理手势的系统500的框图。以下参考特定组件讨论系统500执行的功能。然而，在备选实施例中，系统500可以使用用于本文所讨论的多于一个功能的一个或更多个处理器和一个或更多个存储设备来处理手势。此外，与以下讨论的处理器和存储设备相同的处理手势的处理器和存储设备可以在设备100中执行其他功能。例如，用于识别手势的处理器可以是通常在智能电话或平板计算机中可用的若干数字信号处理器(图8中的 DSP801)之一。
[0023]对系统500的输入是从ALSllO中的每一个测量的光强度115。包括存储器和处理器功能的数据收集引擎510接收测量。在从ALSllO中的每一个接收到光强度115测量数据时，数据收集引擎510输出针对每个时刻的数据帧520。即，每个数据帧520包括在给定时刻针对每个ALSllO的光强度115测量。尽管通常可以将每个数据帧520讨论为包括在给定时刻针对每个ALSl 10的光强度115测量，ALSllO可以取而代之地依次(而不是同时)对光强度115进行采样，使得数据帧520包括针对ALSllO的一个周期的时间段的光强度115测量。充当手势识别器530的处理器接收每个数据帧520。手势识别器530可以根据如下文所讨论的若干实施例之一进行操作。
[0024]为了将对象240的移动识别为特定(已知)手势，手势识别器530使用如下文所讨论的ALSllO的光强度115测量的比较，以及与模板存储设备535中所存储的手势模板537的比较。可以基于预期的噪声和误差来设置光强度115中的动态调整的最小改变。S卩，在所检测的光强度115中的改变被解释为周围光的真实变化之前，可以需要所检测的光强度115中改变的阈值百分比。基于数据帧520 (针对单个时刻或测量周期)内ALSllO之间的光强度115测量，手势识别器530可以确定对象240的位置。例如，对于给定数据帧520，如果ALSllOd和IlOf的光强度115测量高于(超出定义的阈值)由ALSllOe输出的光强度115测量，则可以确定对象240在ALSllOe之上并从而阻挡来自光源210的一些光。基于两个或更多个数据帧520 (两个或更多个时刻或测量周期)之间的光强度115测量，手势识别器530可以确定(移动)手势的特性，例如移动的方向、移动的速度和移动是加速还是减速。例如，如果一个数据帧520中ALSllOd和IlOf的光强度115测量比由ALSllOe输出的光强度115测量高(超出定义阈值)，并且下一数据帧520中ALSllOe的光强度115测量比由ALSllOd和IlOf输出的光强度115测量高(超出定义阈值)，则手势识别器530可以确定对象240从ALSllOe的方向向ALSllOd和IlOf的方向移动。如果在若干数据帧520期间发生光强度115测量的改变，则可以将对象240的移动确定为比在改变发生在一个数据帧240过程期间的情况相对更慢。基于所确定的手势特性，手势识别器530可以基于手势模板537在已知手势集合中识别手势。
[0025]手势模板537有助于将手势识别器530识别的对象240的移动与特定已知手势进行关联。手势模板537可以被认为是与每个已知手势相对应的理想光强度115测量的样本。更具体而言，手势模板537可以被认为是为给定已知手势提供ALSllO或数据帧520或两者之间的理想相对光强度115。因此，通过比较输入光强度115测量(数据帧520中)或将光强度测量115与手势模板537中的理想测量进行比较，手势识别器530将对象240移动识别为已知手势。该手势的识别可以通过消除手势模板537中的已知手势的处理来完成。因此，手势识别器530可以在对象240移动完成之前，通过消除可用已知手势的处理，使用手势模板537来识别手势。在此情况下，手势识别器530可以继续处理数据帧520来验证所检测的手势，或在备选实施例中，手势识别器530可以在识别手势之后停止处理附加数据帧520并等待以下讨论的触发信号540。ALSllO中的每一个可以可编程用于一秒钟提供10、20、50、10、125、15、200和250个光强度115采样(数据帧520)。ALSllO扫描速率是确定作出手势的速度以便被识别的因素。即，当ALSllO以每秒10个光强度115采样的速率进行采样时，最快可识别手势比当ALSllO在以每秒250个光强度115采样的速率进行采样时可以作出的最快可识别手势要慢很多。以每秒10个数据帧520(每秒10个光强度115采样)的速率进行采样的ALSl 15可以转换为对象240以1.5秒行进1cm以被正确地识别和处理。系统610 (图6)可以动态地计算并调整ALSllO的扫描速率。
[0026]对手势识别器530的另一输入是手势库存储设备550中存储的手势库555之一。每个手势库555与应用相关联，并且手势识别器530选择与设备100当前正在执行的应用相关联的手势库555。与给定应用相关联的给定手势库555可能不包括手势模板537中的每个已知手势。因此，基于设备100当前正在执行的应用，手势识别器530可以缩小手势模板537中要与数据收集引擎510输出的数据帧520进行比较以识别手势的已知手势集合。手势库555指示与手势集合相对应的动作输出560。因此，当手势识别器530基于对象240的移动和手势模板537来识别已知手势，并且手势识别器530在与设备100当前正在运行的应用相关联的手势库555中的手势集合中找到已知手势时，则手势识别器530输出源于对象240移动的对应动作输出560。手势识别器530的动作输出560充当对正在执行的应用的命令。例如，当正在执行的应用是文档编辑会话时，手势识别器530所识别的手势可以对应于诸如“下一页”(向下挥手)、“前一页”(向上挥手)、“放大”(将手指放在一起)和“缩小”(将手指展开)等的动作输出560。如果设备100当前未执行任何应用或如果设备100当前正在执行的应用不具有与其相关联的手势库555，则即使手势识别器530基于对象240的移动使用手势模板537来识别已知手势，手势识别器530基于识别手势不作出动作。即，因为不存在要查找的手势库555，不存在与所识别的手势相对应的动作输出560。
[0027]根据一个实施例，当设备100未执行应用时或当设备100正在执行没有相关联的手势库555的应用时，手势识别器530可能不使用手势模板537来识别手势。根据另一实施例，手势识别器530在接收触发信号540之前可以不开始处理任何数据帧520。以下参考图6详述触发信号540。根据另一实施例，手势识别器530可以处理初始数据帧520集合，并然后在接收到触发信号540之前不处理识别手势所需的另一数据帧520集合。例如，手势识别器530可以处理特定数量的数据帧520或表示特定时间长度(时刻数)的多个数据帧520，并然后在接收到触发信号540之前停止处理其他数据帧520。根据另一实施例，手势识别器530可以在数据帧520从数据收集引擎510输出时持续处理数据帧520。
[0028]不管基于触发信号540的手势识别器530的行为如何，缺乏相关联的手势库555或完全缺乏正在执行的应用，数据收集引擎510仍输出数据帧520。这是因为即使不执行手势检测，光强度115测量仍可以用于诸如基于所检测的环境光来调整屏幕120背光等的后台功能。以下参考图6详述这些后台功能中的一些。
[0029]图6是用于控制两个或更多个环境光传感器110的系统610的框图。如参考图5所述，针对系统610描述的功能可以由一个或更多个处理器和一个或更多个存储设备执行，它们还可以执行设备100中的其他功能。系统610可以被认为是后台处理系统，因为其可以持续操作以动态地控制ALS110。系统610接收ALSllO向数据收集引擎510作为数据帧520输出的光强度115测量。在备选实施例中，ALSl 10可以直接将光强度115测量输出到系统610以及数据收集引擎510。系统610还可以接收附加信息620。此附加信息620可以指示例如设备100当前是否正在执行应用，如果是，则指示设备100当前正在执行哪个应用。
[0030]基于光强度115测量(直接地或以数据帧520的形式)和附加信息620，系统610调整每个ALSllO的灵敏度或波长频带或范围或两者。例如，基于可用光(所测量的环境光强度115)，系统610可以经由从系统610到ALSllO中的一个或更多个的控制信号来改变ALSllO的波长范围。改变(调整波长范围)可以确保针对当前条件，ALSllO聚焦于正确的波长(频率)频带。作为另一示例，基于可用光中的改变(例如基于将光切换为开或关)，系统610可以改变ALSllO的灵敏度。切换光的任何顺序产生ALSllO必须适配的光灵敏度115中的新改变范围。例如，ALS敏感的光强度115的改变范围可以是50-250勒克斯。在较暗环境(例如展示期间的会议室)中，ALS敏感的光强度115的改变范围可以是2-15勒克斯。通过控制信号630对ALSllO的调整可以持续地、周期性地或基于触发事件(例如设备100正在执行的应用的改变)来完成。例如，灵敏度调整可以每5个数据帧520自动地完成一次。系统610还可以调整ALSllO的光强度115测量的顺序和频率。例如，基于指示设备100正在执行特定应用的附加信息620，系统610可以发送控制信号630以使ALSllO以特定顺序并以特定频率收集针对每个周期(数据帧520)的光强度115采样。
[0031]除了控制ALSllO之外，系统610可以将触发信号540提供给手势识别器530 (见图5)。因为系统610监视数据帧520中的光强度115测量以满足上述后台功能，系统610可以附加地识别信号通知手势识别器530应当何时发起手势处理的触发事件并相应地输出触发信号540。例如，当系统610接收到指示由一个或更多个ALSllO测量的光强度115中改变的数据帧520时，系统610可以向手势识别器530输出触发信号540。光强度115测量中的改变可以指示对象240的移动的开始(因此是手势的开始)。在各种实施例中，在系统610输出触发信号540之前，所测量的光强度115的改变可以是10% +/_3%或更高。在实施例中，在系统610输出触发信号540之前，所测量的光强度115的改变可以是20%+/-5%或更高。在实施例中，在系统610输出触发信号540之前，所测量的光强度的改变可以是25% +/-5%或更高。
[0032]图7示出了根据上述实施例的检测手势的方法700的处理流程。在步骤710，可以根据图1、3和4中或根据上述指导的备选布置中所示的实施例来在将两个或更多个ALS布置在设备100的屏幕120下方。如上所述，从ALSllO获得光强度115测量(步骤720)可以光度单位或辐照度单位来进行。获得(接收)光强度115测量还可以包括利用系统610来动态地控制ALSllO以例如修改每个ALSllO的波长范围或频谱灵敏度。如结合图6所讨论，系统610进行的控制可以基于例如由ALSllO的光强度115测量。在步骤730，确定设备100正在执行哪个应用(如果有的话)可以由手势识别器530完成并可以是提供给系统610的附加信息620的部分。在步骤740，处理包括在手势库存储设备550中存储与可以使用非触摸手势进行操作的每个应用相关联的手势库555。在步骤750，手势识别器530可以完成选择与设备100正在执行的应用相关联的手势库555。步骤750还可以包括:手势识别器530确定没有手势库555可应用，因为设备100未执行任何应用或正在执行不具有相关联的手势库555的应用。在步骤760，处理光强度115测量并识别手势涉及数据收集引擎510输出数据帧520，以及，除手势模板537之外，手势识别器530还使用光强度115测量的比较。步骤760还可以包括:系统610向手势识别器530发送触发信号540以开始或继续手势处理。步骤760还可以包括:手势识别器530基于不具有可用的手势库555而根本不识别手势。在步骤770，如上文已经详述，手势识别器530完成基于手势库555来输出与手势相对应的动作信号560。
[0033]图8是便于如以上实施例所述的非触摸手势检测的示例性设备100的框图。尽管描述了设备100的各种组件，设备100的备选实施例可以包括所示的组件的子集或包括图8中未示出的附加组件。设备100包括DSP801和存储器802。DSP801和存储器802可以部分地或全部地提供系统500的功能(图5)。如所示，设备100还可以包括天线和前端单元803、射频(RF)收发机804、模拟基带处理单元805、麦克风806、头戴式扬声器807、耳机端口 808、总线809(例如，系统总线或输入/输出(I/O)接口总线)、可拆卸存储卡810、通用串行总线(USB)端口 811、告警812、键区813、短距离无线通信子系统814、可以包括触摸敏感表面的液晶显示器(IXD) 815、IXD控制器816、电荷耦合器件(CXD)摄像机817、摄像机控制器818和全球定位系统(GPS)传感器819以及与能量存储单元(例如，电池826)可操作耦合的能量管理模块820。在各种实施例中，设备100可以包括不提供触摸敏感屏的另一类型的显示器。在一个实施例中，DSP801直接与存储器802进行通信，而不经过输入/输出接口( “总线”)809。
[0034]在各种实施例中，DSP801或一些其他形式的控制器或中央处理单元(CPU)根据在存储器802中存储的或在DSP801自身中包含的存储器中存储的嵌入式软件或固件进行操作，以控制设备100的各种组件。除了嵌入式软件或固件之外，DSP801可以执行其他应用，这些其他应用是存储在存储器802中的或经由信息媒体(例如像可拆卸存储卡810 —样的便携式数据存储介质)或经由有线或无线网络通信可获得的。应用软件可以包括配置DSP801以提供期望功能的机器可读指令的汇编集合，或者应用软件可以是要通过解释器或编译器处理用来间接配置DSP801的高层软件指令。
[0035]提供天线和前端单元803用来在无线信号和电信号之间转换，使设备100能够发送信息并且从蜂窝网络或一些其他可用无线通信网络或从对等设备100接收信息。在实施例中，天线和前端单元803可以包括用于支持波束成形和/或多输入多输出(MMO)操作的多个天线。如本领域技术人员所已知的MIMO操作可以提供空间分集，空间分集能用于克服不同信道条件或用于增加信道吞吐量。同样，天线和前端单元803可以包括天线调谐和/或阻抗匹配组件、RF功率放大器或低噪声放大器。
[0036]在各种实施例中，RF收发机804便于将所接收的RF信号转换到基带并且将基带传输信号转换到RF的频率平移。在某些描述中，无线电收发机或RF收发机可以理解为包括其他信号处理功能(例如调制/解调、编码/解码、交织/解交织、扩频/解扩频、快速傅里叶逆变换(IFFT)/快速傅里叶变换(FFT)、循环前缀添加/移除以及其他信号处理功能)。为了清楚的目的，说明书这里将此信号处理和RF和/或无线电层的描述分离，并将此信号处理概念性地分配给模拟基带处理单元805/或DSP 801或其他中央处理单元。在某些实施例中，可以将RF收发机804、天线和前端单元803的部分和模拟基带处理单元805合并为一个或更多个处理单元和/或专用集成电路(ASIC)。
[0037]应当注意的是，在此图式中，无线接入技术(RAT)RATl和RAT2收发机821、822、IXRF823、IRSL824和多RAT子系统825可操作地耦合到RF收发机804和模拟基带处理单元805，并然后还经由RF收发机804耦合到天线和前端单元803。因为可能存在多个RAT收发机，通常将存在多个天线或前端803或RF收发机804，其中每个针对每个RAT或操作频带。
[0038]模拟基带处理单元805可以为RF收发机804和语音接口(806、807、808)提供输入和输出的各种模拟处理。例如，模拟基带处理单元805从麦克风806和头戴式耳机808接收输入，并向耳机807和头戴式耳机808提供输出。为此，模拟基带处理单元805可以具有用于与内置麦克风806和耳机扬声器807相连的端口，这使设备100能够作为手机使用。模拟基带处理单元805还可以包括用于与耳机或其他免提麦克风和扬声器配置相连的端口。模拟基带处理单元805可以提供一个信号方向的数模转换以及相反信号方向的模数转换。在各种实施例中，模拟基带处理单元805的至少一些功能可以由数字处理组件(例如由DSP801或由其他中央处理单元)提供。
[0039]DSP801可以执行调制/解调、编码/解码、交织/解交织、扩频/解扩频、快速傅里叶逆变换(IFFT)/快速傅里叶变换(FFT)、循环前缀附加/移除以及与无线通信相关联的其他信号处理功能。在实施例中，例如在码分多址接入(CDMA)技术应用中，对于发射机功能，DSP801可以执行调制、编码、交织和扩频，并且对于接收机功能，DSP801可以执行解扩频、解交织、解码和解调。在另一实施例中，例如在正交频分复用接入(OFDMA)技术应用中，对于发射机功能，DSP801可以执行调制、编码、交织、快速傅里叶逆变换和附加循环前缀，并且对于接收机功能，DSP801可以执行移除循环前缀、快速傅里叶变换、解交织、解码和解调。在其他无线技术应用中，DSP801可以执行其他信号处理功能和信号处理功能的组合。
[0040]DSP801可以经由模拟基带处理单元805与无线网络通信。在一些实施例中，通信可以提供因特网连接，使用户能够访问因特网上的内容并能够发送和接收电子邮件或文本消息。输入/输出接口( “总线”)809与DSP801和各种存储器和接口相互连接。存储器802和可拆卸存储卡810可以提供用于配置DSP801的操作的软件和数据。在接口中可以是USB接口 811和短距离无线通信子系统814。USB接口 811可以用于给设备100充电并也可以使设备100能够起到用来与个人计算机或其他计算机系统交换信息的外围设备的作用。短距离无线通信子系统814可以包括红外端口、蓝牙端口、服从IEEE802.11无线端口或使设备能够无线地与其他附近客户端节点和接入节点进行通信的任何其他短距离无线通信子系统。短距离无线通信子系统814还可以包括合适的RF收发机、天线和前端子系统。
[0041]输入/输出接口( “总线”)809还将DSP801连接到告警526，当触发(例如通过响铃、播放旋律或震动)时，使设备100向用户提供通知。告警812可以充当用于通过静音震动或通过为特定呼叫者播放特定预指派旋律来警告用户各种事件(例如来电、新文本消息和预约提醒)中任何一个的机制。
[0042]键区813经由I/O接口( “总线”)809耦合到DSP801，以提供一种使用户作出选择、输入信息以及向设备100提供输入的机制。键区813可以是完全的或简化的字母数字键盘(例如QWERTY、DVORAK、AZERTY和有序类型)，或具有与电话键区相关联的字母的传统数字键区。输入键同样可以包括履带轮、履带板、退出或取消键、轨迹球以及可以是向内按压的以提供其他输入功能的其他导航或功能键。另一输入机制可以是LCD815，LCD815可以包括触摸屏功能并也可以向用户显示文本和/或图形。IXD控制器816将DSP801耦合到LCD815。
[0043]CXD摄像机517 (如果装配的话)使设备100能够拍摄数字照片。DSP801经由摄像机控制器818与CCD摄像机817进行通信。在另一实施例中，可以使用根据不是充电耦合设备摄像机的技术来进行操作的摄像机。GPS传感器519耦合到DSP801以对全球定位系统信号或其他导航信号进行解码，从而使设备100能够确定其位置。GPS传感器819可以耦合到天线以及适用于其操作频带的前端(未示出)。可以包括其他各种外围设备以提供额外功能(例如，无线电和电视接收)。
[0044]在各种实施例中，设备100包括第一无线接入技术(RAT)收发机821和第一 RAT收发机822。并在本文中更详细的描述，RAT收发机‘I’ 812和RAT收发机‘2’ 822依次通过RAT间监督层模块824耦合到多RAT通信子系统825。进而，多RAT通信子系统825可操作地耦合到总线809。可选地，第一无线电接入技术(RAT)收发机821和第一 RAT收发机822的各个无线电协议层通过RAT间交换功能(IRXF)模块823可操作地相互耦合。
[0045]尽管在本公开中已经提供了若干实施例，但应当理解:在不脱离本公开的精神或范围的前提下，可以以很多其他的特定形式实现所公开的系统和方法。可以将本示例看作示意性的而不是限制性的，并且其意图不限于本文所给出的细节。例如，可以在另一系统中合并或集成各种元件或组件，或可以省略或不实现特定的特征。
[0046]此外，在不背离本公开的范围的前提下，在各种实施例中描述和阐述为离散或分离的技术、系统、子系统和方法可以与其他系统、模块、技术或方法合并或集成。示出为或讨论为耦合的或直接耦合的或相互通信的其他项目可以是间接耦合的，或通过一些接口、设备或中间组件，不管是电子地、机械地或以其他形式地通信。本领域技术人员可确定改变、代替和变更的其他示例，并且在不脱离本文公开的精神和范围的前提下，可以作出改变、代替和变更的其他示例。
【权利要求】
1.一种检测由进行非触摸通信的对象(240)做出的手势的设备(100)，所述设备(100)包括: 两个或更多个环境光传感器(110)，被布置在所述设备(100)的相应表面位置处，所述两个或更多个环境光传感器(110)中的每一个被配置为测量在所述相应表面位置处的光强度(115);以及 处理器(530)，被配置为:基于在两个或更多个时刻或测量周期(520)在所述相应表面位置中的每一个处测量的光强度(115)的比较来检测所述手势。
2.根据权利要求1所述的设备(100)，其中，所述两个或更多个环境光传感器(110)中的两个在线性轴(111、111’)上对齐。
3.根据权利要求1所述的设备(100)，其中，所述两个或更多个环境光传感器(110)中的至少一个偏离所述两个或更多个环境光传感器(110)中的两个环境光传感器(110)公共的线性轴(111、111’)。
4.根据权利要求1所述的设备(100)，其中，所述两个或更多个环境光传感器(110)是位于所述设备(100)的玻璃表面(120)下方的被动设备。
5.根据权利要求1所述的设备(100)，所述处理器(530)还基于包括已知手势集合的模板(537)来检测所述手势。
6.根据权利要求1所述的设备(100)，其中，所述处理器(530)基于所述手势来输出信号(560)。
7.根据前述权利要求中任一项所述的设备(100)，其中，所述处理器(530)基于所述设备(100)正在执行的应用来将所述手势与所述信号(560)相关联，所述信号(560)控制所述应用的方面。
8.根据权利要求1所述的设备(100)，还包括:第二处理器￠10)，被配置为动态地控制所述两个或更多个环境光传感器(110)，所述第二处理器(610)修改所述两个或更多个环境光传感器(110)中的每一个的波长范围或频谱灵敏度或所述两个或更多个环境光传感器(110)的操作顺序。
9.根据权利要求8所述的设备(100)，其中，所述第二处理器(610)基于所述两个或更多个环境光传感器(110)中的一个或更多个环境光传感器(110)测量的光强度(115)来动态地控制所述两个或更多个环境光传感器(110)。
10.根据权利要求8所述的设备(100)，其中，所述第二处理器(610)基于所述设备(100)正在执行的应用来动态地控制所述两个或更多个环境光传感器(110)。
11.一种检测由与设备(100)进行非触摸通信的对象(240)做出的手势的方法(700)，所述方法包括: 使用在所述设备(100)的相应表面位置处布置的两个或更多个环境光传感器(110)来测量在所述相应表面位置处的光强度(115); 使用处理器(530)对在两个或更多个时刻或测量周期(520)在所述相应表面位置中的每一个处的光强度(115)进行比较(760)，以识别所述手势的一个或更多个特性；以及 基于所述一个或更多个特性，使用所述处理器(530)来检测(760)所述手势。
12.根据权利要求11所述的方法(700)，其中，所述检测(760)手势包括将所述一个或更多个特性与模板(537)中已知手势集合的特性进行比较。
13.根据权利要求11所述的方法(700)，还包括:所述处理器(530)基于所述设备(100)正在执行的应用，将所述手势与信号(560)相关联(770)，并将所述信号输出(770)到所述应用，所述信号(560)控制所述应用的方面。
14.根据权利要求11所述的方法(700)，还包括:使用第二处理器(610)动态地控制(720)所述两个或更多个环境光传感器(110)，所述动态地控制(720)所述两个或更多个环境光传感器(110)包括修改所述两个或更多个环境光传感器(110)中的每一个的波长范围或频谱灵敏度或所述两个或更多个环境光传感器(110)的操作顺序。
15.根据权利要求11所述的方法(700)，其中，所述动态地控制(720)所述两个或更多个环境光传感器(110)是基于所述两个或更多个环境光传感器(110)中的一个或更多个环境光传感器(110)测量的光强度(115)。
【文档编号】G06F3/0487GK104484032SQ201410310199
【公开日】2015年4月1日 申请日期:2014年7月1日 优先权日:2013年7月1日
【发明者】瑞恩·亚历山大·格里斯, 杰塞克·艾奇克, 皮特·曼考斯基, 亚当·斯诺斯基, 克里斯托夫·扎瓦达 申请人:黑莓有限公司