控制单元以及与图形用户界面进行交互的方法与流程

本申请要求2014年9月24日提交的美国非临时申请No.14/494,701的优先权，该申请通过引用全部结合在本文中。

技术领域

本公开的技术总体涉及电子设备，并且更具体地，涉及一种检测用户移动以控制与在电子设备上显示的图形用户界面的交互的可佩带控制单元。

背景技术：

诸如移动电话、包括桌上型计算机、膝上型计算机和台式计算机的计算机、电视机、视频游戏机等的电子设备具有在控制电子设备时使用的用户输入。示例性用户输入包括触敏显示器、按钮、键盘、鼠标、远程控制器以及游戏控制器。但是这些用户输入在一些情况下使用可能是麻烦的。并且，一些用户输入设备包括将设备从省电状态唤醒的特征。不幸的是，一些唤醒特征(诸如依赖加速度计的那些唤醒特征)可能消耗相当大量的电力。因此，在用户与电子设备进行交互的方式方面以及在降低电子设备的电力消耗方面仍有改进的空间。

技术实现要素：

所公开的控制单元和相关方法采用静电场传感器来检测所述控制单元周围的电场的变化。所述控制单元可以被具体化为可佩带设备，该可佩带设备感测由用户的移动造成的电场的变化，诸如导致身体部位的体积分布的变化的身体部位的形态(configuration)的变化。所感测的电场的变化被用来将所述控制单元的功能激活和/或进行与另一电子设备的交互。与另一电子设备的交互可以包括控制图形用户界面功能。

根据本公开的一个方面，一种控制单元包括：电场传感器，该电场传感器被配置为检测在所述控制单元处的静电场的变化并且输出与检测到的变化相对应的信号；运动传感器，该运动传感器被配置为检测所述控制单元的移动并且输出与检测到的移动相对应的信号；接口，该接口被配置为建立与和所述控制单元分离的电子设备的通信链接；以及控制电路，该控制电路被配置为解释来自所述电场传感器和所述运动传感器的所述信号并且生成针对通过所述电子设备显示的图形用户界面的相应图形用户界面控制信号，所述图形用户界面控制信号包括与所述控制单元的移动相对应的针对所述图形用户界面的可移动元件的移动控制信号以及与通过所述电场传感器感测到的电场的变化的检测相对应的选择控制信号，通过所述电场传感器感测到的电场的变化指示用户的身体部位的物理形态的变化，其中，所述移动控制信号和所述选择控制信号经由所述接口被传送到所述电子设备。

根据所述控制单元的一个实施方式，所述控制单元由用户佩戴。

根据所述控制单元的一个实施方式，所述控制单元被佩戴在用户的手腕处。

根据所述控制单元的一个实施方式，所述用户的身体部位的物理形态的所述变化是所述用户的手指从放松形态到拳头或者伸展开所述用户的手指的移动。

根据所述控制单元的一个实施方式，所述运动传感器包括省电状态，并且当所述运动传感器处于所述省电状态时，指示所述用户的身体部位的物理形态的变化的通过所述电场传感器感测到的电场的变化的检测发起所述运动传感器从所述省电状态的唤醒。

根据所述控制单元的一个实施方式，在所述运动传感器从所述省电状态唤醒之后，通过利用所述运动传感器进行的震颤检测验证所述用户的身体部位的物理形态的所述变化。

根据所述控制单元的一个实施方式，所述控制单元被用来控制位于所述用户的伸臂范围之外的电子设备。

根据所述控制单元的一个实施方式，所述电子设备的显示器不是能够触摸控制的。

根据所述控制单元的一个实施方式，所述图形用户界面控制信号还包括与通过所述电场传感器感测到的电场的变化的检测相对应的选择控制信号，通过所述电场传感器感测到的电场的变化指示用户触摸所述显示器。

根据本公开的另一方面，一种使用控制单元与电子设备的图形用户界面进行交互的方法包括以下步骤：利用所述控制单元的电场传感器检测所述控制单元处的静电场的变化；利用所述控制单元的运动传感器检测所述控制单元的移动；利用所述控制单元的接口在所述控制单元和所述电子设备之间建立通信链接；利用所述控制单元的控制电路解释来自所述电场传感器和所述运动传感器的信号，并且生成针对通过所述电子设备显示的图形用户界面的相应图形用户界面控制信号，所述图形用户界面控制信号包括与所述控制单元的移动相对应的针对所述图形用户界面的可移动元件的移动控制信号以及与通过所述电场传感器感测到的电场的变化的检测相对应的选择控制信号，通过所述电场传感器感测到的电场的变化指示用户的身体部位的物理形态的变化；以及经由所述接口将所述移动控制信号和所述选择控制信号传送到所述电子设备。

根据所述方法的一个实施方式，所述控制单元由用户佩戴。

根据所述方法的一个实施方式，所述控制单元被佩戴在用户的手腕处。

根据所述方法的一个实施方式，所述用户的身体部位的物理形态的所述变化是所述用户的手指从放松形态到拳头或者伸展开所述用户的手指的移动。

根据所述方法的一个实施方式，所述运动传感器包括省电状态，并且当所述运动传感器处于所述省电状态时，所述方法还包括当检测到通过所述电场传感器感测到的电场的变化时，发起所述运动传感器从所述省电状态的唤醒，通过所述电场传感器感测到的电场的变化指示所述用户的身体部位的物理形态的变化。

根据所述方法的一个实施方式，在所述运动传感器从所述省电状态唤醒之后，通过利用所述运动传感器进行的震颤检测验证所述用户的身体部位的物理形态的所述变化。

根据所述方法的一个实施方式，所述控制单元被用来控制位于所述用户的伸臂范围之外的电子设备。

根据所述方法的一个实施方式，所述电子设备的显示器不是能够触摸控制的。

根据所述方法的一个实施方式，所述图形用户界面控制信号还包括与通过所述电场传感器感测到的电场的变化的检测相对应的选择控制信号，通过所述电场传感器感测到的电场的变化指示用户触摸所述显示器。

附图说明

图1是可以采用如本公开中所描述的控制单元的环境的示意性表示。

图2是控制单元的示意性框图。

图3是当被具体化为手腕带形式因子时使用的控制单元的表示。

图4是图3的控制单元的另一种表示。

图5是示出用于由控制单元执行的操作的示例性逻辑流程的流程图。

具体实施方式

现在将参照附图对实施方式进行描述，其中，贯穿全文使用相同的参考标记来指代相同的元件。应当理解的是，附图不必须按比例绘制。关于一个实施方式描述和/或示出的特征可以以相同的方式或相似的方式在一个或多个其它实施方式中和/或与其它实施方式的特征相结合或者代替其它实施方式的特征使用。

下面结合所附附图描述使用户能够与电子设备的图形用户界面进行交互的控制单元的各种实施方式。为了执行特定操作，控制单元部分地依赖检测电场的变化。控制单元通常是但不必须是可佩带或手持式电子设备。控制单元的示例性形式因子是与手表的腕带或手镯相似的手腕带。其它示例性形式因子包括戒指以及一件衣服的袖子部分。在其它情况下，控制单元可以由用户的身体的另一部位(诸如颈部或腿)佩戴或保持。

将描述作为被配置为便于用户与图形用户界面的交互的设备的控制单元的多个方面。控制单元可以具有未详细描述的其它功能。可以增加支持控制单元的其它功能的部件。示例性附加功能包括在控制单元的显示器上显示信息，诸如文本消息、电子邮件消息、日历提醒、时间和日期等等。其它示例性功能可以包括但不限于：输出声音并检测语音以作为无线免提设备使用；跟踪用户的脚步以作为计步器使用；跟踪用户的心率或其它状况以作为医疗监护仪或运动辅助设备，等等。

使用控制单元控制的电子设备通常但不必须是移动电话、计算设备、电视机、游戏机或其它设备。控制单元被用来对电子设备的图形用户界面的特征进行操控，诸如移动鼠标指针或光标，选择图标，拖动对象等等。

首先参照图1，示出示例性控制单元10和电子设备12在操作环境下的示意性框图。所示出的示例性操作环境包括控制单元10的用户14和电子设备12。各种电场和磁场存在于控制单元10、电子设备12和用户14周围。这些场通常通过交流电在电缆、电器、电子设备等中的流动而产生。

除了通过交流电产生的场以外，还存在静电场。两个对象之间的静电场强度(或电压电势)取决于构成对象的材料、对象彼此的相对位置、对象之间的距离、对象之间的相对移动、以及与环境中的其它对象的任何电连接或耦接。

为了表示这种电气环境，示意性地示出了图1中的多对物品之间的电容。每个物品具有相对于地平面16的电容，由C_UG表示以用于用户14与地平面16之间的电容以及由C_DG表示以用于电子设备12与地平面16之间的电容。另外，每个物品具有相对于彼此的电容，由C_DU表示以用于用户14与电子设备12之间的电容。其它电容存在于诸如控制单元10与用户14之间以及控制单元10与地平面14之间。

横跨这些电容中的每个电容，可能存在静电场。环境中的任何两个对象之间的电场可能变化。因此，如可以在控制单元10处检测到的总电场可能变化。这些变化可能是由于用户14相对于控制单元10的移动、控制单元10相对于电子设备12的移动以及用户14相对于电子设备12的移动造成的。造成可检测电场的变化的移动可能是大规模移动，诸如用户14步行经过电子设备12，或者是相对小规模的移动，诸如用户14在伸展运动中移动手臂。

另外参照图3和图4，相对较小的移动可能导致电场的变化。例如，在控制单元10被佩戴绕在用户的手腕18上的情况下，用户的手16(包括手指)的形态的变化可能导致电场的可检测变化。在该实施方式中，控制单元10可以包括保持电子设备模块22的绑带20，其细节将在下面进行描述。

特定移动可以与电场的可预测变化相关联。例如，每当用户14将他或她的手16的体积形态从如图3中所示的张开手掌形态改变成如图4中所示的攥紧拳头形态时，可能产生可以通过控制单元10检测到的电场的相应变化。例如，这种移动可能导致电场强度的增加。

因此，将要理解的是，具有电场的环境中的材料和对象具有朝向周围环境中的其它对象的电压电势。更具体地，只要在控制单元10附近存在电压电势或电流流动，就将存在在控制单元10的位置中产生的一个或多个电场。但是可检测电场强度受对象之间的不同电压电势影响，并且那些电势根据诸如用户身体大小、用户移动(例如，步行、抬高或放下手臂等)、对象之间的距离(例如，用户的手指相对于控制单元10的距离和布置)的因素以及其它因素而变化。

现在参照图1和图2，控制单元10的电子设备模块22包括电场(EF)传感器24。在一个实施方式中，EF传感器24与电路板26电容耦接，控制单元10的其它电气部件(下面进行描述)被安装到该电路板26。电容耦接可以利用电容器或者通过由绝缘介质分离EF传感器24与电路板26而建立。EF传感器24与电路板26之间的电容耦接由C_s来表示，并且EF传感器24与电路板26之间的电压电势由V来表示。

在手腕佩戴式控制单元10的实施方式中，EF传感器24优选被定位在手腕的朝向用户的手16的腹侧上，以改进由移动造成的电场波动以及用户的手的形态的变化的检测。由于手16的相对介电常数(permittivity)不同于空气的相对介电常数，当用户的手16的体积分布诸如通过用户的手指的移动而变化时，检测到的电场的振幅将改变。通过这种方式，可以从电场的变化确定至少两个基本手势之间的过渡。两个基本手势可以是用户的手的张开手掌形态(也被称为放松状态)以及用户的手的攥紧形态(例如，拳头形状形态)(也被称为非放松状态)。张开手掌状态可以包括手指被相对坚硬地部署以及沿着用户的前臂的纵轴“伸直”。张开手掌状态还可以包括其它形态，诸如用户的手指在手指稍微弯曲的更加中立状态。

在一个实施方式中，可以确定到第三种状态的过渡。例如，放松状态可能涉及使用户的手指相对靠近在一起，诸如如图3中所示的彼此触摸或者处于手指稍微分开的更加中立状态。第三种状态可以是用户有目的地将他或她的手指伸展开。在放松状态与该第三种状态之间的移动可能导致电场的相应变化，该相应变化是可检测的并且被用作控制输入。

形成拳头和伸展开用户的手指仅是导致电场的可检测变化和/或震颤的两个示例性形态变化。同样地，这些动作可以被认为是可以在所公开的技术中使用的手势。还可以使用其它手势或动作。例如，用户在没有显著移动的情况下锻炼他或她的肌肉可能导致可检测震颤变化。此外，用户的身体部位的物理形态的变化将不需要关于用户的手发生。其它变化可能涉及在以下部位中的一个或更多个处的移动：手、肘部、肩部、手腕、膝盖、臀部、脚踝、躯干、头部和颈部、或者颌部。在这方面，涉及通过加速度计38促使所感测的电场变化和/或触发输出的运动的手势可以被用作一种类型的用户输入。电场的变化可能由用户的身体部位相对于控制单元10的移动(而不考虑控制单元10被佩戴在身体的什么部位上)而导致和/或由于用户的身体部位相对于其它对象(诸如但不限制于电子设备12)的移动而导致。同样地，涉及一个或多于一个身体部位的重新配置的动作可以被用作通过控制单元10引发响应的手势。示例包括但不限于：弯腰、抓拉或抓推(其是涉及两个身体部位移动的组合的手势，包括抓的手移动和推或拉的手臂移动)、利用张开的手掌向外推(涉及多个身体部位的移动)、通过使肘部弯曲来抬高等。通过EF传感器24和加速度计38二者进行的检测可以单独使用或者组合使用，以区分一种手势与其它手势。

实现EF传感器24以及测量电场的相对简单方式包括使用标准无线电接收器，其被用来接收广播传输(例如，AM或FM传输)。实现EF传感器24以及测量电场的另一个实施方式包括使用天线和感测电路。为这些方式中的一种方式的EF感测功能实现的电力消耗相对较低(例如，低至几毫瓦)。

EF传感器24的示例性实施方式包括EF天线、电压表(也被称为伏特表)和电容器(例如，利用物理电路部件实现的电容器C_s)。电容器具有连接到EF天线的第一极点和连接到电路板26上的参考电势的第二极点。电压表测量跨电容器的电压并且输出指示控制单元10周围的电场的变化的模拟电信号。可以使用模数(A/D)转换器将来自伏特表的模拟信号转换成数字信号。可以使用数字信号处理和统计分析来分析数字信号，以识别所感测的电场的特征和变化并且对这些特征和变化进行分类。可以利用相对较低的电力消耗(例如，低至几毫瓦)进行EF环境的持续扫描或周期性扫描。EF感测可以消耗少至1.8毫安以用于感测活动。因此，EF传感器24可以被应用在可佩带便携式电子设备中，这种可佩带便携式电子设备通常使用来自形成电源28的一部分的可充电电池的电力进行操作。

控制单元10包括负责控制单元10的整体操作的控制电路30，整体操作包括响应于通过EF传感器24进行的检测控制控制单元10。控制电路30可以包括实现控制单元10的功能的任何合适处理部件和存储部件，其可以具体化为软件或固件。

控制单元10包括被用来建立与电子设备12的可操作通信连接的无线接口32。控制输入可以通过通信连接从控制单元10被传送到电子设备12。示例性无线接口32包括但不限于蓝牙接口和WiFi接口。

控制单元10可以包括用于接收用于控制控制单元10的操作的用户输入的一个或更多个用户输入。示例性用户输入包括但不限于触摸感应输入、一个或更多个按钮等等。

控制单元10可以包括一个或更多个用户反馈部件。例如，控制单元10可以包括在特定情况(诸如倚靠显示器的边界移动光标或者选择作为图形用户界面的一部分来显示的可选择项)下向用户提供触觉反馈的触觉设备34。

控制单元10包括一个或更多个运动传感器36。一个示例性运动传感器36是被配置为检测沿着一个、两个或三个轴的加速度并且提供可以被解释以确定控制单元10的运动的输出信号的加速度计组件38。另一个示例性运动传感器36是陀螺仪传感器40。可以被配置并用作运动传感器36的其它项包括相机、IR传感器等。

另外参照图5，示出表示可以通过控制单元10执行以实现电子设备12的控制的步骤的示例性流程图。虽然以逻辑进展的形式示出，但是所示出的框也可以按照其它顺序来执行和/或在两个或更多个框之间同时发生。因此，所示出的流程图可以被改变(包括省略步骤)和/或可以按面向对象的方式或者按面向状态的方式来实现。

将在使用加速度计38用于运动感测的情境下进行下面的说明。但是将要理解的是，运动感测另选地可以利用不同部件(诸如，陀螺仪传感器40和/或EF传感器24)来进行，或者可以通过使用来自加速度计38和一个或更多个其它部件(诸如陀螺仪传感器40和/或EF传感器24)的信号的融合感测来进行。

对电子设备12的示例性控制包括与在电子设备12的显示器44(图1)上显示的图形用户界面(GUI)42(图1)进行交互。GUI 42可以包括被配置为在显示器44周围移动的光标46(图1)或其它对象。其它GUI项可以包括可选择对象、图标、消息、文本、图形等等。

逻辑流程可以在控制单元10处于省电状态的状态下开始。在这种状态下，运动传感器36(例如加速度计38)可以处于省电或关闭状态，但是EF传感器24可以处于激活状态以检测电场的变化。

在框48中，控制单元10监测来自EF传感器24的输出，以确定检测到的电场的变化是否对应于唤醒动作。在控制单元10被佩戴在用户14的手腕处的所例示的实施方式中，唤醒动作可以是通过将手指和拇指朝向用户的手掌向内弯曲来握拳(例如，如图4中所示)。从更放松状态(诸如图3中的张开手掌状态)握拳改变了用户的手的形态(例如，体积分布)。形态的变化导致在控制单元10处的电场的相应变化。这种变化可以被检测和识别，这导致框48中的肯定确定。

当框48中为肯定确定时，逻辑流程可以进行到框50。

在框50中，加速度计38被唤醒并且利用加速度计38进行运动感测。接下来，在框52中确认唤醒动作的发生。可以通过分析由加速度计38生成的针对与和握拳相关联的肌肉拉伤相对应的震颤签名(tremor signature)的信号来进行确认。震颤检测(或握手检测)在现有技术中被理解，并且将认识到，当放松时(例如，如图3中所示)，通过用户的手16进行的震颤签名将与当处于拳头形态时(例如，如图4中所示)不同。如果在框52中做出否定确定，则加速度计38可以返回至框54中的省电状态，并且逻辑流程将返回至框48。

在框52中的肯定确定之后，逻辑流程可以进行到框56。在框56中，可以进行关于控制单元10是否与电子设备12建立可操作通信链接的确定。如果没有，则逻辑流程可以进行到框58。在框58中，可以使用无线接口32来建立与电子设备12的通信链接。将理解的是，可以预先建立控制单元10与电子设备12之间的链接。在建立连接期间，电子设备10可以将尺寸和/或纵横比数据发送到控制单元10。该信息可以被用于生成光标控制或其它GUI界面命令，以便优化和/或协调具有GUI 42的控制单元10的电机空间。在框58或者框56中的肯定确定之后，逻辑流程可以进行到框60。

在框60中，进行关于控制单元10是否空闲的状态确定。空闲状态可以是在诸如二十秒、三十秒、一分钟或五分钟的预定时间段内没有检测到和与电子设备12的GUI42进行交互相关的控制单元10的移动。在框60中的肯定确定之后，加速度计38可以返回至框62中的省电状态，并且逻辑流程将返回至框48。

如果控制单元10不处于空闲状态，则在框64中可以使用加速度计38的输出来跟踪控制单元10的移动。可以从该移动确定GUI 42交互命令，并且将该GUI 42交互命令发送到电子设备12。示例性GUI 42交互命令可以包括与由用户的手臂和/或手16的移动造成的控制单元10的被引导移动相协调的光标46移动命令。在一个实施方式中，如果用户的手16处于放松状态(例如，图3中的张开手掌形态)，则控制单元10的移动可以被解释为在显示器44上进行相应光标46移动的用户移动。另外，如果用户的手16处于非放松状态(例如，图4中的拳头形态)，则控制单元10的移动可以被解释为拖动GUI 42的所选择对象或部分的用户移动。

在控制单元10的运动控制光标46(或其它对象)的运动的实施方式中，来自加速度计38的信号可以被转换成光标46控制信号。以此方式，控制单元10的垂直移动(例如，上下移动)导致光标46的相应垂直移动，并且控制单元10的水平移动(例如，左右移动)导致光标46的相应水平移动。可以将所感测的控制单元10的移动的垂直矢量分量和水平矢量分量组合起来以实现光标46的对角线和非线性移动。还可以使用远离用户的身体的向前移动和朝向用户的身体的向后移动来影响与GUI 42的其它交互，其包括例如“推动”对象或者选择对象。

在使用控制单元10与GUI 42交互期间，控制单元10可以向用户14提供反馈。示例性类型的反馈是由触觉设备34产生的触觉反馈。例如，如果用户14原本要控制光标46的移动并且光标46原本要达到显示器44的边缘，则可以进行触觉反馈来模仿与边界身体接触的感觉。触觉反馈可以在其它情况下使用，诸如当光标46在可选择项或链接之上移动时的情况，或者当进行项或链接的成功选择时的情况。

继续逻辑流程，在框66中，控制单元10可以对由用户14进行的选择动作进行监测。在一个实施方式中，利用处于放松状态下的用户的手16来进行诸如移动光标的GUI交互。在此期间，如果来自EF传感器24的输出(例如，电场的变化)或者来自加速度计38的输出(例如，震颤峰值)中的一个或二者指示用户14已经将他或她的手指重新配置成非放松的拳头形状状态，则可以检测选择动作。如果在框66中检测到选择动作，则逻辑流程可以进行到框68，在框68中将选择命令发送到电子设备12。在一个实施方式中，选择动作可能未完成，直至用户将他或她的手返回至放松状态。选择动作在通过控制单元10的移动控制的光标46或其它GUI 42元件的位置处是可操作的。在框68或者框66中的否定确定之后，逻辑流程可以返回至框60。

选择动作可以与使用鼠标按钮相似，在这种情况下，从放松状态到非放松状态的过渡与按下鼠标按钮相似，并且从非放松状态过渡回到放松状态与释放鼠标按钮相似。如果执行两次，则这些动作可以模拟鼠标按钮的双击动作。还可以进行这些动作来模拟与触摸屏的交互。例如，从放松状态到非放松状态的过渡与利用指尖触摸屏幕相似，并且从非放松状态过渡回到放松状态与将指尖从屏幕移开相似。

将理解的是，用户做出的其它手势将导致由电子设备12执行的相应活动。上面描述了其它示例性手势。所公开的控制单元10和GUI 42交互技术使得用户能够与电子设备12上的显示内容或者电子设备12的其它可控方面可操作地交互。即使当设备是能够触摸的，但用户14够不着时，也可以执行这种交互。

可以利用触摸使能电子设备和非触摸使能电子设备来应用所公开的技术。在电子设备12的显示器44不是能够触摸的情况下，光标46可以如所描述的那样进行移动并且用户可以选择如所描述的项。用户还可以通过身体上轻触显示器44来选择项，就像显示器44是能够触摸的一样。通过用户与显示器44身体上接触，轻触将导致电场的变化，并因此改变电容C_UD。该变化可以由EF传感器24感测到并且被用来生成选择命令。轻触的位置与利用如所描述的控制单元10运动跟踪的光标位置相协调。在另一个实施方式中，可以利用加速度计38来检测用户的向前运动和指尖与显示器的身体交互。但是要想到的是，利用EF传感器24的轻触检测可能具有更好的性能。这是因为在这种情况下，由于由轻触导致的可检测加速度通过用户的指尖与控制单元10所处的手腕18之间的大量可变形组织来传播，加速度计38易于误读轻触动作。

虽然已经示出并描述了特定实施方式，但是要理解的是，本领域技术人员在阅读并理解该说明书之后将想到落入所附权利要求的范围之内的等同物和修改。