电子设备及其控制方法与流程

本申请要求于2016年8月15日提交的、申请号为62/374,939的美国临时专利的优先权，其公开内容通过引用整体并入本文。

本发明主要涉及便携式电子设备，并且具体涉及通过非传统手段向便携式电子设备提供用户命令。

背景技术：

与传统计算设备相比，许多便携式电子设备必然是相对较小的。由于这种尺寸和形状因素差异，传统个人计算设备的输入技术难以在便携式设备上复制。大多数可穿戴电子设备，例如智能手表，其尺寸和形状因素差异更大。

例如，智能手表使用内置电容式多点触摸屏作为用户输入和输出显示的表面。遗憾的是，与传统的个人计算设备相比，智能手表屏幕的小尺寸限制了用户与智能手表交互的丰富性。智能手机上的许多成功交互，包括一些多点触控手势，都无法在智能手表上重现。交互问题，例如手指遮挡屏幕的某些部分，在智能手机上可能看起来微不足道，但在智能手表上会被放大。

以往尝试了扩展可穿戴电子设备的能力以检测和响应越来越多的各种人类交互，其还需要使用额外的硬件，例如可穿戴的键盘，或者在身上装备传感器。虽然这样的解决方案可增加人类交互的多样性，但是额外的内部或外部设备增加了可穿戴设备的体积和复杂性，从而对可穿戴电子设备的便利性造成不利的影响。

因此，需要扩展可穿戴电子设备的能力，以便于在不使用额外的输入设备的情况下，检测和响应越来越多的各种人类交互。

技术实现要素：

以示例形式简要地描述某些包括可穿戴电子设备实施方式，其中，该可穿戴电子设备包括：多个传感器，被配置为响应于与可穿戴电子设备附近的用户身体的第一接触而产生一个或多个第一输入信号；微处理器；以及存储器，所述存储器上存储有指令，当由微处理器执行所述指令时，所述指令控制微处理器响应于对一个或多个第一输入信号的分析执行与第一手势对应的第一命令，其中，所述对一个或多个第一输入信号的分析指示第一接触与所述第一手势对应。

所述可穿戴电子设备可以是腕戴式设备。

第一手势可以是在可穿戴电子设备附近的用户的手或前臂上执行的点击或滑动。

可配置多个传感器以响应与可穿戴电子设备附近的用户身体的第二接触而产生一个或多个第二输入信号，并且指令还可以进一步控制微处理器响应对所述一个或多个第二输入信号的分析执行与第二手势对应的第二命令，其中，对所述一个或多个第二输入信号的分析指示第二接触与第二手势对应。

第一命令和第二命令可以是分别映射到第一手势和第二手势的不同命令。

由微处理器执行的第一命令可以通过向用户提供反馈来控制可穿戴电子设备响应第一手势。

可以通过皮肤对皮肤的直接接触来提供第一接触。皮肤对皮肤的直接接触可以包括手指接触可穿戴电子设备附近的皮肤位置。

接触可以是点击、滑动或双击。

所述多个传感器可包括加速计、陀螺仪和麦克风。

接收一个或多个第一输入信号可包括：从加速计接收加速度信号；从陀螺仪接收旋转运动信号；以及从麦克风接收声学波形信号。

第一手势可以是手势系列中的多个手势之一，手势系列中的多个手势中的每个手势都映射到多个命令中的一个，并且第一命令是多个命令中的一个。

手势系列可以由5个或更多个手势组成。

可穿戴电子设备可以是腕戴式设备，并且手势系列可以包括与手背上的数字垫相对应的10个手势。

第一手势可以包括对可穿戴电子设备附近的用户的前臂后部的点击，并且第一命令可以指示微处理器开始或停止监视手势系列中的一个或多个其他手势。

指令还可控制微处理器分析一个或多个输入信号以确定第一接触与第一手势对应。

分析可以包括手势事件检测和手势分类。

手势分类可以至少部分地基于用户相关的手势事件数据。

手势事件检测可以包括情境检测。

指令还可控制微处理器分析由多个传感器生成的一个或多个第二输入信号，以确定一个或多个第二输入信号与可穿戴电子设备可检测的手势系列中的手势不对应。

根据一些实施方式，提供了一种方法，包括：响应与可穿戴电子设备附近的用户的身体的接触，捕获来自于集成到可穿戴电子设备上的一个或多个传感器的第一传感器数据；以及响应对第一传感器数据的分析，向可穿戴电子设备的微处理器提供第一命令，其中，对所述第一传感器数据的分析指示该接触与第一手势对应。

该方法还可以包括分析第一传感器数据。

分析第一传感器数据可以包括进行手势事件检测和进行手势分类。

手势事件检测可以包括将来自第一传感器数据的峰值与阈值进行比较。

手势事件检测可以包括确定用户的运动。

用户的运动可以是步行运动，并且手势事件检测还可以包括补偿步行运动对第一传感器数据的影响。

手势分类可包括从第一传感器数据提取多个特征，基于多个特征生成事件向量，以及将事件向量与多个手势分类模型进行比较。

多个手势分类模型可以包括与用户无关(user-independent)的模型。

多个手势分类模型可以至少部分地基于对可穿戴电子设备附近的用户身体的多个接触，多个接触中的每一个对应于一个手势系列中的多个手势里的一个。

手势系列中的多个手势可以表示十键数字键盘。

第一传感器数据可包括加速度信号、旋转运动信号和声学波形信号。

该方法还可以包括分析第一传感器数据，该分析包括从第一传感器数据中提取多个特征。

提取多个特征可以包括：进行基于时间的导数并计算加速度信号的统计参数；对旋转运动信号进行快速傅里叶变换；以及对声学波形信号进行快速傅立叶变换。

分析还可以包括基于多个特征生成事件向量。

分析还可以包括将事件向量与多个手势分类模型进行比较。

第一手势可以是点击、滑动或双击。

第一手势可以是手势系列中的多个手势之一。手势系列中的多个手势中的每个手势都可以映射到多个命令中的一个，并且第一命令可以是多个命令中的一个。

可穿戴电子设备可以是腕戴式设备。

接触可以是手指对手背或前臂后部的点击、滑动或双击。

接触可以是皮肤对皮肤的直接接触。

手势系列可以由5个或更多个手势组成。

手势系列可以包括与手背上的数字键相对应的十个手势。

第一手势可以包括点击前臂后部，并且其中第一命令指示微处理器开始或停止监视手势系列中的一个或多个其他手势。

该方法还可以包括：基于提供给微处理器的第一命令，向用户提供反馈。

对用户的反馈可以包括：在可穿戴电子设备的屏幕上显示的文本或数字条目；屏幕上显示的菜单项的选择；或者屏幕上显示的按键的选择。

手势事件检测可以包括：确定包括手势事件数据的事件窗口。

该方法还可以包括：从集成到可穿戴电子设备上的一个或多个传感器捕获第二传感器数据；以及分析第二传感器数据以确定第二传感器数据与可穿戴电子设备可检测的手势系列中的手势不对应。

根据一些实施方式，提供了一种方法，包括：响应对便携式电子设备附近的用户的身体的接触，从集成到便携式电子设备上的一个或多个传感器采集传感器数据；以及响应对传感器数据的分析给便携式电子设备的微处理器提供第一命令，其中，所述对传感器数据的分析指示该接触对应第一手势。

该方法还可以包括分析传感器数据。

分析传感器数据可以包括进行手势事件检测和进行手势分类。

手势事件检测可以包括将来自传感器数据的峰值与阈值进行比较。

手势事件检测可以包括确定用户的运动。

用户的运动可以是步行运动，并且手势事件检测还可以包括补偿步行运动对传感器数据的影响。

手势分类可包括：从传感器数据提取多个特征；基于多个特征生成事件向量；以及将事件向量与多个手势分类模型进行比较。

手势分类模型可以是用户无关的模型。

多个手势分类模型可以至少部分地基于对便携式电子设备附近用户的身体的多个接触，多个接触中的每一个对应手势系列中的多个手势里的一个。

多个手势可表示十键数字键盘。

传感器数据可包括加速度信号、旋转运动信号和声学波形信号。

提取多个特征可以包括：进行基于时间的导数并计算加速度信号的统计参数；对旋转运动信号进行快速傅立叶变换；以及对声学波形信号进行快速傅立叶变换。

第一手势可以是点击、滑动或双击。

第一手势可以是手势系列中的多个手势中的一个，其中手势系列中的多个手势中的每个手势都映射到多个命令中的一个，并且第一命令是多个命令中的一个。

便携式电子设备可以保持在用户的手中，并且与身体的接触可以在用户的手附近。

与身体的接触可以是手指对手背或前臂后部的点击、滑动或双击。

接触可以是直接的皮肤接触。

手势系列可以由5个或更多个手势组成。

手势系列可以包括与手背上的数字键盘相对应的十个手势。

第一手势可以包括对与持有便携式电子设备的用户的手的同一手臂的前臂的点击，并且第一命令可以指示微处理器开始或停止监视手势系列中的一个或多个其他手势。

该方法还可以包括：基于提供给微处理器的第一命令，向用户提供反馈。

给用户的反馈包括：在便携式电子设备的屏幕上显示的文本或数字条目；对屏幕上显示的菜单项的选择；或者对屏幕上显示的按键的选择。

手势事件检测可以包括：确定包括手势事件数据的事件窗口。

该方法还可以包括：从集成到与便携式电子设备上的一个或多个传感器捕获第二传感器数据；分析第二传感器数据以确定第二传感器数据与便携式电子设备可检测的手势系列中的手势不对应。

根据一些实施方式，可以提供一种非暂时性计算机可读介质，其上存储有计算机程序代码，当由处理器执行该计算机程序代码时，该计算机程序代码控制处理器执行上述方法中的一个或多个。

附图说明

图1根据示例性实施方式，示出了可穿戴电子设备。

图2a、2b、2c和2d根据示例性实施方式，示出了可能的手势系列。

图3a、3b、3c和3d根据示例性实施方式，分别示出了麦克风记录的点击手势的声学信号声谱图。

图4a、4b、4c和4d根据示例性实施方式，分别示出了麦克风记录的点击手势(图4a和4b)或滑动手势(图4c和4d)的声学信号声谱图。

图5a、5b、5c和5d根据示例性实施方式，分别示出了响应于点击手势，由陀螺仪生成的x轴信号和y轴信号的幅度。

图6根据示例性实施方式，示出了可穿戴电子设备的旋转轴。

图7根据示例性实施方式，示出了用于控制便携式或可穿戴电子设备的方法。

具体实施方式

为了便于理解本发明的各种实施方式的原理和特征，下面解释各种说明性实施方式。尽管详细解释了示例性实施方式，但是应该理解，可以想到其他实施方式。因此，并不旨在将本发明的范围限定在以下说明中阐述的或附图中示出的组件的结构和设置的细节上。本发明能够具有其他实施方式并且能够以各种方式实践或实施。而且，在描述示例性实施方式时，为了清楚起见，将采用特定术语。

还必须注意，如说明书和所附权利要求中所使用的，除非上下文另有明确说明，否则，单数形式的“一”，“一个”和“该”包括其复数指代。例如，提到部件也意指包括多个部件的组件。提到组件含有“一”部件，旨在包括除所述部件之外的其他部件。

此外，在描述某些示例性实施方式时，为了清楚起见，将使用术语。其旨在每个术语考虑本领域技术人员所理解的最广泛的含义，并且包括以类似方式操作以实现类似目的的所有技术等同物。

范围在本文中可以表示为从“约”或“近似”或“基本上”一个特定值和/或到“约”或“近似”或“基本上”另一个特定值。当这样表达范围时，其他示例性实施方式包括从该一个特定值和/或到该另一个特定值。

类似地，如本文所使用的，“基本上不含”某物，或“基本上是纯的”，以及类似的描述方式，可包括“至少基本上不含”某物或“至少基本上是纯的”，以及“完全不含”某物，或“完全是纯的”。

“包含”或“含有”或“包括”是指至少所提及的化合物、元素、粒子或方法步骤存在于组合物或制品或方法中，但不排除存在其他化合物、材料、粒子、方法步骤，即使这些其它的化合物、材料、粒子、方法步骤与所述的具有相同的功能。

还应理解，提及一个或多个方法步骤并不排除在明确指出的那些步骤之间存在其它的方法步骤或中间方法步骤。类似地，还应理解，提及组件中的一种或多种部件并不排除存在除明确指出的那些之外的其他部件。

被描述为构成某些实施方式的各种要件的材料旨在是说明性的而非限制性的。许多与本文所述材料具有相同或相似功能的合适材料旨在包含在本发明的范围内。本文未描述的此类其他材料可包括但不限于例如在本发明开发之后开发的材料。

1.概述

本发明呈现了可穿戴电子设备以及与可穿戴电子设备一起使用的方法的各种示例性实施方式。实施方式利用可穿戴电子设备附近的用户的身体作为向可穿戴电子设备提供用户输入的表面。通过将用户输入表面向外延伸到例如皮肤，用户可以在与可穿戴电子设备交互的同时看到可穿戴电子设备的屏幕，类似于由便携式计算机的触控板提供的间接用户交互。

所描述的实施方式利用与身体的直接接触，无需在可穿戴电子设备外部的附加硬件或传感器。图1示出了可穿戴电子设备100的一种实施方式。所示出的可穿戴电子设备100是佩戴在用户手腕上的智能手表。如可理解和明白的，本发明的某些方面可以与各种可穿戴电子设备，例如智能眼镜、活动追踪仪、可穿戴相机、健康监视仪等一起使用，其中可穿戴电子设备佩戴在身体的各种位置，例如头部、胸部、上臂、躯干、脚、小腿或大腿等上。

在图1所示的示例性实施方式中，可穿戴电子设备100附近的用户的皮肤具有单触区域105和键盘区域110。根据示例性实施方式的某些方面，键盘区域110可以在多达10个点击位置处为可穿戴电子设备100提供输入。键盘区域110可以使用四个滑动手势向可穿戴电子设备100提供输入。根据示例性实施方式，单触区域105可以提供单击输入；然而，其他实施方式可以利用对前臂区域的更宽范围的输入。因此，图1所示的示例性实施方式能够提供多达15种不同的输入。根据所示示例性实施方式，该组15个不同的手势输入表示一个可能的手势系列；然而，这仅仅是一个示例，并且手势输入的范围可以扩展到包括更丰富的输入语言，允许文本和其他输入。

如图1和图2a所示，键盘区域110可以包括数字键盘(numpad)110a。如图2b所示，键盘区域110可以包括方向键盘(dpad)110b，或者如图2c所示，键盘区域110可以包括角键盘(cornerpad)110c。也可以在键盘区域110上输入图2d中所示的上、下、左和右滑动手势110d。

数字键盘110a手势系列模拟数字键盘的布局，其在键盘区域110中提供10个不同的点击位置。数字键盘110a手势系列可存在用于输入数字或甚至文本(通过多次点击例如twiddler或t9)的可能，目前，这在小型触摸屏上是很难的。单触区域105可以用于各种功能。例如，在单触区域105上的手势(包括点击)可以用作激活手势，通知所述可穿戴电子设备应该何时接受来自键盘区域110的输入。在单触区域105上的手势可以解释为撤消命令。在一些情况下，与手势系列内的手势相对应的命令可以是情境特定的，并且可以基于可穿戴电子设备100的当前状态(例如接电话、玩游戏等)而改变。

如图2b所示，键盘区域110可以包括具有四个点击位置的方向键盘110b手势系列，所述四个点击位置形成为具有顶部、底部、左侧和右侧位置的菱形形状。方向键盘110b可用于方向控制或滚动项目列表。例如，垂直或水平向下滚动菜单是智能手表触摸屏上的常见操作。单触区域105可用于输入激活手势或选择手势以确认菜单项的选择。对于显示大量信息的应用程序，方向键盘110b可以减少屏幕遮挡，同时提供用于与可穿戴电子设备100交互的直观手段。

如图2c所示，键盘区域110可以包括具有四个点击位置的角键盘110c手势系列，所述四个点击位置形成为方形，具有靠近可穿戴电子设备100(例如在手背的腕部附近)且彼此一上一下的两个点击位置，以及较远离可穿戴电子设备100且彼此彼此一上一下的两个点击位置(例如，在手背上的两个手指根部附近的指关节附近)。角键盘110c可以用作可穿戴电子设备(例如智能手表)100上的某些应用程序的快捷方式。单触摸区域105可以用于输入激活手势以激活角键盘110c输入功能。

如图2d所示，可以在键盘区域110处输入上、下、左和右滑动手势110d。菱形键盘，例如方向键盘110b在映射上、下、左和右滑动手势110d时很有用。

如可理解和明白的，点击位置和滑动手势不限于图1或图2a到2d中所示的位置。点击位置可以包括可穿戴电子设备附近的其他位置。滑动手势可以在可穿戴电子设备附近的其他方向或其他位置处进行。例如，佩戴在上臂或躯干上的可穿戴电子设备可以从一手势系列接收输入，该手势系列包括在那些相应位置附近的点击和滑动手势。

可穿戴电子设备100的一些实施方式可包括集成到可穿戴电子设备中的传感器，例如惯性测量单元(imu)。imu可以包括加速计，陀螺仪或这两者。这样的实施方式可以被配置为通过使用imu来检测和区分各个点击位置处的点击。这样的实施方式可以进一步包括麦克风，并且可以被配置为通过使用imu和麦克风来检测和区分各个点击位置处的点击。包括imu或imu和麦克风的实施方式可以被配置为检测和区分一系列身体手势，包括点击和/或滑动手势。

一些实施方式可以利用用户相关的模型、用户无关的模型、用户自适应的模型或其组合来检测和区分包括在各个点击位置处点击的一系列身体手势。

2.演示-传感器数据收集

为了说明可穿戴电子设备技术可能的实施方式，在索尼的智能手表3(smartwatch3)和摩托罗拉的摩托360(moto360)上实施了某些实施方式的某些方面的功能。实施利用来自智能手表3和摩托360的陀螺仪、加速计和麦克风的传感器数据。应当理解，这些示例性实施方式仅用于说明目的，并且任何指定的要素(例如准确度和精度)仅用于指导普通技术人员，并且不应被视为代表在本发明范围内的所有实施方式。

使用智能手表3的实施方式利用单触摸区域105和键盘区域110中的各种点击位置配置，例如数字键盘110a、方向键盘110b和角键盘110c。除了触摸输入之外，使用摩托360的实施方式还使用了滑动手势110d。

在身体上的点击或手势产生从接触点传送到智能手表的麦克风中的声音。麦克风将声音转换为电信号，其可以通过该信号在一定频率范围内的能量为时间的函数来表征。图3a、3b、3c和3d描绘了当在键盘区域110的数字键盘110a的点击位置处分别点击数字1、3、7和9时由智能手表3的麦克风接收的声学信号的图形。比较图3b和图3a，与点击数字1相比，以较低频率点击数字3可以具有更多能量。这是因为组织的厚度、脂肪的比率和骨骼的结构在手背和前臂上部的不同位置是不同的。例如，数字3的位置更靠近指关节，与数字1位置相比具有更多的骨骼。

图4a、4b、4c和4d描绘了当在键盘区域110上点击数字2、点击数字9、向下滑动和向右滑动时，基于由摩托360的麦克风接收到的声音的特征电信号图。如图3a至3d和图4a至4d所示，通过滑动或点击手背和前臂后部的皮肤产生的声音落在0hz和4khz之间。在所呈现的实施方式中，来自智能手表3和摩托360上的麦克风的声音采样降低到8khz，以使数据收集有效而实用。如可理解和明白的，可以以更高的采样率对来自麦克风的声音进行采样以捕获更宽范围的声音频率。

在身体上的点击或手势引起佩戴有智能手表的手臂的运动。可以通过陀螺仪检测手臂的移动。来自陀螺仪的数据可以x、y或z方向(或它们的某种组合)上的运动幅度作为时间的函数来进行表征。图6描绘了腕戴式设备例如智能手表在x、y和z方向上的运动取向。图5a、5b、5c和5d描绘了当在键盘区域110的数字键盘110a上分别点击数字1、3、7和9时，智能手表3的陀螺仪基于手臂运动的特征数据图。点击手背上的不同位置会产生不同类型的运动。例如，如图5c或图5d所示，点击数字7或9首先在陀螺仪的x轴上产生一运动幅度的正峰，然后是负峰。相比之下，如图5a或图5b所示，点击数字1或3首先在陀螺仪的y轴上产生一运动幅度的负峰，然后是正峰。

尽管呈现并讨论了陀螺仪的x和y轴信号，但是来自陀螺仪或加速计的任何轴的信号或其组合可用于确定是否已发生手势事件或对手势进行分类。

对于利用智能手表3的实施方式，以可用的最高采样率(200hz)对陀螺仪进行采样。对于使用摩托360的实施方式，以50hz对陀螺仪进行采样。如可理解和明白的，陀螺仪可以以小于50hz的速率被采样并且直到可穿戴设备的物理限制以捕获期望的旋转运动的频率范围。

利用线性加速度数据(不包括由于重力引起的加速度)而不是原始加速器数据的实施方式来防止手腕的取向影响手势识别结果，尽管原始加速度数据可以用在其他实施方式和实施例中。对于使用智能手表3和摩托360的实施方式，加速计分别以250hz和25hz采样。如可理解和明白的，可以以高达可穿戴设备的物理限制的速率对加速计进行采样，以捕获期望的加速度变化的频率范围。

3.演示-数据捕获和分析

图7根据一些示例性实施方式，示出了与可穿戴电子设备一起使用的方法。该方法可以包括以下步骤：捕获传感器数据710；分析传感器数据715；向微处理器740提供命令；以及执行命令750。

根据一些实施方式，可以捕获并记录传感器数据以供以后分析或实时进行捕获和分析。传感器数据可以包括来自如上所述的可穿戴电子设备的传感器的数据。作为示例而非限制，可以将滑动窗口(slidingwindow)应用于传感器数据，并且包含在滑动窗口内的数据可以进行数据分析715。作为非限制性示例，可以通过可穿戴电子设备或与可穿戴电子设备通信的一些其他设备进行数据分析。例如，可穿戴电子设备可以与电话进行无线通信，并且可以将捕获的传感器数据710(原始的或已处理的)发送到电话以进行数据分析。

根据一些实施方式，数据分析715可以包括机器学习流水线，包括：(1)手势事件检测720和(2)手势分类730。手势事件检测720识别存在可以作为用户输入了手势的指示的传感器数据。在手势事件检测720期间，可以通过例如对传感器数据应用高通滤波器来补偿与输入手势无关的用户运动。例如，可以补偿用户行走的运动。可以将传感器数据与一个或多个阈值进行比较。可以将(一个或多个)阈值与来自一个传感器或传感器组合的数据进行比较。可以将包含与用户可能输入的手势的相关的数据的事件窗口定位在例如在时间位置处，其中，在该时间位置处，传感器数据超过阈值，从而事件窗口包括与用户输入手势相对应的时间段。

手势分类730将检测到的手势事件分类为手势，例如，示例而非限制地，上面参考图1和图2a-2d描述的手势之一。手势分类730可以包括：从传感器数据提取特征；生成事件向量；将事件向量与手势分类模型进行比较；以及将手势事件分类到手势系列中。在一些情况下，手势分类可以用作辅助检查以确定用户是否输入了手势。例如，用于手势事件检测720的阈值可以足够低以允许假正例(falsepositives)(例如在事件窗口期间检测到一个未发生的手势)；手势分类730可以确定“检测到的”可能的手势是假正例还是对应于手势系列中的手势。

分类的手势可以对应于微处理器的命令。可以响应于在用户身体上的手势输入，将命令提供给微处理器740。然后可以执行该命令750。在一些情况下，该命令可以是依赖于情境的(例如基于可穿戴电子设备的状态或在可穿戴电子设备上执行的应用程序的状态)。作为非限制性示例，可穿戴电子设备可以向用户提供反馈。

对于利用智能手表3的示例性实施方式，在手势事件检测720期间，将具有75％重叠的1.2秒持续时间的移动手势检测窗口应用于从陀螺仪、加速计和麦克风记录的两秒原始数据流。如可理解和明白的，移动手势检测窗口可具有更长或更短的持续时间以及更长或更短的重叠，以便有效地捕获手势输入。

在利用智能手表3的示例性实施方式中，分析来自陀螺仪的旋转运动数据和来自加速计的线性加速度数据，以确定数据是否在手势检测窗口中的任何点处通过经验确定的阈值。如可理解和明白的，可以单独地确定加速计和陀螺仪的阈值；可以确定麦克风的阈值；或者可以确定基于传感器输入的某种组合的阈值。定位每个传感器信号的最大绝对值的时间位置。从一个传感器到另一个传感器，定位的时间位置并不总是相同的。为在最大点周围平衡的每个传感器流定义数据值的事件窗口，其具有0.5秒的时间段。如可理解和明白的，事件窗口可以捕获更宽或更窄的时间段，这取决于具体实施方式和所检测的手势的类型(例如，与点击相比，滑动可以具有更宽的事件窗口时间段)。如果传感器的最大绝对值的时间位置太靠近手势检测窗口的边缘，则从前一个或下一个手势检测窗口提取事件窗口。在步骤(1)中识别的每个传感器的事件窗口推进到步骤(2)手势分类730。

对于利用摩托360的示例性实施方式，在步骤(1)手势事件检测720期间，通过将汉明窗口(n＝62)应用于陀螺仪数据的z轴来分段数据，并且进行峰值检测。如可理解和明白的，可以应用具有各种形状和样本大小的各种信号处理窗口函数。在示例性实施方式中，一旦识别出陀螺仪数据中的峰值，峰值就标记每个传感器的1秒数据帧或事件窗口的中心。然后来自每个传感器的每个事件窗口的数据推进到步骤(2)手势分类730。

如可理解和明白的，根据一些实施方式，滑动窗口方法，包括应用汉明窗口或其他信号处理窗口的滑动窗口方法可以实时应用于流数据。手势检测和手势分类可以由可穿戴电子设备上的处理器进行。或者，可穿戴电子设备可以与外部计算设备配对或以其他方式与外部计算设备通信，其中，所述外部计算设备可以进行手势检测和手势分类或其某些计算部分。在本文描述的利用智能手表3和摩托360的示例性实施方式中，每一传感器针对每个手势记录两到三秒的数据以用于离线分析。

根据一些实施方式，在步骤(2)手势分类730期间，可以计算每个事件窗口的特征以生成事件向量。可以将事件向量与表示手势事件的模型进行比较。基于事件向量与表示手势事件的模型的匹配，事件向量可以被分类为表示一手势。

在示例性实施方式中，计算每个传感器的每个事件窗口的特征，并将其并入到事件向量中。对于利用智能手表3的实施方式，利用来自三个传感器中的每一个的事件窗口数据，总共计算了286个特征，如下所示。对于线性加速度和旋转运动的每个轴，通过对每个轴的数据的求导来推导出虚拟传感器；然后，对于原始传感器和虚拟传感器的每个轴，提取一组统计特征，包括最大值、最小值、平均值、中值、标准偏差、均方根、方差、过零率和峰值及其值差异。为了捕获每个imu传感器的不同轴之间的关系，计算每个传感器上每两个轴的能量与第一和第二绝对峰值的比率和差异。对来自陀螺仪的旋转运动数据进行50点快速傅里叶变换(fft)，得到每个轴的24个特征(弃掉第一条频率谱线(bin)以消除频谱上的恒定能量)。得到的24个特征表示可以在手势分类中使用的跨频率能谱。由于在示例性实施方式中使用的示例性手势系列的频率低于6khz，因此仅得到fft的前三条频率谱线的值，并且将跨越不同频率谱线值的熵添加到事件向量中。

如可理解和明白的，可以将基于来自imu的数据计算的各种统计特征的组合包括附加的、替代的或更少的特征合并到事件矢量中。此外，用于计算特征的数学方法不限于上述fft。

继续计算利用智能手表3的实施方式的特征，对于声学数据，事件数据窗口被分成30ms的帧，具有50％的重叠。对声学数据帧进行fft，并对fft结果进行平均，仅保留代表0hz至500hz频率的fft结果的前30个值。在特征向量中添加跨频率的质心。如可理解和明白的，声学数据的事件窗口可以被划分为更宽或更窄持续时间的声学数据帧，并且可以进行fft以捕获更宽或更窄的频率范围。声学数据的梅尔频率倒谱系数(mfcc)也被用作事件向量的特征。

如可理解和明白的，可以将任何与便于识别或分类手势事件的手势系列中的手势相关的统计相关参数合并到事件向量中。

对于利用摩托360的实施方式，利用来自三个传感器中的每一个的事件窗口数据，总共计算了200个特征，如下所述。针对线性加速度和旋转运动的每个轴计算八个统计特征(最大值、最小值、平均值、标准偏差、均方根、方差和过零点计数)。对来自陀螺仪的旋转运动数据进行50点fft，得到每个轴的24个特征(弃掉第一个频率谱线)。从声学数据中提取具有50％重叠的30ms的帧，并且对声学数据帧进行fft。在同一事件窗口中的不同声学数据帧上添加相同频率谱线的值，以构建声学数据fft结果。通过计算fft结果的质心，获得较低的35条频率谱线(0hz至560hz)的值，较高的15条频率谱线(3760hz至4000hz)的值和基频。声学数据的mfcc也被用作事件向量的特征。

根据一些实施方式，可以通过使用事件向量来训练分类器以识别已经进行了的手势，以创建表示手势事件的模型。对于利用智能手表3和摩托360的示例性实施方式，使用支持向量机(svm)将每个事件向量与一组数据模型进行比较，以将来自相关事件窗口的数据分类为建模手势。在示例性实施方式中，利用weka提供的svm的序列最小优化(smo)来建立数据模型和进行手势分类。如可理解和明白的，实施方式不限于利用svm作为分类器，并且可以利用任何可以训练的分类器来对手势事件进行分类。

4.演示-用户试验

为评估智能手表3实施方式，来自佐治亚理工学院校园的12名参与者(6名男性和6名女性，平均年龄26岁)提供了如下用户研究数据。这项研究是在学校大楼的空地上进行的，在那里可以听到空调以及说话和移动的声音。要求参与者在左手腕上佩戴手表并使用右手进行手势。建议参与者将手表佩戴在离手部更近的地方，并调整腕带使其舒适而紧密地戴在手腕上。为了保持一致性并帮助参与者记住每个点击手势的位置，在每个参与者的手背上绘制了如图1和图2a中所示的数字键盘。

然后，研究人员演示了整个手势系列，包括键盘区域110中的十个点击位置和单触区域105中的一个点击，并且要求参与者练习。正式研究包括每位参与者进行8次会话(session)。在每个会话期间，参与者坐在桌子前进行所有手势，在研究期间他们可以在那里休息。要求参与者在两次会话之间休息几分钟以减轻疲劳。在这些休息期间，如果需要，参与者可以四处走动或摘掉手表。每次会话平均持续约45分钟。

在每次会话期间，要求参与者跟随手表屏幕上显示的刺激以在数字键盘110a上点击手势。刺激的序列是随机的。录制了会话录像。每个会话收集每个手势的五个实例。在12个参与者完成8次会话后，从5,280个总手势中收集数据。来自每个手势事件的数据被保存到2秒原始数据文件中以供进一步分析。研究者观察到的参与者在错误位置上的点击或错过事件刺激的情况所对应的十六个手势事件数据文件不包括在下面描述的分析中。

为了理解当训练数据来自不同会话时系统如何工作，使用了“留出一次会话”的方法来评估系统。对于每个参与者，使用来自一个会话的手势实例作为测试数据，并且使用来自剩余七次会话的实例作为用于构建模型的训练数据。对于每个参与者，该步骤重复八次。

如果在步骤(1)手势事件检测720期间，在手势事件数据文件中未检测到手势事件，则该手势事件被计为假负例错误。如果在步骤(1)期间，在手势事件数据文件中识别出多于一个手势事件，则该手势事件被计为假正例错误。计数为假负例或假正例的手势事件的数据文件不推进到步骤(2)手势分类730。对于数字键盘、方向键盘和角键盘，观察到的假正例率约为0.2％，而观察到的假负例率约为3％。

对于数字键盘测试，观察到9个假正例和162个假负例错误。在162个假负例错误中，13个错误是由于旋转运动和加速度数据的幅度未超过步骤(1)手势事件检测720的预定义数据阈值而引起的。其余149个假负例错误发生的原因是手势事件窗口中未完全捕获或缺失用户手势输入的实际时间。导致这些假负例错误有三个主要原因：参与者的点击很弱；参与者的手势做得太早或太晚以至于只有部分的用户手势输入落在2秒记录窗口内；或者在保存2秒记录窗口时，录制的音频数据与imu数据不同步，导致音频文件未包含整个手势。当智能手表在完成一段时间的繁重计算工作量之后变得过热时，观察到声学数据失调更频繁地发生。随着智能手表和可穿戴电子设备在未来变得更加强大，可以合理预期通过在手表上独立在线运行整个系统来避免最后两种假负例错误。

在手势分类中，在留出一次会话的评估中，12位用户在数字键盘110a上的每个触摸位置的总体平均准确度为91％，准确度范围从最高准确度参与者的95％到最低准确度参与者的82％不等。最低准确度参与者的记录视频表明该参与者比其他参与者的点击手势更轻。来自最低准确度参与者的麦克风数据几乎没有捕获一些手势事件的声音，这可能导致了较低的观察准确度。

比较点击位置，数字键盘110a上的数字8提供了86％的最低准确度，相邻点击位置之间存在较高的混淆。例如，对8的点击实例分别有3％和7％被错误分类为7和9。对于0和单触区域105的点击是最准确的手势，每个准确度为97％。这两种手势的位置与其他手势不同，这可能有助于提高准确性。观察到与间隔较远的点击位置相比，间隔较近的相邻点击位置在手势事件期间具有更相似的位移模式。

在一些示例性实施方式中，并且在示例性实施中，方向键盘110b手势系列是数字键盘110a手势的子集，利用数字2、4、6和8位置处的点击。在12名参与者中，方向键盘的平均准确度为97％，从准确度最高的参与者的99％到精确度最低的参与者的91％不等。对数字4的点击提供了最低准确度(97％)并且对单触区域105的点击提供了最高准确度(98％)。

在一些示例性实施方式中，并且在示例性实施中，角键盘110c手势系列是数字键盘手势的子集，利用数字1、3、7和9位置处的点击。在12名参与者中，角键盘的平均准确度为97％，从准确度最高参与者的99％到最低准确度参与者的91％不等。数字7的点击提供了最低准确度(94％)，而数字9的点击提供了最高准确度(99％)。

留出一个会话验证的结果提供了示例手势分类器在识别给定参与者的不同会话的不同手势方面的良好评估。使用从12个参与者收集的数据集进行进一步的实验，以探索用户相关的、用户无关的和用户自适应的手势模型的有效性。

用户相关的模型仅使用来自同一参与者的数据来训练模型，然后该模型将用于对他/她自己的手势进行分类。通常，使用更多训练手势事件训练的模型提供了更高的识别准确度，但是也需要更长的时间从参与者收集数据，这可能是令人讨厌的。为了研究有多少训练手势事件可以有效地训练用户相关的模型，使用来自给定参与者的每个手势的前5、10、15和20个收集的手势事件来训练四种单独的svm模型。该参与者的剩余手势事件用于测试四个模型中的每一个。当仅使用5个手势事件来构建模型时，在12个参与者中，数字键盘、方向键盘和角键盘的总体准确度分别为71％、89％和86％。当以每个参与者每个手势20个手势事件来训练用户相关的模型时，数字键盘、方向键盘和角键盘的最高准确度分别为87％、97％和95％。实际上，根据一些实施方式，用户可以在少量会话中提供训练数据，其可以用于构建手势分类模型以供在以后的用户会话中使用。

与用户相关的模型相比，用户无关的模型(留出一个用户)不需要用户在使用该技术前提供任何训练数据。通过减少用户端的工作量可以改善用户体验；但是，用户无关的手势模型最初需要以更高的可靠性标准来构建。

在示例性实施方式中，使用来自总共12个参与者中的11个参与者的数据来训练svm，并且测试来自剩余参与者的数据。12名参与者的数字键盘、方向键盘和角键盘的平均准确度分别为69％、85％和90％。

考虑到每个用户提供训练实例所需的工作量，用户自适应模型介于用户无关模型和用户相关模型之间。用户自适应模型可以添加单个用户的每个手势的几个实例来增强用户无关模型。在示例性实施方式中，通过将每个参与者的每个手势的5、10、15和20个手势事件递增地添加到用户相关训练集中来生成用户自适应模型。随着更多个性化数据被添加到模型中，用户自适应模型的准确度增加并超过用户无关模型的准确度。当模型中添加20个实例时，达到了最高的准确度，对数字键盘、方向键盘和角键盘而言，分别为81％、93％和96％。

观察到每个手势具有20个实例的用户自适应模型的准确度低于使用相似数量的训练实例构建的用户相关模型的准确度。这可能是由于手尺寸的不同，点击位置因人而异。添加来自其他的更多训练数据可能不一定有助于提高识别精度。

用户无关模型对于较小的手势集可能是有效的。在示例性实施方式中，角键盘通过用户无关的模型实现了90％的准确度。在角键盘110c的用户自适应模型中添加了5个和10个实例，准确度分别提高到93％和95％。与方向键盘110b和数字键盘110a中的点击位置相比，角键盘110c中的点击位置间隔更宽，这可能在不同的手势中提供更多可区分的特征。一种方法可以是要求用户在使用之前测试每个手势，并且仅针对可能被错误分类的那些手势提供一些校准手势。

另外评估了如上所述使用智能手表3收集的数据，以确定每个参与者的数字键盘110a手势集(图2a)在传统10倍交叉验证中仅使用来自imu或麦克风的数据的手势检测的准确度。仅imu数据、仅声学数据和imu加声学数据的准确度分别为89％、66％和93％。

为评估摩托360的实施方式，一名研究人员提供如下用户研究数据。研究人员针对每个手势收集大约60个实例以构建用于手势系列的手势识别模型，其中，所述手势系列包括：对单触区域105的单击；对键盘区域110中的数字键盘110a上的十个位置中的每一个的点击；以及在键盘区域110中的四个滑动手势110d，总共有15个不同的手势。在研究人员左手背的皮肤上绘制如图1所示的数字垫一周；收集了这一周的六次会话的数据；并且研究人员在每次会话中将这15种不同的手势中的每一种进行了十次。

通过10倍交叉验证评估基于用户数据的svm模型。所有15种手势的准确度在90％到97％之间。交叉验证结果表明在皮肤上的这15种手势是可识别的。观察到滑动与点击之间的混淆度较低。单触区域105中的一个点击提供最高准确率(100％)和召回率(98％)，表明该手势可能是需要高准确度(例如删除或激活)的手势命令的良好候选。数字9提供了最低的准确度(83％)，最常与数字6混淆。

另外评估了如上所述使用智能手表3收集的数据，以确定每个参与者的数字键盘110a手势集(图2a)在传统10倍交叉验证中仅使用来自imu或麦克风的数据的手势检测的准确度。仅imu数据、仅声学数据和imu加声学数据的准确度分别为55％、83％和91％。使用来自全部三个传感器的数据，但从事件向量中移除源自声谱频率的特征，其准确度是86％。使用来自全部三个传感器的数据，但移除声学数据的mfcc特征，其准确度是85％。

与上面关于智能手表3描述的结果相反，在对摩托360的示例性实施期间收集的数据的类似分析表明，与imu数据相比，声学数据在分类手势方面可能更能提供有用信息。与智能手表3的评估一致，对摩托360的评估表明，使用来自麦克风和imu的数据可以比仅使用imu或仅使用麦克风显著提高了手势识别。

5.其他考虑因素

如可理解和明白的，上述实施方式示出了本发明的实施方式的某些方面，但与这些示例性实施方式不同的实施方式同时也在本发明的范围内。例如，某些在设计时可以考虑其他的实际应用的实施方式。

假正例错误可能使用户感到沮丧，导致不希望的用户命令，例如拨打电话。根据一些实施方式，可以利用更先进的信号处理技术，例如带通滤波来滤除嘈杂环境中的噪声。可以在手势事件检测步骤期间应用其他标准，利用收集的噪声数据来减少由于高音量环境噪声引起的假正例。根据一些实施方式，在通过身体输入数据之前，可能需要激活手势。激活手势可以直观地进行，除了提供较低的假负例(fn)和假正例(fp)错误率之外，并可以更好地减少与其他手势混淆。例如，对于将智能手表作为可穿戴电子设备100的实施方式，单触摸区域105中的单击或双击可以用作激活手势。

如上所述测试了一些示例手势集；然而，还可以使用其他手势集。一个挑战是设计既好记又能被机器识别的手势集。提高手势识别的一种方式是提供一小组点击手势，其彼此之间所在位置距离较大(例如方向键盘，角键盘)。因此，用户可以容易地记住每个点击手势的位置。在这种情况下可能不需要绘图布局。由于在两个点击位置之间存在较大的空间，因此系统可以容忍相同手势的不同点击之间的差异并用于识别。

根据一些实施方式，防止在皮肤上绘制图标的另一种方法是利用手的自然布局并将手势映射到身体的不同部位。例如，每只手包括4个指关节。根据一些实施方式，可以用点击手势来映射指关节，使得即使皮肤上没有任何标记，用户也可以容易地重复点击。根据一些实施方式，可以利用在身体上的投影来标记手势位置。

然而，如果绘制的图片设计得很好，则对于某些用户来说，在手上绘画可能并不总是不可接受的。例如，许多人的皮肤上已经有纹身。根据一些实施方式，手势系列可以被设计为与纹身或纹身式的绘图兼容，使得人们不会对其皮肤上的“纹身”样式布局感到不舒服。

在上述实施中，在参与者将他们的手臂保持在静止位置时，收集手势实例。如可理解和明白的，实施方式不限于在上述有限的测试条件下使用。在实际情况中，用户可以在运动中(例如，在行走时)使用一些实施方式。点击运动中的身体会影响惯性信号，也可能影响点击位置的准确度。根据一些实施方式，参考图7，可以在手势事件检测720期间使用情境检测，以防止由步行运动或其他情境影响产生的传感器数据推进到手势分类730，或者，在对传感器信号进行手势分类730之前，通过滤波或其他手段来处理传感器信号以补偿情境影响。当用户处于运动中(或不同的运动状态，例如静止、行走或跑步)时，可以通过利用单独的手势分类模型来完成情境检测。在这样的实施方式中，为了对手势进行分类，可以首先对用户的运动状态或其他情境数据进行分类(例如，使用例类似于谷歌的动作识别服务)，然后可以在手势事件检测期间利用适当的阈值和模型来说明用户的运动状态或其他情境数据。根据一些实施方式，为了在用户运动时减少可能的假正例错误，可以将高通滤波器应用于imu数据以去除低频运动(例如行走)。由手势事件，例如点击产生的声音可能在特定参与者的不同情况下发生变化。例如，如果手出汗或以其他方式被润湿，则润湿的皮肤可能改变手势的声学特征，可能对系统的性能产生未知的影响。覆盖皮肤的衣服，例如覆盖手臂的单触区域105的袖子，或者在点击或接收手上的手套可能不适合基于皮肤对皮肤接触的手势识别模型。如可理解和明白的，即使在衣服妨碍了皮肤直接对皮肤的情况下，只要手势导致可穿戴电子设备的运动可被imu检测到以及声音可被麦克风检测到，可穿戴电子设备的imu和麦克风就可检测到点击和其他手势。根据一些实施方式，还可以利用其它手势识别模型来检测和分类衣服干扰皮肤与皮肤直接接触的情况。

尽管本发明一般性地讨论了涉及可穿戴电子设备例如智能手表的实施方式，但是应当理解，所公开技术的某些方面可以使用或与非可穿戴或可选地可佩戴的便携式电子设备一起实现。例如，智能手机可以握在用户的手中。当握在手中时，用户可以在智能手机附近对其身体(例如，在他们的手指、手腕、前臂或手上)进行手势。智能电话可以被配置为捕获来自集成到智能电话上的一个或多个传感器的传感器数据，并响应于指示该接触与手势相对应的传感器数据的分析来响应手势。再次，这仅仅是示例，并且本发明的各方面可以在各种便携式电子设备中实现。