装置操作控制的制作方法

本发明涉及一种使用检测到的运动类型来控制装置的装置和方法。

背景技术：

诸如移动电话、平板计算机装置和膝上型计算机的便携式和可移动装置被广泛使用。便携式装置的设计者的挑战是设计一种轻便、电池高效且便于使用的设备。易于使用的一个方面是用户可以容易地输入控制命令。

技术实现要素：

本发明提供了一种装置，包括：显示器，其用于在多个独立的显示区域中显示信息，每个显示区域是独立地可识别的；存储器，其用于存储运动类型控制数据，所述运动类型控制数据包括运动类型的标识和要对在一个或多个所识别的显示区域中显示的信息执行的对应操作；运动检测装置，其用于检测所述装置的运动；用户输入装置，其用于在学习阶段期间接收用户输入，所述用户输入识别要对一个或多个所识别的显示区域中显示的信息执行的操作；以及处理器，其被编程为，在学习阶段中，当接收到识别要对在一个或多个所识别的显示区域中显示的信息执行的操作的用户输入时，从由所述运动检测装置检测到的运动中识别运动类型，并且将接收到的用户输入与识别所述运动类型的数据相对应地存储在所述运动类型控制数据中，并且在所述学习阶段之后，当所述运动检测装置检测到运动时，使用所述运动类型控制数据来识别运动类型，并且对在一个或多个所识别的显示区域中显示的信息执行对应的操作。

本发明还提供一种控制在装置上的多个独立的显示区域中的显示信息的方法，所述装置具有用于检测所述装置的运动的运动检测器装置，每个显示区域是独立地可识别的，所述方法包括：在学习阶段期间：接收用户输入，所述用户输入识别要对在一个或多个所识别的显示区域中显示的信息执行的操作；使用运动检测器装置检测装置的运动；从由运动检测装置检测到的运动识别运动类型；将接收到的用户输入与识别运动类型的数据对应地存储为运动类型控制数据；以及重复接收、检测、识别和存储步骤；以及在操作阶段中：使用运动检测器装置检测所述装置的运动；以及使用所述运动类型控制数据来识别运动类型，并且对在一个或多个所识别的显示区域中显示的信息执行对应操作。

本发明还提供了一种装置，包括：存储器，其用于存储控制数据，所述控制数据包括运动类型的标识、对应的控制操作和对应的手势类型数据；运动检测装置，其用于检测所述装置的运动；手势检测装置，其用于检测手势；用户输入装置，其用于在学习阶段期间接收识别控制操作的用户输入；以及处理器，其被编程为：在所述学习阶段，当接收到识别控制操作的用户输入时，从由所述运动检测装置检测到的运动中识别运动类型，将接收到的用户输入与识别所述运动类型的数据相对应地存储在所述控制数据中，并且确定对应的手势类型数据，以及在所述学习阶段之后，当所述运动检测装置检测到运动时，使用所述控制数据来识别运动类型并执行所述对应的控制操作，或者当所述手势检测装置检测到手势时，使用所述控制数据来识别手势类型并执行所述对应的控制操作。

附图说明

图1是示出示例手持装置的示意图；

图2是示出示例装置的替代显示器的示意图；

图3是示出示例装置的替代显示器的示意图；

图4是示出示例装置的电子部件的示意图；

图5是示出示例学习阶段的流程图；以及

图6是示出示例操作阶段的流程图。

具体实施方式

在以下详细描述中，参考形成其一部分的附图，并且在附图中通过说明示出其中可以实践本发明主题的具体实施例。充分详细地描述这些实施例以使本领域的技术人员能够实践这些实施例，且应理解，可利用其它实施例，且可在不脱离本发明主题的范围的情况下作出结构、逻辑和电气改变。本发明主题的这些实施例在这里可以单独地和/或共同地被称为术语“发明”，这仅仅是为了方便，而不是要在实际上公开了一个以上发明或发明构思的情况下将本申请的范围主动限制于任何单个发明或发明构思。

因此，以下描述不应被理解为限制性的，并且本发明主题的范围由所附权利要求及其等同物来限定。

在以下实施例中，相同的部件用相同的附图标记表示。

在以下实施例中，术语数据存储或存储器旨在涵盖任何计算机可读存储介质和/或装置(或数据存储介质和/或装置的集合)。数据存储的示例包括但不限于光盘(例如，cd-rom、dvd-rom等)、磁盘(例如，硬盘、软盘等)、存储器电路(例如，固态驱动器、随机存取存储器(ram)等)等。

在一个实施例中，这里描述的功能或算法以硬件、软件或软件和硬件的组合来实现。软件包括存储在诸如存储器或其它类型的存储装置等计算机可读载体介质上的计算机可执行指令。此外，所描述的功能可对应于模块，所述模块可为软件、硬件、固件或它们的任何组合。根据需要在一个或多个模块中执行多个功能，并且所描述的实施例仅仅是示例。软件在数字信号处理器、asic、微处理器或其它类型的处理器上执行。

一些实施例在两个或更多个特定互连硬件模块或装置中实现功能，其中，相关控制和数据信号在模块之间传送并通过模块传送，或者作为专用集成电路的部分。因此，示例性处理流程可应用于软件、固件和硬件实现。

一般的实施例提供了一种装置，包括：显示器，其用于在多个独立的显示区域中显示信息，每个显示区域是可独立识别的；存储器，其用于存储运动类型控制数据，所述运动类型控制数据包括运动类型的标识和要对在一个或多个所识别的显示区域中显示的信息执行的对应操作；运动检测装置，其用于检测所述装置的运动；用户输入装置，其用于接收用户输入，在学习阶段期间，所述用户输入识别将对一个或多个所识别的显示区域中显示的信息执行的操作；以及处理器，其被编程为，在所述学习阶段中，当接收到识别要对在一个或多个所识别的显示区域中显示的信息执行的操作的用户输入时，从由所述运动检测装置检测到的运动中识别运动类型，并且将接收到的用户输入与识别所述运动类型的数据相对应地存储在所述运动类型控制数据中，并且在所述学习阶段之后，当所述运动检测装置检测到运动时，使用所述运动类型控制数据来识别运动类型，并且对在一个或多个所识别的显示区域中显示的信息执行对应的操作。

装置的用户能够在要用作输入的优选运动类型上训练装置，以使得对在一个或多个所识别的显示区域中显示的信息执行操作。以此方式，用户能够调整用户与装置的特定的所识别的显示区域交互的方式，以选择将对一个或多个所识别的显示区域中显示的信息执行的特定操作的优选运动类型。运动类型的标识可以包括针对每个运动类型的记录的运动数据，以用于与检测到的运动数据相匹配，以便从运动数据中识别运动类型。在一个实施例中，不是所有的运动类型都需要被学习，一些运动类型可以被预先存储。

本发明适用于便携式装置，但不限于此。装置可以是能够以往复、旋转或摇动运动移动的任何装置。这种装置通常是便携式的并且无线的，但是可以简单地移动并通过电线连接。装置可以是另一设备的一部分，因此在使用中是可移除的，以允许用户进行摇动、旋转或往复运动来控制该装置。装置可以包括移动电话、平板计算机、诸如智能手表或个人监视器装置的可穿戴装置、膝上型计算机或机器控制装置。

对一个或多个识别的显示区域中显示的信息执行的操作可以包括对显示区域中的信息的任何操作，诸如，对在显示器的一个或多个显示区域中显示的信息的剪切、粘贴、插入或删除。操作可以被限制为对一个显示区域、显示区域的子集或所有显示区域的操作。

用户可以用于识别和执行控制操作的运动类型可以包括例如直线运动、往复运动、旋转运动、摆动运动、跷跷板运动、摇动运动或摇滚运动中的任何一个。“摇动”的位移或幅度、“摇动”的频率或速率和/或“摇动”的速度/速率或力度也可以是装置的运动类型的分量。运动类型可以包括单个运动类型或运动类型的组合，例如，平移往复运动和旋转运动，并且运动可以在多个方向上。可以设置运动阈值，由此仅当运动的速度或幅度高于阈值时才从运动数据中识别运动类型。这避免了错误的运动类型识别，并因此避免了错误的控制操作执行。运动可以包括运动或运动类型的复杂混合或聚集(例如，同时摇动的旋转)，或者一系列运动(例如，摇动之后旋转或者在一个方向上的旋转之后在另一个方向上的旋转)。因此，该系列运动可以是一系列相同运动类型或不同运动类型。

为了减少装置识别运动类型时的错误，在学习阶段期间，在已经接收到用户输入以识别要对一个或多个识别的显示区域中显示的信息执行的操作之后，装置可以要求用户执行运动类型一次以上，使得可以多于一次地检测到运动，并且每次都记录运动模式，使得可以将期望的运动模式的某种形式的平均值存储为运动类型控制数据中的识别运动类型的数据。这种记录的运动的平滑或平均帮助处理器学习在操作阶段中可能接收到的运动数据中的偏差，其中，用户希望所述运动是要对显示在一个或多个识别的显示区域中的信息执行的操作的运动类型，，在操作阶段中，用户意图对显示在一个或多个识别的显示区域中的信息进行操作。来自运动检测装置的运动数据与运动类型控制数据中存储的运动数据的匹配误差被减少。

在学习阶段，用户可以输入表示要用于执行相应操作的期望运动类型序列的用户输入序列。因此，在学习阶段中，可接收用户输入，随后可连续成对地输入运动数据，以生成用于要对一个或多个所识别的显示区域中显示的信息执行的多个控制操作的运动类型控制数据。

在学习阶段，可以接收对一个或多个显示区域的用户选择，以将一个或多个显示区域识别为用户输入的一部分。用户对一个或多个显示区域的选择可以使用指向或触摸输入来进行，或者简单地通过从由标识符列出的显示区域的列表中选择显示区域来进行。

在学习阶段，可以向用户显示菜单，以允许用户简单地通过选择显示的菜单项和要应用操作的一个或多个显示区域来生成用户输入。

在替代示例中，在学习阶段中，装置可以具有控制操作的设置列表，并且用户输入包括用于实现列表的选择，以学习要对在一个或多个识别的显示区域中显示的信息执行的所有列出的操作的运动类型。因此，在学习阶段中，装置简单地要求用户使得针对要对在一个或多个识别的显示区域中显示的信息执行的列出的操作，顺序地实现装置的所需运动类型。该装置可以向用户指示对于每个控制操作应当何时执行每种类型的运动。这可以是例如通过显示的消息、指示灯或声音输出实现。

可以针对单独的用户学习运动类型和控制操作。例如，用户可以输入他们的名字或签名以使用显示设备，并且学习的运动类型和控制操作然后被存储，以供用户在用户输入他们的名字或签名时使用。

用户可以同时使用显示器的每个区域。此外，显示屏区域可以根据用户的需要定位，并且可以由用户预先设置或设置。用户可以使用运动控制来操纵显示区域，例如，指向以选择和定位，或重新定位显示屏区域的一部分或所选择的显示区域内的数据，以重新定位。

在一个实施例中，用户能够选择和控制显示区域，并且能够打开和调整显示区域，例如，通过在其上放大，例如，通过在所选显示区域上轻敲，以根据用户的要求或期望将显示区域打开到给定尺寸。这可以使得用户能够完全打开显示区域，例如，覆盖整个屏幕。

在一个实施例中，该装置包括具有一个或多个显示器的柔性装置，该柔性装置具有一个或多个显示区域，其中，显示数据可以在一个或多个显示区域之间转移，包括在装置显示器的一个面或多个面上出现和转移。在两面都具有显示器的装置可以包括能够显示和控制显示的数据的电子文档阅读器。例如，数据可以显示在装置的正面a，然后转移到b面，即装置的反面。

在一个实施例中，装置包括柔性装置，并且数据可以显示在柔性装置的一个或多个折叠或弯曲区域上，并且用户可以使用运动或手势来使数据在同一显示器或另一显示器(如果提供了多于一个的显示器的话)上的显示区域之间转换。用户输入装置可以包括任何常规的装置输入装置，诸如键盘、指向装置(例如，鼠标、跟踪板或跟踪球)、触敏显示器和/或笔。笔允许用户输入手写文本和图形。

装置可以具有显示器，该显示器可以包括一个或多个固定的或柔性的显示器。一个或多个显示器可以是可拆卸的。显示器可以是不同类型的，例如，一个是柔性的，一个是刚性的。

一个方面提供了一种载体介质，诸如存储由机器的处理器执行以实现该方法的代码的非暂时性存储介质，或者承载由机器的处理器执行以实现该方法的处理器可执行代码的暂时性介质。实施例可以在实现计算机代码的可编程数字逻辑中实现。代码可以在载体介质上被提供给可编程逻辑，诸如处理器或微处理器。载体介质的一个这样的实施例是暂时性介质，即，诸如电、电磁、声、磁或光信号的信号。另一种形式的载体介质是存储代码的非暂时性存储介质，诸如固态存储器、磁介质(硬盘驱动器)或光介质(光盘(cd)或数字多功能盘(dvd))。

在一个示例中，该装置可以用作在2017年12月29日提交的共同未决申请gb1722249.8中公开的显示设备的任何示例中的显示单元，所述申请的内容通过引用整体并入本文，或者该装置可以与在与本申请相同的日期提交的标题为“显示设备(displayapparatus)”的共同未决英国专利申请gb1805278.7中公开的装置一起使用，所述申请的内容通过引用整体并入本文。

现在将参考附图描述具体实施例。

图1是示出手持装置1的示意图。装置1可以包括任何手持装置，诸如移动电话。

作为输入用于装置的一个或多个独立显示区域的命令的方法，装置1可以经历的运动方向由图1中的箭头示出。运动可以是如交叉箭头所示的在三维中沿着三个轴x、y和z的三个方向中的任何一个方向上的来回线性或往复运动。另外，或者替代地，运动可以是非线性的、弯曲的或旋转的，如弯曲箭头a和b所示。旋转运动可以是围绕x、y或z轴中的任何一个的旋转。

图2是示出移动装置2的示意图。

装置2包括能够显示信息的显示屏3。在该示例中，显示屏3在三个不同的显示区域中显示三种类型的信息，即键入文本11、手写文本41和图像31。尽管在该实施例中，不同的信息被示出为显示在不同的区域中，但是本发明也适用于相同信息类型或混合信息类型在相同或不同显示区域中的显示。显示的信息例如可以是具有要被完成或填写的区域的文档或表格，例如，标准表格字母中的地址区域和名称区域，或表格中的字段。在显示区域中显示的信息可以包括文本、图像或视频中的任何一个。信息可以由在设备上执行的任何应用(诸如网页浏览器、电子邮件应用、文字处理器、电子表格、图像编辑器等)显示。手写文本41可以使用笔装置50输入。显示屏3可以对笔装置50的接近敏感，以检测笔装置50的坐标来跟踪其位置，并因此产生输入的手写文本41。显示屏3可以是触敏的，以允许例如通过显示触敏选项和/或键盘向装置2输入信息和命令。

在图2的示例中，装置2的运动可以引起执行控制操作，以修改任何显示区域中的任何显示的信息，诸如通过擦除所有显示的信息或选择性的部分(诸如键入文本11、手写文本41或图像31中的一个或多个)，或通过将预定义信息输入(例如，输入文本或图像数据)到显示区域中。

图3示出装置的可选显示屏20。在该示例中，存在由边界标记清楚地定义的三个不同的显示区域，即，具有显示的键入文本11的键入文本显示区域10、显示图像31的图像显示区域30、以及显示使用笔50创建的手写文本41的手写文本显示区域40。

尽管图2和图3示出文本或图像的形式的显示的信息的运动控制，但是运动控制可以包括任何显示的信息。在购物应用中，虚拟购物车可以被移动、填充或清空，并且可以对物品结账。每个控制操作可以具有装置在学习阶段被教导的相关联的控制运动。一些控制选项可以是预先存储的，并且不需要教导。

示例的装置的运动可以是如图1的交叉箭头所示的在三维中沿着三个轴x、y和z在三个方向中的任何一个方向上的来回线性或往复运动。而且，或者替代地，运动可以是非线性的、弯曲的或旋转的，如图1中的弯曲箭头所示。

在图3的示例中，装置的运动可以擦除在显示区域10、30和40中的一个或多个中显示的的所有或一些信息。一个或多个显示的区域和对显示的区域中的信息执行的操作被定义为对装置的运动特有的命令。装置存储了具有相应显示区域标识符和信息操作的一组运动模式，使得特定运动类型将对仅在一个显示区域中、仅在显示区域的子集中或在所有显示区域中显示的信息引起特定操作。

尽管在图3中将不同类型的信息示出和描述为被显示在不同的显示区域中，但是不同的显示区域可以显示相同的信息类型或信息类型的任意组合。此外，显示区域可以显示混合的信息类型。图3的示例仅用于说明。

图2和图3的示例描述根据识别的运动模式或类型来控制信息在特定显示区域中的显示的控制操作。

由装置的运动检测装置检测到的运动类型可以检测在任何维度或方向上的多种类型的运动模式中的任何一种。不同运动模式的示例是：前后摇动、左右摇动、上下摇动、左右转动(左右倾斜)、上下转动(上下倾斜)和旋转。这些运动模式中的每一个都表示沿着或围绕图1所示的三个轴之一的横向(摇动)或旋转运动。可以基于起始运动来检测这些运动类型中的每一个的两种类型。例如，前后可以是从前到后或从后到前，左右可以是从左到右或从右到左，旋转可以是顺时针或逆时针旋转等。进一步的，执行运动的力度(如，摇动或往复运动的速度或频率)可以用来区分不同运动类型或模式的特征。因此，显示设备的相同空间位移可以对应于不同的运动类型，这取决于执行位移的速度、加速度和频率。此外，复杂运动类型可以包括复杂运动模式，其包括基本运动类型的组合，例如，横向运动和旋转运动，或往复横向运动和旋转运动的组合。

装置的存储器可以存储一组操作，该组操作将由处理器针对由运动检测装置检测到的并且由处理器从来自运动检测装置的信号中识别出的每种运动类型在识别的一个或多个显示区域上实现。这些操作可以是预定义的或从数据源下载的，并且它们可以是用户定义的或补充的。用户定义或补充可以在学习阶段期间发生。

图4是示出示例装置的电子部件的示意图。

处理器100连接到静态或非易失性存储器102，其存储由处理器100使用的代码(例如操作系统代码)，并且用于以非易失性方式存储用于显示的数据和信息。易失性存储器103被提供用于存储由处理器100实现的应用代码以及用于显示的数据和信息。易失性存储器可以存储代码(例如，代码模块)，其包括用于识别由运动传感器104检测到的运动模式的代码，以及用于响应于对在独立显示区域中显示的信息执行操作而控制显示屏105的代码(例如，代码模块)。存储器还可以存储在学习阶段期间预存储或学习的显示区域上的数据映射操作和显示区域相对于运动类型的标识符。

显示屏105连接到处理器100，用于显示信息。显示屏105可以包括触敏显示器以提供输入装置。笔50(图2中所示)可以与显示屏105一起使用，以允许输入手写文本或绘图。相机106也可以可选地连接到处理器100以捕获图像。相机106还可以用作输入装置，以用于使用由处理器对由相机106捕获的图像实施的手势识别来输入信息和命令。

网络连接器101连接到处理器100，以用于与通信或计算机网络通信。通信链路可以通过网络在装置和其它装置或计算机之间传递数据、信息和控制。网络连接器101可以使用有线或无线连接连接到通信或计算机网络。例如，有线连接可以是到lan的以太网连接，或电话连接，使得网络连接器101充当调制解调器或路由器。无线连接可以是wifi、wimax、cdma、gsm、gprs、无线本地环路或wan。对于低范围和低功率无线通信，可以使用蓝牙。

运动传感器104连接到处理器100以检测装置的运动。运动传感器104可以包括任何常规的运动传感器，诸如加速度计。运动传感器104能够检测装置在任何方向上的运动，即，它是多轴运动传感器以检测沿着三维中的三个正交轴中的任何一个的运动。

在以上示例中的任一个中，装置可以在两面具有显示屏，使得其可以被翻转以查看两面上的信息。控制操作可以应用于两面或仅应用于一面。在一个示例中，这可以被选择性地设置。一个或多个显示器也可以从安装框架拆下。

在一个或多个实施例中，该装置可以包括对接部或安装件，显示屏以可拆卸或可分离的方式安装到该对接部或安装件，使得显示屏可以与安装件分开使用。安装件和显示屏可以使用无线链路在彼此之间通信，使得安装件可以包含显示设备的一些组件，诸如处理器和存储器，而显示屏可以仅包含操作显示屏、检测显示屏的运动以及与处理器通信所必需的那些组件。在一个实施例中，可以提供可从安装件拆卸的多于一个的显示屏，其中，每个显示屏独立地操作以使用安装件中的共享处理器通过运动检测来提供擦除操作。

装置可以包括用于音频输出的一个或多个扬声器以及用于音频输入的一个或多个麦克风。此外，装置可以通过有线或无线连接连接到诸如键盘和/或指向装置的外围装置，以允许向装置输入信息和命令。

现在将参考图5和图6描述操作示例装置的方法。

图5是示出装置的学习阶段的流程图。

在步骤s1中，装置进入学习阶段。这可以是在装置启动时自动进行的，或者是装置的一些其它操作的结果，或者可以是用户选择的结果，即用户输入，诸如使用装置的输入装置。在步骤s2中，装置的显示器显示要对显示在一个或多个识别的显示区域中的信息执行的定义操作的菜单，用户可以使用运动作为用户输入来选择执行所述菜单。显示的菜单可以简单地是例如列表或下拉菜单。该列表可以被组织成操作类型的类别。菜单还可以显示操作可以被应用到的显示区域的列表，并且用户可以选择一个或多个显示区域。替代地，显示器可以以可选择的方式显示区域，使得用户可以使用例如指针装置或触摸输入来选择要对其应用选择的操作的一个或多个区域，以选择显示器的一个或多个区域。

在步骤s3中，接收操作菜单项的用户选择，然后在步骤s4中，装置等待运动检测器装置，例如加速度计，检测装置的运动。在适于捕获运动模式的短时间段(例如，1至2秒)内记录运动。为了提高匹配处理的精度并允许用户的运动模式的变化，在步骤s5中，处理循环返回以要求用户重复运动输入数(n)次，例如，从3到10次的任何次数。更多的迭代提高了匹配处理的精度，但是降低了装置的可用性：用户将失去耐心，因为需要重复运动模式太多次。

在循环返回处理结束时，在步骤s6中，对记录的重复记录的运动模式求平均，并且在步骤s7中使用该平均值，以存储为所存储的运动类型控制数据中的关于运动类型的信息的一部分。指示记录的运动模式之间的偏差程度的数据也可以被存储为运动类型数据的一部分，以便在操作阶段期间辅助匹配处理，即，辅助评估匹配是否位于存储的平均运动模式的预期偏差内。识别相应控制操作的标识符也被存储为存储的运动类型控制数据的一部分。

然后，处理将返回到步骤s2，以允许用户从菜单选择另一操作。如果用户已经完成选择操作，则用户可以选择退出学习阶段。

图6是示出学习阶段之后的装置的操作阶段的流程图。

在步骤s10中，装置进入操作阶段，并且在步骤s11中，在步骤s12中检测装置的运动。将运动模式与运动类型控制数据中的运动类型的存储的模式进行比较，以确定运动是否与运动类型匹配。如果没有发现匹配(步骤s13)，则处理返回到步骤s11以检测进一步的运动。如果在步骤s13中发现与匹配类型的运动数据匹配，则在步骤s14中，在运动类型控制数据中识别对在一个或多个识别的显示区域中显示的信息的相应操作，并且在步骤s15中，执行对在一个或多个识别的显示区域中显示的信息的操作。然后，处理返回到步骤s11，以检测装置的下一运动，以便对一个或多个所识别的显示区域中显示的信息进行进一步操作。

在图5中，取多个记录的运动操作的运动数据的平均。然而，本发明不限于取平均，并且可以仅使用一个运动检测，或者可以记录一个数字，并且可以单独存储它们，以便在操作阶段期间与运动模式单独匹配。

在图5中，向用户呈现菜单以选择操作，从而教导装置用于控制操作的运动类型。用户还能够定义将使用用户输入装置对一个或多个识别的显示区域中显示的信息执行的他们自己的操作。

在以上示例中的任一个中，装置可以包括其他输入装置，诸如用于音频输入的音频传感器、键盘、指针装置(例如，鼠标)或触摸屏，以使得用户能够结合运动检测控制输入方法来输入控制和信息。此外，可以提供相机以允许图像捕获，从而使得能够将手势输入作为控制或信息输入的方法。该装置可以包括红外传感器，例如，无源红外传感器(pir)。

在显示区域中显示的信息可以包括视频(运动图像、电视、3d视频、全景视图等)。

装置可以包括用于控制装置的遥控器。遥控器可以是对装置的运动控制的运动响应。

在实施例中，除了运动控制输入之外或者作为运动控制输入的替代，可以在装置中提供相机以在面向用户的方向上捕获视频，使得用户可以根据识别的手势的类型来使用手势输入控制。手势控制可以包括识别用户身体部分(即，手、面部特征或整个身体位置)的运动。模式识别技术可用于辨别手势的类型并识别它们。示例手势类型可以包括手向左或向右、或向上或向下的拂动，或手的挥动。

在结合运动控制提供手势控制的情况下，例如，在用户不能拿起装置的情况下，例如，他们的手湿或脏的情况下，可以使用手势控制擦除操作。此外，装置可被控制为响应于检测到的手势类型，并识别输入相同控制的可比较或相关联的运动类型，并控制显示屏以使显示屏模仿与手势命令等效的运动命令。例如，如果运动命令是从左到右的旋转，则当识别出等同的或相关联的手势命令，例如，将手从左向右挥动时，显示屏可以使显示器从左向右旋转，以用作向用户返回的确认，即手势命令已经被识别为运动命令。等效手势类型可以由处理器根据对应的运动类型自动确定，并且因此运动类型数据可以包括用于相同操作的对应手势类型数据。在一般移动中使用与运动命令匹配的手势意味着手势对于用户将是直观的，例如，装置的旋转可以等同于用户的手的旋转。

本发明的这个方面可以应用于向装置输入任何类型的命令，包括应用的执行、使用装置的相机拍摄图片或者改变装置状态的任何其它操作。这个方面可以使用图4的硬件以及图5和图6的流程图的方法来学习和执行控制操作。这个方面不限于在显示区域中的显示操作的控制，而是可以应用于向装置输入任何控制操作。

可以针对单独的用户学习运动类型和控制操作。例如，用户可以输入他们的名字或签名以使用显示设备，并且所学习的运动类型和操作然后被存储以供用户在用户输入他们的名字或签名时使用。

在一个方面，本发明提供手势控制以补充运动控制。在这个方面中，装置可以包括存储器，其用于存储包括运动类型的标识、对应的控制操作和对应的手势类型数据的控制数据；运动检测装置，其用于检测所述装置的运动；手势检测装置，其用于检测手势；用户输入装置，其用于在学习阶段期间接收识别的控制操作的用户输入；以及处理器，其被编程为在学习阶段中，当接收到识别控制操作的用户输入时，从由运动检测装置检测到的运动识别运动类型，将接收到的用户输入与识别运动类型的数据相对应地存储在控制数据中，并且确定对应的手势类型数据，并且在学习阶段之后，当运动检测装置检测到运动时，使用控制数据来识别运动类型并且执行对应的控制操作，或者当手势检测装置检测到手势时，使用控制数据来识别手势类型并且执行对应的控制操作。

在这个方面，装置可以是移动的或固定的/附接的。可以在装置中提供相机以在面向用户的方向上捕获视频，使得用户可以根据识别的手势的类型使用手势作为控制输入。手势控制可以包括识别用户身体部分的运动，即手、面部特征或整体身体位置，或者识别用户移动的对象，诸如棒、尺或用户佩戴的物品。模式识别技术可用于辨别手势的类型并识别它们。示例手势类型可以包括手向左或向右、或向上或向下的拂动，或手的挥动。手势与装置在学习阶段学习的运动相匹配，例如，可以通过用户的手的旋转来模仿装置的旋转。

本领域技术人员将容易理解，在不脱离如所附权利要求中表达的本发明主题的原理和范围的情况下，可以对为了解释本发明主题的性质而描述和示出的部件的细节、材料和布置以及方法阶段进行各种其它改变。