利用触摸手势的手势仿真的设备的命令的制作方法

利用触摸手势的手势仿真的设备的命令的制作方法
【专利摘要】本发明公开了一种模仿屏幕上的触摸界面的用户对机器的接口及其操作方法。本发明的接口被配置为基于触发事件来以触摸仿真模式工作。触发事件可以是围绕第一个轴旋转的角度大于第一个阈值。对围绕第二个轴旋转的量的分析可以用于确定限定了特定触摸手势的手指的数量。因此可以由遥控器基于应用程序语境来模仿触摸手势的无限变化，因此允许触摸屏幕机器来自远处的多种使用。
【专利说明】利用触摸手势的手势仿真的设备的命令

【背景技术】
[0001] 本发明涉及能够向电子设备远程发送命令的人机接口。更具体地，它应用于诸如 遥控器或空中鼠标之类的运动捕捉设备，其用于识别用作电子设备的命令代码的手势，所 述电子设备具有触摸屏幕，例如来自Apple?的i-Pad?、来自Samsung?的Galaxy?、来自 Google?的Nexus?、或来自Microsoft?的Surface?这类的平板电脑。这些触摸屏幕设备 在其标准操作模式中由用户与屏幕的触觉表面的直接交互来控制。但这种平板电脑可以用 于看电影、玩游戏、或显示图像。在这种情况下，用户坐在或站在距平板电脑一定距离的位 置，并且有利的是在没有触摸平板电脑的情况下仍然能够对设备进行控制。遥控器或空中 鼠标通常控制所指向的屏幕上的单个点（光标）的运动，并且可以由遥控器上的按钮来触 发由光标控制的功能。利用遥控器在本质上不同于与触摸屏幕的直接交互，在直接交互的 情况下，用户通过直接在屏幕上利用一个或多个手指进行点击、保持、滚动、拖动或旋转来 控制平板电脑的操作。在这一直接交互中，不存在光标和按钮，并且控制是更直观的。此外， 当使用多于一个手指时，不存在与由遥控器/空中鼠标控制的单个光标的直接对应。
[0002] 根据n° US2007/0208528出版的US专利申请公开了一种系统，其中由产生传感器 信号的输入设备来控制设备，所述传感器信号被转换成第二组信号，所述第二组信号包括 与来自触摸屏幕设备的触屏输入信号基本相似的信号。
[0003] 但是该现有技术系统的信号转换过程复杂，并且无法解决如何使用遥控器利用触 摸命令来控制设备的功能的问题，尤其是当这些触摸命令由多点触摸动作组成时，在多点 触摸动作情况下需要由目标设备来解译多于一个手指的交互。


【发明内容】

[0004] 本发明的系统利用例程解决了这一问题，该例程允许设备的触摸命令的直接控 制，该设备的触摸命令来自由用户利用特定手势、尤其是围绕特定的轴的手势给予的遥控 器的取向/运动，并且不需要将运动信号转换成另一类信号。
[0005] 为达到这种效果，本发明公开了一种用户对机器的接口，其包括至少具有运动感 测能力的遥控器、遥控器与机器之间的通信链路、用于处理来自所述运动感测能力的运动 信号的处理能力；所述处理能力还被配置为：基于触发事件来初始化触摸仿真模式、至少 识别具有利用遥控器的用户的手势、以及向机器的操作系统传送所述识别的输出。
[0006] 有利地，触摸仿真模式包括表示与机器连接的屏幕上的点的数量的数量N的限 定，所述点的运动和/或位置由识别的输出来控制。
[0007] 有利地，点的运动和/或位置是识别的输出的一部分。
[0008] 有利地，触发事件是以下项中的一种：由机器运行的应用程序中的语境变化；用 户对遥控器上的按钮的按压；以及具有遥控器的用户的手势。
[0009] 有利地，具有遥控器的用户的手势控制了屏幕上的N点的联合运动。
[0010] 有利地，触发事件是用户向遥控器给予的围绕所述遥控器的预定轴的旋转的手 势，其中旋转角度和运动能量中的一个大于预设的阈值。
[0011] 有利地，对数量N的限定由触发事件和具有遥控器的用户的手势中的一个给出。
[0012] 有利地，手势是围绕预定轴的旋转，并且数量N的限定取决于遥控器围绕所述轴 的旋转角度α。
[0013] 有利地，对于从阈值amin到最大值的角度α的范围、以及遥控器要控制的点 的最大数量Ν_而言，Ν被限定为二加上（a - a _)八a a _) * (N_-l)的整数商。
[0014] 有利地，要识别的手势限定了用户施加到与机器连接的屏幕的压力。
[0015] 有利地，手势是围绕预定轴旋转角度a，所述角度a限定了用户施加到屏幕的压 力。
[0016] 有利地，本发明的接口还被配置为由至少两个用户使用，他们中的至少一个用户 具有用于以触摸仿真模式操作接口的遥控器。
[0017] 有利地，通过用于辨认要识别的手势的索引来限定使用遥控器的用户中的每一位 用户。
[0018] 有利地，处理能力可以使遥控器基于机器能够识别点的运动和/或位置的确定来 以触摸仿真模式操作。
[0019] 本发明还公开了一种操作用户对机器的接口的方法，该方法包括：至少由用户在 空间中移动具有运动感测能力的遥控器；使用遥控器与机器之间的通信链路；处理来自运 动感测能力的信号；所述方法还包括基于触发事件来初始化触摸仿真模式、识别由用户对 遥控器给予的手势、以及向机器的操作系统传送所述识别的输出。
[0020] 有利地，触摸仿真模式包括对表示与机器连接的屏幕上的点的数量的数量N的限 定，所述点的运动和/或位置由识别的输出来控制。
[0021] 有利地，围绕遥控器的预定轴旋转角度a限定了因子k的捏紧/展开缩放的触摸 手势，缩放的所述因子k是所述角度a的函数。
[0022] 有利地，围绕遥控器的预定轴旋转角度a限定了所述角度a的旋转的触摸手势。
[0023] 有利地，数量N至少部分地被限定为由所述遥控器的用户给予的围绕遥控器的轴 旋转的角度相对于阈值角度的值。
[0024] 本发明的能够感测运动的遥控器不需要硬件或运动算法（指向或手势识别）的任 何修改就能够以触摸仿真模式工作，如本发明中所提出的那样。可以通过包含函数库来容 易地将遥控器系统调整为将运动手势和命令转换成触摸命令。
[0025] 同样，相同的设备可以用于控制装置的多样性（触摸灵敏或不灵敏），所述装置可 以被编程用于在不同操作系统上运行的不同类型的应用程序。由于本发明的设备（通过模 拟触摸命令）直接控制这些功能，因而所述设备不干扰自身由触摸命令所产生的信号。因 此，很容易确保本发明与这些各种类型的设备、不同操作系统和各种类型的应用程序的兼 容性。开发者仅需要知道能够将代表触摸命令的遥控器配置的正确定义插入到应用程序接 口中的每个触摸命令的功能性定义是什么。有利地，如果将足够的运动传感器轴嵌入遥控 器中，则本发明的设备可以利用三个自由度。如果是这样的情况，所述设备不仅能够模仿触 摸表面上的2D手指/触笔运动，而且还可以模仿该表面上的触摸压力。

【专利附图】

【附图说明】
[0026] 根据各种实施例和以下附图的描述，本发明将得到更好的理解，并且其各种特征 和优点将变得明显。
[0027] 图la和lb分别表示单点触摸和多点触摸手势的示例；
[0028] 图2示出本发明实施例中的设置在触摸屏幕前方的遥控器；
[0029] 图3示出遥控器用于模仿单点触摸手势的本发明的实施例；
[0030] 图4示出遥控器用于模仿来自滚动（roll)取向的缩放命令的本发明的实施例；
[0031] 图5示出遥控器用于模仿来自摇摆（yaw)取向的缩放命令的本发明的实施例；
[0032] 图6示出由根据本发明的各种实施例的系统所执行的功能的总流程图；
[0033] 图7示出由根据本发明的第一个具体实施例的系统所执行的功能的流程图；
[0034] 图8示出由根据本发明的第二个具体实施例的系统所执行的功能的流程图；
[0035] 图9a和9b示出本发明的特定实施例中的遥控器、用户的手势和对应的触摸命 令；
[0036] 图10a、10b和10c分别示出本发明的特定实施例中的在命令位置上的遥控器和用 户的手指的位置；
[0037] 图11示出说明了根据本发明的各种实施例的动态旋转应用的流程图；
[0038] 图12示出"返回（home) "运动手势与"返回"多点触摸手势之间的转换的示例；
[0039] 图13示出运动手势与多点触摸手势之间的转换的流程图。

【具体实施方式】
[0040] 图la和lb分别表示单点触摸和多点触摸手势的示例。
[0041] 触摸交互具有以下特点：
[0042] -它可以是多点触摸；即，用户可以同时在多个位置触摸触觉表面；
[0043] -存在三个自由度：在触觉表面上水平（1)和垂直（2)平移、以及
[0044] 在触觉表面上的压力（3);
[0045] -用户以1:1的关系知道他/她想要实现的结果：他/她直接触摸他/她想要与 之交互的位置；在图形用户界面（⑶I)中不需要定位或"过渡（on over)"反馈。
[0046] 商用的触觉操作系统例如是 Apple iOS、Google Android 和 Microsoft Windows 以及其它基于触摸的系统。在图la和lb上分别显示了这些系统中所限定的标准单点触摸 和多点触摸手势的示例。
[0047] 图 la :
[0048] -手指在触摸屏幕上的单个敲击利用在敲击的位置处的图标触发了应用程序的开 启；
[0049]- "敲击并保持"触摸开启了带有选项的语境菜单；
[0050] - "轻击（flick)/快速移动（fling)"用于在上一屏/下一屏（左/右）之间导 航或在垂直布局（上/下）的项目之间导航。术语滑动（swipe)也是常用的；
[0051] -垂直滚动用于滚动页面的内容；
[0052] -水平滚动用于滚动项目或翻页；
[0053] -2D拖动用于导航图片或文件。
[0054] 图 lb :
[0055] -捏紧/展开用于媒体内容内的放大或缩小；
[0056] - "两个手指旋转"用于旋转页面、图片或映射；
[0057] -"N次触摸轻击/滑动"(N在2到4之间）用于根据用户或系统的设定来产生特 定命令。也被称为多指滑动；
[0058] - "5触摸捏紧/展开"。5指捏紧可以例如用作"返回"命令；
[0059] 图2示出本发明的实施例中的设置于触摸屏幕前方的遥控器。
[0060] 利用遥控器210的运动感测交互具有以下特点：
[0061]-它是单点的；
[0062] -存在三个自由度：摇摆旋转（230)、俯仰旋转（240)和滚动旋转（250)。（此外， 存在3个平移度，但是这些并不常用在可启用运动的遥控器中。）
[0063] 当使用遥控器控制具有图形用户界面（GUI)的屏幕220时，用户非直接交互。在用 户想要实现的操作与控制之间不存在直接联系。通常，GW实施反馈，用于显示屏幕上的位 置（光标），或用于在点击按钮或对简单或较复杂的手势进行识别之后，确认元素的激活。 例如，US申请n° 13/631134所公开的设备就是如此，其中用户可以在指向与手势识别模式 之间无缝切换，所述申请在此通过引用的方式并入本申请中。指向设备210或指示器有利 地具有电视机遥控器的外形和形状，也就是说，指向设备210或指示器具有细长的外形，能 够被握在用户手中。指示器与移动元素（例如能够在由基站控制的屏幕220上移动的光标） 相关联。基站可以是固定的计算机、移动计算机、平板电脑、游戏机、机顶盒等。由指示器的 运动来控制该移动元素的运动。指示器有利地在其表面的若干面上具有按钮，以控制基站 的功能，对于基站的访问可由遥控器来实现。指示器包括电源和通向要控制的目标的基站 的传输通道（未示出）。射频传输可能受蓝牙波形和协议或Wi-Fi波形和协议（802. llg标 准）的影响。可以由红外或射频来执行传输。传输的信号是以下命令，所述命令一方面与 指示器的主体上存在的按钮之一被压下相对应，该按钮被压下触发了功能的执行，而另一 方面与指示器的运动的感测相对应，从而对控制屏幕上的光标的运动进行控制或执行手势 识别功能。这些控制信号可以由计算模块（未示出）产生，该计算模块或嵌入指示器自身 中，或嵌入基站中，或分布在指示器与基站之间。计算模块可以有利地包括用于补偿由用户 给予指示器的扭转的子模块。指示器至少包括计算模块，该计算模块涉及按钮的一些处理 和运动传感器的一些处理。该计算模块包括微处理器，例如就计算时间而言用于最需要的 应用的DSP Texas Instruments TMS320VC5509 ;或具有ARM核的32位微控制器，例如来自 STR9家族的那些器件中的一个，尤其是来自STM的STR9F12FAW32。计算模块还优选地包括 闪存存储器和动态工作存储器，所述闪存存储器对于存储要执行的代码和它要求的永久数 据而言是必需的。计算模块接收来自运动感测能力的输出作为输入。例如，系统可以使用 角速度传感器（未示出），其具有对指示器关于两轴或三轴的旋转进行测量的功能。这些传 感器优选为陀螺仪。它可以是两轴陀螺仪或三轴陀螺仪。例如，可以使用由参考ADXRS300 的Analog Devices所提供的陀螺仪。但是，可以使用能够测量角速率或角速度的任何传感 器。也可以使用磁力计，其中该磁力计相对于地磁场的位移的测量能够使得测量相对于该 场的参照系的旋转。例如，可以使用参考Honeywell公司的HMC1001或HMC1052、或NXP公 司的KMZ41的磁力计。无论使用哪个传感器，均可在指示器的参照系中读取它们的测量结 果。在手势期间，难以使该参照系与用户的参照系和屏幕的参照系保持相同。因此，测量结 果可能存在偏差，该偏差将导致移动元素的不一致的位移。这就是为什么要在计算模块中 提供功能为计算屏幕上的移动元素的位移的补偿子模块的原因，所述移动元素的位移是持 有指示器的用户的肢体的位移的函数，对于由用户给予指示器的扭转的影响对所述函数进 行修正。补偿子模块恢复来自测量指示器的线性角速度a x、ay、az的传感器的输出作为输 入。优选地，传感器是三轴加速度计（未示出）。有利地，这两种传感器均由MEMS(微机电 系统）技术产生，任选地在同一个电路中（例如，来自Analog Devices的ADXL103、来自ST MicroElectronics 的 LIS302DL 作为参考加速度计，来自 Melixis 的 MLX90609、来自 Analog Devices的ADXR300作为参考陀螺仪）。然而，应该注意的是，补充有图像处理设备的相机 还可以替换这两种传感器；可以根据连续图像的相关性和/或根据帧图像处理的帧来推断 指示器的角速率/速度和位移的线性加速度。
[0064] 图2的遥控器能够以空中指向模式工作，其中显示器上的光标由设备的俯仰旋转 和摇摆旋转来控制。可以对滚动进行补偿，以避免由用户给予的滚动所产生的失真到遥控 器中，并且使光标的运动与用户的意向较好地匹配。
[0065] 遥控器还能够以手势识别模式工作，以向基站发送由用户产生的手势所限定的命 令，所述用户产生的手势在预定手势的数据库中选择。
[0066] 此外，遥控器可用于动态旋转模式。在该模式中，系统识别用户何时执行围绕 单个轴（滚动轴、俯仰轴或摇摆轴）的旋转。当围绕另外两个轴的角度的变化在预设的 阈值以下时，检测到这种围绕单个轴的旋转。在转让给本申请的受让人的法国专利申请 n° 12/50140和美国专利申请n° 13/631134中详细描述了算法，所述两项专利申请通过引 用并入于此。在完全手势识别模式中，在用户完成手势之后，系统开始分析该手势。动态旋 转模式的不同之处在于，系统一旦检测到用户正在执行沿着单轴的旋转操作，该系统就开 始控制作为旋转角的函数的系统参数。例如，可以将动态滚动旋转映射到声音的音量，这意 味着如果用户执行围绕滚动轴的单轴旋转，则系统显示声级控制条，其中滚动角度用于设 定声级。在触摸仿真模式中，动态旋转也非常方便，这将从以下示例中变得明显。
[0067] 转让给本申请的受让人的US申请n° 13/631134公开了将遥控器的这些不同模式 以直观并且用户友好的方式进行组合的方法。
[0068] 可以利用本发明的设备和算法来模仿单点触摸和多点触摸手势。可以例如利用 与图2的附图标记210所代表的遥控器具有相同硬件的3D遥控器来实施本发明。这种 遥控器包括3轴加速度计，并且可能包括3轴陀螺仪。该遥控器可以由触摸设备（例如由 本申请的 申请人:销售的MotionTools?)上具备的嵌入式软件与软件模块的组合来控制。 MotionTools?允许用户将功能映射为设备上运行的应用程序。当由指向手势模仿触摸手 势时，所述功能将被映射到所述触摸手势（单点或多点触摸）。同样，可以将一些运动信号 传送到触摸设备的操作系统的功能，以使触摸功能能够由控制遥控器的软件进行控制，或 由触摸设备的操作系统进行控制。
[0069]图3表示遥控器用于模仿单点触摸手势的本发明的实施例（触摸仿真模式）。
[0070] 可以根据运动感测设备的摇摆旋转和俯仰旋转来模仿单点触摸交互。例如，当遥 控器310在摇摆方向（330a)上旋转时，作为摇摆量的函数，系统模仿单点触摸在屏幕320 上水平移动（330b)。当遥控器在俯仰方向（340a)上旋转时，作为俯仰量的函数，系统模仿 单点触摸在屏幕320上垂直移动（340b)。任选地，系统可以添加位置反馈（光标）。
[0071] 当使用水平和俯仰旋转来控制位置时，可能的是，一些滚动运动将影响2D表示。 随后系统对用户的滚动运动进行补偿，以使屏幕上的2D运动保持没有这些人为缺陷。可以 将运动感测设备领域中的技术人员所公知的算法用于实施这些滚动补偿机制。
[0072] 利用触摸屏幕，用户可以直接触摸他或她想要触摸的屏幕位置。当使用遥控器时， 需要例如光标之类的可视反馈来表明遥控器所指的位置。利用该反馈，用户可以决定何时 激活触摸仿真模式，从而在期望的位置"触摸"屏幕。
[0073] 通过用户按压按钮或通过系统取决于应用程序语境，可以激活遥控器中的运动传 感器以开始空中指向。随后遥控器上的软件模块将计算该指向反馈，并且用户的运动在设 备屏幕上可视。
[0074] 如果通过用户按压第一个按钮来激活指向，则需要第二个按钮来控制"触摸"动 作；用户按压该第二按钮等价于"触摸"屏幕。用户可以通过按钮的简单的点击并释放动作 来模拟敲击屏幕。通过按住所按压的按钮并移动遥控器，用户还可以执行拖动、滚动和所有 单点触摸移动操作。
[0075] 如果通过系统取决于应用程序语境来激活指向，则遥控器上仅需要控制触摸动作 的一个按钮。
[0076] 同样，运动感测设备相较于触摸交互具有附加的自由度：滚动旋转，其在空中指向 应用中不常用。因此，用户可以通过以滚动方式旋转设备来初始化触摸动作，并且不需要附 加的第二个按钮来控制触摸动作。
[0077] 用户可以将遥控器围绕滚动轴旋转预定的角度，以激活触摸仿真模式，并且随后 在保持滚动角度相对不变的同时，通过指向（沿着摇摆和俯仰方向移动）来执行拖动操作。 可以通过围绕滚动轴在相反方向上第二次旋转预定的角度来停用触摸仿真模式。可以为 (停用）激活触摸仿真的滚动旋转设定速度阈值。这避免了用户在执行拖动动作时，由于他 或她在拖动期间改变了滚动角度而意外地停用触摸仿真的情形。
[0078] 图4表示遥控器410用于模仿来自遥控器的滚动取向（430)的触摸缩放命令 (450、460)的本发明的实施例。
[0079] 本发明的设备能够检测用户何时执行围绕三个坐标轴之一旋转，并且随后系统将 进入动态旋转模式。在动态旋转模式中，旋转的角度可以用于模仿1到N个触摸点（PD和 它们的轨迹。
[0080] [Ρ1； - ,Pn] = f(a)
[0081] 对于三种可能的旋转（摇摆、俯仰、滚动）中的每一个，系统可以模仿不同的多点 触摸手势。取决于触摸设备上激活的应用程序，映射〈运动手势，触摸手势〉可以由系统来 动态地确定。例如，仅通过说明性示例的方式，在映射应用程序中，滚动旋转将被映射到旋 转映射手势。在游戏中，可以自动地将滚动映射到缩放。可替换地，用户可以限定将哪个动 态旋转优选地映射到不同的功能。
[0082] 通过以下所描述的实施例，仅通过说明的方式对本发明的这些功能进行举例说 明。一旦多点触摸仿真已经被激活，运动感测设备领域中的技术人员所已知的算法可以用 于实施这些控制。
[0083] 如图4的示例上可以看到的，遥控器的滚动旋转用于模仿缩放手势，其也被称为 捏紧/展开多点触摸手势，在进入触摸仿真模式以后：
[0084] -当沿着滚动旋转方向旋转设备时，本发明的系统模仿两个点，从匕处开始； Pd(440)例如是在触摸仿真模式开始时屏幕420上的光标的位置；
[0085]-当滚动的值增大时（例如向右旋转），两个触摸点移动分开。两个点的位置被实 时传输到操作系统（os) ;0S感知具有移动分开的点的2点触摸手势，并且因此执行放大操 作；
[0086]-当滚动的值减小时（例如向左旋转），两个触摸点靠近；0S执行缩小操作。
[0087] 要模仿的点的数量取决于运动手势与触摸手势之间的映射。在该实例中，捏紧/ 展开缩放手势映射到遥控器的滚动轴。因此，一旦系统检测到围绕滚动轴的动态旋转，则系 统就知道用户想要执行缩放操作，并且确定需要N= 2点，并且滚动角α控制两点之间的 距离：
[0088] [p" p2] = f ( α )
[0089] Pj = P〇-K α
[0090] Ρ2 = Ρ0+Κ α
[0091] 缩放因子由点？1与己之间的距离确定。因子Κ可以取决于系统（例如，激活的应 用程序或屏幕尺寸/分辨率）或取决于用户的设定项。
[0092] 图5示出遥控器510用于模仿来自遥控器的摇摆取向（530)的触摸旋转命令 (550、560)的本发明的实施例。
[0093] 旋转手势是两点触摸手势，其中每个点遵循沿着单个圆的轨迹：用户用两个手指 画圆。
[0094]-当设备围绕摇摆轴旋转时，本发明的系统模仿两个点，在一定距离处从PJ540) 开始；Pc)例如是在触摸仿真模式开始时在屏幕620上的光标的位置；
[0095]-当摇摆角的值增大时（例如向右旋转），两个触摸点沿着圆向右移动；如图5的 前一示例中一样，两个点的位置被实时传输到OS。0S利用进行旋转运动的两个点来感知2 点触摸手势，并且因此执行向右旋转命令；
[0096]-当摇摆角的值减小时（例如向左旋转），两个触摸点沿着圆向左移动，并且0S执 行向左旋转命令。
[0097] 在该情况下，取N = 2,并且α是如下的摇摆角：
[0098] [p" p2] = f ( α )
[0099] Ρ! [X，y] = P〇_K[cos ( α )，sin ( α )]
[0100] P2 [x, y] = P〇+K [cos (a),sin (a)]
[0101] 因子κ确定了屏幕上围绕h的圆的半径。由操作系统执行的旋转由向量（Pi，P2) 相较于在触摸仿真模式开始时的初始向量的角度来确定，或换言之，由触摸仿真模式期间 的总的旋转角度来确定。对用户来说，如果屏幕上的旋转角度等于遥控器的旋转角度α可 能更直观，但是如果期望的话，可以施加增益。
[0102] 用于实施本发明的其它仿真可以体现为：利用可能源自于以上所述的实施例中所 使用的算法的算法来对控制遥控器的软件进行编程。例如，如果在触摸设备的屏幕上显示 映射，可以对利用一个手指或两个手指的触摸手势进行编程，从而使用户可以控制映射的 取向，放大或缩小，以及选择映射上的位置。运动手势与仿真触摸手势之间的转换可以取决 于应用程序，但是也取决于用户偏好。
[0103] 本发明是特别有利的，这是因为根据用户相对于触摸设备的位置（在臂长处或更 远），他或她可以决定选择触摸设备的两种控制模式之一 ：1)直接触摸，其中用户实际触摸 屏幕，或2)利用可启用运动的遥控器的仿真触摸模式。
[0104] 本发明的另一个优势在于如下事实：触摸屏幕可以由多个用户同时使用。在直接 触摸模式中很难满足多用户的使用，因为不可能确定哪个触摸点属于哪个用户。本发明允 许一个用户与触摸屏幕直接交互，并且允许一个或多个用户通过遥控器的方式使用触摸仿 真模式。在本实施例中，由不同遥控设备产生的"触摸"点可以被索引，从而使操作系统能 知道哪个点属于哪个遥控器/用户。因此，不同用户可以同时"触摸"屏幕，例如用于玩游 戏。
[0105] 在本发明的其它实施例中，我们可以利用设备的滚动取向来模仿平板电脑上的触 摸压力。当使用压力敏感的触摸平板电脑时，类似例如WACOM?销售的那些，本发明可以用 于模仿触摸压力。随后用户可以同时使用2D指向（由摇摆和俯仰方向控制）与压力信息 (由滚动方向控制），从而采用与他或她利用触笔以可变的力按压平板电脑的表面来使用 平板电脑相同的方式来控制平板电脑应用程序。旋转角度与压力之间的映射可取决于应用 程序和用户偏好。
[0106] 图6表示由根据本发明的各种实施例的系统所执行的功能的总流程图。
[0107] 根据本发明的设备的总逻辑是在步骤610中对触摸仿真模式进行初始化。随后， 在步骤620处利用例如不同类型的手势识别（数据库中的预设手势的识别；动态旋转……） 来确定遥控器的运动。取决于运动，在步骤630处创建N个"触摸"点来模仿N个手指触摸 屏幕。这N个触摸点的位置和位移由遥控器的运动来控制。
[0108] 在一个实施例中，在步骤640处，N点和其相应的位移被传输到操作系统，该操作 系统将这些点的位移解译为好似手指触摸屏幕的运动。随后操作系统执行相关联的命令， 所述命令可以取决于当前运行的应用程序。
[0109] 在另一个实施例中，可以将较高等级的命令发送到操作系统。在该情况下，由遥控 器系统进行的手指的位移的解译将产生例如发送到操作系统的"放大"命令。
[0110] 基于触摸设备操作系统设定项，在步骤650处的由触摸仿真产生的命令的执行是 语境相关的。
[0111] 图7示出由根据图4所显示的本发明的实施例的系统所执行的功能的流程图。
[0112] 图8示出由根据图5所显示的本发明的实施例的系统所执行的功能的流程图。
[0113] 这些流程图非常相似。触摸仿真模式开始于步骤710、810处，其中触摸屏幕上的 光标处于位置匕处。随后用户开始进行动态旋转：在图7和图8中分别为滚动旋转（720) 或摇摆旋转（820)。随后系统创建（730、830)数量为N的触摸点，其中N取决于映射到激活 的旋转轴的功能，并且在该示例中N = 2(P1、P2)。在步骤740、840处，代数关系确定了作 为旋转角度的函数的N个触摸点相对于匕的运动。可以使用诸如图8和9上所显示的表 达式之类的一些代数表达式，其中α分别是滚动角和摇摆角。可以使用其它代数或三角表 达式。尽管这些示例在函数的映射（分别为缩放和旋转）中使用了遥控器的滚动轴和摇摆 轴，但是可以使用任何预定的旋转轴，或甚至平移。
[0114] 在图7和8的示例中，模仿了用于缩放和旋转的两个点。当进入触摸仿真模式时 将模仿的触摸点的数量由处理能力来限定。在这两个示例中，系统一旦检测到动态旋转就 会显示两个点。存在许多应用程序，其中系统确定了要模仿的触摸点的数量这个事实并非 用于限制。例如，照片浏览器应用程序，其中用户可以选择利用动态旋转来缩放和旋转图片 以及使用手势来浏览。在动态旋转中，系统创建N个触摸点，如以上所说明的，并且在其它 手势中，单个触摸点用于将遥控器的手势转换成屏幕上仿真的触摸手势。
[0115] 为了创建更多选择和自由度，用户需要能够限定触摸点的数量，即要模仿的手指 的数量。触摸屏幕上的多指动作是多步骤处理：
[0116] 1.用户决定要使用几个手指
[0117] 2.用户决定每个手指要从哪里开始触摸屏幕
[0118] 3.用户根据图案来移动每个手指。
[0119] 为了让用户更直观，可以将相似的策略用于使用能够启用运动的遥控器的触摸仿 真模式。首先，用户限定要模仿几个手指，并且随后利用遥控器来做出手势。
[0120] 如果没有执行预定的动作来限定手指的数量，则认为手势是标准的1指手势。存 在若干选择来限定要模仿的手指的数量。用户可以通过使用按钮来限定手指的数量。该按 钮可以是遥控器上的实际的按钮，或屏幕上的虚拟按钮。例如 ：
[0121] -在做出手势之前按数字3来表示3指手势。
[0122] -按两次触发按钮（并且第二次在手势期间保持）来表示2指手势。
[0123] -在做出手势之前点击屏幕上的虚拟按钮。
[0124] 代替利用按钮来限定手指的数量，可以使用遥控器的预定的运动。在一个实施例 中，可以使用遥控器的滚动角来表示要模仿的手指的数量。
[0125] 图9a和9b示出在本发明的特定实施例中的遥控器、用户的手势和相应的触摸 命令。例如，在图l〇a中，用户沿着滚动轴X做出快速旋转，以表示接下来将是多指手势 (910a)，并且随后向右滑动（920a)。因此认为向右滑动是多指向右滑动。如果向右滑动之 前没有快速滚动运动，则认为滑动是1个手指滑动。旋转可以如图9a中一样在一个方向上， 或可以如图9b中一样前后运动。
[0126] 快速旋转的角度可以用于限定手指的数量。
[0127] 图10a示出利用遥控器的手势（1010a)，在该手势之前没有进行快速滚动运动，并 且因此是1个手指手势（1020a)。尽管图10a示出遥控器在水平位置上，但是在手势开始时 允许任何滚动角度。滚动角度α在30到60度之间的快速旋转（1010b)表示接下来的手 势应该被解译为2指手势（1020b)。相似地，60与90度之间的旋转（1010c)表明3指手势 (1020c)。
[0128] 图11示出图9和10中的多指触摸仿真的流程图。用户执行角度α的旋转（1110)。 一旦用户停止旋转并且开始做出手势，角度α就被转换成要模仿的手指的数量Ν(1120)， 并且创建Ν个触摸点（1130)。随后在初始（滚动）旋转之后，根据由用户给予遥控器的运 动来移动Ν个触摸点（1140)，并且Ν个点的位置被实时传输到操作系统（1150)。在手势结 束时，操作系统考虑触摸点的数量，执行手势识别例程。
[0129] 在一个实施例中，不同触摸点的位移是相同的，这表示触摸点将根据遥控器的运 动来一起移动。换言之，在该实施例中，系统模仿例如用户一齐移动手指的多指滑动。在照 片浏览器应用程序中使用该实施例，可以使用1手指向右/向左滑动来转到下一张/前一 张照片，以及使用2手指向右/向左滑动操作来转到下一个/上一个相册。
[0130] 在另一个实施例中，触摸点的位移是不同的，这表示每个点可能沿着不同路径移 动。每个路径可以通过遥控器的运动与由系统控制的预定功能的组合来控制，该预定功能 可取决于应用程序。
[0131] 在图10中，可以选择的手指的最大数量为Nmax = 3,映射在最大旋转角度amax = 90°内，并且用于选择多于1个手指的最小角度amin为30°。对于在角度α上的旋转而 言，手指的数量Ν由下式给出：
[0132]

【权利要求】
1. 一种用户对机器的接口，包括： -至少具有运动感测能力的遥控器， -所述遥控器与所述机器之间的通信链路， -用于处理来自所述运动感测能力的运动信号的处理能力， 所述处理能力还被配置为：基于触发事件来初始化触摸仿真模式，至少识别具有遥控 器的用户的手势，以及将所述识别的输出传送到所述机器的操作系统。
2. 根据权利要求1所述的接口，其中所述触摸仿真模式包括对表示连接到所述机器的 屏幕上的点的数量的数量N的限定，所述点的运动和/或位置由所述识别的输出来控制。
3. 根据权利要求2所述的接口，其中所述点的运动和/或位置是所述识别的输出的一 部分。
4. 根据权利要求1所述的接口，其中所述触发事件是以下中的一种：由所述机器运 行的应用程序中的语境变化；用户对遥控器上的按钮的按压；以及具有遥控器的用户的手 势。
5. 根据权利要求2所述的接口，其中具有遥控器的用户的手势控制所述屏幕上的所述 N点的联合运动。
6. 根据权利要求2所述的接口，其中所述触发事件是由用户给予遥控器的围绕所述遥 控器的预定轴旋转的手势，其中旋转角度和运动能量中的一个高于预设的阈值。
7. 根据权利要求2所述的接口，其中对数量N的限定由所述触发事件和具有遥控器的 用户的手势中的一个给出。
8. 根据权利要求7所述的接口，其中所述手势是围绕预定轴的旋转，并且对所述数量N 的限定取决于所述遥控器围绕所述轴的旋转角度α。
9. 根据权利要求8所述的接口，其中，对于角α从阈值amin到最大值的范围和 由所述遥控器控制的点的最大数量Nmax而言，N由二加上（a - a min) / ( a max- a min) * (Nmax_l) 的整数商来限定。
10. 根据权利要求1所述的接口，其中被识别的手势限定了由用户向连接到所述机器 的屏幕所施加的压力。
11. 根据权利要求10所述的接口，其中所述手势是围绕预定轴旋转角度α，所述角度 α限定了由所述用户向所述屏幕施加的压力。
12. 根据权利要求1所述的接口，还被配置为由至少两个用户使用，他们中的至少一个 具有用于以触摸仿真模式操作所述接口的遥控器。
13. 根据权利要求12所述的接口，其中使用遥控器的用户中的每一个用户由用于辨认 被识别的手势的索引来限定。
14. 根据权利要求3所述的接口，其中所述处理能力能够使遥控器基于所述机器能够 识别所述点的运动和/或位置的确定，而以所述触摸仿真模式操作。
15. -种操作用户对机器的接口的方法，包括： -至少由用户在空间中移动具有运动感测能力的遥控器， -使用所述遥控器与所述机器之间的通信链路， -处理来自所述运动感测能力的信号， 所述方法还包括：基于触发事件来初始化触摸仿真模式；识别由用户给予遥控器的手 势；以及将所述识别的输出传送到所述机器的操作系统。
16. 根据权利要求15所述的方法，其中所述触摸仿真模式包括对表示连接到所述机器 的屏幕上的点的数量的数量N的限定，所述点的运动和/或位置由所述识别的输出来控制。
17. 根据权利要求15所述的方法，其中围绕所述遥控器的预定轴旋转角度α限定因子 k的捏紧/展开缩放的触摸手势，缩放的所述因子k是所述角度α的函数。
18. 根据权利要求15所述的方法，其中围绕所述遥控器的预定轴旋转角度α限定了所 述角度α的旋转的触摸手势。
19. 根据权利要求16所述的方法，其中数量Ν至少部分地由所述遥控器的用户给予的 围绕遥控器的轴旋转的角度相对于阈值角度的值来限定。
【文档编号】G06F3/0346GK104220962SQ201380009029
【公开日】2014年12月17日 申请日期:2013年1月7日 优先权日:2012年1月9日
【发明者】D·戈麦斯, H·M·R·科腾拉德 申请人:莫韦公司