用户与设备的基于触摸和非触摸的交互作用的制作方法
【专利摘要】本发明公开一种用于提供输入到设备的方法，其中，输入基于与设备的至少一个触摸基交互作用和至少一个非触摸基交互作用的组合，其中一种类型的输入响应于其他类型的输入影响到设备的动作指令。本发明还涉及相应的设备。为了进一步改善用户和设备之间的交互作用，设置反馈提供装置。
【专利说明】用户与设备的基于触摸和非触摸的交互作用
【技术领域】
[0001]本发明涉及一种用于提供手势基输入到设备的方法以及相应的设备。
【背景技术】
[0002]越来越多的电子设备允许与用户的基于手势的交互作用。例如单个或多点触摸敏感触摸屏的触摸敏感界面能够检测用户执行的手势的轨迹，该用户使用他的手或手的一个或多个手指触摸界面。根据轨迹的空间和/或时间性质，相应的指令被输入到电子元件的处理单元，电子元件然后执行相应的动作。例如，从右侧到左侧的线性轨迹被解释为挥击或轻击(swipe or flick)手势，用于在屏幕上移动对象从右侧到左侧，或从图示在屏幕上的一页改变到下一页。另一个流行的示例是在触摸敏感界面检测到存在两个手指彼此分开移动时放大在显示屏上的对象的放大手势。
[0003]近来，已经提出具有手势基输入(基于手势的输入)能力的电子设备，其并不需要用户直接触摸设备的触摸敏感交互作用表面，因为使用相机检测用户在设备前面简单实现的手势，并且基于在设备内执行的图像分析，对这样的三维手势的性质进行分析。
[0004]通过基于交互作用模式的手势，在用户和电子设备之间可以实现更自然的交互作用方式，改进仍然是必要的，因为这样的电子设备的交互作用装置仍强制某种类型的交互作用模式，这种类型的交互作用模式可能不一定必然对应于与该设备进行交互作用的自然或直观的方式。
【发明内容】
[0005]因此，本发明的目的是提供一种方法，用于基于手势与设备交互作用，该手势更灵活并且允许交互作用模式适应更自然的交互作用方案。
[0006]这个目的使用根据权利要求1的方法实现。一种与设备交互作用以便给该设备提供输入的方法，其特征在于，所述交互作用基于与设备的至少一个触摸基交互作用(基于触摸的交互作用)和与设备的至少一个非触摸基交互作用(非触摸基交互作用)的组合，其中，一种类型的交互作用响应于另一种类型的交互作用影响由与该设备的交互作用产生的输入。因此，触摸基交互作用对设备根据交互作用执行的动作的影响变得依赖于另一种类型的交互作用，例如，如果非触摸基交互作用是不同的，那么相同类型的触摸基交互作用将导致由设备执行的两种不同的动作。从而，设备对具体交互作用的响应可以适用于特定环境，因而实现与设备的更灵活和更直观的交互作用。
[0007]在此上下文中，术语“触摸基(touch based) ”涉及用户与设备之间的用户物理地触摸该设备的任何一种交互作用。触摸基交互作用可能涉及到触摸设备的预定区域、在设备的表面上滑动或通过简单地把持设备。触摸可以是单个触摸事件，例如，通过用户的手指或触笔，或多点触摸事件，在多点触摸事件中多于一个手指触摸该设备。
[0008]在这个上下文中，术语“非触摸基”涉及用户和设备之间的不需要用户和设备之间的物理触摸的任何一种交互作用。[0009]在本发明的上下文中，术语“输入”涉及用户和设备之间的可以由设备识别以执行预定任务或动作的任何一种指令。
[0010]优选地，方法可以提供一种与设备的手势基交互作用，并且特征在于，交互作用基于没有触摸该设备的至少一个手势基交互作用和用户触摸该设备的至少一个触摸基交互作用的序列，其中一个交互作用的至少一个实现特征，特别是轨迹和/或速度和/或持续时间和/或压力，影响由与该设备的交互作用产生的输入。
[0011]在上下文中，术语“手势”涉及与设备的任何形式的非言语交互作用，其中可视身体动作传达特定消息。
[0012]因此，设备触摸交互作用，例如，实现在触摸敏感交互作用表面上的一维或二维手势，与非触摸基手势组合，非触摸基手势可以是由用户的手指、手或手臂执行的三维手势，使得用户在无需适应设备的情况下，用户可以在与设备交互作用时复制在现实世界中使用的动作。通过使用基于其他交互作用的特征的参数影响一个交互作用，交互作用变得更加灵活和同时更加直观。作为一个示例，对象拾起和置换动作可以通过抓取在设备的表面上的对象执行，因此触摸该设备，并且移动对象到在设备上的另一个位置，而不必为连续地触摸设备本身。因此，可以提高与设备的灵活性相关交互作用。在没有抓取动作的情况下，移动非触摸手势不会导致同样的结果。
[0013]根据变化，非触摸基交互作用，例如手势，和触摸基交互作用可以一个接着另一个地或交替地发生。这允许用户实现真正的生活模式，诸如上述的拾起和移动动作。
[0014]优选地，至少一个非触摸基交互作用，特别是手势，和至少一个触摸基交互作用在时间上至少部分地重叠。因此，与现有技术相比，可以在一个组合触摸基和非触摸基交互作用方案的情况下实现更复杂的交互作用模式。例如，在用户想要转动图示在显示屏上的对象的情况下，用户可以通过触摸该设备选择转动轴线，并且使用另一只手，实现轻击或轻拂的手势，指令围绕所需转动轴线的转动。
[0015]有利地，用户触摸该设备的交互作用能够发生在该设备的正面侧、背面侧或侧壁中的至少一个上。通过不将设备的交互作用敏感区域限制于正面侧(被定义为通常面向用户的侧面)，因此用户在履行用户与设备的交互作用中，不是被迫通过这一侧面进行交互作用，而是可以自由地选择用户如何希望与设备交互作用。
[0016]有利的是，用户触摸该设备的交互作用可以激活基于按键的输入、基于计算机鼠标的输入、基于跟踪球或触摸或多点触摸的输入中的至少一种。一种或更多种交互作用技术的设置进一步增强交互作用模式的灵活性。
[0017]根据优选实施例，非触摸基手势可以使用一个或多个摄像头设备检测，摄像头设备合并在设备中和/或一个或多个远程控制单元中，远程控制单元包括加速度计、陀螺仪、超声波检测装置等的至少一个。这些元件允许以稳定和可靠的方式检测非触摸基手势。
[0018]超声波可以用来检测触摸基和非触摸基交互作用两者，但是，需要专用的检测装置和算法用于两种类型的交互作用。
[0019]有利的是，交互作用的序列可以包括:a)记录阶段，用于启动输入到设备，b)持续阶段，用于提供输入到设备，和c)终止阶段，用于确认到设备的输入。在记录阶段过程中，设备将通知用户，能够接收用户的输入，从而增加系统的用户友好性，而用户使用终止阶段，用于确认他的输入，从而可以防止到设备的虚假输入。[0020]优选地，在步骤c)中，触摸基交互作用被用来确认在步骤b)中通过非触摸基交互作用提供的输入，特别是在没有触摸该设备的情况下由用户实现的手势。基于触摸确认交互作用提高防止由于无意的非触摸基交互作用的虚假输入，例如围绕设备的预定体积内的手势，在预定体积中非触摸基交互作用可以由设备检测。
[0021]有利的是，通过实现下面的一序列的步骤，该方法可以用于选择对象和提供与所选择的对象相关的指令到设备，前述一序列的步骤包括:d)使用触摸基交互作用，例如手势，选择对象，和e)基于非触摸基交互作用，例如手势，提供与所选择的对象相关的输入。像在现实生活中的情况下，用户因此应当触摸对象，以在提供输入之前选择对象，其在现实生活中可能更自然地执行。
[0022]上述方法特别有利于提供输入以将对象从第一位置移动到不同位置，包括一序列的手势:f)检测由用户在第一位置处触摸该设备提供的拧捏或挤压或转动手势，g)检测用户没有触摸该设备的平移手势，和h)检测在第二位置处或在第二位置上方通过触摸基手势或非触摸基手势的释放手势。例如，图标可以在屏幕上从第一位置移动到第二位置，或者甚至显示在屏幕上的对象可以被在屏幕上拾起和移动超出画面，到达屏幕以外的功能区域上。在识别对象落下的第二位置时，可以执行归因于画面外的功能区域的动作，例如打印、删除等。
[0023]在拧捏或挤压手势期间，设备的触摸基用户交互作用装置配置为识别两个或更多个对象，例如存在于交互作用表面上的彼此靠拢的指尖，而期间发生触摸的释放手势，对应相反运动。在转动手势的情况下，一个对象围绕第二不可移动对象转动，或者两个对象描述弯曲轨迹。对于由非触摸基用户交互作用装置检测的非触摸基手势，平移手势对应于期间坐标及时变化的手势。释放非触摸基手势对应于检测和识别诸如在相反的方向上彼此分开移动或转动的手指的至少两个元件。使用用于输入指令以在屏幕上移动对象到不同位置的本发明的方法，能够实现与设备的自然方式的交互作用。
[0024]根据另一个有利的使用，如上述那样的方法，可以包括以下步骤:i)检测触摸基交互作用，j)响应于触摸基交互作用，设置参数，k)同时检测非触摸基手势，和i)响应于非触摸基手势和参数设置，向该设备发出对应动作的指令。在该方法中，非触摸基手势和触摸基手势两者同时发生，其中，由触摸基手势设置的参数增强了指令输入模式的灵活性。例如，这种方法适合通过触摸设备限定转动轴线，而使用用户的另一只手的将挥击或轻击的手势将开始对象围绕所限定的轴线的转动。在上下文中，挥击，例如手势，涉及基本线性轨迹，其中，轻击的手势对应执行速度超过一定的阈值的挥击手势。到设备的指令输入对于挥击或轻击的手势可以是不同的。
[0025]通过根据权利要求11所述的用于提供手势基输入到设备的方法，本发明的目的也独立于上面已经描述过的方法获得。
[0026]根据权利要求11所述的方法是一种用于提供手势基输入到设备的方法，其优选地可以结合如上所述的任何一项方法，包括步骤:检测手势、分类手势和根据分类输入指令到设备，其中，指令依赖于手势的实现特征，特别是手势的轨迹和/或速度和/或持续时间，和独立于手势的具有至少一个参数的缩放尺寸。
[0027]优选地，参数可以是设备的参数和/或在设备的显示屏上存在的对象的参数和/或进行或实现手势的对象和设备之间的距离中的至少一个。[0028]例如,手势的范围可以从较小到较大尺寸手势和/或较短和较长尺寸手势,依赖于在物理设备的大小和/或在设备的显示屏上的对象的大小两者。优选地，至少一个参数可以因而是设备或对象的一维、二维或三维尺寸。根据在设备的屏幕上示出的对象的大小，手势的缩放可以因此相应地调整。
[0029]优选地，手势的实现特性和至少一个参数之间的缩放可以是成正比的，以提供相同指令。因此，作为示例，为了从屏幕的一侧移动小的对象到另一侧，仅仅需要短的非触摸基手势，而对于较大的对象，为了实现相同的结果，通过作为较长的非触摸基手势，手势可以较大。作为另一个示例，用户使用他的靠近设备的手指实现小的手势(例如挥击)，可以提供较大手势，例如，如果用户想要在从距离设备更远的位置执行手势时提供相同的输入，使用他的手挥击。
[0030]本发明的通过参数的手势缩放方法不局限于在设备的屏幕上示出的对象，而是可以被扩展到设备本身。在将非触摸基交互作用结合进入电子设备时，根据本发明的具体实施例的交互作用装置配置为考虑设备的物理尺寸以限定输入手势的缩放。因此，对于小的手持式设备，例如智能手机，或较大的设备，例如电子书，执行相同动作所需要的手势可以在尺寸上与设备的大小相适应。
[0031]根据优选的实施例，至少一个非触摸基交互作用可以基于环境参数，特别是与亮度、电场、磁场、电磁辐射、压力、温度、湿度、振动和/或地理坐标相关的环境参数。因此，不仅诸如3D手势的非触摸基手势，而且由设备的相应检测装置检测的环境参数，可以响应于触摸基交互作用影响由与设备的交互作用产生的输入。
[0032]例如，在检测装置识别到设备定位在黑暗中的情况下，与设备的任何非触摸基交互作用将在允许进一步输入之前导致照亮设备的屏幕或者键盘的背光；而在检测装置识别到设备定位在明亮环境中的情况下，到设备的同样输入可以引起不同的动作，例如，敲击按键将立即在屏幕上显示相应字母。
[0033]本发明还涉及一种计算机程序产品，包括一个或多个计算机可读介质，计算机可读介质具有计算机可执行指令，用于执行上述方法的步骤。
[0034]本发明的目的也可以使用包括配置用于执行如上所述的方法中的一个或组合的至少一个触摸基用户交互作用装置和至少一个非触摸基用户交互作用装置实现。设备能够实现用户和设备之间的更自然的交互作用，因此用户可以施加对应于现实生活动作的手势，诸如拾起和置换动作。
[0035]优选地，该设备可以包括:至少一个触摸基用户交互作用装置和至少一个非触摸基用户交互作用装置，其中，非触摸基用户交互作用装置配置为检测该设备周围的预定体积内的非触摸基交互作用，特别是手势；和至少一个反馈提供装置，配置为在对象，特别是用户的手部，进入所述预定体积时，输出第一视觉和/或声学输出。因此，用户将立即识别设备是否准备好接受输入，甚至在缺少触摸的情况下。
[0036]优选地，设备可以被配置为使得只在用户用另一只手触摸设备的预定区域的情况下提供第一反馈。因此，可以防止到设备的意外输入。
[0037]有利的是，所述反馈提供装置可以配置为在对象位于所述预定体积内和/或触摸所述设备时，输出第二视觉和/或声学和/或触觉输出，特别地第二输出不同于第一输出。因此，在记录阶段以后，在用户进入预定体积时，第二反馈输出通知用户，设备正在接受手势。这个阶段也被称为交互作用持续阶段。因此，用户友好性被进一步提高。
[0038]有利地，反馈提供装置可以进一步配置为只要触摸基用户交互作用和/或非触摸基用户交互作用装置检测到交互作用，特别是手势，就输出第二输出。因此，在任何时候，用户将被告知设备仍然在记录手势的事实。
[0039]根据有利的实施例，所述反馈提供装置可以配置为当交互作用终止时和/或当设备被关闭或置于空闲状态时，输出第三视觉和/或声学和/或触觉输出，特别地第三输出不同于第一和/或第二输出。因此，在交互作用成功终止时，用户从设备接收终止反馈信号。在对象离开设备周围的预定体积的情况下，也可能输出终止反馈。因此，用户会知道设备不再接受输入。
[0040]优选地，设备可以包括在其正面侧上的显示屏，并且在对象存在于设备的背面侧上的预定体积内的情况下，反馈提供装置配置成使得视觉指令提供在显示屏上。在这方面，正面侧是设备在正常使用中面对用户的侧面，而背面侧是设备的背离用户的相反侧。
[0041]因此，例如在设置在背面侧上的触敏交互作用装置上提供非触摸基手势或触摸基手势期间，试图通过交互作用通过设备的背面提供输入的用户，将知道在任何时间处，设备已经准备接受来自用户的输入。这进一步提高设备的用户友好性。
[0042]根据优选实施例，设备可以是手持式或便携式电子设备。示例是移动电话、智能手机、导航仪、电子书、音频和/或视频播放器、便携式电脑等。本发明特别有利于小型设备，其中交互作用区域是有限的，并且通常不大于200平方厘米。
【专利附图】
【附图说明】
[0043]在下文中，将参照附图详细解释本发明的特定实施例的详细说明。
[0044]图1示出关于电子设备的本发明的第一实施例，包括触摸基用户交互作用装置和非触摸基用户交互作用装置。
[0045]图2a示意性示出根据第二和第三实施例的用于提供手势基输入到设备的方法。
[0046]图2b示出形成输入的子交互作用的序列，其中第一类型的交互作用由第二类型的交互作用确认，
[0047]图3示出利用用于提供手势基输入的本发明方法的第一实施例，
[0048]图4a_4c示出利用用于提供手势基输入到设备的本发明的方法的第二示例，
[0049]图5a示出关于根据参数的缩放手势的本发明的第四实施例，
[0050]图5b示出第四实施例的变体，
[0051]图6示出关于反馈机构的本发明的第五实施例，和
[0052]图7示出关于电子设备的本发明的第六实施例，该电子设备包括触摸基用户交互作用装置和环境性质检测装置。
具体实施例
[0053]图1示出根据本发明的第一实施例的设备。电子设备包括:第一触摸基用户交互作用装置3和第二非触摸基用户交互作用装置5。
[0054]根据各种实施例，触摸基用户交互作用装置3可以是基于键盘的交互作用装置、鼠标或基于拖动垫/拖动球的交互作用装置或触摸或基于触摸或多点触摸的触摸检测交互作用表面的任何一种。在具体实施例中，触摸基用户交互作用装置3优选地是多点触摸检测交互作用表面。在图1中，只有一个触摸敏感交互作用装置图3是可见的，但是，根据本发明的设备I的进一步的变体，设备I的壳体7的背面侧和/或壳体7的侧壁也可以包括另外的触摸基交互作用装置。触摸敏感交互作用装置3可以包括触摸屏或触摸板，利用例如电容、表面声波、声波脉冲识别或其它触摸技术，或者可以包括设备的壳体的能够实现触摸敏感的部分，诸如优选地，使用声音脉冲识别触摸技术。
[0055]在这个实施例中的非触摸基交互作用装置5是用户交互作用装置3旁边的摄像头。对于触摸基用户交互作用装置3，进一步的非触摸式交互作用装置可以呈现在壳体7的背面侧和/或侧壁上。
[0056]电子设备I可以是任何一种手持或便携式设备，诸如电话、智能手机、电子书、导航设备、音频和/或视频播放设备、个人计算机、游戏控制台等。然而，发明概念也可以结合到其它类型的电子设备。
[0057]诸如照相机的非触摸基用户交互作用装置5被配置为可以检测、分析和分类用户的手势，该手势由用户例如使用用户的手或手指在预定体积9(在这里示出为设备周围的球体I)内做出或实现。例如，图像分析设备设置在电子设备I内，分析由照相机5拍摄的图像，以识别用户的手或手指的运动，使得根据手势的性质，可以识别相应的输入模式，从而设备I内的处理单元可以接收来自非触摸基用户交互作用装置5的指令。手势的性质或手势实现特征可以包括空间或轨迹范围、持续时间、手指的相对运动等的任何一个或组合。
[0058]以类似方式，触摸基用户交互作用装置3配置为使得输入，例如在用户交互作用装置3上的手势，被检测、分析和分类以识别用户希望提供的相应的指令。
[0059]除了触摸基用户交互作用装置3，设备I可以包括在本领域中已知的附加部件，例如麦克风11、扬声器13、连接接口，例如用于充电和与其他设备15、17或按键甚至是完整的或有限制的键盘进行通信。此外，设备I可以包括无线通信设备。
[0060]在图1中，预定体积9已经显示为围绕设备的球体，非触摸基用户交互作用装置在预定体积9内能够识别用户手势。当然，这个预定体积9可以具有围绕设备I的任何形状。
[0061]代替使用照相机或摄像头作为交互作用装置5，可以使用能够识别的手势的任何其它合适的非触摸基用户交互作用装置，例如使用加速度计或陀螺仪或超声波检测装置等的遥控器。
[0062]与现有技术设备相比，在触摸基和非触摸基交互作用模式的组合的基础上，根据本发明的电子设备I允许用户提供输入到设备。这具有的优点在于，在与电子设备交互作用时，在现实世界中实行的手势在实现类似动作时可以被复制。因此，能够实现与设备进行交互作用的更加自然和直观的方式。这将根据本发明的实施例详细说明。
[0063]图2a示出关于提供输入到电子设备的方法的本发明的第二和第三实施例，诸如在图1中示出的电子设备I。
[0064]图2a的栏I和II涉及第二实施例，栏I至栏III涉及本发明的第三实施例。
[0065]栏I不出用户的动作,然而,栏II不出根据本发明的电子设备I的反应。
[0066]当用户使用他的手和/或手指和/或在他的手中携带的对象进入预定体积9(步骤21)时，非触摸基交互作用装置5将检测进入预定体积9的输入，并且提供相应的输出到电子设备I的处理单元(步骤23)。[0067]在这个记录阶段以后，用户继续与设备I进行交互作用，并且提供输入25，该输入可以包括多个子手势27、29、31，其组合由非触摸基用户交互作用装置5检测到的非触摸基手势与由触摸基用户交互作用装置3检测到的例如手指在触摸检测界面上滑动的基于触摸的手势，以启动在电子设备I中的某些动作。在这个手势输入或持续阶段过程中，用户交互作用装置5和3在关于触摸基交互作用的步骤33中和关于非触摸基交互作用的步骤35中检测用户的手势或子-手势，和分析检测的数据以分类手势和/或子手势，以识别对应用户的交互作用模式的输入(步骤37)。已经识别相应动作，处理单元接收指令以执行希望的动作(步骤39)。
[0068]根据本发明，识别对应于用户的交互作用模式的动作的步骤取决于检测到的非触摸基交互作用35和检测到的触摸基交互作用33之间的关系36。事实上，取决于一种类型交互作用如何实现，归因于另一种类型的交互作用的输入将是合适的。
[0069]触摸基用户交互作用也可以涉及击打在设备I的壳体7上的按键。
[0070]当用户的手指或手或由用户携带的对象在步骤41中退出该预定体积9时，交互作用被终止，其由非触摸基用户交互作用装置5检测(步骤43)。
[0071]应当指出，根据一些实施例，用于确定进入的体积9的大小(步骤21，23)可以不同于用于确定退出的体积9的大小(步骤41，43)和/或根据一些实施例用户可配置。
[0072]因此，电子设备I被配置为使得一个接着另一个地或并行地进行的非触摸基和触摸基交互作用，可以被提供给设备1，使得两种类型交互作用相互影响。这允许在用户交互作用模式中更灵活，从而能够实现与设备的更自然、更直观交互作用方式。
[0073]除了相对于第二实施例已经描述的步骤以外，这些步骤也是第三实施例的部分，根据本发明的第三实施例，包括反馈机构。反馈机构示意性示出在栏III中，并且优选地在任何时间处，被配置为通知用户有关该设备I正在接受用户输入的事实。被配置为实现反馈机构的反馈提供装置可以并入如在图1中所示的设备中。反馈提供装置具有附图标记45并且表示在虚线中。
[0074]详细地，当对象进入预定体积9 (步骤21和23)时，反馈提供装置45 (参见在图1中的虚线中的附图标记45)配置为使得视觉和/或听觉反馈信号被输出。例如，扬声器13可以输出表示设备I已经检测到用户已经进入预定球体9的事实的信号。同时或作为一种替代，可视图标或信号、闪烁LED或类似物可以指令这种状态。因此，用户将知道，设备I已经识别到用户进入预定体积9，从而由用户提供的手势可以被设备检测和识别(步骤47)。
[0075]根据一种变化，在预定条件被满足的情况下，第一反馈输出47仅由电子设备提供。例如，仅在如果用户用另一只手把持设备并且按压指令用户输入是故意的某个按钮时提供反馈。代替地，触摸检测装置3也可以识别用户把持设备的事实。利用这个附加特征，可以防止意外的手势基输入到设备I。
[0076]接着，在持续阶段，反馈提供装置45被配置为使得由设备I输出(步骤49)通常不同于第一输出的第二视觉和/或声学信号。可以在预定体积9内执行手势的对象存在的过程中，或仅在识别手势的过程中，提供第二反馈输出49，使得用户在任何时间知道手势可以被输入，或当前设备已经检测到用户在预定体积9内实现或进行的移动。
[0077]在触摸基手势被输入的情况下，由反馈提供装置45提供的视觉和/或听觉反馈信号可以伴随有触感或由触感代替，诸如振动反馈信号，并再次通知用户设备当前正在检测输入(步骤49)。
[0078]最后，在完成输入时，并且在用户离开预定体积9时，反馈提供装置45被配置为输出第三信号，视觉和/或声学地，通知用户，现在他已经离开他可以提供输入到设备I的预定体积9。第三输出51优选地不同于第一和/或第二输出。
[0079]因此，在与该设备的交互作用的过程期间的任何时间处，用户知道有关设备I正在接受手势的事实、如手势的交互作用被检测以及他已经有意或无意地离开预定体积9的事实。
[0080]这个反馈提供机构45优选地与结合如同在设备I中所示的非触摸基交互作用装置5和触摸基交互作用装置3的设备一起实现，但是也可以在仅存在一种类型交互作用装置情况下发现其发明应用。
[0081]图2b示出输入提供交互作用53，包括根据在第二和第三实施例中使用并且在图2a中示出的输入25的变化的子交互作用55和57的序列。在这个示例中，交互作用55涉及非触摸基交互作用，如由用户提供的手势，并且交互作用57涉及在用户交互作用装置3上的触摸基交互作用，其再次可能还涉及到在设备I的键盘上的按键敲击。
[0082]为了防止意外输入到设备I，在图2a中图示的在步骤35中的分析步骤首先检查是否确认或终止动作59已经由用户提供，其中，终止动作59优选地对应于触摸基交互作用，触摸基交互作用可以在步骤33中被检测。终止动作59可以为例如设备I的壳体上的某个键，或交互作用装置3的简单触摸。
[0083]非触摸基手势55和额外地触摸基交互作用57被检测，随后，在已经由用户提供确认交互作用59的情况下，在步骤39中指令输入A，而在没有确认交互作用59时，在步骤39中指令输入B。
[0084]图3示出根据在图2a中示出并且可以使用如在图1中示出的电子设备I实现的第二或第三实施例的方法的第一发明性应用。
[0085]在本发明的实施例中，触摸基交互作用和非触摸基交互作用(在这里是手势)同时执行，以提供输入到电子设备I。鉴于用户在确定位置63处使用一只手61触摸设备1，其可以被电子设备I的触摸基用户交互作用装置检测，同时，不触摸设备I但是位于预定体积9内的用户的第二只手65执行手势(在这里是轻击或挥击动作67)。
[0086]在本实施例中，在设备I的壳体7的顶部上的位置63处的触摸基交互作用用于识别在设备I的屏幕71上示出的对象69的转动轴线73，其中，由第二只手65实现的轻击或挥击手势启动对象69的围绕轴线73的转动。通过将他的手定位在由图3中的虚线所示的位置75处，新的转动围绕轴线77可以被启动，因此，触摸基交互作用响应于非触摸基交互作用影响由设备执行的动作。
[0087]这个实施例仅示出的有利使用，与电子设备I的触摸基交互作用和非触摸基交互作用的组合以实现复杂输入模式的一个示例。但尽管如此，与设备的交互作用可以保持自然和直观。
[0088]图4a到4c示出根据第一实施例的设备和根据如在图1和图2中所示的本发明的第二或第三实施例的方法的第二发明性使用。图4a到4c示出在用户和设备I之间的交互作用，在交互作用期间，触摸基用户交互作用和非触摸基用户交互作用彼此跟随。
[0089]在已经进入预定体积9以后，通过进行拧捏或挤压(在此期间，两个或更多手指手势彼此靠拢，由箭头82表示)，同时触摸该触摸基用户交互作用装置3，用户接近呈现在设备I的屏幕83上的对象81，已经检测到拧捏手势的触摸基用户交互作用装置3将指令电子设备I的处理单元选择对象81，例如文件的图标，并且等待关于所选择的对象81的进一步指令。作为代替，用户也可以执行转动手势以拾起对象81。
[0090]图4b示出根据方法的这个发明性使用的交互作用序列的第二步骤。在选择步骤以后，用户拾起对象81，同时保持他的手指在一起，并且移动远离交互作用表面，由箭头84表示，就像人们进行真正的提升对象。手势将继续，将拾起的对象81朝向在显示屏83上的第二位置85移动。在用户的手在体积9内移动期间，如关于图1示出和描述的非触摸基用户交互作用装置5将检测平移手势，例如通过分析多个随后图像，其中用户的手的位置从图像到图像变化，并且因而指令设备I的相应处理单元。在非触摸基平移手势期间，设备I可以被配置为在显示屏上一起显示用户的手的投影和对象。平移运动类似于在根据图3中示出的发明的第一使用中的挥击手势。然而，在这里，挥击手势由在接触阶段过程中执行的手势影响，使得相应动作导致重新定位，而不是如在根据本发明的第一实施例中的对象的转动。
[0091]然后，最后，为了重新定位对象81在第二位置85处，用户打开他的手指，由箭头86所示，以释放拾起的对象，如在图4c中示出，或以与拾起步骤相比相反的方式，进行转动手势。相应的手势可以是远离交互作用表面3但在预定体积9内的由非触摸基交互作用装置5检测的非触摸基手势，或在触摸基用户交互作用装置3上的基于触摸的释放手势。
[0092]在发明的方法的实际使用的这个示例中，在他想要拾起和置换对象时，用户在现实生活中通常进行的动作，可以相对于在图4a_4c中图示的对象81执行。因此，相比于用户被迫在屏幕上执行全部手势的交互作用方案，该交互作用更自然、更直观，从而更加用户友好。
[0093]代替从在显示屏83上的第一位置移动对象81到显示屏上的另一位置85，对象可以被移动超出显示区域之外的其它处，到达在设备I的壳体7上的功能区域。非触摸基用户交互作用装置5能够识别用户在哪里释放对象81，并且如果识别第二位置对应于功能区域，那么归因于触摸屏之外的这个功能区域的动作(例如打印文件、删除文件、通过网络发送的文件等)可以由处理单元启动。
[0094]如图4a_4C中图示的使用触摸基和非触摸基交互作用的序列(在这里是手势)的拾起和置换动作只是与电子设备交互作用的一个实际示例，在不背离本发明的范围情况下，组合触摸基和非触摸基手势的其他交互作用模式可以实现。
[0095]图5a图示本发明的第四实施例，其可以组合第一至第三实施例的任何一项。图5a的左侧图示较小的电子元件101，例如具有非触摸基交互作用装置103和预定空间或体积105的移动电话，在预定空间或体积105内，非触摸基交互作用装置103能够检测由用户提供的手势。在这个方面，非触摸基交互作用装置103能够与在设备5中使用和在图1中示出的设备I相当。
[0096]在图5a的右手侧上图示较大的电子设备111，例如，膝上型计算机或电子书。较大的电子设备111还包括非触摸基交互作用装置103，其与在较小的设备101中的相同。非触摸基交互作用装置103，接受在围绕较大的电子设备111的预定体积113内的用户手势。这里，预定体积113大于较小的设备的体积105。[0097]根据本发明，取决于交互作用装置103是否被并入较小或较大的电子设备105和113，类似于执行预定任务(如从在屏幕107和115上的一个侧面A移动对象到另一个侧面B)所需手势的轨迹的大小和持续时间的参数，随着尺寸缩放，例如，设备101或111的宽度、对角线、表面面积或体积，以允许更直观的用户交互作用设备。因此，设备的尺寸越大，提供输入所需要的手势越大。
[0098]由用户在较大的设备中执行的手势117 (在这里图示为到右侧的箭头)与在较小的设备的情况下执行的手势109相比较大。例如，为了在显示屏上从A到B移动对象，对于较小的设备101，手指挥击是足够的，而对于较大的设备111，为了将对象从位置A移动到位置B，可能需要使用整个手的挥击。
[0099]通过使用设备本身的物理参数缩放非触摸基手势的轨迹的尺寸和/或持续时间，可以实现基于缩放的自动适应。非触摸基用户交互作用装置的手势分析单元配置成适应其手势，分析为与例如设备的尺寸相关的预定参数的函数。
[0100]根据第四实施例的变化，手势可以不仅如在图5a中示出随着设备的物理尺寸缩放，而且也随着呈现在显示屏上的对象的尺寸缩放。这里，较大的对象121和较小的对象123图示在较大的电子设备111的屏幕115上。为移动较大的对象121，用户期望较大的手势是必要的，而对于较小的对象123，用户期望更小的手势。例如，在较小的对象的情况下，手指挥击就可能足够，而在较大的对象121的情况下，可能使用手挥击来实现相同结果。同样，手势分析单元还可以被配置为考虑在设备的显示屏上呈现的对象的参数。
[0101]图5b示出缩放(scaling)概念的变化。在此变化中，手势随着对象125 (在这里是用户的手)距离设备I的距离缩放。在图5b的上部中，手125接近设备I。图的左侧部分显示手125在设备I的前面，右侧部分显示侧视图，图示手和设备I之间的距离127。在图5b的下部中，手125进一步远离(距离129)设备1，如可以从显示侧视图的图的右侧看出。
[0102]为了从位置133移动对象131到位置135并且返回，在第一种情况下，其中手125靠近设备I的手势可以通过如使用箭头137显示的只稍微地从右至左移动手指和返回来实现。为了在第二种情况下实现相同的运动，用户可以使用由箭头139指令的较大的手势轨迹来移动整个手125。
[0103]图6示出本发明的第五实施例，图示电子设备151，包括如在图1中图示的第一实施例中的触摸基交互作用装置3和非触摸基交互作用装置5，使得用户可以在触摸设备151时提供触摸基交互作用和/或在用户进入围绕电子设备151的预定体积153时提供非触摸基手势。在这里，设备151还包括在正面侧155上的显示屏157，这是设备的用户通常观看的侧面，其与触摸基交互作用装置3 —起形成触摸检测屏幕。
[0104]设备进一步包括反馈提供装置159，具有第一实施例的反馈提供装置45的特征，其中另外地，根据本发明的第五实施例的反馈提供装置159配置为使得，在用户经由设备151的背面侧161提供触摸基或非触摸基交互作用的情况下(所述背面侧是与正面侧155相反的侧面，并且通常背离用户)，视觉反馈163设置在显示屏157上。视觉反馈163用于指令从正面侧观看设备151的用户，可以通过设备151的背面侧161提供输入。
[0105]例如，显示在显示屏157上的反馈信号，可以表示在定位在设备151的背面侧161上时用户的手的指尖的投影在设备151的背面侧或正面侧表面上。在图6中，这由在显示屏157上的五个圆圈160显示。
[0106]这个实施例可以组合实施例1至4的任何一个。
[0107]图7示出本发明的第六实施例。图7图示设备171，设备171包括根据第一实施例的设备的元件和特征。具有先前也已经使用的相同附图标记的元件不再详细描述，但是通过参考在此并入。
[0108]除了触摸基用户交互作用装置3和非触摸基用户交互作用装置5以外，电子设备171还包括检测装置173，用于检测一个或多个环境参数作为第二类型非触摸基交互作用。这样的环境参数可能涉及到亮度、电场、磁场、电磁辐射、压力、温度、湿度、振动或地理坐标。
[0109]由检测装置173测量的参数(其因此未链接到设备的触摸基交互作用)也能响应于设置在交互作用装置3上的触摸基交互作用影响由设备171实现的动作。
[0110]例如，在检测装置识别设备定位在黑暗中的情况下，与设备的基于触摸和非触摸的任何交互作用将导致在允许进一步输入之前照明设备的屏幕或键盘的背光；然而，在检测装置识别该设备定位在明亮环境中的情况下，与设备的相同交互作用可以引起不同的输入，例如，击打按键立即在屏幕上显示相应字母。
[0111]如关于图1和图7描述的设备和方法的各种元件和特征可以单独地组合或彼此组合起来，以实现允许以自然或直观方式与用户交互作用的另外的发明设备或方法。
【权利要求】
1.一种与设备交互作用以便给该设备提供输入的方法，其特征在于， 所述交互作用基于与设备的至少一个触摸基交互作用和与设备的至少一个非触摸基交互作用的组合， 其中，一种类型的交互作用响应于另一种类型的交互作用影响由与该设备的交互作用产生的输入。
2.根据权利要求1所述的方法，其中，所述交互作用包括至少一个触摸基交互作用和没有触摸所述设备的至少一个手势基交互作用， 其中一个交互作用的至少一个实现特征，特别是轨迹和/或速度和/或持续时间和/或压力，影响由与该设备的交互作用产生的输入。
3.根据权利要求2所述的方法，其特征在于，触摸基交互作用，特别是手势，和非触摸基交互作用一个接着另一个地或者交替地发生。
4.根据权利要求2所述的方法，其特征在于，至少一个非触摸基交互作用，特别是手势，和至少一个触摸基交互作用在时间上至少部分地重叠。
5.根据权利要求1至4中任一项所述的方法，其中用户触摸该设备的交互作用能够发生在该设备的正面侧、背面侧或侧壁中的至少一个上。
6.根据权利要求1至5中任一项所述的方法，其中，交互作用的组合包括: a.记录阶段，用于启动给该设备的输入， b.持续阶段，用于提供输入到该设备，和` c.终止阶段，用于确认到该设备的输入。
7.根据权利要求6所述的方法，其中在步骤c)中，触摸基交互作用被用来确认在步骤b)中通过非触摸基交互作用提供的输入，特别是在没有触摸该设备的情况下由用户实现的手势。
8.根据权利要求1至7中任一项所述的方法，用于选择对象和提供与所选择的对象相关的指令到设备，包括以下序列的步骤: d)使用触摸基交互作用，特别是触摸基手势，选择所述对象， e)基于没有触摸该设备的手势基交互作用，提供与所选择的对象相关的指令。
9.根据权利要求1至8中任一项所述的方法，用于输入指令以在设备的屏幕上移动对象到不同位置，包括以下序列的手势基交互作用: f)检测由用户在第一位置处触摸该设备提供的拧捏或挤压或转动类型手势， g)检测用户没有触摸该设备的平移手势， h)检测在第二位置处或在第二位置上方通过触摸基手势或非触摸基手势的释放手势。
10.根据权利要求1至9中任一项所述的方法，包括以下步骤: i)检测触摸基交互作用， j)响应于触摸基交互作用，设置参数 k)同时检测非触摸基手势，和 i)响应于非触摸基手势和参数设置，向该设备发出对应动作的指令。
11.一种用于提供手势基输入到设备的方法，特别是根据权利要求1至10中任一项所述的方法，包括步骤:检测手势、分类手势和根据分类输入指令到设备， 其中，指令依赖于手势的实现特征，特别是手势的轨迹和/或速度和/或持续时间，和独立于手势的具有至少一个参数的缩放尺寸。
12.根据权利要求1至11中任一项所述的方法，其中，至少一个非触摸基交互作用是基于环境参数，特别是与亮度、电场、磁场、电磁辐射、压力、温度、湿度、振动和/或地理坐标相关的环境参数。
13.一种计算机程序产品，包括一个或多个计算机可读介质，具有计算机可执行指令，用于执行权利要求1至12中任一项所述的方法的步骤。
14.一种包括至少一个触摸基用户交互作用装置和至少一个非触摸基用户交互作用装置的设备，该设备配置成用于执行根据权利要求1至12中任一项所述的方法。
15.一种设备，特别是根据权利要求14所述的设备，包括: a.至少一个触摸基用户交互作用装置和至少一个非触摸基用户交互作用装置，其中，非触摸基用户交互作用装置配置为检测该设备周围的预定体积内的非触摸基交互作用，特别是手势；和 b.至少一个反馈提供装置，配置为在对象，特别是用户的手部，进入所述预定体积时，输出第一视觉和/或声学输出。
16.根据权利要求15所述的设备，其中所述反馈提供装置配置为在对象位于所述预定体积内和/或触摸所述设备 时，输出第二视觉和/或声学和/或触觉输出，特别地第二输出不同于第一输出。
17.根据权利要求16所述的设备，其中，所述反馈提供装置配置为只要触摸基用户交互作用装置检测到交互作用和/或非触摸基用户交互作用装置检测到交互作用，特别是手势，就输出第二输出，和/或 其中，所述反馈提供装置配置为当交互作用和/或手势终止时和/或当设备被关闭或置于空闲状态时，输出第三视觉和/或声学和/或触觉输出，特别地第三视觉和/或声学和/或触觉输出不同于第一和/或第二输出。
18.根据权利要求15至17中任一项所述的设备，还包括在其正面侧上的显示屏，并且 其中，在对象存在于设备的背面侧上的预定体积内的情况下，所述反馈提供装置配置为使得视觉指示被提供在显示屏上。
【文档编号】G06F1/16GK103502923SQ201280002569
【公开日】2014年1月8日 申请日期:2012年9月27日 优先权日:2011年9月27日
【发明者】雷米·杜赫埃尔 申请人:电子触控产品解决方案公司