用于解释与图形用户界面的物理交互的系统和方法

用于解释与图形用户界面的物理交互的系统和方法
【专利摘要】本发明涉及用于解释与图形用户界面的物理交互的系统和方法。例如，一种用于解释与图形用户界面的物理交互的系统是具有以下内容的设备，即：被配置为由用户握住的机壳，设置在机壳中的显示器，该显示器被配置为显示图形用户界面，以及设置在机壳中的传感器，该传感器被配置以检测机壳的移动的自由度。该设备还包括设置在机壳中并与显示器和传感器通信的处理器，处理器被配置为从传感器接收传感信号，传感信号包括与移动相关联的参数，以基于该参数确定与图形用户界面相关联的命令，以基于该命令确定将要执行的功能，并且执行该功能。
【专利说明】用于解释与图形用户界面的物理交互的系统和方法
[0001]分案说明
[0002]本申请属于申请日为2010年I月29日的中国发明专利申请201080006056.8的分案申请。
[0003]与相关申请的相互引用
[0004]本实用专利申请要求对以下内容的优先权:在2009年I月29日提交的美国临时专利申请N0.61/148，312，名称为“用于在共享空间中的伪远程呈现”;在2009年5月26日提交的美国临时专利申请N0.61/181，280，名称为“用于发送触觉消息的系统和方法”，并且是在2009年7月14日提交的美国专利申请N0.12/502，702，名称为“用于发送触觉消息的系统和方法”的连续部分，该专利要求对2008年7月15日提交的，美国临时专利申请N0.61/080，978，名称为“用于基于物理的触觉消息的系统和方法”的优先权；在2008年7月15日提交的美国临时专利申请N0.61/080，981，名称为“用于将消息内容映射到用于振动触觉消息的虚拟物理属性的系统和方法”;在2008年7月15日提交的美国临时专利申请N0.61/080，985，名称为“用于在被动和主动模式之间切换传感器触觉反馈功能的系统和方法”;在2008年7月15日提交的美国临时专利申请N0.61/080, 987，名称为“用于消息接收者的姿势指示的系统和方法”；以引用的方式将以上全部内容并入本文。

【技术领域】
[0005]本发明一般地涉及图形用户界面，并且更具体地涉及用于解释与图形用户界面的物理交互的系统和方法。

【背景技术】
[0006]传统用户设备可以使用基本界面机制来允许用户与设备进行交互，诸如触摸屏或按键，以选择应用程序、拨打电话号码、或输入文本消息。在这类设备中，在多层级界面中导航可能是乏味的，要求用户集中注意力，要求对设备的准确操作以正确访问期望的功能，或者可能要求使用双手来握住和导航用户界面。例如，该设备可能包括常规的文本消息系统，其可以使用多步骤处理，选择消息接收者、输入信息、和发送消息。因此，就需要系统和方法响应于用户姿势，解释与图形用户界面的物理交互。


【发明内容】

[0007]公开了用于解释与图形用户界面的物理交互的系统和方法的实施例。例如，一种用于解释与图形用户界面的物理交互的系统是具有以下内容的设备:被配置为由用户握住的机壳，放置在机壳中的显示器，该显示器被配置为显示图形用户界面，以及放置在机壳中的传感器，该传感器被配置检测机壳移动的自由度。该设备还包括放置在机壳中并与显示器和传感器通信的处理器，将处理器配置为从传感器接收传感器信号，传感器信号包括与移动相关联的参数，以基于该参数确定与图形用户界面相关联的命令，以基于该命令确定将要执行的功能，并且执行该功能。
[0008]提出这些说明性实施例并非意图限定或定义本发明，而是提供示例来帮助理解本发明。在具体描述中讨论说明性实施例，其中提供对本发明的进一步描述。通过检查本说明，可进一步理解本发明的各种实施例所提供的优点。

【专利附图】

【附图说明】
[0009]当参照附图阅读以下详细描述时，将更好地理解本发明的这些和其他特征、方面和优点。
[0010]图1示出根据本发明一个实施例的用于提供图形用户界面的设备；
[0011]图2a_d示出根据本发明一个实施例的图形用户界面；
[0012]图3示出根据本发明一个实施例的用于提供图形用户界面的方法；并且
[0013]图4_9b示出根据本发明实施例的图形用户界面。

【具体实施方式】
[0014]本发明的实施例提供了用于解释与图形用户界面的物理交互的系统和方法。
[0015]例如，在本发明的一个说明性实施例中，蜂窝电话包括:触摸感应显示器、用于执行各种应用程序的处理器、以及能够感应蜂窝电话移动的传感器。当被激活时，蜂窝电话显示图形用户界面，以允许用户访问蜂窝电话提供的功能，诸如电话功能、联系人信息、互联网浏览器、和电子邮件功能。类似于某些常规蜂窝电话，说明性蜂窝电话的用户可以对触摸感应显示器进行触摸，以与图形用户界面交互，诸如触摸各种图标以激活蜂窝电话提供的功能。然而，本说明性实施例还允许用户以非常规方式与蜂窝电话交互。
[0016]例如，用户可以快速轻摇或晃动蜂窝电话以激活动作感应图形用户界面。一旦激活了动作感应图形用户界面，则用户可以在各种方向上或者通过各种定向物理地移动电话，以在图形用户界面的不同特性中导航。例如，一个说明性图形用户界面可以显示代表在蜂窝电话内可用的功能的多个图标。沿着表示诸如常规6速档位切换模板这样的汽车的档位切换模板的一系列信道，和在档位切换模板内的档位切换杆的图形表示一起，布置图标。为了导航到期望的功能，用户可以移动电话，好像它是换挡杆一样。当用户移动蜂窝电话时，诸如陀螺仪传感器这样的传感器检测到蜂窝电话的移动，并且将移动信息提供给蜂窝电话的处理器。处理器解释传感器信号，并且改变所显示的档位切换把手的位置，以跟踪蜂窝电话的移动。一旦用户“切换”到期望的功能，则用户可以快速轻摇或者晃动蜂窝电话以激活功能。同样，轻摇被传感器检测到并被传输给处理器。处理器将动作解释为功能的选择，然后执行功能。当用户希望在无需有意集中于通过触摸操作用户界面而快速激活功能时，或者如果用户在他的一只手中携带了东西而仅有另一只手自由使用蜂窝电话，该动作感应图形用户界面可以是令人满意的。
[0017]现在参照图1，图1示出根据本发明一个实施例的用于提供图形用户界面的设备100。设备100包括:机壳110、显示器120、处理器130、传感器140、和致动器150。在所示实施例中，机壳110是蜂窝电话机壳，然而，在其他实施例中，机壳110可以是其他类型的机壳，诸如用于个人数字助理(PDA)、远程遥控器(例如，用于TV)、蜂窝电话、移动计算机、显不器、或其他合适设备的机壳。在一些实施例中，机壳I1可以包括手持设备机壳,在其他实施例中，机壳110可以包括更大的机壳，例如，计算机监视器机壳或者用于固定显示器的机壳。在机壳内部放置显示器120，从而将显示器120配置为向设备100的用户显示图像。在图1所示的实施例中，显示器120是触摸感应显示器，并且被配置为感应对显示器120的触摸，诸如从用户的手指或者触笔。还将显示器120配置为向用户显示图形用户界面，诸如向用户提供状态信息，或者提供界面以允许用户访问由设备100提供的功能。
[0018]设备100还包括放置在机壳110内的处理器130。在图1所示的实施例中，将处理器130放置在设备100内，从而其完全放置在设备100内，这由虚线来表示。然而，在一些实施例中，处理器可以不放置在设备100内。例如，在一个实施例中，设备可以包括与监视器或LCD屏通信的桌面计算机。类似地，在一些实施例中，将传感器140和致动器150完全放置在设备100内，而在一些实施例中，传感器140或致动器150的部分或全部可以是对用户可见的。在所示实施例中，处理器130与传感器140、致动器150和显示器120通信。将处理器130配置为从传感器140接收传感器信号，以向显示器120输出显示信号，并且向致动器150输出致动器信号。
[0019]将处理器130进一步配置为基于从传感器140接收到的一个或多个传感器信号，确定与用户界面相关联的命令。例如，在上述档位切换实施例中，传感器140可以向处理器130发送传感器信号，指示用户已经向左移动蜂窝电话100。处理器130确定应当产生命令，以使得在图形用户界面中显示的档位切换把手向左移动。在图1所示的实施例中，用户还可以通过在对应于档位切换把手的位置上触摸显示器120，并且将其手指向左拖动，来引发类似的命令。因此，处理器130可以解释传感器信号，以产生与图形用户界面相关联的命令。例如，处理器130可以接收与蜂窝电话100的移动相关联的多个传感器信号，然后接收指示功能的选择的传感器信号。
[0020]还可以将处理器130配置为基于图形用户界面而产生显示信号。典型地，图形用户界面在处理器130上作为其他应用程序(或者操作系统)的一部分或者与其配合来执行，并且在显示设备上显示。因此，图形用户界面可以令处理器产生显示信号，以令显示器120显示图形用户界面。在处理器130诸如基于感应到的蜂窝电话110的移动，发起与图形用户界面相关联的命令之后，图形用户界面可以更新图形用户界面的状态，然后令处理器130产生显示信号，以更新图形用户界面的显示。
[0021]在图1所示的实施例中，传感器140放置在蜂窝电话100中，并且被配置为检测蜂窝电话100的移动和定向变化。然而，在一些实施例中，部分或所有传感器140、或者多个传感器可以位于设备的外部，可由用户接触。所示的传感器140包括能够检测顺着三个平移轴160的移动，以及围绕三个平移轴160的旋转的陀螺仪传感器。然而，在其他实施例中，可以采用其他合适的传感器，诸如一个或多个加速度仪，用于检测顺着或绕着一个或多个轴的平移或旋转移动。其他适当的传感器可以包括:用于从诸如光或无线电源这样的外部源接收输入的接收器，用于确定设备100的位置。例如，可以将多个无线电发射器安排在一个空间内，传感器140可以从发射器接收无线电信号，并且基于接收到的无线电信号，确定位置和定向。
[0022]在其他实施例中，传感器140可以包括:GPS传感器、触摸感应输入设备(例如，触摸屏、触摸垫)、纹理触笔(texture stylus)、成像传感器、或一些其他类型的传感器。可以将一个或多个传感器140配置为检测加速度、倾斜、惯性、或位置的变化。例如，设备100可以包括被配置为测量设备100的加速度的加速度仪。或者蜂窝电话100可以包括:位置传感器、旋转速度传感器、光传感器、压力传感器、纹理传感器、照相机、麦克风、或者其他类型的传感器。尽管参考感应到的设备的移动来讨论本发明的一些公开实施例，但是附加于或者代替这类感应到的移动，可以使用其他感应到的输入，包括但不限于:压力、接触、按钮压下、或者可听见的信号。这类传感器可以有利于用户仅使用一只手来与设备进行交互。
[0023]还将传感器140配置为将传感器信号140发送到处理器130。传感器信号可以包括与设备100的位置、移动、加速、或“冲击(jerk) ”(即，加速度的导数)相关联的一个或多个参数。例如，在一个实施例中，传感器140产生并发送包括多个参数的传感器信号，每个参数与沿着或绕着一个已测得的水平或旋转轴的移动相关联。在本发明的一些实施例中，传感器140可以提供多触摸感应能力。例如，在一个实施例中，压力传感器可以检测在压力传感器上的多个位置上的压力，并提供与在多个位置的每一个上的压力相关联的一个或多个传感器信号。进一步，在不同的实施例中，传感器可以位于设备的前部、侧部或后部，并且每个均可以提供与接触或压力相关联的一个或多个传感器信号。在一些实施例中，传感器输出电压或电流，处理器被编程为对其进行解释，以指示沿着一个或多个轴160的移动。
[0024]处理器130还与一个或多个致动器150进行通信。将致动器150配置为从处理器130接收致动器信号，并输出触觉效果。在处理器130确定触觉效果之后，其将致动器信号发送给致动器150。将致动器信号配置为令致动器150输出已确定的触觉效果。致动器150可以是例如:压电致动器，电动马达，电磁致动器，音圈，线性谐振致动器，形状记忆合金，电活性聚合物，电磁阀，偏心旋转质量电机(ERM)或线性谐振致动器(LRA)。
[0025]现在参照图2a，图2a示出根据本发明一个实施例的图形用户界面。根据本发明的一些实施例，图2a所示的用户界面可以由用户仅使用单手来移动设备100而被操作。在图2a所示的实施例中，图1的设备100执行可用于选择和激活设备100的功能的用户界面210。在图示的实施例中，用户界面包括:虚拟工作区230或虚拟物理区，其中维度超过显示器120的可视区域。在各种实施例中，虚拟工作区230可以包括一维或多维工作区。在一些实施例中，虚拟工作区可以有边界，而在其他实施例中，其可以无边界。为了在虚拟工作区中导航，用户在一个或多个方向上移动设备100，以选择期望的功能。
[0026]例如，用户可以在与设备的显示器120的平面近乎垂直的方向上(B卩，沿着Z轴或表面法线)，晃动(或轻摇)设备、对触摸感应显示器进行触摸、或者按下在设备上按钮。通过这样做，设备100可以确定其应当激活虚拟工作区230，并且将感应到的设备100在X或Y方向上的移动解释为对应于在虚拟工作区230内的虚拟移动。用户随后可以在虚拟工作区230内移动设备100，以选择期望的功能。为了选择功能，一旦通过诸如将其放置在显示器120的中心、或者做出与选择功能相关联的其他姿势而选择了期望的功能，用户可以再次在敲击动作中沿着Z轴晃动设备、对触摸感应显示器120进行触摸、或者则按下按钮。如以下将要具体描述的，在一些实施例中，触觉效果可以辅助用户确定功能何时被选择。替代性地，用户可以选择性地不执行功能，并可以向设备100指示，设备100不应再将设备的移动解释为在虚拟工作区230内的移动。
[0027]在图2b所示的相关实施例中，用户界面240可以包括三维虚拟工作区232，诸如在虚拟物理空间232中，从而用户可以在X、Y或Z轴中的任何一个上移动设备，以选择用来执行的功能。在这类实施例中，用户可以使用一个或多个姿势启用或禁止虚拟工作区232，诸如从一侧向一侧晃动设备100、敲击触摸感应显不器120、挤压在设备100的侧面或后部上的压力传感器、对设备上的麦克风说命令、或者压下在设备100上的按钮。另外，用于与该三维虚拟物理空间相交互的本发明的实施例可以包括:用户可以选择并激活的除了二维图标以外的其他三维对象。
[0028]例如，在本发明的一个实施例中，多个功能可以均由在三维虚拟物理空间232中的虚拟物理对象270-274表示，诸如球或方块。在一个实施例中，当开始在虚拟物理空间232内导航时，用户位于X、Y和Z轴的原点上，从而布置在虚拟物理空间232内的对象270-274相对用户来定位。因此，当在虚拟物理空间232内导航时，用户可以从原点移开，诸如通过向前走或向后走，或者通过在各个方向上移动设备100，这可以由设备100内的传感器检测到。该移动可以导致用户从原点移动开。然而，用户可以重置图形用户界面240，以使其重新以用户为中心。另外，一旦在以后重新激活虚拟物理空间232之后，可以将用户的位置重置为原点。
[0029]在本发明的实施例中提供的图形用户界面240包括虚拟物理空间232，用户可以将设备移动到各种位置和定向，以查看代表在虚拟物理空间中“飘浮”的应用程序和数据的不同虚拟物理对象270-274，诸如球或方块。用户可以布置各种虚拟物理对象270-274的位置，诸如通过选择对象，并将其拖动到虚拟物理空间232内的新位置上。例如，用户可以布置对象270-274，从而代表经常访问功能的对象更靠近用户，即对象的位置为坐标靠近X、Y、和Z轴的原点，而代表不经常访问功能的对象离用户位置更远。因此，访问经常使用的功能更加容易，因为设备100的较少移动可能是必须的。
[0030]在一些实施例中，用户可以通过由一个或多个传感器140检测到的其他类型的移动或姿势，与虚拟物理空间232或虚拟物理对象270-274相交互。当设备100倾斜、晃动、或以其他方式移动时，一个或多个传感器可以检测到这些移动，并且至少部分基于通信设备的移动而产生传感器信号。在一个实施例中，将加速度仪传感器配置为检测设备100的倾斜和加速。随着设备100倾斜，可以将加速度仪配置为至少部分基于设备100的倾斜或加速度，将信号发送给处理器。在另一实施例中，显示器120包括被配置为检测在触摸感应显示器上的姿势或位置输入的触摸感应显示器。当手指位于触摸感应显示器上或拖动时，触摸感应显示器可以至少部分基于手指移动，诸如手指移动的速度或压力而产生信号。在进一步的实施例中，设备100在设备的一个或多个表面上包括压力传感器，诸如在设备100的侧面或背面，或者在显示器上。用户可以在一个或多个位置上触摸该压力传感器，以选择或与虚拟物理空间230或虚拟物理对象270-274进行交互。
[0031]在一个实施例中，一旦接收到传感器信号，则将处理器130配置为至少部分基于传感器信号，确定与虚拟物理空间的交互。例如，在虚拟物理空间中的导航可以至少部分基于从传感器信号提取的特征。例如，可以将设备100向前倾斜解释为在虚拟物理空间中的向前移动。可以将设备100向右或向左移动解释为在虚拟物理空间中向右看或向左看。
[0032]在一些实施例中，两个用户可以连接以访问相同的虚拟物理空间，或者可以合并其各自的虚拟物理空间。例如，图2c和2d示出两个用户将其各自的虚拟物理空间连接在一起。该实施例可以有利于在不同的设备之间共享数据或应用程序。例如，在一个实施例中，两个或两个以上的用户可以在其各自的设备上激活虚拟物理空间232、243，随后使用在其图形用户界面中构建的功能，彼此连接。在该实施例中，每个用户可以查看代表其设备的内容的虚拟物理空间232、234，以及查看其他用户(或多个用户)设备的虚拟物理空间232、234，以及他自身的内容。例如，在图2c所示的一个实施例中，在第一用户的虚拟物理空间232的一个边界上，部分透明的屏可以呈现为指示在第一用户的虚拟物理空间232和另一用户的虚拟物理空间234之间的边界。在其他实施例中，如图2d所示，当两个(或两个以上)用户连接其各自的虚拟物理空间时，可以创建新虚拟物理空间236，其包括每个用户的虚拟物理空间的部分或所有内容。可以用视觉、触觉或听觉来指示特定虚拟物理对象270-274,280-284的所有。例如，当第一用户导航到第二用户所有的对象283时，第一用户可能体验到不同于当其导航到其所有的虚拟物理对象270-274之一时感觉到的触觉效果。
[0033]在一个实施例中，第一用户可以使用其设备激活第一虚拟物理空间232，第二用户可以使用其设备激活第二虚拟物理空间234。第一用户可以操作其设备，向第二用户设备发送请求，以将第一虚拟物理空间232与第二虚拟物理空间234连接。随后，第二用户可以接收请求，并且两个设备可以连接其各自的虚拟物理空间232、234。在一个实施例中，第一用户可以看见到第一虚拟物理空间232的扩展，其中扩展包括第二虚拟物理空间234。类似地，第二用户可以看见到第二虚拟物理空间234的扩展，其中扩展包括第一虚拟物理空间232。因此,第一和第二用户可以在第一和第二虚拟物理空间内查看和导航。在一个实施例中，第一和第二虚拟物理空间232、234可以合并形成第三虚拟物理空间236，其包括来自于第一虚拟物理空间232的对象270-274的部分或所有以及来自于第二虚拟物理空间234的对象280-284的部分或所有。
[0034]在虚拟物理空间232、234连接之后，用户可以在共享(第三)虚拟物理空间236或者附加的第一和第二虚拟物理空间232、234内导航，以传送数据，诸如共享存储在一个用户设备上的数据，或者共享应用程序的副本。例如，第一用户可以看见在第二虚拟物理空间234内、或者在共享(第三)虚拟物理空间236内，代表在第二用户设备上的歌曲的对象283。第一用户可以操控设备100来选择并收听歌曲对象283，或者请求允许收听歌曲对象283。第二用户设备可以接收请求，并且可以以触觉效果、视觉提示、或听觉提示方式通知第二用户。随后，第二用户可以操控其设备接收请求或拒绝请求。一旦从第二用户接收到许可，或者在选择歌曲283之后,在弟一用户的设备上为其播放歌曲283。在收听歌曲之后，第一用户可以接着选择并将歌曲拖动到代表存储在第一用户设备上的对象270-274的一部分虚拟物理空间中，诸如虚拟物理空间232，或者可以做出姿势，以指示应当将对象复制到第一用户设备。用户可以通过在共享虚拟物理空间236内导航，并与各种虚拟物理对象270-274,280-284进行交互，来类似地共享其他应用程序或数据，诸如图片或视频。
[0035]在一个实施例中，多个用户可以访问相同的虚拟物理空间236，并且使用运行在每个用户设备上的共享应用程序或者公共应用程序进行交互。例如，在一个实施例中，每个用户可以执行允许用户在聊天室中聊天的聊天应用程序272。聊天室可以被表示在可由每个用户访问的共享虚拟空间中。用户可以在其自身的专用虚拟物理空间中产生虚拟消息，诸如通过产生代表消息的虚拟物理对象，并将它们传送到代表聊天室的共享虚拟物理空间。例如，用户可以产生消息，并且将其封装在虚拟消息对象中，接着将物理特性应用到虚拟消息对象，诸如通过以高速将其拖向聊天室。当虚拟消息对象进入聊天室时，其他用户均将接收具有物理属性的消息。另外，用户可以通过将虚拟消息对象传送到其他用户的虚拟专用空间中而不是到聊天室中，将虚拟消息对象传送到其他个人用户，以模拟在很多常规聊天室中可用的悄悄话功能。这类交互可以令不同用户有更加丰富的聊天体验。
[0036]返回虚拟物理空间隐喻，在一些实施例中，用户可以通过将设备100在不同方向上或通过不同定向进行移动，与虚拟物理空间230-236进行交互。然而，在一些实施例中，用户可以与具有不同类型传感器140的设备100进行交互。例如，在一个实施例中，设备100可以包括位于设备100的后表面上的多触摸压力传感器，诸如与设备显示器相反的表面。用户可以在一个或多个位置上触摸压力传感器140，并且在对应于与传感器140接触位置的位置上，以在显示器上的显示点或光标的形式接收触摸的视觉反馈。随后，用户可以与传感器140进行交互，以提供姿势或其他输入来对设备100显示的图形用户界面进行导航。在一些实施例中，显示器可以是触摸感应的，因此，接触设备背面上的触摸感应传感器可以提供对图形用户界面的控制，好像用户接触触摸感应显示器一般。但是，在一些实施例中，通过使用在设备100背面上的触摸感应传感器所做的输入可以允许不同于使用触摸感应显示器可用的命令。在一些实施例中，附加于或代替在设备100的后表面上的传感器，该多触摸或其他传感器可以位于设备100的一个或多个侧面上。
[0037]在一些实施例中，当用户与虚拟物理空间交互时，处理器产生的触觉或声音效果可以模仿与虚拟物理空间的交互。例如，当用户从一个虚拟物理对象导航到另一个时，除了更新图形用户界面的显示之外，处理器可以产生一个或多个被配置使得致动器向用户输出触觉效果的致动器信号。例如，用户在到达新功能时，可能体验到小的“弹跳”或振动。在一个实施例中，当在虚拟物理空间中，一个用户向另一用户发送诸如图片这样的虚拟物理对象时，振动和声音可以指示图片由第一用户发送，由第二用户接收。该虚拟物理对象的传输也可以使得基于对象的属性，诸如加速度、质量(例如，“较重”的对象可能具有较大的文件大小)、或紧急性，产生触觉效果。诸如设备100这样的第一设备可以从第二设备接收虚拟物理对象，并且输出触觉效果或听觉声音，以指示已接收到对象。使用虚拟物理空间的图形用户界面的进一步实施例对于本领域的技术人员来说是明显的。
[0038]现在参照图3，图3示出根据本发明一个实施例的用于提供图形用户界面的方法。在图3的实施例中，方法300包括多个步骤，用于确定与用户界面的用户交互。
[0039]在本发明的一个实施例中，其相对图1所示的设备和图2所示的图形用户界面所讨论，方法300开始于步骤310，此时传感器(未示出)检测到设备100的移动。例如，在一个实施例中，设备100包括陀螺仪传感器140，其检测设备100沿着Z轴的移动。传感器产生和输出包括描述沿着Z轴的移动的信息的传感器信号，诸如但不限于:距离、速度、方向、加速度、加速度率(或冲击)、定向、旋转速度、旋转加速度(例如，扭矩)、或持续时间。在传感器输出传感器信号之后，方法继续到步骤320。
[0040]在步骤320，图1所示的设备100的一个实施例的处理器130接收传感器信号，并且至少部分基于传感器信号，确定与用户界面210相关联的命令。例如，处理器130确定在虚拟工作区(或虚拟物理空间)230-236内的移动。例如，在一个实施例中，处理器130接收指示设备100向右移动的传感器信号。处理器130确定用户已经通过将到工作区内的虚拟窗口向右移动特定距离，改变到虚拟工作区230中的视野。然而，在其他实施例中，可以不同地解释该移动。例如，在一个实施例中，处理器130可以将设备100向右移动解释为移动到当前被选中的对象右边的下一可用对象。
[0041]可以用不同的方式解释设备100的进一步移动。例如，用户可以将设备向左旋转。处理器可以将移动解释为与虚拟物理空间230-236的速率控制交互或者到虚拟物理空间230-236中的视野的旋转。在本发明的实施例中，速率控制指以设备100的位置指示的速率恒速移动。例如，如果用户将设备向右旋转20度，则到虚拟工作区230-236中的视野可以以一个速率向右移动。如果用户将旋转增加到45度，则视野可以以增加的速率向右移动。相反，位置控制模式可能导致在特定方向上，以与设备200的移动成正比，在虚拟工作区230-236内的移动。例如，如果用户将设备100向左移动三英寸，则到虚拟工作区230-236中的对应视野可以向左移动，等于在虚拟工作区230-236内的12英寸。可以采用将设备100的移动映射到虚拟工作区230-236内的进一步方法。
[0042]例如，在一个实施例中，处理器130可以确定用户已经激活了虚拟工作区230-236。在该实施例中，传感器140可以检测到设备100的快速移动，并将传感器信号发送给处理器130。处理器130接收传感器信号，并且至少部分基于传感器信号，确定虚拟工作区230-236已被激活。如果处理器130已经确定用户正与虚拟工作区230-236交互，则处理器130可以至少部分基于传感器信号，确定在虚拟工作区230-236内的移动。例如，在一个实施例中，传感器信号可以指不设备100在一个方向上的急剧、猛烈的动作。在该情况中，处理器130可以确定用户试图在该方向上快速滚动(scroll)，并且可以在虚拟工作区230-236内模拟惯性移动，其因模拟的摩擦力而随着时间减速至停止。然而，在其他实施例中，处理器130可以确定该移动指示在移动的方向上，移动到下一可用的功能。
[0043]在处理器确定与用户界面210相关联的命令之后，方法300继续到步骤330。替代性地，用户可以进一步操控设备100。在该实例中，方法返回到步骤310。
[0044]在步骤330，处理器130基于与用户界面相关联的移动确定功能。例如，在处理器130确定在虚拟工作区230-236内的移动之后，处理器130确定是否识别或选择了功能。例如，如果移动使得到虚拟工作区230-236中的视野以虚拟对象为中心，则处理器130可以确定已经选择了虚拟对象。在处理器130基于移动确定选择的功能之后，方法300继续到步骤 340。
[0045]在步骤340，处理器130接收进一步的输入，以指示功能应当被执行。例如，在一个实施例中，用户可以按下按钮，触摸设备100上的触摸感应显示器120上的区域，或者挤压压力传感器，以使得处理器130执行功能。在另一实施例中，用户可以以与执行姿势相关联的方式，移动设备100。例如，用户可以对设备100做出敲击手势，以指示应当执行选择的功能。一旦处理器100接收到应当执行选择的功能的指示，则处理器130执行功能。在功能被执行之后，方法返回到步骤310，并且用户可以进一步操作设备来执行其他任务。
[0046]除了与虚拟物理空间相关的图形用户界面以外，本发明的其他实施例提供了图形用户界面，其被配置允许对期望功能轻易访问，或者允许仅使用一只手轻易操作用户界面。
[0047]现在参照图4，图4示出根据本发明实施例的图形用户界面。在所示的实施例中，设备400包括用户界面410，其具有可由用户选择以执行各种功能的多个图标420a-f。例如，用户界面包括对应于电子邮件功能的图标420b，从而当用户选择该图标时，电子邮件应用程序被执行并变得可用。为了辅助用户导航用户界面410，用户界面410包括档位切换把手430，其可由用户在换挡模板440内操作，以选择要执行的功能。在一个实施例中，用户可以触摸档位切换把手430，并将把手拖动到期望的功能。另外，用户可以在换挡模板440内在期望方向上简单地晃动(或轻摇)设备200，以移动换挡把手430。在该实施例中，将放置在设备400内的诸如陀螺仪或其他合适传感器的传感器(未示出)配置为检测设备400的移动，并且输出指示移动的传感器信号。将放置在设备400内的处理器(未示出)配置为接收传感器信号，并且确定对应于设备400移动的，换挡把手430在档位模板内的移动。例如，如果用户向左轻摇设备400，则处理器接收到指示设备400向左移动的传感器信号，并且确定换挡把手的对应移动。
[0048]请注意，由于在一些实施例中，可以用多种定向握住设备400，移动的方向可以根据设备400的定向而变化。例如，在图示的实施例中，用户在第一定向上握住设备400。然而，用户可以选择性地将设备400顺时针旋转90度。在该实例中，用户界面可以以相反方向旋转90度，从而换挡模板相对于用户保持相同的定向，尽管是在“景观”视野而不是先前的“人像”视野。
[0049]在一个实施例中，用户档位模式可以包括对应于在用户界面平面中的正交X和Y轴的二维模式。在该实施例中，用户通过在诸如上或下的第三维度上晃动(或轻摇)设备来激活功能，以指示应当执行功能。该实施例对于可能没有空闲双手操控设备400，例如，一只手握住设备400、第二只手选择功能的用户来说是有益的。在该情形中，用户可以操作用户界面来通过仅使用一只手选择和激活功能。
[0050]在相关实施例中，设备400可以包括位于设备400背面上的多触摸传感器。在该实施例中，用户可以使用一个或多个手指向设备400发送命令，以与图形用户界面相交互。可以用光标或者风格化的指尖图标提供对用户手指的位置的视觉指示。在一些实施例中，设备400可以提供对用户手指的位置的触觉指示，诸如振动。
[0051]现在参照图5，图5示出根据本发明一个实施例的图形用户界面500。在图5所示的实施例中，用户导航到在设备510内存储的联系人列表520a-d。对于每个联系人，用户可以访问将要执行的多种功能，诸如拨打电话、发送文本消息、发送电子邮件、或编辑用户的联系人信息。在图5所示的实施例中，用户可以在对应于显示联系人的位置上，触摸设备510的触摸感应显示器。当触摸感应屏检测到接触时，其向设备510中的处理器(未示出)发送信号，这使得菜单530呈现为具有在用户手指周围的环中布置的多个功能。在该实施例中，用户可以随后在期望功能的方向上移动或轻击其手指，或者可以将其手指从触摸屏移开，以使得菜单530消失。
[0052]在使用动作感应的相关实施例中，用户可以通过将设备510在一个方向上晃动而滚动联系人530a_d列表，随后当光标、选择框、或其他图形用户界面元件指示期望的联系人已被选择时，通过轻摇设备来选择联系人。随后，用户可以使得圆形菜单530出现，并且可以在期望功能的方向上轻摇设备510，或者可以晃动设备，以使得菜单530消失。为了与设备510进行交互，该实施例可以提供更加简单和更加直观的用户界面。可以于在设备内其他功能可用的情况下或者当在虚拟物理空间内导航时，使用该菜单系统530。
[0053]现在参照图6，图6示出根据本发明一个实施例的图形用户界面600。在图6所示的实施例中，图形用户界面包括具有沿着轮子布置的多个图标的虚拟旋转轮。该图形用户界面可以是有利的，因为用户可以仅使用单手即可有效地导航界面。例如，用户可以如图6所示握住设备610，从而用户的拇指可以与设备的触摸感应显示器620相交互。用户可以使用其拇指使轮630旋转，以将代表期望功能的图标带入可由其拇指轻易达到的位置。用户随后可以执行期望的功能，诸如通过用其拇指敲击图标。在相关实施例中，设备可以包括位于设备侧面或设备背面的触摸感应传感器，用户可以操作它们来与图形用户界面600相交互。在该实施例中，通过轮子可以访问其他类型的数据，诸如联系人、照片、音乐或视频。
[0054]现在参照图7，图7示出根据本发明实施例的图形用户界面700。在图7所示的实施例中，以模拟的深度维度，在列表730中排列了多个功能(例如，功能740a)。例如，可以将沿着列表的项目显示为距离用户更近或更远，并且用户可以通过触摸设备710的触摸感应显不器720,并将其手指在一个方向或另一方向上拖动,来滚动列表。在另一实施例中,用户可以与位于设备710的不同部位诸如设备的侧面或背面上的触摸感应传感器诸如多触摸传感器进行交互。
[0055]进一步，用户可以选择将特定功能包括在列表中，诸如呼叫特定号码或者向特定用户发送文本的功能，而不是更加通用的应用程序。这些特定功能可以由用户手工选择进行并入，或者可以由设备基于参数自动管理，或者可以手工或自动管理。当自动布置特定功能时，设备610可以选择最经常使用的功能，或者基于其他度量排序功能，例如用户将基于其先前习惯而选择给定功能的可能性。另外，用户可以在两个或更多个不同自动布置之间进行切换，诸如通过使用开关750。
[0056]现在参照图8，图8示出根据本发明一个实施例的图形用户界面800。在图8所示的实施例中，图形用户界面800提供了非常规的搜索功能。尽管常规的搜索功能要求用户输入字词或者多个字符，以令搜索执行，但是在图8所示的实施例中，用户可以简单地通过在触摸感应屏802上书写字母，或者通过将设备810以各种字母的形状进行移动以指示将要被选择的项目来激活搜索。在用户已经指示搜索项目的第一字母之后，处理器(未示出)可以开始搜索项目，诸如应用程序、数据文件、联系人等。由于检测到其他字母，因此处理器可以进一步缩小可能搜索结果的列表。当找到满足搜索标准的项目时，设备801可以根据此处公开的各种图形用户界面，诸如在虚拟物理空间内的虚拟对象，来显示结果。用户随后可以在搜索结果中导航，并选择期望的对象。
[0057]现在参照图9a_b，图9a_b示出根据本发明实施例的图形用户界面。在图9a所示的实施例中，用户可以使用非常规的响应，对进入电话呼叫或文本消息进行响应。例如，典型地，当用户接收到电话呼叫时，用户可以应答电话或忽略电话，诸如通过让电话响铃或者让铃声静音。然而，本发明的实施例提供了对响应该事件的更多选项。
[0058]在本发明的一个实施例中，诸如此处所公开的，当接收到电话呼叫时，设备900可以向用户呈现根据本发明的各种实施例布置的多个选项910-930。选项可以包括响应于消息或者忽略呼叫但是发送响应的选项。例如，如果用户接收到来自男朋友的呼叫，但是不能应答电话，则用户可以选择一对嘴唇的图标。呼叫将被忽略，但是消息将向始发者发送，并且在设备905的屏上显示，或者输出为触觉效果。替代性地，如果用户正与其男朋友生气，则其可以选择具有拳头或关闭的门的图标，以忽略呼叫或者对文本消息进行响应。在一个实施例中，呼叫者随后可以接收快速、猛烈的触觉效果，伴随拳头的图片，以指示呼叫已被忽略，或者以触觉效果关闭的门的动画，以指示门被砰地关闭。在一些实施例中，在响应于电话呼叫或者在电话呼叫期间，用户可以与位于设备上的一个或多个传感器进行交互，诸如位于设备侧面或后面的压力传感器，或者通过移动设备来向呼叫者发送响应。例如，在一个实施例中，设备可以包括位于设备侧面的压力传感器。通过使用该实施例，用户可以挤压设备，以向其他方发送触觉信号，诸如拥抱。
[0059]本发明的实施例可以用数字电子电路、或计算机硬件、固件、软件、或这些技术的组合来实施。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括计算机可读取介质，诸如耦合到处理器的随机存取存储器(RAM)。处理器执行存储于存储器中的计算机可执行程序指令，诸如执行一个或多个用于消息的计算机程序。这类处理器可包含微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、和状态机。这类处理器可进一步包括:诸如PLC的可编程电子器件、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPR0M或EEPR0M)、或其他类似器件。
[0060]这类处理器可包括介质，或者可与介质进行通信，例如计算机可读介质，介质存储指令，当处理器执行这些指令时，指令使得处理器按处理器执行或促成的那样，执行此处描述的步骤。计算机可读介质的实施例可包括但不限于，具有计算机可读指令的能够提供处理器(诸如在web服务器中的处理器)的电、光、磁或其他存储或传输设备。介质的其他实例包括但不限于:软盘、CD-ROM、磁盘、存储芯片、R0M、RAM、ASIC、已配置的处理器、所有的光介质、所有的磁盘或其他磁介质、或计算机处理器可从其读取的其他介质。而且，各种其他设备可以包括计算机可读取介质，诸如路由器、私人或公共网络，或者其他传输设备。描述的处理器和处理可以在一个或多个结构中，并且可以分散在一个或多个结构中。处理器可包括用于执行此处描述的一个或多个方法(或方法的一部分)的代码。
[0061]综述
[0062]前述对本发明实施例(包括优选实施例)的描述仅仅是为了说明和描述的目的而展示，而并不是意图穷尽或限定本发明于披露的特定形式。在不偏离本发明的精神和范围的前提下，本发明的各种修改和调整对本领域的技术人员是明显的。
[0063]此处引用的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构、操作或其他特征可以包括在本发明的至少一个实施中。本发明不受限于上述的特定实施例。在说明中的多个位置中出现的短语“在一个实施例中”或者“在实施例中”中不是必须指示相同的实施例。在本说明中相对于“一个实施例”描述的任何具体特征、结构、操作、或其他特征可以与相对任何其他实施例描述的其他特征、结构、操作、或其他特征组合在一起。
[0064]如上下文的指示，在本文中使用连词“或者”意欲包括包含性和排除性关系，或者包含性或排除性关系。
【权利要求】
1.一种设备，包括: 显示器，所述显示器被配置为显示包括共享虚拟物理空间的图形用户界面； 传感器，所述传感器被配置为检测与所述共享虚拟物理空间的用户交互； 与所述显示器和所述传感器通信的处理器，所述处理器被配置为: 从所述传感器接收传感器信号，所述传感器信号包括与所述用户交互相关联的数据； 从远程设备接收远程信号，所述远程信号与所述共享虚拟物理空间相关联； 至少部分基于所述用户交互，确定命令； 至少部分基于所述命令，确定将要执行的功能；以及 执行所述功能。
2.如权利要求1所述的设备，其中所述共享虚拟物理空间包括多个虚拟物理对象。
3.如权利要求1所述的设备,其中所述共享虚拟物理空间包括二维虚拟物理空间。
4.如权利要求3所述的设备，其中所述共享虚拟物理空间包括三维虚拟物理空间。
5.如权利要求1所述的设备，进一步包括致动器，并且其中所述处理器被进一步配置为:基于所述用户交互产生致动器信号，并且将所述致动器信号输出到所述致动器，以使得所述致动器输出触觉效果。
6.如权利要求1所述的设备，其中所述远程信号包括和与所述共享虚拟物理空间的第二用户交互相关联的数据。
7.如权利要求1所述的设备，其中所述命令包括与从所述设备向所述远程设备转移数据相关联的命令。
8.如权利要求1所述的设备，其中所述处理器进一步被配置为至少部分地基于所述远程信号来确定所述命令。
9.一种方法，包括: 显示包括共享虚拟物理空间的图形用户界面； 从传感器接收传感器信号，所述传感器被配置为检测与所述第一设备的用户交互，所述第一用户交互与所述共享虚拟物理空间相关联； 从远程设备接收远程信号，所述远程信号与所述共享虚拟物理空间相关联； 至少部分基于所述用户交互，确定命令； 至少部分基于所述命令，确定将要执行的功能；以及 执行所述功能。
10.如权利要求9所述的方法，其中所述共享虚拟物理空间包括多个虚拟物理对象。
11.如权利要求9所述的方法，其中所述共享虚拟物理空间包括二维虚拟物理空间。
12.如权利要求9所述的方法，其中所述共享虚拟物理空间包括三维虚拟物理空间。
13.如权利要求9所述的方法，进一步包括:基于所述用户交互产生致动器信号，并且将所述致动器信号输出到被配置为输出触觉效果的致动器。
14.如权利要求9所述的方法，其中所述远程信号包括和与所述共享虚拟物理空间的第二用户交互相关联的数据。
15.如权利要求9所述的方法，其中所述命令包括与从所述设备向所述远程设备转移数据相关联的命令。
16.如权利要求9所述的方法，其中所述处理器进一步被配置为至少部分地基于所述远程信号来确定所述命令。
【文档编号】H04M19/04GK104407667SQ201410557837
【公开日】2015年3月11日 申请日期:2010年1月29日 优先权日:2009年1月29日
【发明者】大卫·比恩鲍姆, 克里斯托弗·J·乌尔里希, 彼得·鲁宾, 蓬·大卫·努, 里奥·可佩洛 申请人:意美森公司