带有多个视图、显示器以及物理学的姿势输入的制作方法

带有多个视图、显示器以及物理学的姿势输入的制作方法【专利摘要】本发明描述了带有多个显示器、视图，以及物理学的姿势输入。在一个示例中，方法包括生成在相对于用户和要由用户操纵的虚拟对象的不同的位置具有多个对象的三维空间，在显示器上呈现具有多个不同的对象的至少一部分的显示区，检测用户针对虚拟对象的悬浮姿势，虚拟对象位于显示区之外，基于悬浮姿势，生成虚拟对象在三维空间的轨迹，轨迹包括与三维空间中的多个对象的对象的交互，以及，在显示区，呈现生成的轨迹的一部分。【专利说明】带有多个视图、显示器以及物理学的姿势输入[0001]领域[0002]本描述涉及计算机系统中的用户输入方法和显示，尤其涉及在多个显示器或三维显示系统中表示用户姿势。[0003]背景[0004]开发了计算机系统输入以包括悬浮姿势（airgesture)和触摸屏姿势作为输入。悬浮姿势会涉及用户移动他们的身体并让对应的动作在显示器上发生或使对应的命令由计算系统执行。当前悬浮姿势技术的一种形式使用可移动传感器作为控制器或作为游戏控制台。传感器被持握在手中，附接到身体，或由手、脚或身体的其他部位操纵（诸如在任天堂公司的Wii遥控器中，Sony公司的PlayStationMove(移动游戏站）中，以及各种智能电话，以及手持式游戏设备中）。悬浮姿势技术的另一形式使用3D相机和麦克风技术（诸如在微软公司的MicrosoftKinect中以及Sony公司的PlayStationEye(游戏站之眼）中），以将人体运动近似为模态输入源。[0005]电视机，计算机，以及便携式设备显示器是用于查看悬浮姿势模态输入对图形环境的影响的典型反馈机制。相机收集用于姿势检测的视频输入，并且利用在游戏控制台或个人计算机上运行的软件来解释视频输入。相机阵列可允许相机感应深度。这提供了识别人的身体相对于相机的位置或距离的能力。相机阵列允许朝向相机移动以及远离相机移动的附加悬浮姿势。[0006]作为另一形式的姿势，游戏控制台和诸如台式机、笔记本、平板和智能电话之类的计算机的屏幕结合了对触摸输入作出响应的触摸屏技术。显示屏幕上的触摸和扫掠姿势被用作用于执行将对象从一个屏幕（例如，手持式控制台屏幕）移动到另一屏幕（例如，电视屏幕）的命令的用户输入。例如，当与PlayStation3(游戏站3)控制台一起使用PlayStationPortable(便携式游戏站）游戏控制台时，实现了这样的特征，两者都是由Sony公司销售的。在笔记本电脑的跟踪板上，以及在外设鼠标或外部跟踪板上的表面上也提供了触摸和扫掠姿势。[0007]附图简述[0008]本发明的各实施例是作为示例说明的，而不仅限于各个附图的图形，在附图中，类似的参考编号引用类似的元件。[0009]图1A是示出了根据本发明的一个实施例的应用程序的第一视图和应用于该视图的用户姿势的显示器的图示。[0010]图1B是示出了根据本发明的一个实施例的应用程序的第二视图和应用于该视图的用户姿势的显示器的图示。[0011]图1B是同时示出了根据本发明的一个实施例的应用程序的第一和第二视图和应用于视图中的一个的用户姿势的两个显示器的图示。[0012]图2A是示出了根据本发明的一个实施例的应用程序的第三视图和应用于该视图的用户姿势的显示器的图示。[0013]图2B是同时示出了根据本发明的一个实施例的应用程序的第三视图的不同的部分和应用于该视图的用户姿势的两个显示器的图示。[0014]图3是根据本发明的一个实施例的基于应用程序的选择的视图来解释姿势的流程图。[0015]图4是根据本发明的一个实施例的基于应用程序的选择的视图和选择的显示来解释姿势的流程图。[0016]图5是根据本发明的另一个实施例的基于应用程序的选择的视图和选择的显示来解释姿势的流程图。[0017]图6是根据本发明的一个实施例的使用应用程序的交互物理学来解释多个显示器上的姿势的流程图。[0018]图7是根据本发明的另一个实施例的使用应用程序的交互物理学来解释多个显示器上的姿势的流程图。[0019]图8是根据本发明的一个实施例的适用于实现本发明的过程的计算机系统的框图。[0020]图9是根据本发明的一个实施例的适用于实现本发明的过程的图8的计算机系统的替换的视图的框图。[0021]详细描述[0022]尽管姿势，无论是悬浮姿势还是触摸姿势，在计算环境中都得到越来越多的应用，但是，它们仍缺乏指示设备的共同特征。它们不一定指出姿势指向哪里。对于多个窗口，屏幕，或显示器，并不总是清楚，姿势指向哪里。在下面所描述的示例中，取决于由应用程序或计算系统呈现的当前视图，计算系统以不同的方式解释用户姿势。计算系统确定用户正在面向或查看的设备、窗口，或屏幕来确定姿势指向的对象。可以使用多个显示器来同时示出同一应用程序或游戏的不同的视图，从而允许用户从不同的角度协调姿势输入。类似方法可以应用于语音命令。[0023]尽管可以使用眼睛跟踪来配对语音命令与计算机显示器上的对象，但是，多个设备可以具有同时呈现不同的对象的显示器。显示器也可以以不同的方式呈现相同对象。取决于正在显示在屏幕上的应用程序的当前视图并取决于用户正在看着哪一个屏幕，系统可以不同地对用户悬浮、触摸，或语音姿势作出反应。然后，可以将悬浮和语音姿势指向合适的视图。[0024]另外，还可以使用悬浮、触摸，以及语音姿势来在未被显示的虚拟对象和屏幕上导致虚拟对象上的物理效应的元素之间创建交互。在这样的情况下，虚拟对象可以在三维空间中在所显示的屏幕平面的前面和后面交互。显示的对象可以显示在多个不同的屏幕中的任何一个上。[0025]三维空间可被表征为例如计算机游戏环境中的目标、障碍物，以及场地，其中，由于那些对象的物理学特征，它们与应用于虚拟对象的用户姿势进行交互。三维物理效应可以在此三维空间中被表示。在此三维空间中，游戏及其他应用程序可以将来自目标、障碍物，以及场地的力与来自悬浮姿势的力相组合，以提供与用户的更复杂的交互性或逼真的交互。[0026]图1A是具有耦合到相机103的阵列和麦克风105的阵列的显示器101的悬浮姿势系统的图示。在所示示例中，有两个相机和两个麦克风，然而，也可以使用更大或更小数量的相机或麦克风，以便更精确地或较不精确地感应位置和方向。显示器可以是基于任何类型的显示技术的直接视图或投影显示器。如图所示，相机麦克风阵列被定位在显示器上并附接到显示器。然而，可以使用任何其他位置。相机和麦克风可以彼此分开，并与显示器分开。可在具有显示器的位置的知识下校准或配置阵列，以便补偿偏置位置。显示器可以是便携式计算机、游戏控制台、手持式智能电话、个人数字助理，或媒体播放器的一部分。可另选地，显示器可以是大平板电视显示器或计算机监视器。[0027]在所示出的示例中，显示器示出了侧视图中的海面下的环境的三艘潜水艇109。被示为手107的用户执行悬浮姿势以指示所显示的潜水艇处的鱼雷111。由相机检测用户悬浮姿势，以执行发射鱼雷的命令。系统使用包含可能的姿势的海面下的环境的姿势库。当手执行姿势时，系统将观察到的姿势与姿势库进行比较，查找最近的姿势，然后，查询相关联的命令，诸如发射鱼雷。[0028]图1B示出了带有相同相机和麦克风阵列和相同潜水艇109的相同显示器101。然而，在图1B中，潜水艇是从顶部查看的，例如，从水面或从浅的深度向下朝着潜水艇查看。用户107正在执行相同悬浮姿势，该悬浮姿势相反导致向下朝潜水艇释放深水炸弹（depthcharge)113。可以看出，取决于潜水艇的视图是从侧面观看的，如在图1A中，或从顶部观看的，如在图1B中，如图所示的，相同手指夹紧-释放姿势可以导致不同的动作。在图1A的示例中，从侧面观看的用户姿势可以作出带有夹紧和释放的投掷姿势，以导致鱼雷朝着目标进攻。在图1B中，相同夹紧释放会导致深水炸弹朝向屏幕上的目标丢放。尽管姿势相同，但是，系统可以确定当前视图是从侧面观看的还是从顶部观看的，以判断姿势是否被解释为鱼雷的释放或解释为深水炸弹的释放。结果，用户可以使用执行起来简单的直观的姿势，以导致不同的命令由系统执行。[0029]图1C并排示出了相同的两个显示器。在所示示例中，两个显示器都具有相机和麦克风阵列，然而，也可以使用单个相机和麦克风阵列。这些阵列可以连接到显示器或位于不同的位置。在此示例中，每一个显示器l〇la和101b都示出了相同的三艘潜水艇，一个示出了从侧面观看的潜水艇l〇9a，而另一个示出了从顶部观看的潜水艇109b。用户可以对相同潜水艇投掷鱼雷或投放深水炸弹113,这取决于正在使用哪一个屏幕，或当时哪一个屏幕是活跃的。如图所示，环境呈现两个显示器，两个显示器同时呈现相同的三艘潜水艇。诸如夹紧-释放姿势之类的姿势不会指出用户针对哪一个显示器，以致于系统不知道是产生鱼雷命令还是深水炸弹命令。在此示例中，一个或两个屏幕上的相机阵列可以确定用户针对哪一个屏幕。例如，通过跟踪用户脸部、眼睛聚焦，或语音方向，系统可以确定用户正在将注意力集中在哪一个屏幕，然后，对于该屏幕，激活对应的命令。[0030]相同方法也可以和触摸屏和触摸表面姿势一起使用，以及与语音命令一起使用，而并非徒手悬浮姿势。用户可以具有触摸屏或触摸表面并对这些表面执行姿势。再次，为了确定姿势将应用于哪一个视图，系统可以确定用户向哪里聚焦。如果用户正在聚焦于侧视图，那么，对触摸表面上的姿势会导致鱼雷被启动。而如果用户正在聚焦于顶视图，那么，姿势会导致深水炸弹被启动。图1A和图1B的两个视图可以表示单个应用程序的两个不同的视图。在图1C中，应用程序同时生成两个视图，而在图1A和1B中，一次只能看到一个视图。在任一示例中，系统可以确定当前视图正被用户和当前显示器使用。[0031]如果只有一个显示器，那么，使用单个视图，然而，单个显示器可以在一个显示器上呈现不同的窗口。例如，图1A的显示器可以呈现于显示器的一个窗口中，而图1B的显示器可以呈现于显示器的另一窗口中。在这样的示例中，103的相机阵列可以确定用户聚焦于两个窗口中的哪一个，然后，执行用户的姿势的合适的命令。[0032]图2A示出了不同的屏幕显示。在图2A中，带有相同相机103和麦克风105阵列的相同显示器101呈现不同的视图。在此示例中，用户107正在使用悬浮姿势来在屏幕上投掷虚拟宇宙飞船。宇宙飞船在它从用户的悬浮姿势行驶某个距离之后出现在屏幕上，并且其行为由诸如投掷之类的用户的姿势以及由屏幕上的对象来管制。在所示示例中，有被若干个月球123围绕的大行星121。已经向用户呈现了行星上的目标125,正在飞行的宇宙飞船127正在逼近该目标125。[0033]在图2A的示例中，行星和月球中的每一个都具有相对于彼此的大小，当宇宙飞船被朝向目标125投掷时，大小决定其重力。月球和行星由于它们的重力场而改变宇宙飞船的行驶的速度和方向。结果，用户可以打算直接向目标投掷这些宇宙飞船，但是，它们可能会因附近的月球而偏离航向，或者它们可能会进入围绕行星或月球的轨道，而不实际直接到达目标。[0034]在图2A的示例中，屏幕显示可以呈现由系统所生成的三维空间的一部分。在此三维空间中，对象出现在屏幕上的前景和背景中。这些可以使用导致针对对象的感知更接近于和远离用户的快门式眼镜或透镜状像素呈现在三维显示器上。对象也可以使用透视呈现在二维显示器上。在两个示例中，屏幕表面表示z轴上朝向或远离用户的特定平面。屏幕位于此z轴上的一个点，并且由用户投射的对象在距屏幕的平面的某个距离处开始。[0035]当用户朝着屏幕投掷对象时，它首先是用户看不见的虚拟对象。随着它到达三维空间中的屏幕的平面，它在屏幕上表现为显示的对象。在它到达屏幕的平面之后，它持续到可以被表示为屏幕上的遥远的点的背景。[0036]与屏幕上的对象的交互可以通过在三维空间中包括在屏幕上未示出的附加的对象来进一步增强。结果，用户可以朝向目标125投掷宇宙飞船127,并发现其航向和速度在它到达屏幕的平面之前已经改变。这些对象以及航向的改变将不会在屏幕上示出。然而，当宇宙飞船到达屏幕的平面时，将示出效果。[0037]图2B是图2A的相同的显示器和屏幕的图示。然而，添加了附加的屏幕131。此屏幕被示为诸如智能电话或便携式游戏系统之类的便携式设备，然而，它可以是任何其他类型的显示器，包括与主显示器101相同类型的显示器。在此示例中，小显示器131被置于主大显示器101的前面。系统可以确定小屏幕131的位置，并呈现位于小屏幕的平面中的三维空间的一部分。如此，例如，在图2B中，用户107朝向行星121发射宇宙飞船127,并特别是向该行星上的目标125处。在宇宙飞船被投掷之后，它首先出现在小屏幕131上。[0038]如图所示，在主屏幕101上不可见的对象129在小屏幕上可见。此对象129是可以向宇宙飞船127施加重力或其他力的另一月球的形式。随着宇宙飞船在三维空间中持续，它将离开小显示器131，且不久之后，在大显示器101上显示出来。小屏幕的添加给此特定类型的游戏添加了新维度。相机阵列103或某种其他接近度感应系统可实时地确定小屏幕的位置。然后，用户可以四处移动小屏幕以看到未显示在主屏幕101上的对象。结果，在图2A的示例中，在投掷宇宙飞船127时，如果宇宙飞船的航向和速度显著改变，则用户可以使用小屏幕131来查找哪些对象影响了其路径并相应地补偿。可以在z轴上的不同的平面中移动小屏幕，以看到什么位于大屏幕101的前面。可以使用类似方法来看到什么在大屏幕的芳边或后面。[0039]在图2B的示例中也可以使用上文参考图1C所讨论的方法。在例如智能电话的情况下，小屏幕131也将配备有面向用户的一个或多个相机和麦克风。尽管这些通常用于视频会议和电话语音呼叫中，但是，相机和麦克风可以用于确定用户的位置、其他显示器的位置，看见和解释姿势。类似地，可以使用小屏幕131和大屏幕101上的相机来确定用户的注意力被聚焦哪里，并根据所使用的特定显示器，解释悬浮姿势或其他姿势。如此，例如，代替示出三维空间的不同的部分，小屏幕131可以用于示出不同的视图，如在图1C的示例中那样。[0040]图3是用于使用如图1和2所示的显示器和用户配置的示例处理流程。在图3中，过程开始，且用户启动应用程序，该应用程序可以是游戏或可以对其使用姿势和多个显示器的任何其他应用程序。在303,系统呈现应用程序的默认视图。此默认可以以各种不同的方式来确定。在305,系统激活默认视图的姿势库。在此情况下，当前视图是默认视图，如此，此姿势库可以默认地加载。可以以各种不同的方式形成姿势库。在一个示例中，姿势库是查询表形式的，其中，特定相机传感器点连接到程序可以执行的不同的命令。在上文所讨论的示例中，类似的姿势可以作为投掷鱼雷、启动深水炸弹，或投掷宇宙飞船的命令来执行，这取决于向用户呈现的特定视图。可以使用库中的范围广泛的不同的姿势来执行不同的命令。[0041]在307,系统等待以判断是否已经接收到姿势。此姿势可以通过相机、通过触摸表面、通过触摸屏接收，或者可以在麦克风中接收语音姿势。如果接收到姿势，那么，过程行进至框311，在那里，将姿势与加载的当前库匹配。系统将姿势与库中的一个姿势匹配，然后，查找对应的命令。[0042]在313,执行此命令，而在315,修改显示，以在执行的命令的屏幕上显示动作。在执行姿势的命令之后，在317,系统检测视图中是否有变化。视图的变化对应于显示器上的不同的窗口或不同的显示器。如果检测到视图的变化，那么，过程着手呈现视图中的变化，然后，返回到框305,以改变姿势库以对应于视图中的变化。如果没有检测到视图中的变化，那么，在307,系统继续等待新用户姿势。如果接收到用户姿势，那么，如前所述，在311，将姿势与当前加载的库匹配。如果没有接收到姿势，那么，系统转到317以判断是否检测到视图中的变化。此周期可以重复以接收附加的用户姿势，并查看变化，以在系统的使用过程提供用户交互。[0043]图4示出了用于在应用程序中使用多个视图和多个显示器的替换的流程图。在401，启动系统，并启动应用程序。在403,呈现应用程序的默认视图。在405,确定活动显示器。这可以通过确定用户的焦点或注意力来确定。在一个示例中，相机阵列确定用户正看着哪个方向。例如，相机可以检测脸并确定脸的角度以判断用户是否正在直接看一个显示器或另一个显示器。如在图1C的示例中，这可以使用每一个显示器的单独的相机阵列进行。可另选地，单个相机阵列可以判断用户是否正在看一个显示器或另一个显示器。在一个示例中，相机阵列确定用户的瞳孔的位置以确定用户正在向哪个方向看。在另一个示例中，相机阵列确定脸正在指向哪一方向。可以使用其他用户动作来确定哪一个显示器是活动显示器。例如，用户可以指向不同的显示器，在空中作出刷的运动或各种其他姿势来指出哪一个显示器应该是活跃显示器。[0044]在407,激活当前视图的姿势库和当前显示器。系统加载适用于该显示器和该视图的输入识别库。在409,系统判断是否已经接收到用户姿势，如果已经接收到用户姿势，那么，在411，将此姿势与当前库匹配。在413执行对应的命令，而在415生成修改的显示。如果没有接收到用户姿势，那么，过程快进以在417判断是否检测到视图的变化。如果没有检测到视图的变化，那么，系统返回以在405确定活动显示器。如果检测到视图的变化，那么，在419呈现改变的视图，且过程返回以确定显示器的动作。[0045]图4的处理流程可使系统将姿势库与特定视图以及特定显示器匹配。结果，应用程序可以呈现多个视图和多个显示器，并改变用户姿势的效果，这取决于当前视图和当前显示器。在替换实施例中，可以只向用户呈现不同的视图或不同的显示，但不是两者，这取决于实现。[0046]图5示出了用于与不同的显示器一起使用悬浮姿势的简化处理流程。在501，过程启动，接收显示器选择。显示器选择可以通过利用脸部检测或眼睛跟踪来确定用户正在看着哪里，或确定用户正在通过麦克风阵列向哪一个方向说话来进行，或者用户可以通过语音或悬浮命令来指出特定显示器。在503,接收悬浮姿势。在505,确定选择的显示器的当前视图。在507,基于所选显示器的当前视图，选择命令，且在509,执行所选命令。重复此过程，以提供用户与显示器以及与所提供的视图中的应用程序的重复的交互。[0047]参考图6,应用程序可以包括与姿势库的各种交互物理学以呈现用户与不同的视图的交互。在601，启动应用程序。在603,呈现默认视图。在605,激活当前视图的姿势库。在检测到姿势时，与要执行的对应的命令一起，将相关姿势模板加载到存储器中。[0048]在607,系统判断是否可以检测到任何附加的显示器。如果是，那么，在621确定此附加的显示器的位置。使用相机RF(射频）或IR(红外线）传感器来计算它。在623,基于其位置，在此附加的显示器上呈现视图。过程返回，以在609判断是否接收到用户姿势。如果没有接收到用户姿势，那么，当过程继续在后台等待时，另外的过程可以继续检测附加的显示器和检测当前视图。其他过程也可以同时运行以检测哪一个显示器是活跃的，如在上面的示例中所描述的。[0049]当在609接收到姿势时，随后，在611，将姿势与当前库匹配。用户可以使用姿势来选择抛射体、启动抛射体，改变配置设置等等。当姿势已经匹配当前加载的姿势库时，那么，选择命令，且在613,根据姿势的参数，修改命令。如此，例如，系统可以使用其他类型的悬浮姿势或触摸表面姿势，来测量手的速度、手的移动的角度，以及手的释放点，或类似的参数。然后，将这些参数与来自姿势库的命令相加，并且在615,使用交互物理学，确定结果产生的动作。[0050]通过用户的姿势给予由悬浮姿势启动的虚拟对象以速度和方向。它也可以拥有虚拟质量、空气阻力、加速度及其他可能的物理学参数。然后，系统计算由姿势参数所生成的虚拟对象和三维空间中所显示的对象之间的交互物理学（physics)。可以为未显示的对象但是仍存在于三维空间中的对象计算附加的交互。作为示例，图2B的月球129是未显示在主屏幕101上的三维空间中的对象。用户在没有附加的屏幕131的情况下将不会将该对象视为显示的对象。然而，该对象会对由悬浮姿势所生成的虚拟对象施加交互。在617,这些命令被执行，在619,修改显示以当虚拟对象到达显示器时示出该虚拟对象。也修改显示，以示出其与三维空间中的其他对象的交互的结果，包括显示的对象以及或许还有三维空间中的未显示的附加的对象。执行了命令之后，在609,系统返回以接收附加的用户姿势。[0051]图7示出了用于与用户姿势一起使用对象和力的三维空间的简化处理流程。在701，过程开始，且应用程序被启动。在703,生成包括一个或多个对象和一个或多个力的三维空间。在图2B的示例中，这些对象是带有重力的行星和月球。然而，可以生成范围广泛的不同种类的对象，并可以使用不同种类的力。在705,系统确定可供系统使用的显示器。在707,确定这些可用的显示器的相对位置和朝向，并且在709,在可用的显示器上呈现三维空间的一部分。可以基于显示器的大小和位置以及显示器是否允许呈现三维视图或二维视图，来确定在显示器上呈现的三维空间的量。在711，系统判断是否已经接收到用户姿势。如果没有，则它等待用户姿势。如果接收到用户姿势，那么，在713,在三维空间中生成所产生的虚拟对象的轨迹。在715,在可用的显示器上示出了所生成的轨迹的一部分。如上文所提及的，作为姿势的结果而启动的虚拟对象可以遍历三维空间的一部分，而不会在任何显示器上可见，并且可以遍历在显示器上可见的三维空间的另一部分。系统可以在它遍历三维空间时确定虚拟对象的位置，并将该位置与三维空间的在可用的显示器上呈现的部分进行比较。如此，对象可以进入并离开显示器，而仍遍历三维空间中的一致的轨迹。在呈现所生成的轨迹之后，在711，过程返回以接收附加的用户姿势。[0052]取决于特定实现，有可以提供的各种不同的效果和交互。表示出了这些中的某些，然而，本发明的各实施例不仅限于此。[0053]【权利要求】1.一种方法，包括：在计算系统的用户界面系统中接收悬浮姿势；确定显示器上的当前视图；对所确定的视图加载姿势库；从所加载的姿势库中选择对应于所述当前视图的所述姿势的命令；以及执行所选择的命令。2.如权利要求1所述的方法，其特征在于，还包括对于所述姿势，确定显示器选择，并且其中选择命令包括选择用于所选择的显示器的命令。3.如权利要求2所述的方法，其特征在于，确定显示器选择包括通过利用相机来观察所述用户的位置，确定用户方向。4.如权利要求3所述的方法，其特征在于，观察位置包括确定用户的脸部指向的方向。5.如权利要求2所述的方法，其特征在于，观察位置包括确定所述用户的眼睛指向的方向。6.如权利要求1所述的方法，其特征在于，确定显示器选择包括通过利用麦克风来观察所述用户的所述语音的方向，确定用户方向。7.如权利要求1所述的方法，其特征在于，还包括对于每一个显示器，加载姿势库，并且其中选择命令包括从所选择的显示器的所述姿势库中选择命令。8.如权利要求1所述的方法，其特征在于，所述悬浮姿势包括手指移动、手移动、臂部移动、身体移动，以及口头命令中的至少一个。9.如权利要求1所述的方法，其特征在于，还包括接收语音命令，其中确定显示器上的当前视图包括感测用户的脸部指向的方向，并且其中选择命令包括选择所述姿势的命令和所述语音命令。10.如权利要求1所述的方法，其特征在于，所述显示器将图像呈现为三维图像。11.一种在其上存储了指令的机器可读介质，所述指令在由所述计算机执行时，使所述计算机执行包括下列各项的操作：在计算系统的用户界面系统中接收悬浮姿势；确定显示器上的当前视图；对所确定的视图加载姿势库；从所加载的姿势库中选择对应于所述当前视图的所述姿势的命令；以及执行所选择的命令。12.如权利要求11所述的介质，其特征在于，所述操作还包括对于所述姿势，确定显示器选择，并且其中选择命令包括选择用于所选择的显示器的命令。13.如权利要求11所述的介质，其特征在于，所述操作还包括对于每一种显示，加载姿势库，并且其中选择命令包括从所选择的显示器的所述姿势库中选择命令。14.一种设备，包括：用于接收悬浮姿势的对象和姿势识别系统；用于确定显示器上的当前视图并对所确定的视图加载姿势库的姿势与视图和屏幕同步丰吴块；用于从所加载的姿势库中选择对应于所述当前视图的所述姿势的命令的所述对象和姿势识别模块；以及用于执行所选择的命令的命令执行模块。15.如权利要求14所述的设备，其特征在于，还包括用于通过确定用户的脸部指向的方向来确定所述姿势与视图和同步模块的显示器选择的注意力方向模块。16.如权利要求15所述的设备，其特征在于，所述注意力方向模块确定所述用户的眼睛指向的方向。17.-种方法，包括：在计算系统的用户界面系统中接收悬浮姿势；对于多个显示器中的每一个，加载姿势库；针对所述姿势，确定对所述多个显示器中的一个的选择；从所述姿势库中选择对应于所选择的显示器的所述姿势的命令；以及执行所选择的命令。18.如权利要求17所述的方法，其特征在于，确定显示器选择包括确定用户的脸部指向的方向。19.如权利要求3所述的方法，其特征在于，观察方向包括确定所述用户的眼睛指向的方向。20.如权利要求17所述的方法，其特征在于，确定显示器选择包括通过利用麦克风来观察所述用户的所述语音的方向，确定用户方向。21.-种方法，包括：生成在相对于用户和要由所述用户操纵的虚拟对象的不同的位置具有多个对象的三维空间；在显示器上呈现具有多个不同的对象的至少一部分的显示区；检测所述用户针对所述虚拟对象的悬浮姿势，所述虚拟对象位于所述显示区之外；基于所述悬浮姿势，生成所述虚拟对象在所述三维空间中的轨迹，所述轨迹包括与所述三维空间中的所述多个对象中的对象的交互；以及在所述显示区上呈现所生成的轨迹的一部分。22.如权利要求21所述的方法，其特征在于，所述显示区对应于所述三维空间中与所述用户相距的距离范围，并且其中呈现所生成的轨迹的一部分包括呈现所述虚拟对象的所述轨迹的在所述距离范围内的所述部分。23.如权利要求21所述的方法，其特征在于，生成所述三维空间包括生成具有比在所述显示区上呈现的所述对象更接近于所述用户的对象的三维空间，并且其中生成轨迹包括，包括与所述显示区中没有呈现的对象的交互。24.如权利要求21所述的方法，其特征在于，所包括的交互包括加速力的模型。25.如权利要求24所述的方法，其特征在于，所述加速力包括重力、电磁，以及弹力中的至少一个。26.如权利要求24所述的方法，其特征在于，呈现显示区包括呈现归属于所述显示区的对象的加速力的相对量的表示。27.如权利要求21所述的方法，其特征在于，所包括的交互包括表面张力的模型。28.如权利要求21所述的方法，其特征在于，所包括的交互包括固体碰撞。29.如权利要求21所述的方法，其特征在于，生成三维空间包括确定随着时间的推移在所述多个对象中的对象之间的交互，以及在所述显示区上呈现由所述三维空间中的随着时间的推移的所述交互所引起的位置变化。30.如权利要求21所述的方法，其特征在于，还包括：确定第二显示器的位置；将所确定的位置与所述三维空间相关联；以及在所述第二显示器上呈现具有所述三维空间的所述多个不同的对象的第二部分的第二显示区。31.如权利要求30所述的方法，其特征在于，确定所述第二显示器的所述位置包括使用相机和所述第一显示器的所述位置来确定所述第二显示器的所述位置。32.如权利要求30所述的方法，其特征在于，确定所述第二显示器的所述位置包括使用耦合到所述第二显示器的无线电收发器来确定所述第二显示器的所述位置。33.如权利要求21所述的方法，其特征在于，所述显示区被所述显示器呈现为三维图像。34.-种在其上存储了指令的机器可读介质，所述指令在由所述计算机执行时，使所述计算机执行包括下列各项的操作：生成在相对于用户和要由所述用户操纵的虚拟对象的不同的位置具有多个对象的三维空间；在显示器上呈现具有多个不同的对象的至少一部分的显示区；检测所述用户针对所述虚拟对象的悬浮姿势，所述虚拟对象位于所述显示区之外；基于所述悬浮姿势，生成所述虚拟对象在所述三维空间中的轨迹，所述轨迹包括与所述三维空间中的所述多个对象中的对象的交互；以及在所述显示区上呈现所生成的轨迹的一部分。35.如权利要求34所述的介质，其特征在于，所述操作还包括：确定第二显示器的位置；将所确定的位置与所述三维空间相关联；以及在所述第二显示器上呈现具有所述三维空间的所述多个不同的对象的第二部分的第二显示区。36.如权利要求35所述的介质，其特征在于，所述显示区被所述显示器呈现为三维图像。37.-种设备，包括：用于生成在相对于用户和要由所述用户操纵的虚拟对象的不同的位置具有多个对象的三维空间的对象速度和方向模块；用于在显示器上呈现具有多个不同的对象的至少一部分的显示区的屏幕呈现模块；用于检测所述用户针对所述虚拟对象的悬浮姿势的对象和姿势识别系统，所述虚拟对象位于所述显示区之外；用于基于所述悬浮姿势生成所述虚拟对象在所述三维空间中的轨迹的虚拟对象行为模块，所述轨迹包括与所述三维空间中的所述多个对象中的对象的交互；以及用于在所述显示区上呈现所生成的轨迹的一部分的所述屏幕呈现模块。38.如权利要求37所述的设备，其特征在于，所述显示区对应于所述三维空间中与所述用户相距的距离范围，所述设备还包括用于呈现所述虚拟对象的所述轨迹在所述距离范围内的所述部分的3-D图像交互和效果模块。39.如权利要求38所述的设备，其特征在于，所述对象速度和方向模块生成具有比在所述显示区上呈现的所述对象更接近于所述用户的对象的三维空间，并且其中所述虚拟对象行为模块生成包括与所述显示区中没有呈现的对象的交互的轨迹。【文档编号】G06F3/14GK104067201SQ201180076283【公开日】2014年9月24日申请日期:2011年11月23日优先权日:2011年11月23日【发明者】G·安德森申请人:英特尔公司