用于与虚拟环境中的对象进行交互的系统的制作方法

专利名称：用于与虚拟环境中的对象进行交互的系统的制作方法
用于与虚拟环境中的对象进行交互的系统技术领域
本公开涉及一种促进多个用户与3维(3d)虚拟环境的交互的系统和技术。
技术背景
诸如计算机之类的网络化电子设备越来越流行。这些设备促进用户之间增加的 通信、交互和协作。
通常使用虚拟环境(其也被称为“虚拟世界”或“虚拟现实”)来促进网络化 电子设备的多个用户之间的交互。然而，使用现有系统和软件工具，这些交互会随着这 些系统中用户数目的增加而变得更困难。例如，如果多个用户尝试在虚拟环境中同时操 控多个对象(诸如虚拟角色(avatar))，则在它们网络化电子设备上的显示器会因它们的 行为而变得杂乱，因为用虚拟环境的共用内容来显示与不同用户的行为相关联的交互微 件(widget)。类似地，难以使使用虚拟环境的大量用户协作地编辑或修改共用内容，因 为用户的行为可以被虚拟环境中的另一个用户的行为遮掩(obscure)。
因此，需要一种促进虚拟环境中多个用户的交互的方法和系统，而没有上文列 出的问题。发明内容
本公开的一个实施例提供一种促进与3维(3d)虚拟环境的交互的系统。该系 统包括存储与3d环境相关联的信息的控制器设备。此外，该系统包括耦合到所述控制 器设备并且显示3d环境的第一显示器。此外，该系统包括利用该控制器设备传送信 息的至少一个便携式电子设备。该便携式电子设备包括检测该便携式电子设备的运动 的3d运动传感器，所述运动包括线性运动、旋转运动和/或手势。此外，该便携式电 子设备包括第二显示器，其基于所检测的运动显示3d环境以及相关联的与背景有关的 (context-dependent)信息的 3d 渲染(rendered)子集。
应该注意，该便携式电子设备可以包括蜂窝电话。此外，3d运动传感器可以包 括加速计。
在一些实施例中，3d环境可以包括虚拟现实。此外，3d环境的子集可以包括至 少一部分对象或至少一部分虚拟角色。
此外，所检测的运动可以对应于3d环境中的运动，例如线性运动和/或旋转运 动。可替换地或此外，所检测的运动可以选择3d环境中的对象或虚拟角色。例如，可 以使用手势选择对象。
在一些实施例中，与背景有关的信息包括与3d环境的子集相关联的菜单。因 此，所检测的运动可以对应于浏览(navigate through)菜单。
在一些实施例中，该系统包括多个与用户相关联的便携式电子设备。应该注 意，给定便携式电子设备可以基于所检测到的给定便携式电子设备的运动向给定用户显 示3d环境以及相关联的与背景有关的信息的给定子集。此外，在第一显示器上显示的3d环境可以包括用户共用的信息。此外，在至少两个便携式电子设备上显示的3d环境的3d 渲染子集可以是不同的。
该系统可以促进3d环境中信息的用户的协作编辑和/或3d环境中用户的协作交互。
在一些实施例中，如果在3d环境中出现与经由相关联的便携式电子设备提供的 信息的改变相关联的冲突，则控制器设备经由相关联的便携式电子设备向至少两个用户 提供反馈。
此外，该第二显示器包括触感式(touch-sensitive)显示器，其基于用户与第二显 示器表面的交互来显示3d环境以及相关联的与背景有关的信息的3d渲染子集。
另外，该便携式电子设备可以向中央控制器提供唯一的标识符。作为响应，该 控制器设备可以初始地基于该唯一的标识符提供用于在该第二显示器上显示的3d环境以 及相关联的与背景有关的信息的3d渲染子集。
另一个实施例提供一种与3d环境进行交互的方法，其可以由控制器设备来执 行。在操作期间，该控制器设备访问所存储的与3d环境相关联的信息，并且将与该3d 环境相关联的信息提供给第一显示器以用于显示。然后，该控制器设备从便携式电子设 备接收对3d环境以及相关联的与背景有关的信息的3d渲染子集的请求。应该注意，该 请求可以基于所检测的便携式电子设备的运动，并且所检测的便携式电子设备的运动可 以包括线性运动、旋转运动和/或手势。接着，该控制器设备向便携式电子设备提供 3d环境以及相关联的与背景有关的信息的子集以用于显示在便携式电子设备的第二显示 器上。
另一个实施例提供一种结合该系统使用的计算机程序产品。该计算机程序产品 包括用于上述操作中的至少一些的指令。


图1是图示根据本公开的实施例的系统的框图。
图2是图示根据本公开的实施例与3维(3d)环境进行交互的过程的流程图。
图3是根据本公开的实施例显示在图1的显示器和便携式设备上的信息的图。
图4是图示根据本公开的实施例的计算机系统的框图。
图5是图示根据本公开的实施例的数据结构的框图。
应该注意，相同的参考数字在图中自始至终指对应的部分。此外，相同部分的 多个实例由用短横线与实例编号分开的共用前缀指出。
具体实施方式
给出下面的描述来使得本领域任何技术人员能够制造并使用本公开，并且在特 定应用以及其需求的背景中提供下面的描述。对本领域技术人员来说显而易见的是，对 所公开实施例的各种修改将是容易的，并且在不偏离本公开的精神和范围的情况下本文 所限定的一般原理可以应用于其它实施例和应用。因此，本公开不意图限制于所示出的 实施例，而是其将被给予与本文所公开的原理和特征一致的最宽的范围。
描述了促进与3d虚拟环境的交互的系统、方法和计算机程序产品(例如软件)的实施例。在该系统中，控制器设备将与3d虚拟环境相关联的信息提供给第一显示器。 此外，该系统包括至少一个便携式电子设备，其包括第二显示器和检测该便携式电子设 备的运动(例如线性运动、旋转运动和/或手势)的3d运动传感器。该便携式电子设备 将所检测的运动传送给控制器设备。作为响应，该控制器设备向便携式电子设备提供3d 环境以及相关联的与背景有关的信息的3d渲染子集，其被显示在第二显示器上。
该系统允许多个用户同时查看和/或改变与3d虚拟环境相关联的信息。特别 地，每个用户可以查看与他们相关的信息以及相关联的与背景有关的信息(例如菜单)的 3d渲染子集。同时，在第一显示器上呈现全3d虚拟环境，由此将该信息(即状况感知) 的综述(overview)提供给所有用户。此外，用户可以在不引起杂乱或遮掩在第一显示器 上显示的信息的情况下操控或改变他们的便携式电子设备上的信息的子集。系统以这种 方式来促进3d虚拟环境中信息的用户的协作编辑和/或3d虚拟环境中用户的协作交互。
我们现在讨论促进与3d虚拟环境的交互的系统的实施例。图1给出图示系统 100的框图。该系统允许对应便携式电子设备114的一个或多个用户与3d虚拟环境(例 如虚拟空间或虚拟现实)中的信息交互，修改和/或控制该3d虚拟环境中的信息。特别 地，系统100中的控制器设备110中的3d虚拟环境模块118访问所存储的环境信息120 并且基于环境信息120生成3d虚拟环境。然后，3d环境模块118将信号或指令提供给虚 拟世界客户端129，其经由通信模块116和网络112耦合到控制器设备110。虚拟世界客 户端1 可以是基于软件的或基于硬件的，并且与显示器130(例如大的平板屏幕或投影 显示器)进行通信。显示器130接着将3d虚拟环境显示给一个或多个用户。
单独地或同时，用户可以使用便携式电子设备114来与同3d虚拟环境相关联的 信息(或内容)交互，操控和/或修改该信息(或内容)。例如，每一个便携式电子设 备114(例如便携式电子设备114-1)可以包括3d运动传感器(例如加速计)，其检测该便 携式电子设备的运动，包括线性运动、旋转运动和/或手势。所检测的便携式电子设备 114-1的运动可以对应于3d虚拟环境中的对象或虚拟角色的运动。因此，便携式电子设 备114-1的用户可以将该设备用作“魔杖(magic wand)”以操控在显示器130上显示的 3d虚拟环境中的对象。
可替换地或附加地，所检测的运动可以选择3d虚拟环境中的对象或虚拟角色 (例如可以使用手势来选择对象)以显示在便携式电子设备114-1上。例如，便携式电子 设备114-1的用户可以移动该设备以便选择或修改一个或多个对象(并且更一般地，3d虚 拟环境中的信息的3d渲染子集)的呈现。软件应用122-1中的运动检测模块1沈-1可以 解释所检测到的便携式电子设备114-1的运动(例如作为本地光标的操控)，并且可以相 应地经由通信模块116和网络112将对3d虚拟环境中的信息(例如对象的至少一部分或 虚拟角色的至少一部分)以及相关联的与背景有关的信息(例如与对象或虚拟角色的至少 一部分相关联的菜单或交互微件)的对应子集的请求提供给控制器设备110。作为响应， 控制器设备110可以将所请求的信息和相关联的与背景有关的信息的子集提供给便携式 电子设备114-1。然后，软件应用122-1中的3d显示模块124-1可以在显示器128-1上 显示信息和相关联的与背景有关的信息的子集。
随后，用户可以通过移动便携式电子设备114-1来操控和/或改变显示在便携式 电子设备114-1上的信息和/或相关联的与背景有关的信息的呈现以及/或者修改显示在便携式电子设备114-1上的信息和/或相关联的与背景有关的信息的子集。例如，通过 移动便携式电子设备114-1，用户可以能够浏览与信息的子集相关联的菜单，并且可以能 够在菜单中选择特定命令。
可替换地或附加地，通过移动便携式电子设备114-1，用户可以能够在显示器 1观-1上改变对象的取向，和/或可以能够编辑或改变该对象。例如，通过移动便携式电 子设备114-1，用户可以在虚拟环境中改变轴线的透视(perspective)或取向。因此，用户 可以动态地与虚拟环境中的内容“交互”，以使得用户的行为可以修改内容以及如何显 不它。
应该注意，这些呈现和/或内容改变可以不被显示在其它便携式电子设备114中 的显示器1 或显示器130上，直到用户允许更新全局信息为止或直到出现后续用户会话 为止。然而，在一些实施例中，对每一个便携式电子设备114上的信息的子集的改变可 以被实时地显示在显示器130上，即没有延迟或不用等待用户批准。在任一种情况下， 控制器设备110可以存储或保持虚拟信息120中包括任何用户特定改变的信息，以在相同 用户会话和/或后续用户会话中使用。
每个用户可以经由他们对应的便携式电子设备114以这种方式“察看”适合于 他们或他们所感兴趣的信息和相关联的与背景有关的信息的3d渲染子集或者与该3d渲 染子集交互。(因此，显示在至少两个便携式电子设备114上的信息的子集可以是不同 的)。此外，显示器130上的3d虚拟环境中的信息可向所有用户提供关于共用信息的综 述(或状况感知)，而不会因为用户对显示在他们对应的便携式电子设备114上的信息的 子集所进行的各种改变而变成被弄乱。
因此，系统100中的便携式电子设备114可以提供到3d虚拟环境的接口，以允 许用户经由显示器130上的3d虚拟环境中的信息以及显示在显示器1 上的信息的子集 二者来彼此交互并且与相同3d虚拟环境中的内容交互。
在一些实施例中，便携式电子设备114包括蜂窝电话，例如所谓的“智能”电 话。然而，可以使用各种各样的便携式电子设备，其包括平板计算机、个人数字助理和 /或笔记本计算机或膝上型计算机。
在一些实施例中，如果在3d虚拟环境中出现与经由相关联的便携式电子设备提 供的信息的改变相关联的冲突，则控制器设备110经由与至少两个用户相关联的便携式 电子设备向该至少两个用户提供反馈。例如，蜂窝电话的振动模式可以被用来向这些用 户中的每一个提供反馈。如果一个用户尝试操控已经由另一个用户“控制”的对象，则 该用户的“蜂窝电话可以振动，从而指示已经拒绝尝试或请求。应该注意，这样的触觉 反馈还可以用来提供3d虚拟环境中地形的“粗糙度”的指示，例如在用户的虚拟角色在 3d虚拟环境中移动的情况下。
此外，在一些实施例中，每个便携式电子设备114向中央控制器设备110提供唯 一的标识符。作为响应，控制器设备110可以初始提供3d虚拟环境以及相关联的与背景 有关的信息的子集以显示在显示器1 上。例如，来自蜂窝电话的信号可以标识蜂窝电 话。基于这一标识，系统100可以为用户选择适当的虚拟角色并且可以使用户登入系统 100。
尽管前面的讨论已将运动用作操控或控制3d虚拟环境中的信息的方式的说明性实例，但是可以使用其它用户接口技术。例如，显示器1 可以包括触感式显示器。用 户可以通过触摸显示器128-1的表面以及激活虚拟微件或图标来操控、控制和/或修改显 示在便携式电子设备114-1上的3d虚拟环境以及相关联的与背景有关的信息以及显示在 显示器130上的3d虚拟环境中的信息的子集。
此外，尽管虚拟环境是3d的，但是在一些实施例中虚拟环境是2维Qd)的。 此外，信息或内容可以是2d(例如平面文本)或3d的。例如，如参考图3所描述的那 样，信息可以包括复杂的对象，其包括多个相关的组件或相对于彼此具有空间关系的组 件。更一般地，在系统100中保持的内容可以包括多种数据，其包括文本、音频、音 乐、图像和/或时间图像信息(例如动画序列)。此外，该数据可以与多种格式兼容， 所述格式包括图像格式(例如Joint Photographic ExpertsGroup标准)、视频格式(例如 Moving Pictures Expert Group标准)、以及文字处理或信息显示格式(例如来自San Jose, California 的 Adobe Systems, Inc.的 Adobe Acrobat )。应该注意，控制器设备 110 可以 本地地和/或远程地将该信息或内容存储在系统100中。
应该注意，软件应用122可以驻留在各自的便携式电子设备114(例如便携式电 子设备114-1)上，并且可以在各自的便携式电子设备114(例如便携式电子设备114-1) 上执行。例如，软件应用122-1可以是独立的程序或者可以被嵌入在另一个软件应用 中。可替换地，软件应用可以是嵌入在网页中的软件应用工具，例如软件应用可以在由 网络浏览器提供的虚拟操作环境中执行。(因此，系统100可以实施客户端-服务器架 构)。在说明性实施例中，软件应用工具是以Java Script (Sun Microsystems, Inc.的商 标)编写的软件包，例如软件应用工具包括包含JavaScript指令、ECMAScript(欧洲计算 机制造商协会公布的规范)、VBScript (Microsoft, he.的商标)或任何其它客户端侧脚 本语言的程序或过程。换句话说，所嵌入的软件应用工具可以包括这样的程序或过程， 该程序或过程包含Java Script、ECMAScript指令、VBScript指令或适合于由便携式电 子设备114上的Web浏览器或另一个客户端应用渲染的另一个编程语言中的指令。
现在我们描述操作系统100的过程。图2给出图示与3d虚拟环境交互的过程 200的流程图，所述过程200可由(图1)的控制器设备110执行。在操作期间，控制器 设备访问所存储的与3d环境相关联的信息(操作210)并且将与3d环境相关联的信息提 供给第一显示器以用于显示(操作21 。然后，控制器设备从便携式电子设备接收对3d 环境以及相关联的与背景有关的信息的子集的请求(操作214)。应该注意，该请求基于 所检测到的便携式电子设备的运动，并且所检测到的便携式电子设备的运动可以包括 线性运动、旋转运动和/或手势。接着，控制器设备向便携式电子设备提供3d环境以及 相关联的与背景有关的信息的子集以用于显示在该便携式电子设备的第二显示器上(操 作 216)。
在一些实施例中，过程200包括附加或较少的操作。例如，操作210-216可以可 选地对相同用户和/或多个用户中的一个或多个其它用户重复(操作218)多次。此外， 操作的顺序可以改变和/或两个或更多操作可以被结合到单个操作中。
我们现在描述软件应用122(图1)的用户接口的实施例。图3给出显示在显示 器130上的3d虚拟环境中的信息和显示在系统100(图1)的便携式设备114中的显示器 1 上的信息以及相关联的与背景有关的信息的子集的图。特别地，显示器130显示(具有轴线308的)虚拟环境中的复杂对象310(例如复杂机器)。通过移动他们的便携式电 子设备114和/或触摸显示器128的表面，用户可以选择复杂对象310的部分，例如对象 312-1 和 312-2。
此外，用户可以操控、控制和/或修改显示在显示器1 上的信息和相关联的与 背景有关的信息的子集。例如，便携式电子设备114-2的用户可以移动该设备以便浏览 相关联的菜单314-2(即，相关联的与背景有关的信息)。在过程中，用户可以旋转或改 变对象312-2在显示器1观_2上的呈现。然而，显示在显示器130上的复杂对象310的 共用信息可以仍然不变。菜单314-2可以包括关于对象312-2的信息，例如组件、材料 成分和/或修订的历史。在一些实施例中，便携式电子设备114-2的用户可以用一只手 修理(repair)或作用于对象312-2，同时用另一只手拿着该便携式电子设备114-2。
在示例性实施例中，便携式电子设备114-1显示与3d虚拟环境中的虚拟角色相 关联的与背景有关的菜单314-1 (或交互微件)。当便携式电子设备114-1的用户控制虚 拟角色时，可以显示支配虚拟角色(avatar-puppeting)的微件和菜单。更一般地，当用户 控制虚拟世界中对像时，可以显示针于该对象的菜单和/或微件。此外，用户可以在虚 拟角色模式(其用于控制虚拟角色)和对象模式(其用于控制虚拟对象)之间来回切换 (toggle)便携式电子设备114-1。在虚拟角色模式中，用户可以选择(虚拟角色对应的) 表情，或者可以选择移动控制或位置。在对象模式中，系统100(图1)显示3d虚拟环境 中的3d光标，其可以用于选择对象。更一般地，在这些操作模式中，便携式电子设备 114-1可以用作虚拟光标，或者用作所选择的对象或虚拟角色的代理。
当用户(例如通过移动便携式电子设备114-1)与便携式电子设备114-1上的 菜单/微件交互时，经由网络112 (图1)例如使用诸如(来自Bel levue, Washington的 Bluetooth SIG Inc的)Bluetooth 或网际协议集(TCP-IP)之类的通信协议将命令发送给3d 环境模块118(图1)。
应该注意，运动检测模块126(图1)可以在用户使用便携式电子设备114操控3d 环境中的对象和/或虚拟角色的同时支持交互的若干模式。在一些实施例中，通过沿着 物理空间的一个或多个轴线移动便携式电子设备114-1，在3d虚拟环境中移动对应的光 标或虚拟角色。然而，在交互的该模式中，可能存在对移动尺寸的限制。因此，对运动 的限制可以被限定以使得用户可以仅操控3d虚拟环境中紧邻的对象。当便携式电子设备 114-1处于这些限制之外时，可以在该方向上滚动(scroll)虚拟角色或光标。可替换地， 通过倾斜便携式电子设备114-1，光标或虚拟角色可以同样地在3d虚拟环境中移动。此 外，随着用户穿过3d虚拟环境，可以在显示器128-1(图1)上显示它们的位置的2d图， 并且该图可以随着用户移动而滚动。
在一些实施例中，3d虚拟环境响应于手势命令集，可以通过操控或移动便携式 电子设备114-1来发送该手势命令集。例如，运动检测模块1沈-1 (图1)可以将一系列 迅速水平挥击转换成当前选择的3d对象的删除。类似地，逆时钟圆周运动(例如旋开盖 子)可以被运动检测模块126-1 (图1)转换成“取消群组”操作。从而将当前对象分成 其组件部分或块。当这些操作被执行时，显示器128-1可以被用来显示与用户有关的信 息，从而在显示器130上为其它用户空出空间。
系统100(图1)的另一个应用是协作编辑。如果多个用户尝试同时在显示器130上编辑3d对象，则将存在同时显示的非常多数目的弹出菜单、工具栏等等。结果产生的 杂乱和可能的所感兴趣的对象遮挡使得难以使用户一起工作。然而，通过将这些菜单和 工具栏移动到每个单个用户的便携式电子设备上，显示器130可以提供3d虚拟环境中所 有3d对象以及它们的位置的清楚显示，同时在用户的便携式电子设备114上为用户提供 与它们的当前编辑任务有关的信息的子集。
因此，系统100(图1)可促进3d虚拟环境中信息的用户的协作编辑，例如文 献、联机百科全书、联机使用手册(例如“交互式”文档)、远程维护、远程训练和/或 远程外科手术的编辑。在一些实施例中，协作编辑包括3d对象以及相关联的文本信息。 这些3d对象可以包括给定3d对象中组件之间的空间图像信息，以及相关联的文本信息和 空间图像信息之间的一个或多个双向链路。
在另一个实施例中，当用户控制虚拟角色时，“社交命令(socialcommand) ”被显示在显示器130和/或一个或多个显示器1 上。因此，作为对使用键盘上键入的表 情(例如“/smile”)(它可以是麻烦的)的代替，用户可以通过使用触摸屏或滚动轮来 点击它们或者通过移动便携式电子设备114-1来激活一个或多个社交命令。此外，显示 器128-1上的“操纵(puppeteering) ”命令可以是对背景敏感的，以使得能够基于当前或 推断的用户任务来显示最适合的选项(例如当用户处于社交交互的中间时可以显示表情 列表，以及当用户选择一个对象时可以显示工具列表)。因此，系统100(图1)可以促进 3d虚拟环境中用户的协作交互。
我们现在进一步描述执行过程200 (图2、的计算机系统的实施例(其可以包括在 图1的系统100中)。图4给出图示计算机系统400的框图，例如控制器设备110 (图1) 和/或给定一个便携式电子设备114(图1)。计算机系统400包括一个或多个运动传 感器408、一个或多个处理器410、通信接口 412、用户接口 414和将这些组件耦合到一 起的一个或多个信号线422。应该注意，一个或多个处理单元410可以支持并行操作和/ 或多线程操作，通信接口 412可以具有持久的通信连接，并且一个或多个信号线422可以 构成通信总线。此外，用户接口 414可以包括显示器416、键盘418和/或指针420，例 如鼠标。
计算机系统400中的存储器4M可以包括易失性存储器和/或非易失性存储器。 更具体地，存储器4 可以包括ROM、RAM、EPROM> EEPROM>闪存、一个或多 个智能卡、一个或多个磁盘存储设备、以及/或者一个或多个光存储设备。存储器424 可以存储操作系统426，该操作系统似6包括用于处理执行与硬件有关的任务的各种基本 系统服务的过程(或指令集)。在一些实施例中，操作系统4 是实时操作系统。尽管 未在图4中示出，但是在一些实施例中，存储器似4包括web浏览器。存储器似4还可 以存储通信模块4 中的通信过程(或指令集)。这些通信过程可以用于与包括相对于计 算机系统400远程定位的计算机、设备和/或服务器的一个或多个计算机、设备和/或服 务器进行通信。
存储器似4还可以包括多个程序模块(或指令集)，其包括3d环境模块118 (或 指令集)和软件应用工具430(或指令集)。此外，软件应用工具430可以包括3d显示 模块432 (或指令集)、运动检测模块434 (或指令集)和/或触觉监控模块436 (或指令 集)。应该注意，这些程序模块的一个或多个(或指令集)可以构成计算机程序机制。
如先前所描述的那样，3d环境模块118可以访问环境信息120，并且可以生成在 显示器130上显示的3d虚拟环境。此外，便携式电子设备114(图1)上的软件应用工具 430的用户可以经由它们的便携式电子设备操控或控制一个或多个文档442或对象/虚拟 角色444。特别地，一个或多个运动传感器408(以及相关联的硬件控制器)可以检测给 定便携式电子设备的检测运动。然后，运动检测模块434可以解释所检测的运动。可替 换地或另外地，触觉监控模块436可以解释用户与显示器416(例如触感式显示器)的交 互。这些模块可以使用通信模块4 来转发对3d虚拟环境中的信息以及相关联的与背景 有关的信息438 (例如对象/虚拟角色A 440-1和对象/虚拟角色B 440-2的与背景有关 的信息)的子集的请求。
响应于该请求，3d环境模块118可以使用通信模块4 来提供包含信息以及相 关联的与背景有关的信息438的子集的指令或信号。然后，3d显示模块432可以在显示 器416上显示信息以及相关联的与背景有关的信息438的子集。接着，用户可以在查看 显示器130上的共用内容的同时操控、控制和/或改变该内容。应该注意，3d环境模块 118可以保持环境信息120中的任何修改或改变的记录(给定便携式电子设备中的软件应 用工具430使用通信模块4 将其转发到3d环境模块118)以用于用户将来使用。
在一些实施例中，初始由给定便携式电子设备使用通信模块4 来提供一个或 多个标识符446。基于该一个或多个标识符446，3d环境模块118可以使给定便携式电子 设备的用户登录系统，并且可以使用通信模块4 将初始预先限定的信息以及相关联的 与背景有关的信息438的子集提供给给定便携式电子设备。此外，在一些实施例中，3d 环境模块118可以使用通信模块428向给定便携式电子设备的用户提供反馈，例如使用户 接口 414中的组件振动的指令。例如，当在与关于两个用户的各自便携式电子设备的信 息的子集相关联的该两个用户的行为之间出现冲突时，可以指示该组件振动。
可以以高级过程化语言、面向对象的编程语言和/或汇编或机器语言来实施存 储器424中的各种模块中的指令。该编程语言可以是经过编译或经过解释的，即可配置 或配置成由一个或多个处理单元410执行的。
尽管计算机系统400被图示为具有许多离散项，但是图4意图成为可以在计算机 系统400中给出的各种特征的功能描述，而不是本文所描述的实施例的结构示意图。实 际上，并且如本领域技术人员所认识的那样，计算机系统400的功能可以分布于大量设 备或计算机，其中设备或计算机的各个组群执行功能的特定子集。在一些实施例中，计 算机系统400的一些或所有功能可以在一个或多个专用集成电路(AMC)和/或一个或多 个数字信号处理器(DSP)中实施。
计算机系统400中的计算机和服务器可以包括能够操控计算机可读数据或在 两个或更多计算系统之间通过网络传送这些数据的各种设备中的一个，所述各种设备 包括个人计算机、膝上型计算机、主机计算机、便携式电子设备(例如蜂窝电话或 PDA)、(客户端服务器架构中)的客户端计算机和/或服务器。此外，网络112(图1) 可以包括因特网、万维网(WWW)、内联网、LAN、WAN、MAN或网络的组合、或 实现计算系统之间的通信的其它技术。
在一些实施例中，系统100(图1)和/或计算机系统400包括较少或附加的组 件。此外，两个或更多组件可以被组合成单个组件以及/或者可以改变一个或多个组件的位置。此外，如本领域中公知的那样，系统100(图1)和/或计算机系统400的功能 可以较多以硬件且较少以软件、或者较少以硬件且较多以软件来实施。
我们现在讨论可以在计算机系统400中使用的数据结构。图5给出图示数据结 构500的框图。该数据结构可以包含与背景有关的信息510。例如，与背景有关的信息 510-1可以包括组件512-1(例如对象或虚拟角色)的标识符、相关联的菜单514-1和 命令516-1(例如社交命令)。
在一些实施例中，数据结构500包括较少或附加的组件。此外，两个或多个组 件可以结合成单个组件以及/或者可以改变一个或多个组件的位置。
仅为了说明和描述的目的，已给出本公开实施例的前述描述。它们不意图是穷 举的或者将本公开限制成所公开的形式。因此，对本领域专业人员来说许多修改和变化 将是显而易见的。另外，上述公开不意图限制本公开。本公开的范围由所附权利要求限 定。
权利要求
1.一种系统，包括控制器设备，被配置成存储与3维(3d)环境相关联的信息；耦合到所述控制器设备的第一显示器，被配置成显示3d环境；以及至少一个便携式电子设备，被配置成与所述控制器设备传送信息，其中所述便携式 电子设备包括3d运动传感器，被配置成检测所述便携式电子设备的运动，其中所述便携式电子设 备的运动包括线性运动、旋转运动、线性和旋转运动、或手势；以及第二显示器，被配置成基于所检测的运动显示3d环境以及相关联的与背景有关的信 息的3d渲染子集。
2.根据权利要求1所述的系统，还包括与用户相关联的多个便携式电子设备，其中给 定便携式电子设备基于所检测到的所述给定便携式电子设备的运动向给定用户显示3d环 境和相关联的与背景有关的信息的给定子集；以及其中显示在所述第一显示器上的3d环境包括用户共用的信息。
3.根据权利要求2所述的系统，其中所述系统促进3d环境中用户的协作交互。
4.根据权利要求2所述的系统，其中如果在3d环境中出现与经由相关联的便携式电 子设备提供的信息的改变相关联的冲突，则所述控制器设备经由相关联的便携式电子设 备向至少两个用户提供反馈。
全文摘要
本发明涉及用于与虚拟环境中的对象进行交互的系统。描述了一种促进与3维(3d)虚拟环境交互的系统。在该系统中，控制器设备向第一显示器提供与3d虚拟环境相关联的信息。此外，该系统包括至少一个便携式电子设备，其包括第二显示器和检测便携式电子设备的运动的3d运动传感器，所述运动诸如线性运动、旋转运动和/或手势。该便携式电子设备向该控制器设备传送所检测的运动。作为响应，控制器设备向该便携式电子设备提供在该第二显示器上显示的3d虚拟环境以及相关联的与背景有关的信息的子集。
文档编号G06F3/01GK102023706SQ20101028429
公开日2011年4月20日 申请日期2010年9月14日 优先权日2009年9月15日
发明者M·罗伯茨, N·B·迪歇诺 申请人:帕洛阿尔托研究中心公司