专利名称：用于在虚拟再现与相应物理空间之间提供一致性的方法和系统的制作方法
技术领域：
本发明一般涉及虚拟现实。本发明尤其涉及提供虚拟再现。
背景技术：
存在各种类型的虚拟现实系统。典型的应用包括呈现个体可在显示屏上观察到的虚拟空间或环境。角色或个体的视觉再现允许现实世界中的人与虚拟空间正发生的事情进行虚拟交互。例如，许多视频游戏具有虚拟世界类型的显示，在该显示中，游戏中的角色基于来自玩游戏的个体向游戏控制器的输入在虚拟空间内来回移动。该等系统的一个局限性在于它需要手动控制设备将来自现实世界的个体的手部移动转换为弓I起在虚拟世界中显示的动作的命令。例如，该等系统不允许个体真的走来走去以引起虚拟世界中的相应运动。其它系统尝试通过包括允许个体在物理空间内走来走去以引起虚拟世界中的屏幕上显示的相应动作的摄像机控制来解决该问题。使用该方法的已知系统的一个局限性在于存在当个体在参与虚拟环境时必须呆在其中的受限的、经校准的盒子或空间。此外，现实世界中的物理对象和虚拟世界中的虚拟对象之间通常不存在对应。更复杂的系统被提出，包括具有用于个体身体的不同部位的动作的传感器的虚拟现实套件。这些系统允许真实的物理动作被虚拟环境中的相应动作很好地再现。然而，局限在于现实世界中的物理对象和虚拟世界中的虚拟对象之间通常不存在对应。例如，当个体坐在物理椅子上时，虚拟世界中的该个体的再现通常将不会正坐在虚拟世界中的任何具体对象上。当来自现实世界的多于一个的个体被再现于虚拟世界中时，另一个复杂问题被引入。各个再现之间通常无法协调以使得它们对应于现实世界中个体之间的实际相对位置。
发明内容
呈现虚拟再现的一个示例性方法包括确定与个体相对于彼此的位置相对应的多个位置约束。多个观看约束被确定。每个观看约束与所述个体中的一个相对于该一个个体为观看虚拟再现所使用的显示器的位置相对应。虚拟再现中的个体的虚拟再现的相对位置被确定。个体的虚拟再现的相对位置与所述确定的位置和观看约束相对应。用于提供虚拟再现的一个示例性系统包括至少一个处理器，其被配置以确定与个体相对于彼此的位置相对应的多个位置约束。该处理器还确定多个观看约束，每个观看约束与所述个体中的一个相对于该一个个体为观看虚拟再现所使用的显示器的位置相对应。该处理器确定虚拟再现中的个体的虚拟再现的相对位置。该相对位置与所述确定的位置和观看约束相对应。通过以下详细描述，对于本领域技术人员，所公开的示例的各种特征和优点将会变得显而易见。伴随详细描述的附图可被简单描述如下。
图1示意性地示出根据本发明实施例所设计的用于提供虚拟再现的系统和方法；图2示意性地示出多个源空间及相应虚拟空间的示例；图3示意性地示出多个源空间的另一示例；图4示意性地示出与来自图3的源空间相对应的虚拟空间；图5示意性地示出与来自图3的源空间相对应的另一虚拟空间。
具体实施例方式图1示意性地示出用于提供虚拟再现的系统20，该虚拟再现包括虚拟再现与其代表的现实世界状况之间的一致性。该一致性使得与虚拟再现的交互更易接受、更真实。对于该虚拟再现，存在各种用途。为便于讨论，本说明书中考虑了电话会议应用。所公开技术的其他应用也是可能的。受益于本发明的本领域技术人员将能够为其具体情形实施所描述的技术。图1的示例包括多个视频反馈(video feed) 22。在该示例中，存在不止一个提供待被并入到虚拟空间中的视频信息的源空间，该虚拟空间是组合成单一虚拟空间的源空间的虚拟再现。视频反馈22来自例如提供关于源空间诸如用于电话会议的会议室的内容的信息的摄影机。处理器24使用来自视频反馈22的信息形成源空间的虚拟再现。场景理解模块26利用用于分辨源空间布置的已知技术来处理视频信息。场景理解模块26确定墙壁的位置、家具的位置及源空间的其他特征。占用监测模块28使用用于确定源空间内个体的位置的已知技术。例如，占用监测模块28可跟踪个体的移动当他们在源空间内来回走动时。在该示例中，已知视频分析技术被用于获得准确描述源空间内的内容和活动的信
肩、O约束生成模块30确定关于虚拟再现的多个约束，以便虚拟约束将对应于源空间的物理布局和内容。在该示例中，约束生成模块30被配置以确定与源空间布局及每一源空间内个体相对于彼此的物理位置相对应的约束。在该示例中，约束生成模块30确定与每个源空间内个体相对于彼此的位置相对应的多个位置约束。该示例性的约束生成模块30还确定多个观看约束，每个观看约束与关于个体中的一个相对于该一个个体为观看虚拟再现的显示器的位置的信息相对应。位置约束和观看约束限制了虚拟空间能够如何被布置以及虚拟空间中的个体的虚拟再现如何被放置。布局生成模块32使用来自约束生成模块30的约束信息确定虚拟空间的布局。一个示例包括利用其中约束被考虑定义优化问题的优化技术。布局生成模块32在构建虚拟空间时有效地考虑到关于个体的位置的现实世界约束。位置约束保证个体的虚拟再现对应于他们之间的实际物理相对位置。观看约束保证当现实世界中的人观看显示虚拟再现的屏幕时，该屏幕上的个体的虚拟再现以相应方式被放置。这保证当个体与虚拟空间交互时，在每个个体的体验中，现实世界与虚拟世界之间的一致性。图1的示例还包括限制或约束布局生成模块32可如何配置虚拟空间的虚拟空间约束34。例如，虚拟空间约束举例包括例如最大房间尺寸及个体的虚拟再现之间的要求最小距离。虚拟空间约束34被并入由布局生成模块34所提供的最佳布局。虚拟空间布局在36被提供并在显示器上被展示给打算与虚拟世界进行交互的个体。图2示意性地示出其中5个个体将参加虚拟环境中的电话会议的示例情形。在该示例中，存在两个不同的源空间，每个源空间对应于电话会议的参与者所处的会议室。第一源空间40为会议室，其中，个体42、44、和46坐在桌子48周围。源空间40中的显示器50向个体42、44、和46提供观察虚拟空间及他们将与其进行电话会议的个体的能力。作为示例，由约束生成模块30为源空间40确定的关于个体46的位置约束被示意性地示出。参考平面或线60对应于例如提供视频反馈22中的一个或另一参考基础的摄影机的视线。第一角度62描述个体44相对于个体46的相对位置。从该示意性视图可以看出，角度62对应于参考线60和个体46沿其注视个体44的视线64之间的角度。第二角度66描述个体42相对于个体46的相对位置。角度66对应于参考线60和个体46与个体42之间的视线68之间的角度。在该示例中，第一角度62大约为75°，第二角度66大约为120°。角度62和66提供关于第一源空间40的部分位置约束信息。为描述个体44和46相对于个体42的位置的相对位置，以个体42作为参考为基础，还存在额外位置约束信息。类似地，位置约束信息将描述个体42和46相对于个体44的相对位置。图2中仅示意性地示出用于描述相对于个体46和参考线60的位置信息的角度。为简明起见，其它位置约束信息未不出。约束生成模块30还为第一源空间40中的每一个体确定观看约束。再次以个体46为例，显示器50位于个体46的参考线70和72之间的视角锥(viewing cone)内。示意性参考线70对应于个体46和显示器50的一个边之间的视线，而示意性参考线72对应于个体46和显示器50的相对边之间的视线。示意性参考线70和72中的每一个可用相对于参考线60的角度被描述。例如，这允许将视角锥描述为具有以个体46为参照位于105°和190。之间的显示器50。为个体42和46的每一个确定相似的观看约束信息。为简明起见，其它观看约束信息在图2中未示出。观看约束信息的一个方面在于，其限制其它源空间中的个体和对象相对于第一源空间40中的个体42、44和46的位置的位置，当所有该等位置被并入虚拟空间时。例如,个体46观看显示器50以观察另一源空间中的个体。相对于个体46的虚拟再现，该个体的虚拟再现应在相应视角锥内适合或在对应于参考线70和72的虚拟空间布局内的虚拟参考线之间适合，以提供一致性。例如，当在现实世界中，个体46以显示器50的方向观看时，个体46的虚拟再现将与当观看虚拟空间内另一个体的另一虚拟再现时，具有相同视角。第二源空间80在图2中被示意性地示出。在该示例中，第二源空间80为被两个个体82和84占据的另一个会议室。建立该第二源空间80的会议室内提供了桌子86和显示器88。相对于参考平面或线90以及个体82，来自第二源空间80的位置约束信息被示意性地示出。个体82和显示器88的一个边之间的视线参考线92位于相对于参考线90的第一角度94。第二视线参考线96位于个体82和显示器的相对边之间。参考线96位于相对于参考线90的第二角度98。对于来自第二源空间80的观看约束信息，个体82的视角锥位于参考线92和96之间或位于角度94和98之间。例如，该观看约束信息描述显示器88和个体82的相对方位，以提供个体82所观察到的虚拟再现中的一致性。位置约束信息由从个体82到个体84的参考线102之间的角度100被示意性地示出。在该示例中，位置约束信息可包括将个体84描述为正处于相对于个体82的角度135 °。相对于个体84，额外位置约束和观看约束被确定。为简明起见，这些约束并未被示意性地示出。第一空间40和第二空间80被合并成单一的虚拟空间110。虚拟空间布局生成模块32利用约束信息并为虚拟空间确定最佳布局以最大限度地满足位置约束和观看约束。在该示例中，虚拟空间110包括被所有个体42、44、46、82和84占据的单一会议室的虚拟再现。每个个体的虚拟再现被显示为环绕虚拟空间110中的单一会议室桌112的虚拟再现。从该说明可以理解，个体的虚拟再现的相对位置与真实源空间40和80内的位置约束和观看约束是一致的。个体46’的虚拟再现被相对于个体42’和44’的虚拟再现放置，以与在第一源空间40内的他们的相对物理位置相对应的方式。源空间40中的视线64和68的相对角度分别与在64’和68’所示意性地示出的虚拟空间110内的相应视线的相对角度相对应。此外，个体82’和84’的虚拟再现位于个体46’的虚拟再现的虚拟视角锥中。参考线70’和72’与源空间40中的参考线70和72相对于。因而，个体82’和84’的虚拟再现，在提供观看第一源空间40中的显示器50的个体46的视角与虚拟空间110中的个体46’的视角之间的一致性的位置上，与个体46’的虚拟再现相对。线70和72之间的角度不需要与线70’和72’之间的角度完全匹配。如果它们之间充分对应，则在虚拟空间110中的虚拟再现与第一源空间40中的个体46的体验之间存在一致性。从该说明可以理解，来自第二源空间80的位置和观看约束在第一虚拟空间110内也尽可能被满足或适应。个体82’和个体84’的虚拟再现的相对位置与第二源空间80内的个体82和84之间的相对实际位置相似。此外，个体42’、44’和46’的虚拟再现的位置位于个体82’的虚拟再现的视角锥中，例如，个体82’的虚拟再现的视角锥与个体82的实际视角锥相对应，当该个体正观看显示器88时。。从该说明可以理解，参考线92’和96’所指示的虚拟视角锥比第二源空间80中的参考线92和96之间的实际视角锥宽。尽管描述视角锥的角度与描述虚拟视角锥的角度不是完全匹配，它们之间具有充分的对应以提供一致性，使得个体82的体验在虚拟空间110内得以很好的再现。换句话说，当个体82正观看第二源空间80中的显示器88时，相对于个体84’和虚拟空间110内的个体46’、44’和42’，个体82’的虚拟再现具有相似的方位。图3示意性地示出电话会议场景的另一示例。该示例包括全部被并入单一虚拟空间的3个源空间。任何数量的源空间可以被并入该虚拟空间。在该示例中，包括3个虚拟空间。第一虚拟空间120被个体122、124和126占据。这些个体围坐在会议室内的桌子130旁。大显示器132为个体122、124和126提供了观看虚拟空间以参与电话会议的能力。在该示例中，个体126具有其将使用参加虚拟电话会议的单独显示器134。例如，显示器134可以在笔记本电脑上。第二源空间140包括由个体142和144占据的会议室。第二源空间140包括桌子146和显示器148。
第三源空间150由个体152和154占据。第三源空间150包括桌子156和显示器158。约束生成模块30为每一源空间120、140和150确定位置约束和观看约束。布局生成模块32利用所有的约束信息确定虚拟空间的最佳布局以提供现实世界的状况和虚拟空间中再现的状况之间的一致性。本示例的一个方面在于个体126所使用的单独显示器应该具有不同的虚拟空间布局以适应，与其他个体在各自源空间内如何观察其他显示器相比，显示器134相对于个体126的不同位置。图4示意性地示出将源空间120、140和150组合成单一虚拟空间的示例性虚拟空间160。虚拟空间160包括单一的会议桌再现162和参与电话会议的所有7个个体的虚拟再现。通过比较图3和图4可以看出，虚拟空间160内的个体再现的相对位置与每个源空间内个体的相对位置相对应。例如，个体124’的虚拟再现位于个体126’的虚拟再现与个体122’的虚拟再现之间，并且它们之间具有相同的关系。这些个体之间的实际物理距离与它们相对应的虚拟再现之间可存在一些差异。由于需要满足来自所有虚拟空间的约束的要求，它们之间在相对角度也会有些差异。但是，同时，现实世界中的相对位置与虚拟空间160内的相对位置之间具由一致性。关于来自其它两个源空间的个体的相对位置也是如此。通过比较图3和图4可以看出，观看约束已被尽可能地满足或适应。例如，当个体124正观看显示器132时，该个体的相应虚拟再现124’正虚拟地观看与第一虚拟空间120内的个体124的实际视角锥相对应的虚拟视角锥内的个体142’、144’、152’和154’的虚拟再现。关于被虚拟地再现于虚拟空间160中的其它个体，也是如此。图5示意性地示出虚拟空间170，该虚拟空间170与以在显示器134上提供虚拟再现为目的生成的布局相对应。在该情况下，仅个体126正观看显示器134。通过比较图4和图5可以看出，会议桌再现172的配置，与会议桌162的再现相比，是不同的。而且，虚拟空间170中的个体的位置，与虚拟空间160内的位置相比，是改变的。这适应了直接观看其前方的显示器134的个体126，相比于参加电话会议以与房间中他们的相对位置相对应的角度观看他们桌子对面的显示器的其他个体之间的差异。在虚拟空间170内，个体122’和124’的虚拟再现位于个体126’的虚拟再现的虚拟桌子再现172的对面。当个体126正观看源空间120内的显示器134时，个体122和124位于个体126的桌子的对面，这提供了一致性。然而，如果个体126将要观看显示器134且然后看到显示器的稍上方，个体126将会看到显示器134上的个体122’和124’的虚拟再现分别与现实世界中的个体122和124的真实位置大致排成一行。同时，个体再现142’和144’、152’和154’的位置均适合位于与观看显示器134的个体126的视角锥相对应的个体126’的虚拟再现相对的虚拟视角锥中。此是关于所公开方法和系统如何为与虚拟世界交互的个体提供一致性体验的示例。图4和图5的示例证明所公开的示例系统和方法如何适应在任何数量的虚拟世界源空间中的各种状况并如何提供与现实世界的那些状况一致的虚拟空间再现。参与图3的电话会议示例的每一个体都具有与他们在其选择的显示器上观看虚拟空间时的现实世界一致的虚拟体验。位置约束信息和观看约束信息为所有的个体提供一致的体验，甚至当这些个体使用不同的显示器时。
在该示例性情形下，图4和图5中示出两个虚拟空间再现。当多个显示器被运用且每个显示器应具有独特的虚拟再现时，为给定情况提供多个虚拟再现，以向相应观看用户提供与他们的现实世界情形相一致的虚拟体验是可能的。以上描述在本质上是示例性的，而非限制性的。本发明的法定保护范围仅通过研究以下权利要求被确定。
权利要求
1.一种呈现虚拟再现的方法，包括步骤: 确定与个体相对于彼此的位置相对应的多个位置约束； 确定多个观看约束，每个观看约束与所述个体中的一个相对于该一个个体为观看虚拟再现所使用的显示器的位置相对应；以及 确定与所述确定的位置和观看约束相对应的虚拟再现中的个体的虚拟再现的相对位置。
2.根据权利要求1所述的方法，其中，部分所述个体位于第一物理空间内而其他所述个体位于第二物理空间内，每个物理空间具有至少一个显示器，以及所述方法包括: 在对应于所述第一和第二物理空间的单一虚拟空间内提供所有所述个体的单一虚拟再现，以使所有所述个体的所有虚拟再现均位于所述单一虚拟空间内。
3.根据权利要求2所述的方法，其中，在所述第一物理空间内存在至少两个显示器，以及所述方法包括: 在所述至少两个显示器中的一个上提供第一单一虚拟再现，所述第一单一虚拟再现满足关于使用所述至少两个显示器中的一个的至少一个个体的所确定的约束；以及 在所述两个显示器中的另一个上提供第二、不同的单一虚拟再现，所述第二单一虚拟再现满足关于使用所述至少两个显示器中的另一个的至少一个个体的所确定的约束。
4.根据权利要求1所述的方法，其中，所述个体中的第一个体位于所述个体中的第二个体的物理视野之外，及确定所述个体的虚拟再现的相对位置包括: 将所述第一个体的虚拟再现相对于所述第二个体的虚拟再现放置，以满足关于所述第二个体的所确定的观看约束；以及 将所述第二个体的虚拟再现相对于所述第一个体的虚拟再现放置，以满足关于所述第一个体的所确定的观看约束。
5.根据权利要求4所述的方法，其中: 关于所述第一个体的所确定的观看约束包括所述第一个体所使用的显示器位于所述第一个体的视角锥内，以及其中所述第二个体的虚拟再现位于所述第一个体的虚拟再现的相应视角锥内；以及 关于所述第二个体的所确定的观看约束包括所述第二个体所使用的显示器位于所述第二个体的视角锥内，以及其中所述第一个体的虚拟再现位于所述第二个体的虚拟再现的相应视角锥内。
6.根据权利要求1所述的方法，包括: 确定所述个体的虚拟再现的相对位置，以满足尽可能多的所述确定的位置约束。
7.根据权利要求1所述的方法，包括: 确定所述个体的虚拟再现的相对位置，以满足尽可能多的所述确定的观看约束。
8.根据权利要求1所述的方法，包括: 确定满足尽可能多的虚拟约束的虚拟再现的布局，所述虚拟约束限制所述虚拟再现的特征。
9.一种用于展示虚拟再现的系统，所述系统包括: 至少一个处理器被配置以 确定与个体相对于彼此的位置相对应的多个位置约束；确定多个观看约束，每个观看约束与所述个体中的一个相对于该一个个体为观看虚拟再现所使用的显示器的位置相对应；以及 确定与所述确定的位置和观看约束相对应的虚拟再现中的个体的虚拟再现的相对位置。
10.根据权利要求9所述的系统，其中，部分个体位于第一物理空间内而其他所述个体位于第二物理空间内，每个物理空间具有至少一个显示器，及其中，所述处理器被配置以在对应于所述第一和第二物理空间的单一虚拟空间内提供所有所述个体的单一虚拟再现，以使所有所述个体的所有虚拟再现均位于所述单一虚拟空间内。
11.根据权利要求10所述的系统，其中，在所述第一物理空间内存在至少两个显示器，以及其中所述处理器被配置以: 在所述至少两个显示器中的一个上提供第一单一虚拟再现，所述第一单一虚拟再现满足关于使用所述至少两个显示器中的一个的至少一个个体的所确定的约束；以及 在所述两个显示器中的另一个上提供第二、不同的单一虚拟再现，所述第二单一虚拟再现满足关于使用所述至少两个显示器中的另一个的至少一个个体有关的所确定的约束。
12.根据权利要求9所述的系统，其中，所述个体中的第一个体位于所述个体中的第二个体的物理视野之外，以及其中所述处理器被配置以通过以下方式确定所述个体的虚拟再现的相对位置: 将所述第一个体的虚拟再现相对于所述第二个体的虚拟再现放置，以满足关于所述第二个体的所确定的观看约束；以及 将所述第二个体的虚拟再现相对于所述第一个体的虚拟再现放置，以满足关于所述第一个体的所确定的观看约束。
13.根据权利要求12所述的系统，其中: 关于第一个体的所述确定的观看约束包括所述第一个体所使用的显示器位于所述第一个体的视角锥内，以及其中所述第二个体的虚拟再现位于所述第一个体的虚拟再现的相应视角锥内；以及 关于第二个体的所述确定的观看约束包括所述第二个体所使用的显示器位于所述第二个体的视角锥内，以及其中所述第一个体的虚拟再现位于所述第二个体的虚拟再现的相应视角锥内。
14.根据权利要求9所述的系统，其中，所述处理器被配置以确定所述个体的虚拟再现的相对位置，以满足尽可能多的所述确定的位置约束。
15.根据权利要求9所述的方法，其中，所述处理器被配置以确定所述个体的虚拟再现的相对位置，以满足尽可能多的所述确定的观看约束。
16.一种计算机可执行程序，包括多个指令以指示计算机: 确定与个体相对于彼此的位置相对应的多个位置约束； 确定多个观看约束，每个观看约束与所述个体中的一个相对于该一个个体为观看虚拟再现所使用的显示器的位置相对应；以及 确定与所述确定的位置和观看约束相对应的虚拟再现中的个体的虚拟再现的相对位置。
17.根据权利要求16所述的计算机可执行程序，其中，部分所述个体位于第一物理空间内而其他所述个体位于第二物理空间内，及其中，所述指令包括进一步的指令以指示计算机: 在对应于所述第一和第二物理空间的单一虚拟空间内提供所有所述个体的单一虚拟再现，以使所有所述个体的所有虚拟再现均位于所述单一虚拟空间内。
18.根据权利要求17所述的计算机可执行程序，其中，在所述第一物理空间内存在至少两个显示器，以及其中所述指令包括进一步的指令以指示计算机: 在所述至少两个显示器中的一个上提供第一单一虚拟再现，所述第一单一虚拟再现满足关于使用所述至少两个显示器中的一个的至少一个个体的所确定的约束；以及 在所述两个显示器中的另一个上提供第二、不同的单一虚拟再现，所述第二单一虚拟再现满足关于使用所述至少 两个显示器中的另一个的至少一个个体的所确定的约束。
全文摘要
提供虚拟再现的示例性方法包括确定与个体相对于彼此的物理位置相对应的多个位置约束。多个所确定的观看约束的每一个与所述个体中的一个相对于该一个个体为观看虚拟再现所使用的显示器的位置相对应。虚拟再现中的个体的虚拟再现的相对位置被确定以与所述确定的位置和观看约束相对应。
文档编号A63F13/12GK103189113SQ201080069970
公开日2013年7月3日 申请日期2010年11月3日 优先权日2010年11月3日
发明者唐尼·媞加替, 欧文·塞克斯, 萨米·利芬斯, 马滕·阿兹 申请人:阿尔卡特朗讯