使用镜子暗喻来提供远程沉浸式体验的制作方法
【专利说明】使用镜子暗喻来提供远程沉浸式体验
[0001]
[0002]远程沉浸式协作系统能够实现地理上相互分开的两个或更多个参与者之间的实时交互。通过向每个参与者给出他或她正与其他远程参与者在同一物理空间中工作的感觉，这种类型的系统不同于传统的视频会议系统。
[0003]—种远程沉浸式协作系统使用窗户暗喻来提供共享空间体验。S卩，这种类型的系统向第一参与者给出他或她通过透明的窗户来看向第二参与者(其位于窗户的对面)的感觉。但是这种类型的协作系统可具有一个或多个缺点。第一，这个系统不能很好地适用于两个以上的参与者，这是因为窗户暗喻预先假定只有两个位置，对应于窗户窗格的前面和后面。第二，即，在不偏离窗户暗喻的原理达某个程度的情况下，这个系统不能容易地容纳其中参与者可操纵虚拟对象的共享工作空间。第三，这个系统不能提供藉此每个本地参与者能监视他或她对远程参与者而言出现的方式的合适机制。一些视频会议系统通过在显示器的周围区域中包括显示被呈现给其他参与者的本地参与者的图像的小的图片来实现这个结果；但是这种类型的图片可被视为使本地参与者分心且对本地参与者而言不自然。
[0004]以上提到的潜在缺点是作为示例而非限制被引述的。
【发明内容】
[0005]本文中描述了包括两个或更多个设置的远程沉浸式环境。本地参与者对应于物理地出现在特定本地设置处的参与者；远程参与者对应于物理地出现在相对于本地设置而言远程的设置处的参与者。每个设置进而包括用于产生三维虚拟空间以供本地参与者查看的镜子功能。该虚拟空间显示参与者中的至少一些，就好像参与者物理地出现在同一位置并看向镜子那样。
[0006]在一个说明性实现中，由每个设置提供的镜子功能包括被放置在显示设备的前面的物理半透明镜子。半透明镜子呈现本地参与者的虚拟图像，而显示设备呈现远程参与者的虚拟图像。
[0007]在另一说明性实现中，镜子功能包括模拟物理镜子的显示设备。S卩，在这个实施例中的显示设备呈现本地参与者和远程参与者两者的虚拟图像，而不使用物理半透明镜子。
[0008]根据另一说明性方面，每个设置包括用于构造其本地参与者的深度图像的功能。
[0009]根据另一说明性方面，每个设置包括其中本地参与者可放置物理对象的物理工作空间。设置产生作为物理对象的对应物的虚拟对象。在一个实现中，物理工作空间包括在其上本地参与者可放置物理对象的工作空间桌子。
[0010]根据另一说明性方面，每个设置处的镜子功能提供允许参与者联合地操纵虚拟对象的功能。虚拟对象可具有或可不具有在设置之一的工作空间中的对应物理对象。
[0011]根据另一说明性方面，由环境产生的虚拟空间包括虚拟反射空间和虚拟实际空间。虚拟反射空间包括从镜子表面上的反射的视角投射的一个或多个虚拟反射对象。虚拟实际空间包括从被放置在镜子表面之前的实体的视角投射的一个或多个虚拟实际对象。
[0012]上面的方法可以显现在各种类型的系统、组件，方法、计算机可读介质、数据结构、广品等等中O
[0013]提供本
【发明内容】
以便以简化形式介绍一些概念；这些概念将在以下的详细描述中进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
[0014]附图简沐
[0015]图1显示了使用镜子暗喻的远程沉浸式环境的概览。
[0016]图2描绘了被提供给使用图1中显示的那种环境的两个参与者的远程沉浸式体验。
[0017]图3显示可产生图2中示出的体验的环境的第一实现。该实现提供使用物理半透明镜子结合被放置在镜子后面的显示设备的镜子功能。
[0018]图4显示可产生图2中示出的体验的环境的第二实现。该实现提供单独使用显示设备(例如，而不使用物理半透明镜子)的镜子功能。
[0019]图5显示可被用于提供三维(3D)场景信息的本地处理系统的一个实现。图3或4的镜子功能显示3D场景信息。
[0020]图6显不使用具有弯曲显不表面的显不设备的镜子功能。
[0021]图7显示使用便携式显示设备的镜子功能。
[0022]图8显示涉及呈现由虚拟反射空间和虚拟实际空间组成的虚拟空间的远程沉浸式体验。
[0023]图9显示解释本地处理系统的一种操作方式的说明性过程。
[0024]图10示出了可以被用来实现前面的附图中所示出的特征的任何方面的说明性计算功能。
[0025]贯穿本公开和各附图，相同的编号参考相同的组件和特征。100系列标号指的是最初在图1中所找到的特征，200系列的标号指的是最初在图2中找到的特征，300系列的标号指的是最初在图3中找到的特征，依此类推。
【具体实施方式】
[0026]本发明是按如下方式来组织的。章节A提供关于使用镜子暗喻的远程沉浸式环境的概览；更具体的，本章节强调了被提供给远程沉浸式会话的参与者的体验。章节B描述了在章节A中介绍的环境的说明性实现。章节C阐述了在章节A和B中描述的概念和功能的说明性变体和扩展。章节D阐述了解释章节A — C的功能的操作的说明性方法。并且章节E描述了可以被用来实现章节A-D中所描述的特征的任何方面的说明性计算功能。
[0027]初步地，一些附图描述一个或多个结构组件(不同地称为功能、模块、特征、元件等)的上下文中的概念。附图所示的各个组件可通过任何物理和有形的机制，例如通过软件、硬件(例如芯片实现的逻辑功能)、固件等和/或其任何组合，以任何方式实现。在一种情况下，附图中所示出的将各种组件分离为不同的单元可以反映在实际实现中使用对应的不同的物理和有形的组件。另选地或者另外地，附图中所示出的任何单个组件都可以通过多个实际物理组件来实现。另选地或另外地，附图中的任何两个或更多分开组件的描绘可以反映单个实际物理组件所执行的不同功能。图10(将依次讨论)提供关于附图中所示的功能的一个说明性物理实现的附加细节。
[0028]其他附图以流程图形式描述了概念。以此形式，某些操作被描述为构成以某一顺序执行的不同的框。这些实现是说明性而非限制性的。此处描述的某些框可被分组在一起并在单个操作中执行，某些框可被分成多个组件框，并且某些框可以按与此处所示出的不同的次序来执行(包括以并行方式执行这些框)。流程图中示出的框可以任何方式由任何物理和有形机制来实现，例如由软件、硬件(如芯片实现的逻辑功能)、固件等，和/或它们的任何组合来实现。
[0029]至于术语，短语“被配置成”包含任何类型的物理和有形的功能可以被构建来执行已标识的操作的任何方式。功能可以被配置成使用例如软件、硬件(例如，芯片实现的逻辑功能)、固件等，和/或其任何组合来执行操作。
[0030]术语“逻辑”包含用于执行任务的任何物理和有形的功能。例如，流程图中示出的每一个操作都对应于用于执行该操作的逻辑组件。操作可以使用例如软件、硬件(例如，芯片实现的逻辑功能)、固件等，和/或其任何组合来执行操作。在由计算系统实现时，逻辑组件表示作为计算系统的物理部分的、不管用何种方式实现的电子组件。
[0031]权利要求中的短语“用于…的装置”(如果被使用)旨在援引35U.S.C.§ 112第六段的规定。除了本特定短语之外，没有其他语言旨在援引该法条的该部分的规定。
[0032]下列的说明可以将一个或多个特征标识为“可选”。这种类型的陈述不应该被解读为可以被视为可选的特征的穷尽的指示；也就是说，其他特征也可以被视为可选，虽然在文本中没有明确地标识。最后，术语“示例性”或“说明性”指的是可能的多个实现中的一个实现。
[0033]A.说_件参与者体验
[0034]本章节提供关于使用镜子暗喻来操作的远程沉浸式环境的概览。更具体地，本章节通过主要描述远程沉浸式环境提供给其每个参与者的体验的类型来介绍该远程沉浸式环境。章节B—D (以下)提供关于该体验能被实现的各种方式的细节。
[0035]从图1开始，该附图显示了远程沉浸式环境100的概览，该远程沉浸式环境100向标记为参与者P1、参与者匕和参与者P3的三个参与者提供远程沉浸式体验。然而，该环境100可提供涉及仅两个参与者或三个参与者以上的远程沉浸式会话。每个参与者相比于其他两个参与者而言在不同的地理位置处操作。即，参与者P1在位置L i处操作，参与者P 2在位置L2处操作，并且参与者P 3在位置L 3处操作等。当从任一参与者位置的有利视点来描述环境100时，在该位置处的参与者被称为本地参与者，而其他参与者被称为远程参与者。此外，本地设置指在与本地参与者相关联的特定站点处提供的功能。远程设置指在与远程参与者相关联的站点处提供的功能。
[0036]每个位置可与任一其他位置分开任意距离。例如，在一个情况下，如当两个参与者占据校园环境中的同一建筑物的不同房间或不同建筑物时，该两个参与者可相对靠近在一起。在另一情况下，如当两个参与者位于不同的州、省份或国家等时，该两个参与者可相距很远。图1通过指示三个参与者(P1, P2, P3)全部都占据真实空间104来简化对他们的描绘。真实空间是包括物理实体(例如，人、物理对象等)的空间。
[0037]环境100使用镜子功能106来呈现三维虚拟空间108。虚拟空间108使用镜子暗喻来提供参与者102的虚拟图像110。当事实上参与者实际上处于不同的位置(例如，位置L1, L2, L3)时，镜子暗喻给予每个参与者以下感觉:所有的参与者都出现在同一物理位置处并看向同一镜子。即，每个参与者都将在由镜子功能106产生的虚拟空间108中看到虚拟图像VpVjPV313虚拟图像V1是真实参与者虚拟对应物。虚拟图像￥2是真实参与者？2的虚拟对应物。并且虚拟图像V3是真实参与者P 3的虚拟对应物。(然而，如将在以下描述的，每个参与者的虚拟空间108的视图可在一些方面与其他参与者的视图不同；例如，基于配置设置，本地参与者可选择从虚拟空间108中省略他的虚拟图像。)
[0038]图1指示出环境100将虚拟图像110安排为给出参与者P2位于参与者P P 3中间的感觉，例如，其中参与者？:在参与者P 2的左边，而参与者P 3在参与者P 2的右边。但是对虚拟图像I1排序的这种方式可被改变。例如，环境100可按任意方式来分派次序，或可使用任意一个或多个因素来选择次序。例如，环境100可基于参与者的与次序有关的偏好来分派次序。或者环境100可基于每个参与者加入会话的时间次序等来分派次序。此外，环境100可在远程沉浸式会话期间基于任意触发因素来动态地改变参与者的次序。
[0039]在图1的示例中，虚拟图像(Vp VjP V3)