[0089] 用于将混合现实呈现给一个或多个用户18的系统可被配置成允许用户18(或者用 户都存在于其中的公共环境的拥有者/操作者)在公共环境内的共同或优选观看位置处观 看虚拟物体。
[0090] 参考图6,在步骤602,收集场景数据。对于中枢12,运可W是由捕捉设备20的深度 相机426和RGB相机428感测到的图像和音频数据。对于处理单元4,该场景数据可W是由头 戴式显示设备2感测到的图像数据，且具体而言，是由相机112、眼睛跟踪组件134和IMU 132 感测到的图像数据。
[0091] 在步骤604,将会与其共同观看物体的HMD配戴者被确定。被允许观看共同观看的 虚拟物体的用户可W是公共环境或一个经定义的用户集中的每个人。例如，当共同观看的 虚拟物体在用户之间共享时，对物体的控制的共享可由用户(诸如用户18a)或公共环境100 的拥有者来定义。例如，一个用户18a可选择与用户18b共享虚拟物体27中的图片或图片集。 在另一示例中，公共环境100可包括咖啡店，则该环境的拥有者可选择与咖啡店的顾客共享 虚拟物体。在运两种情况下，每个物体的虚拟物体定义可包括哪些用户被允许观看虚拟物 体W及定位和朝向规则、物体呈现信息、W及视角信息。运可能需要确定视角、虚拟设备的 属性、W及某些用户是否被允许观看该物体。对于共享的虚拟物体的许可设置的解说可在 题为乂0LLAB0RATI0N ENVIRONMENT USING SEE THROUGH DISPLAYS"(使用透视显示器的协 作环境)的美国专利申请序列号13/464,941中找到。
[0092] 在步骤608,各个HMD在公共环境100中的位置被确定，并且各设备被校准到公共的 本地坐标系。一般来说，禪合到用户的头戴式显示设备2在公共环境中移来移去是可能的。 因此，在各实施例中，每个成像相机的位置相对于环境和彼此来校准。步骤608的进一步细 节在2012年5月3 日公开的题为 "Low-Latency Fusing of Virtual And Real Content"(虚 拟和现实内容的低延迟融合)的美国专利公开号2012/0105473中被描述。
[0093] -旦在步骤608校准了该系统，则可W在步骤610发展场景图，该场景图标识出该 场景的几何形状W及该场景内的物体的几何形状和位置。在各实施例中，在给定帖中生成 的场景图可包括公共环境中的所有用户、现实世界对象和虚拟物体在本地坐标系中的x、y 和Z位置。场景图可被用来定位场景内的虚拟物体，W及显示带有正确遮挡的虚拟Ξ维对象 (虚拟Ξ维对象可被现实世界对象或另一虚拟Ξ维对象遮挡，或虚拟Ξ维对象可遮挡现实 世界对象或另一虚拟Ξ维对象）。
[0094] 在步骤612,该系统可检测和跟踪诸如在公共环境中移动的人之类的移动物体，并 且基于移动物体的位置来更新场景图。
[0095] 在步骤614,确定第一用户的头戴式显示设备2的位置、朝向和F0V。现在参考附图9 的流程图描述步骤614的进一步细节。下文参考单个用户描述图9的步骤。然而，图9的步骤 可针对场景内的每一用户来执行。当其他用户的位置、取向和F0V被确定时，该信息可被取 回到执行该方法的设备，W供在确定虚拟物体的共同/优选观看位置时使用。
[0096] 在步骤616,确定要被呈现给环境中的用户的每一个共同观看的虚拟物体的优选 位置和朝向。图10中示出了一种用于确定共同观看的虚拟物体的位置和朝向的方法。
[0097] 在618,关于要被共同观看的虚拟物体的信息被发送给公共环境中要与其一起观 看该物体的所有用户。该信息可包括物体定义(如果观看者设备没有该物体定义及该物 体应当被呈现的公共/优选位置(及朝向）。在620,物体被呈现在每个观看用户的HMD中。
[0098] 在步骤622,如果检测到相对于虚拟物体的用户移动，则该物体的共同/优选观看 位置和/或朝向可被改变。用户移动可包括如上所述用于操纵物体的移动或在公共环境内 的移动。例如，共同观看的虚拟物体可W是书，用户可作动作来翻书页。如此，方法将返回到 步骤616W作出对于该虚拟物体的共同视图是否需要改变的判断。类似地，用户可在公共环 境内物理地移动，并且其相对于虚拟物体的位置音乐可改变。再次，系统将返回到步骤616， w确定用户的视角视图是否需要改变。
[0099] 如果否，则在步骤624,做出对于更多或更少个用户是否进入或离开了公共环境的 判断。如果是，则方法返回到步骤604W确定场景中的改变是否能够导致公共环境中呈现的 虚拟物体中的任何改动。
[0100] 图9示出一种用于执行图8中的步骤612的方法。在步骤700,分析场景的经校准的 图像数据W确定用户头部位置、W及从用户的面部向外直视的面部单位向量二者。可通过 根据用户的骨架模型定义用户的面部的平面并取垂直于该平面的向量来确定面部单位向 量(或视角24)。运一平面可通过确定用户的眼睛、鼻子、嘴、耳朵、或其他面部特征的位置来 被标识。面部单位向量可被用来定义用户的头部定向，且在一些示例中可被认为是用户的 F0V的中屯、。也可或替代地根据从头戴式显示设备2上的相机112返回的相机图像数据来标 识面部单位向量。
[0101] 在步骤704,用户的头部的位置和定向还可或替代地通过如下方式来被确定:分析 来自较早时间（要么在帖中较早，要么来自前一帖）的用户的头部的位置和定向，W及然后 使用来自IMU 132的惯性信息来更新用户的头部的位置和定向。来自IMU 132的信息可W提 供用户的头部的精确运动学数据，但是IMU典型地不提供关于用户的头部的绝对位置信息。 也被称为"地面真值"的该绝对位置信息可W从获得自捕捉设备20、主体用户的头戴式显示 设备2上的相机和/或其他用户的(一个或多个)头戴式显示设备2的图像数据来提供。
[0102] 在一些实施例中，用户的头部的位置和定向可W通过联合作用的步骤700和704来 确定。在又一些实施例中，步骤700和704中的一者或另一者可被用来确定用户的头部的头 部位置和定向。
[0103] 可能发生的是，用户未向前看。因此，除了标识出用户头部位置和定向W外，中枢 可进一步考虑用户的眼睛在其头部中的位置。该信息可由上述眼睛跟踪组件134提供。眼睛 跟踪组件能够标识出用户的眼睛的位置，该位置可W被表示成眼睛单位向量，该眼睛单位 向量示出了与用户的眼睛聚焦所在且向前看的位置的向左、向右、向上和/或向下的偏离 (即面部单位向量）。面部单位向量可W被调整为定义用户正在看向何处的眼睛单位向量。
[0104] 在步骤710,接着可W确定用户的F0V。头戴式显示设备2的用户的视图范围可W基 于假想用户的向上、向下、向左和向右的边界视力(peripheral vision)来预定义。为了确 保针对给定用户计算得到的F0V包括特定用户或许能够在该F0V的范围内看到的物体，运一 假想用户可不被当作具有最大可能边界视力的人。在一些实施例中，某一预定的额外F0V可 被添加于此W确保对给定用户捕捉足够的数据。
[0105] 然后，可W通过取得视图范围并且将其中屯、定在调整了眼睛单位向量的任何偏离 的面部单位向量周围来计算该用户在给定时刻的F0V。除了定义用户在给定时刻正在看什 么之外，用户的F0V的运一确定还有用于确定用户不能看到什么。如下文解释的，将对虚拟 物体的处理限制到特定用户可看到的那些区域提高了处理速度并降低了延迟。
[0106] 在上述实施例中，中枢12计算该场景中的一个或多个用户的F0V。在又一些实施例 中，用于某一用户的处理单元4可在运一任务中共享。例如，一旦用户头部位置和眼睛定向 被估计，该信息就可被发送给处理单元，处理单元可基于与头部位置(来自IMU 132)和眼睛 位置(来自眼睛跟踪组件134)有关的更新近的数据来更新位置、定向等。
[0107] 图10示出一种用于确定共同观看的虚拟物体的共同/优选位置和朝向的方法。在 步骤1020,对于每个共同观看的物体，在步骤1022,作出针对用户是否执行了对于物体的位 置和朝向的用户控制的判断。步骤1022的用户控制可包括将物体定位在环境中或者可包括 可在物体的定位过程中被考虑的一系列用户偏好1034。
[0108] 在1024,通过参考与物体相关联的规则来确定共同/优选物体位置和朝向，该规则 可基于物体类型、物体位置、物体朝向、用户的数目W及用户位置。图11到14中示出了步骤 1024中的几个示例。在一个实施例中，当不止一个用户正观看物体时，对所呈现的每一个共 同观看物体自动执行步骤1024。在另一实施例中，步骤1024在共享共同物体的用户的请求 下触发，例如通过对该共同物体的姿势或操纵动作来触发，该姿势或操纵动作指示用户希 望系统将该物体移动到优选位置。
[0109] 在步骤1030,作出针对是否接收到用户对虚拟物体的操纵的判断。运一操纵或控 制可W是图8中的步骤622处进行什么动作。如果接收到操纵动作，则在1032标识该控制动 作。控制动作可W是对共同观看物体的物理重新定位或者可包括对虚拟物体的控制或操纵 姿势(诸如举例而言翻书页）。
[0110] 在1038，更新输出给每个用户的歷D的针对虚拟物体的信息。在一个方面，运可包 括将新的定位信息传达给该共同物体的其他观看者或者传达对虚拟物体形式的改变。方法 对每个共同观看的虚拟物体重复。
[0111] 图11-14是根据图10的步骤1024确定共同观看的虚拟物体的位置和朝向的各个 示例。应当理解，图11-14仅仅是示例性的，用于确定共同或优选观看位置的许多其它方法 也可根据本技术来使用。如此处所提到的，每个虚拟物体可包括一个或多个物体定义，包括 关于该物体的一个或多个优选观看视角的信息。在图11A中，示出了共同虚拟物体1125。在 一个示例中，共同虚拟物体1125是一个相框或其它基本平坦的物体。物体1125包括由箭头 1130所示的优选观看视角。箭头1130示出了观看该虚拟物体1125的优选方向。应当理解，箭 头1130所示出的优选观看视角是在Ξ维空间中的，并且表示该物体相对于正对该物体的观 看者的优选朝向。换言之，箭头1130具有相对于该物体的二维位置(X、Y)W及Z方向上的幅 值，该幅值可指示优选距离。
[0112] 在图11-14中所示的示例中，示例性方法基于观看该虚拟物体1125的用户的数目 来确定该虚拟物体的位置和朝向。应当理解，其它触发因素可确定用于确定虚拟物体的共 同观看点的方法的起始点。例如，物体定义可指示无论用户数量多少，虚拟物体应当可被公 共环境中的每一个用户观看到，运样如果判断环境是太拥挤的而导致无法容易地为所有用 户找到优选观看位置，则物体应当被放大并且显示在所有用户的头部W上。
[0113] 转到图11A，在步骤1102,检索物体数据和用户位置数据。在步骤1104,如果观看共 同虚拟物体的用户的数目是两个，则方法前进至步骤1106。如果确定了不同的用户数目，贝U 在1150,方法前进到该用户数目。
[0114] 两个用户1162和1160正观看物体1125。在步骤1106,初始确定可W是计算第一用 户和第二用户之间的中点1127。在1108,确定物体定义中的朝向、位置和大小数据，W及任 何其它因物体而异的定义。运包括确定该虚拟物体的优选观看视角和朝向。在图11B，物体 1125被示为在知晓共同/优选观看地点和视角之前被放置在中点1127处。应当注意(像图1B 一样），一个用户（用户1162)将看到物体的优选视角（相对于视角1130)，而另一用户（用户 1160)则不会。
[0115] 在步骤1110,方法计算相对于物体的大小和物体定义的共同/优选观看位置和朝 向。在运一示例中，点1137处的共同/优选观看位置被选择为距用户1160和1162等距的点， 并且处于与到步骤1106中计算的中点的光线偏移相同的相对角度，使得每个用户1160、 1162具有相同的相对视角并且感觉到物体处于空间中的相同的相对物理地点。应当注意， 如果物体是一个相对较小的物品，则呈现的距离可能较小，而如果物体较大，则距离可同样 的较大。物体