60可移回HUD460的默认身体锁定位置，例如在用户前方且超出水平线。此后，HUD460 可在步骤716保持身体锁定直到系统再次在步骤714确定用户在HUD460的方向中看了预 定时间段为止。
[0122] 如上所述，用户可选择一个或多个虚拟物体来交互，诸如举例来说HUD460。对 HUD460或其他虚拟物体的选择可通过若干姿势中的任何一种来指示，诸如举例来说用户 指向了一个或多个虚拟物体。当用户选择了HUD460时，用户可与HUD460的内容交互，例 如获得关于某一内容项的更详细的信息或者更改某一内容项。一旦被选择，该一个或多个 虚拟物体可保持被选择，直至用户执行了指示解除对一个或多个虚拟物体的选择的另一姿 势为止。解除选择姿势可以例如是身体手姿势或用户将目光从该一个或多个虚拟物体移开 达预定时段。
[0123] 用户也可抓住诸如HUD460之类的虚拟物体并将其从它们的默认位置移动到F0V 中的新位置。这些新位置可被设置为新的默认位置，或者这些位置可在用户解除选择虚拟 物体之后返回先前的默认位置。
[0124] 一旦如图14所描述地设置了包括HUD460的虚拟物体的位置，中枢12就可在步 骤626 (图12)将所确定的信息传送给一个或多个处理单元4。在步骤626传送的信息包括 将场景图传输给所有用户的处理单元4。所传送的信息可进一步包括将每一头戴式显示设 备2的所确定的F0V传输给相应头戴式显示设备2的处理单元4。所传送的信息可进一步 包括对虚拟物体特征的传输，包括所确定的位置、定向、形状以及外观。
[0125] 上面以示例的方式描述了处理步骤600至626。理解到，这些步骤中的一个或多个 步骤在另外的实施例中可被省略，这些步骤可以按不同次序来执行，或者可以添加附加步 骤。处理步骤604到618可能在计算上是昂贵的，但强大的中枢12可在60赫兹帧中执行 这些步骤若干次。在另外的实施例中，步骤604到618中的一个或多个步骤可替代地或附 加地由处理单元4中的一个或多个来执行。此外，尽管图12示出了对各种参数的确定，以 及然后在步骤626中对所有这些参数一次传送，但是理解到，所确定的参数可以一被确定 就被异步地发送给（一个或多个）处理单元4。
[0126] 现在将参考步骤630至658解释处理单元4和头戴式显示设备2的操作。以下描 述关于单个处理单元4和头戴式显示设备2。然而，以下描述可适用于该系统中的每一处理 单元4和显示设备2。
[0127] 如上所述，在初始步骤656,头戴式显示设备2生成图像和頂U数据，所述图像和 MU数据在步骤630经处理单元4被发送给中枢12。在中枢12处理图像数据的同时，处理 单元4也在处理图像数据，以及执行准备渲染图像的步骤。
[0128] 在步骤634,处理单元4可精选渲染操作使得仅仅有可能在该头戴式显示设备2的 最终F0V内出现的那些虚拟物体被渲染。其他虚拟物体（诸如身体锁定的HUD460)的位 置仍可被跟踪，但是它们不被渲染。还可设想，在另外的实施例中，步骤634可以被完全跳 过，而整个图像被渲染。
[0129] 处理单元4接下来可执行渲染设置步骤638,在该步骤使用在步骤626中接收到的 场景图和F0V来执行设置渲染操作。一旦接收到虚拟物体数据，处理单元就可以对要在该 F0V中被渲染的虚拟物体执行步骤638中的渲染设置操作。步骤638中的设置渲染操作可 包括与要在最终F0V中显示的虚拟物体相关联的常见渲染任务。这些渲染任务可包括例如 阴影图生成、光照和动画。在一些实施例中，渲染设置步骤638可进一步包括对可能的绘制 信息的编译，诸如要在预测的最终F0V中显示的虚拟物体的顶点缓冲区、纹理和状态。
[0130] 再次参考图12,使用在步骤626从中枢12接收到的信息，处理单元4可接着在步 骤644确定用户的F0V中的遮挡和阴影。具体而言，该场景图具有该场景中所有物体（包括 移动的和非移动的物体和虚拟物体）的x、y和z位置。已知用户的位置以及他们对该F0V 中的物体的视线的情况下，处理单元4随后可确定某一虚拟物体是否全部或部分地遮挡了 该用户对一现实世界物体的查看。此外，处理单元4可确定某一现实世界物体是否部分或 全部地遮挡了该用户对一虚拟物体的查看。遮挡是因用户而异的。一虚拟物体可能在第一 用户的查看中阻挡或被阻挡，但是对于第二用户则不然。因此，遮挡确定可以在每个用户的 处理单元4中执行。然而，理解到，遮挡确定可附加地或替代地由中枢12来执行。
[0131] 在步骤646,处理单元4的GPU322可以接下来渲染要显示给该用户的图像。渲染 操作的各部分可能已经在渲染设置步骤638中被执行并且被周期性地更新。步骤646的进 一步细节在题为"Low-LatencyFusingofVirtualAndRealContent"（虚拟和现实内容 的低等待时间融合）的美国专利公开号2012/0105473中被描述。
[0132] 在步骤650，处理单元4检查：是否到了该将渲染出的图像发送给头戴式显示设备 2的时间、或者是否还有时间使用来自中枢12和/或头戴式显示设备2的更新近的位置反 馈数据来进一步细化图像。在使用60赫兹帧刷新率的系统中，单帧可以大约为16ms。
[0133] 在步骤650如果到了显示帧的时间，则合成图像被发送给微显示器120。在此时， 用于不透明滤光器的控制数据也从处理单元4被传送至头戴式显示设备2以控制不透明滤 光器114。该头戴式显示器随后可在步骤658向该用户显示该图像。
[0134] 另一方面，在步骤650还没到发送要被显示的图像数据帧的时间的情况下，处理 单元可为了获得更多经更新数据而循环回以进一步细化最终F0V的预测以及F0V中的物体 的最终位置的预测。具体而言，如果在步骤650中仍然有时间，则处理单元4可返回步骤 608以从中枢12获得更新近的传感器数据，并且可返回步骤656以从头戴式显示设备2获 得更新近的传感器数据。
[0135] 上面以示例的方式描述了处理步骤630至652。理解到，这些步骤中的一个或多个 步骤在另外的实施例中可被省略，这些步骤可以按不同次序来执行，或者可以添加附加步 骤。
[0136] 此外，图12中的处理单元步骤的流程图示出了来自中枢12和头戴式显示设备2 的所有数据都在单个步骤634被循环地提供给处理单元4。然而，理解到，处理单元4可以 在不同时刻异步地从中枢12和头戴式显示设备2的不同传感器接收数据更新。头戴式显 示设备2提供来自相机112的图像数据和来自頂U132的惯性数据。来自这些传感器的数 据的采样可按不同的速率发生且可在不同的时刻被发送给处理单元4。类似地，来自中枢 12的经处理的数据可在某一时刻且以与来自相机112和頂U132两者的数据不同的周期性 被发送给处理单元4。一般而言，处理单元4可在一帧期间异步地多次接收来自中枢12和 头戴式显示设备2的经更新的数据。在处理单元循环通过其各步骤时，在外插FOV和物体 位置的最终预测时，它使用它接收到的最新近数据。
[0137]尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权 利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作 是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。
【主权项】
1. 一种用于向一个或多个用户呈现混合现实体验的系统，所述系统包括： 包括用于显示虚拟物体的显示单元的显示设备；以及 操作上耦合于所述显示设备的计算系统，所述计算系统生成所述虚拟物体以供在所述 显示设备上显示，当确定所述虚拟物体不在所述显示设备的视野内时，所述计算系统将所 述虚拟物体安置成相对于所述显示设备是身体锁定的，而当确定所述虚拟物体在所述显示 设备的视野内时，所述计算系统将所述虚拟物体安置成世界锁定的。2. 如权利要求1所述的系统，其特征在于，所述计算系统包括以下至少之一：中枢计算 系统或一个或多个处理单元。3. 如权利要求1所述的系统，其特征在于，当确定所述虚拟物体保持在所述显示设备 的视野内达预定时间段时，所述计算系统将所述虚拟物体的位置从身体锁定位置切换到世 界锁定位置。4. 如权利要求1所述的系统，其特征在于，当确定所述用户没有在所述虚拟物体的方 向中看时，所述计算系统将所述虚拟物体的位置从世界锁定位置切换到身体锁定位置。5. 如权利要求1所述的系统，其特征在于，所述虚拟物体是包括内容的HUD。6. 如权利要求1所述的系统，其特征在于，当所述虚拟物体是世界锁定时，所述计算 系统允许用户选择所述虚拟物体，以及使用一姿势将所述虚拟物体移至三维空间中的新位 置。7. -种用于呈现混合现实体验的系统，所述系统包括： 显示设备，所述显示设备包括用于感测与所述显示设备的位置相关的数据的第一组传 感器，以及用于将虚拟物体显示给所述显示设备的用户的显示单元；以及 操作上耦合于所述显示设备的计算系统，所述计算系统包括用于感测与所述用户的位 置相关的数据的第二组传感器，所述计算系统生成所述虚拟物体以供在所述显示设备上显 示，当用户没有关注所述虚拟物体时，所述计算系统在所述显示设备的视野之外将所述虚 拟物体保持在身体锁定位置，而当所述用户关注所述虚拟物体时，所述计算系统在所述显 示设备的视野内将所述虚拟物体保持在世界锁定位置。8. 如权利要求7所述的系统，其特征在于，当所述虚拟物体是世界锁定时，用户可从不 同视角和位置查看所述虚拟物体。9. 一种用于向一个或多个用户呈现混合现实体验的方法，所述方法包括： (a) 当用户没有关注虚拟物体时将所述虚拟物体的位置锁定在相对于所述用户的身体 的一部分的固定位置；以及 (b) 当所述用户没有关注所述虚拟物体时，将所述虚拟物体的位置锁定在三维空间中 的一固定位置。10. 如权利要求9所述的方法，其特征在于，所述步骤（a)包括当用户没有关注所述虚 拟物体时相对于所述用户的头部锁定所述虚拟物体的位置的步骤。
【专利摘要】公开了一种用于按最优且最舒适的方式将虚拟物体显示在混合现实环境中以供用户与虚拟物体进行交互的系统和方法。当用户没有关注虚拟物体(可以是平视显示器，即HUD)时，HUD可保持对用户身体锁定。如此，用户可对头戴式显示设备所呈现的混合现实环境进行探索和交互，而没有来自HUD的干扰。当用户希望查看HUD和/或与HUD交互时，用户可看向HUD。此时，HUD可从身体锁定的虚拟物体改变成世界锁定的虚拟物体。用户然后能够从HUD的不同的位置和视角来查看HUD并与之交互。
【IPC分类】G02B27/01, G06F3/01
【公开号】CN105408837
【申请号】CN201480034933
【发明人】T·G·萨尔特, B·J·苏格登, D·德普福德, R·L·小克罗可, B·E·基恩, L·K·梅赛, A·A-A·基普曼, P·T·金内布鲁, N·F·卡姆达
【申请人】微软技术许可有限责任公司
【公开日】2016年3月16日
【申请日】2014年6月11日
【公告号】EP3011411A1, US20140368535, WO2014204759A1