Hmd上的混合世界/身体锁定的hud的制作方法
【专利说明】HMD上的混合世界/身体锁定的HUD
[0001] Μ?
[0002] 混合现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。用户可佩戴 透视、头戴式显示（HMD)设备来观看用户的视野中所显示的现实物体和虚拟物体的混合图 像。用户可例如通过执行手、头、或语音姿势来进一步与虚拟物体进行交互，以移动物体、更 改它们的外观或简单地查看它们。
[0003] 可能希望在HMD上的虚拟平视显示器中显示常用信息，诸如举例来说时间、日期、 无线信号强度、用户选择的图标等。如果平视显示（HUD)是头部锁定的，即它以与头部相同 的速率移动，则用户看到所显示的虚拟物体的同一侧，且它们可能看上去是二维的。此外， 使用视野中的空间来渲染HUM元素浪费了用于渲染其他虚拟内容的宝贵区域。相反，如果 HUD是世界锁定的元件，则用户不得不记住他们将HUD留在了哪里。
[0004]
[0005] 本技术的实施例涉及用于在头戴式显示设备上呈现混合世界/身体锁定的虚拟 HUD的系统和方法。除了显示诸如HUD之类的虚拟物体之外，头戴式显示设备包括使得头戴 式显示设备能够确定其在三维空间中的位置和视野以及虚拟物体的位置的处理单元和传 感器。在一些实施例中，当用户在三维空间内到处移动时，HUD可保持对用户身体锁定。例 如，HUD可保持在用户的头部前方的预定位置处且抬高超出水平线，使得当用户向前看或向 下看时该HUD落在用户的视野之外且不可见。如此，用户可对头戴式显示设备所呈现的混 合现实环境进行探索和交互，而没有来自HUD的干扰。如下文所阐述的，在另外的示例中， HUD可被放置在其他预定义位置。
[0006] 当用户希望查看HUD和/或与HUD交互时，用户可向上看，使得HUD出现在用户的 视野内达预定时间段。在那时，HUD可从身体锁定的虚拟物体改变成世界锁定的虚拟物体。 用户然后能够从HUD的不同的位置和视角来查看HUD并与之交互。当用户向下看或转移目 光使得HUD不再位于用户的视野内达预定时间段时，HUD可切换回身体锁定。
[0007] 在一示例中，本技术涉及一种用于向一个或多个用户呈现混合现实体验的系统， 所述系统包括：包括用于显示虚拟物体的显示单元的显示设备；以及操作上耦合于所述显 示设备的计算系统，所述计算系统生成所述虚拟物体以供在所述显示设备上显示，当确定 所述虚拟物体不在所述显示设备的视野内时，所述计算系统将所述虚拟物体安置成相对于 所述显示设备是身体锁定的，而当确定所述虚拟物体在所述显示设备的视野内时，所述计 算系统将所述虚拟物体安置成世界锁定的。
[0008] 在另一示例中，本技术涉及一种用于呈现混合现实体验的系统，所述系统包括：显 示设备，所述显示设备包括用于感测与所述显示设备的位置相关的数据的第一组传感器， 以及用于将虚拟物体显示给所述显示设备的用户的显示单元；以及操作上耦合于所述显 示设备的计算系统，所述计算系统包括用于感测与所述用户的位置相关的数据的第二组传 感器，所述计算系统生成所述虚拟物体以供在所述显示设备上显示，当用户没有关注所述 虚拟物体时，所述计算系统在所述显示设备的视野之外将所述虚拟物体保持在身体锁定位 置，而当所述用户关注所述虚拟物体时，所述计算系统在所述显示设备的视野内将所述虚 拟物体保持在世界锁定位置。
[0009] 在又一示例中，本技术涉及一种用于向一个或多个用户呈现混合现实体验的方 法，所述方法包括：(a)当用户没有关注虚拟物体时将所述虚拟物体的位置锁定在相对于 所述用户的身体的一部分的固定位置；以及（b)当所述用户没有关注所述虚拟物体时，将 所述虚拟物体的位置锁定在三维空间中的一固定位置。
[0010] 提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该 概述不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在被用来帮助确定所要 求保护的主题的范围。
[0011] 附图简沐
[0012] 图1是用于向一个或多个用户呈现混和现实环境的系统的一个实施例的示例组 件的图示。
[0013] 图2是头戴式显示单元的一个实施例的立体图。
[0014] 图3是头戴式显示单元的一个实施例的一部分的侧视图。
[0015] 图4是头戴式显示单元的组件的一个实施例的框图。
[0016] 图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
[0017]图6是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。
[0018] 图7是可被用于实现本文所述的中枢计算系统的计算系统的一个实施例的框图。
[0019] 图8是在用户没有关注对用户身体锁定的虚拟物体时该虚拟物体的透视图图示。
[0020] 图9是在用户没有关注对用户身体锁定的且随用户移动的虚拟物体时该虚拟物 体的俯视图图示。
[0021] 图10是在用户关注在三维空间中世界锁定的虚拟物体时该虚拟物体的透视图图 不。
[0022] 图11是在用户关注在三维空间中世界锁定的虚拟物体时用户在该虚拟物体周围 移动的透视图图示。
[0023] 图12是示出了本系统的中枢计算系统、一个或多个处理单元和一个或多个头戴 式显示单元的操作和协作的流程图。
[0024] 图13和14是图12的流程图中所示的各步骤的示例的更详细的流程图。
[0025] 详细描沐
[0026] 现在将参考附图1-14描述本技术的实施例，各实施例一般涉及混合现实环境，其 中HUD在不被查看时是身体锁定的且处于视野之外，而在被查看和/或交互时是世界锁定 的。用于实现混合现实环境的系统可包括与中枢计算系统通信的移动显示设备。移动显示 设备可包括耦合到头戴式显示设备（或其他合适的装置）的移动处理单元。
[0027] 头戴式显示设备可包括显示元件。该显示元件在一定程度上透明，使得用户可透 过该显示元件看到该用户的视野（F0V)内的现实世界物体。该显示元件还提供将虚拟图像 投影到该用户的F0V中以使得所述虚拟图像也可出现在现实世界物体旁边的能力。该系统 自动地跟踪用户所看之处，从而该系统可确定将虚拟图像插入到该用户的F0V中的何处。 一旦该系统知晓要将该虚拟图像投影至何处，就使用该显示元件投影该图像。
[0028] 在实施例中，中枢计算系统和一个或多个处理单元可以协作以构建包括房间或其 他环境中的所有用户、现实世界物体和虚拟三维物体的X、y、z笛卡尔位置的环境的模型。 由该环境中的用户佩戴的每个头戴式显示设备的位置可以被校准到该环境的所述模型并 且被彼此校准。这允许该系统确定每个用户的视线以及该环境的FOV。从而，可向每个用户 显示虚拟图像，但是该系统从每个用户的视角确定该虚拟图像的显示，从而针对来自或由 于该环境中的其他物体的任何视差以及遮挡来调整该虚拟图像。该环境的所述模型（在本 文中被称为场景图）以及对用户的FOV以及该环境中的物体的跟踪可由协力或独立工作的 中枢和移动处理单元来生成。
[0029] 用户可以选择与出现在用户的F0V内的HUD或其他虚拟物体进行交互。如本文所 使用的，术语"交互"涵盖用户与虚拟物体的身体交互和语言交互两者。身体交互包括用户 使用他的或她的手指、手、头和/或（一个或多个）其他身体部位执行由混合现实系统识别 为对该系统执行预定义动作的用户请求的预定义姿势。这样的预定义姿势可包括但不限于 指向、抓握、以及推动虚拟物体。
[0030] 用户还可以用他的或她的眼睛来与虚拟物体进行身体上的交互。在一些实例中， 眼睛注视数据标识用户正关注于F0V中的何处，并且因而可以标识用户正在看某一特定虚 拟物体。持续的眼睛注视，或者一次眨眼或眨眼序列，因而可以是用户借助来选择一个或多 个虚拟物体的身体交互。
[0031] 如本文所使用的，用户简单地看虚拟物体（诸如查看HUD中的内容）是用户与虚 拟物体的身体交互的进一步的示例。
[0032] 用户可替代地或附加地使用语言姿势来与虚拟物体交互，所述语言姿势诸如举例 来说被该混合现实系统识别为对该系统执行预定义动作的用户请求的说出的单词或短语。 语言姿势可连同身体姿势一起被使用以与混合现实环境中的一个或多个虚拟物体交互。
[0033] 当用户在混合现实环境内四处移动时，虚拟物体可保持为世界锁定的。一个示例 是用户的视野中的HUD。世界锁定的虚拟物体可在混合现实环境中保持锚定并静止，使得用 户可以在世界锁定的虚拟物体周围移动并从不同的视角和距离来看到它们。
[0034] 根据本技术，当用户看向包括所述HUD的某一位置时，该HUD可变为是世界锁定 的。另一方面，当用户不在看向所述HUD时，所述HUD可切换为对用户来说是身体锁定的。 也就是说，所述HUD(或其他身体锁定的虚拟物体）的位置可被更改以便保持在相对于用户 的身体的预定义位置中。
[0035] 在一些实施例中，混合世界/身体锁定的HUD(在本文中也称为"混合HUD"）可包 括各种各样的有用信息，包括例如时间、日期、和/或头戴式显示设备的信号强度。然而，混 合HUD可包括各种各样的其他内容中的任何内容，包括例如诸如文本、图片以及照片之类 的静态内容，或者诸如视频之类的动态内容。
[0036] 图1例示出用于通过将虚拟图像21与用户的F0V内的现实内容相融合来提供混 合现实体验的系统10。图1示出了佩戴头戴式显示设备2的单个用户18,但理解到，一个 以上的用户可以存在于混合现实环境中并从他们自己的角度查看相同的虚拟物体。如在图 2和3中看到的，头戴式显示设备2可包括集成处理单元4。在其他实施例中，处理单元4 可以与头戴式显示设备2分开，且可经由有线或无线通信来与头戴式显示设备2通信。
[0037] 在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户 可以透过显示器进行查看，并且从而具有该用户前方的空间的实际直接视图。使用术语"实 际直接视图"来指代直接用人眼看见现实世界物体的能力，而不是看见物体的被创建的图 像表示。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房 间的视频不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
[0038] 处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在一些 实施例中，处理单元4与一个或多个中枢计算系统12无线地（例如，WiFi、蓝牙、红外、或其 他无线通信手段）通信。如此后解释的，中枢计算系统12可以在处理单元4的远程提供， 使得中枢计算系统12和处理单元4经由诸如LAN或WAN等无线网络来通信。在进一步的 实施例中，中枢计算系统12可被省略以使用头戴式显示设备2和处理单元4来提供移动混 合现实体验。
[0039] 中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中 枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸 如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可包括诸如 标准化处理器、专用处理器、