多步骤虚拟对象选择的制作方法
【专利说明】多步骤虚拟对象选择
[0001] 背景
[0002] 混合现实是一种允许将虚拟对象与现实世界物理环境相混合的技术。用户可佩戴 透视、头戴式显示（HMD)设备来观看用户的视野中所显示的现实对象和虚拟对象的混合图 像。
[0003] 用户可例如通过执行手或语音姿势来与虚拟对象进行交互，以移动对象、更改它 们的外观或简单地查看它们。通过执行手或语音姿势来与虚拟对象进行交互当随时间继续 时可在某种程度上是乏味的。自然用户界面（诸如使用XB0X360的Microsoft Kinect)允 许用户通过跟踪用户的肢体的移动并将该肢体相对于对象的经渲染版本定位在伴随的显 示器上来选择项。当肢体足够接近对象时，视觉指示符被显示，并且一计时器与视觉指示符 一起运行，从而向用户提供该对象或项正在被选择的反馈。应用可随后对该选择进行操作。
[0004] 概述
[0005] 头戴式显示器中的技术允许基于确定用户已聚焦于对象的对显示器中渲染的虚 拟对象的用户选择。用户对可选虚拟对象和确认对象的多步骤聚焦用于确认用户选择对象 的意图。确定对可选对象的聚焦，并随后显示确认对象。当用户聚焦移动到确认对象时， 超时确定对确认对象的选择已发生，并由此确定对可选对象的选择已发生。该技术可在透 视头戴式显示器中用于允许用户高效地导航具有众多虚拟对象的环境，而没有非故意的选 择。
[0006] 透视头戴式显示装置包括：透视头戴式显示器；以及，耦合到该头戴式显示器的 处理器。处理器被编程为将至少一个可选虚拟对象渲染在头戴式显示器中，并确定用户的 注视和头部位置。可基于用户的注视、用户的头部位置或两者确定聚焦。确定基于用户聚 焦对可选虚拟对象的初始选择，并在该可选虚拟对象附近现实确认对象。在用户的聚焦停 留在确认对象上时，检测用户对可选对象的选择。提供本概述以便以简化形式介绍将在以 下的【具体实施方式】中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键 特征或基本特征，也不旨在被用来帮助确定所要求保护的主题的范围。
[0007] 附图简述
[0008] 图1A是用于向一个或多个用户呈现混和现实环境的系统的一个实施例的示例组 件的图示。
[0009] 图1B和1C示出用户透过头戴式显示器看到的视图。
[0010] 图2是头戴式显示单元的一个实施例的透视图。
[0011] 图3是头戴式显示单元的一个实施例的一部分的侧视图。
[0012] 图4是头戴式显示单元的组件的一个实施例的框图。
[0013] 图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
[0014] 图6是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。
[0015] 图7是可被用于实现本文所述的中枢计算系统的计算系统的一个实施例的框图。
[0016] 图8是表示根据本发明技术的方法的流程图。
[0017] 图9是对表示一种实现图8中的步骤612的方法的流程图的描述。
[0018] 图10是对表示一种实现图8中的步骤616的方法的流程图的描述。
[0019] 图11A和11B示出用户查看多个虚拟对象的自上而下的视角以及这样的虚拟对象 的用户透视视图。
[0020] 图12A和12B示出图11A和11B在用户相对于虚拟对象旋转用户视图和聚焦时的 虚拟对象以及这样的虚拟对象的用户透视视图的视图。
[0021] 图13A和13B示出图11A到12B在用户聚焦变为停留在虚拟对象之一时的虚拟对 象以及这样的虚拟对象的用户透视视图的视图。
[0022] 图14示出对图11A-13B中的虚拟对象之一的用户眼睛聚焦和选择。
[0023] 图15示出图14中的选择的效果。
[0024] 详细描述
[0025] 呈现了允许基于确定用户已聚焦于对象的对虚拟对象的用户选择的技术。该技术 使用用户对可选虚拟对象和确认对象的多步骤聚焦来确认用户选择对象的意图。第一计时 器在确定用户已聚焦于可选对象后并在显示确认对象前运行。当用户聚焦移动到确认对象 时，另一超时确定对虚拟对象的选择已发生。可基于用户的注视、用户的头部位置或两者确 定聚焦。该技术可在透视头戴式显示器中用于允许用户高效地导航具有众多虚拟对象的环 境，而没有非故意的选择。
[0026] 头戴式显示设备可包括显示元件。该显示元件在一定程度上透明，使得用户可透 过该显示元件看该用户的视野（F0V)内的现实世界对象。该显示元件还提供将虚拟图像投 影到该用户的F0V中以使得这些虚拟对象也可出现在现实世界对象旁边的能力。该系统自 动地跟踪用户所看之处，使得该系统可确定将虚拟图像插入到用户的F0V中的何处。一旦 该系统知晓要将该虚拟对象投影至何处，就使用该显示元件投影该图像。
[0027] 虚拟对象可包括对象定义。该定义可包括允许显示设备2将虚拟对象渲染在用户 的视野中的数据。该定义的一个分量可包括对象类型、对象尺寸和一个或多个理想查看视 角和朝向。每一理想查看视角可包括用户查看该对象的理想视角的定义。当虚拟对象被共 享时，本文中提出的技术使用该对象定义以及该对象被与其共享的每一用户的位置和视野 来为每一用户确定要渲染该对象的理想位置。
[0028] 在一个替换例中，中枢计算系统和一个或多个处理单元可协作以构建包括房间中 的所有用户、现实世界对象和虚拟三维对象的X、y、z笛卡尔位置的环境或其他环境的模 型。由该环境中的用户佩戴的每个头戴式显示设备的位置可以被校准到该环境的所述模型 并且被彼此校准。这允许该系统确定每个用户的视线以及对该环境的F0V。从而，虚拟对象 可向每一用户显示，但是该虚拟对象从每一用户的视角来看的显示可以是相对的，从而针 对视差以及来自或由于该环境中的其他对象的任何遮挡来调整该虚拟图像。该环境的模型 (在本文中被称为场景图）以及对用户的F0V以及该环境中的对象的所有跟踪可由协力或 独立工作的中枢和移动处理单元来生成。
[0029] 图1A示出用于通过使虚拟对象21与用户的F0V内的现实内容融合来提供混合现 实体验的系统10。图1A示出佩戴头戴式显示设备2的单个用户18,但应理解，在不止一个 用户可存在于混合现实环境中并正从其自己的视角查看相同的虚拟对象。如在图2和3中 看到的，头戴式显示设备2可包括集成处理单元4。在其他实施例中，处理单元4可以与头 戴式显示设备2分开，且可经由有线或无线通信来与头戴式显示设备2通信。
[0030] 在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户 可以透过显示器进行查看，并且从而具有该用户前方的空间的实际直接视图。使用术语"实 际直接视图"来指代直接用人眼看见现实世界对象的能力，而不是看见对象的被创建的图 像表示。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房 间的视频不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
[0031] 处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在一些 实施例中，处理单元4与一个或多个中枢计算系统12无线地（例如，WiFi、蓝牙、红外、或其 他无线通信手段）通信。如此后解释的，中枢计算系统12可以在处理单元4的远程提供， 使得中枢计算系统12和处理单元4经由诸如LAN或WAN等无线网络来通信。在进一步实 施例中，中枢计算系统12可被省略以使用头戴式显示设备2和处理单元4来提供移动混合 现实体验。
[0032] 中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中 枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸 如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可包括诸如 标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理 器可读存储设备上的指令来执行本文所述的过程。
[0033] 中枢计算系统12进一步包括捕捉设备20,该捕捉设备20用于从其F0V内的场景 的一些部分中捕捉图像数据。如本文所使用的，场景是用户在其中到处移动的环境，这一环 境在捕捉设备20的F0V内和/或每一头戴式显示设备2的F0V内被捕捉。图1A示出了单 个捕捉设备20,但是在进一步的实施例中可以存在多个捕捉设备，这些捕捉设备彼此协作 以公共从所述多个捕捉设备20的合成F0V内的场景中捕捉图像数据。捕捉设备20可包括 一个或多个相机，相机在视觉上监视用户18和周围空间，使得可以捕捉、分析并跟踪该用 户所执行的姿势和/或移动以及周围空间的结构，以在应用内执行一个或多个控制或动作 和/或使化身或屏上人物动画化。
[0034] 中枢计算系统12可被连接到诸如电视机、监视器、高清电视机（HDTV)等可提供游 戏或应用视觉的视听设备16。在一个示例中，视听设备16包括内置扬声器。在其他实施例 中，视听设备16和中枢计算系统12可被连接到外部扬声器22。
[0035] 中枢计算系统12与头戴式显示设备2和处理单元4 一起可以提供混合现实体验， 其中一个或多个虚拟图像（如图1A中的虚拟对象21)可与场景中的现实世界对象混合在 一起。图1A示出植物现实对象23或用户的手作为出现在用户的F0V内的现实世界对象的 示例。
[0036] 在图1A的图示中，用户18与虚拟对象21-起被示出。图1B和1C示出从用户18 透过显示器2的视角看到的对象21。如以下相对于图11到14讨论的，用户的注视和用户 的头部位置并不总是对齐。一般来说，当用户意图将用户的聚焦引导到特定对象时，用户的 注视和用户的头部两者将接近或近似对齐。这是因为通常人类趋于用其头部的运动来跟随 其注视。
[0037] 图1B中示出了图1A中示出的虚拟对象21。在该实例中，相对于对象21的用户头 部方向（由交点21h表示）和用户的注视方向（由交点21g表示）两者都被引导在虚拟对 象221处。一旦用户已选择了对象并向控制对象21的应用指示了用户选择已发生，该应用 就可使得该对象执行