用户焦点控制的有向用户输入的制作方法
【专利说明】用户焦点控制的有向用户输入
[0001] 背景
[0002] 增强现实（AR)涉及提供经增强的现实世界环境，其中用计算机生成的虚拟数据 来增强或修改对现实世界环境（或表示现实世界环境的数据）的感知。例如，可使用诸如 相机或话筒等传感输入设备实时地捕捉表示现实世界环境的数据，并用包括虚拟图像和虚 拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与现实世界环境有关的 信息，诸如与现实世界环境中的现实世界对象相关联的文本描述。AR实现可用于增强包括 视频游戏、绘图、导航以及移动设备应用等多种应用。
[0003] 近眼显示器（诸如头戴式显示器（HMD))可被用户佩戴来查看虚拟和真实对象的 混合影像。近眼显示器使用光学器件和立体视觉的组合来聚焦用户的视野中的虚拟影像。
[0004] 按不用手（hands-free)方式访问增强现实环境中的系统菜单是有意义的。语音 具有感觉不自然的缺点，产生其中人们在公共场所说出命令的尴尬社交场景，并且在当前 技术下不总是在第一次尝试时正确解释命令。鼠标和手套类型的控制器具有需要额外硬件 且在用户的手被占用（例如，正拿着东西、正在吃饭等）的情况下不能容易地使用的缺点。
[0005] 概述
[0006] 提供一种在透视、近眼显示器（诸如HMD)中提供用户界面的系统和方法。在一个 实施例中，该用户界面通过头部朝向来控制。还可使用眼睛注视。
[0007] 根据一个实施例，提供一种包括以下步骤的方法。在透视、近眼显示器中呈现用户 界面符号。确定佩戴该透视、近眼显示器的用户的焦点。响应于确定该用户聚焦在该用户 界面符号上，在该透视、近眼显示器中呈现手柄（handle)，该手柄从该用户界面符号延伸出 去。做出该用户的焦点已沿该手柄从该用户界面符号偏移的确定。响应于确定该用户的焦 点已沿该手柄从该用户界面符号偏移以满足选择准则而激活一用户界面元素。
[0008] -个实施例包括一种显示系统，该显示系统包括透视、近眼显示设备和与所述显 示设备通信的逻辑。该逻辑被配置成在该透视、近眼显示设备中呈现用户界面符号。该逻 辑被配置成跟踪佩戴该透视、近眼显示设备的用户的眼睛注视或头部朝向。该逻辑被配置 成响应于确定该眼睛注视或头部朝向指示该用户正看向用户界面符号而在该透视、近眼显 示设备中显示手柄，该手柄从该用户界面符号延伸出去。该逻辑被配置成响应于确定该眼 睛注视或头部朝向指示该用户沿该手柄目光从该用户界面符号移开以满足选择准则而激 活一用户界面元素。
[0009] -个实施例包括一种在透视、近眼显示设备中提供用户界面的方法。该方法包括 以下步骤。在透视、近眼显示设备中呈现用户界面符号。跟踪佩戴该透视、近眼显示设备的 用户的头部朝向。响应于基于该头部朝向确定该用户正看向该用户界面符号的大致方向而 在该透视、近眼显示设备中呈现从该用户界面符号延伸出去的手柄。响应于确定该用户的 头部朝向指示该用户已沿该手柄从看向该用户界面符号移开而在该透视、近眼显示设备中 派生轮辐菜单。该轮辐菜单包括围绕中心中枢的菜单项，其中每个菜单项具有在该菜单项 和该中心中枢之间的一轮辐。
[0010] 提供本概述以便以简化形式介绍将在以下的【具体实施方式】中进一步描述的一些 概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮 助确定所要求保护的主题的范围。
[0011] 附图简述
[0012] 图1是描绘一系统环境中的透视、混合现实显示设备的一个实施例的示例组件的 框图，其中该设备可以在该系统环境中操作。
[0013] 图2示出在环境中的佩戴头戴式显示设备的用户。
[0014] 图3是头戴式显示单元的一个实施例的一部分的俯视图。
[0015] 图4A是头戴式显示单元的组件的一个实施例的框图。
[0016]图4B是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
[0017]图5是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。
[0018]图6是可用于实现本文描述的中枢计算系统的计算系统的一个实施例的框图。
[0019]图7是描绘根据本技术的一实施例的过程的流程图。
[0020] 图8A示出根据一个实施例在对象上呈现的用户界面符号的示例。
[0021] 图8B描绘了其中符号被突出显示的一个示例。
[0022] 图8C描绘了其中手柄从符号延伸出去的一个示例。
[0023] 图8D是轮辐菜单的一个实施例的示例。
[0024] 图9A、9B和9C示出轮辐菜单的一个实施例的示例。
[0025]图10是提供对轮辐菜单上的菜单项的选择的过程的一个实施例的流程图。
[0026] 图11A、11B和11C示出了被逐渐填充的轮辐的示例。
[0027]图12是提供对轮辐菜单上的菜单项的选择的过程的一个实施例的流程图。
[0028] 图13示出其中菜单项与中枢在对角线处的一个实施例。
[0029] 图14A和14B描绘了轮辐菜单的另一实施例。
[0030] 图15显示了其中存在与对象相关联的第一用户选择符号和第二用户选择符号的 示例。
[0031] 图16描绘了其中用户选择符号指向手柄已延伸的方向的一个实施例。
[0032] 图17示出了嵌套式轮辐菜单的一个示例。
[0033] 图18示出了允许基于聚焦在手柄上的用户输入的一个实施例。
[0034] 详细描述
[0035] 本文公开了一种用于提升使用近眼、透视显示设备时的用户体验的技术。根据一 个实施例，提供增强现实环境中的不用手的用户输入。根据一个实施例，提供对系统菜单的 访问。在一个实施例中，用户可通过移动其头部的朝向来提供输入。例如，用户可旋转其头。 在一个实施例中，用户可通过移动其眼睛注视的方向来提供输入。在一个实施例中，在该近 眼显示设备中呈现用户界面符号。该用户界面符号可被呈现，以使得该用户界面符号看上 去在现实世界对象上或附近，或者在该近眼显示设备上呈现的虚拟对象上或附近。该用户 界面符号可担当向该用户指示该用户具有输入输入以按某种方式与该对象交互的机会的 指示符。如果该用户将其注意力引到该用户界面符号，则在一个实施例中，手柄从该用户界 面符号延伸出去。该符号可通过该用户的头部朝向和/或其眼睛注视来确定该用户已将其 注意力聚焦在该用户界面符号处。该用户界面符号也可被称为"微光（gleam)"，因为在一 些实施例中，响应于用户看向该符号，可使该符号发出微光、发亮等。
[0036] 该手柄可担当一种类型的选择设备，以使得如果用户引导其注意力沿该手柄远离 该用户界面符号，则可做出选择。作为一个示例，用户可通过转动其头部以使得系统确定该 用户正沿该手柄从该用户界面符号移开目光而使得菜单被显示。在一个实施例中，这是轮 辐菜单，其具有围绕中枢的菜单项。用户看向以激活轮辐菜单的最后一点可担当该轮辐菜 单的中枢。该用户随后可通过将其注意力定向到所述菜单项之一来选择所述菜单项。在一 个实施例中，用户朝一菜单项移动其头部来选择该菜单项。例如，用户可能向左、向右、向上 或向下移动其头部来选择该菜单项。在一个实施例中，作为选择过程的一部分，用户朝菜单 项移动其眼睛。
[0037] 图1是描绘一系统环境100中的透视、混合现实显示设备2的一个实施例的示例 组件的框图，其中该设备可以在该系统环境中操作。该透视显示设备是通过线6与处理单 元4进行通信的近眼、头戴式显示设备2。在其他实施例中，头戴式显示设备2通过无线通 信来与处理单元4进行通信。处理单元4可以采取各种实施例。在一些实施例中，处理单 元4是可以佩戴在用户的身体（例如，在所示示例中的腕）上或置于口袋中的分开的单元， 并且包括用于操作近眼显示设备2的计算能力中的大部分能力。处理单元4可以与一个或 多个中枢计算系统12、热点、蜂窝数据网络等无线地（例如，Wi-Fi、蓝牙、红外、或其他无线 通信手段）通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬 件组件中。
[0038] 透视头戴式显示设备2(在一个实施例中它是带镜架115的眼镜的形状）被佩戴 在用户的头上，使得用户可以透视显示器（在该示例中该显示器被实现为用于每一只眼睛 的显示光学系统14)，并且从而具有对该用户前方的空间的实际直接视图。使用术语"实际 直接视图"来指直接用人眼看到真实世界对象，而非看到所创建的对象的图像表示的能力。 例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房间的视 频不是该房间的实际直接视图。基于执行软件（例如，游戏应用）的上下文，该系统可以将 虚拟对象的图像（有时称为虚拟图像）投影在可由佩戴该透明显示设备的人观看的显示器 上，同时该人还透过该显示器观看现实世界物体。
[0039] 镜架115提供用于将HMD2的各元件保持就位的支承体以及用于电连接的管道。 在该实施例中，镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支撑 体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是遮罩、帽子、头盔或护 目镜。镜架包括用于搁置在用户的每只耳朵上的镜腿或侧臂。镜腿102代表右镜腿的实施 例，并且包括显示设备2的控制电路136。镜架的鼻梁104包括用于记录声音并向处理单元 4传送音频数据的话筒110。
[0040] 中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中 枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸 如游戏应用、非游戏应用等等之类的应用。应用可以在中枢计算系统12上、显示设备2上、 如下所述地在移动设备5上、或在这些设备的组合上执行。
[0041] 在一个实施例中，中枢计算系统12还包括一个或多个捕捉设备，诸如捕捉设备 20A和20B。这两个捕捉设备可被用来捕捉该用户的房间或其它物理环境，但并非在所有实 施例中都必须与透视头戴式显示设备2 -起使用。
[0042] 捕捉设备20A和20B可以是例如相机，相机在视觉上监视一个或多个用户和周围 空间，从而可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空 间的结构，以在应用中执行一个或多个控制或动作和/或使化身或屏上角色动画化。
[0043] 中枢计算系统12可被连接到诸如电视机、监视器、高清电视机（HDTV)等可提供游 戏或应用视觉的视听设备16。在一些情况下，视听设备16可以是三维显示设备。在一个示 例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16、单独的立体声系统或中 枢计算系统12连接到外部扬声器22。
[0044]注意，无需中枢计算系统12就可使用HMD2和处理单元4,在这种情况下，处理单 元4将用Wi-Fi网络、蜂窝网络或其他通信手段进行通信。
[0045]在各实施例中，本文描述的过程整体或部分地由头戴式显示设备2、处理单元4、 中枢计算系统12、或其组合来执行。
[0046] 在一个示例实现中，通过嵌入在头戴式显示设备2中的各种传感器技术来确定用 户的焦点，传感器技术包括使用来自加速度计和陀螺仪的惰性测量的惰性传感、全球定位 系统（GPS)、眼睛跟踪元件。"焦点"的意思是用户正看向的地方或者吸引用户注意力的地 方。用户的焦点可通过头部朝向和/或眼睛注视来确定。在一些情况下，头部朝向和眼睛 注视聚焦在不同的点。例如，用户可能没有向正前方看。在这种情况下，头部朝向可被用于 定义焦点。替代地，在两者不同时，眼睛注视可被用于确定用户的焦点。
[0047]其它技术和传感器可被用来确定用户的焦点。这些技术和传感器可包括飞行时 间、空间扫描、机械连杆、相差传感、和/或直接场传感（directfieldsensing)。在这些情 况下，在头戴式显示器中可能需要额外的硬件。下面将参考图3、4A和4B描述头戴式显示 设备2和处理单元4的更多细节。
[0048]在一个实施例中，中枢计算机设备12可被用来跟踪用户和头戴式显示设备2以便 提供对头戴式显示设备2的位置和朝向的初步确定。在中枢计算设备12中可实现各种传 感器技术，包括RGB相机、深度传感器、和/或用于确定头戴式显示设备2的位置和朝向的 其它技术。下面将参考图5描述中枢计算设备12的更多细节。
[0049] 可使用附加信息，诸如从云检索的信息、由一个或多个外部设备检测和/或收集 的信息、以及其它相关信息，可被用于标识和连续跟踪用户的头部位置和旋转。可采用诸如 使用RGB和/或深度传感器的同时定位和地图构建（SLAM)等技术来提供用户的头部相对 于被构建地图的环境的实时定位。可使用来自云的数据和/或深度传感器数据来标识环境 拓扑。当用户正看向他或她自己时可使用深度传感器来标识该用户的身体的区域（例如， 手、臂、躯干、腿）。
[0050] 应当意识到，并非总是需要如上所讨论的所有传感器信息和/或传感技术。可使 用一个或多个传感器作为冗余来进一步细化对用户的总视野的测量。
[0051] 图2示出在环境2220中的佩戴头戴式显示设备2的用户2222。在此示例中，用户 的头部位置和朝向被连续跟踪。任选地，用户的眼睛注视也可被跟踪。例如，在给定时刻， 诸如时间，用户2222的头部位置和朝向被使用如上所述的各种传感器技术来标识，且用户 2222被示出为其焦点指向元素2234,该元素可以是图片、电视机屏幕等。用户的焦点可被 定义为源自双眼之间的点并"向外直射"的向量。
[0052] 用户的焦点也可使用眼睛跟踪来定义。在此情况下，HMD2中或别处的技术可跟 踪用户的一只眼或双眼正注视的方向。通常，眼睛注视被认为是用户的眼睛瞬时固定到的 点。
[0053] 该环境包括灯2224、时钟2232、墙壁2230的一部分、墙壁2226的一部分、桌子 2240、处理设备2238、捕捉设备20A，20B、以及显示器2234、地板2231、以及花2242。环境 22