用于hmd的最优眼部拟合的系统的制作方法
【专利说明】用于HM叫勺最优眼部拟合的系统
[000。 背景
[0002] 混合现实是允许全息的或虚拟的图像与现实世界物理环境混合的技术。用户可W 佩戴透光的、头戴式的、混合现实显示设备来查看在用户的视场里显示的现实对象和虚拟 对象的混合图像。为了促进有Ξ维深度的幻象，虚拟对象的图像被头戴式显示设备独立地 显示到左眼和右眼，其中在各图像间有小的双目差异。该双目差异被大脑解释为指示虚拟 对象在混合现实环境中的深度。
[0003] 期望精确地控制头戴式显示设备在用户头部上的位置、W及所显示图像的双目差 异。即使位置或双目差异中的小偏移也会产生模糊的图像、不舒适、W及Ξ维效应的损失。
[0004] 概述
[0005] 本技术的各实施例设及用于传感头戴式显示设备相对于佩戴者双眼的位置，W及 提供反馈来调节头戴式显示设备的位置W便相对于佩戴者双眼最优居中的系统和方法。在 各实施例中，头戴式显示设备包括多个显示单元W及眼部定位和跟踪组件。显示单元W适 当的目镜差异在左眼和右眼上向光学元件显示图像，W便在距用户的给定距离处创建虚拟 对象的幻象。眼部定位和跟踪组件可W包括一个或多个光源W及一个或多个传感器，用于 标识用户眼部相对于眼部定位和跟踪组件的位置。眼部定位和跟踪组件相对于显示单元的 几何形状是已知的，W使可W为每只眼睛确定显示单元的最优的、中央位置。
[0006] 当检测到显示单元相对于用户眼部的失准时，头戴式显示设备可W向用户提供视 觉和/或听觉反馈。该反馈可W指示用户关于如何调节头戴式显示器W便将该头戴式显示 设备最优地对准和适配于用户双眼上。除了提供关于调节头戴式显示器的位置的反馈W 夕h当前技术可W针对头戴式显示设备具有可调节iro的实施例，提供关于头戴式显示设备 中的调节瞳孔间距（IPD)的反馈。
[0007] 在一替代实施例中，头戴式显示设备位置和/或WD的调节可W自动发生。在一种 运样的自动示例中，在检测到失准之际，失准可W用软件来校正W调节虚拟对象如何W及 在哪里被一个或两个显示单元显示。在另一自动示例中，可W在头戴式显示设备上设置马 达W调节头戴式显示设备的特定位置和/或IPD。
[000引在一示例中，本技术设及头戴式显示设备，包括:包括光学元件的显示单元;定位 和跟踪组件，用于传感定位和跟踪组件相对于佩戴者双眼的位置和角度方向；处理器，与显 示单元W及定位和跟踪组件禪合，用于确定光学元件相对于双眼的位置和角度方向；W及 由处理器执行的反馈例程，用于基于来自处理器的失准确定向佩戴者提供反馈，W调节头 戴式显示设备相对于双眼的位置和方向中的至少一者。
[0009]在一进一步示例中，本技术设及用于在一空间中提供混合现实体验的头戴式显示 设备，所述空间具有X轴、垂直于X轴的y轴、W及垂直于X轴和y轴的Z轴，该头戴式显示器包 括:包括光学元件的显示单元，用于向佩戴者的双眼显示虚拟图像;定位和跟踪组件，用于 传感关于该定位和跟踪组件到双眼的X轴、y轴和Z轴的位置，W及关于该定位和跟踪组件到 双眼的X轴绕X轴、y轴和Z轴的旋转的角度旋转;处理器，与显示单元W及该定位和跟踪组件 禪合，用于确定光学元件相对于双眼的位置和角度方向；W及由处理器实现的反馈例程，用 于基于来自处理器的确定向用户提供反馈w调节头戴式显示器相对于双眼的位置和方向 中的至少一者。
[0010] 在另一示例中，本技术设及一种用于指示头戴式显示设备的一个或多个光学元件 与佩戴者双眼的失准的方法，所述方法包括：（a)确定光学元件与佩戴者双眼的失准，所述 失准由处理设备W及眼部定位和跟踪组件确定；W及(b)生成向佩戴者提供关于如何调节 光学元件的一个或多个的信息的反馈，所述反馈被显示为向光学元件显示的一个或多个虚 拟图像。
[0011] 提供该概述W便W简化形式介绍概念的选集，所述概念在W下详细描述中被进一 步描述。该概述不意图标识所要求保护的主题的关键特征或基本特征，也不意图被用来帮 助确定所要求保护的主题的范围。
[0012] 附图简述
[0013] 图1是一种用于向一个或多个用户呈现混合现实环境的系统的一实施例的示例组 件的图示。
[0014] 图2是头戴式显示单元的一实施例的透视图。
[0015] 图3是头戴式显示单元的一实施例的一部分的侧视图。
[0016] 图4是头戴式显示单元的组件的一实施例的框图。
[0017] 图5是与头戴式显示单元相关联的处理单元的组件的一实施例的框图。
[0018] 图6是解说本技术的一实施例的操作的流程图。
[0019] 图7-9解说头戴式显示设备的光学元件与佩戴者双眼的失准。
[0020] 图10-12解说包括虚拟对象的头戴式显示设备的透视图，其提供关于如何校正头 戴式显示设备的光学元件与佩戴者双眼的失准的反馈。
[0021] 图13是可用于实现此处描述的计算系统的计算系统的一实施例的框图。
[0022] 详细描述
[0023] 现在将参照图1-13描述本技术的各实施例，本技术的各实施例一般设及用于传感 头戴式显示设备相对于佩戴者双眼的位置和/或角度方向，W及提供反馈来调节头戴式显 示设备的位置和/或角度方向W便相对于佩戴者双眼最优居中和定向的系统和方法。头戴 式显示设备可用于实现包括现实对象和虚拟对象的混合现实环境。头戴式显示设备可包括 显示元件。显示元件在某种程度上是透明的，W使用户可W在该用户的视场(F0V)内透过显 示元件看向现实世界对象。显示元件也提供将虚拟图像投射至用户的F0V中W使虚拟图像 也显现在现实世界对象旁边的能力。系统自动地跟踪用户查看之处，W使系统可W确定在 用户F0V的何处插入虚拟图像。一旦系统得知在哪里投射虚拟图像，图像就使用显示元件来 投射。
[0024] 图1解说通过将虚拟对象21与用户F0V内的现实内容融合来提供混合现实体验的 系统10。图1示出多个用户18曰、186、18(3，每个用户佩戴一头戴式显示设备2，用于从自己的 角度查看诸如虚拟对象21运样的虚拟对象。在进一步的示例中可W有多于或少于Ξ个用 户。如图2和3可见，头戴式显示设备2可W包括集成处理单元4。在其他实施例中，处理单元4 可W与头戴式显示设备2分开，并且可W经由有线或无线通信与头戴式显示设备2通信。
[0025] 头戴式显示设备2在一实施例中是眼镜形状，该头戴式显示设备2被佩戴于用户头 部上，W使用户可W透过显示器查看从而具有用户前方空间的实际直接视图。术语"实际直 接视图"的使用是指用人眼直接看到现实世界对象的能力，而不是看见对象的所创建的图 像表示。例如，透过玻璃看房间允许用户具有该房间的实际直接视图，而在电视机上观看房 间的视频不是该房间的实际直接视图。W下提供了头戴式显示设备2的更多细节。
[0026] 处理单元4可包括用于操作头戴式显示设备2的许多计算能力。在各实施例中，处 理单元4无线地(例如，WiFi、蓝牙、红外或其他无线通信手段)通信至一个或多个中枢计算 系统12。如W下说明，中枢计算系统12可设置于处理单元4远程，W使中枢计算系统12和处 理单元4经由诸如LA或WAN的无线网络通信。在进一步的实施例中，可省略中枢计算系统12 W便使用头戴式显示设备2和处理单元4提供移动混合现实体验。
[0027] 头戴式显示设备2,或自身或与中枢计算系统12结合，可W提供混合现实体验，其 中一个或多个虚拟图像(诸如图1中的虚拟对象21)可W与一场景中的现实世界对象混合。 图1解说在现实世界对象出现在用户的F0V中时的植物23或用户的手23的示例。
[0028] 图2和3示出头戴式显示设备2的透视图和侧视图。图3示出头戴式显示设备2的右 侦U，包括具有镜腿102和鼻中104的设备的一部分。麦克风110构建于鼻中104中，麦克风110 用于记录声音并将该音频数据发送至处理单元4,如下所述。头戴式显示设备2前方是面向 房间的摄像机112,摄像机112可W捕捉视频和静止图像。那些图像被发送至处理单元4,如 下所述。
[0029] 头戴式显示设备2的框架的一部分将围绕显示器(包括一个或多个透镜）。为了显 示头戴式显示设备2的组件，围绕显示器的框架的一部分未示出。显示器包括导光光学元件 115、不透明滤光器114、透光透镜116和透光透镜118。在一实施例中，不透明滤光器114在透 光透镜116后方并且与其对齐，导光光学元件115在不透明滤光器114后方并且与其对齐，透 光透镜118在导光光学元件115后方并且与其对齐。透光透镜116和118是眼镜中使用的标准 透镜，并且可W对于任何处方（包括无处方）而作出。导光光学元件115将人工光导向至眼 睛。不透明滤光器114和导光光学元件115的更多细节在2012年5月24日公开的美国公开专 利申请No.2012/0127284中提供，该专利申请题为巧ead-Mounted Display Device Which Provides Surround Video(提供环绕视频的头戴式显示设备Γ。
[0030] 控制电路136提供支持头戴式显示设备2的其他组件的各种电子设备。W下参照图 4提供了控制电路136的更多细节。耳机130、惯性测量单元132和溫度传感器138在镜腿102 内或安装至镜腿102。在图4所示的一实施例中，惯