用于头戴式显示器的眼睛跟踪系统的制作方法
【专利说明】用于头戴式显示器的眼睛跟踪系统
[0001]
[0002]近眼显示设备被配置成经由定位在用户眼睛附近的显示器来向用户呈现图像。例如，头戴式增强现实显示设备可被佩戴在用户的头上以将近眼显示器定位在用户眼睛的正前方。近眼显示设备可包括用于基于从用户的眼睛反射的光来跟踪用户注视的成像设备。
[0003]概述
[0004]提供了用于透视头戴式显示系统的各实施例。在一个实施例中，透视头戴式显示系统包括自由曲面棱镜；配置成透过自由曲面棱镜向用户的眼睛发出显示光的显示设备；以及配置成接收从眼睛反射并被定向穿过自由曲面棱镜的注视检测光的成像设备。透视头戴式显示系统还可包括照明棱镜，其中显示光被透过照明棱镜发出且注视检测光被透过照明棱镜来发出和接收。以此方式，显示光和注视检测光可共享光学装置以提供紧凑结构。本文描述的安排还可使得成像设备能被定位在该系统的后聚焦面处，使得成像系统是对象空间远心的。成像系统的远心性使得该系统能维持注视方向确定中的准确度，而不管用户的眼睛与透视头戴式显示系统的各元件之间的距离的变化。
[0005]提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本
【发明内容】
并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
[0006]附图简沐
[0007]图1示出根据本公开的一实施例的由用户佩戴的透视头戴式显示设备。
[0008]图2示意性地示出根据本公开的一实施例的图1的透视头戴式显示设备。
[0009]图3示意性地示出根据本公开的一实施例的透视显示器和用于将显示光和注视检测光定向到用户的眼睛的光路。
[0010]图4示意性地示出根据本公开的一实施例的图3的透视显示器和用于获取眼睛的图像以检测注视方向的光路。
[0011]图5示出根据本公开的一实施例的使用透视头戴式显示设备执行注视检测的方法的流程图。
[0012]图6示出根据本公开的一实施例的计算系统的框图。
[0013]详细描沐
[0014]近眼显示系统除了用于向用户显示图像的组件之外还可包括用于跟踪用户的注视的组件。在利用波导或类似显示技术的近眼显示系统中，用于注视跟踪系统的闪光源和相机可被定位在波导外部，使得闪光源发出且由相机接收到的光不穿过波导。这样的系统可对眼睛纵向和横向移动敏感，如眼睛与近眼显示器的一个或多个组件之间的距离的变化。例如，在眼睛移动离开近眼显示器时，在相机处接收到的眼睛的图像可能看起来更小，从而使眼睛与定向到眼睛以用于注视跟踪的闪光或其他跟踪元素之间的相对位置失真。
[0015]因而，公开了用于在近眼显示系统中利用自由曲面棱镜以使得显示器和注视跟踪系统可利用相同光学组件来传送和/或接收光的各实施例。共享光学结构允许注视跟踪系统是对象空间远心的，使得与非远心结构相比，将注视跟踪系统定位在自由曲面棱镜的后聚焦面处的系统的各实施例对眼睛纵向和横向移动较不敏感。自由曲面棱镜使眼睛图像能被校准且聚焦于注视跟踪系统的相机透镜处，而无需放大图像。因此，相对于近眼显示系统的眼睛移动可能不影响注视跟踪系统的准确度。
[0016]图1示出由用户102佩戴的透视头戴式显示设备100形式的近眼显示系统的示例实施例。头戴式显示设备100可被用于例如经由透视显示器来显示增强现实图像，其中所显示的虚拟对象连同现实世界背景场景中的物理对象一起是可查看的。尽管在头戴式显示设备的上下文中描述，将理解，所公开的实施例可以与任何其他合适的近眼显示设备一起使用。透视头戴式显示设备100可包括用于将设备定位在相对于用户102的眼睛的目标查看位置处的框架104。例如，目标查看位置可与眼睛可正确感知所显示的图像的空间中的区域相对应。
[0017]图2示出图1的透视头戴式显示设备100的示意图。所描绘的透视头戴式显示设备100包括右透视显示器200a和左透视显示器200b。每一透视显示器可被配置成既向用户显示图像又允许用户查看现实世界环境。例如，每一透视显示器可包括配置成透过光学结构发出显示光到达用户的眼睛的显示设备。光学结构还可允许来自现实世界环境的光到达用户的眼睛。图2示意性地示出可被用来向用户输出声学信息的话筒202。这样的声学信息可以采取任何合适的形式，包括但不限于计算机生成的适当语言(如用户选择的)的语音输出、并非专用于任何语言的音调或其他声音、和/或任何其他合适的声音。在一些实施例中，其他类型的输出可由透视头戴式显示设备100提供，如触觉/触摸输出。
[0018]透视头戴式显示设备100包括右眼相机204a和左眼相机204b，在图2中示意性地示出。相机204a和204b可被配置成捕捉用户的每一眼睛的图像以用于确定注视方向。例如，眼睛相机204a和204b可以接收从用户的眼睛反射离开的注视检测光(例如，来自闪光源)，并基于反射的注视检测光的位置和移动来跟踪用户的注视。如下文参考图3和4更详细地描述的，眼睛相机204a和204b可以利用透视显示器200a和200b的显示设备所使用的光学结构的至少一部分。因此，眼睛相机可被定位在显示设备的前侧，因为注视检测光可经由透视显示器的光学结构而聚焦在相机上。
[0019]透视显示器200a和200b以及眼睛相机204a和204b可经由一个或多个框架104的紧固机构被定位在相对于眼睛的查看位置处。例如，如图2所示，框架104可经由耳承206由用户的耳朵并经由鼻梁208由用户的鼻子支撑，以降低框架104的滑动。将理解，图2所示的支撑(如耳承206、鼻承、以及鼻梁208)在本质上是示例性的，且头戴式透视显示设备的透视显示器可经由任何合适的机构被定位在查看位置处。例如，可以利用附加支撑，和/或图2所示的支撑中的一者或多者可被移除、替换、和/或扩充以将透视显示器定位在查看位置处。此外，透视显示器可通过除与物理上接触用户的支撑以外的机构来被定位在查看位置处，而不背离本公开的范围。
[0020]在使用期间，眼睛、显示器200a和200b以及眼睛相机204a和204b之间的距离可能变化。如上所述，除非该系统是对象空间远心的，否则来自眼睛相机204a和204b的眼睛图像的大小可响应于眼睛与显示器/相机之间的距离的这种变化而被更改。因而，眼睛相机204a和204b中的每一者的入射光瞳可任选地分别定位在显不设备200a和200b的光学装置的后聚焦面处，以维持准确注视跟踪，而不管眼睛、光学装置以及眼睛相机之间的深度变化。
[0021]现在转向图3，描绘了透视显示器300的示例实施例。透视显示器300包括用于将显示光和注视检测光两者定向到用户304的眼睛302的光学结构。透视显示器300包括在306处示意性地示出的被配置成产生图像以显示给用户304的显示子系统。显示子系统306可包括用于产生图像以供显示的任何合适的组件，包括但不限于微显示器和一个或多个光源。来自显示子系统306的显示光LD沿显示光路(由在显示子系统306处始发的光线指示)行进以到达用户的眼睛302。将理解，分开的透视显示器300可被用于左眼和右眼显示器，如图2所示。
[0022]显示子系统306可将光定向透过包括配置成传送来自显示设备的显示光的分束器310 (例如，偏振分束器或热镜)的照明棱镜308，例如，分束器310可被配置成使可见光通过而反射红外光。在一些实施例中，显不子系统306可包括反射微显不器，如娃上液晶(LCoS)显示器。在其他实施例中，显示子系统可包括发射微显示器，如有机发光二极管(0LED)阵列显示器类型、无机发光二极管(iLED)阵列显示器类