使用交替采样的眼睛跟踪的制作方法

本公开涉及显示系统、虚拟现实和增强现实成像和可视化系统。

背景技术：

1、现代的计算和显示技术已经促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中，以它们看起来是真实的或者可被感知为是真实的方式向用户呈现数字再现的图像或其一部分。虚拟现实或“vr”场景通常涉及数字或虚拟图像信息的呈现，而对其他实际现实世界视觉输入不透明；增强现实或“ar”场景通常涉及数字或虚拟图像信息的呈现，以作为对用户周围现实世界的可视化增强；混合现实或“mr”与融合现实世界和虚拟世界有关，以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类的视觉感知系统非常复杂，产生促进虚拟图像元素尤其其他虚拟或现实图像元素的舒适、感觉自然、丰富的呈现的vr、ar或mr技术是具有挑战性的。本文公开的系统和方法解决了与vr、ar和mr技术有关的各种挑战。

技术实现思路

1、一种眼睛跟踪系统可包括：第一相机，其被配置为以第一采样率捕获用户的右眼的第一多个视觉数据；以及第二相机，其被配置为以第二采样率捕获用户的左眼的第二多个视觉数据。第二多个视觉数据可以在与第一多个视觉数据不同的采样时间期间被捕获。该系统可包括：处理电子器件，其被配置为基于第一和第二多个视觉数据中的至少一些视觉数据，在未捕获正在被估计的视觉数据的眼睛的视觉数据的采样时间期间，估计右眼或左眼中的至少一个的视觉数据。处理电子器件可以被配置为基于所估计的视觉数据中的至少一些和第一或第二多个视觉数据中的至少一些视觉数据来确定眼睛的眼睛移动。

2、在各种实施方式中，第一相机和第二相机的组合采样率可以是第一采样率和第二采样率的聚合。第一采样率和/或第二采样率可以是30hz、40hz、60hz、100hz、120hz或另一采样率。第一和第二相机可以被配置为交替捕获第一和第二多个视觉数据。处理电子器件可以被配置为基于右眼的第一多个视觉数据中的至少一个视觉数据与左眼的第二多个视觉数据中的至少一个视觉数据之间的差异的确定来估计视觉数据。处理电子器件还可以被配置为基于对差异进行滤波来估计右眼或左眼的视觉数据。

3、在一些实施方式中，可穿戴显示系统可以包括前述段落中的任何一个的眼睛跟踪系统和/或本文所描述的眼睛跟踪系统中的任何一个以及被配置为呈现虚拟内容的显示器。处理电子器件可以使得显示器基于眼睛移动呈现虚拟内容。显示器可以是头戴式显示器。

4、本说明书中描述的主题的一种或多种实施方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，其他特征、方面和优点将变得显而易见。该概述或以下详细描述均不旨在限定或限制本发明主题的范围。

技术特征：

1.一种可穿戴显示系统，包括：

2.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述至少一个光源包括红外光源。

3.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述至少一个光源包括：第一光源，其被配置为将光引导向所述左眼睛；以及第二光源，其被配置为将光引导向所述右眼睛。

4.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机的组合采样率包括所述第一采样率和所述第二采样率的聚合。

5.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述第一采样率等于所述第二采样率。

6.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机被配置为交替捕获所述第一多个视觉数据和所述第二多个视觉数据。

7.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述第一采样率和所述第二采样率包括30hz。

8.根据权利要求7所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机的组合采样率包括60hz。

9.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：基于对所述右眼睛的所述第一多个视觉数据中的视觉数据和所述左眼睛的所述第二多个视觉数据中的视觉数据之间的差异的确定，估计所述右眼睛或所述左眼睛的所述视觉数据。

10.根据权利要求9所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

11.根据权利要求9至10中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

12.根据权利要求9至11中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：基于对所述差异进行滤波，估计所述右眼睛或所述左眼睛的所述视觉数据。

13.根据权利要求12所述的可穿戴显示系统，其中，对所述差异进行滤波包括求平均。

14.一种用于眼睛跟踪的方法，包括：

15.根据权利要求14所述的方法，还包括：由所述处理电子器件使得显示器至少部分地基于所述眼睛移动来渲染虚拟内容。

16.根据权利要求14至15中的任一项所述的方法，其中，确定所述眼睛移动包括：

17.根据权利要求14至16中的任一项所述的方法，其中，所述第一相机和所述第二相机的组合采样率包括所述第一采样率和第二采样率的聚合。

18.根据权利要求14至17中的任一项所述的方法，其中，所述第一采样率等于所述第二采样率。

19.根据权利要求14至18中的任一项所述的方法，其中，所述第一相机和所述第二相机交替地捕获所述第一视觉数据和所述第二多个视觉数据。

20.根据权利要求14至18中的任一项所述的方法，其中，所述第一采样率和所述第二采样率包括30hz。

21.根据权利要求19所述的方法，其中，所述第一相机和所述第二相机的组合采样率包括60hz。

22.根据权利要求14至21中的任一项所述的方法，其中，估计所述视觉数据包括：确定所述右眼睛的所述第一多个视觉数据中的视觉数据与所述左眼睛的所述第二多个视觉数据中的视觉数据之间的差异。

23.根据权利要求22所述的方法，其中：

24.根据权利要求23所述的方法，其中：

25.根据权利要求22至24中的任一项所述的方法，还包括：由所述处理电子器件：

26.根据权利要求25所述的方法，其中：

27.根据权利要求22至26中的任一项所述的方法，还包括：通过低通滤波器对所述差异进行滤波。

技术总结
眼睛跟踪系统可包括第一相机，该第一相机被配置为以第一采样率捕获右眼的第一多个视觉数据。该系统可包括第二相机，该第二相机被配置为以第二采样率捕获左眼的第二多个视觉数据。第二多个视觉数据可以在与第一多个视觉数据不同的采样时间期间被捕获。该系统可以基于第一和第二多个视觉数据中的至少一些视觉数据来估计在采样时间的右眼或左眼中的至少一个的视觉数据，在该采样时间期间，正在为其估计视觉数据的眼睛的视觉数据没有被捕获。可以基于所估计的视觉数据中的至少一些和第一或第二多个视觉数据中的至少一些视觉数据来确定眼睛的眼睛移动。

技术研发人员：A·I·拉塞尔
受保护的技术使用者：奇跃公司
技术研发日：
技术公布日：2024/1/12