眼睛模型注册的制作方法

背景技术：

1、虚拟现实(vr)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(mr)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。因此，可利用vr的模拟环境和/或mr的混合环境为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。

2、眼睛或注视跟踪器是用于估计眼睛位置和眼睛运动的设备。眼睛或注视跟踪过程和系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入设备。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。眼睛模型是可在包括但不限于注视跟踪过程和系统的过程和系统中使用的人眼的数学表示。

技术实现思路

1、描述了用于用户眼睛注册的方法和装置的实施方案。成像系统可包括：两个或更多个照明源(例如，点光源，诸如发光二极管(led))，这两个或更多个照明源照明人的眼睛或眼睛区域；以及至少一个相机，该至少一个相机被配置为捕获眼睛在被照明时反射的来自照明源的光的图像。在实施方案中，当眼睛处于两个或更多个不同取向以及具有两个或更多个不同水平的显示亮度时捕获的眼睛的图像可被处理以生成眼睛模型，例如眼睛的角膜和瞳孔特征的模型。图像可在设备诸如头戴式设备(hmd)的注册过程期间被捕捉并处理以生成眼睛模型。在一些实施方案中，注册过程可作为初始过程在用户使用设备时，例如在用户将hmd放置在他们的头上时执行。另选地，注册过程可以是连续的或迭代的过程，其在用户正使用设备时构建并改进眼睛模型。

2、在实施方案中，由在注册过程期间捕获的用户的眼睛的图像来构建特定于该用户的眼睛模型(其可被称为用户感知眼睛模型)。可在显示器上显示刺激或指导以使用户看不同方向。显示器的亮度或其他显示特性可被调节以刺激不同的瞳孔响应。以两个或更多个不同的取向以及以两个或更多个亮度水平由一个或多个眼睛相机捕获用户眼睛的图像。根据这些图像，该系统估计用户眼睛的眼睛特征，例如角膜表面模型和作为瞳孔半径的函数的动态瞳孔模型。可针对一只眼睛或针对两只眼睛执行该建模。该方法可迭代以优化眼睛模型。

技术特征：

1.一种系统，包括：

2.根据权利要求1所述的系统，还包括显示器，其中所述控制器还被配置为在所述一个或多个相机正在捕获所述眼睛在相对于所述一个或多个相机的不同取向上的所述两个或更多个图像时调节所述显示器的亮度，其中执行调节所述亮度以刺激瞳孔直径的变化。

3.根据权利要求1所述的系统，还包括显示器，其中所述控制器还被配置为使得提示被显示在所述显示器上，其中所述提示提供看向两个或更多个不同方向的指令，使得所述一个或多个相机捕获所述眼睛在相对于所述一个或多个相机的不同取向上的所述两个或更多个图像。

4.根据权利要求3所述的系统，其中所述提示被显示在两个或更多个已知目标位置处，并且其中所述已知目标位置被用于确定所述一个或多个眼睛姿态。

5.根据权利要求1所述的系统，其中所述控制器还被配置为：

6.根据权利要求1所述的系统，其中为了基于所计算的眼睛特征来生成或更新眼睛模型，所述控制器被配置为将优化过程应用于所述眼睛的两个或更多个观察，每个观察对应于由所述一个或多个相机在不同取向上捕获的一个或多个图像。

7.根据权利要求1所述的系统，其中存在两个相机，每个相机被配置为捕获所述眼睛处于每个取向的单独图像。

8.根据权利要求1所述的系统，还包括照明源，所述照明源包括多个发光元件，所述多个发光元件被配置为向所述眼睛发射光以由所述相机成像。

9.根据权利要求8所述的系统，其中所述发光元件包括发光二极管(led)。

10.根据权利要求8所述的系统，其中所述发光元件包括红外(ir)光源，并且其中所述一个或多个相机是红外相机。

11.根据权利要求1所述的系统，其中所述系统是头戴式设备(hmd)、手持式设备或壁挂式设备。

12.一种方法，包括：

13.根据权利要求12所述的方法，还包括在所述一个或多个相机正在捕获所述眼睛在相对于所述一个或多个相机的不同取向上的所述两个或更多个图像时调节光源的亮度，其中调节所述亮度刺激瞳孔直径的变化。

14.根据权利要求12所述的方法，还包括使得可见提示被显示，其中所述提示提供看向两个或更多个不同方向的指令，使得所述一个或多个相机捕获所述眼睛在相对于所述一个或多个相机的不同取向上的所述两个或更多个图像。

15.根据权利要求14所述的方法，其中所述提示被显示在两个或更多个已知目标位置处，并且其中所述已知目标位置被用于确定所述一个或多个眼睛姿态。

16.根据权利要求12所述的方法，还包括：

17.根据权利要求12所述的方法，其中基于所计算的眼睛特征来生成或更新眼睛模型包括将优化过程应用于所述眼睛的两个或更多个观察，每个观察对应于由所述一个或多个相机在不同取向上捕获的一个或多个图像。

18.根据权利要求12所述的方法，还包括经由两个相机来捕获所述眼睛处于每个取向的单独图像。

19.根据权利要求12所述的方法，还包括由包括多个红外(ir)发光二极管(led)的照明源朝向所述眼睛发射光以由所述一个或多个相机成像，并且其中所述一个或多个相机是红外相机。

20.根据权利要求12所述的方法，其中所述一个或多个相机和所述控制器是头戴式设备(hmd)、手持式设备或壁挂式设备的部件。

技术总结
用于生成用户感知眼睛模型的方法和装置。在注册过程期间，一个或多个相机在用户的眼睛处于两个或更多个不同取向以及在两个或更多个不同水平的显示亮度时捕获该眼睛的图像。所捕获的图像被处理以生成三维用户感知眼睛模型，例如至少眼睛的角膜和瞳孔特征的模型。所生成的用户感知眼睛模型可在其他过程中使用，例如在注视跟踪过程中。注册过程可以是优化眼睛模型的迭代过程，或者是在用户正使用系统时执行的连续过程。

技术研发人员：秦浩,H·高,T·辛格劳德,蔡佳吟
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/2/1