视线跟踪设备以及嵌有所述视线跟踪设备的头戴式设备的制作方法

本公开一般地涉及视线跟踪设备，其能够提供用户，尤其是具有狭窄的眼睛开口的用户的视线的可靠并且准确的跟踪。

背景技术：

视线跟踪是测量人的眼睛相对于头部的运动或注视点的处理。视线跟踪设备是能够测量眼睛位置和眼睛移动的设备。

如在专利申请WO 2013/167864中所公开的，视线跟踪是头戴式设备或HMD的关键特征，因为它可以扩展这种HMD的用户的能力以凝视位置超出头部移动性极限的物体。一种视线跟踪技术在于将红外光投射到用户的眼睛中并且利用初级浦肯野(Purkinje)反射和瞳孔掩蔽的反射以便确定HMD的用户的眼睛的位置。该方法在于跟踪反射图像的相对运动，以便借助于位于用户眼睛前方的分束器建立表征用户的注视点的矢量。这导致庞大的视线跟踪设备难以嵌入在HMD中。该方法的另一个限制是因为与反射图像的几何形状结合的照明方案而受限制的视场。

已经考虑了前述而设计本发明。

技术实现要素：

本发明的第一方面涉及一种视线跟踪设备，包括：

-多个光源，布置为将红外光投射在所述视线跟踪设备的用户的眼睛的表面上，以及

-光场照相机，用于捕获反射离开用户的眼睛的表面的红外光。

在根据本发明的视线跟踪设备的实施例中，光源位于用户的眼睛的视场的外围。

在根据本发明的视线跟踪设备的实施例中，光场照相机位于用户的眼睛的视场的外围。

在根据本发明的视线跟踪设备的实施例中，光源发出经偏振的红外光。

在根据本发明的视线跟踪设备的实施例中，至少光场照相机的微透镜阵列的微透镜配备有偏振滤光器。

本发明的第二方面涉及一种包括至少一个视线跟踪设备的头戴式设备，该至少一个视线跟踪设备包括：

-多个光源，布置为将红外光投射在所述视线跟踪设备的用户的眼睛的表面上，以及

-光场照相机，用于捕获反射离开用户的眼睛的表面的红外光。

根据按照本发明的头戴式设备的实施例，光源位于头戴式设备的框架的边缘上。

根据按照本发明的头戴式设备的实施例，光场照相机位于头戴式设备的框架的边缘上。

根据按照本发明的头戴式设备的实施例，光场照相机嵌入在头戴式设备的框架的侧边件上。

本发明的元件实现的一些处理可以用计算机实现。因此，这些元件可以采取完全硬件实施例的形式、完全软件实施例的形式(包括固件、常驻软件、微代码等)或者结合软件和硬件方面的实施例的形式，结合软件和硬件方面的实施例通常全部可以在这里称作“电路”、“模块”或“系统”。而且，这种元件可以采取在任何有形的表达介质中实施的计算机程序产品的形式，表达介质具有在介质中实施的计算机可用的程序代码。

因为本发明的元件可以在软件中实现，所以本发明可以实施为在任何适当的载体介质上提供给可编程装置的计算机可读代码。有形的载体介质可以包括存储介质，诸如软盘、CD-ROM、硬盘驱动器、磁带设备或者固态存储器设备等。瞬态载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号，例如微波或RF信号这样的信号。

附图说明

现在将仅经由示例并且参考下面的附图描述本发明的实施例，附图中：

图1表示根据本发明的实施例的视线跟踪设备，

图2表示根据本发明的实施例的视线跟踪设备的光场照相机的微透镜阵列的微透镜，

图3是例示用于处理由根据本发明的实施例的视线跟踪设备的光场照相 机获取的光场数据的装置的示意框图，

图4表示根据本发明的实施例的嵌有视线跟踪设备的头戴式设备。

具体实施方式

如将由本领域技术人员所领会的，本原理的各方面能够作为系统、方法或计算机可读介质来实施。因此，本原理的各方面可以采取完全硬件实施例的形式、完全软件实施例的形式(包括固件、常驻软件、微代码等)或者结合软件和硬件方面的实施例的形式，结合软件和硬件方面的实施例通常全部可以在这里称作“电路”、“模块”或“系统”。而且，本原理的各方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任意组合。

图1表示根据本发明的实施例的视线跟踪设备100。这种视线跟踪设备100可以安装在包括例如下巴托架的固定支架上或者可以作为便携式设备而实现。在本描述的剩余部分中，假设视线跟踪设备100是便携式类型，然而，在下文所描述的本发明的实施例同样可以在安装在固定支架上的视线跟踪设备上实现。

在图1上表示的视线跟踪设备100为用户的左眼而设计。适合于用户的右眼的视线跟踪设备与图1上所示的视线跟踪设备100对称。

视线跟踪设备100包括多个光源101。光源101是红外光源或者IR光源101。IR光源101位于视线跟踪设备100的框架102上。这样，因为IR光源101位于视线跟踪设备100的用户的眼睛103的视场的外围，所以IR光源101不在眼睛103的视场内。在本发明的实施例中，IR光源101可以是诸如圆盘、矩形等这样的开口。

光场照相机104嵌入在视线跟踪设备100的框架102中。因此，对于IR光源102，光场照相机104位于眼睛103的视场的外围。光场照相机104包括微透镜阵列105，微透镜阵列105包括多个微透镜106。

圆盘部分107a表示向右边看的眼睛103。由IR光源101发出的IR光108a以入射角θ1在向右边看的眼睛107a上反射。反射的IR光108b由光场照相机104通过微透镜106捕获。

圆盘部分107b表示向左边看的眼睛103。由IR光源101发出的IR光109a以入射角θ2在向左边看的眼睛107b上反射。反射的IR光109b由光场 照相机104通过微透镜106捕获。

为了增加由光场照相机104捕获的图像中的信号噪声比并且从而提供所获得的视线跟踪信息的准确度的增加，尽可能多得生成IR光在眼睛上的反射是有趣的。为了实现这个目标，IR光源101可以以使得由IR光源101发出的IR光由光场照相机104的传感器的至少一个像素捕获的模式位于视线跟踪设备100的框架周围。

在本发明的另一个实施例中，为了增加用户的视线测量的灵敏度，使用当IR光在眼睛103的表面反射时与眼睛103表面垂直的矢量有关的附加信息。实际上，与眼睛103的表面垂直的矢量的知识使得能够计算眼睛103的取向。

与眼睛103的表面垂直的矢量有关的这条信息通过使得IR光偏振而获得。

在本发明的第一实施例中，IR光源101发出经偏振的IR光。IR光的偏振可以通过对IR光源101配备偏振滤光器而实现。

在图2上表示的本发明的第二实施例中，光场照相机200的微透镜阵列202的微透镜201配备有偏振滤光器。例如，微透镜201配备有两种不同类型的偏振滤光器203、204。例如，偏振滤光器203、204可以是线性偏振类型，偏振滤光器203、204的偏振彼此正交。偏振滤光器203、204也可以是圆偏振类型，偏振滤光器203、204的偏振彼此相反。

由IR光源101发出的非偏振IR光在眼球的表面上的反射可以提供自然偏振。实际上，当所发出的IR光的入射角目标在于等于布鲁斯特(Brewster)角时，反射的IR光的偏振接近于平行偏振，亦即，反射的IR光的偏振与由入射的IR光和反射的IR光所定义的平面正交。根据IR光在眼球上的反射发生的位置上的眼球的表面的法向矢量，定义布鲁斯特角，并且布鲁斯特角仅取决于眼球透明介质材料的指数(考虑到其他介质是空气)。布鲁斯特角的值本质上不是测量的，通过偏振效应仅检测对光的影响。

因此，在本发明的另一个实施例中，IR光源101的一些发出经偏振的IR光，而其他IR光源101发出非偏振的IR光。基于所发出的IR光的入射角以及取决于该入射角，入射的IR光在眼球上的反射导致反射的IR光的自然偏振的知识，选择发出非偏振IR光的IR光源。

在本发明的另一个实施例中，发出经偏振的IR光的IR光源101的选择 是动态的并且基于用户的眼睛的当前位置。因此，取决于用户的眼睛的当前位置，给定的IR光源101发出或者不发出经偏振的IR光。

为了确定用户的眼睛的位置，与由光场照相机104、200捕获的IR光有关的信息传输给图像处理设备。在本发明的实施例中，图像处理设备和视线跟踪设备100嵌入在诸如头戴式设备或HMD这样的相同装置中。在本发明的另一个实施例中，图像处理设备和视线跟踪设备100是彼此远离的两个不同设备。与由视线跟踪设备100的光场照相机104捕获的IR光有关的信息经由电缆或无线通信传输给图像处理设备。在本发明的这种实施例中，视线跟踪设备100嵌入在头戴式设备中，而图像处理设备例如嵌入在计算机中。

图3是例示用于处理由根据本发明的实施例的视线跟踪设备100的光场照相机104获取的光场数据的装置的示例的示意框图。

装置300包括处理器301、存储单元302、输入设备303、显示设备304以及接口单元305，它们由总线306连接。当然，计算机装置300的构成元件可以由除了总线连接之外的连接而连接。

处理器301控制装置300的操作。存储单元302存储由处理器301执行的至少一个程序，以及各种数据，包括由光场照相机104获取的或者由视线跟踪设备100提供的光场数据、由处理器301执行的计算所使用的参数、由处理器301执行的计算的中间数据等。处理器301可以由任何已知的并且适当的硬件、或者软件、或者硬件和软件的组合形成。例如，处理器301可以由诸如处理电路这样的专用硬件，或者由执行存储在它的内存中的程序的诸如CPU(中央处理单元)这样的可编程处理单元形成。

存储单元302可以由能够以计算机可读的方式存储程序、数据等的任何适当的)存贮或部件形成。存储单元302的示例包括诸如半导体存储器设备这样的非临时性的计算机可读存储介质，以及加载到读写单元中的磁、光或者磁光记录介质。程序使得处理器301执行学习处理和分类处理。

输入设备303可以由键盘、诸如鼠标这样的定点设备等形成，由用户使用以输入命令。输出设备304可以由显示设备形成以显示例如图形用户界面(GUI)。输入设备303和输出设备304可以整体地由例如触摸屏面板形成。

接口单元305提供装置300与外部装置之间的接口。接口单元305可以与外部装置经由电缆或无线通信而可通信。在实施例中，外部装置可以是嵌有视线跟踪设备100的头戴式设备或者视线跟踪设备100自身。在这种情况 下，由视线跟踪设备100的光场照相机104获取的光场数据能够从视线跟踪设备100通过接口单元305输入到装置300，然后存储在存储单元302中。

在该实施例中，示例性地讨论装置300，因为它与视线跟踪设备100分离并且彼此经由电缆或无线通信而可通信。

学习处理在于训练期，在此期间浏览多个眼睛位置，学习处理的示例可以依赖于神经网络或者高效并且准确的任何其他机器学习处理的使用。因此，在训练期期间，关于多个眼睛位置，与IR光由眼睛反射之后由光场照相机104捕获的由IR光源101所发出的IR光有关的数据存储在装置300的存储单元302中。这些所存储的位置可以例如通过使用移动的控制目标或者任何其他校准手段而确定。模式定义为由光场照相机104捕获的多个图像内的多个反射光点，所捕获的图像中的位置以及反射光点的每个的强度存储在装置300的存储单元302中。

然后，处理器301运行确定眼睛的估计位置的识别处理。识别处理由处理器301在训练期之后实时地执行。使用学习处理的结果，亦即，存储在存储单元302中的由IR光源101所发出的IR光的反射模式，可以实时地确定用户的眼睛的位置。

根据本发明的不同实施例的视线跟踪设备100提供与所捕获的IR光有关的信息，该信息一旦被处理，使得能够以准确并且可靠的方式进行视线的跟踪，尤其是对于诸如亚洲人眼睛这样的具有狭窄开口的眼睛。因为引入空间视差(disparity)的光场照相机100的使用，这变得可能。视线跟踪的准确度通过除了空间视差之外还引入偏振的视差而增加。

图4表示嵌有两个视线跟踪设备的头戴式设备400，两个视线跟踪设备用于分别确定头戴式设备400的用户的左眼401a和右眼401b的位置。

视线跟踪设备包括多个光源402a和402b。光源402a、402b是IR光源。IR光源402a、402b位于头戴式设备400的框架403上。在根据本发明的头戴式设备400的实施例中，IR光源402a、402b嵌入在头戴式设备400的框架403的边缘404中。这样，IR光源402a、402b不在头戴式设备400的用户的眼睛401a、401b的视场内。在本发明的另一个实施例中，IR光源402a、402b也嵌入在头戴式设备400的框架403的侧边件405a、405b中。

在本发明的实施例中，为了改进视线跟踪设备的空间采样，次级IR光源(没有在图中表示)嵌入在头戴式设备400中。由次级IR光源发出的IR 光首先在头戴式设备400的主透镜或者主显示器上反射。在本发明的实施例中，次级IR光源可以是呈现卵形几何形状的开口或者可以是栅格。

光场照相机406a、406b嵌入在头戴式设备400的框架403中。因此，对于IR光源402a、402b，光场照相机406a、406b位于眼睛401a、401b的视场的外围。光场照相机406a、406b包括微透镜阵列，微透镜阵列包括多个微透镜。

在头戴式设备400的另一个实施例中，光场照相机406a、406b嵌入在头戴式设备400的框架403的侧边件405a、405b上。

为了增加用户的视线测量的灵敏度，在头戴式设备400的第一实施例中，IR光源402a、402b发出经偏振的IR光。IR光的偏振可以通过对IR光源402a、402b配备偏振滤光器而实现。

在头戴式设备400的第二实施例中，光场照相机406a、406b的微透镜阵列的微透镜配备有偏振滤光器。

由IR光源101发出的非偏振IR光在眼球的表面上的反射可以提供自然偏振。因此，在头戴式设备400的第三实施例中，IR光源402a、402b的一些发出经偏振的IR光，而其他IR光源402a、402b发出非偏振的IR光。基于所发出的IR光的入射角，以及取决于该入射角，入射IR光在眼球上的反射导致反射的IR光的自然偏振的知识，选择发出非偏振IR光的IR光源。

在头戴式设备400的另一个实施例中，发出经偏振的IR光的IR光源402a、402b的选择是动态的并且基于用户的眼睛的当前位置。因此，取决于用户的眼睛的当前位置，给定的IR光源402a、402b发出或者不发出经偏振的IR光。

为了确定用户的眼睛的位置，与由光场照相机406a、406b捕获的IR光有关的信息传输给图像处理设备。在本发明的实施例中，图像处理设备嵌入在头戴式设备400中。在本发明的另一个实施例中，图像处理设备和头戴式设备400是彼此远离的两个不同设备。与由光场照相机406a、406b捕获的IR光有关的信息经由电缆或无线通信传输给图像处理设备。

虽然已经参考具体的实施例在上文描述了本发明，但是本发明并不局限于具体的实施例，并且落在本发明的范围内的修改对于本领域中的技术人员将是显然的。

当参考前述例示性实施例时，许多进一步的修改和变化将浮现在本领域 的熟练技术人员的脑海里，前述例示性实施例仅作为示例给出并且不旨在限制本发明的范围，本发明的范围仅由所附权利要求书所确定。特别地，在适当的情况下，来自不同实施例的不同特征可以互换。