相对于可穿戴设备跟踪穿戴者的眼睛的制作方法

头戴式设备可以包括头盔、眼罩、眼镜或者可穿戴到用户的头部上的其他配置，其一般结合显示器和计算机功能性。头戴式设备可以提供针对多媒体的增强观看体验，举例而言，其可以应用于培训、工作活动、休闲、娱乐、日常活动、玩游戏或者看电影。

例如，头戴式设备可以跟踪用户的头部位置以通过使用运动视差来支持3D场景的逼真绘制。已知用户的头部相对于显示器的位置的情况下，头戴式设备的处理器可以改变所显示的3D虚拟对象和场景的视图。因此，在头戴式设备再现用户看到物理对象的方式时，用户能够以自然的方式观察和检查虚拟3D对象和场景。遗憾的是，用户的头部相对于显示器的实际和测量位置之间的差异(disparity)可能导致错误或者不准确地显示的信息，并且可能不利地影响用户，用户可能因此遭受不适和恶心。

技术实现要素：

本公开内容部分地描述了用于操作诸如头戴式设备的可穿戴设备的技术和架构，可穿戴设备可以用于虚拟现实应用。可穿戴设备的处理器通过动态地跟踪可穿戴设备与用户的眼睛之间的精确几何关系来操作。由此，例如，如果可穿戴设备在用户移动时在头部上转移，则可以避免所显示的虚拟世界的不自然倾斜和畸变。可以通过至少部分地基于从眼睛的角膜反射的光的点的相对位置来计算角膜和眼睛中心而执行眼睛注视的动态跟踪。

本文中，虽然示例主要针对可穿戴设备，但是具有相似或者相同功能性的设备不必是可穿戴的。例如，如本文描述的眼睛注视的动态跟踪可以由这样的设备来执行，仅作为示例，该设备可以是手持的、安装在与主体或者用户分离的结构上、或者设置在表面(例如，桌面)上。然而，术语“可穿戴设备”将用于包括所有此类示例。

提供本发明内容用于以简化形式介绍下文在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键或者必要特征，也不旨在用于辅助确定所要求保护的主题的范围。例如，术语“技术”可以指系统、方法、计算机可读指令、模块、算法、硬件逻辑(例如，FPGA、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD))和/或以上和贯穿该文档的上下文所允许的其他技术。

附图说明

参考附图描述具体实施方式。在附图中，参考标号的最左数位标识该参考标号首先出现的附图。不同附图中的相同参考标号指示相似或者相同的项目。

图1是示例可穿戴设备的框图。

图2是示例可穿戴设备的用户的眼睛的示意截面图。

图3是相对于用户的眼睛定位的示例可穿戴设备的部分的示意截面图。

图4是用户的眼睛的角膜的部分的示例图像。

图5是根据示例的叠加在表示用户的眼睛的球体上的虚拟角膜球体的示意截面图。

图6是用于计算可穿戴设备的用户的眼睛的注视方向的示例过程的流程图。

具体实施方式

在各种示例中，技术和架构可以用于确定或者跟踪可穿戴设备的用户的一只或两只眼睛的位置和/或定向。在一些示例中，设备不必是可穿戴的，并且设备可以与主体(例如，人类或动物)相关联，并且不限于设备的用户。可穿戴设备的示例可以包括用户的头部上穿戴的或者作为头盔的一部分的显示设备，并且可以包括位置和/或运动传感器以测量可穿戴设备的惯性位置或者定向。显示设备可以包括在一只眼睛、每只眼睛或者两只眼睛前面的小显示器。仅作为示例，显示设备可以包括CRT、LCD、硅上液晶(LCOS)或者OLED。

可穿戴设备可以显示计算机生成的图像，称为虚拟图像。例如，可穿戴设备的处理器可以绘制和显示合成(虚拟)场景，以使得观看者(可穿戴设备的穿戴者)将场景感知为现实(或者增强现实)。为了正确地做到这一点，处理器可以使用可穿戴设备显示器与观看者的注视之间的位置关系的相对精确的几何测量，以使得处理器可以在合成场景中正确地放置和定向虚拟相机。在观看者的注视(和/或观看者的头部)移动或者转移位置时，这样的位置关系可以连续地或者不时地改变。如果处理器使用不准确的位置关系信息，则处理器可能绘制看上去不自然地倾斜和畸变的虚拟场景。

在一些示例中，可穿戴设备配置用于跟踪眼睛的角膜的3D位置。此类跟踪是除跟踪注视方向(例如，观看方向)以外的。由此，例如，眼睛的角膜或者其他部分的3D位置包括眼睛的角膜或者其他部分相对于三个空间轴x、y和z中每一个的位置。这样的位置可以相对于可穿戴设备的部分，但是要求保护的主题不限于此。

可以向绘制用于可穿戴设备的图像的处理器连续地提供用户的眼睛的角膜或者其他部分的3D跟踪信息。由此，处理器可以绘制说明用户的眼睛相对于可穿戴设备的相对运动的图像。

本文描述的3D跟踪技术可以提供多种益处。例如，可以在用户的眼睛相对于可穿戴设备移动(或者静止)时动态地执行3D跟踪。由此，涉及用户的离散校准过程对于可穿戴设备的开始操作不是必需的。另一益处是本文描述的3D跟踪技术可以通过使用在眼睛的表面上产生相对较低强度的光点(例如，闪烁)的光发射器来操作。因此，光发射器能够以相对较低的功率操作，其可以允许操作便携式、电池供电的可穿戴设备。

在一些示例中，可穿戴设备可以包括一个或多个光发射器，用以朝向可穿戴设备的用户的一只眼睛或两只眼睛发射光。例如，如果光在电磁谱的红外部分中，则这样的光可以是对用户不可见的。接触(impinge)到眼睛的角膜上的光可能产生小的光点或者闪烁，其是来自角膜表面的光的镜面反射。可穿戴设备的相机可以捕获具有一个或多个此类闪烁的眼睛的角膜的图像。可穿戴设备的处理器随后可以至少部分地基于图像中的闪烁的相对位置来计算角膜的中心。如下文所述的相机的校准(例如，相机的光圈和图像平面的位置)和发射器的相对定位允许此类计算。

可穿戴设备的相机可以配置用于在眼睛(或者注视)在各个方向对准时捕获角膜的多个图像。可穿戴设备的处理器可以针对每个对准方向计算角膜的中心。随后，使用角膜的中心中每个的位置，处理器可以计算眼睛的中心。另外，处理器可以针对特定时间至少部分地基于角膜的中心和眼睛的中心，来计算眼睛的注视方向。在一些示例中，使用与平均人类眼睛的维度和大小有关的测量信息，可以使用偏移或者其他几何运算从眼睛的其他部分的位置来确定眼睛的角膜的位置。

参考图1至图6进一步描述各种示例。

下文描述的可穿戴设备配置仅构成一个示例，并且并不旨在将权利要求限制于任何一个特定配置。在不脱离所要求保护的主题的精神和范围的情况下，可以使用其他配置。

图1图示了可穿戴设备100的示例配置，其中包括如本文所述的可穿戴设备的用户的眼睛移动的动态跟踪的示例过程可以操作。在一些示例中，可穿戴设备100可以经由网络102互连。此类网络可以包括一个或多个计算系统，其存储和/或处理从可穿戴设备100接收和/或向可穿戴设备100传输的信息(例如，数据)。

可穿戴设备100可以包括一个或多个处理器104，一个或多个处理器104例如经由总线100可操作地连接至输入/输出接口106和存储器108。在一些示例中，描述为由可穿戴设备100执行的功能性中的一些或者全部可以由一个或多个远程对等计算设备、一个或多个远程服务器、云计算资源、外部光学发射器或者外部光学检测器或相机来实现。除其他以外，输入/输出接口106可以包括用于可穿戴设备100的显示设备和网络接口，以用于与此类远程设备通信。

在一些示例中，存储器108可以存储处理器104可执行的指令(包括操作系统(OS)112、计算模块114)以及处理器104可加载和可执行的程序或者应用116。一个或多个处理器104可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、视频缓冲处理器等等。在一些实现中，计算模块114包括存储在存储器108中并且处理器104可执行的可执行代码，用于由可穿戴设备100经由输入/输出106本地或远程地收集信息。信息可以与应用116中的一个或多个相关联。

虽然已经将某些模块描述为执行各种操作，但是模块仅是示例，并且可以由更多或者更少数目的模块来执行相同或相似的功能性。另外，由描绘的模块执行的功能不一定是由单个设备本地执行的。相反，一些操作可以由远程设备(例如，对等、服务器、云等)来执行。

备选地或者附加地，可以至少部分地由一个或多个硬件逻辑组件来执行本文描述的功能性中的一些或者全部。例如但不限于，可以使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。

在一些示例中，可穿戴设备100可以与相机118相关联，相机118能够捕获图像和/或视频。例如，输入/输出模块106可以包括此类相机。输入/输出模块106还可以包括一个或多个光发射器120，诸如激光二极管、发光二极管或者其他光生成设备。本文中，“光”可以指电磁谱的任何波长或者波长范围，包括远红外(FIR)、近红外(NIR)、可见光和紫外(UV)能量。

输入/输出模块106还可以包括惯性传感器、罗盘、重力计或者其他位置或定向传感器。此类传感器可以允许跟踪可穿戴设备(以及相应地，穿戴者的头部)的位置和/或定向或者其他移动。

存储器108可以包括计算机可读介质中的一个或者组合。计算机可读介质可以包括计算机存储介质和/或通信介质。计算机存储介质包括以任何方法或技术实现的用于诸如计算机可读指令、数据结构、程序模块或者其他数据的信息的存储的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器或其他存储器技术、压缩盘只读存储器(CD-ROM)、数字通用盘(DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可以用于存储供计算设备访问的信息的任何其他非传输介质。

相反，通信介质以诸如载波的调制数据信号或者其他传输机制来具体化计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。在各种示例中，存储器108是存储计算机可执行指令的存储介质的示例。例如，在由处理器104执行时，除了其他以外，计算机可执行指令将处理器配置用于确定由相机118捕获的图像中的闪烁的相对位置，以及至少部分地基于所确定的闪烁的相对位置来计算可穿戴设备100的用户的眼睛的中心。

在各种示例中，输入/输出模块106的其他输入设备(未图示)可以是直接触摸输入设备(例如，触摸屏)、间接触摸设备(例如，触摸板)、间接输入设备(例如，鼠标、键盘等)，或者另一类型的非接触设备，诸如音频输入设备。

输入/输出模块106还可以包括接口(未图示)，其允许可穿戴设备100与其他设备通信。此类接口可以包括用以支持可穿戴设备100与其他联网设备之间的通信的一个或多个网络接口，其他联网设备诸如用户输入外围设备(例如，键盘、鼠标、笔、游戏控制器、语音输入设备、触摸输入设备、手势输入设备等等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等等)。

图2是可穿戴设备的用户的眼睛200的示意截面图，可穿戴设备诸如上文描述的100。眼睛200表示平均的人类(或者其他动物)眼睛。眼睛200包括基本上是球形的眼球202，除了其他之外，眼球202包括角膜204、瞳孔206、晶状体208和中央凹(fovea)210。角膜204的中心部分212基本上是球形的，而这样的球形度倾向于朝向角膜204的外围区域214减小。在本文中，角膜球体是指基于中心部分212周围的角膜204的球形度的球体。换言之，如果整个角膜是具有由中心部分212所表示的球形参数的完美球体，则角膜204可以由角膜球体表示。因此，表示角膜204的角膜球体在眼球202内部具有中心216。

眼睛200的光学轴可以从角膜的中心部分212延伸到中央凹210。因为中央凹在眼球的背部偏移几度，所以光学轴可能不会穿过眼球的中心218。如下文所述，如果要至少部分地基于角膜的中心部分212的位置来确定用户的注视方向，可以考虑这样的偏移。

图3是相对于用户的眼睛304定位的示例可穿戴设备的部分302的示意截面图。可穿戴设备部分302包括以某些方式安装或者附接至可穿戴设备部分302的框架312的光发射器306、308以及相机310。虽然描述了两个光发射器，但是在其他实现中可以使用任何数目的光发射器。

眼睛304与上文描述的眼睛200相同或者相似。例如，眼睛304包括眼球314，其包括角膜316，角膜316可以被视为基本上是球形。

发射器306、308定位在可穿戴设备部分302上，以使得在用户穿戴可穿戴设备时，发射器可以将光指向角膜316上眼球314的转动位置的范围中。换言之，即使眼球转动(例如，在用户在其头部位置基本上静止时将其注视指向不同方向)时，发射器也可以将光照射到角膜的表面上。眼球314的转动可以由θ指示。例如，图3图示了光发射器306将光指向角膜316的表面以创建闪烁318，并且光发射器308将光指向角膜316的表面以创建闪烁320。“闪烁”是指作为从表面镜面反射的光的源的小区域(例如，点)。在目前描述的示例中，由发射器306(和角膜的表面)创建的闪烁318的图像可以被相机310捕获，并且由发射器308(和角膜的表面)创建的闪烁320的图像可以被相机310捕获。在特定时间捕获的角膜的单个图像(例如，“照片”)可以包括闪烁318的图像和闪烁320的图像二者，如下文所述。

发射器306、308、相机310和眼睛304相对于彼此定位，以使得可以由发射器在角膜316的基本上球形部分上产生θ的特定范围(例如，在特定示例中，约15至40度)的闪烁，并且可以由相机捕获闪烁的图像。在这样的范围以外，例如，由相机310捕获的图像中的闪烁可以在角膜的非球形部分上，或者可以在眼球314上，由此错过角膜。这样的情景是不期望的，并且可以通过发射器、相机和用户的眼睛的预期位置的判断正确的相对定位来避免。

除了发射器和相机相对于预期眼睛位置的判断正确的放置之外，可以考虑相机的各种参数以用于校准发射器-眼睛-相机光学系统。此类参数可以是相机镜头的焦距、相机的光学系统的畸变参数以及相机的图像平面的中心相关于发射器的位置。

图4是用户眼睛的角膜的部分402的示例图像400。例如，这样的图像可以在特定时间由图3中图示的相机310捕获。角膜部分402的图像包括由多个发射器(例如，发射器306、308)的光接触到角膜的表面上而产生的多个闪烁404。此类闪烁可以部分地表示眼睛相关于发射器、相机以及由此发射器和相机所安装或附接的可穿戴设备的位置。

处理器(例如，处理器104)可以对图像400执行图像分析，以确定每个闪烁相对于所有其他闪烁的位置。例如，处理器可以计算两个闪烁404之间的距离406。在一些实现中，眼睛的角膜(以及眼睛本身)的特定位置(例如，x、y和z位置)可能导致角膜基本上球形的表面上的闪烁布局的唯一集合。除了其他以外，可以包括发射器和相机的可穿戴设备系统可以在角膜在不同方向中定向时(例如，在可穿戴设备的用户相对于可穿戴设备转移其注视和/或移动其头部时)捕获角膜的图像。每个此类图像可以包括具有对于角膜的特定定向唯一的相对位置的闪烁。如下文所述，可穿戴设备的处理器可以至少部分地基于闪烁的相对位置来确定和跟踪用户的眼睛的位置和定向。

在一些实现中，为了确定或者计算角膜的3D位置，处理器可以实现优化算法，其可以包括通过系统地选择输入值(诸如闪烁404的相对位置、相机310的图像平面的位置以及发射器的位置)来基本上最大化或者最小化实函数。在一些示例中，给定此类输入值的情况下，优化可以包括找到一些目标函数的“最佳可得”值。

图5是根据示例的叠加在表示用户的眼睛的球体504上的虚拟角膜球体502的示意截面图。如下文所解释的，虚拟角膜球体是可以由处理器在确定眼睛的注视方向的过程期间生成的眼睛的角膜的表示。每个虚拟角膜球体502的位置对应于眼睛转动(如箭头R指示)时角膜和眼睛的不同转动位置。例如，虚拟角膜球体502A对应于眼睛和注视看向方向506。虚拟角膜球体502B对应于眼睛和注视看向方向508。

处理器可以至少部分地基于角膜的图像中的闪烁集合之间的位置关系(例如，闪烁图案)来生成虚拟角膜球体。例如，除了其他以外，处理器可以基于闪烁位置中的每个之间的几何关系、平均人类角膜的半径的先验知识(例如，约8.0毫米)、与捕获图像的相机有关的校准信息以及光发射器的位置，来生成虚拟角膜球体。

在特定示例中，处理器可以基于图4的图像400中图示的闪烁图案来生成虚拟角膜球体。在特定示例中，在角膜朝向方向508定向时捕获的角膜的图像可以包括图像中的第一闪烁图案。随后，处理器可以使用利用第一闪烁图案的几何关系(例如，方程式)作为输入来生成虚拟角膜球体502B。在角膜朝向方向506定向时捕获的第二图像可以包括第二图像中的第二闪烁图案。随后，处理器可以使用第二闪烁图案来生成虚拟角膜球体502A。

每个示例虚拟角膜球体502A、502B、502C和502D包括中心。图5中由“x”指示的此类中心位于形成虚拟球体510的点云上。处理器生成的针对不同眼睛定向的虚拟角膜球体的中心越多，虚拟球体510就越充满中心。由此基于虚拟球体的后续计算的精确度可以由于中心的采样的较大数目而改善。例如，此类计算可以包括计算虚拟球体510的中心512，其基本上与眼睛的中心(例如，图2中的218)相对应。

图6是用于计算头戴式设备的用户的眼睛的注视方向的示例过程600的流程图。例如，过程600可以由图1中图示的可穿戴设备100来执行。

在框602处，相机118可以捕获可穿戴设备100的用户的眼睛的角膜的第一图像。第一图像可以包括由通过角膜的表面的光的镜面反射产生的第一闪烁点集合。在框604处，处理器104可以至少部分地基于闪烁点集合的相对位置来计算第一虚拟角膜球体的中心。

在框606处，相机118可以捕获眼睛的角膜的附加图像。附加图像可以包括由通过角膜的表面的光的镜面反射产生的附加闪烁点集合。每个附加图像可以在眼睛处于不同的转动定向时捕获角膜。在框608处，处理器104可以至少部分地基于附加闪烁点集合的相对位置来计算附加虚拟角膜球体的中心。可以在眼睛处于第一定向时捕获角膜的第一图像，并且在眼睛处于彼此不同的附加定向时捕获角膜的附加图像。

过程600可以继续到框610，其中处理器104可以至少部分地基于第一虚拟角膜球体的中心和附加虚拟角膜球体的中心来计算用户的眼睛的中心。这样的计算与上文针对图5所描述的那些相似或者相同。

在框612处，处理器104可以至少部分地基于眼睛的中心以及当前虚拟角膜球体的中心来计算眼睛的注视方向。这样的计算可以说明人类眼睛的中央凹的角度偏移。在框614处，处理器104可以至少部分地基于计算的注视方向来调整可穿戴设备的显示器。

示例条款

A.一种系统，包括：光发射器，用以朝向主体的眼睛发射光；相机，用以捕获具有由来自眼睛的表面的光的反射生成的一个或多个闪烁的眼睛的角膜的图像；以及处理器，用以：至少部分地基于图像中的闪烁的相对位置来计算角膜的中心。

B.如段落A所述的系统，其中相机配置用于捕获在多个定向中对准的角膜的附加图像，以及处理器配置用于：计算针对附加图像中的相应一个的角膜的中心，以及至少部分地基于针对附加图像中的相应一个的角膜的中心来计算眼睛的中心。

C.如段落B所述的系统，其中处理器配置用于至少部分地基于角膜的中心和眼睛的中心来计算眼睛的注视方向。

D.如段落B所述多数的系统，还包括显示器，其中处理器配置用于至少部分地基于计算的注视方向来调整显示器。

E.如段落B所述的系统，其中针对附加图像中每一个的角膜的中心的组位于虚拟球体的部分上。

F.如段落A所述的系统，并且还包括多个光发射器，用以从不同的相应方向朝向主体的眼睛发射光。

G.如段落A所述的系统，其中系统包括头戴式显示器。

H.如段落A所述的系统，其中闪烁包括源自光发射器的镜面反射光。

I.一种头戴式设备，包括：多个光发射器，其配置用于将红外光指向头戴式设备的穿戴者的眼睛；相机，其配置用于捕获穿戴者的眼睛的角膜的图像；处理器，用以：确定由相机捕获的图像中的闪烁的相对位置；以及至少部分地基于闪烁的相对位置来计算眼睛的中心。

J.如段落I所述的头戴式设备，其中处理器配置用于至少部分地基于闪烁的相对位置来计算角膜的中心。

K.如段落I所述的头戴式设备，其中多个光发射器和相机相对于彼此定位，以使得来自多个光发射器的光从眼睛的角膜反射并且进入相机的光圈。

L.如段落I所述的头戴式设备，其中多个光发射器和相机相对于彼此定位，以使得针对眼睛的多个转动位置，来自多个光发射器的光从眼睛的角膜反射并且进入相机的光圈。

M.如段落I所述的头戴式设备，其中由处理器相关于头戴式设备的至少一部分来计算眼睛的中心。

N.如段落I所述的头戴式设备，其中图像中的闪烁的相对位置至少部分地取决于眼睛的转动定向。

O.一种方法，包括：捕获主体的眼睛的角膜的图像，其中图像包括由通过角膜的表面的光的镜面反射产生的闪烁点集合；以及至少部分地基于闪烁点集合的相对位置来计算虚拟角膜球体的中心。

P.如段落O所述的方法，其中图像是第一图像，闪烁点集合是第一闪烁点集合，并且虚拟角膜球体是第一虚拟角膜球体，方法还包括：捕获眼睛的角膜的第二图像，其中第二图像包括由通过角膜的表面的光的镜面反射产生的第二闪烁点集合；以及至少部分地基于第二闪烁点集合的相对位置来计算第二虚拟角膜球体的中心，其中当眼睛处于第一定向时，捕获角膜的第一图像，并且当眼睛处于不同于第一定向的第二定向时，捕获角膜的第二图像。

Q.如段落P所述的方法，并且还包括：至少部分地基于第一虚拟角膜球体的中心和第二虚拟角膜球体的中心来计算眼睛的中心。

R.如段落Q所述的方法，并且还包括：至少部分地基于眼睛的中心和当前虚拟角膜球体的中心来计算眼睛的注视方向。

S.如段落O所述的方法，并且还包括：当眼睛转动到新的定向时，捕获眼睛的角膜的新图像。

T.如段落O所述的方法，其中光包括红外光。

虽然已经以特定于结构特征和/或方法行为的语言描述了技术，但是应当理解，所附权利要求不必限于所描述的特征或者行为。相反，特征和行为被描述为此类技术的示例实现。

除非另外指出，上文描述的所有方法和过程都可以全部或者部分地由软件代码模块具体化，软件代码模块由一个或多个通用计算机或者处理器执行。代码模块可以存储在任何类型的计算机可读存储介质或者其他计算机存储设备中。方法中的一些或者全部可以备选地全部或者部分由专用计算机硬件(诸如FPGA、ASIC等)来实现。

除了其他以外，诸如“可以”、“可能”、“能够”或者“也许”的条件语言，除了另外明确说明，是用于指示某些示例包括而其他示例不包括所提到的特征、元件和/或步骤。由此，除非另外指出，此类条件语言不旨在暗示特征、元件和/或步骤以任何方式对于一个或多个示例是必需的，或者一个或多个示例必定包括用于在有或没有用户输入或者提示的情况下，决定这些特征、元件和/或步骤在任何特定示例中被包括或者要被执行的逻辑。

诸如短语“X、Y或Z中的至少一个”的连接语言，除非另外明确说明，应当理解为表示项、术语等可以是X或Y或Z，或者其组合。

可以对上述示例做出许多变化和修改，上述示例的元件应当理解为在其他可接受示例之中。所有此类修改和变化旨在包括在本公开内容的范围之内。