专利名称：3d凝视跟踪器的制作方法
技术领域：
本发明的实施例涉及用于跟踪人的凝视以及确定人的环境中凝视所专注的“注视点”(POR)的方法和系统。
背景技术：
本领域中已知用于确定人的凝视的方向以及此人正在看什么的各种类型的眼睛跟踪、或凝视跟踪系统。作为示例，这些系统被用于人类工程和医学研究、诊断以及使人们与计算机对接、或者计算机生成的人工环境。一般而言，这些系统用于确定个人的瞳孔的位置，以及该个人正沿其注视的凝视方向，其被定义为“凝视向量”的方向，该方向沿着从眼睛的转动中心通过所定位的瞳孔的中心的线从眼睛延伸出。三维(3D)空间中的眼睛的位置被确定并被用来确定凝视向量所穿过的空间区域的坐标。所确定的区域的坐标(在下文中被称为向量的“原点”)在空间中定位凝视向量。给定凝视向量的方向和原点，其与人的环境中的区域或对象的交叉点被标识以确定此人正在注视着什么——其大概就是此人的注意力所指向的关注点。在下文中，POR被假定为与人的凝视方向同此人的环境中的对象或区域的交叉点相重合，并且被用来指代此交叉点、对象和/或区域。在下文中称为“凝视跟踪器”的凝视跟踪系统，提供了人的凝视向量的方向和原点两者，并且任选地提供此人的P0R。存在用于确定凝视向量的方向的侵入式及非侵式入方法和凝视跟踪器。在一些侵入式凝视跟踪器中，个人佩戴特殊的隐形眼镜，该特殊的隐形眼镜包括随着眼睛和瞳孔移动的感应微线圈。高频电磁场被用来跟踪微线圈的定向以及由此跟踪该个人的眼睛以及凝视方向。在一些侵入式凝视跟踪器中，个人装配有电极，该电极感测眼睛生成的偶极电场的定向中的变化以确定凝视的方向。非侵入式凝视跟踪器和跟踪方法常常对来自眼睛的不同结构的表面的光的反射(称为“Purkinje (薄暮现象)反射”)进行成像，并处理这些反射的图像以确定其相对运动，以及据此的个人的凝视的方向的变化。凝视方向的变化被称为参考凝视方向，用来确定个人的凝视方向。第一、第二、第三和第四Purkinje反射分别指来自角膜的前表面、来自角膜的背表面、来自晶状体的前表面、和来自晶状体的背表面的反射。对于给定的静态光源，来自角膜的前表面的反射(即第一 Purkinje反射)是最强的，且按照惯例被称为“闪烁(glint)”。闪烁的图像的位置相对独立于中等眼睛转动(眼睛转动达大致士 15° )的凝视方向以及头部的固定位置。闪烁的图像的位置通常被用来参考眼睛的特征的图像和/或其他Purkinje反射的运动，以确定个人的凝视方向的变化。在许多非侵入式凝视跟踪器中，瞳孔的图像的位置相对于闪烁的图像的位置的变化被用来确定凝视方向。在一些非侵入式凝视跟踪器中，来自视网膜的光的反射(其常常不被分类为Purkinje反射)被用来对瞳孔成像以及跟踪眼睛运动和凝视方向。视网膜像向后反射器那样起作用，且进入瞳孔并被视网膜反射的光沿其进入眼睛的方向退出瞳孔并从背后照亮瞳孔。瞳孔的视网膜逆光产生熟悉的“光眼”或“红眼”效应，这常常在用闪光灯获取的个人的面部的图像中看到。个人的光眼瞳孔图像是由相机通过使用从与相机的光轴基本上相重合的方向对个人的面部进行照明的光源来获取的。相对于图像中的闪烁的位置跟踪图像中光眼瞳孔的位置，以确定个人的凝视方向。光眼瞳孔图像不是由离轴光源产生的，并且对于离轴光源，所成像的瞳孔看起来是暗的。在许多非侵入式凝视跟踪器中，将“暗瞳孔图像”的位置与闪烁的图像的位置进行比较以确定凝视的方向。对于凝视跟踪器的许多应用，要求个人的头部相对于凝视跟踪器的组件是稳定的，以使得其可提供对凝视向量的方向和原点的可接受的准确的确定，以及据此确定此个人的P0R。对于一些凝视跟踪器，个人的头部由静态支撑物(诸如在眼科检查中常常使用的腮托或咬杆)保持稳定，以相对于凝视跟踪器的组件固定头部和眼睛。对于诸如使用户与虚拟或增强现实对接之类的应用，个人能够自由地移动他或她的头部是有益的，并且对于这些应用，个人通常佩戴包括凝视跟踪器组件的帽盔(诸如头盔或护目镜)。帽盔将凝视跟踪器保持在相对于个人的头部基本上固定的位置处，并且提供眼睛相对于组件的固定、已知的距离和定向。已知的距离和定向有助于确定个人相对于帽盔的凝视向量方向和原点。相对于真实世界、虚拟或增强现实的凝视向量方向和原点是根据相对于帽盔的凝视方向和原点以及现实世界中帽盔的定向来确定的。帽盔的定向是使用各种光学、电磁和/或机械位置和定向传感器系统中的任一个来确定的。一些凝视跟踪器在没有求助所佩戴的帽盔的情况下，提供凝视向量的方向和原点以及个人的P0R。然而，这些凝视跟踪器通常是针对被限制于距凝视跟踪器大致50cm与大致80cm之间的相对小的距离范围的头部位置来操作的。
发明内容
本发明的实施例提供了三维(3D)凝视跟踪器，其确定不受帽盔妨碍并享受在凝视跟踪器的视野(FOV)中的运动自由的个人的凝视向量，该视野具有从跟踪器延伸相对较大的距离的场深度。任选地，凝视跟踪器确定其所确定的凝视向量的P0R。在本发明的实施例中，3D凝视跟踪器包括3D相机，其获取个人的距离图像(range image)，该距离图像提供个人的脸部和/或头部的特征的3D空间坐标；以及在下文中被称为“图片相机”的相机，其获取特征的对比度图像(在下文中被称为“图片”)。处理器处理对比度图像和距离图像，以区分个人的眼睛以及眼睛的特征(例如，眼睛的瞳孔和/或明亮或暗色瞳孔)以及脸部和/或头部的特征(诸如，鼻子、下巴和/或前额)，并确定特征的3D空间坐标。响应于所区分的特征及其3D空间坐标，处理器提供个人的凝视向量的方向和原点，以及任选地与凝视向量相关联的P0R。任选地，3D相机包括被配置成提供FOV中的距离图像的飞行时间(TOF) 3D相机，该FOV从凝视跟踪器延伸至少Im(米)与: 之间的距离。任选地，FOV从凝视跟踪器延伸等于大致30cm的距离。提供本发明内容以便以简化的形式介绍将在以下具体实施方式
中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
以下参考本文所附的在本段后列出的各个附图来描述本发明的各实施例的非限制性示例。在不止一个附图中出现的相同的结构、元素或部件通常在它们出现的所有图中用相同的数字来标记。附图中所示的组件的尺寸和特征通常是为了方便和清楚呈现而选择的，并且不一定按比例显示。图1示意性地示出了根据本发明的实施例的包括确定个人的凝视向量和POR的TOF 3D相机的3D凝视跟踪器；图2A-2C示意性示出了根据本发明的实施例的可被3D凝视跟踪器使用的作为凝视角的函数的眼睛的瞳孔与闪烁之间的关系。图3A-3C示意性示出了关于凝视方向的确定的头部定向的各方面；图4示意性地示出了根据本发明的实施例的将光集中到个人的头部以获取距离图像和图片以便确定该个人的凝视方向和POR的3D凝视跟踪器；图5示意性示出了根据本发明的实施例的响应于眼睛距凝视跟踪器的距离确定眼睛的凝视向量的原点及其相关联的POR的各方面；以及图6示意性地示出了根据本发明的实施例的包括确定个人的凝视向量和POR的立体3D相机的3D凝视跟踪器。
具体实施例方式在以下详细描述中，本发明的实施例的各方面是参照图1中示意性示出的根据本发明的实施例的3D凝视跟踪器来讨论的，该3D凝视跟踪器包括TOF3D相机和图片相机。参照图2A-2C讨论了根据本发明的实施例的响应于由3D凝视跟踪器获取的眼睛闪烁和瞳孔的图像确定凝视方向的各方面。参照图3A-3C例示并讨论了根据本发明的实施例的头部定向对确定凝视方向的影响，以及由3D凝视跟踪器确定头部定向和凝视方向的各方面。参照图4讨论了根据本发明的实施例的用光锥跟踪个人以提供对该个人的增强的照明的3D凝视跟踪器的变体。参照图5讨论了根据本发明的实施例的使用由3D凝视跟踪器获取的距离图像来确定凝视向量原点。图6示意性地示出了包括通过三角测量确定距离的立体3D成像器的3D凝视跟踪器的实施例。在讨论中，除非另行说明，修改本发明的实施例的特征的条件或关系特征的诸如“基本上”和“大约”的副词应被理解为条件或特征被定义在用于本申请的实施例的操作可接受的容差范围以内。图1示意性地示出了根据本发明的实施例的对个人22进行成像的3D凝视跟踪器20，该个人的头部落在3D凝视跟踪器的视野(FOV) 30内。凝视跟踪器通过在个人在FOV中四处移动以及参与活动时确定他或她的凝视向量和POR来跟踪该个人的凝视。虚线61表示3D凝视跟踪器的光轴，而虚线32、34和36勾勒出限定FOV 30的体积的截头锥体。FOV具有从3D凝视跟踪器20延伸的场深度，其具有由虚线32所定义的平面的位置示意性地指示的最小下边界范围，以及由虚拟36所定义的平面的位置示意性指示的最大上边界范围。在本发明的一些实施例中，下边界等于或大于大致30cm。任选地，下边界等于或大于大致50cm。在本发明的一些实施例中，上边界等于或大于大致lm。任选地，上边界等于或大于大致an。在本发明的一些实施例中，上边界等于大致:3m。3D凝视跟踪器20的视角是处于FOV 30中的线与通过光轴61的平面之间的最大可能的角。水平和垂直视角是分别包含光轴61的水平(与地面平行)和垂直(与地面垂直)平面的视角。在本发明的一些实施例中，水平和垂直视角中的至少一个等于或大于大致45°。任选地，视角中的至少一个等于或大于90°。在本发明的一些实施例中，视角中的至少一个等于大致120°或150°。作为示例，3D凝视跟踪器20被假定为跟踪个人的凝视以使该个人与计算机(未示出)视频显示器40对接。图1中的框形箭头示意性地表示个人的凝视向量，而虚线43将它们的方向指示为收敛至视频显示器40的左下角处的POR 44。控制器M控制3D凝视跟踪器20，并且通过合适的计算机编程接口(API)与视频显示计算机对接，以使得由3D凝视跟踪器生成的信息适于显示在视频显示器40上的图像。3D凝视跟踪器任选地包括光源50，该光源可由控制器M控制来发射一列光脉冲51 (由用附图标记52表示的方波“脉冲”示意性地表示)，以对F0V30中的对象和人们(并且在图1中，作为示例是个人22)进行照明。附图标记52被用来指代光脉冲。虽然光脉冲52可包括由合适的发光二极管(LED)和/或激光提供的来自光谱的任意部分的光，但是光脉冲通常是视力安全的近红外(NIR)光脉冲。被包括在3D凝视跟踪器20中的(由具有与光轴61重合的光轴的透镜60表示的)光学系统收集来自光脉冲52的被个人22的特征反射回3D凝视跟踪器的光，并将所收集的光定向到光束分裂器62。光束分裂器62从透镜60处接收到的光由框形箭头64来示意性地表示，并且附图标记64被用来指代光。光束分裂器62任选地将其从透镜60处接收到的光的一半定向到具有光敏像素72的光电传感器70——在下文中称为“距离光电传感器70”(图1A)。光束分裂器62定向到距离光电传感器70的光由框形箭头74来表示，并且附图标记74被用来指代光。光电传感器70以快门方式打开或关闭以分别使得其能记录光74或阻止其记录光。任选地，如图1中示意性示出的，快门操作是通过位于光束分裂器62与光电传感器70之间的快门76来实现的，该快门由控制器M来控制以阻止或使得由光束分裂器62朝光电传感器定向的光74传播至光电传感器。在一些实施例中，打开或关闭光电传感器分别实现对光电传感器进行快门打开和快门关闭。在自光源50辐射光脉冲列中的每个光脉冲52来对个人22进行照明之时起的预定时延之后，控制器M控制快门76来在短曝光时段内对光电传感器70进行快门打开。在曝光时段抵达3D凝视跟踪器20的光74是由快门76传送的，并且被成像到光电传感器70以便由光电传感器中的像素72来记录。在短曝光时段期间由给定像素72记录的光74的量是由像素上成像的特征从光脉冲反射并由光束分裂器62朝光电传感器70定向的光74的总量的一部分。该量是该特征距3D凝视跟踪器20的距离的函数。被像素72所记录的由个人22的特征从光脉冲列51中的光脉冲反射的光的量提供该个人的距离图像。控制器M使用由像素记录的光的量来确定来自光脉冲52的光从光源50传播到在像素上分别成像的个人的各特征并返回到3D凝视跟踪器20的往返行程要花多久。控制器根据光速和往返行程时间来确定特征距3D凝视跟踪器的距离。由个人22的特征反射的、被光学透镜60收集并且不被光束分裂器62定向到光电传感器70的光被光束分裂器定向到具有像素82的光电传感器80(在下文中被称为“图片光电传感器80”)。框形箭头84示意性地表示被光束分裂器62定向到图片光电传感器80的光，并且附图标记84被用来指代光。任选地，位于光束分裂器62与光电传感器80之间的快门84对光电传感器进行快门操作。然而，与3D光电传感器70不同，对光电传感器80进行快门打开达相对长的曝光时段，长至足以使从脉冲52反射的被3D凝视跟踪器20收集并被光束分裂器62定向到图片光电传感器80的基本上的所有的光被该光电传感器记录。图片光电传感器80由此提供个人22的对比度图像88 (在下文中也被称为“图片88”)——类似于由相机捕获的常规图片。虽然，一般而言，在光电传感器80上成像的个人22的图片包括个人的头部以及在该个人的接近邻近区中的对象和可能的其他人的图片，但是出于呈现方便起见，在图片88中仅示出个人22的眼睛100。控制器M使用各种模式识别算法中的任一种来处理图片88，以标识和定位图片中眼睛100的图像，以及标识眼睛的可用于确定与该眼睛相关联的凝视向量42的方向的至少一个特征。至少一个眼睛特征包括瞳孔、虹膜、虹膜与巩膜之间的边界、以及由眼睛反射掉的光生成的闪烁中的至少一个。由3D凝视跟踪器20成像在光电传感器80上的眼睛100的放大图像在图1中的插图110中示意性地示出。就插页中的眼睛示意性地示出闪烁101、瞳孔102、虹膜、巩膜104、以及虹膜与巩膜之间的边界105。响应于至少一个所标识的眼睛特征，控制器M确定眼睛的凝视向量的方向。作为示例，在本发明的实施例中，控制器对根据图片88中眼睛100的图像里的闪烁101和瞳孔102的位置确定个人22的眼睛100的凝视向量方向。图2A-2C示意性示出了眼睛100的各特征之间的关系，其可被用在本发明的实施例中用来响应于眼睛的闪烁101和瞳孔102的图像确定个人22的凝视方向。图2A和2B示出了眼睛100的示意性圆形截面120，其被假定为一球体，该球体具有表面121、转动中心124、虹膜103以及具有位于与转动中心1 相距距离“dp”处的中心122的瞳孔102。虽然眼睛并非是完美的球体，而是在角膜的位置处具有凸出的略微的卵形，但是将眼睛建模为球体提供了对确定凝视方向的各方面的定性和定量的洞察。典型地，眼睛具有等于大致24mm(毫米)的直径，而Clp等于大致10mm。在图2A和2B中，包括透镜131和光电传感器132的相机130被示出对眼睛100进行成像。对眼睛100进行成像的相机130的功能模拟3D凝视跟踪器20中的透镜60和图片光敏面80对个人22的眼睛100的成像。可应用于相机130的成像原理也适用于3D凝视跟踪器20对眼睛的成像。在图2A中，作为示例，眼睛100的转动中心1 被假定为沿着相机130的光轴135定位，并且眼睛被假定为由框形箭头136所表示的光进行照明，该框形箭头与光轴同轴。光被眼睛100的表面121反射以在光轴与眼睛表面的交叉点123处生成闪烁101。闪烁被成像在光电传感器132上，并且闪烁图像的中心位于光轴135与光电传感器的交叉点137处。交叉点137处的圆圈138示意性地表示闪烁101的图像。在该附图中，眼睛100的凝视被假定为沿光轴135朝相机130定向。结果，瞳孔102与闪烁101对齐，并且瞳孔的中心122位于光轴135上。瞳孔102被成像在光电传感器132上，并且瞳孔图像的中心位于交叉点137处且与闪烁101的图像138的中心重合。瞳孔102的图像由实心圆140来示意性地表示，该实心圆140位于表示闪烁101的图像的圆138的左边。
图2B示意性示出了如图2A中那样被成像的眼睛100，但是眼睛及其凝视方向向上“转动”角度θ。结果，虽然闪烁101未移动，但是瞳孔102不再沿着光轴135与闪烁101对准。瞳孔102的中心122位于与光轴1；35相距距离Δ = dpsin θ之处，而瞳孔102的中心的图像140不再位于交叉点137处且不再与闪烁101的中心重合。如果相机的放大倍率由“Μ”来表示，则闪烁101和瞳孔102的图像138和140的中心相隔距离Δ I = ΜΔ = MdpSin θ。眼睛100的凝视方向θ可根据关系sin θ = (A1/Mdp)来确定。实际上，瞳孔和闪烁的图像通常不是理想的圆形，并且通常A1被确定为瞳孔和闪烁的图像的质心之间的距离。图2C示出了眼睛100的示意图像150，并且在每个图像中就眼睛绕通过眼睛的转动中心1 的不同的轴转动角度θ示出了由相机130(图2Α和2Β)获取的眼睛的闪烁101、瞳孔102、虹膜103、和巩膜104的图像。所有图像与转动中心1 沿光轴135的相同位置(图2A和2B)相关联。中心图像151与针对图2A中所示的眼睛的定向所获取的眼睛100的图像相对应，就中心图像151而言，没有眼睛的转动(Θ =0)，且闪烁101沿光轴135与瞳孔102对准。其他眼睛图像150中的每一个与转动轴160相关联，图像中的眼睛以及眼睛的凝视的方向绕着该轴转动相同的角度Θ。转动轴穿过眼睛的转动中心124(图2A和2B)，与图2C的平面平行，并且与指示眼睛绕着该轴转动的方向的圆形箭头161相关联。眼睛的每个图像150的凝视相对于中心图像151的沿光轴135(图2A和2B)的凝视方向的方向由框形箭头163来示意性地指示。对于眼睛100的每个不同的转动及其相关联的凝视方向，闪烁101和瞳孔102的定向是不同的，并且闪烁与瞳孔的中心之间的定向和距离可被用来确定个人22的凝视方向。注意，本发明的实施例不限于根据以上的讨论确定凝视方向。例如，一实施例可通过处理他或她的眼睛的图像来确定其虹膜的中心或质心而非瞳孔的中心或质心来确定个人的凝视方向。该实施例可使用虹膜的中心或质心相对于闪烁的质心或中心的位置来确定凝视方向。在一些实施例中，从眼睛的图像中被确定为属于眼睛的巩膜(由图1和2C中的附图标记104来指代)的区域相对于被确定为属于虹膜的区域的分布来确定眼睛的凝视方向。在一些实施例中，Purkinje反射的相对运动——具体地是闪烁和第四Purkinje反射(其为来自眼睛晶状体的背部的反射)——被用来确定凝视方向。图2A-2C以及以上附图的描述提供了用于从闪烁和瞳孔的图像来确定凝视方向的方法的极简化的说明。实际上，根据瞳孔和闪烁的图像确定眼睛方向包括计及头部运动、不同个体的眼睛结构中的差异、以及有利的，用眼睛凝视方向校准眼睛的图像。在图3A-图3C中针对简化的环境集合示出了头部定向对凝视方向的影响以及仅响应于眼睛的瞳孔和闪烁的相对位置确定凝视方向的局限性。所有附图非常示意性地(在附图的左侧)示出了对个人22进行成像以获取个人的眼睛100的图片的相机130的透视图，所获取的图片用来响应于这些图片中的闪烁101和瞳孔102相对位置来确定他或她的凝视方向。图3AJB和3C中的箭头170从附图中的示意性透视图分别指向由相机130捕获的个人的示意图片171、172和173。在图;3B中，相机130被假定为在个人22的正前方，且其光轴135与该个人的鼻子对准并指向该个人的鼻子。该个人沿着由框形箭头182所指示的方向略微朝上看。在由相
9机130获取的个人的图片172中，闪烁101因此在瞳孔102正下方。闪烁和瞳孔的相对位置指示个人与相机的对准，以及个人的凝视的略微朝上的方向。在图3A中，相机130和个人22的相对位置的仅有的改变在于该个人的头部在由圆形箭头174所指示的方向上绕着穿过瞳孔102的中心以及闪烁101的中心的轴175顺时针方向转动。结果，该个人沿着框形箭头181所指示的方向看，框形箭头181相对于由图;3B中的框形箭头182指示的凝视方向转动了。然而，虽然图3A中的个人的凝视方向不同于图3B中的，但是图3A中的个人的图片171中的瞳孔102和闪烁101的相对位置与图中的那些相同。相对位置是相同的，因为头部绕着通过瞳孔和闪烁的轴转动。在图3C中，相机130和个人22的位置相对于它们在图中的位置的仅有的改变在于个人的头部在由圆形箭头176指示的方向上绕着逆时针转动与图3A中的转动角度在量值上相同-但在方向上相反的角度。框形箭头183指示图3C中的个人22的凝视方向。虽然由框形箭头183所指示的凝视方向不同于由框形箭头181和182指示的凝视方向，但是图片173中瞳孔102相对于闪烁101的位置与图片171和172中的相同。对于图3A-3C的讨论中所述的条件，附图171、172和173中的闪烁101和瞳孔102的图像不区分由框形箭头181、182和183表示的凝视方向。在没有附加信息的情况下，诸如图3A-3C中的个人的头部的定向，由相机获取的闪烁101和瞳孔102自身不消除由框形箭头所指示的凝视方向的歧义。图片171、173和174中的个人的特征的图像(例如，鼻子的方向的图像)可提供能用来确定个人的头部的方向以及区分凝视方向的附加信息。在本发明的实施例中，控制器M处理由距离光电传感器70获取的距离图像和/或图1中所示的由图片光电传感器80获取的个人22的图片，以确定用来确定个人的凝视方向的个人22的头部定向。例如，在本发明的实施例中，控制器处理个人22的距离图像以确定个人的头部的特征(在下文中被称为“基准特征”)距3D凝视跟踪器的距离，其可被有益地用来指示头部的定向。基准特征可包括面部特征，诸如前额、眼睛、鼻尖、嘴唇和下巴、以及耳朵。个人22的眼睛和/或颧骨、和/或耳朵与3D凝视跟踪器的距离可被用来确定个人的头部的方位角。方位角是在个人连其头部竖直站立时绕着通过个人的头部的与地面垂直的轴的角。可响应于3D凝视跟踪器20与个人的前额和下巴的距离来确定头部绕着通过耳朵的轴的倾斜角(该轴在个人竖直站立时与地面平行)。在本发明的实施例中，响应于由图片光电传感器80(图1)获取的图片中的他们的图像来标识基准特征。与在图片光电传感器中的像素82上成像的基准特征的距离是根据距离光电传感器70中由来自基准特征的光在其上成像的相应的像素72所提供的距离来确定的。为了便于确定距离光电传感器70中的像素72与图片光电传感器80中的像素82的对应性，任选地，光电传感器被配置成具有相等大小的像素，且被定位并安装到3D凝视跟踪器20中以使得类似的像素对FOV 30中相同的区域进行成像。在本发明的一些实施例中，像素72和82可具有不同的大小。例如，一般而言，光源52中的光的强度受到成本考虑因素以及用于使光源50 (图1)和3D凝视跟踪器20的组件保持在可接受的操作温度的散热需求的限制。另外，光脉冲的持续时间和由快门76提供的曝光时段相对较短，并且可短于10或20纳秒。由个人22反射的来自光源50的可供距离光电传感器70的每个像素72用来获取个人的距离图像的光的量可由此被限制。结果，对于距离光电传感器70中用于记录足以提供具有可接受的信噪比(SNR)的光的量的像素72，使像素相对较大是有益的。因此，在本发明的实施例中，通常为方形的像素72可有益地具有大于大致10 μ (微米)的侧边尺寸。另一方面，由于光电传感器80的曝光时段可以比光电传感器70的曝光时段至少长三倍，因此与在距离光电传感器70上对个人进行成像相比，一般更多的光可用于在图片光电传感器80上对个人进行成像。为了解决眼睛的闪烁和瞳孔之间的距离，光电传感器80中的像素82由此可有益地相对较小。一般而言，只要眼睛转动且闪烁被局限在角膜，则眼睛每转动一度，眼睛的闪烁与瞳孔之间的距离的最大变化为大致0.17mm。例如，对于个人的凝视的方向的角度θ变化1°，图2Β中相对于附图中的光轴135的距离Δ变化达大致0. 17mm。如果3D凝视跟踪器20在图片光电传感器80上以大致10_2的放大倍率对个人22进行成像，则为了解决响应于瞳孔102与闪烁101之间的距离变化的θ的大致2°的变化，图片光电传感器中的像素72在侧边上有益地小于或等于大致2. 5 μ。在像素72和82大小不同的一些实施例中，距离和图片光电传感器70和80被对准以使得这两个光电传感器的一个中的较大的像素与这两个光电传感器的另一个中的较小的像素的瓦片(tile)基本上类似，并且对FOV 30中其类似的瓦片所成像的相同区域进行成像。例如，在距离光电传感器70中的像素72沿着侧边为10μ而图片光电传感器80中的像素82沿着侧边为2. 5的本发明实施例中，距离光电传感器70中的较大的像素72可与图片光电传感器80中包括16个小的2. 5 μ的像素82的方形瓦片相类似。在用于适应在距离光电传感器70和图片光电传感器80上成像的不同需求和约束的本发明的一些实施例中，3D凝视跟踪器包括用于独立于彼此调节在光电传感器上成像的放大倍率的光学器件。例如，本发明的实施例可包括光学元件，诸如位于光束分裂器62与图片光电传感器80之间的变焦透镜光学器件(未示出)，控制器M控制该变焦透镜光学器件来调节在图片光电传感器上形成的个人22的图像的放大倍率。对于其中个人22远离3D凝视跟踪器20的情形中，控制器任选地控制变焦透镜光学器件来对个人放大，并扩大眼睛100的图像以及图像中闪烁101与瞳孔102之间的距离。增大的放大倍率改进闪烁与瞳孔之间的距离的准确度，以及由此确定凝视方向。在本发明的实施例中，控制器M响应于由距离光电传感器70所获取的距离图像提供的至个人22的距离来控制图片光电传感器80上的图像的放大倍率，并且随着由距离光电传感器获取的图像指示个人22与3D凝视跟踪器20的距离相应地增大和减小来增大和减小放大倍率。在本发明的一些实施例中，控制器M响应于由距离光电传感器70提供的距离测量来控制光脉冲52中的光的强度。随着个人22远离或靠近3D凝视跟踪器20地移动，控制器相应地增大和减小光脉冲52中的光的强度。根据距离来调节光强度可改善使用来自光源50的光的效率。对于由光源50传送的恒定的光的强度，由像素72提供的用于确定个人22的特征的距离的信号的SNR与个人距3D凝视跟踪器20的距离的平方成反比。随着距离增大照明可至少部分地补偿随着个人远离3D凝视跟踪器20移动的个人22的照明的强度的减小。
在本发明的一些实施例中，光源50可被控制来将光脉冲52定向至具有所需方向和立体角的锥体(在下文中称为“照明锥体”)，以将光集中到FOV 30中的有限区域，并改善来自光源的光被用来照明个人22的效率。在本发明的实施例中，控制器M响应于根据由距离光电传感器70和/或图片光电传感器80获取的图像确定的FOV 30中个人22的面部和头部的位置来控制锥体的方向和立体角，以将光集中在个人的面部或其一部分。通过对FOV 30中包含个人22的头部或头部的一部分(诸如包含眼睛的一部分)的有限区域进行照明，可用于对头部和/或眼睛进行成像的光的强度可被增加，并且凝视向量确定的准确度得以改进。图4示意性示出了根据本发明的实施例的类似于图1中所示的3D凝视跟踪器20的3D凝视跟踪器320，其生成照明锥体322(用阴影示出)并将其定向成把光集中到FOV 30的有限部分，以对个人22的头部和面部进行照明。照明锥体322的一部分由从光源50延伸至虚线3M所勾勒的任选的方形照明区域“A”的角落的虚线323来勾勒出。区域A是由来自光脉冲52的光照明的区域，并且被假定为位于个人22与3D凝视跟踪器320相距距离D之处。区域A根据表达式Ω = A/D2来确定照明锥体322的立体角Ω。A任选地独立于D，并且任选的，对于FOV 30内的个人22的任何距离D而言，是恒定的。A任选地被确定成使得在3D凝视跟踪器20获取个人22的图像要花费的时间内，该个人通常不能沿着照明锥体的中心轴(未示出)足够快地移动他或她的头部来将头部移出照明锥体 322。任选地，区域A是侧边长度等于50cm的方形区域。假定个人22的图像由3D凝视跟踪器20以每秒30幅图像的视频速率来获取，3D凝视跟踪器获取图像需要大致30ms (毫秒)。在30ms内，以每小时10km(千米)移动的个人移动大致10cm。50cmx50cm的方形照明区域A由此通常足以定义可被定向成跟踪和提供对在FOV 30中移动的个人的有益的照明的光锥。各种设备和方法中的任一个可被用在本发明的实施例的实践中，用以生成和控制照明锥体322的方向和立体角。例如，光源可包括可控制成反射并定向由光源提供到锥体322的光的微型镜面阵列。任选地，光源包括透镜系统(例如，具有位于光源的光发射元件处的焦点的变焦透镜系统)，用于控制照明锥体322的立体角。在本发明的一些实施例中，光源包括转动光源以定向照明锥体322来使个人22保持在照明锥体内的机械系统。在本发明的一些实施例中，不同的光源可被打开或关闭，以使得在个人22于FOV 30中四处移动时该个人保持在较小角度的照明锥体内。除了个人直接注视着对该个人成像的相机的稀少且通常无趣的情形之外，凝视方向自身不足以定义个人的凝视向量以及从其确定P0R。对于大多数情形，在空间上定位凝视向量以及确定该凝视向量的POR需要凝视向量的原点的三个空间坐标(例如，笛卡儿坐标系统的χ、y和ζ坐标)。在本发明的一实施例中，由距离光电传感器70获取的个人(诸如，3D凝视跟踪器20的FOV 30中的个人22)的距离图像和/或由图片光电传感器80提供的个人的图片由控制器M来处理，以提供个人的凝视向量的原点的3D空间坐标。具体而言，响应于由距离光电传感器70获取的距离图像确定的与3D凝视跟踪器的距离被用来提供原点的ζ坐标。ζ坐标被任选地假定为沿W笛卡儿坐标系统的ζ轴测量的坐标，该系统的ζ轴与3D凝视跟踪器20的光轴61 (图1)平行。虽然个人的眼睛的三个空间坐标通常可根据对由相机获取的个人的图片的图像分析来估计，此类估计对于距相机的有限距离范围通常是实用的，并且通常与相对较大的误差余量相关联。TOF 3D相机(诸如3D凝视跟踪器20中的距离光电传感器70以及相关联的光学器件)可提供具有相对较小的误差余量的空间坐标(并且具体而言，距3D相机的距离的坐标以及由此的眼睛相对于相机的ζ坐标)。图5示意性示出了极其简化的配置，其示出了确定个人的眼睛与对个人成像的相机(未示出)的距离时的不确定性如何在从为眼睛确定的凝视向量标识个人的POR时生成不确定性。该附图示出了在距视频显示器40的三个不同的距离处的不同的共线位置(由证示线201、202和203指示)处的眼睛(由椭圆形100示意性地表示)。位置被任意地定义成眼睛的转动中心124的位置，且位于与视频显示器垂直的同一条线(称为“ζ轴”)上。由证示线指示的位置由标记证示线的附图标记201、202和203来指代，而眼睛由标记表示眼睛的椭圆形的附图标记100来指代。眼睛与对该眼睛进行成像的相机的距离被假定为与眼睛同视频显示器40的距离相同。在每个位置201、202和203处，眼睛分别具有凝视向量221、222和223。每个凝视向量221,222和223分别沿从眼睛的转动中心124穿过其瞳孔102的中心的虚线251,252和253延伸。所有凝视向量与ζ轴形成相同的倾斜角Θ。凝视向量221、222和223分别在相交点231、232和233处与视频屏幕40相交，其中与凝视向量相关联的虚线251、252和253与视频屏幕相交。相交点231、232和233表示视频显示器40上的POR的位置，这些位置是分别根据凝视向量221、222和223来确定的。眼睛被假定为实际上位于“中间，，位置202处，并且相交点232，即，与眼睛相关联的凝视向量222的实际P0R，位于中间位置处。位置201和203分别表示眼睛的ζ坐标的下边界估计和上边界估计，该ζ坐标可以是由对针对眼睛进行成像的图片的图像分析来合理地得到的。位置201与203之间的距离“ Δ Ζ”表示从图像分析确定的眼睛的ζ坐标的不确定性。实际POR所处位置的伴生不确定性由视频显示器40上的相交点231与233之间的“不确定性距离(DOU)，，236来表示。由沿ζ轴的证示线241和242指示的ζ坐标通过附图标记241和242来指代，并且分别表示由TOF 3D相机确定的眼睛的ζ坐标中的合理的上和下误差边界。作为示例，证示线241和242可表示包括光源50、距离光电传感器70以及3D凝视跟踪器20中的相关联的光学元件的TOF 3D相机的ζ坐标下和上误差边界。Z坐标241与242之间的距离“ Δ Ζ*”表示由TOF相机确定的眼睛的ζ坐标的不确定性。如果眼睛100位于241处，则假定其凝视向量(未示出)沿着相对于ζ轴以角度θ从点241延伸的虚线257展开。眼睛将被确定为具有位于虚线257与视频屏幕40的相交点247处的P0R。类似地，如果眼睛100位于位置242处，则其可被确定为具有位于虚线258与视频屏幕40的相交点248处的P0R。不确定性生成相对应的DOU Μ4，其是相交点247与248之间的距离。由TOF 3D相机提供的DOU 244通常小于由图像分析单独提供的DOU 236。作为数值示例，假定个人的眼睛100位于距视频显示器40大致50cm的距离处，以及假定视频显示器具有大致60cm的对角线尺寸，以使得眼睛的凝视角度θ可常常
13大至30°。由图像分析的个人的眼睛的ζ坐标的不确定性ΔΖ可被合理地假定为大致5cm((士2. 5cm)。不确定性导致眼睛的POR的位置的不确定性DOU 236，其可由表达式DOU236 = AZtan θ 来估计，对于 Δ Z = 5cm 且 θ = 30°，DOU 236 等于大致 3cm。另一方面，由TOF 3D相机确定的眼睛的ζ坐标的不确定性可被合理地假定为等于大致Icm(士0.5cm)，这导致对于θ =30°的POR的位置的不确定性DOU 244等于大致0. 6cm。例如，假定使用强度大于或等于大致50毫瓦且脉冲宽度在15到20ns之间的光脉冲对具有视角45°的FOV进行照明的TOF 3D相机在包括10 μ χ10 μ像素的光敏面上对FOV中的对象进行成像。相机通常可提供由就大致0. 5cm与3cm之间的距离测量而言ζ轴准确度等于大致Icm来表征的距离测量。在本发明的实施例中，为了校准图1中所示的3D凝视跟踪器20 (或图4中的3D凝视跟踪器320)，以及使3D凝视跟踪器适应3D凝视跟踪器的不同用户的眼睛结构和面部特征的差异，3D凝视跟踪器以及视频显示器40上的显示被控制以获取用户的校准图像。在一实施例中，获取用户(诸如图1中所示的个人22)的校准图像包括针对FOV30中的多个不同“校准位置”中的每一个对个人进行成像。不同的校准位置的不同之处在于与凝视跟踪器20的距离和/或FOV 30中的位置。对于每个校准位置，针对在个人的凝视被定向至的视频显示器40上呈现的多个不同的“校准P0R”的每一个获取个人的距离图像和图片。任选地，对于多个校准位置，要求该个人将他或她的头部保持在固定位置，并且仅移动眼睛来将凝视定向在不同的校准POR上。图像被处理以针对校准位置和校准POR中的每一个提供个人的眼睛特征(诸如瞳孔、虹膜、巩膜、闪烁和/或Purkinje反射)和/或基准特征的3D空间坐标。给定校准位置和POR的凝视向量任选地由视频屏幕40上的给定校准位置和校准POR的位置的3D空间坐标来确定。眼睛特征和基准特征坐标以及相关联的凝视向量作为合适的数据阵列中的参考数据来存储。在本发明的实施例中，参考数据阵列被用来在个人在FOV 30中自由移动时确定个人22的凝视向量。在本发明的一些实施例中，为了确定个人22在FOV 30中在给定时间和位置的凝视向量，响应于参考数据阵列中的值，3D凝视跟踪器20获取该个人在该给定时间和位置的距离图像和图片。控制器M处理距离图像和图片以标识和确定个人的眼睛和基准特征的空间坐标。为了确定个人的头部定向，控制器任选地确定基准特征的参考坐标的仿射变换，其根据诸如最小平方准则之类的最佳拟合准则最接近地再现针对基准特征确定的3D空间坐标。通过仿射变换对与参考坐标相关联的头部定向进行的变换提供头部定向。相对于个人的头部定向的凝视向量方向是响应于眼睛特征的坐标来确定的。任选地根据眼睛的空间坐标确定的头部定向、凝视向量定向以及凝视向量原点定义凝视向量。在本发明的一些实施例中，控制器M响应于从距离图像和图片提供的个人的眼睛和基准特征的空间坐标来对参考数据值进行内插，以确定个人22的凝视向量。在以上的讨论中，3D凝视跟踪器被示为包括TOF 3D相机，该TOF 3D相机虽然与图片相机共享光学组件但与图片相机分开。然而，本发明的实施例既不限于具有分开的距离和图片相机的3D凝视跟踪器，也不限于TOF 3D相机。在本发明的实施例中，3D凝视跟踪器包括单个光电传感器，其被用来获取个人的距离图像和个人的图片两者。对光电传感器进行快门操作的快门被控制成在具有持续时间的曝光时段对光电传感器进行快门打开以获取个人的距离图像，该持续时间不同于快门提供用于获取个人的图片的曝光时段的持续时间。并且，在本发明的实施例中，3D凝视跟踪器包括立体3D成像器，其响应于由系统中的两个在空间上分开的相机提供的特征的图像展示的视差，确定距3D凝视跟踪器的FOV中的个人的特征的距离。1图6示意性示出了包括具有两个在空间上分开的相机2M和255的立体3D成像器252的立体3D凝视跟踪器250，该相机2M和255从不同的角度获取3D凝视跟踪器的FOV 256中的特征的图片(对比度图片)。立体3D凝视跟踪器中的控制器257处理这些图片以标识和定位眼睛和基准特征，并响应于距从其在这些图片中展示的视差确定的特征的距离来对特征确定空间坐标。在本申请的说明书和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素、或部分的完整列表。在本申请中作为示例提供了对本发明的各实施例的描述，而不旨在限制本发明的范围。所描述的各实施例包括不同特征，并非所有这些特征都是本发明的所有实施例所需的。某些实施例只利用了特征的某一些或特征的可能组合。本领域的技术人员会想到所描述的本发明的各实施例的变型以及本发明的各实施例包括在所描述的各实施例中注明的特征的不同组合。本发明的范围只由权利要求书来限定。
权利要求
1.一种用于为个人确定具有方向和原点的凝视向量0 的凝视跟踪器(20)，所述凝视跟踪器包括3D相机(70)，其获取位于所述相机的视野(FOV) (30)中的个人的距离图像；图片相机(80)，其获取所述3D相机的所述FOV (30)中的所述个人的图片；以及控制器(M)，其处理所述距离图像和所述图片以确定所述个人的头部和所述个人的眼睛的特征的空间坐标，以及确定所述眼睛的凝视向量的凝视方向和原点。
2.如权利要求1所述的凝视跟踪器，其特征在于，所述FOV从所述凝视跟踪器延伸等于或大于大致Im的距离。
3.如权利要求1或权利要求2所述的凝视跟踪器，其特征在于，所述FOV从所述凝视跟踪器延伸等于大致0. 3m的距离。
4.如权利要求1-3中的任一项所述的凝视跟踪器，其特征在于，包括对所述FOV的至少一部分进行照明的光源(50)。
5.如权利要求4所述的凝视跟踪器，其特征在于，所述控制器响应于由所述控制器确定的空间坐标来调节由所述光源提供的光的强度。
6.如权利要求4或权利要求5所述的凝视跟踪器，其特征在于，所述控制器响应于由所述控制器确定的空间坐标来调节由所述光源提供的光的方向。
7.如在前权利要求中的任一项所述的凝视跟踪器，其特征在于，所述特征包括所述个人的眼睛的至少一个特征，所述至少一个特征的空间坐标可被用来确定所述眼睛的凝视方向。
8.如在前权利要求中的任一项所述的凝视跟踪器，其特征在于，所述特征包括所述个人的头部的至少一个特征，所述至少一个特征的空间坐标可被用来确定所述头部的定向。
9.如在前权利要求中的任一项所述的凝视跟踪器，其特征在于，所述3D相机包括飞行时间(TOF) 3D相机(70)。
10.如权利要求9所述的凝视跟踪器，其特征在于，所述TOF3D相机和所述图片相机包括包含像素(72，82)的不同的光电传感器，所述光电传感器在所述像素上对光进行成像以分别获取所述距离图像和图片。
11.如权利要求10所述的凝视跟踪器，其特征在于，所述不同光电传感器中的像素具有不同的大小。
12.如权利要求11所述的凝视跟踪器，其特征在于，所述光电传感器中所述3D相机在其上对光进行成像的像素大于所述光电传感器中所述图片相机在其上对光进行成像的像ο
13.如权利要求10-12中的任一项所述的凝视跟踪器，其特征在于，包括用于独立于彼此调节所述光电传感器上的成像的放大倍率的光学器件。
14.如权利要求13所述的凝视跟踪器，其特征在于，所述控制器响应于由所述控制器确定的空间坐标调节放大倍率。
15.一种用于确定个人的凝视方向的方法，所述方法包括获取个人的距离图像，其提供距所述个人的特征的距离；获取所述个人的对比度图像；以及处理所述距离图像和所述对比度图像以提供所述个人的凝视向量，所述凝视向量定义所述个人注视的方向。
全文摘要
本文描述了3D凝视跟踪器。本发明的实施例提供了用于确定个人的凝视向量的凝视跟踪器，其包括对个人进行成像的3D相机和图片相机以及处理由相机获取的图像以确定凝视向量的凝视方向和原点的控制器。
文档编号G02B27/00GK102551655SQ20111043659
公开日2012年7月11日 申请日期2011年12月13日 优先权日2010年12月13日
发明者G·叶海弗 申请人:微软公司