操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置的制造方法
【专利摘要】本发明涉及一种眼睛跟踪装置和一种操作眼睛跟踪装置(30)的方法，眼睛跟踪装置包括成像装置(32)、多个光源(34)、处理单元和控制单元。成像装置(32)捕获第一图像(36a)，同时光源(34)中的至少一个发光。如果检测到至少一个第一反射(14；16；16a?16f)，则确定至少一个第一反射(14；16；16a?16f)在第一图像(36a)中的位置，基于第一图像(36a)中的位置对第一反射(14；16；16a?16f)进行分类，如果第一图像(36a)不符合预定质量标准，则取决于该分类通过改变至少一个光源(34)的光强控制多个光源(34)。
【专利说明】
操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
技术领域
[0001]本发明涉及一种操作眼睛跟踪装置、尤其是远程眼睛跟踪装置，以捕获用户的至少一只眼睛的至少一个特性的方法。该眼睛跟踪装置包括能够捕获用户眼睛的图像的至少一个成像装置、能够照明用户眼睛的多个光源、能够处理由成像装置捕获的图像的处理单元以及能够单独地控制多个光源的光强的控制单元。而且，在光源中的至少一个发光时，该捕获单元捕获第一图像，处理单元处理第一图像，通过处理第一图像，处理单元确定在第一图像中是否检测到反射。本发明还涉及一种眼睛跟踪装置，尤其是远程眼睛跟踪装置，以捕获用户的至少一只眼睛的至少一个特性。
[0002]本发明应用于眼睛跟踪装置的背景下，眼睛跟踪装置是检测和跟踪用户眼睛的位置、取向或其它特性(比如瞳孔扩张、内眼距等)的设备。远程眼睛跟踪装置是不与用户机械接触的眼睛跟踪装置，尤其使得用户可相对于眼睛跟踪装置及其部件(比如成像装置和包括多个光源的照明单元)自由地移动。
【背景技术】
[0003]现有技术中已知的眼睛跟踪装置，尤其是远程眼睛跟踪装置通常使用一个成像装置和两个红外光源(通常为LED)，以能够在捕获区域中找到用户眼睛，并计算出眼睛的观看方向。这可例如通过检测虹膜或瞳孔中心以及光源在用户眼睛中的反射(例如闪烁(glint))来完成。这些特征使得可估计注视方向及因此的用户看着的点。
[0004]而且，现有技术眼睛跟踪装置的当前状态使用照明源，照明源在图像获取期间恒定打开或在图像传感器的曝光时间窗期间脉冲化，对于所有实际目的，它们获得相同效果。此外，现有技术中还已知可调整照明源的位置或照明强度来增强跟踪质量的跟踪系统。
[0005]例如，从JP2005211329中已知一种眼睛移动测量装置，其用于测量眼球的移动，尤其用在痴呆的医疗和临床诊断领域。该测量装置包括光源和反射镜，它们的位置可以调整，优选地使得角膜反射光学图像可接近完整的圆。不幸地，这种方法不太适合常规眼睛跟踪装置，因为手术情形的前提是不同的。通常，病人在测量期间必须静坐或凝视一固定点，而常规眼睛跟踪系统必须设法跟踪用户注视方向的频繁且快速的变化，以提供实时眼睛跟踪。因此，改变反射镜或光源的位置与眼睛跟踪结合起来会花费太长的时间来获得良好的跟踪质量。
[0006]而且，W02003/117999A1描述了一种头戴式视线跟踪系统，其中，基于眼睛或瞳孔距大致中央位置的距离来修改光源的强度，以获得更好的跟踪质量。类似地，US2013/0114850A1也描述了一种头戴式视线跟踪系统，其使用多个光源来获得眼睛的整体照明。不利地，这种头戴式系统不能应付远程眼睛跟踪的问题，因为在远程眼睛跟踪期间，用户可相对于眼睛跟踪装置及由此相对于光源改变他的头部的位置。结果，远程眼睛跟踪系统必须处理更多的问题，比如在极端跟踪角下的跟踪。而且，当用户眼睛例如被用户的手遮挡时，会发生问题。额外地，当用户戴着验光眼镜(prescript1n glasses)或其它类型的视觉辅助工具时，这是尤其有问题的，因为这会产生扰乱眼睛跟踪的光源的额外反射。
[0007]为了处理该问题，JP2005296383提出了使用多个光源，如果在图像中检测到用户的眼镜的反射，则以预定顺序切换红外辐射方向，直到不再检测到来自用户眼镜的反射为止。该过程的缺点是，需要大量光源来增加获得在可接受量情况下不具有眼镜反射(如果有的话)的至少一个图像的可能性。因此，必须冒着大量捕获图像中的仅一些图像可用于眼睛跟踪的高风险，这极大地降低了跟踪质量，同时，需要大量光源来得到至少一些有用的图像。
【发明内容】
[0008]本发明的目的是提供一种操作眼睛跟踪装置的方法和一种眼睛跟踪装置(如在独立权利要求的前序部分中所说明的)，可增加眼睛跟踪、尤其是远程眼睛跟踪的稳定性。
[0009]该目的通过具有独立权利要求的特征的操作眼睛跟踪装置的方法和眼睛跟踪装置来实现。
[0010]根据本发明，当光源中的至少一个发光时，捕获单元捕获第一图像，处理单元处理第一图像，通过处理第一图像，处理单元确定在第一图像中是否检测到反射。而且，如果检测到至少一个第一反射，则确定至少一个反射在第一图像中的位置，并至少基于在第一图像中的位置对第一反射进行分类。如果第一图像不符合预定质量标准，则至少独立于该分类通过改变多个光源的至少一个光源的光强度来控制多个光源。
[0011]本发明基于的发现是，并非乍一看不可能用于捕获眼睛特性的每个反射(比如来自眼镜的反射)同时是破坏性的并同时防止眼睛跟踪装置捕获眼睛的至少一个特性。根据本发明，有利地，当对反射进行分类时，考虑检测的反射在图像中的位置，本发明允许更好地评估反射是否有用或甚至是破坏性的。例如，此外，由用户戴着的眼镜导致的反射原则上不是破坏性的，如果仍有可能从捕获的图像确定眼睛的特性的话。因此，不仅有必要确定在图像中检测的反射的种类(比如来自眼睛的反射或来自眼镜的反射)，而且这些反射的位置对于它们的分类是重要的。这允许对检测的反射的更特定的分类，结果，这允许更加区分地控制多个光源。有利地，在不必使用大量光源的情况下，以更短的时间获得更有用的图像(符合预定质量标准的图像)，例如其中可以捕获眼睛特性的图像。
[0012]在本发明的有利实施例中，至少取决于确定的位置，将至少一个第一反射分配给至少两个不同反射类的反射类，其中，如果第一图像中的检测的至少一个第一反射符合破坏性反射的预定定义，则将至少一个第一反射分配给反射类的第一类，如果第一图像中的至少一个第一反射符合有用反射的预定定义，则将至少一个第一反射分配给反射类的第二类。如此，可基于检测的反射在图像中的确定的位置，容易地将检测的反射分配给不同反射类。而且，有利地，除了确定的位置，另外其它标准可用于对反射进行分类。所以，通过基于确定的位置的非常区别性且单独的分类的可能性，可以更好地说明(account for)不同情形。
[0013]优选地，确定检测的反射相对于用户头部的一部分的位置。因此，本发明的有利实施例为:在第一图像中，识别出用户头部的一部分，确定该部分的位置，并确定检测的至少一个第一反射相对于该头部部分的位置的位置。该头部部分可以是任何部分，比如用户的鼻子或嘴或者耳朵或其它显著的易于识别的部分，比如头部边界等。但是优选地，相对于用户的识别的眼睛或眼睛部分(如果检测到的话)来确定反射的位置，因为关于眼睛的相对位置可用作决定反射是否是破坏性的决定性特征。如果反射例如由用户的眼镜导致，则该反射相对于用户眼睛的位置决定该反射实际上是否也对于捕获眼睛的至少一个特性是破坏性的。特别地，该有利实施例允许根据本发明的其它实施例的对检测的反射的随后分类。
[0014]其中，如果至少一个第一反射符合第一标准中的至少一个，则其符合破坏性反射的预定定义:
[0015]-检测的至少一个第一反射被确定为不是由用户眼睛反射的；
[0016]-检测的至少一个第一反射由用户戴着的眼镜或镜片反射；
[0017]-检测的至少一个第一反射的尺寸大于预定值。
[0018]有利地，这些第一标准用于首先寻找破坏性反射的潜在候选。但是这些第一标准可被视为破坏性反射的必要条件，但是不可避免地不是充分条件。因此，在本发明的另一有利实施例中，如果至少一个第一反射符合第二标准中的至少一个，则其符合破坏性反射的预定定义:
[0019]-检测的至少一个第一反射在第一图像中遮挡眼睛的一部分，尤其是需要用于确定眼睛的至少一个特性的部分；
[0020]-检测的至少一个第一反射在第一图像中部分地或完全地遮挡眼睛的瞳孔；
[0021]-检测的至少一个第一反射在第一图像中部分地或完全地遮挡眼睛的虹膜；
[0022]-检测的至少一个第一反射在第一图像中部分地或完全地遮挡眼睛的巩膜；
[0023]-检测的至少一个第一反射在第一图像中部分地或完全地遮挡眼睛的血管；
[0024]-检测的至少一个第一反射在第一图像中部分地或完全地遮挡眼睛的眼睑；
[0025]-检测的至少一个第一反射在第一图像中部分地或完全地遮挡眼睛的眼睑角；
[0026]-检测的至少一个第一反射在第一图像中遮挡眼睛的一部分，在该部分处，期望检测有用反射。
[0027]所以，通过这些第二标准，反射可被更精确地指定为对于捕获用户眼睛的至少一个特性来说是破坏性的。特别有利的是，反射必须符合第一标准中的至少一个和第二标准中的至少一个，以被分类为破坏性反射。那么，第二标准或它们中的至少一个可被看作用于破坏性反射的充分条件。如所提及的，第一标准用于首先寻找破坏性反射的潜在候选的目的，破坏性反射通常是不由用户眼睛反射的反射，例如由眼镜或镜片或别的东西反射。这些反射可容易地例如通过它们的尺寸识别，因为它们的尺寸通常比由用户眼睛反射的反射(比如闪烁或普尔钦像)更大。但是并非符合第一标准中的至少一个的每个反射可自动地被看作破坏性反射。这由第二标准指定，通过第二标准，证实的是，检测的反射(未被用户眼睛反射)实际上通过遮挡眼睛的至少一部分使捕获眼睛的至少一个特性(这对于确定眼睛的特性是有必要检测的)变得复杂。
[0028]第二标准之一是检测的至少一个第一反射在第一图像中遮挡眼睛的期望检测有用反射的一部分。这可容易地检测到，例如如果多于一个光源照明眼睛同时捕获第一图像的话，因为这样期望的是，可检测由眼睛反射的多于一个的反射(例如闪烁)。但是，如果在该第一图像中，仅可检测由用户戴着的眼镜反射的反射，而且，这些反射遮挡眼睛的一些部分，则可假设这些反射遮挡眼睛的实际上应当检测到闪烁的那些部分。所以，另外在该情况下，检测的反射可被分类为破坏性反射。
[0029]而且，明显的，检测的反射不必符合所有第一标准和所有第二标准以被分类为破坏性反射。特别地，第二标准中的适于识别破坏性反射的一个强烈地取决于由眼睛跟踪装置捕获的眼睛特性。如果例如仅确定用户眼睛的位置，则足以检测眼睛的至少一部分，比如瞳孔的部分或角膜的部分，那么，不由眼睛反射的反射仅在遮挡整个眼睛使得不可能检测眼睛及其位置时才是破坏性的。如果另一方面视线方向由眼睛跟踪装置基于对闪烁或其它普尔钦像的检测而确定，则有必要检测至少一个普尔钦像。所以有利的是，这些标准通过使用情况本身选择。另一实施例还可以是，符合第一标准的任意子组和/或第二标准的任意子组是将至少一个第一反射分配给破坏性反射的反射类的情形。
[0030]在本发明的另一实施例中，在处理第一图像期间，处理单元通过分析第一图像针对第一标准中的至少一个和/或第二标准中的至少一个进行检查。该针对第一标准的检查可例如通过分析第一图像中的检测的反射的尺寸和/或形状来完成。另外，可以考虑确定的反射位置，例如以确定检测的反射不是由用户眼睛反射的，尤其在其包括与检测的眼睛边界一定距离的情况下。为了针对第二标准进行检查，首先，通过处理单元确定用户眼睛的各部分，比如瞳孔、虹膜、巩膜等，检测的反射的位置可以相对于这些眼睛的部分确定。如果通过分析第一图像没有确定眼睛的部分，则还可假设检测的反射可能遮挡了眼睛或者至少不能确定的眼睛的部分。因此，破坏性反射的检测可以非常容易且有效的方式完成。类似地，可以执行对有用反射的分类。
[0031]对有用反射分类的非常简单方式是，例如如果检测的至少一个第一反射未被确定和/或分类为破坏性反射，则其符合有用反射的预定定义。如此，当处理单元仅针对它们的第一和第二标准进行检查，并且基于该检查结果，检测的反射可被分类为有用的或破坏性的时，便足够的。但是另外，对有用反射的定义可以更加详细地进行，以允许对光源的更详细的和情形适配的控制。
[0032]因此，本发明的有利实施例是，如果检测的至少一个第一反射未被确定和/或分类为破坏性反射，并符合第三标准中的至少一个，则其符合有用反射的定义:
[0033]-检测的至少一个第一反射是闪烁或普尔钦像，尤其是来自眼睛角膜的外表面的反射和/或来自眼睛角膜的内表面的反射和/或来自眼睛的晶状体的前表面的反射和/或来自眼睛的晶状体的后表面的反射；
[0034]-检测的至少一个第一反射由眼睛的巩膜反射；
[0035]-检测的至少一个第一反射由眼睛的眼睑反射；
[0036]-检测的至少一个第一反射由用户的与眼睛和眼睑不同的面部部分反射，尤其是位于与眼睛相距最大距离内的面部部分；
[0037]-检测的至少一个第一反射由用户戴着的眼镜的镜片的前表面和/或后表面反射。
[0038]在此，另外，对于将反射分类为有用反射，不必符合所有第三标准。如已经提及的，这强烈取决于使用情况和由眼睛跟踪装置确定的眼睛特性。为了确定视线方向，普尔钦像发挥重要作用。特别地，有四个普尔钦像，即来自角膜的外表面、来自角膜的内表面、来自晶状体的前表面和来自晶状体的后表面的反射，其中，第一普尔钦像还称为闪烁。但是另外，来自眼睛其它部分的反射(比如由巩膜或眼睑和甚至由面部部分反射的反射)可用于确定例如用户的面部或头相对于相机的位置，并确定或检测用户眼睛在图像中的位置。特别有利的事实是，另外，由用户戴着的眼镜反射的反射不仅可被分类为非破坏性的，而且可被分类为有用的，这在稍后解释。
[0039]优选地，在处理第一图像期间，处理单元针对第三标准的至少一个进行检查。基于该结果，可容易地决定检测的反射是否有用。而且，该检查可再次通过分析检测的反射在图像中的尺寸、几何形状及其相对于眼睛或眼睛各部分的位置来完成。
[0040]基于对检测的反射的详细分类，可依靠对检测的反射的分类，尤其依靠每个单独检测和分类的反射(如果在第一图像中检测到多于一个反射的话)，通过相应地控制多个光源来获得非常高的眼睛跟踪稳定性。
[0041]因此，在有利的实施例中，当依靠分类通过改变至少一个光源的光强来控制多个光源时，多个光源被控制成如果至少一个第一反射符合破坏性反射的预定定义，则移除至少一个第一反射，和/或在第二图像中产生符合有用反射的预定定义的至少一个第二反射。从而，第二图像(尤其在第一图像之后)可以非常有效的方式产生，其尤其满足预定质量标准，这可暗示这些第二图像不再包括任何破坏性反射，有用反射在这些第二图像中以足够质量产生，以确定眼睛的至少一个特性。
[0042]而且，有利的是，如果检测的至少一个第一反射既不符合破坏性反射的定义也不符合有用反射的定义，则被分类为中立反射，并被分配给第三反射类。这额外地允许甚至更加区别地控制光源。
[0043]而且，如果检测的至少一个第一反射被分类为破坏性反射或中立反射，则多个光源中的至少一个光源可被确定为发射出导致破坏性反射或中立反射的光，至少一个确定的光源的光强减小，或者特别地，至少一个确定的光源关闭，以捕获第二图像。总体上，减少光源的强度还包括完全关闭光源的情况。从而，可容易地移除破坏性反射，尤其在对应光源关闭的情况下。还有利的是，关闭产生中立反射的光源或者至少减少所述光源的照明强度，以节能。在一些情形下，还可有利地不关闭产生破坏性反射的光源，而是例如仅减少其照明强度(与关闭不同)，如果该光源被确定为产生破坏性反射并同时产生另一有用反射的话，使得通过减少该光源照明强度而不是关闭，第一图像上的破坏性反射表现为第二图像中的中立反射，由该光源导致的有用反射仍可用于确定至少一个眼睛的至少一个特性。这可类似地应用于控制同时导致中立反射和有用反射的光源。在该情况下，对应光源未被关闭以去除中立反射，从而节能，因为由这些光源导致的有用反射更加重要。总之，如果光源被确定为导致破坏性反射和/或中立反射，则光源关闭或至少其强度减少，但是这仅在光源未被确定为同时导致有用反射的情况下如此。
[0044]而且，如果检测的至少一个第一反射被分类为有用反射，且不满足预定质量标准，则至少一个质量特征从第一图像中得到，多个光源的至少一个光源被确定为发射导致有用反射的光，至少一个确定的光源的光强依赖于得到的质量特征而改变，以捕获第二图像。换言之，如果检测到有用反射，则第一图像可经受其它图像分析，以确定如何控制导致该有用反射的光源的光强。当然，如果第一图像的质量和尤其识别的有用反射的质量足够好以捕获眼睛的至少一个特性，则不必改变光源的光构造或光强。但是如果不是，则光源可被控制成优化图像质量。为此，可以分析第一图像并确定例如检测的有用反射是否包括足够的饱和度，它们的尺寸是否足够大或者它们是否过饱和。如果检测到多于一个有用反射，则还可确定有用反射彼此的距离，这在下面进行解释。如果检测的有用反射不饱和或足够亮或太小，则增加对应光源的强度。如果检测的有用反射过饱和，则减少相应光源的照明强度。从而，本发明使得不仅可去除破坏性反射，而且还可提高图像质量，结果，还显著提高了跟踪质量。
[0045]在另一实施例中，如果检测到被确定为由眼睛反射的至少两个第一反射(它们因此可被分类为有用反射)，并且至少两个第一反射被确定为彼此之间的距离小于预定值，则确定发射导致至少两个反射的光的光源，改变确定的光源中的至少一个的强度，尤其关闭确定的光源中的至少一个。而且，可以打开在捕获第一图像时不活动的光源，以捕获第二图像，如果该光源预期产生有用反射的话。换言之，如果两个或更多个有用反射彼此太过接近，则控制单元可切换至不同的光源构造，使得在另一图像中得到的有用反射分开更远一些。在切换至另一构造之前，眼睛跟踪装置可检查是否可预期到新构造会产生分开更远的反射，仅当如此时才切换至新光源构造。
[0046]在本发明的另一有利实施例中，多个光源中的至少一个不活动的光源被确定为产生有用反射，尤其由角膜的内表面和/或外表面反射的反射，并且打开确定的光源，以捕获第二图像。关于这一点，不活动的光源表示在捕获第一图像时不活动的且不会发光的光源。从而，本发明还使得不仅可确定导致在第一图像中检测的反射的光源，而且还可预测哪个光源会导致有用反射。该预测可例如通过尤其基于检测的至少一个第一反射的位置分析第一图像来完成。而且，为了确定该光源，可以使用并考虑眼睛的模型和/或用户的面部的模型和/或由用户戴着的眼镜的模型和/或光源的尤其相对彼此的给定位置和/或成像装置的尤其相对每个光源的给定位置。而且，可以基于来自第一图像的信息和上述指定的模型来确定用户和/或其面部和/或其眼睛相对于捕获单元和光源的位置。换言之，可以基于几何考虑因素，尤其基于光源相对彼此、相对成像装置(例如相机)的位置的几何关系，基于用户头部相对成像装置和光源的布置以及基于眼睛模型的反射行为来确定期望产生有用反射的光源。以相同方式，还可确定已在第一图像中产生反射的光源。
[0047]而且，可以基于已被确定为发光，从而导致检测的至少一个第一反射的光源的位置来确定期望产生有用反射的光源。所以，如果在第一图像中，检测到反射，并且确定导致该反射的光源，则该光源的位置、关于所有其它光源的已知相对位置可用作额外信息来确定在捕获第一图像时不活动的光源，该光源期望产生有用反射。所以，许多信息可从捕获的图像以及眼睛跟踪装置的已知几何形状中得出，其可用于确定在捕获第一图像期间哪些光源是活动的、导致在第一图像中检测到哪些反射以及哪些在捕获第一图像期间不活动的光源是期望用于产生有用反射的，使得基于该分析，可预测哪种发光构造期望用于产生最高图像质量，控制单元可相应地控制光源。
[0048]为了进一步增强光源到对应反射和反射位置的分配，在本发明的有利实施例中，每个光源具有彼此不同的特定特性，其中，该特性由发射具有特定波长频谱的光的每个光源提供和/或该特性由构造成从具有特别形状的发射区域中发射出光的每个光源来提供，其中，光源的特别形状彼此不同。而且，处理单元使用特定特性来确定发射出检测的至少一个第一反射的光源。因此，处理单元知晓哪个光源具有哪个发射特性。所以，有利地，特定发射特性还可用于识别产生特定反射的光源。
[0049]另一可能性是，在步骤f)中，打开多个光源中的一个光源，捕获第二图像，其中，第二图像与第一图像进行比较，如果在未存在于第一图像中的第二位置上确定第二图像中的第二反射，则确定已发射出导致第二反射的一个光源。因此，可容易地识别哪个光源导致哪个反射。
[0050]类似地，在另一实施例中，在步骤g)中，关闭多个光源中的在捕获至少一个第一图像期间发光的一个光源，以捕获第二图像，第二图像被捕获，并与第一图像进行比较，如果与第一图像相比，第二图像中的反射消失了，则确定已发射出在第一图像中导致在第二图像中消失的反射的一个光源。如此，还可容易地将该光源分配给它们所导致的反射。
[0051]在本发明的另一有利实施例中，对于一系列随后捕获的图像，尤其对于多个光源中的每一个，步骤f)和/或步骤g)可以重复，直到已完全确定哪个光源产生哪个反射为止，尤其确定在第一图像和随后捕获的图像中的哪个位置，使得另外在其它图像中，可预测哪个光源会产生哪个反射，尤其是反射类。
[0052]换言之，通过在每个之后打开和关闭光源，还可识别出哪个光源对应于哪个反射，因为对应反射会相应地显现或消失。这是相当稳定的方法，用于将光源分配给它们对应的反射，但是另一方面，捕获更多的图像是对实施这种分配是必要的。因此，基于分析如上所述第一图像，尤其在不同光源构造设定用于捕获另一图像之前，将光源分配给它们所导致的或通过预测而期望导致的它们对应的反射是非常有利的和优选的。另外，可以组合用于分配的两个方法，例如首先，处理单元进行预测，如果该预测不会导致可以识别导致特定反射的光源或可以识别没有光源期望产生有用反射的结果，则光源可以打开或关闭，以用于它们到对应反射的分配。
[0053]因此，在本发明的另一有利实施例中，仅当不能从第一图像和多个反射在所述第一图像中的位置的分析毫无疑问地确定哪个光源产生哪个反射时，步骤g)和/或f)被执行，尤其如上所述被重复。
[0054]而且，如果至少两个反射被检测为由用户穿戴的镜片反射，则可以基于至少两个检测的反射和它们的确定的位置来确定镜片相对于用户面部的位置。在该情况下，由用户的镜片反射的反射不被分类为破坏性的，相反，它们甚至是有用的，因为它们可用于确定镜片相对于用户面部的位置。这进而提供了信息，该信息可用于预测不活动的光源中的哪个可期望产生有用反射，哪个不会。
[0055]此外，有另一种情况，其中，通过用户的镜片的反射是非常有用的。即，如果确定了检测的至少一个第一反射是从由用户穿戴的镜片反射的(但是未分类为破坏性的反射)，则基于至少一个第一反射的位置来确定镜片的特性(尤其是镜片的折射能力)。因此，有利地，可以确定与个体眼睛佩戴物有关的特性。尤其，可利用在眼睛佩戴物的透镜的前方和后方发生的检测的反射来评估和估计透镜的折射能力和曲率。该信息可还用于更大地增强跟踪质量，尤其通过使用确定的镜片特性来确定用户眼睛的至少一个特性。例如，与镜片的折射能力和曲率相关的信息可用于校正视线估计。因此，由用户穿戴的眼镜反射的反射可甚至有助于增强眼睛跟踪质量。这同样可应用于由用户戴着的隐形眼镜。
[0056]而且，有利的是，通过处理由加速计和/或磁力计和/或姿态传感器提供的输入信号来确定多个光源中产生和/或期望产生破坏性或有用或中立反射的光源，姿态传感器确定眼睛跟踪装置相对于用户头部和/或眼睛的空间取向。因此，眼睛跟踪装置的操作精度和稳定性可以进一步增强。
[0057]而且，捕获单元在多个光源中的至少一个光源发光时捕获第二图像，处理单元比较第一和第二图像，如果在第一图像中，至少一个反射被检测为有用反射，在第二图像中，在至少一个反射的确定位置没有检测到反射，则基于在第一图像中的检测的有用反射，确定期望产生有用反射的光源，确定的光源被打开，以捕获第三图像。例如，可发生的是，光源和眼睛之间的路径被物体(例如用户的手臂)遮挡。在眼睛仍可看见但是损失了一个反射的情形下(这可通过比较第一和第二图像来确定)，在一个或两个眼睛中，该系统可决定切换至替代光源组合，例如导致在第二图像中损失的第一反射的光源可以关闭，可以确定期望产生有用反射的替代的另一光源，该光源可以打开。因此，跟踪质量在非常困难的跟踪情形下也得以增强。总体上，第二图像可以是在第一图像之后捕获的任何图像，但是优选地第二图像是在第一图像之后随后被捕获的图像，而在其间没有捕获别的图像。这同样应用于第三和第二图像的时间关系。
[0058]根据本发明的用于捕获用户的至少一个眼睛的至少一个特性的眼睛跟踪装置包括:至少一个成像装置，其能够捕获用户的至少一个眼睛的图像;多个光源，能够照明用户的至少一个眼睛;处理单元，能够处理由成像装置捕获的图像；以及控制单元，能够单独地控制多个光源的光强。而且，捕获单元能够在光源中的至少一个发光时捕获第一图像。此夕卜，处理单元能够处理第一图像，通过处理第一图像，确定在第一图像中是否检测到反射。如果检测到至少一个第一反射，则处理单元还能够确定至少一个第一反射在第一图像中的位置。另外，处理单元能够至少基于第一图像中的位置对第一反射进行分类，并能够检查第一图像是否符合预定质量标准，如果第一图像不符合预定质量标准，则控制单元能够至少取决于该分类通过改变多个光源中的至少一个光源的光强来控制多个光源。
[0059]关于根据本发明操作眼睛跟踪装置的方法描述的优选实施例及其优点相应地应用于根据本发明的眼睛跟踪装置。特别地，操作眼睛跟踪装置的方法的所述步骤及其根据本发明的实施例构成根据本发明的眼睛跟踪装置的其它实施例。
【附图说明】
[0060]下面，参考附图更详细地描述本发明的有利实施例。
[0061 ] 附图中:
[0062]图1是在多个光源照明用户的眼睛时，戴着眼镜的用户的眼睛的图像的示意图；
[0063]图2是根据本发明的实施例，在从用户戴着的眼镜反射的破坏性反射挡住有用反射的情况下，控制眼睛跟踪装置的光源的示意图；
[0064]图3是根据本发明的另一实施例，在检测的有用反射彼此太靠近的情况下，控制眼睛跟踪装置的光源的示意图；
[0065]图4是根据本发明的另一实施例的操作眼睛跟踪装置的方法的示意图；
[0066]图5是根据本发明的另一实施例的操作眼睛跟踪装置的方法的示意图；
[0067]图6是戴着眼镜的用户的眼睛的图像的示意图，以示出由眼镜的镜片反射的不同种类反射;以及
[0068]图7是眼睛跟踪装置的光源的光在用户的眼镜镜片处的反射的示意图，光由眼镜镜片以三种不同方式反射。
【具体实施方式】
[0069]本发明基于远程眼睛跟踪装置，其具有至少一个成像装置(比如相机)和多个光源。这些光源在打开时在用户眼睛、面部或镜片中反射，并可在相机图像中可见为明亮的反射斑点。总体上，在本申请中，术语反射用于限定为图像中的连接区域的反射，所述连接区域包括比相邻区域的水平更高，尤其高于预定值的亮度水平，反射和相邻区域之间的边界区域包括还大于预定值的亮度梯度。这些反射(当它们发生在用户眼睛中时(还称为闪烁))可用于确定用户眼睛的位置和视线方向。另外，眼睛的多个层中的光源的反射(普尔钦反射)可帮助确定眼睛的位置和形状。
[0070]然而，并非所有反射有益于该系统，因为它们可使系统混乱，使图像过度曝光或覆盖眼睛的闪烁或部分。特别地，覆盖闪烁、瞳孔、虹膜、巩膜、血管、眼睑或眼睑角(eyelidcomer)的全部或部分的反射被认为是破坏性的，因为其对视线估计的稳定性和精度的不利影响。这些破坏性反射通常由镜片导致，镜片将来自光源的光反射进相机中，如在图1中所不O
[0071]图1示出在眼睛跟踪装置的多个光源照明眼睛时，戴着眼镜12的用户的眼睛10的图像的示意图。因此，光源在眼睛上导致反射，尤其导致在用户眼镜12的镜片12a上的反射16以及闪烁14。
[0072]所建议的发明是处理这些破坏性反射的方法。该系统包含控制单元，其确定哪个反射是有益的、中立的或破坏性的。总体上，例如通过覆盖闪烁14或干扰眼睛的一些部分(比较瞳孔18、虹膜20、巩膜22、血管、眼睑24或眼睑角26)来关闭或减少产生破坏性反射的光源的强度。不导致有用反射的光源可选地关闭或功率降低。而且，当希望光源导致有用反射时，该系统打开光源或增加其强度。但是，取决于反射类对光源的控制可甚至更详细，如参考图4和5所述。
[0073]图2示出在检测到破坏性反射16a的情况下，眼睛跟踪装置30如何操作。戴着镜片12a的用户导致跟踪困难，因为光源34的光从眼镜12的镜片12a的表面或边缘反射。这些反射可以被处理，只要它们不覆盖闪烁14即可。当镜片12a的反射覆盖或接近眼睛10的反射的位置时，根据本发明的该有利实施例，可以使用不同光源组34，从而移除镜片反射或至少使它们远离闪烁14。
[0074]为此，眼睛跟踪装置30包括成像装置32和多个光源34(在该示例中，四个光源34)以及处理单元，处理单元用于处理由成像装置32捕获的图像36a、36b。
[0075]总体上，光源34可以是例如LED。此外，光源34能够发射红外光，尤其仅红外光，并且成像装置32(例如相机)能够捕获红外光，尤其仅红外光。替代地或额外地，光源34能够发射可见波长区域的光，尤其，光源34中的一些能够发射可见区域中的光，光源34中的一些发射红外区域中的光，或者光源34中的一些能够发射可见区域以及红外区域中的光，成像装置32能够检测可见区域中的光。此外，眼睛跟踪装置30包括预定捕获区域，尤其，该捕获区域限定为成像装置32的能够捕获图像的区域。而且，光源34布置成它们能够在眼睛跟踪装置30的捕获区域中照明用户眼睛。
[0076]而且，眼睛跟踪装置30包括控制单元，用于独立地控制光源34的强度，尤其用于基于捕获图像36a、36b的分析结果打开不同发光构造。在图2中的左手侧，示出捕获图像36a的示意图，该捕获图像36a尤其在光源34中的两个照明眼睛10时被捕获。在该图像36a中，可以检测到由用户眼镜12反射的两个反射16a、16b以及由用户眼睛10反射的一个反射14。在该情况下，由用户眼镜12反射的反射16a之一挡住眼睛10的重要部分，尤其是期望另一闪烁14的部分。通过眼睛跟踪装置30，尤其基于反射16a的尺寸(这将其识别为从眼镜12反射)，以及基于其在图像36a中的(尤其相对于用户眼睛10的)位置，可将该左侧反射16a确定为破坏性反射16a。然后，眼睛跟踪装置确定在捕获该第一图像36a时活动的光源34之一为发射出导致破坏性反射16a的光。之后，该光源34关闭，从而移除破坏性反射16a，在捕获该第一图像36a时不活动的光源34中的另一个打开，从而产生另一反射14，S卩，另一闪烁14，如从图2的右手侧的第二图像36b所看见的。因此，可以增加数据质量。
[0077]本发明的重要优点是，检测的反射基于它们在图像36a、36b中的位置，尤其它们相对于用户的检测眼睛10的位置被分类。反射以及眼睛或眼睛部分在图像中的位置可以各自被确定为例如X和y坐标。另外，与成像装置32的距离(S卩z坐标)可源自图像36a、36b，例如源自不会动态变化的眼睛特征(比如角膜缘长轴和短轴(limbus major and minor axis)，或眼球半径)的图像中的尺寸。
[0078]因此，图像36a、36b可以被捕获，并用于确定眼睛10的至少一个特性，即使在图像36a、36b中，存在由用户的眼镜12反射的反射16b、16c。
[0079]因此，用于将反射归类为破坏性反射的重要标准不仅是该反射不由用户眼睛10反射，而且还是该反射遮挡用户眼睛10的重要部分。而且，由用户眼镜12反射的反射可甚至用于进一步增加眼睛跟踪质量。光源34的由用户眼镜12反射的反射提供了与由用户戴着的镜片12a的特性有关的信息。它们允许估计镜片12a的每个区域中的曲率和折射特性，这随后可使用该信息校正确定的眼睛10位置和视线方向。所以，额外地，对于单独的镜片12a或眼镜12，眼睛跟踪装置30使用镜片12a上的非破坏性反射来确定有关单独眼睛穿戴的一些特性。利用发生在晶状体的前方和后方处的反射来评估和估计它们的折射能力和曲率，以使用该信息来校正视线估计，这在下面参考图6和图7更详细地解释。
[0080]图3示出根据本发明另一实施例的操作眼睛跟踪装置30的示意图。该眼睛跟踪装置包括与关于图2所说明的部件相同的部件。现在，第一图像36a由成像装置32捕获，显示出用户的眼睛10，在该情况下没有眼镜12。当眼睛跟踪装置30和用户之间的距离增加时，不同闪烁14s在用户眼睛10的图像中的反射之间的距离减小。在一些点，反射14一起移动成更靠近，使得难以或甚至不可能区分出单独的反射14，这由图3的左手侧上的第一图像36a显示出。眼睛跟踪装置30能够检测该情况，并切换至光源34的不同组合，从而增加在相机32中可见的反射14的距离。这可在图3的右手侧上的第二图像36b中可见。所以，通过取决于检测的有用反射14的位置控制光源34(如所述)，跟踪范围可有利地延伸。
[0081]而且，本发明使得可处理其它困难情形。例如，本发明还增强了在极端旋转角下的眼睛跟踪。在一些情形中，用户可能不会面对相机32，而是头部可明显地旋转走。在这种情形中，眼睛跟踪装置30能够得益于使用位于相机32的一侧的光源34，而不是使用位于任一侧的一个光源34。该效应由于降低的遮挡风险(例如由于鼻子)以及光源34、眼睛10和相机32之间的角度的减小的锐度(decreased acuteness)而发生。在该情况下，成像装置32可捕获第一图像，并通过用处理单元分析该图像，可以基于检测的反射在图像中的位置来对检测的反射进行分类。如果图像不满足预定质量标准(可以是头部明显旋转走时的情况)，可以确定出期望产生有用反射的光源34。为了确定这些光源34，可考虑许多信息，例如，检测的反射的位置、导致这些反射的光源34的位置、头部相对于光源34和相机的位置、相机本身的位置、眼睛10模型或面部模型等等。如此，该系统可自动地选择增强眼睛跟踪质量的发光构造。
[0082]而且，还可以增加重建精度。由于反射的小尺寸，眼睛10中的反射的轮廓仅以高达一定量的精度来获得。在额外的光源34的情况下，可在每个眼睛10中获得更多反射。这提供了眼睛跟踪装置30，其利用潜在地增加重建精度的额外信息检测闪烁14。这还通过对反射及它们的位置的检测、通过基于它们的位置对这些反射进行分类以及通过确定导致相应反射的光源34和通过确定期望产生有用反射的光源34而成为可能。因此，照明眼睛10而不会导致破坏性反射的光源34的数量能够最大化。
[0083]而且，当使用远程眼睛跟踪装置时，可发生的是，光源34和眼睛10之间的路径被物体遮挡，例如用户的手臂。在眼睛10仍可见但是一个反射在一个或两个眼睛10中损失的情形下，眼睛跟踪装置30可决定切换至替代光源构造。这可例如通过比较由成像装置32捕获的相继图像来实现。如果在第一图像中，检测到某一位置上的有用反射，但是在相继图像中，该位于某一位置上的有用反射不再被检测到，则眼睛跟踪装置可确定在第一图像中导致有用反射的光源，将其关闭，替代地打开另一光源34，在另一光源上，期望产生其它有用反射。
[0084]所以，通过主动地且动态地控制打开或关闭哪个光源34或在某一时间改变哪个光源34的光强，以防止破坏性反射，并产生有用反射，跟踪质量和跟踪稳定性可以在许多不同且困难的跟踪情形中增加。
[0085]图4示出根据本发明的实施例的操作眼睛跟踪装置30的方法的示意图。该方法起始于步骤S10，其中，用户在眼睛跟踪装置30的捕获区域中的第一图像由成像装置捕获。在下一步骤S12中，处理单元处理第一图像，并通过处理第一图像，处理单元确定在第一图像中是否检测到反射。如果在步骤S14中，满足在第一图像中检测到至少一个第一反射的情形，则该方法行进至步骤S16，其中，确定至少一个反射在第一图像中的位置。因此，还确定用户眼睛10的位置(如果检测到的话)或用户眼睛10的至少一部分的位置，确定至少一个反射相对于用户眼睛10的位置的位置。之后，在步骤S18中，至少基于第一图像中的位置对第一反射进行分类。额外地，还可基于其尺寸或形状进行分类，以能够区分由用户眼睛10反射的反射和不由用户眼睛10反射的反射。优选地，有至少三个不同反射类，一个用于破坏性反射，一个用于有用反射，一个用于中立反射。如果确定检测的反射不是由用户眼睛10反射的或者尤其由用户戴着的眼镜12反射(这可例如通过检测的反射的尺寸来确定)，额外地，如果确定该反射同时遮挡眼睛10的显著部分(这要求确定眼睛10的至少一个特性)，例如瞳孔
18、虹膜20、巩膜22、血管或另外眼睑24或眼睑角26的显著部分，则检测的反射可例如被分配给用于破坏性反射的反射类。而且，如果反射是闪烁14或普尔钦像或由巩膜22反射，则反射优选地被分配给用于有用反射的反射类。如果反射由眼睛10的眼睑24、用户的面部部分、尤其是眼睛10区域反射或甚至检测的反射未被归类为破坏性反射且是由用户戴着的眼镜12的镜片12a反射(这可用于确定个体眼睛佩戴物(individual’s eyewear)的一些特性)，则该反射还可被看作是有用反射。所有其它反射可被归类为中立反射。
[0086]所以，如果现在在步骤S18中，确定的反射在步骤S20中被分类，眼睛跟踪装置30检查第一图像是否符合预定质量标准。该质量标准可在于，在第一图像中，检测至少一个有用反射，可以基于该有用反射确定眼睛10的至少一个特性。该质量标准还额外地在于，检测的有用反射必须包括一定预定饱和度或亮度或尺寸。而且，质量标准还在于，不同眼睛10部分(比如瞳孔18、虹膜20和巩膜22)必须包括彼此之间的一定对比度，其是以一定最小精度确定单独眼睛10部分所必须的。所以，如果在步骤S20中，确定满足了预定质量标准，则在步骤S22中可以确定眼睛10的至少一个特性，该方法通过捕获另一图像再次从步骤SlO开始。
[0087]但是，如果在步骤S20中，确定的是，不满足质量标准，则该方法移动至步骤S24，以至少取决于分类通过改变多个光源34的至少一个光源34的光强来控制多个光源34。为此，首先检查在步骤S26中检测的反射分配到哪个反射类。如果反射被确定为破坏性反射，则该方法移动至步骤S28，其中，确定哪个在捕获第一图像时活动的光源34发射出导致破坏性反射的光。之后，在步骤S30中关掉确定的光源34，或者至少减少其照明强度。如果在步骤S26，确定的是，检测的反射被归类为中立反射，则该方法移动至步骤S32，其中，眼睛跟踪装置30确定哪个在捕获第一图像期间活动的光源34发射出导致中立反射的光，之后，在步骤S34，确定的光源34也关闭或者至少其强度降低以节能。
[0088]在此，指出的是，在破坏性和中立反射的情况下，在控制光源方面仍有差别。与中立反射的移除相比，破坏性反射的移除具有非常高的优先性，但是有其它方面要考虑。例如，如果光源产生有用反射，同时产生中立反射，则该光源在捕获另一图像的任何情形下不会关闭，因为有用反射也会损失。但是如果光源产生有用反射，同时产生破坏性反射，使得由于该破坏性反射不能确定眼睛的至少一个特性，则破坏性反射必须被移除。所以，至少光源的光强必须被减少，如果这没有帮助，则光源必须被关掉。
[0089]而且，如果在步骤S26中，确定的是，检测的反射被归类为有用反射，则该方法移动至步骤S36，其中，通过处理单元进一步分析第一图像。该分析完成，以寻找如何改进有用反射的质量。为此，有用反射的饱和度、亮度或尺寸可确定。如果在步骤S38决定的是，有用反射不足够饱和、不足够明亮或太小，则该方法移动至步骤S40，其中，控制单元调整光源34，使得发出导致有用反射的光的光源34的强度增加。如果另一方面，在步骤S38决定的是，检测的有用反射过饱和、过明亮或过大，则该方法移动至步骤S42，其中，确定的发出导致有用的光的光源34的强度减小。此外，如果在步骤S38决定的是，有多于一个有用反射，有用反射彼此太过靠近，则控制单元可切换至不同光构造，例如关掉导致有用反射之一的一个光源，并打开期望产生有用反射的另一光源(S44)。
[0090]所以在步骤S30、S34、S40和S42之后，该方法可再次移动至步骤S10，其中，通过成像装置捕获另一图像。但是在这样做之前，可以有可选的额外步骤S44。在该步骤S44中，目艮睛跟踪装置30基于第一图像的图像信息并可选地基于额外信息确定希望多个光源34(在捕获第一图像时不活动的)中的哪个产生有用反射，在该确定之后，打开该光源34或这些光源34。
[0091]如果在第一图像中，检测到多个不同反射，则也可执行该过程，如图5所示。在此，当捕获装置捕获第一图像时，该方法再次在步骤SlO开始，该图像在步骤S12由处理单元进行处理。如果现在在步骤S14中，确定的是，检测到多个反射(在该示例中为三个反射)，则该方法对于每个检测的反射行进至步骤S16。所以，对于第一反射，确定图像中的对应位置，在步骤S18中对反射分类等等。对于第二反射，确定其在图像中的位置，在步骤S18中对反射分类等等。另外，对于第三反射，确定其位置，在步骤S18中对反射分类等等。对于每个检测的反射，现在该方法类似于关于图4所述的方法行进。
[0092]现在参见图6和图7，解释用户镜片12a上的非破坏性反射16d、16e、16f如何用于确定与个体眼睛佩戴物有关的一些特性。
[0093]根据本发明的实施例，计算出用户戴着的镜片的折射能力。执行该测量的最常用工具是使用焦度计(Iensmeter)，其是测量透镜(例如镜片和隐形眼镜)的折射能力的器材。其可测量球面折射能力、散光度数(cylinder)、散光轴位(axis)以及与镜片有关的一些其它信息，例如如果它们是变焦的或者不是。
[0094]一些焦度计需要人进行测量，并查看结果，其它的焦度计在透镜放置在正确位置上之后自动地进行所有测量。手动以及自动焦度计通过试图寻找使正测量的透镜的焦度中立的设定来工作。
[0095]对于手动模式，光学仪器商会改变焦度计的设定，直到他/她看见一组显著的直线为止。当达到该状态时，该设定显示出讨论中的透镜的屈光度。对于散光度数角(cylindera n g I e)和强度，使用一组不同的旋钮。
[0096]对于自动焦度计，通过寻找前后顶焦度和光图案的畸变来实现对透镜的测量。该畸变用于计算散光度数(cylinder)。
[0097]D.Kerr的描述“The Focimeter-Measuring Eyeglass Lenses”(2010年十二月7日)中记载了对焦度计(也称为焦点计)的详细描述。而且，焦点计在iso标准“ISO 8598-1:2014”下限定。
[0098]根据本发明的实施例，眼睛跟踪装置30用于评估由用户戴着的镜片12a的折射能力。镜片12a的一个重要特征是，它们的主折射能力来自后侧，即更靠近眼睛10的一侧。对于眼睛跟踪装置30，这意味着多少有必要不仅观察镜片12a的外表面的反射，而且还获得内表面的反射。
[0099]图6示出戴着眼镜12的用户的眼睛10的图像的示意图。在该图像中，多个反射14、16d、16e、16f是可见的。大反射16d是来自外表面的反射，中等反射16e是来自内表面的反射，最后，小反射16f是在内外表面之间前后反弹的第二反射。直接在瞳孔18处的两个反射14来自角膜。
[0100]为了进一步描述，图7示出眼睛跟踪装置10的光源34的光由用户眼镜的镜片12a以这三种不同方式反射的示意图。由镜片12a的外表面13a反射的光在图像中导致大反射，由镜片12a的内表面13b反射的光导致中等反射，由镜片12a的外表面13a和内表面13b反复反射的光导致小反射16f。
[0101]这些反射16d、16e、16f可用于估计镜片12a的曲率。通过使用额外光源34(尤其是LED)的额外反射将有助于增加折射能力的估计的精度，尤其当LED不共线时。
[0102]总体上，我们在镜片12a中可以看见的每个反射16d、16e、16f给我们提供了两部分信息:反射16d、16e、16f的中心的X和Y分量，即反射16d、16e、16f在图像中的位置的X坐标和
y坐标。
[0103]为了能够计算出镜片12a的折射能力，我们需要对哪种模型类型可用于镜片12a进行一些假设。在此，在简单的模型之间进行选择，精确地模拟最基本的镜片12a和不精确地模拟其它镜片12a。然而，这种简单模型非常易于以少量信息快速获知。在此，对可使用的模型进行简短描述。这些镜片模型均具有许多未知常数，因为镜片12a本身不会在过程中改变。
[0104]每个模型具有5个在每个帧(即每个捕获图像)中改变的未知数，它们是透镜(即镜片12a)的位置和取向。这5个未知数必须在获知与镜片特性有关的任何额外信息之前在每个帧中获得。
[0105]根据薄透镜模型，恒定未知数的数量为I(球面度数(spherical))。薄透镜模型是对厚度可忽略不计(与透镜表面的曲率半径相比)的透镜的常用描述。其折射能力仅由透镜的焦距描述。
[0106]根据基本模型，恒定未知数的数量为1(球面度数(spherical))。基本模型(或厚球面透镜)假设位于透镜两侧的两个表面是完美球面。与薄透镜模型类似，该模型由一个参数描述，即焦距，其由于每个帧中所需的少量信息而可易于获知。与5个可改变未知数和一个恒定未知数一起，仅有必要寻找镜片12a上的三个反射16d、16e、16f的中心，以获知与镜片12a有关的东西。
[0107]根据散光模型，恒定未知数的数量为3个(球面度数(spherical)、散光轴位(cylinder axis)和散光强度(cylinder strength))。该模型是具有散光的人的镜片12a所需要的。这不仅仅具有在所有方向上恒定的球面分量，而且其具有在一个方向上的不同效果。由于3个未知数，有必要看见四个反射16d、16e、16f以仅从一个帧重建整个透镜。然而，甚至在多个不同帧中仅具有三个反射16d、16e、16f便足以随着时间更精确地获知镜片12a的参数，这在下面进行解释。
[0108]根据变焦距模型，恒定未知数的数量是4个(球面度数、散光轴位(cylinderaxis)、散光强度(cyIinder strength)和近分量(near component))。变焦距透镜是类似的散光透镜，但是它们包含透镜上的具有不同折射能力的第二区段。这通常用于能够看见远距尚，但是也能够读书。
[0109]基于这些模型，由用户戴着的镜片12a可以由眼睛跟踪装置30获知，尤其通过如下方式:
[0110]如上所述，我们能够在镜片12a上找到的、识别为反射、并匹配LED之一的每个反射16d、16e、16f给我们提供了两部分信息。反射16d、16e、16f的X和Y分量可用于计算所有未知数、变量和常数。
[0111]额外组的信息在于，左右镜片12a相对彼此总具有相同取向和位置。因此，当一个镜片12a的取向和位置是已知的，我们还可以计算出另一个的位置和取向，一旦我们获得它们的相对位置的话。如果我们已知一个镜片12a的取向和另一个的位置，这也能够适用。在该情形下，我们可以获得丢失的信息，而不需要额外信息。
[0112]而且，我们可以获知镜片12a和眼睛10之间的相对位置。一旦我们获知到该相对位置和取向，则可使用该信息从而能够以更少的反射16d、16e、16f来获知更多。然而，在这方面需要小心，因为当用户自觉地或下意识地移动镜片12a时，眼睛10和镜片12a之间的相对位置可以改变。
[0113]利用所有这些信息，我们可应用某种获知方法，以从反射16d、16e、16f和相对位置和取向得到获知的镜片模型。可以使用的获知方法的列表较大，然而，对于选择方法有一个要求，即其必须对异常数据和噪声稳定，因为精确地检测大反射16d、16e、16f的中心且总正确地识别反射16d、16e、16f和导致反射的LED的类型是困难的。
[0114]可考虑许多不同获知技术，它们共有的一种东西是:使用与帧中的反射16d、16e、16f的观察中心有关的信息来多少匹配透镜模型至看见的数据，并随着时间获知透镜参数。
[0115]获知方法1:两阶段:
[0116]获知技术的一个可能性具有两阶段:第一阶段在单个帧中计算估计的镜片强度。之后，所有这些值必须随着时间组合，以得到透镜的稳定且正确的折射能力。
[0117]针对单个帧获得镜片强度:
[0118]—个选择是通过预先收集数据来使用监管的获知方法，然后使用该数据来了解反射布置的哪种类型由不同强度的镜片12a导致。
[0119]在该情况下，获得的测试数据必须被自动地或手动地注释。对于镜片方法，可以使用许多带有具有已知强度的镜片12a的参与者，镜片强度进入数据库。那么，潜在地在其它值(比如计算的眼睛位置、镜片12a的尺寸等)的帮助下，我们可自动地试图寻找所有反射16d、16e、16f，并获知(I earn)连接反射位置至镜片强度的模型或功能(modal orfunct1n)。
[0120]替代地，我们可以使用上面的模型来从我们可获得的所有信息计算每个帧中的镜片强度。
[0121]计算随着时间的镜片强度:
[0122]上面的问题在于，对于每个帧，镜片强度很不精确。这具有多个原因:
[0123].计算反射16d、16e、16f的中心或者更确切地说是反射16d、16e、16f的最亮点(许多像素饱和，难以弄清楚)总是倾斜向于误差。由于镜片12a的形状，反射16d、16e、16f可以扭曲，可以因镜片12a的框架而被切断，或者可以合并。
[0124].反射16d、16e、16f的类型在许多情形下难以理解，以及导致反射16d、16e、16f?的LED也如此。
[0125].许多帧不具有足够的反射16d、16e、16f和要从中获知很多的其它信息。
[0126]所以在此，我们需要可随着时间稳定性调节模型而不会在不正确或受限量数据的情况下被大量影响的方法。一些方法包括但并不限于RANSAC、粒子滤波和期望最大算法。
[0127].RANSAC:在一组帧上获得的所有镜片强度可以经由RANSAC运行，以寻找最有可能是正确的一个的那个。RANSAC非常擅于避免异常数据(outliers)，但是在计算上非常昂贵，并未被证明收敛至最优解，尽管实验显示出其收敛至最优解。RANSAC还可与任何优化方法组合。
[0128].粒子滤波:粒子滤波通过产生一组潜在镜片强度并随机地在每个帧上修改这些来工作。当新的一组观察进来时(例如经由帧(在帧中可以看见反射))，每个粒子具有关于有多大可能匹配当前的观察的概率。然后，这些概率用于产生新的一组粒子。之后，聚类方法可用于从粒子中寻找最佳镜片强度。该方法的缺点是，当前最佳镜片强度可在有多个群组的情况下跳跃。
[0129].期望最大算法:我们可以将镜片强度的未知数的每一个表示为统计分布。在期望最大算法中，我们想要使用我们在反射方面进行的观察，以寻找镜片特性方面的对于反射16d、16e、16f的最佳解释。具有最高概率的一个是我们可用其来评估镜片强度的那一个。
[0130]利用这些获知方法(learningmethod)，我们能够计算出镜片12a的折射能力，并使用这些值来改进眼睛跟踪质量。
[0131]获知方法I1:最佳拟合:
[0132]该方法通过将透镜最佳拟合至图像中观察的反射来获知镜片参数。在每一时刻，算法具有透镜模型的参数的假设。一开始，这些参数可以手动地输入或者它们可设定为缺省值(default value) ο
[0133]在每个帧中，镜片12a的位置和取向通过进行最佳拟合来获得(5个未知数是位置和取向，给定数据是帧中的反射的观察)。最佳拟合算法寻找未知数(透镜在空间中的位置/取向)的值，使得其尽可能最佳地匹配观察的反射16(1、166、161作为误差函数(6^(^funct1nal)，可例如针对给定透镜位置/取向计算反射16d、16e、16f在图像中的理论位置，并将其与观察的反射位置进行比较(例如使用平方距离准则(squared distance norm)或任何其它度量来测量模型的适切性)。该误差函数可以由任何局部和全局最小化方法来最小化，例如最陆梯度法(steepest gradient method)、Nelder_Mead、遗传算法、直接或随机抽样或其它方法。
[0134]如果该拟合问题是超定的(即如果至少3个反射16d、16e、16f被观察，则给5个未知数位置/取向提供6个条件)，那么最佳拟合结果不是完美的，即误差函数不会为O。该信息可用于获知内部模型参数，例如薄透镜模型的焦距或另一透镜模型的参数。
[0135]现在，位置/取向是已知的，所有其它参数可适配于甚至误差函数的更低值。该适配可以如所述的多种方式完成。对模型参数的适配随着时间的推移应当总是稳定的和平滑的。可直接针对作为未知数的模型参数最小化误差函数，并随时间的推移使这些结果平滑。异常数据应当被抛弃。替代地，可仅缓慢地将模型参数收敛至误差函数的负梯度方向。
[0136]然而，模型参数被适配，如果该适配降低了误差函数，如果该算法用于重建透镜(其参数不会随着时间改变)，则计算的模型参数会朝着真实参数收敛。
[0137]总而言之，本发明描述了一种眼睛跟踪装置和一种操作眼睛跟踪装置的方法，其通过基于检测的反射的位置取决于确定的反射类主动地控制一组光源而改进了跟踪稳定性，从而在非常困难情形中也能以高质量执行眼睛跟踪。
【主权项】
1.一种操作眼睛跟踪装置(30)的方法，所述眼睛跟踪装置用于捕获用户的至少一个眼睛(10)的至少一个特性，其中，所述眼睛跟踪装置(30)包括能够捕获所述用户的至少一个眼睛(10)的图像(36a，36b)的至少一个成像装置(32)、能够照明所述用户的至少一个眼睛(10)的多个光源(34)、能够处理由所述成像装置(32)捕获的图像(36a，36b)的处理单元以及能够单独地控制所述多个光源(34)的光强的控制单元，所述方法包括以下步骤: a)所述成像装置(32)捕获第一图像(36a)，同时所述光源(34)中的至少一个发光；以及 b)所述处理单元处理所述第一图像(36a)，通过处理所述第一图像，所述处理单元确定是否在所述第一图像中检测到反射(14;16;16a;16b;16c;16d;16e;16f); 其特征在于以下步骤: c)如果检测到至少一个第一反射(14;16； 16a； 16b； 16c； 16d； 16e； 16f)，则确定所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中的位置； d)至少基于所述第一图像(36a)中的位置对所述第一反射(14;16； 16a ； 16b ； 16c ； 16d ；16e;16f)进行分类；以及 e)如果所述第一图像(36a)不符合预定质量标准，则至少取决于该分类通过改变所述多个光源(34)的至少一个光源(34)的光强控制所述多个光源(34)。2.如权利要求1所述的方法，其特征在于， 至少取决于确定的位置，将所述至少一个第一反射(14; 16； 16a； 16b； 16c； 16d； 16e；16f)分配给至少两个不同反射类之中的反射类，其中，如果所述第一图像中的检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)符合破坏性反射的预定定义，则将所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)分配给所述反射类的第一类，如果所述第一图像中的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)符合有用反射的预定定义，则将所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)分配给所述反射类的第二类。3.如上述权利要求中任一项所述的方法，其特征在于， 如果在所述第一图像(36a)中，识别出所述用户的头部的一部分(10; 18; 20; 22; 24;26)，则确定该部分(10; 18; 20;22; 24; 26)的位置，并且确定检测的至少一个第一反射(14;16； 16a ； 16b ； 16c ； 16d ； 16e ； 16f)相对于所述头部的该部分(10 ； 18 ； 20 ； 22 ； 24 ； 26)的位置的位置。4.如上述权利要求中任一项所述的方法，其特征在于， 如果所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)符合第一标准中的至少一个，则其符合破坏性反射的预定定义: -检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)被确定为不是由用户眼睛(10)反射的； -检测的至少一个第一反射(14; 16; 16a； 16b； 16c； 16d； 16e； 16f)由所述用户戴着的眼镜(12)或镜片(12a)反射； -检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)具有大于预定值的尺寸。5.如上述权利要求中任一项所述的方法，其特征在于， 如果所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)符合第二标准中的至少一个，则其符合破坏性反射的预定定义: -检测的至少一个第一反射(14; 16;16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中遮挡所述眼睛(10)的一部分，尤其是需要用来确定所述眼睛(10)的至少一个特性的一部分； -检测的至少一个第一反射(14; 16;16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中部分地或完全地遮挡所述眼睛(10)的瞳孔(18); -检测的至少一个第一反射(14; 16;16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中部分地或完全地遮挡所述眼睛(1)的虹膜(20); -检测的至少一个第一反射(14; 16;16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中部分地或完全地遮挡所述眼睛(1)的巩膜(22); -检测的至少一个第一反射(14; 16;16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中部分地或完全地遮挡所述眼睛(10)的血管； -检测的至少一个第一反射(14; 16;16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中部分地或完全地遮挡所述眼睛(10)的眼睑(24); -检测的至少一个第一反射(14; 16;16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中部分地或完全地遮挡所述眼睛(10)的眼睑角(26); -检测的至少一个第一反射(14; 16;16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中遮挡所述眼睛(10)的一部分(26)，在该部分，希望检测到有用反射。6.如权利要求4或5所述的方法，其特征在于， 在处理所述第一图像(36a)期间，所述处理单元通过分析所述第一图像(36a)检查所述第一标准中的至少一个和/或所述第二标准中的至少一个。7.如上述权利要求中任一项所述的方法，其特征在于， 如果在步骤b)中，检测到被确定为由所述眼睛(10)反射的至少两个第一反射(14; 16;16a ； 16b ； 16c ； 16d ； 16e ； 16f)，并且所述至少两个第一反射(14; 16； 16a； 16b； 16c； 16d； 16e；16f)被确定为彼此之间包含一距离，该距离小于预定值，则确定发出了导致所述至少两个反射(14; 16; 16a;16b;16c;16d;16e; 16f)的光的光源(34)，并且改变、尤其关闭确定的光源(34)中的至少一个的强度。8.如上述权利要求中任一项所述的方法，其特征在于， 如果检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d； 16e； 16f)未被确定和/或分类为破坏性反射，则其符合有用反射的定义。9.如上述权利要求中任一项所述的方法，其特征在于， 如果检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d； 16e； 16f)未被确定和/或分类为破坏性反射且符合第三标准中的至少一个，则其符合有用反射的定义: -检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d;16e;16f)是闪烁或普尔钦像，尤其是来自所述眼睛(10)的角膜的外表面和/或来自所述眼睛(10)的角膜的内表面和/或来自所述眼睛(10)的晶状体的前表面和/或来自所述眼睛(10)的晶状体的后表面的反射； -检测的至少一个第一反射(14; 16； 16a； 16b； 16c； 16d； 16e; 16f)由所述眼睛(10)的巩膜(22)反射； -检测的至少一个第一反射(14; 16； 16a； 16b； 16c； 16d； 16e; 16f)由所述眼睛(10)的眼睑(24)反射； -检测的至少一个第一反射(14; 16; 16a； 16b； 16c； 16d； 16e； 16f)由所述用户的与所述眼睛(10)和眼睑(24)不同的面部部分反射，尤其是与所述眼睛(10)相距最大距离内的面部部分； -检测的至少一个第一反射(14; 16; 16a； 16b； 16c； 16d； 16e； 16f)由所述用户戴着的眼镜(12)的镜片(12a)的前表面和/或后表面反射。10.如权利要求9所述的方法，其特征在于， 在处理所述第一图像(36a)期间，所述处理单元检查所述第三标准中的至少一个。11.如权利要求1所述的方法，其特征在于， 在步骤e)中，如果所述至少一个第一反射符合破坏性反射的预定定义则控制所述多个光源(34)以移除所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)和/或在捕获的第二图像(36b)中产生符合有用反射的预定定义的至少一个第二反射。12.如上述权利要求中任一项所述的方法，其特征在于， 如果检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)既不符合破坏性反射的定义，也不符合有用反射的定义，则其被分类为中立反射，并被分配给第三反射类。13.如上述权利要求中任一项所述的方法，其特征在于， 如果检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)被分类为破坏性反射或中立反射，则所述多个光源(34)中的至少一个光源(34)被确定为发出导致所述破坏性反射或中立反射的光，至少一个确定的光源(34)的光强减小或尤其至少一个确定的光源(34)被关闭，以捕获第二图像(36b)。14.如上述权利要求中任一项所述的方法，其特征在于， 如果检测的至少一个第一反射(14; 16； 16a； 16b； 16c； 16d； 16e； 16f)被分类为有用反射，且没有满足预定质量标准，则至少一个质量特征从所述第一图像(36a)中得到，并且所述多个光源(34)中的至少一个光源(34)被确定为发出了导致所述有用反射的光，并且至少一个确定的光源(34)的光强取决于得到的质量特征而改变，以捕获第二图像(36b)。15.如上述权利要求中任一项所述的方法，其特征在于， 所述多个光源(34)中的至少一个不活动的光源(34)被确定为产生有用反射，尤其是由角膜的内表面和/或外表面反射的反射，确定的光源(34)被打开以捕获第二图像。16.如权利要求12至14中任一项所述的方法，其特征在于， 尤其基于检测的至少一个第一反射(14; 16; 16a; 16b; 16c； 16d； 16e； 16f)的位置，通过分析所述第一图像(36a)来确定所述光源(34)。17.如权利要求12至14中任一项所述的方法，其特征在于， 通过使用所述眼睛(10)的模型和/或所述用户的面部的模型和/或由所述用户戴着的眼镜(12)的模型和/或光源(34)的给定位置和/或所述成像装置(32)的给定位置来确定所述光源(34)。18.如权利要求14至16中任一项所述的方法，其特征在于， 基于已确定为发出导致检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)的光的光源(34)的位置来确定期望产生有用反射的光源(34)。19.如上述权利要求中任一项所述的方法，其特征在于， 该方法包括以下步骤: f)打开所述多个光源(34)中的一个光源(34)，捕获第二图像(36b)，其中，所述第二图像(36b)与所述第一图像(36a)进行比较，如果在所述第一图像(36a)中不存在的第二位置上确定了所述第二图像(36b)中的第二反射，则所述一个光源(34)被确定为发出了导致所述第二反射的光。20.如上述权利要求中任一项所述的方法，其特征在于， 该方法包括以下步骤: g)关闭所述多个光源(34)中的在捕获所述至少一个第一图像(36a)期间发光的一个光源(34)，以捕获第二图像(36b)，所述第二图像(36b)被捕获，并与所述第一图像(36a)进行比较，如果所述第二图像(36b)中的反射与所述第一图像(36a)相比消失了，则所述一个光源(34)被确定为发出在所述第一图像(36a)中导致在所述第二图像(36b)中消失了的反射的光。21.如上述权利要求中任一项所述的方法，其特征在于， 对于一系列随后捕获的图像(36a;36b)，重复步骤f)和/或步骤g)，直到完全确定哪些光源(34)产生哪些反射(14;16;16a;16b;16c;16d;16e;16f)为止。22.如上述权利要求中任一项所述的方法，其特征在于， 所述光源(34)中的每一个具有彼此不同的特定特性，其中，该特性由发出具有特定波长频谱的光的所述光源(34)中的每一个提供和/或该特性由构造成从具有显著形状的发射区域发出光的所述光源(34)中的每一个提供，其中，每个光源(34)的显著形状彼此不同，其中，所述处理单元使用所述特定特性来确定发出了检测的至少一个第一反射(14; 16; 16a;16b;16c;16d;16e;16f)的光源(34)。23.如上述权利要求中任一项所述的方法，其特征在于， 如果至少两个反射(16; 16a; 16b; 16c; 16d; 16e; 16f)被检测为由所述用户戴着的镜片(12a)反射，贝Ij基于至少两个检测的反射(16; 16a; 16b ； 16c ； 16d ； 16e ； 16f)及其确定的位置来确定所述镜片(12a)相对于所述用户的面部的位置。24.如上述权利要求中任一项所述的方法，其特征在于， 如果检测的至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)被确定为从由用户戴着的镜片(12a)反射，则基于所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)的位置，确定所述镜片(12a)的特性，尤其是所述镜片(12a)的折射能力。25.如权利要求24所述的方法，其特征在于， 镜片(12a)的确定的特性用于确定所述用户眼睛(10)的至少一个特性。26.如上述权利要求中任一项所述的方法，其特征在于， 从所述第一图像(36a)，确定所述眼睛(10)在所述第一图像(36a)中的位置，确定检测的至少一个第一反射(14; 16; 16a; 16b; 16c)相对于所述眼睛(10)的位置的位置和/或基于所述眼睛(10)的位置和眼睛(10)模型来确定所述多个光源(34)的导致该反射的光源(34)和/或基于所述眼睛(10)的位置和眼睛模型并额外地基于所述光源(34)的位置和所述成像装置(32)的位置确定所述多个光源(34)中期望产生有用或破坏性或中立反射的光源(34)。27.如上述权利要求中任一项所述的方法，其特征在于， 通过处理由加速计和/或磁力计和/或姿态传感器提供的输入信号来确定所述多个光源(34)中产生和/或产生破坏性或有用或中立反射的光源(34)，所述姿态传感器确定所述眼睛跟踪装置(30)相对于用户头部和/或眼睛(10)的空间取向。28.如上述权利要求中任一项所述的方法，其特征在于， 所述成像装置(32)捕获第二图像，同时所述多个光源(34)中的至少一个光源(34)发光，所述处理单元比较所述第一图像和所述第二图像，如果在所述第一图像(36a)中，所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)被检测为有用反射，在所述第二图像中，在所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)的确定位置处没有检测到反射，则基于所述第一图像(36a)中的检测的有用反射，确定期望产生有用反射的光源(34 )，确定的光源(34)被打开，以捕获第三图像。29.眼睛跟踪装置，用于捕获用户的至少一个眼睛(10)的至少一个特性，其中，所述眼睛跟踪装置(30)包括能够捕获所述用户的至少一个眼睛(10)的图像(36a，36b)的至少一个成像装置(32)、能够照明所述用户的至少一个眼睛(10)的多个光源(34)、能够处理由所述成像装置(32)捕获的图像(36a，36b)的处理单元以及能够单独地控制所述多个光源(34)的光强的控制单元，其中， a)所述成像装置(32)能够捕获第一图像(36a)，同时所述光源(34)中的至少一个发光；以及 b)所述处理单元能够处理所述第一图像(36a)，通过处理所述第一图像(36a)，所述处理单元确定是否在所述第一图像(36a)中检测到反射； 其特征在于， c)如果检测到至少一个第一反射(14;16; 16a; 16b; 16c; 16d; 16e; 16f)，则所述处理单元能够确定所述至少一个第一反射(14; 16; 16a; 16b; 16c; 16d; 16e; 16f)在所述第一图像(36a)中的位置； d)所述处理单元能够至少基于所述第一图像(36a)中的位置对所述第一反射(14;16;16a； 16b； 16c； 16d； 16e； 16f)进行分类；以及 e)所述处理单元能够检查所述第一图像(36a)是否符合预定质量标准，如果所述第一图像(36a)不符合所述预定质量标准，则所述控制单元能够至少取决于该分类通过改变所述多个光源(34)的至少一个光源(34)的光强控制所述多个光源(34)。
【文档编号】A61B3/113GK105828700SQ201480067422
【公开日】2016年8月3日
【申请日】2014年12月9日
【发明人】C.卡拉菲, M.尼泽, F.万纳, W.尼斯迪克
【申请人】传感运动器具创新传感技术有限公司