具有减少的反射的图像获取的制作方法

本发明涉及头部或眼睛检测的领域，即，借助于图像获取和处理来检测并且可能跟踪用户头部的目标区域、特别是眼睛。更具体地说，本发明涉及此类系统中的图像获取。

背景技术：

在一些头部/眼睛检测/跟踪应用中，使用多传感器成像、即通过至少两个图像传感器进行的成像来提供更强大且可靠的眼睛跟踪。多传感器成像的一个特别的优点是可以确定到目标区域的距离。在多传感器成像中，将从两个(或更多个)图像传感器同时获取的图像进行合并以形成一个合并的图像帧，然后使用其来建立用户的注视(或视点)。

然而，在ep2823751中已经提出以较小时间间隔从两个图像传感器获取图像。这种途径允许对每个图像使用不同的光源(闪光)，从而在图像处理中、尤其是对于在传感器与光源之间需要某个最小角度间隔的暗瞳成像而言提供了优点。在ep2823751中，然后将这两个图像当成好像它们是同时获取的并以常规方式进行合并以形成一个合并的图像帧。

头部/眼睛跟踪的另一个潜在问题是例如由用户配戴的眼镜引起的不期望的反射(reflex)。不期望的反射可能是由系统的照明引起的，并且因此可能具有相对强的光强度并且倾向于干扰头部/眼睛跟踪过程。ep1349487中提出了一种用于在单一传感器系统中处理不期望的反射的影响的途径。根据这种途径，在连续的图像帧中施加交替的照明，然后将这些连续的图像帧以消除或减少不期望的反射的方式合并。期望在多传感器眼睛跟踪中也减少此类反射的影响。

技术实现要素：

本发明的总体目的是提供一种改进的或替代性的多传感器头部跟踪方法。本发明的具体目的包括减少多传感器头跟踪时反射的影响。

根据本发明的第一方面，提供了一种用于获取用户头部的目标区域的图像的方法，该方法包括以下步骤：提供彼此相隔至少五厘米的第一图像传感器和第二图像传感器；提供至少一个被布置用于照明该目标区域的光源；使用该第一图像传感器和该至少一个光源中的至少一个光源来获取该目标区域的第一图像；以及使用该第二图像传感器和该至少一个光源中的至少一个光源来获取该目标区域的第二图像。该方法进一步包括通过以下方式来对该第一图像和该第二图像进行预处理：对该第一图像和该第二图像中的至少一个执行空间变换以补偿不同的图像获取角度、并且至少部分地从该第一图像和该第二图像中去除不期望的反射以形成第一和第二反射减少的图像。

根据本发明的第二方面，提供了一种用于获取用户头部的目标区域的图像的系统，该系统包括：第一和第二图像传感器，这两个图像传感器被布置成彼此相隔至少五厘米并且被布置用于获取该目标区域的图像；至少一个用于照明该目标区域的光源；图像获取控制器，该图像获取控制器被配置用于控制该第一图像传感器在该至少一个光源中的至少一个光源的照明下获取该目标区域的第一图像，并且控制该第二图像传感器在该至少一个光源中的至少一个光源的照明下获取该目标区域的第二图像。该系统进一步包括处理电路，该处理电路被配置用于对该第一和第二图像中的至少一个执行空间变换以补偿不同的图像获取角度、并且至少部分地从该第一和第二图像中去除不期望的反射以形成第一和第二反射减少的图像。

图像减少的图像可以用于检测和/或跟踪目标区域的特性，例如眼睛的特性、比如眼睛姿势或注视方向。

应注意，“反射减少的图像”不一定相当于由图像传感器获取的图像，而可以是这些图像的某种其他表示。

在单一传感器系统中(如在ep1349487中)，用同一传感器来获取两个连续的帧，从而确保对物体的视角是相同的。然而，ep1349487中方法的挑战在于，这些帧在时间上是分离的(至少相隔了传感器的帧速率)，这引入了物体的潜在运动。

根据本发明，这些状况大为相反。通过使用两个传感器，并且如ep2823751中详细讨论的，可以以使得任何运动都可忽略并且出于眼睛跟踪的目的而不必被考虑的小的时间间隔来获取帧。事实上，在一些实现方式中，可以在同一时刻获取图像。另一方面，这些传感器是空间上分开的，使得用于形成合并图像的两个帧的视角是不同的。本发明是基于以下令人惊讶的认识：虽然两个帧的视角不同，但是仍可以通过使用适当的空间变换来消除或减少不期望的反射。

总体上，本发明涉及使用从一个图像传感器获取的信息来改善由另一个图像传感器获取的图像的品质。发明人已经认识到使用这种一般原理来减少在多传感器系统中所获取的两个不同图像中的反射的益处。由于系统固有地具有更多传感器，因此可以基本上不增加成本地提供反射减少。因此，本发明使得能够甚至在物体正快速移动时且甚至当在所获取的帧中存在例如来自眼镜的不期望的反射时，改善对物体的目标区域的跟踪。

在此应注意的是，“不期望的”反射在此是指对目标区域的检测没有贡献并且实际上会干扰检测的反射。不应将它们与目标区域中的预期反射(例如用户眼睛中的光亮反射(reflection))相混淆，后者典型地对于提供令人满意的检测性能是至关重要的。“不期望的”反射可能由光源的照明引起，但也可能是由环境光照引起的。

传感器之间的间隔必须足以允许识别和消除不期望的反射。典型地，这意味着至少五度的角度间隔(即，在两个传感器与目标物之间形成的角度)。在实际应用中，传感器与目标物之间的距离至少为0.5米的情况下，这意味着传感器之间的间隔应为至少五厘米。在一个特定实例中，传感器与目标区域之间的距离为约70cm，而传感器之间的间隔为8cm，从而得到角度间隔为2×tan^-1(4/70)＝6.5度。

在一个实施例中，在获取第一图像和第二图像两者期间，使用一个单一光源。这使得系统简单且具有成本效益。如果打算进行暗瞳成像，则需要将光源布置成离轴，使得在单一光源与所述第一和第二图像传感器中的每个传感器之间的角度间隔足以提供暗瞳图像。对于典型的使用情况，这意味着至少五厘米、或甚至至少八厘米。为了获得能够用两个传感器进行暗瞳成像的紧凑系统，有利的是将单一光源与两个传感器等距地放置，以形成三角形。

在另一个实施例中，在获取第一和第二图像期间，使用两个不同的光源。换句话说，该至少一个光源包括第一光源和第二光源，并且使用第一光源来获取第一图像，而使用第二光源来获取第二图像。

通过使用两个光源，可以实现更紧凑的系统。并且，可以针对每个传感器使用不同的波长，由此允许同时成像。

优选地，第一图像传感器和第二光源位于第一位置，并且第二图像传感器和第一光源位于第二位置。这确保了非常紧凑的系统，其使用该系统的外部尺寸来分隔这些传感器并且分隔光源与传感器。关于传感器和光源的放置，这个系统类似于ep2823751中所披露的系统。

将图像传感器和光源布置在相同的位置是指将它们布置成彼此太靠近以至于无法提供令人满意的暗瞳图像。相反，将图像传感器和光源布置在不同的位置是指将它们布置成彼此间隔开足够远而提供令人满意的暗瞳图像。

空间变换可以基于图像传感器的内在参数和外在参数，并且可以通过调整一个或几个未知参数来迭代地执行，直到两个图像之间的相关性度量被最大化。

为了减少所需的迭代次数，空间变换可以使用每个图像传感器与目标区域之间的距离估计值作为起始近似值。

在一个实施例中，将第一图像进行空间变换并且用于减少第二图像中的反射，而将第二图像进行空间变换并且用于减少第一图像中的反射。

在另一个实施例中，将第一和第二图像各自变换并且彼此进行比较以提供单一的反射减少的图像，并且接着将该单一的反射减少的图像反向变换为这些反射减少的图像。

应注意，本发明涉及权利要求中引用的特征的所有可能组合。

附图说明

将参考附图更详细地描述本发明，附图中示出了本发明的当前优选实施例。

图1示出了根据本发明的第一实施例的眼睛跟踪系统的示意性俯视图。

图2a和图2b示出了用于图1的系统的两种可能的控制方案。

图3a示出了根据本发明的第二实施例的眼睛跟踪系统的示意性俯视图。

图3b示出了图3a中的图像传感器和光源的前视图。

图4示出了用于图3a至图3b的系统的可能的控制方案。

图5是根据本发明实施例的图1和图2a的处理电路的功能框图。

图6是根据本发明的实施例的方法的流程图。

图7a和图7b展示了可以如何执行图6中的步骤s1-s4的两个实例。

具体实施方式

在下面的描述中，头部的目标区域是用户的眼睛，并且跟踪系统是眼睛跟踪系统。然而，目标区域同样可以是头部的任何其他区域。

图1示出了根据本发明的第一实施例的眼睛跟踪系统1，该眼睛跟踪系统被布置在离用户100为距离d1处。距离d1通常在40cm至120cm的范围内，并且最典型地为“手臂长度”、即约60-70cm。眼睛跟踪设备1包括两个图像传感器2a、2b(例如，cmos图像传感器)以及合适的光学器件3a、3b。

眼睛跟踪设备1具有中心轴线a，第一图像传感器2a具有第一光轴线b，并且第二图像传感器2b具有第二光轴线c。在所展示的实例中，光轴线b、c与中心轴线a平行并且总体上指向用户100。在不同的实例中，图像传感器2a、2b的光轴线b、c可以被布置成朝向中心轴线a略微会聚。这可以改进图像处理。

将第一与第二图像传感器之间的距离d2选择为大到足以使得由第一光源4a和第二光源4b的照明引起的反射是可区分的。适当的距离d2取决于距离d1，并且在正常操作条件下，距离d2应至少为5cm。同时，通常期望避免太大的间隔，因为这会增大系统的尺寸。因此，距离d2的正常范围是5-12cm，并且作为实例，d2可以为约8cm。

图1中的系统进一步包括两个光源4a、4b，典型地被配置为发射在可见范围之外的光，比如红外(ir)光或近红外(nir)光。光源4a、4b可以是固态光源，比如led。在所展示的实例中，光源4a、4b是被配置用于发射具有的光谱集中在以约850或940nm(nir)为中心的50nm带中的光的led。

每个图像传感器可以进一步设有光学带通滤波器5a、5b，例如干涉滤波器。第一滤波器5a和第二滤波器5b可以被配置为具有基本上对应于光源4a、4b的发光光谱的通带。因此，在上述实例中，滤波器5a、5b应具有约825-875nm或915-965nm的通带。窄带光源和窄通带滤光的结合使得图像获取系统对周围的光(例如，日光)敏感性较低。

在所展示的实例中，第一图像传感器2a和第一光源4a布置在第一位置10a，而第二图像传感器2b和第二光源4b布置在第二位置10b。第一和第二位置位于中心光轴线a的相反两侧。在此，表达“相同的位置”表明光源的光轴线和图像传感器的光轴线彼此太靠近以致于无法提供令人满意的暗瞳图像。相反，将图像传感器和光源布置在不同的位置是指将它们布置成彼此间隔开足够远而提供令人满意的暗瞳图像。

图像获取控制器6(为了简洁起见以下称为“控制器”)连接至图像传感器2a、2b和光源4a、4b，并且被编程用于控制图像传感器2a、2b在光源4a、4b的交替照明下交替地获取图像。更具体地，当一个位置10b处的图像传感器2b获取图像时，激活另一个位置10a处的光源4a。类似地，当第一图像传感器2a获取图像时，激活第二光源4b。

一种选择是使光源4a、4b持续发光，并且在光源4a、4b的前方布置机械或光电快门。接着，控制器6可以通过打开相应的快门来激活选定的光源。

然而，典型地，为了节省能量和功耗，将光源控制成仅当相应图像传感器的电子快门打开时发光。作为实际实例，光源4a、4b被脉冲触发，这些脉冲的占空比被选择为提供足够获取一个图像帧的照明。换句话说，脉冲宽度对应于图像传感器获取一个图像所需的时间。

如果使用相同的光源和滤波器5a、5b，则光传感器2a、2b的激活需要相隔小的时间距离，使得每个图像传感器仅接收来自一个光源的光。这种时间间隔典型地将比帧周期(即，在跟踪过程中连续帧f1、f2之间的时间)小得多。实际上，该间隔在100μs至500μs的范围内，而帧周期是在ms的量级，例如对于50hz的帧速率为20ms。因此，每个光源4a、4b的脉冲序列在时间上相对于彼此略微偏移，如图2a所示。控制器6进一步控制图像传感器2a、2b与来自光源4a、4b的光脉冲同步地交替获取图像。在图2a的实例中，图像传感器2a在t1和t2处开始获取图像，而图像传感器2b在时刻t3和t4开始获取图像。在ep2823751中披露了这种类型的图像获取过程的更多细节，该文献通过援引并入本文。

替代性地，光源4a和4b具有在不同波长区域内的发射光谱，并且图像传感器2a、2b设有对应的滤波器5a、5b。在这种情况下，将不存在“光泄漏”，并且可以同时激活光源4a、4b两者，并且在每个帧f1、f2中可以通过两个图像传感器2a、2b同时获取图像。换句话说，t3＝t1并且t4＝t2。在图2b中展示了这个控制方案。

眼睛跟踪系统1进一步包括处理电路7，该处理电路被连接来接收由图像传感器2a、2b获取的图像11a、11b并处理这些图像。处理电路7可以与控制器6集成或者可以与控制器6分离。在使用中，眼睛跟踪系统1被布置用于获取用户100的眼睛的目标区域的图像。处理电路7被配置用于合并图像以形成合并的图像帧，这些合并的图像帧被用于跟踪眼睛的运动，以便获取各种信息。例如，处理电路系统7被编程来获得用户的注视方向、或者检测用户的睡意。

图3a示出了根据本发明另一个实施例的眼睛跟踪系统101。如图1中一样，系统101包括两个具有光学器件3a、3b和可选滤波器5a、5b的图像传感器2a、2b。距离d1和d2与以上讨论的相似。

与图1中的系统1相反，图2中的系统101仅具有一个光源104，该光源布置在图像传感器2a、2b之间。如果期望增大每个图像传感器2a、2b与光源104之间的距离，例如如果采用暗瞳处理，则将光源与图像传感器的光学平面(即，由光轴线b和c产生的平面)相隔距离d3可能是有利的，如图3b所示。

类似于图1中的控制器6，图像获取控制器106被配置用于控制系统101中的图像传感器2a、2b和光源104。然而，在此，由于仅存在一个光源，因此可以同时激活这两个图像传感器。并且在此，光源104优选地由具有适当占空比的脉冲信号控制，并且图像传感器与该脉冲信号同步。这在图4中展示出，其中光源4a、4b两者分别在帧f1和f2中在时刻t1和t2被激活。

系统101进一步具有类似于图1中的处理电路的处理电路7。

图5更详细地示出了处理电路7。处理电路7包括预处理模块8和跟踪模块9。预处理模块8接收所获取的图像11a、11b、并且包括用于对图像进行空间变换的图像变换功能8a、以及用于减少或消除图像的不期望的反射的反射减少/消除功能8b。跟踪模块9使用经反射消除的图像12a、12b来执行对目标区域的跟踪(在此为眼睛或头部跟踪)。处理电路7的各个部分可以被集成到单一硬件或软件单元中、或者作为两个或更多个单独的硬件或软件单元。下文将更详细地讨论由处理电路7的各个部分执行的处理。

参考图6，现在将讨论眼睛跟踪系统1、101的操作。首先，在步骤s1中，使用第一图像传感器2a、与第二光源4b(系统1)或光源104(系统101)同步地捕获第一图像。因此，用户100被第二光源4b或光源104照明，并且从目标区域反射的光被第一图像传感器2a接收并存储在其中(可选地，在通过第一滤波器5a之后)。

在步骤s2中，使用第二图像传感器2b、与第一光源4a(系统1)或光源104(系统101)同步地捕获第二图像。第二图像的捕获方式与第一图像的捕获方式相似。也就是说，用户100被第一光源4a或光源104照明，并且从目标区域反射的光被第二图像传感器2a接收并存储在其中(可选地，在通过第一滤波器5a之后)。

如上所述，取决于系统的设计，可以同时或者以远小于帧周期的微小时间间隔来获取两个图像。

在步骤s3和s4中，预处理模块8使用来自所存储的第一图像和第二图像的信息，来识别并且去除(或至少减少)不期望的反射。由于第一图像传感器2a和第二图像传感器2b在空间上分开，因此第一图像和第二图像是从不同角度获取的，并且可能(在系统1中)目标区域也从不同角度被照明。因此，目标区域中任何不期望的且潜在地为干扰性的反射将出现在两个图像中的略微不同的地方，并且通过使用来自这两个图像的信息，可以识别反射。最成问题的不期望的反射典型地由跟踪系统的照明产生，但是环境光也可能引起干扰性反射，这是可以通过所披露的方法减少的。

首先，在步骤s3中，对图像11a、11b之一或两者进行空间变换，以补偿是从不同角度获取图像的事实。图像的这种空间变换可以是基于关于外在和内在传感器参数的已知信息。在此，内在参数对图像传感器的内部几何形状和光学特性进行建模，以确定光如何透过透镜被投射到传感器的像平面上，而外在参数涉及传感器的位置和取向、例如传感器之间的距离d2。空间变换还可以是基于目标区域的模型、例如用户眼睛的模型。然后可以对这些图像和在迭代过程中调整的未知参数中的一个或全部应用空间变换，直到图像的相关性度量被最大化。

距离d1是未知参数的一个实例。应注意，该系统典型地能够基于来自两个传感器2a、2b的图像来提供距离d1的估计值，以用作起始近似值。

当已经对图像进行空间变换后，可以将它们当成好像它们是从相同位置获取的，并且在步骤s4中，逐像素地将它们进行比较，以消除不期望的反射。这样的比较可以简单地是从两个图像中逐像素地选择最低的强度。得到的是反射减少的图像，其中仅在一个图像中出现的亮区已经被去除。然而，如果图像之一是未变换的(原始)图像，则尽可能多地维持这个图像可能是有利的。在那种情况下，比较可能是更复杂的并且例如包括阈值强度差异，以便区分由不期望的反射引起的差异和例如由阴影引起的差异。

应注意，词语“像素”在此被用作“图片元素”，并不一定意味着数字图像格式。可以使用模拟信号和数字信号两者，并且可以在硬件或软件中串行或并行地执行这种比较。

若干种途径可以使用上述原理来获得两个反射减少的图像，并在图7a-b中进行了简要展示。

在一种途径中(图7a)，将第一图像11a进行空间变换并且用于减少第二图像11b中的反射，而将第二图像11b进行空间变换并且用于减少第一图像11b中的反射。用这种途径，可以在每个反射减少的图像12a、12b中维持尽可能多的来自原始图像的信息。

在另一种途径中(图7b)，将每个图像11a、11b进行变换(例如，将两个图像变换成就好像它们是沿着中心轴线a获取的)。将变换后的图像进行比较以提供一个反射减少的图像，然后将其反向变换为两个反射减少的图像12a、12b。

在步骤s5中，跟踪模块9使用反射减少的图像12a、12b来执行图像处理以在这个特定帧中识别目标区域。跟踪模块9可以例如分析图像12a、12b并且通过将虹膜的位置与面部的其他点相关联来确定用户的虹膜的位置或者注视方向。该处理可以包括合并这两个图像12a、12b以形成包括来自第一和第二图像两者的信息的合并的图像帧，但是该处理也可以单独对待这些图像。

通过重复步骤s1至s5，眼睛跟踪系统1能够连续地跟踪目标区域，例如注视方向。

本领域的技术人员认识到，本发明决不会局限于上文描述的优选实施例。相反地，在所附权利要求的范围内，许多修改和变化是可能的。例如，清楚的是，在一些应用中可以使用多于两个图像传感器。例如，如果使用三个图像传感器，则可以使用来自一个传感器的信息来减少或消除来自其他两个传感器的图像中的干扰性反射。或者，可以使用来自第一传感器的图像来减少来自第二传感器的图像中的不期望的反射，可以使用来自第二传感器的图像来减少来自第三传感器的图像中的不期望的反射，并且可以使用来自第三传感器的图像来减少来自第一传感器的图像中的不期望的反射。