注视点映射的方法和装置制造方法

注视点映射的方法和装置制造方法
【专利摘要】一种将对象在场景图像上的注视点映射成参考图像中的注视点的装置，其中所述场景图像和索索参考图像由相机从不同位置拍摄得到，所述装置包括：用于在所述参考图像上执行特征检测算法的模块，以在所述参考图像上识别多个特有特征和它们的位置；用于在所述场景图像上执行所述特征检测算法的模块，以在所述场景图像上再次识别所述多个特有特征和它们的位置；用于确定点转移映射的模块，所述点转移映射，基于在所述参考图像和所述场景图像中检测到的所述多个特有特征的位置，将点位置在所述场景图像和所述参考图像之间转换；用于使用所述点转移映射的模块，以将已在所述场景图像中确定的注视点映射成其在所述参考图像中的相应点。
【专利说明】注视点映射的方法和装置
【技术领域】
[0001]本发明涉及用于注视点映射(gaze point mapping)的方法和装置,特别是用于将对象的注视方向映射成场景中的注视点的方法和装置。
【背景技术】
[0002]需要解决的问题是找到(可能是移动的)人所注视的点或对象或更具体地是对象表面的一部分。已经有现存的解决该问题的方案，该方案描述如下并且可被分成几个单独的部分。
[0003]首先，要找到人的注视方向(或者其代表，例如瞳孔/CR组合、角膜中心、瞳孔/异色边缘等。
[0004]这种注视方向被映射到由头戴式场景相机或任何固定位置的场景相机捕捉到的场景图像上。该头戴式场景相机相对于眼睛是固定的，因此一旦执行了相应的校准，即可进行这种映射。
[0005]下一步是将头戴式相机捕捉到的场景图像中的注视点(该注视点由于对象的移动而可以改变)映射成(稳定的)参考图像中的点，其不会移动且对应于“真实世界”对象。
[0006]为了确定注视方向，可以使用眼追踪器。眼追踪器观察眼睛的特征，例如瞳孔、异色边缘、巩膜上的血管或光源的反射(角膜反射)以计算注视方向。
[0007]任何种类的眼追踪器都可被使用，只要它允许将注视方向映射到头戴式场景相机的图像中。
`[0008]如果对象的头部不移动，一旦校准完成，注视方向的确定直接得出在参考图像上的注视点。在头部不移动的这种特殊情况下，校准使得将注视方向从场景图像中的点映射成参考图像中的点，因为场景图像和参考图像是相同的，因为头戴式相机不移动，而是相对参考图像具有固定的位置。
[0009]但是，如果头部和眼睛移动，基于相对特定场景图像(头部移动后由头戴式相机拍摄得到)的注视方向的检测来确定不移动的参考图像中的注视点变得更加复杂，因为该场景图像不再与之前用于相对参考图像中的相对注视点校准注视方向的参考图像相同。
[0010]一个可能的确定注视点的途径是将注视方向与相对眼追踪器确定的虚拟场景平面相交。WO 2010/083853 Al公开了使用主动IR标记物用于该目的，该标记物固定至特定位置，例如附接至书架。这些标记物相对于“测试场景”的位置首先通过两个正交IR线检测器被检测，“测试场景”用作由头戴式相机获得的“参考”图像，这两个检测器通过检测两个线传感器的最大强度来检测两个正交角度。检测到的IR源的角度对应于其在参考图像中的位置。随后，为头戴式相机从不同位置拍摄的随后检测场景检测标记物的角度，从而检测IR源在随后场景图像中的位置。随后，再确定“立体投影”，其是将所检测到的IR源在随后拍摄的图像(场景图像)中的位置(此时头戴式相机位于不同的位置)转换成IR光源在测试图像(或参考图像)中的位置的映射过程。借助这种转换，之后测定的场景图像的注视点可被转换成测试图像中相应的(真实)注视点。[0011]通过相对场景稳定标记物，而非相对眼追踪器(ET)，来界定注视点被映射的平面，使得将来自实际“场景图像”的注视点映射到不随时间变化的稳定的参考图像中变得可能。这样，参考图像的平面变得随时间变化而稳定，并且其他参与者的注视也可被映射到其中，因而注视点信息可随时间和参与者变化而被聚集，就像之前只能使用位于固定位置的眼追踪器做到的一样。
[0012]为此，如WO 2010/083853 Al所描述的，现有技术使用IR源作为人工标记物，其位置可通过正交IR线检测器而被检测，从而检测最大发射角。利用IR源作为标记物来确定注视点的从场景图像向参考图像的转换的做法很复杂并且不方便。它需要安装人工IR光源，并且需要具有包括两个正交线传感器的额外IR检测器。因此，期望提供一种途径，即使头戴式场景相机移动，也能够在不存在外部标记物的情况下确定出注视点映射。

【发明内容】

[0013]根据一个实施方式，本发明提供一种用于将对象在场景图像上的注视点映射成参考图像中的注视点的装置，其中所述场景图像和所述参考图像由相机从不同的位置拍摄，所述装置包括:
用于在所述参考图像上执行特征检测算法的模块，用于识别多个特有特征和它们在所述参考图像中的位置；
用于在所述场景图像上执行所述特征检测算法的模块，用于再次识别所述多个特有特征以及它们在所述场景图像中的位置；
用于确定点转移映射的模块， 所述点转移映射基于在所述参考图像和所述场景图像中检测到的所述多个特有特征的位置而将点位置在所述场景图像和所述参考图像之间转换；
用于使用所述点转移映射的模块，从而将已在所述场景图像中确定的注视点映射成其在所述参考图像中的相应点。
[0014]这使得能够实现注视点映射，而不需要任何人工IR源或IR检测器。它可以在由常规CCD-相机(在可见频率范围内操作)拍摄的自然场景的正常且无修改的图像上操作。
[0015]根据一个实施方式，所述点转移映射是一种平面单应性(homography),该平面单应性是由参考图像和场景图像中的特征估计出来的，点转移映射经由世界场景中的虚拟转移平面将点位置从所述场景图像转移至所述参考图像。
[0016]这是点转移映射的特别合适的实施方式。
[0017]根据一个实施方式，所述装置进一步包括:
用于在所述参考图像中确定一个或多个兴趣区域的模块，所述特征检测算法在该区域内执行以检测和定位其中的所述特有特征。
[0018]这使得能够为特征检测算法选择合适的区域。这通过使用户选择具有特别的特有特征的区域而提高特征检测算法的效率。
[0019]根据一个实施方式，用于检测所述场景图像中的所述多个特有特征并用于检测和再次识别所述场景图像中的所述特有特征的特征检测算法包括下述算法中的一个:
尺度不变特征变换算法；
加速强健特征算法。[0020]这些是特征检测算法和特征再识别算法的特别合适的实施方式。
[0021]根据一个实施方式，所述装置进一步包括:
用于将来自不同人员和/或不同时间的注视方向映射成参考图像中的相应注视点并且用于随时间推移记录可能是不同使用者的被映射的注视点的模块。
[0022]这使得能够为可能是不同用户随时间推移而聚集和累积注视数据。
[0023]根据一个实施方式，所述装置进一步包括:
在所述参考图像中显示已由所述场景图像映射到所述参考图像的所述注视点的模块，从而视觉显示所述注视点，可能是随着注视点的位置随时间而演变而视觉显示。
[0024]这使得能够将已经映射到参考图像中的注视点视觉显示，甚至可能随时间推移而显不O
[0025]根据一个实施方式，所述装置进一步包括:
用于在不同于所述参考图像的视觉显示图像中视觉显示已由所述场景图像映射到所述参考图像的所述注视点的模块，所述模块包括:
用于确定点转移映射的模块，所述点转移将点从所述参考图像转移至所述视觉显示图
像；
用于使用所述点转移映射的模块，以将所述注视点从所述参考图像映射到其在所述视觉显示图像中的相应点；以及`
用于将所述注视点显示在所述视觉显示图像中的所述相应点上的模块。
[0026]这使得注视点能够映射并视觉显示在不同于所述参考图像的图像中。
[0027]根据一个实施方式，所述装置进一步包括:
用于基于特有特征确定所述点转移映射的模块，所述特有特征已通过特征检测算法在所述参考图像中被检测，并且通过所述特征检测算法在所述视觉显示图像中被检测和再次识别。
[0028]这是用于视觉显示的点转移映射的合适的实施方式。
[0029]根据一个实施方式，所述视觉显示图像是以下图像中的一种:
选自从不同位置拍摄的场景图像中的图像；
通过拼接两个或多个从不同位置拍摄的场景图像而生成的图像；
几何学修改的场景图像；
已去除失真的场景图像；
由不同相机拍摄的外部图像；
在不同于注视点的实际测量时间拍摄的图像；
具有比所述参考图像更高分辨率的图像；
草图或简略图；
格式化图片；
手画图。
[0030]这些是不同于参考图像的视觉显示图像的合适实施方式。
[0031]根据一个实施方式，所述装置进一步包括:
用于在视频序列帧中视觉显示所述注视点的模块，所述模块包括:
用于确定从所述参考图像的点到所述视频序列的视频帧中的相应点的点转移映射的模块；
用于使用所述点转移映射的模块，用于将注视点从所述参考图像映射成相应点并映射成视频序列帧的相应点。
[0032]这使得能够将注视点视觉显示在视频序列中。
[0033]根据一个实施方式，所述装置进一步包括:
用于将在第一相机拍摄的场景图像中检测到的用户注视点映射到由第二相机从不同于所述第一相机的位置拍摄的视频的相应帧中的相应位置的模块。
[0034]这使得能够在从不同于场景图像的位置拍摄的视频序列中实现视觉显示。
[0035]根据一个实施方式，所述装置进一步包括:
用于追踪对象的注视的眼追踪模块；和/或 用于拍摄场景图像的头戴式相机；和/或
用于将注视点映射到由所述头戴式相机拍摄的场景中的相应点的校准模块。
[0036]这使得能够实施包含眼追踪器、校准模块和场景相机的完整系统。
[0037]根据一个实施方式，本发明提供一种将对象在场景图像上的注视点映射成参考图像中的注视点的方法，其中所述场景图像和所述参考图像由相机从不同位置拍摄而成，所述方法包括:
在所述参考图像上执行特征检 测算法，从而在所述参考图像中识别多个特有特征和它们的位置；
在所述场景图像上执行所述特征检测算法，从而在所述场景图像中再次识别所述多个特有特征和它们的位置；
确定点转移映射，所述点转移映射基于在所述参考图像和所述场景图像中检测到的所述多个特有特征的位置，而将点位置在所述场景图像和所述参考图像之间转换；
利用所述点转移映射以将已在所述场景图像中确定的注视点映射到期在所述参考图像中的相应点。
[0038]这样，本发明的实施方式的方法可被执行。
[0039]该方法可进一步包括通过任何一个其他实施方式的额外特征执行的步骤。
[0040]根据一个实施方式，本发明提供一种计算机程序，其包括计算机程序代码，当被执行在计算机上时，所述代码是的计算机执行任何一个本发明的实施方式的方法。
【专利附图】

【附图说明】
[0041]图1示意性显示了本发明的一个实施方式的注视点的映射。
[0042]图2示意性显示了根据本发明的一个实施方式的初始参考图像到最终参考图像的映射。
【具体实施方式】
[0043]根据一个实施方式，本发明提供一种方法和装置，其允许将注视点从场景图像映射到从不同位置拍摄的参考图像上。
[0044]为此，利用了在参考图像中的一组特有特征(参考特征)。
[0045]根据一个实施方式，这些特有特征通过一些特征检测算法来识别，该算法能够在参考图像中搜索可识别的特征。根据一个实施方式，特征检测算法被选择使得它也能够在从不同位置拍摄的随后拍摄图像中再次识别检测到的特征。使用特征检测算法，特有特征(例如参考点、线条或区域)随后可在随后拍摄场景图像中被再次再次识别，即使该场景图像是从不同位置拍摄的。
[0046]可通过特征检测算法检测的合适的特征例如是特有点或区域，如参考图像中的斑点、边缘或角落。这些可作为特有特征的点或区域随后可被图像处理算法识别，图像处理算法能够实现在相机拍摄的图像中的特征检测，并且使用这种特征检测算法，它们随后可在由相机从不同位置拍摄的图像中被再次识别。
[0047]应当注意的是，使用特征检测算法(其能够处理图像以检测一个或多个特有特征)使得不需要使用人工标记物(例如IR源)以及额外的检测器(例如IR线检测器)。取而代之，相机拍摄的自然场景的图像本身可被用来识别参考点，用于确定映射，而不需要安装在场景中的任何人工部件或光源，也不需要任何额外的检测器。这可通过应用特征检测算法来实现，该算法检测(无修改或“自然”)场景图像中的特有特征的位置，不需要如现有技术中IR源所提供的人工标记物。
[0048]根据一个实施方式，用户可手动选择(例如通过鼠标或任何其他输入装置)特征检测所发应当要被执行的一个或多个区域，以检测特有特征。这种点或区域可由用户在参考图像中手动选择，例如通过用鼠标点击它们而标记它们，或通过界定出一个区域，例如围绕它们的矩形或圆形，来界定出特征检测算法要被进行的一个或多个“兴趣区域”。
[0049]特有特征(随后要通过执行特征检测算法而检测它们在这种兴趣区域中的相应位置)随后在由头戴式场景相机从不同位置拍摄的随后图像(所谓的“场景图像”)中通过再次识别场景图像中的特有特征而被再次检测。参考图像中检测到的特有特征以及场景图像中再次识别的特有特征一起可被用来确定点转移映射，所述点转移映射将点位置在场景图像和参考图像之间转换。这种映射的一种可能的实施方式是平面单应性，其是由参考图像和场景图像中的特征位置估计出来的，并经由世界场景中的虚拟转移平面将点位置从所述场景图像转移至参考图像。`
[0050]实际测量顺序之前拍摄的参考图像由真实世界场景在相机的图像平面上的投影而构成。之后从不同的相机位置拍摄的场景图像由真实世界场景在位于不同位置的相机的图像平面上的不同投影而构成。但是，如果多个特有特征(至少三个或更多)首先在参考图像中被识别，且随后在场景图像中再次识别，那么就可以确定场景图像中的点到参考图像的相应点之间的映射。实现这种映射的转换随后可被用来将场景图像中的注视点映射成参考图像中的其相应点。
[0051]但是，首先描述根据一个实施方式的设置程序(在此期间获得特有参考特征)和相应校准机制。首先，在实际测试顺序之前(从不同位置拍摄“场景图像”及确定注视方向的顺序)，拍摄参考图像。该参考图像在眼追踪器的校准期间使用，以用来校准由眼追踪器检测到的注视方向与其在由场景相机拍摄的参考图像中的相应点之间的对应性。通过这种方式，可以将注视方向校准至参考图像中的对应点，从而也校准至“真实世界场景”(如参考图像中所看到的)的相应点。这对应于常规的校准，其在头戴式场景相机不移动的情况下将注视方向映射成注视点。
[0052]如果在随后的实际测量中，头戴式场景相机与头部、眼睛一起移动，场景相机的图像(“场景图像”)则发生改变。因此，在参考图像中检测的特有特征的位置也相应改变。
[0053]在这种情况下，根据一个实施方式，注视点检测即按以下进行。
[0054]首先，特有参考特征在头戴式场景相机从不同位置拍摄的场景图像中被再次检测或者“再次识别”。
[0055]为此，使用图像处理算法，其能够检测并匹配特有特征至设置程序期间已经确定的参考图像的已知参考特征。
[0056]根据最适合应用领域的特征类型可选择出特征检测算法，其实际用于检测参考图像中的特有特征，并用于在从不同位置拍摄的场景图像中再次识别它们。
[0057]例如，如果在参考图像中被检测并在场景图像中被再次检测或再次识别的特有特征是角落，则可使用角落检测算法，例如Moravec角落检测算法、Harris & Stephens角落检测算法、Plessey角落检测算法或其他算法。
[0058]当特有特征被在从不同于参考图像的位置拍摄的场景图像中检测或再次识别后，它们可被用来估计出场景图像中的点向参考图像上的点的平面投影转换。
[0059]现将参考图1对此进行更详细地说明。
[0060]图1显示了包含一个书架的图景。作为初始参考图像，场景图像由位于第一位置(“参考位置”)的场景相机SC拍摄，从而投影到场景相机SC的图像平面上。如图所示，该图景包括书架并且在拍摄图像时被投影到场景相机SC的图像平面中。
[0061]在设置程序中，通过检测参考图像中或其一部分中(例如兴趣区域内部，如围绕书架的矩形)的特有特征，从而界定出一组特有参考特征。该区域可能在校准程序(用于界定特征检测算法要被执行以检测特有特征的区域)期间已被用户选择为“兴趣区域”。兴趣区域例如可通过使用鼠标从而在场景相机SC拍摄的参考图像中选择围绕书架的矩形而被选择。
[0062]另一种选择一组特有参考特征的可能是例如选择四个点，例如书架的四个前角落。根据该实施方式，这种四个角落点的选择(例如通过鼠标进行)可以对应于选择围绕这些由鼠标点击所选择出的选择点的小的(预定的)区域，并且在此区域中，随后执行特征检测算法从而通过特征检测算法确定特征和它们的位置(围绕鼠标点击所选择的点的预定区域内的位置)。通过这种方式，特有参考特征的定义通过手动选择(用于通过鼠标点击选择兴趣点，例如书架的角落)与通过执行特征检测算法(在围绕由鼠标点击选择的点的预定区域内)的自动检测的组合来实现。
[0063]根据另一个实施方式，整个参考图像可形成“兴趣区域”，在所述兴趣区域内利用特征检测算法来检测特有特征。这样就不再需要“兴趣区域”，如围绕图1中的书架的矩形所表示的区域。但是，在优选的实施方式中，选择至少一个兴趣形状、区域或地区，其通过其内容或通过进行特征检测算法界定出特有参考特征组。
[0064]利用该参考图像(或适合注视校准的任何其他图像)，可以常规方式进行注视方向的校准，这意味着，在由眼追踪器ET确定的注视方向和参考图像的相应注视点之间进行了映射。这可通过例如让对象看参考图像(或适合用于注视校准的任何其他图像)中的预定点并确定由眼追踪器测定的相应注视方向来实现。基于该数据，可确定出由眼追踪器确定的注视方向与参考图像中(从而是实际途径的图像中)的相应点之间的对应性。如常规校准程序中的一样，该校准是在头戴式场景相机处于固定位置且不移动时进行的。[0065]通过这种校准，只要头戴式相机不移动，则可通过检测注视方向而以常规方式长久检测注视点。
[0066]但是，如果头戴式相机移动，那么头戴式场景相机拍摄的场景图像就发生变化，如图1中处于不同位置的场景相机SC2的图像平面中的场景图像。
[0067]根据一个实施方式，要在随后拍摄的场景图像中检测特有参考特征，该特有参考特征之前被界定过，例如通过在围绕书架的矩形的区域上执行特征检测算法而被界定。为此，要使用图像加工算法，其能够在头戴式场景相机从不同位置拍摄的后续场景图像中至少部分地再次识别之前界定的参考图像的特有特征(或对象)。
[0068]可用于此目的的一个合适的算法是所谓的尺度不变特征变换(SIFT)。利用这种算法，对象的特征首先被从一个或多个参考图像(例如之前提及的“参考图像”)中提取出来并存储在数据库中。这些特征由在图像中的位置和特征描述符向量(feature-descriptor-vector)来界定,该向量捕获围绕该位置的图像区域的信息，并以特征变得能以描述符向量的距离来比较的方式捕获。随后，通过将新图像中的每个特征与该数据库单独对比，并基于它们的特征向量的Euclidean距离找出候选的匹配特征，从而在新图像中识别出目标。识别新图像中的比例和方向，从符合目标及其位置的全部配对组、特征分组中过滤出良好的匹配。每一个4个或更多个符合目标及其位置的特征的簇被进行进一步的详细的模型验证，随后放弃掉离群值。最终，考虑配对准确性和可能的错误匹配的数目，计算出特定特征组表明存在目标的可能性。通过所有这些测试的目标或特征匹配可被识别为正确的，且具有高置信度。
[0069]关于SIFT算法的更详细的描述可在例如美国专利6，711，293中找到。
[0070]利用SIFT算法，可以再次识别或鉴别出图1所述图像SC2中的特有参考特征。
[0071]因此，即使头戴式相机移动，也可以确定出用于识别参考图像SC中的哪个点对应于SC2拍摄的场景图像中的特定点`的映射。为此，例如通过使用如RANSAC的稳健估计器(由一些或所有的匹配特征估计除平面单应性)、丢弃离隐含表示的虚拟转移平面太远的离群值，而在参考图像特有特征和场景图像中由所述映射而再次识别的特有特征之间确定平面单应性。如图1所示该平面在大多数情况下是对应于特有特征的场景目标点的平均平面。
[0072]这种映射随后可被用来将注视方向映射成参考图像中的注视点。基于注视方向的确定，可以首先在场景图像中确定实际的注视点(基于初始校准)，随后确定出参考图像中的相应点(基于平面单应性)。这也在图1中图示出来，并且现将在下文详细解释。
[0073]如穿过相机SC2拍摄的图像中的图像平面的线条所示，特定注视方向的检测对应于随后拍摄的场景图像SC2中的特定点。这种对应性在校准期间已获得，如在之前关于校准程序所解释的，通过所述校准获得了注视方向映射成场景图像中的点。如图1所示，该场景图像平面中的点(通过注视方向识别)现在对应于图1中虚拟转移平面中的特定点，并且图1中由相机SC2从不同位置拍摄的虚拟转移平面的这个点又对应于相机SC在校准期间在初始位置拍摄的参考图像中的特定点。映射通过平面单应性实现，平面单应性已被确定以将场景图像SC2的点映射到参考图像SC并且，平面单一性基于特有特征的鉴别或再次识别以及优选基于稳健估计而被确定。
[0074]如可从以上描述中看出，根据一个实施方式，使用了在参考图像中识别的一组特有特征(例如点、角落或边缘)，这些特有特征与在场景图像中再次识别的特征一起界定出“虚拟转移平面”。相机图像是该虚拟转移平面在相机的图像平面中的投影，这导致如果图像在不同相机位置拍摄得到，那么特有特征在不同相机图像中具有不同位置。该虚拟转移平面可被认为是“场景稳定平面”，即使场景图像由于相机移动而变化，它仍可通过在由头戴式相机从不同位置拍摄的随后拍摄场景图像中再次识别特有特征而在随后拍摄场景图像中“被再次识别”。
[0075]使用对头戴式场景相机的图像的图像加工来首先界定特有参考特征，然后通过特征检测而在随后场景图像中再次找出或再次识别特有特征，而不需要求助于必须安装至真实世界图景中的人工IR光源。取而代之的是，可使用由常规相机拍摄的真实世界图景的“自然”且未修改的图像，而不需要任何人工标记物和任何额外的IR检测器，并且注视点确定可不需要求助于任何外部标记物而进行。取而代之的是，注视点检测可仅基于未改变的场景图像而进行，而不需要任何人工附加物，即使头戴式相机移动也是如此。
[0076]如图1所示，上述实施例中的特有参考特征组的界定已通过选择围绕书架的矩形作为“特有区域”或“兴趣区域”(界定出包含在其中并通过特征检测算法识别的特征)而进行。
[0077]但是，也可以选择包含在随后场景图像中被再次识别的特有特征的参考图像的任何其他兴趣区域。例如，可以通过用鼠标选择而选择出书架的四个前角落作为特有点，从而界定出围绕它们的兴趣区域，用于执行特征检测算法，该特征检测算法在此种情况下可以是例如角落检测算法。
[0078]这些角落随后可通过合适的角落检测算法而在随后场景图像中被再次识别，所述角落检测算法例如是Moravec角落检测算法、Harris & Stephens角落检测算法、Plessey角落检测算法或其他本领域技术人员已知的算法。
[0079]而且，也可以使用在前述实施例中提及的SIFT算法。
[0080]可替代SIFT算法使用 或与其组合使用(基于参考图像作为整体或基于参考图像中界定的一个或多个兴趣区域)的另一种特征识别和特征鉴别的算法是所谓的“加速强健特征”(SURF)算法。SURF是作为特征描述符的围绕特征位置的近似2D Haar Wavelet响应的求和，其有效地利用了完整的图像。它将整体近似(integer approximation)用于HessianBlob检测器的决定因素(determinant)以找出特征位置，这可利用完整图像非常快速地计算出。关于该算法的描述可在例如Herbert Bay, Andreas Ess, Tinne Tuytelaars,Luc Van Gool SURF: "Speeded Up Robust Features", Computer Vision and ImageUnderstanding (CVIU), Vol.110，N0.3，pp.346-359，2008 中找到。
[0081]作为特征检测算法，可以使用任何图像处理算法，只要该图像处理算法能够检测到参考图像中的特有特征(例如是点、斑点或区域或目标)，并且也能够在随后拍摄的场景图像中鉴别或再次识别已在参考图像中检测到的这些特有特征，即使该场景图像是从不同位置拍摄的。图像处理算法应当能够给予由常规相机拍摄的“自然”图像实现这种特征检测。这避免了需要使用人工IR光源以及需要额外的检测器。取而代之的是，选择特征检测算法是的其可检测在由常规相机拍摄的任何“自然”场景图像中的内在特有特征，只要该场景图像具有一定的对比度并且不是完全均质而是含有形状和轮廓。通过使用这种特征检测算法，本发明的实施方式的注视点映射途径原则上可基于任何场景图像进行，而不需要人工增强场景或通过IR光源获得场景图像。有很多能够实现这种功能的图像处理算法，比较简单的例如是角落检测算法，比较复杂的例如是SIFT算法或SURF算法。所有这些算法的共同之处在于它们可以在自然图像上操作，而不需要额外的IR源和额外的IR检测器，因为它们能够检测并使用不包含人工IR光源作为标记物的图像中的内在特有特征。[0082]根据一个实施方式，这种特有特征的确定通过特征检测算法自动进行，但可能例如如前所述通过选择(例如通过用鼠标或其他输入或选择装置)用于执行特征检测算法的兴趣区域而获得手动支持。
[0083]但是，根据一个实施方式，特有特征(例如特有点、斑点或区域)也可基于参考图像而完全自动进行。例如，前述SIFT算法能够识别特有点(或特征)，所谓的“关键点”，其随后在随后图像中被再次识别。在选择图1所示的矩形后，SIFT算法可自动识别该矩形中的“关键点”。如果不是如前所述选择矩形，而是以整个参考图像作为SIFT算法的特征识别的基础从而界定虚拟转移平面，那么可以实现完全自动的程序。
[0084]综合以上关于实施方式的描述，眼睛注视方向到场景参考图像的映射可按如下方式进行。
[0085]首先，例如标准程序将眼追踪器ET的注视映射到场景相机参考图像SC。
[0086]随后，通过利用特征检测算法界定出参考图像中的一组特有参考特征。
[0087]随后，在任何其他从不同位置拍摄的场景相机图像SC2中找出特有参考特征的位置。
[0088]随后，获得或计算场景平面项虚拟转移平面的转换(其是平面单应性)。利用这种转换，注视方向(及其在校准程序获得的场景图像中的对应点)可被映射成参考图像中的相应注视点。
[0089]应当注意的是，其他场景图像不仅可来自其他位置和其他时间，甚至可以来自其他参与者(即，佩戴头戴式相机和眼追踪器的其他人)。即使头戴式相机在后续测量顺序中被不同对象佩戴，也不需要进行新的校准(即，生成新的参考图像或其上的特征)。
[0090]通过这种方式，注视方向可随时间推移被映射到参考图像上的相应注视点(即是不同参与者)，因而注视点可随时间推移被记录，即使是使用者的头部移动甚至是有不同的使用者也是如此。
[0091 ] 当获得了注视在参考图像中的映射后，注视可被显示在参考图像中，例如通过突出用户注视所指向的位置，或通过在注视位置显示符号，例如十字或任何标记。如果测量进行了一个特定的时间段，则可以通过在参考图像中显示的移动的标记或符号来显示注视点的相应演变。这即是对象的注视在参考图像中的视觉显示。
[0092]但是，初始参考图像可能并非这种视觉显示的最佳图像。例如，如果初始参考图像可能包含非正视图显示的书架而是立体图显示的书架(如图1所示)。但是，为了视觉显示出对象的注视，可能更期望使用的显示注视点的图片是显示了书架的正视图而非立体图的图片。
[0093]为此，根据一个实施方式，可以生产“最终参考图像”或“视觉显示图像”，其提供了注视点要被确定和追踪的场景的“期望视图”。
[0094]为了生成这种“最终参考图像”，可以选择例如核实的场景图片，其以期望的视图显示场景。对于该场景图像，产生初始参考图像和场景图像之间的映射的单应性已在实际测量阶段被确定。[0095]这种转换随后可被用于将所有的注视点从初始参考图像映射至对应于所选择的场景图像的“最终参考图像”或“视觉显示图像”。
[0096]如果没有场景图像以最期望的方式显示场景，也可以将场景的“外部”或“额外”图像作为最终参考图像，该“外部”或“额外”图像可能是由不同相机拍摄，例如以更高分辨率从期望的视角拍摄。在该最终参考图像中进行特征检测算法，以检测或再次识别特有参考特征。基于所识别的特征，可以确定出从初始参考图像到最终参考图像(视觉显示图像)的转换，并且利用这样确定出的转换，初始参考图像中所检测的注视点可被转换或映射到视觉显示图像上。
[0097]根据一个实施方式，最终参考图像被生成使得它最佳地显示出场景图像，以使得当注视点被转换到最终参考图像上时，其以最期望的方式呈现。例如，如果注视点要被确定所在的目标被以正视图而非立体图显示时，或者如果最终参考图像较大或具有比场景图像更好分辨率时即是这种情况。
[0098]图2中示意性地显示了一个例子，其中最终参考图像相比于初始参考图像被几何学修改，以提供比初始参考图像更加正视的场景。图2显示了图1的初始参考图像以及最终参考图像，后者提供了比初始参考图像更正面的视图。同样示意性地显示的是将初始参考图像投影到最终参考图像上并且对应于单应性或转换的投影，所述单应性或转换被确定以获得映射。几何学修改的另一个例子是改变图像的高宽比。
[0099]根据另一个实施方式，最终参考图像可通过从初始参考图像中去除失真而获得，例如通过去除相机失真(如桶形失真)而获得。
[0100]根据一个实施方式，最终参考图像或视觉显示图像的生成可包括图像拼接。它也可包含一个或多个场景图像的校正或它们的格式化，例如通过标记特定区域或部分，或简略画出(sketching)格式化的图片。在一个实施方式中，视觉显示图片甚至可以是手画图。
[0101]根据被用作视觉显示图`像的图像种类，可以使用不同的方法来确定从参考图像到视觉显示图像的点转移映射。例如，如果视觉显示图像通过与参考图像相同的相机拍摄，那么之前已描述的特征检测算法可被用于此目的。
[0102]但是，如果视觉显示图像是格式化图像，或者甚至是简略图或手画图，那么点转移映射可通过例如映射三角形(mapping triangle),或者甚至是逐点的方式被手动界定。
[0103]根据一个实施方式，被映射的注视点的视觉显示不在单个视觉显示图像中进行，而在视频序列帧(作为视觉显示图像的序列)中进行。
[0104]为此，要在参考图像和每个视频序列帧之间确定点转移映射，并且这种映射随后可被用来随着时间流逝而将一个或多个用户的注视点映射到视频序列帧内。这样，由头戴式视频相机随时间推移而拍摄并记录的注视点可以通过参考图像被映射到由不同相机从不同位置或视角拍摄的另一视频中。这样，随着一个或多个用户的注视随着时间的演变，该注视可被映射到可能从不同位置以更期望的视觉拍摄的场景的相同视频中。
[0105]当已生成最终参考图像时，可在其上执行特征检测算法，以检测其中的特有参考特征。通过计算特征之间的单应性，可以获得注视点在最终参考图像中的映射。也可以使用任何其他用于确定可以将点从初始参考图像转换至最终参考图像上的相应位置的映射的手段，例如通过手动界定单应性(例如指定4个点匹配)或通过逐点界定转换。
[0106]如之前关于其他实施方式已描述的，对于用来检测特有特征的自动图像处理，特征检测进行时所在的图像部分可由区域(兴趣区域)的内容来表征，该区域内的内容界定出算法寻找特有特征或可在该兴趣区域的内容内识别的目标的区域。单应性是从另一场景图像的特有参考特征和参考图像中的特有参考特征计算出来的，参考图像中的特有参考特征界定出利于点转移的隐含的虚拟场景平面。单应性将场景图像的所有点(对应于真实世界场景中虚拟转移平面的点以及由于关于与平面的距离的视觉误差而不在平面内的所有点)转换成参考图像上的点，并延伸转换至任何参考图像，因而相对固定的眼追踪器的情况减少了戴有头戴式眼追踪器的移动人员的点映射。因此，即使头戴式相机移动，注视点也可被追踪。
[0107]根据一个实施方式，通过在参考图像中通过形状或轮廓(即通过它们的边界)界定出特定目标(或一个或多个目标)，可以对特定注视点比较该注视点是否位于目标的这种边界之内。如是，则可确定注视停留在相应目标上，如否，则注视未停留在相应目标上。
[0108]注视是否停留在特定目标上的识别是基于映射在参考图像上的注视作出的，而非基于在场景图像上确定的注视作出的。用一个参考图像替换所有场景图像并将注视映射到其上(甚至可能是来自于不同参与者和不同时间)使得可以观察到并且对累积的注视数据进行统计分析。因而，头戴式眼追踪器数据(至少对于虚拟转移平面上的注视数据)的分析变得和固定式眼追踪器数据的分析相同。
[0109]本领域技术人员要理解的是，本发明描述的实施方式可通过硬件、软件、或软硬件结合来实施。结合本发明的实施方式描述的模块和功能可作为整体或以一部分被微处理器或计算机实施，该微处理器或计算机被适当地编程从而根据本发明实施方式中描述的方法运作。如本领域技术人员容易理解到的，这可包括将这种计算机或微处理器与适当的界面和/或测量装置(如眼追踪和图 像处理领域所使用的)连接。
【权利要求】
1.一种将对象在场景图像上的注视点映射成参考图像中的注视点的装置，其中所述场景图像和索索参考图像由相机从不同位置拍摄得到，所述装置包括: 用于在所述参考图像上执行特征检测算法的模块，以在所述参考图像上识别多个特有特征和它们的位置； 用于在所述场景图像上执行所述特征检测算法的模块，以在所述场景图像上再次识别所述多个特有特征和它们的位置； 用于确定点转移映射的模块，所述点转移映射，基于在所述参考图像和所述场景图像中检测到的所述多个特有特征的位置，将点位置在所述场景图像和所述参考图像之间转换； 用于使用所述点转移映射的模块，以将已在所述场景图像中确定的注视点映射成其在所述参考图像中的相应点。
2.如权利要求1所述的装置，其中所述点转移映射是平面单应性，其由参考图像和场景图像中的特征估计得出，并且经由世界场景中的虚拟转移平面将点位置由所述场景图像转移至所述参考图像。
3.如权利要求1或2所述的装置，所述装置进一步包括: 用于确定所述参考图像中一个或多个兴趣区域的模块，在所述兴趣区域中，所述特征检测算法被执行以检测和定位其中的所述特有特征。
4.如前述权利要求任一项所述的装置，其中用于检测所述场景图像中的所述多个特有特征以及用于检测和再次识别所述场景图像中的所述特有特征的所述特征检测算法包括以下算法中的任何一种:` 尺度不变特征变换算法； 加速强健特征算法。
5.如前述权利要求的任一项所述的装置，所述装置进一步包括: 用于将来自不同人员和/或不同时间的注视方向映射成参考图像中的相应注视点并且用于随时间推移记录可能是不同使用者的被映射的注视点的模块。
6.如前述权利要求的任一项所述的装置，所述装置进一步包括: 在所述参考图像中显示已由所述场景图像映射到所述参考图像的所述注视点的模块，从而视觉显示所述注视点，可能是随着注视点的位置随时间而演变而视觉显示。
7.如前述任一项权利要求所述的装置，所述装置进一步包括: 用于在不同于所述参考图像的视觉显示图像中视觉显示已由所述场景图像映射到所述参考图像的所述注视点的模块，所述模块包括: 用于确定点转移映射的模块，所述点转移将点从所述参考图像转移至所述视觉显示图像； 用于使用所述点转移映射的模块，以将所述注视点从所述参考图像映射到其在所述视觉显示图像中的相应点；以及 用于将所述注视点显示在所述视觉显示图像中的所述相应点上的模块。
8.如权利要求7所述的装置，所述装置进一步包括: 用于基于特有特征确定所述点转移映射的模块，所述特有特征已通过特征检测算法在所述参考图像中被检测，并且通过所述特征检测算法在所述视觉显示图像中被检测和再次识别。
9.如权利要求7或8所述的装置，其中所述视觉显示图像是以下图像中的一种: 选自从不同位置拍摄的场景图像中的图像； 通过拼接两个或多个从不同位置拍摄的场景图像而生成的图像； 几何学修改的场景图像； 已去除失真的场景图像； 由不同相机拍摄的外部图像； 在不同于注视点的实际测量时间拍摄的图像； 具有比所述参考图像更高分辨率的图像； 草图或简略图； 格式化图片； 手画图。
10.如前述任一项要求所述的装置，所述装置进一步包括: 用于在视频序列帧中视觉显示所述注视点的模块，所述模块包括: 用于确定从所述参考图像的点到所述视频序列的视频帧中的相应点的点转移映射的模块； 用于使用所述点转移映射的模块，用于将注视点从所述参考图像映射成相应点并映射成视频序列帧的相应点。
11.如权利要求10所述的装置，所述装置进一步包括: 用于将在第一相机拍摄的场景图像中检测到的用户注视点映射到由第二相机从不同于所述第一相机的位置拍摄的视频的相应帧中的相应位置的模块。
12.如前述权利要求的任一项所述的装置，所述装置进一步包括: 用于追踪对象的注视的眼追踪模块；和/或 用于拍摄场景图像的头戴式相机；和/或 用于将注视点映射到由所述头戴式相机拍摄的场景中的相应点的校准模块。
13.—种将对象在场景图像上的注视点映射成参考图像中的注视点的方法，其中所述场景图像和所述参考图像由相机从不同位置拍摄而成，所述方法包括: 在所述参考图像上执行特征检测算法，从而在所述参考图像中识别多个特有特征和它们的位置； 在所述场景图像上执行所述特征检测算法，从而在所述场景图像中再次识别所述多个特有特征和它们的位置； 确定点转移映射，所述点转移映射基于在所述参考图像和所述场景图像中检测到的所述多个特有特征的位置，而将点位置在所述场景图像和所述参考图像之间转换； 利用所述点转移映射以将已在所述场景图像中确定的注视点映射到期在所述参考图像中的相应点。
14.如权利要求13所述的方法，进一步包括通过权利要求2和12的任何一项所界定的特征所执行的步骤。
15.一种计算机程序，其包括计算机程序代码，当被执行在计算机上时，所述代码是的计算机执行如权利要求13或14的任何一项的方法。
【文档编号】G06T7/00GK103501688SQ201280014087
【公开日】2014年1月8日 申请日期:2012年3月16日 优先权日:2011年3月18日
【发明者】蒂尼斯·威廉姆斯, 简·霍夫曼 申请人:感官运动仪器创新传感器有限公司