用于眼睛和注视搜索的基于平铺图像的头部位置扫描的制作方法
【技术领域】
[0001]本发明涉及眼睛注视追踪，特别涉及使用基于ROI的图像获取而提高基于相机的远程眼睛追踪系统的帧速率和确定用于眼睛追踪的初始ROI位置。
【背景技术】
[0002]在当前的眼睛追踪系统中，对相机图像进行处理来确定一只眼睛或多只眼睛的位置和/或注视方向。这可以通过检测图像中的特征来进行。特征例如为:
?瞳孔，
?角膜反射。
[0003]对于每个特征，通常提取尺寸、轮廓和位置。后续处理从这些特征中计算处了注视矢量和注视点。
[0004]基于相机的远程眼睛追踪器为头部移动提供了大工作范围，在相机镜头的焦距固定的情况下和没有接合点来改变相机方位的情况下，工作范围必须由相机传感器完全涵至
ΠΠ O
[0005]由于相机总线带宽有限，系统的帧速率取决于所抓取的图像的尺寸和空间分辨率。由于大量全空间分辨率的数据，所以以全空间分辨率覆盖单个图像中的整个工作范围只允许最低帧速率。
[0006]然而，五花八门的眼睛追踪应用要求高采样速率，该高采样速率不能使用永久全空间分辨率图像获取来提供。
[0007]利用基于ROI (感兴趣区域)的图像获取来解决这一问题，因为ROI只覆盖传感器的很小一部分，所以与全空间分辨率图像获取相比，该基于ROI的图像获取允许更高的帧速率。该ROI尺寸以这样方式设置:
?R01图像覆盖眼睛追踪所需的所有特征，和
?R0I图像获取期间的采样速率满足关于时间分辨率的系统要求。
[0008]专利EP I 562 469 BI描述了一种解决方案，该解决方案使用基于全帧的图像获取来初始检测一只眼睛或多只眼睛在相机传感器上的位置。然后，它在一只眼睛或多只眼睛周围产生ROI以仅在该区域内追踪眼睛。这导致带宽要求降低，并因此可以用来提高相机读出帧速率。然而，这种加速并不适用于全帧的初始读出。因此，发现眼睛所需的最短时间很大程度上是由其读出全帧所花费的时间来确定。
[0009]为了发现初始ROI位置，系统以头部位置搜索模式开始，其中，通常使用基于全空间分辨率的图像获取。“头部位置搜索模式”是指在所获取的图像中搜索一个或多个特征的模式，该一个或多个特征表示眼睛或指示头部位置或眼睛位置。一旦检测到头部或眼睛，则系统继续获取一只眼睛或多只眼睛周围的ROI的ROI图像。ROI被定位在其覆盖所检测到的一只眼睛或多只眼睛的位置。
[0010]然后，系统以追踪模式继续，其中，从ROI图像中提取特征并且用于进一步处理。根据头部运动来移动ROI位置，该ROI位置取决于特征位置。如果追踪可见眼睛特征失败，则系统返回到头部位置搜索模式。
[0011]然而，各种问题继续存在。对于头部位置搜索使用基于全空间分辨率的图像获取迫使系统暂时以比系统所需的帧速率低的帧速率工作。另一方面，相机的这种低全帧速度确定了被摄体在系统前面(准备追踪)和实际开始追踪之间的时间，极其需要提高这种拾取速度并且减少系统等待时间。
[0012]而且，基于全空间分辨率的图像获取和基于ROI的图像获取之间的切换会导致许多普通相机型号的相机操作延迟，这导致了数据速率降低。
[0013]最后的问题是，由于取决于帧速率的参数，所以数据帧速率的变化使后续数据分析复杂化。
[0014]因此，本发明的一个目的是避免与基于全空间分辨率的图像获取有关的这些问题，并且尤其是减少发现初始ROI位置的时间。
【发明内容】
[0015]对一些实施例可以进行概括，使得存在初始头部位置或眼睛位置搜索模式，在该模式中，确定ROI，该ROI要用于后续追踪模式。在该头部或眼睛位置搜索模式中，初始只读出图像传感器的一部分，并且在只读出图像传感器的一部分中搜索一个或多个特征来检测眼睛或头部位置。如果搜索成功，则基于所述特征或其它图像分析或建模手段来确定追踪RO1如果搜索不成功，则读出传感器的另一部分。这可以通过偏移图像传感器一个读出区域或多个区域来进行。然后，可以搜索并单独分析新读出区域。此外，这二个部分可以拼接以搜索组合的或拼接的区块图像(tile image)。读出其它部分和搜索特征的这些步骤可以重复，直到可以确定待用于追踪模式的ROI为止。在这些步骤中，没有读出全帧，但是始终仅读出整个传感器区域的一部分。
[0016]根据一个实施例，提供了一种眼睛追踪方法，包括:
通过图像传感器捕捉图像数据；
确定感兴趣区域作为所述传感器的子区或不相连的子区，以基于所读出的图像数据执行眼睛追踪，该感兴趣区域要从所述传感器读出；
其中所述确定所述感兴趣区域包括:
a)初始仅读出所述传感器区域的一部分；
b)在所述初始读出部分的图像数据中搜索一个或多个特征，该一个或多个特征表示要被追踪的被摄体的眼睛位置和/或头部位置；
c)如果所述搜索一个或多个特征已经成功，则基于成功搜索到的一个或多个特征的位置来确定感兴趣区域；和
d)如果所述搜索一个或多个特征没有成功，则读出所述传感器的另一部分，以基于所述另一部分执行搜索一个或多个特征，该一个或多个特征表示眼睛位置和/或头部位置。
[0017]与根据现有技术的读出全帧相比，因为初始仅读出传感器区域的一部分，所以这使能够更快地确定用于实际眼睛或注视追踪的感兴趣区域(R0I)。因此，系统不需要在较低的帧速率下工作。相反，系统可以以恒定的帧速率工作并且提高了拾取速度。
[0018]根据一个实施例，搜索一个或多个特征和基于所发现的特征的位置来确定所述感兴趣区域或读出其它数据的所述步骤迭代地重复，直到成功发现所述一个或多个特征的位置并且可以确定感兴趣区域为止。
[0019]这种在图像的少量部分中迭代搜索特征比在全帧图像上的相应搜索更高效，该特征表示眼睛位置和/或头部位置。
[0020]根据一个实施例，传感器数据的所述读出部分基于对于一个或多个特征执行哪种搜索而被平铺到组合图像。
[0021]将图像的读出部分平铺到组合图像增加了检测到不能在先前组合图像或图像的部分中检测到的特征的机会。
[0022]根据一个实施例，方法还包括:将成功搜索到的一个或多个特征存储在特征累加器中；分析存储在特征累加器中的特征；和基于所分析的特征确定感兴趣区域。
[0023]特征累加器使能够分析所累加的特征(诸如施加约束或知识)来消除假阳性地检测到的特征。
[0024]根据一个实施例，所述分析存储在特征累加器中的特征涉及到特征的检测时间。
[0025]特征的检测时间使能够追踪头部运动并把置信度值分配给特征，以便和来自相同区域的较老特征相比，将特权给予较新特征。
[0026]根据一个实施例，方法还包括:基于重复地从所述传感器中读出所确定的感兴趣区域和确定其中的一个或多个特征来执行眼睛追踪，其中，优选地，所述感兴趣区域的位置是基于所确定的特征的位置来调整的。
[0027]—旦发现表示眼睛位置和/或头部位置的特征，就可以确定感兴趣区域，并提供最有前景的起点用于追踪眼睛和/或头部。
[0028]根据一个实施例，所述初始仅读出所述传感器的一部分是基于最后的感兴趣区域，该最后的感兴趣区域已经用于追踪。
[0029]这可能是初始子区的“良好猜测”，特别是如果追踪已经丢失(例如，由于图像失真或在被摄体的头部没有移动的情况下的闪烁)。于是，存在初始子区包含或位于靠近所搜索到的特征位于的区域的相对较高的似然。
[0030]根据一个实施例，当(或即使尽管)没有关于一个或多个特征的信息存在时，执行所述初始仅读出所述传感器区域的一部分，该一个或多个特征表示要被追踪的被摄体的眼睛位置和/或头部位置。
[0031]初始仅读出图像的一部分使能够显著减少被摄体在系统前面(准备追踪)和实际开始追踪之间的时间。该途径与现有技术相反，在现有技术中，当在图像中没有关于特征的信息可用时，读出整个图像，并且该现有技术是基于现有技术范例，该现有技术范例要求整个图像必须被读出，以便捕捉任何可能的特征位置。
[0032]根据一个实施例，所述初始仅读出所述传感器区域的一部分是基于先前有效头部位置、提供关于头部位置的信息的外部输入、或描述头部位置似然的概率密度函数，该头部位置似然提供先验或者在追踪当前被摄体或多个被摄体期间产生。
[0033]根据一个实施例，所述读出所述传感器的另一部分包括:根据统计选择另一部分，该统计确定具有覆盖用户头部的最高概率的另一部分。
[0034]这样，与利用纯粹地随机选择另一部分相比，有更好的机会用于检测特征。
[0035]根据一个实施例，所述读出所述传感器的另一部分包括:逐行地、逐线地、随机地、伪随机地、围绕中心的径