用标定的映射，该系统可以根据由视线追踪器获取的或与视线追踪器关联的视觉视线方向信息，确定用户正在看的、绘制在VDU 21上的⑶I中的位置。可以对双眼进行标定，或者也可每只眼睛进行单独标定，从而在标定中提供一定的灵活性。例如，即使该系统“失去”一只眼，然而，单独为每只眼执行标定仍然允许视线方向或位置可被确定，这样，仅用于一只眼的视觉视线方向信息可以被确定。
[0121]为了确定任何必要的或期望的标定改变，绘制在VDU 21上的⑶I中显示的一个或一些位置和视觉视线方向信息之间的必要处理、映射或关联可以在计算机(例如，PC、笔记本电脑或工作站46)上被执行，其中，该计算机与绘制在VDU 21上的GUI中的视觉内容的操作相关，或者，也可以在结合图4示出的装置描述的专用处理器45上被执行，或者，也可以在由共享必要处理任务的PC 46和专用处理器45共同执行。该映射可包括线性或非直线回归、或现有技术中其它合适的映射技术。在一些示例中，这意味着基于视觉视线方向信息，为了确定用户视线位置而进行的映射是以该系统获得的测量数据为基础的。
[0122]在获取标定数据的过程中，应最小化获取无效数据。为了实现这一点，只要存在一个理由可对标定数据的有效性进行质疑，则不使用该标定数据。
[0123]为了便于理解标定过程的这一部分，有必要简单地对眼睛如何工作进行讨论。人的眼睛是持续运动的，即使当它们盯在固定对象或位置看时。当从感兴趣的一个对象或位置移动另一个对象或位置时，会发生迅速的和/或明显的眼睛移动。尽管如此，当注视一个对象时，虽然眼睛在持续运动，然而，视线方向仍然以该对象为中心，用户的视线可以被认为会在该对象上停留一短暂的时间。通过合适的处理，视觉视线方向信息可以被使用，以用于确定用户眼睛中一只或两只眼的眼球运动。该适合的处理以确定眼球运动构成了已知视线追踪或眼球追踪技术的一部分。
[0124]在本发明中，迅速和/或明显的眼球运动包括具有不同于与用户注视绘制在VDU21上的GUI中显示的固定的、或慢速移动的、或分段连续的持续移动的对象、符号或内容关联的眼球运动的眼球运动。尽管如此，如后续将要描述的，什么被认为是迅速和/或明显的眼球运动决定于用户所看的位置和用户如何看。例如，这可能意味着在标定期间，为了获得新的标定点，用户需要明显地或快速地移动他们的眼睛，例如，当在看绘制在VDU 21上的GUI中一新位置、或符号将要被移向的位置、或符号刚被移走的位置、或正在被移向的位置。当眼球运动超过一运动距离或速度阈值或该两个参数的关联阈值时，眼球运动可以划分为明显眼球运动。在可以获取新的标定点前，该明显眼球运动可能是必需的。这是为了保证例如当用户正在阅读一行文本时，或者相反地当用户的双眼漂移且没有快速和/或明显移动到与符号位置关联的一新标定点时，标定点不会被不正确地获取。
[0125]当获取标定数据时，通过使用该原理，使得标定系统可以拒绝无效标定数据。
[0126]通过参考确定的、绘制在VDU上的⑶I上的视线位置移动，明显眼球运动概念可以最容易地被定义、预想和理解。尽管如此，该确定的视线位置移动对应于眼睛的实际自身运动，因此，可选地，明显眼球运动可以参考眼睛运动被定义。
[0127]为了保证标定数据只被用于与绘制在VDU 21上的⑶I中显示的符号位置关联的数据，当用户在看绘制在VDU 21上的GUI中的、与符号24关联的特定位置时，只有在响应与视线方向变化关联的、必要的迅速和/或明显的眼球运动时，标定数据才被获取。在实际中，该视线方向变化之后是一必要的短时间段，在该短时间段中，用户视线停留在新的位置上，该停留对应于受限的眼球运动。之后接着是又一迅速和/或明显的眼球运动，该眼球运动与用户在看的、绘制在VDU 21上的GUI中又一新位置关联。
[0128]因此，在一些示例中，在一明显眼球运动之前和之后的预定时间段内获取的标定数据不能被使用，这是因为用户的眼睛在这些预定时间段内预计仍然在移动。这些预定时间段可能是短暂的。对于运行在更新帧速率的视线追踪系统，在迅速和/或明显眼球运动之前和之后的预定数量的帧可以被忽略。在标定中，在迅速和/或明显眼球运动之前未使用的帧的数量可以与迅速和/或明显眼球运动之后未使用的帧的数量相同。忽略的帧的数量可以为4，或例如为位于I到10之间的一个数值。在迅速和/或明显眼球运动之前和之后一定数量帧的忽略应与相机缓存关联。在优选的一示例中，忽略的帧的数量应尽可能小。这意味着在明显眼球运动之前和之后的短时间段(在该短时间段获取的标定数据不会被使用)等于帧更新速率的倒数乘以帧的数量，其中，由该数量帧获取的标定数据不会被使用。
[0129]在一些示例中，所有收集的标定数据可以被使用，且不需要执行以上描述的一时间段的数据或一定数量的帧的忽略过程。
[0130]在一些示例中，如果在迅速或明显眼球运动之后用户视线明显漂移时，则忽略该数据点。这可以通过以下方式来确定:将位置上的任何移动距离与迅速和明显眼球运动之后用于预定时间段的预定阈值进行比较，如果在该时间段眼球运动阈值被超过，则忽略该迅速和明显的眼球运动。
[0131]因此，在该示例中，如果明显和/或迅速的眼球运动之后用户眼球运动没有保持相对静止一短时间段，则明显和/或迅速的眼球运动之后的标定数据不会被获取。保持相对静止一短时间段表明在该短时间段内用户在看绘制在VDU 21上的GUI上的特定位置。该短时间段可与以一更新速率运行的系统的I到10帧相一致。例如，对于以更新速率40-50HZ运行的系统，该时间段少于0.1秒。在一些示例中，时间延迟(该时间段)基本上少于该时间或大于该时间。
[0132]通常地，在标定期间，视觉视线方向信息或数据不会取平均值，且来自每一帧或更新事件的有效数据用于形成标定。在一些示例中，所有可能的数据都被用于标定。
[0133]在一些示例中，所有有效数据都被用于执行标定。
[0134]在一些示例中，如前所述，因为用户眼睛一直在运动，甚至当盯着一固定位置(例如，符号24)看时也一直在运动，因此，在与一定数量帧(或更新事件)等价的一短时间段内，视觉视线方向信息或数据被取平均值，以获取用于标定的视觉视线方向信息或数据。帧的数量为4，或例如位于2到10之间。尽管如此，在一些示例中，帧的数量可大于该数量。而视觉视线方向信息被平均的该短时间段则等于帧更新速率的倒数乘以该短时间段内的帧数。
[0135]在一些示例中，在获取一标定数据之后，进一步的标定数据不会被获直到发生又一明显眼球运动，即直到用户在看与符号24相关的绘制在VDU 21上的⑶I上的一新位置。
[0136]可以对以上所述进行如下总结:
[0137]如果发生明显眼球运动，例如，迅速和/或突然的眼球运动和/或长距离眼球运动，则这是一个提示，表明视线位置已移动到一新位置，可以获取一新的标定点。
[0138]如果存在相对静止且该相对静止是发生在一明显眼球运动之前，则这是一提示，表明该数据为有效数据，可用于标定。如果视线位置被用于标定，则如前所述，不管是基于鼠标点击推导或一些其它操作、或基于用户与专门标定点的交互，该系统必须知道用户正在看的位置。
[0139]如果眼睛在移动和/或飘移，表明视线位置在移动，但该移动并不满足明显眼球运动的标准，那么这并不是表明视线已移动到一新位置的提示。该移动可能是由于误差或干扰、或用户阅读一行文本或类似动作造成的。在这种情况下，并不需要考虑对一标定点进行收集。
[0140]如果眼球运动不规则，表明眼睛在移动但该移动不是一致的和/或大的和/或明显的和/或迅速和/或突然的，且不满足明显眼球运动的标准，那么这可能是较小范围的有意眼球运动或者是在系统误差的范围内和/或由误差或干扰造成的。
[0141]在一些示例中，在标定过程中的明显眼球运动可被定义为与眼睛移动关联的眼球运动，其中，该眼睛移动与用户在看的由屏幕显著尺寸分隔开的屏幕上的位置一致。在一些示例中，该屏幕的显著尺寸可以为屏幕尺寸的5%、10%、25%、30%、35%。在其它示例中，该屏幕的显著尺寸可以比该尺寸大或小。该装置可确定眼球运动的分布，以确定与屏幕上一定尺寸的移动相一致的眼球运动，并根据该确定的眼球运动为标定确定一明显眼球运动。
[0142]在一些示例中，用于识别一明显眼球运动的标准是可定制的，但相对于系统精确度σ的预想变化，该标准应比较明显。在一些示例中，明显眼球运动应大于4σ。在一些示例中，明显眼球运动可少于σ、1σ、2σ、3σ或4σ。
[0143]在一些示例中，用于识别明显眼球运动的标准可由用户配置或设置，在其它示例中，用于识别明显眼球运动的标准可从组合鼠标装置中学习得到。在其它示例中，该标准可随着时间的推移被调整。在其它示例中，该用于识别明显眼球运动的标准由应用程序决定。例如，在一应用程序中，当符号密集地位于绘制在VDU 21上的⑶I上时，该用于识别明显眼球运动的标准可小于另一应用程序中的标准，在该另一应用程序中，图标被更宽地分隔显示在绘制在VDU 21上的⑶I上。
[0144]在一些示例中，基于用户视线位置，使符号24被定位的、用于识别明显眼球运动的标准或阈值可大于随后的用于明显眼球运动的阈值。这使得组合鼠标系统可实现符号24的移动，之后如果需要，可基于用户视线位置，进一步实现例如对符号的移动进行修正。符号24的修正移动可能是必要的，这是因为符号24没有被精确地定位到用户要求的位置，修正移动需要对符号24进行进一步移动，该移动可通过视觉视线方向信息和/或物理移动信息实现。这意味着在组合鼠标功能下，可以在用户视线方向的基础上，对符号24进行定位，其中，该视线方向被用于实现符号的大、小范围移动。也可在结合用户视线方向和用户移动鼠标23以移动符号24的基础上，对符号24进行定位。
[0145]在标定过程中，与当用户没有实现积极按键点击操作时获取的标定数据点相比，更大的权值可以被分配给与积极按键点击操作关联的标定数据点。相对于其它标定数据点，1-2或2-5之间或5-10之间的权值因子可被赋予给这种积极标定数据。
[0146]在一些示例中，视线追踪系统可只具有一个光源，或者也可以大于两个光源。在一些示例中，光源43发出一波长范围的光，该波长范围与近红外光波长范围不同，例如，可见的或中部红外线区域。在一些示例中，光源43可以为不同于LED发射器的光源，例如，白炽灯光源或人眼安全的激光源。在一些示例中，光源43可被安装在不同于VDU 21底座的位置，例如，VDU 21顶部的侧面。在一些示例中，两个光源43被安装在VDU 21的下方，两个光源被安装VDU 21的两侧。在一些示例中，光源43以连续方式运行，且没有脉冲。
[0147]在一些不例中，相机44可以为不同于USB相机的相机，例如，千兆网(GiGe)、千赫(cameralink)/火线、或具有HDMI线缆的、或连接到处理器45的多种其它相机格式的高清晰度相机。进一步地，在一些示例中，可使用不只一个相机44。在一些示例中，相机44的帧速率少于40-50Hz，在一些示例中，可位于20Hz至40_50Hz之间。
[0148]在一些示例中，处理器45以低于40Hz的频率运行，或以高于200Hz的频率运行。
[0149]在一些示例中，仅来自一个光源43的辐射被用户眼睛31反射。在一些示例中，来自多于一个光源43的辐射被用户眼睛31中的仅一只眼睛反射。
[0150]在一些示例中，用户眼睛31中的仅一只眼睛的瞳孔的位置被确定。在一些示例中，不需要确定用户眼睛31的瞳孔的位置。
[0151]在一些示例中，眼睛的瞳孔位置可以基于圆形霍夫变换进行分析确定。尽管如此，存在多种方式来确定瞳孔的中心。基于圆形霍夫变换的分析用于确定瞳孔的半径以及瞳孔在图像中的位置，即，x、y坐标。
[0152]在一些示例中，为了增强健壮性而利用边界强度的标准圆形霍夫变换上的变量被使用。这还使用了来自数据前一分析的先验知识，以优化可能的参数，例如，用户眼睛31的瞳孔位置和半径，并限制用于霍夫变换计算的参数空间。该位置和半径都被确定到子象素精确度。这允许该分析在标准快速PC系统上足够快地运行。
[0153]在一些示例中，例如，用户戴着眼镜的示例中，环境情形会对照明装置/瞳孔的视位置产生影响，会导致非常明显的反射，这些反射会对分析产生欺骗，或会部分或全部地遮蔽眼睛自身或眼睛部分对光源43的反射。如果用户戴着眼镜，则可能会产生反射，例如，来自照明装置、或来自其它装置的光、或来自窗户的光、或来自其它辐射源的光的反射，该反射可能会部分或完全遮蔽用户单眼或双眼31中对光源43的反射。这些方面都增加了分析的复杂性，使得分析更加困难，难以建立一个健壮的系统。在一些示例中，通过使用一组光源可缓解这个问题。当系统认为移动是如此以至反射很可能很快会导致问题时，或当由于玻璃反射，系统已失去真正的照明装置反射时，可以预先使用一组光源。这适用于组合鼠标的两个标定方面，且适用于组合鼠标的运行方面。
[0154]在一些示例中，通过使用匹配滤波器确定光源43的位置，光源43的位置可使用与用户单眼或双眼31图像做卷积的双阈值算子。之后合成图像被阈值化，以保留少量对象，这些对象被认为是潜在的光源43。这些对象之后被分析，而那些没有显示出用户眼睛中反射的显示光源43应具有的特征的对象则被拒绝。用于拒绝伪检测结果的标准包括尺寸、长宽比和密度。当用于一对光源43时，则需要包括附加约束条件。这些附加约束条件可包括光源43的相对位置，例如，X和y距离。这些特征的约束条件可以根据组合鼠标系统的物理分析以及前一图像的分析来确定。例如，可以使用来自前一图像分析得到的信息对光源43和瞳孔中心之间的关联设置约束条件。光源43的中心可以被确定达到子象素精确度。
[0155]在一些示例中，在启动和引导阶段，或在系统已运行但用户只是刚移动到组合鼠标系统的检测范围，系统可能不清楚用户眼睛31在哪儿或眼睛反射的光源43在哪儿。在这种情况下，组合鼠标系统可以以全帧图像运行，以启动对用户眼睛31的定位，之后帧速率可相对地降低。在该引导阶段，组合鼠标系统在整个图像中检索用户眼睛31中候选光源43的反射。在一些示例中，各种阈值被采用，这样，系统可获得候选的5到20对光源反射(这些可根据需要变化)。之后，通过在图像中查找看起来为瞳孔的对象，组合鼠标系统找出用户眼睛31和瞳孔，这些看起来像瞳孔的对象具有与瞳孔一致的合适半径，且位于光源43的合适距离范围中。在该合适距离范围中，瞳孔之间具有合适的距离，接着组合鼠标系统检查光源43之间的关系和瞳孔中心是是否一致且适合于用户双眼31。只要该过程被完成，则通过使用来自提供用于正常阶段的先验信息的分析，组合鼠标系统移动到“正常”阶段。引导阶段也将会为“感兴趣区域”确定合适的尺寸，该“感兴趣区域”将包含用户双眼以及围绕单只或每只眼或双眼的图像场足够空闲空间，以使得用户进行充分的移动，且用户双眼31不会移到该感兴趣的外部。在组合鼠标系统中，这可以使得图像获取帧速率被增加。之后帧速率可以被增加到大于40-50hz。
[0156]在一些示例中，在正常阶段处理过程中，组合鼠标系统使用一系列“感兴趣区域”(ROI)对在做的处理以及在图像的什么区域进行处理进行控制。具体过程ROI为一个小窗口，该窗口集中在组合鼠标系统计算用户眼睛的位置。在该窗口中，组合鼠标系统尝试寻找候选对光源43以及瞳孔或用户单眼或双眼31的中心。如果这些可以被令人满意地找到，则这些的位置可被用于设置ROI的位置，以用于随后的图像分析。如果瞳孔和光源(该光源可以为单一光源)不能一起被找到，则通过一些小步骤该ROI的尺寸被增加到某个最显著尺寸。类似地，如果他们被找到，则ROI的尺寸通过一些小步骤被减小到某个最小尺寸。如果对于若干帧，系统不能找到一只眼中的光源43以及瞳孔，则该系统将使用来自另一只眼的分析，加上随着时间的推移而确定的参数(例如，两只眼之间的时间加权平均位移)，从而确定该处理过程应该被应用到哪以找到“丢失的”眼睛及其参数。如果用户的两只眼都不能在大量的帧上被找到，则系统可以移动到再获取阶段。
[0157]在一些示例中，在再获取阶段，组合