视线追踪系统的不准确性，确定的绘制在VDU 21上的GUI中的视线位置可能并不是精准的用户要求符号24被定位的位置，确定的视线位置可能没有精确地以用户在看的位置为中心。确定的视线位置53在图5中用一个圆表不。
[0201]图5示出了符号24待移向的、围绕要求的位置54c的区域52和确定的视线位置53之间的间隔，两者被非常宽的间隔开。图示是为了描述清楚，该间隔可少于图5示出的间隔。
[0202]在图5示出的情形中，符号24原来位于第一位置54a。之后符号24根据来自用户的视觉视线方向信息被移动，被重新定位在第二位置54b，该位置为确定的视线位置53的中心。
[0203]组合鼠标功能使得用户之后可使用传统鼠标23对绘制在VDU 21上的⑶I中的符号24的位置进行小范围修正移动58，通过修正移动56将鼠标23拖动到鼠标垫的新位置57，从而实现对符号24进行关联的修正移动58，并将符号24移动到圆52中心的期望最终位置54c。这样，最终将符号24从第二位置54b移动到期望的最终位置54c。这在图中已经被示出。用户决定物理输入位置数据被认为是用户希望基于该数据移动符号。因此，当位置数据被物理输入时，与根据视线追踪系统收集的视线位置信息相比，优先根据该位置数据移动符号，这表明确定的视线位置没有改变，仍然位于位置53。
[0204]这样，该系统可使用确定的用户视线位置53，用于大范围、不精确的移动，接着使用传统鼠标23收集来自用户的物理移动输入，以用于对符号24进行小范围、或精细的移动。
[0205]在其它示例中，视觉视线方向信息可包括视线位置的移动速率，例如，组合鼠标功能不仅允许基于用户在看的位置对符号24进行移动和定位，而且还允许基于用户视线位置的移动速率对符号24进行移动和定位。
[0206]可部分以软件形式提供的组合鼠标装置要求能够对不同类型的移动进行区分，并采取对应的操作。例如，大幅度移动或突然移动基于眼睛，而光标位置的精细移动则通常可使用传统鼠标或指示装置完成，而额外的操作例如按键点击也可使用传统鼠标或指示装置完成。因此，这就是组合鼠标的概念。
[0207]与本发明装置标定相关的前述本发明装置的多个方面也可应用于借助用户视线位置使用该装置控制符号24的位置，即:提供标定的视线追踪器可在提供组合鼠标的功能中使用。
[0208]可选地，(例如，如果用户运行包括本发明要求保护的装置的不同计算机时)标定可从一平台传送到另一平台，传送的标定可被用于在该不同计算机上提供组合鼠标功能。在这种情况下，眼球追踪器以及装置的其它部件为用于标定的不同单元，然而，标定仍然可被使用以提供组合鼠标功能。
[0209]在标定从一计算机被传送到另一计算机的一些示例中，该标定可能被变形以适应标定的视线追踪系统和组合鼠标系统中使用的视线追踪系统的任何区别。
[0210]在一些示例中，如果第二用户使用具有组合鼠标功能的计算机，且用于该用户的标定没有被确定，但用于第一用户的标定已被确定，则第二用户通过使用用于第一用户的标定来利用组合鼠标功能，而不需要等待一完整的标定过程。用于第一用户的标定可以被变形以允许第二用户使用该第一标定。在一些示例中，这可以当用于第一用户的标定已被获取时，允许第二用户在第一用户使用的计算机上使用第一用户的标定。在一些示例中，这可允许第二用户使用不同的计算机。
[0211]变形是必需的，这是因为如前所述绘制在VDU 21上的⑶I中的位置是根据视觉视线方向信息被确定的，而该信息包括例如用户所坐的位置离VDU 21的距离的信息、用户双眼之间的距离、用户双眼的方位(一只眼可能高于另一只眼)、用户眼睛的特征(例如，眼睛曲度)、光源43之间的距离、与VDU 21关联的光源43的确切位置、与VDU 21关联的相机44的位置、使用的相机43的类型(不同相机具有不同的像素或不同的缩放比例)、和/或如前所述的包括视觉视线方向信息的其它信息。
[0212]这意味着操作第一计算机时为第一用户确定的标定可用于移动到第二计算机的第一用户、或可用于使用第一计算机的第二用户，或甚至可用于使用第二计算机的第二用户，然而，这样的话，确定的绘制在VDU 21上的CTI中的视线位置可能会偏离绘制在VDU 21上的GUI中的符号24的位置。当与前述系统标定关联的鼠标键被点击时，确定的视线位置和隐含的视线位置(例如，光标24的位置)之间的偏差可能为一常数，该常数偏差可以被修正，以实现用于第二计算机和/或第二用户的“变形”标定。“变形”的过程也可以包括如前所述的新标定数据的获取。尽管如此，与确定用于用户的标定而没有使用变形过程相比，通常地，只需要获取较少数量的标定数据。
[0213]根据本发明装置，根据眼球/视线追踪器获取的或与眼球/视线追踪器关联的视觉视线方向信息，该系统可确定用户在看的VDU 21上的位置。视线/眼球追踪器从用户确定或收集视觉视线方向信息。视觉视线方向信息可以从一只眼或两只眼确定或收集得到，根据该视觉视线方向信息，可以确定包括绘制在VDU 21上的GUI中的位置的视线方向或视线位置，该标定还可使得该装置能够确定用户什么时候在看VDU的外部，例如，偏离另一侧的外部。根据为双眼一起或为每只眼个别收集或确定的视觉视线方向信息，视线位置可以被确定，从而在装置中提供灵活性，例如，如果眼睛追踪器“丢失” 一只眼，意味着视觉视线方向信息只能为一只眼确定，然而，视线方向或位置仍然可以被确定。可以在与绘制在VDU21上的⑶I中的视觉内容关联的计算机(例如，PC、笔记本、或工作站)或专用处理器中执行根据视觉视线方向信息确定视线位置的必要处理。
[0214]在一些示例中，如果用户“丢失”光标或符号24，意味着用户不清楚光标在绘制在VDU 21上的⑶I中哪个位置，此时，组合鼠标功能使得光标容易被找到。例如，用户通过将眼球运动到VDU 21上显示的⑶I上的一位置，可使得光标或符号24移动到该位置。之后用户可“发现”光标。附加地或可选地，在一些示例中，用户可以执行一动作(例如，持续一预定时间眨一只眼，或持续一预定时间眨两只眼)，以实现对系统的控制。该控制可包括将光标或符号移动到预定位置、或在绘制在VDU 21上的GUI中的分层排布的不同窗口之间切换、或其它控制，例如，打开编辑菜单或启动菜单，对于本领域技术人员来说，组合鼠标功能并不限于这些示例，也可用于实现系统的其它控制。
[0215]如前所述，因为用户眼睛一直在运动，甚至盯着一固定位置(例如，符号24)看时也一直在运动，因此，在与一定数量帧(或更新事件)等价的一短时间段内，视觉视线方向信息或数据被取平均值，以获取用于确定视线位置或方向的视觉视线方向信息或数据。帧的数量可以为4或例如位于2到10之间。尽管如此，在一些示例中，帧的数量可大于该数量。而视觉视线方向信息被平均的该短时间段则等于帧更新速率的倒数乘以该短时间段内的帧数。
[0216]在一些示例中，用户视线位置被显示在VDU 21上显示的⑶I中。
[0217]处理过程使用预先确定的标准确定绘制在VDU上的⑶I中显示的符号24的位置是基于物理移动信息(例如，鼠标垫上传统鼠标的移动)被控制，还是基于用户的视线位置被控制。
[0218]默认模式可以是传统鼠标具有符号24的控制权。这意味着如果没有确定用户视线用于控制绘制在VDU上的GUI中符号24的位置，则传统鼠标(或其它符号控制装置)具有符号24的控制权。这也意味着即使确定用户视线用于控制绘制在VDU 21上的⑶I中符号的位置，如果同时用户在移动鼠标或其它物理输入装置，则由鼠标23控制符号24。通常地，如果用户在移动传统鼠标23，则可以认为用户希望符号随着鼠标23的移动而移动。进一步地，当用户在使用传统鼠标23对符号24进行控制时，则可将符号24固定在用户碰巧在看的位置。这意味着当变化的物理移动信息正从用户那通过传统鼠标23或其它符号控制装置被收集时，绘制在VDU 21上的GUI中的符号24位置可基于该物理移动信息被控制。
[0219]在一些示例中，当物理移动信息正从用户通过传统鼠标23或其它符号控制装置被收集时，绘制在VDU 21上的⑶I中的符号24位置总是基于该物理移动信息被控制。
[0220]用于确定符号24的控制是否基于视线位置的预先确定的标准可以以绘制在VDU21上的⑶I中明显变化的标识为基础。这将在下面描述。
[0221]与关于标定装置的描述的情形类似，当用户在看一个对象时，用户的眼睛一直在持续运行。当用户从一个对象转向看另一对象时，会发生视线上的明显变化。尽管如此，当注视一个对象时，尽管眼睛在持续移动，然而，视线位置或方向仍然以该对象为中心，用户的视线可以被认为在该对象上停留一短时间段。也就是使用这种信息确定用户希望符号被定位在的位置，该位置可能是对应眼睛持续运动的一短时间段内视线位置的平均。平均降低了系统中的干扰和其它误差。通过合适的处理，视觉视线方向信息可以被使用，以用于确定用户眼睛中一只或两只眼的视线位置。如前所述，单眼或双眼的眼球运动由已知的视线追踪或眼球追踪技术确定，这样，视觉视线方向信息可被用于确定视线位置。如前所述的标定可以被使用。
[0222]在这里，视线位置的明显变化包括不同的眼球运动，该眼球运动不同于用户在看绘制在VDU 21上的GUI中静态的、或慢速移动的、或精确持续移动的对象、符号或内容的眼球运动。这意味着符号24可被视线位置控制的预先确定的标准是指用户必需明显地移动他们的视线位置。在基于变化的视线位置改变符号位置之前，视线位置的明显变化被要求视线位置超过移动距离阈值和/或速率。这是为了保证例如当用户正在阅读一行文本时，或者相反地当用户的双眼漂移且没快速和/或明显移动到感兴趣的新位置(用户希望符号被重新定位或定位的位置)时，符号24没有被移动。
[0223]视线位置的明显变化可以是视线位置中的一个变化，该视线位置与用户在看的、由VDU 21上一显著尺寸分隔开的绘制在VDU 21上的⑶I中的位置相关联。这意味着视线位置中的明显变化大于组合鼠标装置认为的明显变化。VDU 21的显著尺寸可决定于用户和/或应用程序。VDU 21的显著尺寸可决定于用户在看的位置和用户如何看，例如，即使之前没有发生明显的眼球运动，VDU 21的显著尺寸也可决定于用户视线在位置、或符号、或符号区域上停留多长时间。与存在大量符号的VDU 21上显示的CTI的区域相比，在没有或只有少量符号的VDU 21上显示的⑶I的区域中，VDU 21的显著尺寸可能比较大。因此，VDU 21的显著尺寸也可以不决定于先前的明显眼球运动。该显著尺寸为VDU 21尺寸的5%、10%、25%、30%、35%、或更大或更少。
[0224]视线位置的明显变化是可定制的，但相对于系统精确度σ中预想的变化，该标准应比较明显。在一示例中，该视线位置中的明显变化应大于4σ。在一示例中，即使当用户在看一固定点时，由于眼球通常总是在运动，因此，系统的精确度σ可以以与一短时间段视线位置变化相结合的系统固有误差为基础。在一些示例中，视线位置的明显变化可少于σ Uo ,2σ ,3σ或4σ。在该装置将以确定的视线位置变化为基础移动符号之前，要求的该视线位置的明显变化可大约为3cm。
[0225]为了进一步保证符号24的控制有效地基于视线位置，可以认为视线位置明显变化之后，如果用户希望符号24基于用户视线被定位的位置与用户在看的、绘制在VDU 21上的GUI中的特定位置相关，则用户视线位置至少需要在该特定位置停留一短时间段。之后接着是又一迅速和/或明显的眼球运动，该眼球运动与用户在看的、绘制在VDU 21上的⑶I中的又一位置关联。
[0226]定义的必需的短时间段可以比较短。对于以一更新帧速率运行的视线追踪系统，在迅速和/或明显眼睛视线位置变化后，当眼睛被认为停留在一感兴趣区域上时，帧的数量可位于I到10之间。例如，对于以更新速率40-50HZ运行的系统，该时间段少于0.1秒。时间延迟可少于该时间段或大于该时间段。
[0227]因此，如果在视线明显变化之后，用户视线位置明显漂移，则不以视线位置的变化为基础对符号24进行移动。在这种情况下，假设用户在看绘制在VDU 21上的⑶I中显示的内容为用户与内容正常交互的一部分，且在这种情况下用户不需要基于他们的视线位置移动符号24。这构成了的预先确定的标准的一部分，以用于确定什么时候基于视线信息移动或重定位符号。
[0228]在符号基于用户视线位置已经被移动后，该预先确定的标准要求在符号24基于视线位置再次被移动之前，出现明显的视线位置变化。如前所述，在符号25基于视线位置被定位之后，用户可使用传统鼠标23对符号24改变一小段距离到期望的位置。尽管如此，用户也可基于视线位置对符号24进行修正移动。
[0229]在一些示例中，用户可以对该预先确定的标准进行配置，在其它示例中，该预先确定的标准可以从组合鼠标装置中学习得到，在其它示例中，该预先确定的标准可随着时间被调整。
[0230]很显然，在以上的标定阶段和组合鼠标功能阶段，视觉视线方向信息都被持续地收集，但只是被选择性地使用。
[0231]在一些示例中，视觉视线方向信息可以不被持续地收集，例如，当视线追踪系统“丢失”用户眼球位置时，视线追踪系统需要进入重新获取或引导阶段。
[0232]用户希望将符号定位到的感兴趣的区域可以是内容，例如，绘制在VDU 21上的Gn中显示的任务栏按钮。在与标定相关的前述描述类似的方式中，如果视线位置与该内容非常接近，例如，覆盖内容但并不精确地以该内容为中心时，则该装置可以认为用户想要将符号24定位到以该内容为中心的位置。之后符号24被相应地以绘制在VDU 21上的⑶I中的该内容(例如，“打开文件”)为中心。该定位仍然是以确定的用户视线位置为基础，但是在这种情况下，由于符号24被自动地移动到确定的感兴趣内容位置，因此，可以不需要用户基于视线信息或物理移动信息，对符号24进行任何进一步的修正移动，例如，通过鼠标垫上传统鼠标23的物理移动。
[0233]可以对以上所述总结如下:
[0234]如果存在明显的(例如，迅速和/或大的和/或突然的)视线位置变化，则表明符号24应基于视线位置被定位，这是因为视线位置已移动到与用户感兴趣内容对应的一新位置。
[0235]如果视线位置相对静止，且在此之前视线位置发生了明显变化，则表明符号/光标24应被重定位到组合鼠标装置中视线位置。
[0236]如果眼睛视线位置在移动和/或漂移，表明视线位置在移动，但该移动不是明显的移动，此时并不是表明符号/24应基于视线位置被移动。
[0237]如果眼睛视线位置不规则，表明眼睛在移动但视线位置并不一致，且移动不明显，即不明显大和/或迅速和/或突然，这可能是较小的有意的眼球运动、或系统误差范围内的运动、和/或由处理过程中的干扰导致，此时，不基于视线位置移动符号/光标24。
[0238]在一些示例中，确定的视线位置中的迅速和/或明显变化包括用户在不动地看VDU 21上显示的⑶I中的内容，在该示例中，这可能是一个明显变化。例如，当用户在不动地看⑶I上显示的特定元素，例如，图标。
[0239]在一些示例中，确定的视线位置中的迅速和/或明显变化包括确定的用户视线位置中的小变化。例如，如果用户在看VDU 21上显示的GUI中的一位置，该位置比较接近一符号，例如，工具栏菜单中的“粗体”标签，之后用户视线移向该“粗体”标签，则可以认为该移动是确定的视线位置中的一个迅速和/或明显变化。
[0240]之后，在标定阶段或组合鼠标功能中的该系统可做出决定，即用户有意地在看该明显位置。因此，即使视线位置可能只移动了一小段距离或一点也没有移动，而视线位置现在也可以在一明显位置，此时，符号(例如，光标)的标定数据被获取，之后被移动到该明显位置。
[0241]本领域技术人员可以想到，当在组合鼠标模式中使用“组合鼠标”时，进一步的标定数据可以以如前所述的方式被获取，以实现标定，该标定随着时间被改进。
[0242]本领域技术人员可以想到，前面的描述不用于限定计算机系统的绘制在VDU 21上的GUI中的符