这样，在移动符号24之前或过程中，用户通常会往围绕符号24被移动到的第二位置24b的区域25看。用户可能将符号24移动到绘制在VDU 21上的⑶I中的位置24b，例如，在某行文本中一特定或要求位置，且没有执行任何操作，例如，按键点击操作，如点击鼠标键或触摸感应板键、和/或键盘键，即:光标只是简单地被定位到绘制在VDU 21上的GUI中的位置24b，且没有选择任何内容，光标也可以例如简单地用于标识显示在绘制在VDU21上的⑶I中的内容。在这个过程中，用户可以被认为正在看围绕第二位置24b的区域25，该位置为符号24被移向和/或已经被移动到的位置。在光标24移动且没有按键点击的过程中，用户在看的区域25在图2中通过一个圆进行表示。
[0094]尽管如此，在其它示例中，用户也可以移动符号24到第二位置24b，然后通过在鼠标23上进行按键点击来标识或表示该特定的位置24b。该按键点击可以是对鼠标按键26的释放，例如，如果内容被拖动或移动到位置24b时，或者可以是与光标在特定位置24b定位有关的鼠标点击，例如，为了输入文字被定位在某行文本中，或者可以是与(例如)将要在VDU 21绘制的GUI上被拖动的选择内容有关的鼠标点击。这通常需要确认:在绘制在VDU 21上的GUI中的该位置24b(即当鼠标点击发生时符号24被定位的位置)为期望的位置，以及很可能为用户一直或仍然在看的位置。在光标24移动过程中且有按键点击发生时，用户在看的区域29在图2中通过一个圆进行表示。
[0095]这样，在光标24移动过程中且没有按键点击时用户在看和/或之前在看的位置25和符号24期望的最终位置24b是紧密相关的，而当鼠标点击发生时在光标24移动过程中用户正在和/或之前正在看的位置29甚至是更加相关的。该位置在图2中通过表示区域29的一个圆被显示，该圆小于表示区域25的圆。
[0096]尽管如此，在一些示例中，可能没有与符号移动/定位关联的增强的进一步关联关系，其中，符号移动/定位与鼠标按键点击关联。
[0097]图3示出了结合图2讨论的计算机系统20。其中示出了被显示内容32，例如，绘制在VDU 21上的⑶I中显示的工作条或其它内容。当然，被显示内容32的位置对于正在显示被显示内容32的计算机系统20来说是已知的。在图3中，用户使用传统计算机外围设备(例如，鼠标23)与被显示内容32中的指定内容项33进行交互。例如，在文字处理环境中，该指定内容项33例如可以为文本对齐标记，而被显示内容32可以为任务栏。用户使用鼠标23将符号24 (例如，光标)从第一位置34a移动到第二位置34b，并当符号在第二位置34b时，可以在鼠标23上进行按键点击以与内容33交互。这样，在与内容33交互的过程中，用户通常会往该特定的内容33上看，在图3中，用户的眼睛31被图形化示出。在图3中，在移动符号24时用户在看的区域37由以特定内容33为中心的圆进行表示。当与特定内容33交互时，如果当例如进行按键点击时，用户没有将符号24放置到特定内容33上的中心，则认为用户前面是在看特定内容33的中心位置，即区域37的中心位置。这之所以可以被这么认为，是因为尽管当符号没有位于特定内容33的中心位置时鼠标按键被点击，然而通常仍然认为用户本应该在看目标特定内容33的中心。这样，当符号24被定位在位于或部分位于特定内容33上的最终位置或第二位置34b，而不是精确地定位在特定内容33中心时，按键点击被执行，则可以认为用户前面正在往特定内容33的中心看。除了以上示例，特定内容33可以为绘制在VDU 21上的GUI中显示的其它内容，对于本领域技术人员来说，可以想到，这些特定内容33例如可以为开始按键、扬声器音量按键、日历按键或其它内容。
[0098]应注意，用户看绘制在VDU 21上的⑶I中的位置的时间以及符号24到达或靠近该位置的时间不一定需要是同一时间点。例如，在移动符号24前，用户可往符号24的一想要的新位置看，这样，当符号24到达前一位置时，用户可能已在看符号24的一想要的新位置。这可能是用户将绘制在VDU 21上的GUI中的内容从一位置拖到另一位置时的一个特定情形，其中，用户可能首先往内容要移向的位置看，再将内容拖到该位置，在该位置将内容释放之前，用户可能已经在看从定位在VDU上绘制的GUI中显示的一位置拖动到另一位置的、待拖动的下一内容项。尽管如此，对于本领域技术人员来说，可以想到，用户在看的或一直在看的位置和符号24所在位置之间仍然存在一定的关联关系。
[0099]申请人在主张的装置和描述的方法中使用了用户看的位置和符号的位置之间的关联关系O
[0100]根据主张的装置和方法，视线追踪系统被用于确定来自用户的视觉视线方向信息。通过使用该信息，用户在看的绘制在VDU 21上的⑶I中的位置可以被确定。该视线追踪系统可使用现有已知的眼球跟踪技术。该技术包括附着在眼睛上的装置以及用于测量眼球动作的非接触光学技术，例如，使用从眼睛反射的光的非接触光学技术。在使用来自单眼(或双眼)的光反射的一些示例中，可以提供一个或多个光源，这些示例可以对光反射进行分析以得到单眼(或双眼)动作和视线方向。非接触光学技术以及相关的图像处理技术可使用任何浦肯野(Pukinje)图像或其它技术，以确定瞳孔的位置、相对于瞳孔中心的来自光源的从用户眼睛反射的光的相对位置、眼睛之间的距离估计值、光源之间的距离估计值、相机的位置估计、(例如，当存在两个光源时)光源中间点的位置估计，以作为确定视觉视线方向信息过程的一部分。在这里也可以使用视线追踪技术，例如，可使用电势眼视线检测装置。以上列举的技术仅为示例性的，并不排除其它技术。
[0101]来自用户的视觉视线方向信息可以基于一只眼睛或双眼，或由一只眼睛或双眼确定。
[0102]图4示出了根据本发明一方面结合图2、3描述的计算机系统20的示例图，包括使用的硬件。该硬件包括示例性视线追踪系统47，如前所述，以用于确定来自用户的视觉视线方向信息。在图4中，示出的用户在看绘制在VDU 21上的⑶I中的区域42，其中，用户的眼睛被图形化示出。视线追踪系统47被示例性示出，该系统包括两个光源43、相机44以及与光源43和相机44连接的视线追踪处理器45。如前所述，该视线追踪系统47可以由这里描述的示例的现有技术中已知的任何合适的系统形成，对于本领域技术人员来说，该示例用于表明根据主张的装置和方法的线追踪系统47的一个示例如何被使用。视线追踪处理器45控制视线追踪系统(光源43以及相机44)，并执行任何必要的图像处理。视线追踪处理器45与控制绘制在VDU 21上的GUI中内容的计算机46连接，并执行与计算机相关的其它功能，例如，控制包括鼠标23的外围设备。优选地，两个光源43和相机44被安装在VDU 21下方，两个光源被定位在相机的两侧。优选地，光源43为脉冲近红外LED发射器。优选地，相机44为USB相机。尽管如此，其它类型的相机也可以被使用。来自光源43的光用于对用户眼睛31进行照射，这样，来自光源43的光可以被用户的眼睛31反射。相机44被定位以对用户进行观测，并捕获用户眼睛31的图像，优选地，以帧率为40-50HZ或更快的速率进行捕获。捕获的用户眼睛31的图像优选地包括眼睛瞳孔的位置以及从用户眼睛反射的来自光源43的光的位置。当光源43被定位在VDU 21下方时，可减少与遮蔽用户眼睛31的用户上眼皮关联的问题。遮蔽眼睛的眼皮“低垂”会使瞳孔位置和/或眼睛反射的光的位置的确定变得困难。因此，如果相机和/或光源被定位在VDU 21底部上方的位置，可能会产生一些问题。处理器45对单眼或双眼的图像进行处理，以得到构成部分视觉视线方向信息的信息，优选地，该处理器以40-200HZ的频率进行运行。随着处理器45的频率增加，系统可以集中于加快必要标定，标定方法将在下讨论。尽管如此，处理器以更高频率进行运行并不是必需的。
[0103]通常情况下，视线追踪系统需要被标定，以使得系统可以根据视线追踪系统收集到信息确定用户在看的位置(即:确定视线位置或用户的视线方向)，例如，确定用户在看的绘制在VDU 21上的⑶I中的位置。
[0104]这需要对与一只或两只眼睛关联的参数(在这里被称为视觉视线方向信息)进行确定，其中，这些参数通过使用图像处理的视线追踪系统进行确定，以及需要对系统其它方面和其它参数进行确定，该其它方面包括一些参数，例如，用户位置和朝向参数、用于获取用户单眼或双眼图像的相机位置、用于反射来自眼睛的光的光源位置(当该技术被使用时)。
[0105]视觉视线方向信息用于确定用户视线方向和/或用户在看的视线位置。例如，该视线位置可能与绘制在VDU 21上的GUI中显示的符号位置相关联。这意味着视觉视线方向信息可以用于对用户在看的、绘制在VDU上的GUI中的位置进行确定。
[0106]用户视线位置并不限于VDU 21以及绘制在VDU 21上的⑶I中的内容。在一些示例中，位于VDU外部的离屏区域可以被指定为离屏控制区，系统可以对用户注视这些离屏控制区进行响应。这些离屏控制区可用于将功能加入到绘制在VDU 21上的⑶I中，因此，本发明一方面具有这种功能，该功能允许和确定用户看该离屏控制区。
[0107]在一些示例中，这些离屏控制区可位于离VDU 21边缘几厘米处。通常情况下，用户在看的位置离VDU 21的边缘越远，以确定用户视线位置的空间位置为形式的预计降低的系统精确度越多。在实际中，当视线位置位于VDU 21外部一距离处时，该距离为VDU 21最显著尺寸的25%，则视线追踪系统开始出现问题。尽管如此，这决定于用户位置、用户离VDU 21的距离、以及特定视线追踪系统的性能详细数据。进一步地，可以预料将来的视线追踪系统会具有更高的视线位置精度，使得离VDU 21更远距离处的视线位置可被确定。
[0108]在一些示例中，该系统还可以用于对用户是否在看VDU上显示的材料进行估计。例如，该用户可能在看被放置在离VDU 21 —侧的一个对象，例如，电话。而标定则可确定用户目前没有在看绘制在VDU 21上的⑶I中的内容。
[0109]为了允许根据视觉视线方向信息对用户视线方向和/或位置进行确定，通常需要对视线追踪系统进行标定。一标定方法可用于用户注视GUI中已知的位置，(例如)以对Gn上显示的提示进行响应。因此，用户的视觉视线方向信息可以与这些已知的位置进行关联。由视线追踪系统确定的用户视线位置可以与这些已知的位置进行对比，如果确定的位置和已知的位置不相同，则可以对视线追踪系统进行标定或修正，以在确定的位置和已知的位置之间达成一致。尽管如此，这种方法需要用户主动地参与标定过程，这不是用户所期望的。
[0110]根据本发明的一方面，可使用结合图2、3、4讨论的信息，在符号移动以及当鼠标按键点击发生时符号位置的基础上，通过这些信息该系统可隐含地确定用户在看的或一直在看的位置，即用户在看的或最近一直在看的绘制在VDU上的GUI中显示的内容。
[0111]这意味着，根据本发明装置和方法，在这些隐含的、推导出的用户视线位置的基础上，以对用户透明的方式，用于视线追踪系统请求或期望的标定的确定被执行，即:用户不需要进行任何专门的涉及操作的标定，甚至可能用户不需要知道该标定正在被执行。
[0112]根据本发明装置和方法，用户可以使用鼠标23 (或其它符号控制装置，例如，触摸屏或平板、轨迹球、输入笔或任何其它适合的装置，例如，按键或键盘)将符号24定位在绘制在VDU 21上的GUI—特定位置。如前所述，在一些示例中，符号24可以为光标、内容或一些其它可移动元素，例如，图标。当符号24位置位于该特定位置时，接着可进行鼠标/触摸感应板的点击，或键盘或前述的其他用户指示装置的按键点击。绘制在VDU 21上的GUI上显示的符号24的一个或多个位置以及用户在看和/或一直在看的位置可以认为是相关的，之后该推导出的和隐含的用户视线位置信息可以与视线追踪器收集的视觉视线方向信息进行对比或关联，以确定在标定中是否需要进行任何改变，如果是这样的话，需要的或期望的标定需要被执行。
[0113]当用户以常规方式使用传统鼠标时，随着时间的推移标定数据集可以被建立，其中，通过正常使用几乎整个VDU 21上的标定数据可以被获得。
[0114]通常情况下，需要执行标定，以用于VDU 21上的各种不同位置。在常规操作中，用于显示在GUI上的内容的大量不同位置可以被绘制在VDU 21上，为了确定完整的、必要的或最终的系统标定，与大量不同视觉视线方向信息关联的用户交互是必需的。位置的数量可以为八个、或少于八个、或大于八个。
[0115]该视线追踪系统包括视线追踪器，该视线追踪器用于确定关于用于涉及视线方向的单眼或双眼的位置/朝向和/或其它参数的信息。这些参数可包括瞳孔的位置和/或来自眼睛的光源反射光的位置，和/或可用于确定其它参数，例如，用户相对于VDU的位置和朝向参数。所有这些信息可以被包括在被称为视觉视线方向信息中。根据需要，可以为单眼或双眼确定该信息。该视觉视线方向信息可以与绘制在VDU 21上的⑶I中的符号24的一个或多个位置进行对比或关联。标定数据集可以与将来的视觉视线方向信息一起使用，以确定用户被认为在看的、绘制在VDU 21上的GUI中的位置。
[0116]视线追踪系统可以以合适的更新速率获得来自用户的视觉视线方向信息，以使得视线追踪系统能够足够精确地确定用户的视线方向、视线位置。在一些示例中，对于可获得眼睛图像的非接触光学技术，图像可以以40Hz或接近和包括20Hz的速率被获得，或者可以以20Hz到接近40Hz之间的更新速率被获得，或者可以以接近和包括40Hz的更新速率被获得，或者可以以高于40Hz的更新速率被获得。这意味着在这些示例中，可以以这些更新速率获得视觉视线方向信息。通常情况下，可以想到的，在任何特定的应用中，特定的可用更新速率可用于装置的特定配置，例如，VDU 21的尺寸和分辨率、VDU 21上显示的内容以及用户相对VDU 21的位置。例如，当用户位置进一步远离VDU 21时，需要降低用于足够性能的更新速率。这是因为当用户进一步远离VDU 21时，视线追踪系统的精确度变得易于下降，因此，需要更长周期来确定视线方向。这同时适用于标定装置和混合鼠标装置，其中，这些装置可以是相同的。
[0117]如果VDU 21 一个或多个区域上的标定数据不够，例如，绘制在VDU 21上的⑶I中一个或多个区域，如前所述，用户没有移动符号24以允许对该一个或多个区域进行透明标定，则此时，合适的专门的标定目标可以被显示在VDU 21上，以允许期望的进一步标定数据被收集。用户可以被要求将符号24定位到专门的标定目标上，并点击鼠标按键以从屏幕上移除该专门的标定目标。在这种方式中，用于显示有专门的标定目标的一个或多个区域的标定数据点可以被获得。
[0118]这已在图3中被示出，为了用户在看一位置以及将符号24移动到该位置，特定内容38可以作为绘制在VDU 21上的GUI中、缺少足够的标定数据的一区域中的绘制在VDU21上的GUI中专门的标定目标，从而关于该数据点的标定数据可以被获得。
[0119]特定内容38例如可以为闪光符号，例如，正方形，或者为以其它形式显示的非闪光符号，以吸引用户的注意，或者为显示在GUI中的其它形式的符号。用户可使用鼠标23将符号24移动到特定内容38上的一位置。之后符号24被定位在特定内容38的位置，作为定位过程一部分，可以认为用户也在看VDU 21上特定内容38所在的位置。当符号24被定位在绘制在VDU 21上的GUI上的特定内容38所在位置时，用户通过例如点击鼠标按键，可以与特定内容38进行交互。这意味着当根据需要收集标定数据时，用户可能会被迫使去看显示在特定位置的特定内容，该特定位置可能是选自绘制在VDU 21上的GUI的任何或所有区域。
[0120]在获取的标定数据上标定被执行。执行由视线追踪系统确定的用于单眼或双眼的参数(例如，视觉视线方向信息)与符号24的绘制在VDU 21上的GUI中的关联位置之间的映射，通过该映射，可以对标定进行任何必要的改变。这意味着映射包括将绘制在VDU 21上的GUI中的符号24位置关联到来自用户的视觉视线方向信息。通过使