基于用户的目光的用户界面元素焦点的制作方法_3

文档序号:8367427阅读:来源:国知局
0,每个由交叉影线图案1、2、3、4和5分别表示。在一个实施方式中,根窗口是盖住了整个屏幕的窗口 302,并且其也可以是其中点击和键盘输入被处理的激活的窗口。在一个实施方式中,窗口 304和306可以是在优先级上仅次于根窗口 302的顶层窗口,或者可能是根窗口 302的子窗口(根窗口 302是其父窗口)。换句话说,例如,如果在根窗口 302中点击或者选择目标或者元素,则其在顶层窗口 304和306中开启。在一个实施方式中,窗口 308和310可是窗口 304的子窗口。换句话说,例如,如果在窗口 304中点击或者选择目标或者元素,则其在窗口 308和310中开启。在一个实施方式中,给定窗口的父窗口之外的该给定窗口的部分是不可见的。例如,在图3的情况下,窗口 310的父窗口 304之外的窗口 310的部分是不可见的,因为窗口 310是窗口 304的子窗口。同理,窗口 306的父窗口 302之外的窗口 306的部分是不可见的,因为窗口 306是该情况下的根窗口 302的子窗口。图3仅仅是窗口和窗口的层的不意性的设置,并且窗口可以以与图3中所示相似或者不相似的任何形式或者配置放置。
[0033]图4是根据本公开的一个方面的用户界面系统的框图。用户界面系统400包括用户的工作站402、键盘404、鼠标406、屏幕408、X服务器系统410、X服务器412、X客户端414,X客户端416、网络418、远程机420和X客户端422。用户界面系统400可以是与本公开不同的用户界面系统的示例,或者其可包括本公开可使用的或者可用于根据本公开的实施方式实现焦点检测系统的组件。X服务器412可从键盘404、鼠标406、或者屏幕408 (例如,如果其是触摸屏界面)获取输入,并将该输入显示成屏幕408上的动作。诸如web浏览器、应用和终端仿真器的程序运行在用户的工作站402上(诸如代表浏览器的X客户端414和代表终端仿真器的X客户端416或者xterm程序),和诸如X客户端422 (被实现为更新器)的系统更新器运行在远程机420上的远程服务器上,但其可以经由网络418在用户的机器或者用户的工作站402的控制下。在一个实施方式中,远程机420中的远程应用或者远程客户端422正如同其本地运行一样运行。
[0034]X服务器系统410内的X服务器412程序可以运行在具有图形显示器的计算机上并与各种各样客户端程序(诸如414、416)通信。X服务器412作为用户程序和客户端程序的中间者,接受来自客户端程序的对于图形输出(诸如窗口)的请求并将其经由例如屏幕408显示给用户,以及接收用户输入(经由键盘404或者鼠标406)和将该数据传送到客户端程序。
[0035]具体地,不管任何时候尝试示出、打开或者选择新的窗口,该请求均被重定向到决定窗口的初始位置的窗口管理器。另外,绝大部分现代窗口管理器将程序重定根级(reparenting),其通常引起网幅被放置在屏幕顶端处和装饰性框架在窗口周围绘制。这两个元素可由窗口管理器而不是程序控制。从而,当用户点击或者拖拉这些元素时,窗口管理器采取恰当的动作,诸如移动或者调整窗口的大小。虽然窗口管理器的主要目的之一是管理窗口,但是很多窗口管理器具有附加特征,诸如处理根窗口中的鼠标点击(例如,当被点击时将焦点变到根窗口),呈现屏面和其他视觉元素,处理一些键击(诸如,例如,关闭窗口的Alt-F4),决定哪个应用在初始处运行等等。
[0036]图5是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的示例处理。处理500可以任何顺序执行并且不限于图5所示的顺序。在框502中,检测器软件用于确定用户的目光的坐标。在一个实施方式中,其可以是被配置用于聚焦于眼睛移动或者视网膜移动的红外线照相机的现成的眼睛检测软件,或者诸如web照相机的简单照相机。在一个实施方式中,其可以是被配置用于运动传感器的运动检测软件,其聚焦于将指示用户的焦点或者目光的坐标的鼻子、嘴巴、脸颊或者其他面部移动,或者手臂、手指移动,或者任何其他移动。在一个实施方式中,坐标可通过(X,y)坐标值表示,或者表示用户的目光或者用户的眼睛的焦点的位置或者点的任何其他值。在框504中,对应于用户的目光的坐标的⑶I元素被确定。GUI元素可以是,例如,图标、窗口、窗口的部分、网站、网站上的一条内容、网站上的图标等等。在一个实施方式中,对于诸如大的窗口的大GUI元素,GUI元素上任何点可算作GUI元素的一部分并将返回该GUI元素。在一个实施方式中,对于具有多个部分的大GUI元素,某个部分内的具体点将返回GUI元素的仅仅该部分。在一个实施方式中,对于小GUI元素,该GUI元素的特定点将返回该GUI元素,即使其位于邻近另一个⑶I元素-在该情况下,可利用可能是通过若干像素设置的用于细节的特定公差。
[0037]在框506中,在预定阈值时间内GUI元素是否保持相同或者用户的目光的目标被确定。在一个实施方式中,预定阈值时间可以是几秒或者更长,或者基于用户多久不得不改变聚焦于某件事的注意力的心理或科学研宄,可能花费更长时间的医疗状况或者眼睛状况校正。在一个实施方式中,如果预定阈值时间内对应于用户的目光的坐标的相同的GUI元素被返回或者被检测到,则逻辑高(logic high)出现,其表示⑶I元素是被选择的那个元素,并且然后可以执行框510。在一个实施方式中,如果少于预定阈值时间的任何时间内对应于用户的目光的坐标的不同的GUI元素被返回或者被检测到,则逻辑低出现并且时钟被重新开始直到预定阈值时间内相同的GUI元素被返回或者检测到,其发生在框508中。在取决于框506的结果的框508中,如果在预定阈值时间之前不同的GUI元素被返回或者被检测到,则时钟被重启。在取决于框506的结果的框510中,至少预定阈值时间内指示相同GUI元素已经被选择、返回或者检测到的高逻辑,用于使系统向所选择的GUI元素给出或者提供焦点。例如,如果GUI元素是某个窗口后面的窗口,则焦点将被授予该窗口,并且突然该窗口将来到显示器屏幕的前景并且成为激活的窗口。在一个实施方式中,这种聚焦目标的选择也可以经由图4中所示的X窗口管理系统来选择,其中眼睛/运动检测传感器和软件系统将表现得像诸如键盘404、鼠标406和屏幕408的用户设备中的一个,并将输入发送到X服务器412以便可能经由客户端414或者416执行到屏幕408上的动作。在一个实施方式中,聚焦目标的选择可以利用不同于图4中所示的X窗口管理系统的不同窗口管理系统。在一个实施方式中,聚焦目标的选择可以使用类似于图4中所示的X窗口管理系统的系统,或者借用其部分,或者在保持一些部分相同的同时修改其其它部分。GUI元素也变得可用于输入,诸如,移动、键入、调整大小、最小化、关闭等等。在一个实施方式中,焦点被给予所选择的GUI元素,在于使所选择的GUI元素激活并可用于输入,而不需要来自用户任何附加动作。换句话说,用户不必点击或者执行任何附加动作来使GUI元素激活并可用于输入。在一个实施方式中,例如,可使激活选择的GUI元素或者窗口内的子GUI元素,诸如文本输入框,准备好用于即时输入。在一个实施方式中,在焦点被给予所选择的GUI元素之后,用户可利用包括计时器和预定阈值时间的与上述相同的处理与该CTI元素内的子CTI元素交互或者选择该子GUI元素。例如,用户可仅仅利用他的或者她的目光决定在所选择的GUI元素内点击按钮或者移动光标或者使文本框激活并准备好用于输入。这可以通过与上述类似的处理来执行。对于目标的移动,目标首先通过上述处理来选择,并且然后提示-以⑶I弹出或者图标的形式-出现,确认所选择的目标是想要移动的目标。一旦用户确认所选择的目标是想要移动的目标,则用户可以使用他的或者她的目光移动该目标。例如,如果用户希望选择并激活在所选择的GUI元素内的文本框,则用户将看着文本框达预定量的时间并等待、直到该文本框内的光标激活,然后输入文本。在一个实施方式中,当用户的目光聚焦在用户界面元素上时,用户界面元素或者具有用户界面元素的窗口不放大,屏幕大小或者屏幕的纵横比或者窗口大小也不调整。
[0038]图6是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的另一个示例处理。处理600也可以任何顺序执行,并不必限于图6中所示的顺序。在框602中,任何现有的现成的眼睛追踪软件或者运动检测软件用于确定用户的目光的坐标(例如,坐标的(x,y)表示)。在一个实施方式中,追踪软件可以被配置用于检测眼睛移动的红外线照相机,或者诸如web照相机的照相机。在一个实施方式中,追踪软件可被配置用于检测面部的任意部分的面部移动或者眼睛移动或者手指活动以确定用户的目光或者焦点的位置的运动传感器。在一个实施方式中,坐标可被表示为(X,y)坐标或者(X,I, z)坐标,z表示第三维度,或者(x,y,t)坐标,t表示时间,或者精确地描述用户的目光或者焦点的点的任何坐标集。
[0039]在框604中,与关联于用户的目光的坐标的所选粒度相关联的用户界面(UI)元素被确定。在一个实施方式中,粒度可以基于像素级或者根据比例或距离表示坐标的位置的一些其他标准来确定。在一个实施方式中,粒度或者容差可基于读数想要多么精确来调整-例如如果一个UI元素位于距离另一个UI元素某个数目的像素那么远,则粒度将确定那些UI元素被认为是不同的UI元素还是者相同的UI元素。一旦对应于用户的目光的坐标的UI元素被确定,则其被检测到然后被返回。
[0040]在框606中出现如下的决定:相同的UI元素是否在长于(或者大于或者等于)预定阈值时间的期间内被检测到、被返回、被发现或者被选择。在一个实施方式中,预定阈值时间被设置为几秒钟或者更长,以便将使时间阈值变更长的医疗状况或者眼睛状况考虑进去。在一个实施方式中,Π元素一被选择时钟就开始运行。例如当不同的Π元素被返回时,时钟可以被重设回零。如果时钟超过预定阈值时间的话,其也可以被重设回零。
[0041]在框608中,在返回到框602以再一次启动处理之前,时钟等待以毫秒测量的采样周期,该框608是如果对于框606的答案是“否”的结果。在一个实施方式中,采样周期可以是与预定阈值时间相同的时间周期。在一个实施方式中,采样周期可以是预定阈值时间运行之后采用的附加的短暂时间周期,以便重设时钟和重设检测软件和/或设备。在一个实施方式中,预定阈值时间和采样周期可以毫秒、微秒、秒测量或者以将适于检测软件以做决定的任何其他合理的时间周期测量。
[0042]在框610中,焦点被给予到所选择的UI元素,该框610是如果对于框606的答案是“是”的结果。如果Π元素是窗口的一部分或者窗口
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1