基于用户的目光的用户界面元素焦点的制作方法
【技术领域】
[0001]本公开一般地涉及在可显示图形用户界面(⑶I)的任何设备上的⑶I显示。
【背景技术】
[0002]有时打开很多窗口的GUI显示的用户不小心会在错误的窗口中开始打字或者点击。例如，用户可能正看着一个窗口或屏幕元素，而计算机可能没有认识到当前不同的屏幕元素具有光标。其要求繁琐的动作，诸如移动鼠标、点击或者执行键盘快捷方式以切换激活的窗口。然而，对于确定用户的注意力在哪或者用户想与哪个窗口交互，这些方式是低效的，并且也是近似或代理。
【发明内容】
[0003]在一个实施例中，计算机被配置为:确定对应于用户的目光(gaze)的坐标集；确定对应于所述坐标集的用户界面(UI)元素；将所述Π元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；根据已启动的计时器确定预定阈值时间内返回的所述Π元素是否相同；如果所述Π元素不相同，则重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定；以及如果所述Π元素相同，则在不需要来自所述用户的任何附加动作的情况下使所述Π元素激活，并且当前选择所述Π元素以接收输入。
【附图说明】
[0004]下面的附图和说明书中阐述了一个或更多实施方式的详细内容。从说明书、附图和权利要求中本公开的其他特征、方面和优点将变得显而易见，其中:
[0005]图1是根据本公开的一个方面的计算机系统的框图。
[0006]图2是根据本公开的一个方面示出示例窗口和⑶I还有至少一个传感器的显示器的图示。
[0007]图3是根据本公开的一个方面的显示器中窗口的可能设置的图示。
[0008]图4是根据本公开的一个方面的用户界面系统的框图。
[0009]图5是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的示例处理。
[0010]图6是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的另一个示例处理。
【具体实施方式】
[0011]根据本公开的多个方面，诸如照相机的传感器可以追踪用户正在看的显示器屏幕上的位置或者其他用户数据以便调整窗口选择或者使若干不同窗口中的一个窗口激活。在一个实施例中，选择窗口或者使其激活被称作给定窗口的“焦点”或者“提供焦点”，以及在贯穿本公开的剩余部分中为简单起见其被称为“焦点”。焦点可基于用户的注意，例如，当用户看着窗口足够长时间时，该窗口被提升到前景并给予焦点(被激活)。用于提升窗口的延迟根据各种参数也可以是可配置的和可调整的。因此，在不必点击窗口、移动鼠标到窗口或依赖快捷键的情况下能够选择窗口和调整窗口焦点变得可能。
[0012]根据本公开的一个方面，焦点检测器可以被实现为体现在有形介质上的用在计算机上的应用中或者用在移动设备上的应用上的软件。移动设备的计算机已经有可以是前向或后向、并且已经被配置为检测来自用户的眼睛移动或者其他基于移动的动作的内置照相机或者其他运动传感器。在一个实施方式中，有形介质上体现的现成眼睛追踪软件可与网络照相机结合使用。
[0013]根据本公开的一个方面，追踪屏幕上用户的目光聚焦在哪的处理电路可替代键盘或者鼠标输入。在一个实施方式中，传感器或者照相机可以是红外线的。在一个实施方式中，如果照相机被阻挡，或者多个用户被检测到，则执行仍然检测或者粗略估计移动的故障安全模式。在一个实施方式中，可以由焦点检测器实行的功能包括最小化窗口、最大化窗口、选择网页上的目标、点击链接、播放视频等等。在一个实施方式中，一旦用户界面元素被选择，则该用户界面元素的子用户界面元素或更小组件(诸如按钮或文本框或图标此类的)也可经由用户的目光来交互。在一个实施方式中，当用户的目光聚焦在目标上时，窗口或者用户界面元素不放大，屏幕大小或者屏幕的纵横比或者窗口大小也不调整。
[0014]根据本公开的一个方面，焦点是用在计算中的术语，其指示当前被选择以接收输入的GUI的组件。焦点通常可以通过点击可以利用例如鼠标或者键盘接收焦点的组件来改变。许多台式机也允许利用键盘改变焦点，经由例如快捷键。按照惯例，“alt+tab”键可用于将焦点移动到下一个可聚焦的组件和/或，在一些实施方式中，“shift+tab”到前一个可聚焦的组件。当图形界面也首先被引入时，许多计算机没有鼠标或者其他这种输入设备；从而快捷键是必要的。快捷键特征也使很难使用鼠标的人们，诸如，例如，有手部残疾或者腕管综合征的人们，能够容易地导航用户界面。在一个实施方式中，箭头键、字母键或者其他运动键可用于移动焦点。
[0015]“焦点跟随点击”或者“点击以聚焦”策略是对于要获得焦点的窗口用户必须在该窗口内点击鼠标的策略。这也通常导致窗口提升越过或者覆盖在显示器的屏幕上一个或更多或所有其他窗口。如果诸如这种的“点击焦点”模型被使用，则即使鼠标指针在另一个应用窗口上，“激活的”当前应用窗口也继续保持焦点并且收集输入。例如UNIX系统上的另一个策略是“焦点跟随鼠标”策略(或者FFM)，其中焦点自动地跟随鼠标控制的指针的当前落点。聚焦的窗口不一定被提升，并且其部分可保持在其他窗口之下。具有该策略的窗口管理器通常提供“自动提升”功能，当窗口被聚焦时，通常在可能发生在预定时间段之后的可配置的短延迟之后，该功能将该窗口提升。FFM策略的一个后果是当指针移动到下面没有窗口的背景上时，没有窗口具有焦点。屏幕上的单独组件也具有光标位置(通过，例如，X和y坐标表示)。例如，在文本编辑包中，文本编辑窗口一定具有焦点以便可以键入文本。当文本被键入到组件中时，其将在文本光标位置处出现，一般其也是可使用鼠标光标移动的。X窗口管理器可以是另一种类型的窗口管理器，其具有历史性提供的、供应商控制的、固定的方法集来控制窗口和屏面怎样在屏幕上显示，以及用户怎样与它们交互。用于X窗口系统的窗口管理也可以与提供图形显示的软件保持分离。在一个实施方式中，X窗口系统可被修改或者增强用于本公开的焦点检测器。在一个实施方式中，X窗口系统可与本公开的焦点检测器一起使用。在一个实施方式中，不同于X窗口系统的窗口系统可与本公开的焦点检测器一起使用。在一个实施方式中，由用户的目光选择的窗口变成激活的并且允许即时的用户输入，而不需要任何来自用户的附加动作，例如，用户不必点击所选择的窗口或者执行任何附加动作以使所选择的窗口激活。在一个实施方式中，可使激活选择的窗口内的文本输入框准备用于输入。在一个实施方式中，Π元素一旦被选择，也变为可用于输入，诸如，移动、键入、调整大小、最小化、关闭等等。
[0016]图1是根据本公开的一个方面的计算机系统的框图。参照图1，所示为根据所述实施方式的计算机系统100的框图。系统100包括经由网络106与其他计算设备通信的客户端102。客户端102可执行web浏览器或者其他应用(例如，视频游戏、消息传送程序等)，以通过网络106从其他设备检索内容。例如，客户端102可与任意数目的内容源108、110(S卩，第一内容源到第η内容源)通信，该内容源108、110向客户端102提供电子内容，诸如网页数据和/或其他内容(例如，文本文档、PDF文件和其他格式的电子文档)。在一些实施方式中，计算机系统100也包括被配置为分析由内容源108、110提供的数据并使用该数据以指令客户端102执行动作的焦点检测器104，该数据诸如来自照相机或者另一运动传感器的运动数据，该动作诸如选择或者聚焦若干窗口中的一个窗口。焦点检测器104也可分析来自内容源108、110的数据，并将其提供回到内容源108、110，诸如，例如，如果内容源108、110需要执行对于用户的运动的某种类型的反馈分析，或者需要确认信息，诸如其他用户的存在或者目标是否正阻挡照相机或者运动传感器，或者什么时候利用备用计划以防没有可用的首要动作。
[0017]网络106可以是在客户端102、内容源108、110和焦点检测器104之间中继信息的任何形式的计算机网络。例如，网络106可包括因特网和/或其他类型的数据网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络、卫星网络、或者其他类型的数据网络。网络106还可包括被配置为在网络106内接收和/或传送数据的任意数目的计算设备(例如，计算机、服务器、路由器、网络交换机等)。网络106可以进一步包括任意数目的硬线和/或无线连接。例如，客户端102可无线地(例如，经由WiF1、蜂窝、无线电等)与硬线(例如，经由光纤电缆、CAT5电缆等)连接到网络106中其他计算设备的收发器通信。
[0018]客户端102可以是被配置为经由网络106通信的任意数目的不同类型的电子设备(例如，笔记本计算机、台式计算机、平板计算机、智能手机、数字视频记录器、用于电视的机顶盒、视频游戏控制台、或者其组合等)。客户端102被示为包括处理器112和存储器114，艮P，处理电路。存储器114可存储机器指令，该指令当被处理器112执行时使处理器112执行本文所述的一个或更多操作。处理器112可包括微处理器、ASIC、FPGA等，或者其组合。存储器114可包括，但不限于，电子的、光学的、磁性的、或者能够向处理器112提供程序指令的任何其他存储或者传输设备。存储器114可包括软盘、⑶-ROM、DVD、磁盘、存储器芯片、ROM、RAM、EEPROM、EPROM、闪存存储器、光学媒介、或者处理器112可以从其读取指令的任何其他适当的存储器。指令包括来自任何适当的计算机编程语言的代码，诸如，但不限于，C、C++、C#、Java、JavaScript、Perl、HTML、XML、Python 和 Visual Basic。
[0019]客户端102可包括一个或更多用户界面设备。用户界面设备可以是任何电子设备，其通过生成感觉信息(例如，显示器上的可视化、一个或更多声音等)将数据传达到用户和/或将从用户接收的感觉信息转换为电子信号(例如，键盘、鼠标、指针设备、触摸屏显示器、麦克风、网络照相机、照相机等)。根据各种实施方式，一个或更多用户界面设备可以在客户端102外壳的内部(例如，内置显示器、麦克风等)或者客户端102外壳的外部(例如，连接到客户端102的监视器、连接到客户端102的扬声器等)。例如，客户端102可包括显示从内容源108、110和/或焦点检测器104接收的网页和其他形式的内容的电子显示器116。
[0020]内容源108、110可以是连接到向客户端102提供内容的网络106的一个或更多电子设备。例如，内容源108、110可以是计算