延迟扭曲凝视交互的制作方法
【专利说明】
[0001] 相关申请的夺叉引用 本申请要求2013年3月1日提交的美国临时专利申请号61/771659和2013年11月 18日提交的美国临时专利申请号61/905536的权益，其两者以引用的方式全部合并于此。 本申请进一步通过引用而合并2013年3月13日提交的美国专利申请号13/802240。
技术领域
[0002] 本公开一般地涉及人机交互，并且更具体地涉及凝视检测。
【背景技术】
[0003] 人机交互一般地涉及由用户向计算机输入信息和控制计算机。已经开发许多常见 和流行的计算机程序和操作系统来主要与牵涉物理接触或操纵(例如，鼠标或键盘）的输入 方法一起起作用。这种类型的物理输入方法在本文中被称为需要接触的输入。对于期望使 用非接触输入方法的人而言可能难以以这些计算机程序和操作系统的完整潜力与它们交 互。出于各种理由（例如，由于受伤或残障)，一些人必须使用非接触输入方法。
[0004] 非接触输入设备的示例是诸如在美国专利号7572008中描述的那样的眼睛跟踪 设备。眼睛跟踪设备可以基于以下原理操作：用红外光照射眼睛并且利用图像传感器检测 离开眼睛的光反射。处理器可以使用图像传感器的数据来计算用户的凝视方向。
[0005] 然而，随着技术进步，计算机程序和操作系统合并了基于需要接触的输入装置的 新形式的人机交互来实现简单功能和复杂功能两者。一种形式的人机交互的示例是在计算 机、平板电脑、电话等等上基于触摸的交互，用户由此通过触摸和通过在触摸敏感设备(例 如，触摸屏）上执行手势(例如，多手指手势）来与设备交互。这种和其他形式的用户交互 需要设备与用户之间真正物理的连接，经常需要用户与触摸敏感设备之间的多点物理接触 (例如，针对多手指手势)。
[0006] 可能合期望的是开发基于具有执行简单功能和复杂功能两者的能力的非接触输 入装置的人机交互方法。可能进一步合期望的是开发基于非接触输入装置的人机交互方 法，该非接触输入装置可以在被开发为主要供需要接触的输入装置使用的计算设备上有效 地起作用。
[0007] 许多非接触交互缺少接触方法的清晰定义和标识，因此其关于非接触输入命令的 意图有时可能是模糊的。为了帮助处理这个问题，先前已经提出在具有需要接触的输入设 备(诸如计算机鼠标或触摸板）的情况下利用非接触输入装置(诸如眼睛跟踪)。例如，美国 专利号6204828描述了一种系统，其中光标在屏幕上的显示在由计算机鼠标移动时被悬停 并显示在用户凝视的位置。
[0008] -些交互方法不是直观的，并且用户可能不肯定地知道眼睛跟踪是否正在起作用 或者光标的确切位置。一些交互方法导致认知混乱，由此在用户触发了光标的移动之后，该 用户必须预测光标的将来位置并且相应地调整。
[0009] 可能合期望的是在确定用户是否意图触发鼠标移动的时尽可能早地用信号通知 用户光标的将来位置。进一步地，由于眼睛跟踪系统可能不提供100%的准确性，光标将移 动到的所确定的凝视位置可能不是用户所意图的位置。可能合期望的是帮助用户更准确地 确定如何及何时与诸如触摸板或鼠标之类的需要接触的输入装置相结合地使用诸如眼睛 跟踪之类的非接触输入装置。
【发明内容】
[0010] 术语"实施例"及类似术语意图广泛地指代本公开和下面的权利要求的所有主题。 包含这些术语的陈述应当被理解为不限制本文中描述的主题或者不限制下面的权利要求 的含义或范围。本文中覆盖的本公开的实施例由下面的权利要求而非本
【发明内容】
限定。本
【发明内容】
是本公开的各个方面的高层综述，并且介绍一些下面在【具体实施方式】中进一步描 述的概念。本
【发明内容】
不意图标识要求保护的主题的关键或必要特征，也不意图被孤立地 用于确定要求保护的主题的范围。应当通过参考本公开的整个说明书的适当部分、任一或 所有附图及每一项权利要求来理解主题。
[0011] 本公开的实施例包括可以用非接触输入装置通过区域控制进行控制的计算机系 统。在一个实施例中，非接触输入装置跟踪由用户执行的非接触动作。计算机的显示器及以 外部分可以根据配置被分割成数个分立区域。每个区域与一个计算机功能相关联。可以但 不必须向用户指示这些区域和/或其功能。用户可以通过执行由非接触输入装置检测到的 非接触动作来执行各种计算机功能。在指示与特定功能相关联的期望区域时，用户可以提 供意图激活信号。该意图激活信号可以分别为是需要接触的动作或非接触动作，诸如按钮 按压或停留的凝视。在接收到意图激活信号时，计算机系统可以使用所指示的区域(例如， 由用户的非接触动作所指示的区域）来执行与该区域相关联的功能。
[0012] 本公开的实施例包括可以用非接触输入装置(诸如眼睛跟踪设备）控制的计算机 系统。可以在显示器上呈现视觉指示符以指示计算机功能将发生的位置(例如，常见的光 标)。可以响应于在预定时间段内持续检测到用户进行的动作(例如，触摸板触摸)而将视觉 指示符移动到凝视目标。动作与视觉指示符的移动之间的所述延迟提供了向用户提供视觉 指示符在移动之后将被定位在何处的指示的机会，从而允许在视觉指示符已显现在新的位 置之后较少的认知混乱。可选地，该延迟还可以允许用户有时间来"中止"视觉指示符的移 动。附加地，一旦视觉指示符已经移动，就可以在用户在继续动作(例如，继续持有触摸板） 时随着用户移动凝视而以附加精度控制视觉指示符。
[0013] 本公开的实施例包括可以用非接触输入装置(诸如眼睛跟踪设备）控制的计算机 系统。计算机可以响应于检测到第一动作(例如，按压触摸板）而扩大邻近第一凝视目标的 显示器部分。该计算机然后可以允许用户将第二凝视目标放置在该扩大部分中(例如，通过 看着期望位置）并且执行第二动作以便执行在该位置处的计算机功能。扩大可以允许用户 用更高的精度标识计算机功能(例如，选择图标）的期望位置。
[0014] 本公开的实施例包括可以用非接触输入装置(诸如眼睛跟踪设备）控制的计算机 系统。可以执行非接触动作和需要接触的动作的各种组合来促使计算机执行某些计算机功 能。功能可以包括滚动功能、视觉指示符的移动、显示的缩放以及选择另外的功能来执行。 非接触动作和需要接触的动作的组合可以包括在看着显示的某些地方或者停止看着显示 的某些地方时按压按钮和/或触摸触摸敏感设备。
【附图说明】
[0015] 本说明书对以下附图进行参考，在附图中相同参考数字在不同图中的使用意图图 示相同或相似的部件。
[0016] 图1是根据某些实施例的合并非接触输入装置的计算机系统的示意性表示。
[0017] 图2A是根据某些实施例的在图1的显示设备上表现或呈现的显示的图形描绘。
[0018] 图2B是根据某些实施例的在具有第一配置的区域控制模式中图2A的显示的图形 描绘。
[0019] 图3是根据某些实施例的描绘用于区域控制的过程的流程图。
[0020] 图4是根据某些实施例的当处于利用第二配置的区域控制模式中时表现或呈现 在图1的显示设备上的显示的图形描绘。
[0021] 图5是根据某些实施例的具有视觉指示符的显示的图形描绘。
[0022] 图6是根据某些实施例的由计算机执行的延迟扭曲的流程图。
[0023] 图7A是根据一些实施例的描绘多步点击功能的流程图。
[0024] 图7B是根据一些实施例的描绘多步点击功能的流程图。
[0025] 图8是根据某些实施例的显示的图形描绘。
[0026] 图9是根据某些实施例的显示的图形描绘。
[0027] 图10是根据某些实施例的菜单的图形描绘。
[0028] 图11是根据某些实施例的显示的图形描绘。
[0029] 图12是根据某些实施例的显示的图形描绘。
[0030] 图13是根据某些实施例的显示的图形描绘。
[0031] 图14是根据某些实施例的显示的图形描绘。
[0032] 图15是根据某些实施例的显示的图形描绘。
[0033] 图16是根据某些实施例的显示的图形描绘。
[0034] 图17是根据某些实施例的显示的图形描绘。
[0035] 图18是根据某些实施例的显示的图形描绘。
[0036] 图19是根据某些实施例的显示的图形描绘。
[0037] 图20是根据某些实施例的显示的图形描绘。
[0038] 图21是根据某些实施例的显示的图形描绘。
[0039] 图22A是根据某些实施例的显示的图形描绘。
[0040] 图22B是根据某些实施例的示出菜单的图22A的显示的图形描绘。
[0041] 图22C是根据某些实施例的示出菜单的图22C的显示的图形描绘。
[0042] 图23是根据某些实施例的显示的图形描绘。
[0043] 图24A是根据某些实施例的非接触动作的流程图。
[0044] 图24B是根据某些实施例的非接触动作的流程图。
[0045] 图24C是根据某些实施例的需要接触的动作的流程图。
[0046] 图24D是根据某些实施例的非接触动作的流程图。
[0047] 图25是根据某些实施例的具有视觉标记的延迟扭曲2500的流程图。
[0048] 图26是根据某些实施例的没有视觉标记的延迟扭曲2600的流程图。
[0049] 图27是根据某些实施例的没有隐藏的视觉指示符的延迟扭曲2700的流程图。
[0050] 图28是根据某些实施例的延迟扭曲2800的流程图。
[0051] 图29是根据某些实施例的描绘两步点击2900的流程图。
【具体实施方式】
[0052] 可以用非接触输入装置通过区域控制来控制计算机系统。在一个实施例中，作为 眼睛跟踪设备的非接触输入装置被用来跟踪用户的凝视。计算机的显示器可以根据配置而 被分割成数个分立区域。每个区域与一个计算机功能相关联。可以但不必须向用户指示这 些区域和/或其功能。用户可以通过朝向与该功能相关联的区域移动凝视并且提供意图激 活信号来执行各种功能。该意图激活信号可以分别是需要接触的或非接触动作，诸如按钮 按压或停留的凝视。
[0053] 计算机系统可以在用非接触输入装置进行控制时实现延迟扭曲。在一个实施例 中，可以在显示器上呈现光标来指示基于进一步动作(例如，点击）将发生计算机功能的位 置。可以响应于在预定时间段内持续检测到由用户进行的动作(例如，持续触摸触摸板）而 将光标移动到凝视目标。动作与光标的移动之间的所述延迟提供了向用户提供视觉指示符 在移动之后将被定位在何处的指示的机会，从而允许在视觉指示符已显现在新的位置之后 较少的认知混乱。可选地，该延迟给予用户"中止"光标的移动的机会。附加地，一旦光标 已经移动，就可以在用户在继续动作(例如，继续持有触摸板）时随着用户移动凝视、移动鼠 标或划扫触摸板而以附加精度进一步控制光标。
[0054] 计算机系统可以允许在通过非接触输入装置瞄准元素时提高的确定性和精度。在 一个实施例中，用户可以看着一组元素并且执行动作。如果计算机不能确定地确定哪一个 元素被用户瞄准，则计算机可以扩大和/或分割这些元素并且允许用户进一步将凝视聚焦 在期望的元素上，此时执行第二动作，计算机将对瞄准的元素执行期望功能(例如，选择图 标)。
[0055] 可以通过非接触动作和需要接触的动作的各种组合来控制计算机系统。可以通过 非接触动作和/或需要接触的动作的组合来控制滚动、光标移动、缩放和其他功能。这样的 组合可以包括在看着显示的某些地方或者停止看着显示的某些地方时按压按钮和/或触 摸触摸敏感设备。
[0056] 给出这些说明性示例以向读者介绍在此讨论的一般主题，并且所述示例不意图限 制所公开的概念的范围。以下章节参考其中相同的数字指示相同元素的图来描述各种附加 特征和示例，并且指导性描述用来描述说明性实施例，但是像说明性实施例一样不应当用 来限制本公开。可以不按比例绘制本文中的图示中包括的元素。如本文中使用的，利用"例 如"（"e.g. "）列出的示例是非限制性示例。
[0057] 图1是根据某些实施例的合并非接触输入装置106的计算机系统100的示意性表 示。计算机系统1〇〇 (下文，"计算机"）可以被实现在单个外壳中(例如，平板计算机)，或者 可以被实现在由适当的供电电缆和/或数据线缆连接在一起的若干外壳中（例如，具有监 视器、键盘和连接到包含桌面型计算机的CPU的主外壳的其他设备的标准桌面型计算机)。 如本文中使用的，对存在于计算机100"中"的元件的任何引用指示该元件是计算机系统100 的一部分，而非物理地在某个外壳内。
[0058] 计算机100可以包括连接到显示设备104或以其他方式与显示设备104通信的处 理器102、非接触输入装置104和需要接触的输入装置108。处理器102可以包括非接触解 释器112,如下面进一步详细描述的。如本文中使用的，术语"处理器102"指代计算机系统 内视需要而单独地或作为群组的一个或多个个体处理器。计算机100可以包括存储在永 久性可重写或瞬时性存储器上的编程116,所述存储器使得处理器102能够执行本文中描 述的功能，包括区域控制、延迟扭曲和两步点击，以及其他功能。该编程(例如，计算机可执 行指令或其他代码）当由处理器102执行时促使处理器102执行本文中描述的操作。编程 可以包括由编译器和/或解释器从以任何适当计算机编程语言编写的代码生成的处理器 特定的编程。适当计算机编程语言的非限制性示例包括C、C++、C#、VisualBasic、Java、 Python、Perl、JavaScript、ActionScript等等。存储器可以是诸如(但不限于）能够向处 理器提供计算机可读指令的电子、光学、磁性或其他存储设备之类的计算机可读介质。这样 的光学、磁性或其他存储设备的非限制性示例包括(多个）只读("ROM"）设备、（多个）随机 存取存储器("RAM"）设备、（多个）磁盘、（多个）磁带或其他磁性存储装置、（多个）存储器芯 片、ASIC、（多个）经配置的处理器、（多个）光学存储设备、（多个）软盘、⑶-ROM、DVD或计算 机处理器可以从其读取指令的任何其他介质。
[0059] 需要接触的输入装置108可以是用于接受需要物理操纵或物理接触（下文称为 "需要接触的动作"）的用户输入的任何设备。需要接触的输入装置108的示例包括键盘、 鼠标、开关、按钮、触摸板、触摸屏、触摸敏感设备和需要物理操纵或物理接触的其他输入装 置。需要接触的动作的示例包括轻击、点击、划扫、按压(例如，按键）等等。如本文中使用 的，术语"