凝视辅助触摸屏输入的制作方法_2

文档序号:9829867阅读:来源:国知局
104可包括用以生成触摸信号的适当传感器硬件和逻辑。触摸信号可包括关于触摸的位置(例如,描述触摸的面积、形状或轮廓的一组或多组(x,y)坐标)、触摸的压力(例如,通过用户的手指或可变形触笔与触摸屏104之间的接触面积或者用压力传感器来测量)、接触持续时间的信息、任何其他适当信息或此类信息的任何组合。在某些实施例中,触摸屏104可被配置成将触摸信号经由有线或无线通信路径(例如,分别是路径108和112)流式传输到个人计算设备102和/或远程计算设备106。在某些实施例中,如上所述,触摸屏104可本地地连接到个人计算设备102(或与之集成)。
[0028]远程计算设备106可包括一个或多个服务器(例如,以“云”计算配置布置)或远离个人计算设备102和/或触摸屏104的其他计算设备。可根据任何远程有线或无线通信协议来配置个人计算设备102与远程计算设备106之间的通信路径110以及触摸屏104与远程计算设备106之间的通信路径112。在某些实施例中,远程计算设备106可具有比个人计算设备102或触摸屏104更多的计算资源(例如,处理功率、存储器和/或通信带宽)。因此,在某些实施例中,可将由个人计算设备102和/或触摸屏104捕捉并初步处理的数据(例如,在触摸信号中体现的触摸数据)通过通信路径110和/或112传输到远程计算设备106以用于进一步处理。在某些实施例中,远程计算设备106可执行下面参考图2所讨论的凝视辅助触摸屏输入操作的大部分。在某些实施例中,远程计算设备106可包括用于存储触摸信号、凝视位置信号(下面讨论)或者当计算系统100执行根据本文公开的技术的凝视辅助触摸屏输入操作时可访问的任何其他数据的存储设备。
[0029]在本文中公开的凝视辅助触摸屏输入系统的某些实施例中,可不包括计算系统100的部件之间的通信路径中的一个或多个。例如,在某些实施例中,触摸屏104可并不经由通信路径112而直接地与远程计算设备106通信,但是可经由个人计算设备102和通信路径108和110与远程计算设备106通信。
[0030]图2是根据各种实施例的说明性凝视辅助触摸屏输入系统200的框图。系统200可包括输入/输出(I/o)设备228、处理逻辑202以及存储设备226。根据各种实施例,可用图1的计算系统100来实现系统200。特别地,可将系统200的部件以任何适当方式分布在计算系统100的部件中的一个或多个之间。可出于说明性目的将系统200的部件描述为由计算系统100实现,但是可通过任何适当配置的计算设备或计算设备的集合来实现系统200。在某些实施例中,可通过计算系统100的个人计算设备102来实现系统200。在某些此类实施例中,触摸屏104可与个人计算设备102成一整体。
[0031]系统200可被配置成执行许多凝视辅助触摸屏输入操作中的任何一个。例如,系统200可被配置成接收指示系统200的触摸屏上的用户的触摸的触摸信号,接收指示用户在触摸屏上的用户的凝视的区域的凝视位置信号,并且至少部分地基于凝视位置信号和触摸信号而生成输入信号。可将输入信号例如提供给系统200的操作系统、在系统200上运行的应用、与系统200通信的另一设备或在系统200内部或外部的任何其他部件。
[0032]虽然在图2中图示出系统200的许多部件,但各种实施例可在适合于将执行的凝视辅助触摸屏输入操作时省略部件。例如,在某些实施例中,系统200可不包括凝视位置逻辑204,但是可经由有线或无线通信路径与凝视位置逻辑204(在例如单独设备中体现)耦合从而能够从凝视位置逻辑204接收信号和/或向其发送信号。在另一示例中,在某些实施例中,系统200可不包括触摸检测逻辑206,但是其可经由有线或无线通信路径与触摸检测逻辑206(在例如单独设备中体现)耦合从而能够从触摸检测逻辑206接收信号和/或向其发送信号。在另一示例中,系统200的某些实施例可未被配置用于显示调整(如下面所讨论的),并且因此可不包括观看位置逻辑212和/或显示调整逻辑216。
[0033]如上所述,系统200可包括I/O设备228。1/0设备228可包括触摸屏104、图像捕捉设备232及其他设备234。触摸屏104可采取上文参考图1所讨论的任何实施例的形式。
[0034]在某些实施例中,图像捕捉设备232可包括一个或多个照相机。如本文所使用的术语“照相机”可包括静止图像照相机和视频照相机。照相机可以是模拟的或数字的。在某些实施例中,图像捕捉设备232可捕捉高清晰度视频。在某些实施例中,图像捕捉设备232可被配置成将图像数据(例如,视频数据)经由有线或无线通信路径(例如,分别是路径108和112)流式传输到个人计算设备102和/或远程计算设备106。在某些实施例中,图像捕捉设备232可在本地连接到个人计算设备102(或与之集成),而在其他实施例中,图像捕捉设备232可远离个人计算设备102。
[0035]图像捕捉设备232可使用任何成像波长(例如,可见光或红外光)。在某些实施例中,图像捕捉设备232可包括可见光照相机和红外照相机,并且可将由这些设备捕捉的图像组合或者将其单独地处理。在某些实施例中,图像捕捉设备232可包括具有不同取向的两个或更多照相机(例如,安装在可穿戴个人计算设备102上并以“面对世界”取向背对用户的一个照相机,以及安装在个人计算设备102上且当个人计算设备102在使用中时面朝用户的一个照相机)。在某些实施例中,图像捕捉设备232可包括单个图像捕捉设备(例如,单个照相机)。
[0036]图像捕捉设备232可包括阵列照相机,其中多个透镜使能对相同物体的多个图像的同时捕捉。由阵列照相机捕捉的每个图像可由于曝光时间、焦距、白平衡等而改变。图像捕捉设备232可包括处理设备,其被配置成执行用于将图像组合的任何已知技术或者提供各种图像浏览体验(例如,与计算系统100的其他部件相结合)。在某些实施例中,图像捕捉设备232可包括深度照相机,其可提供关于被成像场景中的各种对象的深度的信息。某些深度照相机可使用飞行时间技术来确定深度信息。
[0037]在某些实施例中,图像捕捉设备232可安装在触摸屏104上或接近于触摸屏104,并且可捕捉触摸屏104的用户的一个或多个图像。这些图像可用来确定用户的凝视的区域(例如,下面参考凝视位置逻辑204所讨论的)和/或确定用户的眼睛相对于触摸屏104的位置(例如,如下面参考观看位置逻辑212所讨论的)。在某些实施例中,可将图像捕捉设备232安装在附着在用户的眼睛上或附近的可穿戴个人计算设备102中,并且可在触摸屏104被使用的同时捕捉触摸屏104的图像。这些图像可用来确定用户凝视的区域(例如,如下面参考凝视位置逻辑204所讨论的)和/或确定用户的眼睛相对于触摸屏104的位置(例如,如下面参考观看位置逻辑212所讨论的)。
[0038]包括在I/O设备228中的其他设备234可包括例如任何适当输入、输出或存储设备。可包括在其他设备234中的设备可包括接近传感器(其可安装在用户的眼镜中和触摸屏104中,并且可产生指示用户的眼睛与触摸屏104之间的距离的信号)、一个或多个麦克风(其可在触摸屏104上或接近于触摸屏104安装,并且可基于用户语音的分析对用户的头的位置进行三角测量)或任何其他适当设备。在某些实施例中,其他设备234可包括一个或多个光源,其可与图像捕捉设备232相结合地操作以在图像捕捉期间产生可见光、红外光或其他类型的光以帮助识别图像中的各种特征。例如,某些已知眼睛跟踪技术使用一个或多个红外LED来提供对用户的脸的照明并在角膜的表面上产生反射。该反射可用来对图像中的眼睛和角膜的中心进行定位。
[0039]如上所述,系统200可包括处理逻辑202。处理逻辑202可包括许多逻辑部件。在某些实施例中,处理逻辑202可包括凝视位置逻辑204。凝视位置逻辑204可被配置成产生指示触摸屏104上的用户凝视的区域的凝视位置信号。用户凝视的区域可包括用用户眼睛的最高分辨能力(acuity)区域观看的触摸屏104上的一个或多个位置。在某些实施例中,处理逻辑202可包括图像捕捉逻辑210,其可被耦合到凝视位置逻辑204并可被配置成从图像捕捉设备232接收用户的眼睛的图像。凝视位置逻辑204可被配置成至少部分地基于从图像捕捉设备232接收到的图像来生成凝视位置信号。
[0040]图3描绘了根据各种实施例的针对当用户306观看系统200的触摸屏104时产生凝视位置信号的情况的两个视图302和304。特别地,触摸屏104被示为包括在个人计算设备102(其可以是例如智能电话或平板设备)中。用户306的凝视可指向触摸屏104且特别地指向触摸屏104上的区域312。用户的眼睛310可在垂直于触摸屏104的表面的方向上位于触摸屏104之上一定距离z处。角度α?可表示瞳孔308指向的角度,如从眼睛310的水平面314测量的那样。角度α2可表示瞳孔308指向的角度,如从用户的眼睛310的垂直面316测量的那样。用距离ζ以及角度α?和α2来表征用户的凝视,并且(指示凝视区域312的)位置信号相应地由凝视位置逻辑204生成。
[0041]在图3中表示的角度和距离仅仅是说明性的,并且凝视位置逻辑204可使用来自任何适当设备的任何适当测量来确定凝视区域312。用于眼睛跟踪的现有技术包括使用被布置成以使能使用三角测量技术来确定与照相机布置的距离的立体配置来捕捉用户眼睛的图像的某些技术。某些技术采用眼睛的物理模型,其可包括角膜的反射和折射性质、瞳孔中心的位置和角膜的曲率中心、中心凹(fovea)从光轴的偏移、角膜的曲率半径以及其他物理参数。可通过凝视位置逻辑204来实现任何适当的凝视跟踪技术。
[0042]可以许多方式中的任何一个来表征凝视区域312。在某些实施例中,可将凝视区域312表征为触摸屏104上的点。在某些此类实施例中,凝视位置信号可表示用于触摸屏104的坐标系中的点的坐标(例如,触摸屏104的平面中的二维坐标系中的(X,y )坐标)ο在某些实施例中,可将凝视区域312表征为触摸屏104的面积。该面积可具有任何适当形状。例如,凝视区域312可以是圆,并且凝视位置信号可表示圆的中心的坐标,并且还可表示圆的半径。在另一示例中,凝视区域312可以是椭圆,并且凝视位置信号可表示椭圆的焦点的坐标及椭圆的长轴和短轴的长度。图4图示出触摸屏104上的椭圆形凝视区域312,其具有长轴402、短轴404以及中心406。在另一示例中,可将触摸屏104划分成许多标记矩形或其他多边形,并且凝视区域可包括这些分区中的一个或多个。分区的边界和标签可被存储在存储设备226中。在某些此类实施例中,凝视位置信号可表示包括在凝视区域中的每个分区的标签。在另一示例中,凝视区域312可具有任何形状(例如,不规则形状),并且凝视位置信号可表示凝视区域312的周界的坐标。凝视位置逻辑204可使用凝视区域312的任何适当表征。凝视区域312的形状和/或大小可取决于凝视位置逻辑204能够确定用户306的凝视指向哪里的精度。例如,凝视位置逻辑204可识别椭圆形凝视区域,其具有对应于可以以更大的精度确定用户306的凝视的方向的短轴和对应于可以以较小的精度确定用户306的凝视的方向的长轴。
[0043]在某些实施例中,处理逻辑202可包括触摸检测逻辑206。触摸检测逻辑206可被配置成生成指示用户在触摸屏104上的触摸的触摸信号。触摸信号可包括关于触摸位置(例如,描述触摸
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1