专利名称：用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法
技术领域：
本申请案大体上涉及计算装置用户接ロ，且更明确地说，涉及适合于配备有触摸屏的移动装置的用户接ロ。
背景技术：
配备有触摸屏显示器的移动计算装置已经实现新一代个人电子装置。触摸屏显示器提供图形显示器和柔性用户接ロ两者，且因此使得 装置能够消除物理按键和按钮以有利于较大的显示器。此类移动装置通常包括图形用户接ロ系统，其使得用户能够通过触摸呈现在显示器上的图标来输入命令。常见形式的用户接ロ呈现具有多个小按键图标的虚拟键盘或小键盘，其以传统物理键盘或小键盘的方式来布置。尽管虚拟键盘用户接ロ是直观且有用的，但典型移动装置中的触摸屏显示器的有限大小要求虚拟键盘按键图标在大小上受到限制，从而使得用户难以在没有键入错误的情况下准确地触摸。
发明内容
各种实施例实现适合于在具有触摸屏显示器的计算装置上使用的用户接ロ，其可通过经由用数码相机跟踪用户注视而局部地増加显示图像的一部分的大小来补偿用户手指的大小。在一实施例中，移动装置包括触摸屏显示器和数码相机，所述数码相机经定位以使得其可在用户正查看触摸屏显示器时对用户面部成像。通过在数字图像中跟踪用户眼睛，移动装置可经配置以确定用户正观看的位置，且如果用户注视指向触摸屏显示器上的位置，那么可在大小上增大所显示图像的在用户正观看的位置附近的一部分。当所显示图像包括虚拟键盘或小键盘时，可与用户指尖的尺寸相称地在大小上増大在用户注视附近的按键图标。在一实施例中，可在训练例程中将移动装置校准到用户的手指大小和眼睛。尽管所述实施例可尤其对虚拟键盘用户接ロ显示有用，但眼睛跟踪局部化放大功能性还可对其它应用程序以及其它形式的计算装置(包括具有大触摸屏显示器的计算装置)有用。
并入本文中并构成本说明书的一部分的
本发明的示范性实施例，且连同上文给出的概括描述和下文给出的详细描述一起用以解释本发明的特征。图I为移动装置的正视图，其展示触摸屏显示器上的用于消息接发应用程序的常规用户接ロ。图2为移动装置的正视图，其展示用于消息接发应用程序的实施例用户接ロ。图3和4为移动装置的正视图，其说明实施例用户接ロ的操作。图5和6为移动装置的正视图，其说明实施例用户接ロ的校准操作。图7为用于实施实施例用户接ロ的实例方法的过程流程图。图8为用于校准实施例用户接ロ的实施例方法的过程流程图。
图9为用于实施另一实施例用户接ロ的实施例方法的过程流程图。图10为适合于在实施例中使用的移动装置的组件框图。
具体实施例方式将參看附图来详细地描述各种实施例。只要可能，将在整个图式中使用相同的參考标号来指代相同或相似的部分。对特定实例和实施方案做出的參考是出于说明性目的，且不希望限制本发明或权利要求书的范围。本文中可互換地使用术语“计算装置”和“移动装置”来指代蜂窝式电话、个人数据助理(PDA)、掌上型计算机、无线电子邮件接收器(例如,Blackberry 和Treot)装置)、具有多媒体因特网功能的蜂窝式电话(例如，Blackberry Srorm )、全球定位系统(GPS)接收器、无线游戏控制器、个人计算机以及包括可编程处理器、触摸屏用户接ロ /显示器和定位于装置上以使得其可在用户可以看到显示器时对用户眼睛进行成像的数码相机的类似个人电子装置中的任何一者或全部。尽管各种实施例尤其在具有小显示器的移动装置(例如，蜂窝式电话)中有用，但所述实施例还可在采用触摸屏显示器的任何计算装置中有用。因此，在后面的实施例描述中对“移动装置”的參考仅是出于说明目的，且不希望排除以触摸屏显示器为特征的其它形式的计算装置或限制权利要求书的范围。配备有触摸屏用户接ロ/显示器的计算装置在用户输入和材料的图形表示方面提供很大灵活性。然而，此类用户接ロ并不是没有限制的。举例来说，当常规键盘按照虚拟键盘或小键盘来在典型的移动装置触摸屏显示器上表示吋，必须以充分小而足以配合在显示器的宽度和高度内的大小来显示按键图标。此类小按键图标可能非常难以用手指来准确地按压，因为手指所触摸的表面面积将通常涵盖ー个以上按键图标。这在图I中说明，图I展示具有上面显示虚拟键盘4的触摸屏2的移动装置I。在如图I中所说明的典型虚拟键盘布局中，试图按压单个按键(例如，“ H”按键)的用户手指5还将触摸到周围的按键图标，例如如所说明的用于“G”、“H”、“V”和“B”的按键。因而，此类虚拟键盘和小键盘上的键入错误是常见的，且可能使用户感到沮丧。各种实施例通过响应于用户注视而提供所显示图像或图标的选择性增强来提供对小移动装置显示器所具有的此问题的解决方案。在一实施例中，用户可将其计算装置校准到其自身的手指大小且训练所述装置基于对其眼睛拍摄的图像来辨识用户注视的位置。通过确定用户正在触摸屏上观看的位置且基于手指大小校准因数来将虚拟键盘的在用户正观看的位置附近的部分增强一定量，移动装置可提供配合在触摸屏显示器的不动产内但提供对于用户手指来说足够大的按键图标的用户接ロ键盘或小键盘。在另ー实施例中，可将增强显示器的在用户注视内的部分的方法应用于其它应用，例如所显示的地图、照片、文字和其它视觉材料。而且，各种实施例可在包括触摸屏显示器的任何计算装置上实施，甚至是具有大触摸屏显示器的计算装置，因为局部化图像增强功能性可使得用户能够准确按压显示器上的特定位置而不必放大整个图像。图2说明在具有触摸屏2的移动装置I上进行操作的实施例。在此实施例中，通过数码相机3对用户眼睛进行成像，数码相机3定位于移动装置I上，使得其可在用户正与触摸屏2交互时对用户面部进行成像。基于用户正观看的位置，移动装置I增大虚拟小键盘虚拟键盘4中的按键图标的大小，使得其与用户手指5相客。如所说明，向试图按压用于字母“H”的虚拟按键的用户呈现与用户指尖一样大的图标。以此方式，按压错误按键或用涵盖多个按键图标的触摸事件将触摸屏接ロ搞乱的机会得以降低。此实施例在图3和4中进ー步说明，图3和4展示数码相机3如何对用户眼睛5进行成像以确定触摸屏显示器2上的用户注视6的位置。这可通过使用图像辨识软件定位用户眼睛，且更明确地说，定位用户瞳孔的位置来完成。可通过对用户眼睛的图像应用图像分析规则(其可考虑到用户面部相对于装置触摸屏显示器的定向和位置以及用户瞳孔在所述图像内的位置)且应用三角计算估计用户正观看的位置来完成确定用户注视的位置。随着移动装置根据数码相机3所获得的图像确定用户注视6的位置，在大小上增强虚拟小键盘4的靠近用户注视6的中心的按键图标。因此，随着用户注视6从虚拟键盘4的左手侧(如图3中所示)移位到右手侧(如图4中所示)，基于用户手指的 校准因数而使虚拟小键盘4的在用户注视6的中心内的那些图标更大。图3和4说明所述实施例如何使得虚拟键盘4能够配合在移动装置触摸屏2的有限空间内，同时还提供足够大以适应用户手指的按键图标。尽管图2到4展示响应于用户注视而增强的虚拟键盘4，但所述实施例还可应用于任何虚拟小键盘，例如电话小键盘、计算器小键盘或游戏专用小键盘。因此，提供虚拟键盘4的图像仅仅作为实例而不作为对所述实施例的范围的限制。为了将移动装置I校准到用户手指大小，移动装置可要求用户在使用之前将其装置初始化或校准到其手指。图5展示可能在校准过程中在触摸屏2上呈现的实例用户接ロ显示。在此校准过程中，可提示用户用在文本编辑期间通常使用的手指触摸所述屏幕上的虚拟按键8。在此实施例中，用户仅仅必须触摸所显示的按键图标来使得移动装置I能够确定触摸屏2的由用户指尖接触的表面面积的尺寸。使用所测量的尺寸，装置处理器可计算恰当的用户手指大小校准因数，所述用户手指大小校准因数可存储在存储器中以供用于调整按键图标的大小中，如图2到4中所说明。为了将移动装置I校准到用户眼睛以使得其能够准确地确定用户正观看的位置，移动装置I可在训练例程中要求用户训练其装置以跟踪其眼睛。图6展示可能在此类训练例程中在触摸屏2上呈现的简单用户接ロ显示。举例来说，可提示用户随着触摸屏2上的移动图标(例如蜜蜂9的图像)在触摸屏显示器2上到处移动而跟随所述移动图标。在每ー时刻，移动装置I将从数码相机3获得的用户眼睛的图像与移动图标9在显示器2上的位置进行比较，以学习如何使用户眼睛的图像与显示器2上的特定位置相关。由于装置处理器知道图像在触摸屏上的位置，所以处理器可计算差异或校正因数，或者另外调整图像分析规则以使所确定位置与实际位置对准。此类校准/学习过程可用以(例如)通过使用众所周知的机器学习技术和众所周知的图像辨识技术来形成用于分析用户面部图像以确定注视焦点的ー组规则。图5和6中所说明的校准和训练过程可重复多次以便提供统计上平均的手指大小的校准和眼睛跟踪规则。另外，眼睛跟踪训练可继续进行预定时间周期或直到所显示图像的实际位置与用户正观看的所确定位置之间的误差降低到最大阈值以下为止。图7中说明根据实施例的可在计算装置上实施的实例方法10。在方法10中，可当在触摸屏上显示虚拟小键盘时激活眼睛跟踪/显示增强功能性(步骤12)。作为激活眼睛跟踪/显示增强功能性的一部分，计算装置内的处理器可在步骤14中从存储器存取校准值和眼睛跟踪规则。在步骤16中，处理器可激活数码相机3且开始对用户面部和眼睛成像。在步骤18中，处理器可分析用户面部的图像以确定用户注视的位置。如上文所提及，这可通过使用图像辨识软件定位用户瞳孔的位置和定向来完成。确定用户注视的位置可通过将从存储器获得的图像分析规则应用于用户眼睛的图像来完成。此些图像分析规则可在用户训练例程期间确定或调整，如下文參看图8所论述。当确定了用户注视的方向或位置时，处理器可在确定步骤20中将所述位置与所显示的虚拟小键盘的位置进行比较以确定用户是否正观看小键盘。如果处理器确定用户目前不在观看虚拟键盘(即，确定步骤20 =“否”)，那么处理器可通过返回到步骤18来继续从数码相机获得用户眼睛的图像并对其进行分析。如果处理器确定 用户目前正在观看虚拟键盘(即，确定步骤20 =“是”)，那么处理器可在步骤22中使用手指大小校准因数来增强在用户注视的中心附近的按键图标。处理器接着通过返回步骤18来继续从数码相机接收图像并对其进行分析。此过程可继续进行，只要在触摸屏显示器上显示虚拟键盘，或直到所述功能性以其它方式由用户终止为止。除了放大用户正观看的位置附近的虚拟按键的大小之外，处理器还可调整映射到每ー按键图标的显示器坐标以匹配于图标的大小，以用于将对触摸屏显示器的触摸辨识为用户输入的目的。图形用户接ロ功能将所显示图像中的用户接ロ图标(例如，按键图标)的位置映射到触摸屏接口上的坐标位置或边界，使得装置处理器可辨识何时特定图标正被用户触摸。因此，在步骤22中，处理器还可调整按键图标到显示器坐标的映射以匹配于呈现在显示器上的图标的尺寸。在一实施例中，调整键盘图标的大小可在两个步骤中完成。首先，处理器可基于用户注视的位置和手指校准因数来确定每一按键图标的新大小。接着，在第二步骤中，处理器可调整图标到触摸屏传感器坐标的映射以匹配于各种按键图标的经调整尺寸。图8说明可在计算装置上实施以用于训练所述装置并将其校准到用户手指大小和眼睛注视的实例方法30。尽管方法30 —起说明校准/训练操作两者，但还可分开完成手指大小校准和眼睛跟踪训练。在方法30中，在步骤32中，计算装置内的处理器可激活校准/训练应用程序，例如响应于用户菜单选择或作为较大装置初始化例程的一部分。在步骤34中，处理器可产生提示用户触摸所述触摸屏上的特定点的显示，例如图5中所说明。在步骤36中，处理器可从触摸屏显示器接收信号或坐标信息且测量用户手指所接触的区域的大小和形状。在步骤38中，处理器可使用接触区域的所測量大小和形状来计算可存储在存储器中的手指大小校准因数。此校准因数可为尺寸值(例如，面积、直径或半径)或放大因数(例如，百分比或数字值)，其可应用于图标尺寸以便确定适合于用户手指的图标大小。在步骤40中，处理器可激活数码相机且对用户面部和眼睛进行成像。在步骤42中，处理器可分析所获得的图像以在所述图像内定位用户面部，辨识用户眼睛，且获得图像区域内的用户面部的尺寸測量值。此信息可用以产生或调整图像辨识规则，所述图像辨识规则可在将计算装置固持在距用户面部各种距离处时辨识并跟踪用户眼睛。计算装置与用户面部之间的距离将有可能在每当激活所述功能性时以及在用户正与计算装置交互的同时改变。因此，校准的一部分可涉及获得測量值以使得计算装置处理器能够补偿不同成像距离。另外，可在不同面部-相机距离处重复所述训练过程以使得处理器能够产生可补偿此些分隔距离的差异的辨识规则。
在步骤44中，处理器可显示提示用户跟随显示器上的移动卡通或图标的消息。在步骤46中，处理器可将所述卡通或图标在显示器上移动某ー递增的距离，且在步骤48中，处理器可获得用户面部的图像并对其进行分析以确定用户注视的位置。可在步骤46中连续地、递增地或以大步长移动所述卡通或图标(例如，依序移动到角落和中心中的每ー者)。当第一次完成眼睛跟踪训练时，步骤48中的注视确定操作可采用默认规则将用户眼睛的图像翻译为计算装置上的注视位置。在步骤50中，计算装置可调整注视确定图像分析规则，使得所确定的位置匹配于显示器上的实际卡通或图标位置。此眼睛跟踪规则校准过程可涉及对在步骤48中用来确定用户注视位置的规则的简单线性调整或变换，使得所确定的位置匹配于所述卡通或图标在显示器上的实际位置。在确定步骤52中，处理器可确定训练过程是否已完成。处理器可通过在显示器上移动所述卡通或图标持续预定时间量、经过预定数目的位置，或直到注视的所确定位置与卡通或图标的实际位置之间的差异始终处于最大阈值内(即，可接受的误差)为止来继续所述训练例程。只要处理器确 定训练未完成(即，确定步骤52 =“否”)，处理器就可继续在显示器上移动卡通或图标，步骤46，确定用户注视的位置，步骤48，且校准注视-图标确定规则，步骤50。一旦处理器确定完成训练(即，确定步骤52 = “是”)，处理器就可将校准设置和眼睛跟踪图像分析规则存储在存储器中，步骤54。各种实施例还可应用于可受益于优先视觉增强的呈现视觉显示的其它类型的应用程序。举例来说，眼睛跟踪局部化放大功能性可在地图或导航程序中有用，使得用户可在较大地图显示的上下文内看到局部地图细节。类似于虚拟小键盘，准许用户通过触摸触摸屏接ロ来选择特定位置以获得进ー步信息的地图或导航应用程序可将地图局部地放大取决于手指大小校准因数的量。以此方式，地图或导航应用程序可经由对特定位置的手指触摸接收用户输入，其中用户指尖的大小将无意地选择错误位置的机会得以降低。各种实施例的另ー实用应用将是使用眼睛跟踪局部化放大功能性来增强触摸屏显示器上所显示的超链接、因特网网络链接和其它“可点击的”文字。归因于大多数移动装置上的触摸屏显示器的大小较小，所显示的网页图标和文字的大小通常小于大多数用户的指尖。因此，触摸显示屏以“点击”呈图标或超文本形式的超链接可较困难。各种实施例可局部地放大含有用户正观看的超链接的网页和文档，使得超链接图标或文字足够大以使得用户能够准确地触摸所要的超链接而不会无意地触摸不正确的超链接。图9说明用于在计算装置上实施所述功能性的实例方法60。在步骤62中，计算装置处理器可响应于地图或其它应用程序的激活而激活视觉跟踪和增强功能性。作为激活眼睛跟踪/显示增强功能性的一部分，计算装置内的处理器可在存储器中存取校准值和眼睛跟踪规则，步骤64。在步骤66中，处理器可激活数码相机且开始对用户面部和眼睛成像。在步骤68中，处理器可分析用户面部的图像以确定用户注视的位置。为了完成此分析，处理器可应用在用户训练例程期间所确定的图像分析规则，所述用户训练例程如上文參看图8所论述。当确定了用户注视的位置时，处理器可在确定步骤70中将所述位置与触摸屏显示器的位置进行比较以确定用户是否正观看计算装置显示器。如果处理器确定用户目前不在观看显示器(即，确定步骤70 =“否”)，那么处理器可通过返回到步骤68来继续从数码相机获得图像并对其进行分析。如果处理器确定用户目前正在观看显示器(即，确定步骤70 =“是”)，那么处理器可在步骤72中增强键盘图像的在用户注视的中心附近的部分。处理器接着通过返回步骤68来继续从数码相机获得图像并对其进行分析。此过程可继续进行，只要特定应用程序被激活或在触摸屏显示器上显示特定类型的图像，或直到所述功能性由用户终止为止。适合于与各种实施例一起使用的典型移动装置I将共同具有图10中所说明的组件。举例来说，移动接收器装置I可包括耦合到内部存储器102的处理器101、触摸屏显示器103和经定位以使得其可在用户正观看显示器103时对用户眼睛成像的数码相机3。另夕卜，移动装置I可具有连接到无线数据链路的用于发送和接收电磁辐射的天线104和/或耦合到处理器101的蜂窝式电话收发器105。移动装置还通常包括菜单选择按钮或摇臂开关107以用于接收用户输入。虽然图10说明移动计算装置， 但其它形式的计算装置(包括个人计算机或膝上型计算机)将通常也包括耦合到内部存储器102的处理器101、触摸屏显示器103和经定位以使得其可在用户正观看显示器103时对用户眼睛成像的数码相机3。另外，数码相机3可构建到计算装置中，如图10所示，或配置为例如借助于电缆(未图示)或无线数据链路(未图示)电耦合到处理器101的単独装置。因此，图10不希望将权利要求书的范围限于呈特定所说明形状因数的移动计算装置。处理器101可为任何可编程的微处理器、微型计算机或多处理器芯片，其可通过软件指令(应用程序)配置以执行多种功能，包括本文中所描述的各种实施例的功能。在一些移动装置中，可提供多个处理器101，例如一个处理器专用于无线通信功能，且ー个处理器专用于运行其它应用程序。通常，在软件应用程序被存取且被加载到处理器101中之前，其可存储在内部存储器102中。在一些移动装置中，处理器101可包括足以存储应用程序软件指令的内部存储器。在一些移动装置中，安全存储器可在耦合到处理器101的単独存储器芯片中。在许多移动装置I中，内部存储器102可为易失性或非易失性存储器(例如快闪存储器)，或两者的混合物。出于本描述的目的，对存储器的一般參考指代可由处理器101存取的所有存储器，包括内部存储器102、插入到移动装置中的可装卸式存储器以及在处理器101自身内的存储器。前述方法描述和过程流程图仅作为说明性实例而提供，且不希望要求或暗示必须以所呈现的次序执行各种实施例的步骤。如所属领域的技术人员将了解，前述实施例中的步骤次序可以任何次序执行。例如“此后”、“接着”、“接下来”等词不希望限制步骤的次序；这些词仅仅用以引导读者阅读对方法的描述。另外，例如使用冠词“一”或“所述”以单数形式对权利要求元素的任何參考不应解释为将元素限于单数形式。结合本文所掲示的实施例来描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互換性，上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。将所述功能性实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。熟练的技术人员可针对每ー特定应用以不同方式来实施所描述的功能性，但所述实施方案决策不应被解释为会导致脱离本发明的范围。用以实施结合本文中所掲示的实施例而描述的各种说明性逻辑、逻辑块、模块和电路的硬件可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的ー个或ー个以上微处理器或任何其它此类配置。或者，一些步骤或方法可由专用于给定功能的电路执行。在ー个或ー个以上示范性实施例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么可将所述功能作为ー个或ー个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。本文中所掲示的方法或算法的步骤可在所执行的处理器可执行软件模块中体现，所述处理器可执行软件模块可驻留在计算机可读媒体上。计算机可读媒体包括计算机存储媒体与通信媒体两者，所述通信媒体包括促进将计算机程序从ー处传送到另ー处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。举例来说而非限制，所述计算机可读媒体可包含RAM、ROM、EEPROM 、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以运载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。同样，恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包括于媒体的定义中。如本文中所使用，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。以上各项的组合也应包括在计算机可读媒体的范围内。另外，方法或算法的操作可作为代码和/或指令中的一者或任何组合或集合而驻留在机器可读媒体和/或计算机可读媒体上，所述媒体可并入到计算机程序产品中。提供所掲示实施例的先前描述是为了使所属领域的任何技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些实施例的各种修改，且在不脱离本发明的精神或范围的情况下，本文所界定的一般原理可应用于其它实施例。因此，本发明不希望限于本文中所展示的实施例，而是应被赋予与所附权利要求书以及本文中所掲示的原理和新颖特征一致的最广范围。
权利要求
1.一种用于在配备有触摸屏显示器和数码相机的计算装置上提供用户接ロ的方法，所述数码相机经配置以能够在用户正查看所述触摸屏显示器时对所述用户的面部成像，所述方法包含 用所述数码相机获得所述计算装置的用户的眼睛的数字图像； 基于所述所获得的数字图像来确定所述用户的注视的位置； 确定所述用户的注视是否指向所述触摸屏显示器的一部分；以及当确定所述用户的注视指向所述触摸屏显示器的一部分时放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分。
2.根据权利要求I所述的方法，其中放大呈现在所述触摸屏显示器上的图像的一部分包含基干与所述用户的手指的大小有关的校准因数来放大呈现在所述触摸屏显示器上的所述图像的所述部分。
3.根据权利要求2所述的方法，其进ー步包含当用户接ロ图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。
4.根据权利要求3所述的方法，其进ー步包含调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标。
5.根据权利要求I所述的方法，其中 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像；且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包含 基于用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标；以及 调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标。
6.根据权利要求I所述的方法，其进ー步包含 測量所述触摸屏显示器上的触摸区域的尺寸； 基于所述触摸区域的所述所测量的尺寸来计算手指大小校准因数；以及 将所述所计算的手指大小校准因数存储在存储器中。
7.根据权利要求I所述的方法，其中基于所述所获得的数字图像来确定所述用户的注视的位置包含向所述所获得的数字图像应用规则，所述方法进ー步包含 在所述触摸屏显示器上显示图标； 用所述数码相机获得所述用户的所述眼睛的数字图像； 通过向所述所获得的数字图像应用所述规则来确定所述用户的注视的位置； 基于所述所显示的图标在所述触摸屏显示器上的实际位置来调整所述规则；以及 将所述经调整的规则存储在存储器中。
8.根据权利要求I所述的方法，其中 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所显示的超链接的附近；且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包 含基于用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的超链接；以及 调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接。
9.根据权利要求I所述的方法，其中所述计算装置为移动装置。
10.根据权利要求I所述的方法，其中所述计算装置为个人计算机。
11.一种计算装置，其包含 处理器； 存储器，其耦合到所述处理器； 数码相机，其耦合到所述处理器且经配置以能够对所述计算装置的用户的眼睛成像；以及 触摸屏显示器，其耦合到所述处理器， 其中所述处理器配置有用以执行包含以下各项的操作的处理器可执行指令 用所述数码相机获得所述计算装置的用户的所述眼睛的数字图像； 基于所述所获得的数字图像来确定所述用户的注视的位置； 确定所述用户的注视是否指向所述触摸屏显示器的一部分；以及当确定所述用户的注视指向所述触摸屏显示器的一部分时，放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分。
12.根据权利要求11所述的计算装置，其中所述处理器配置有用以执行操作的处理器可执行指令，使得放大呈现在所述触摸屏显示器上的图像的一部分包含基干与所述用户的手指的大小有关的校准因数来放大呈现在所述触摸屏显示器上的所述图像的所述部分。
13.根据权利要求12所述的计算装置，其中所述处理器配置有用以执行进ー步包含以下各项的操作的处理器可执行指令当用户接ロ图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。
14.根据权利要求13所述的计算装置，其中所述处理器配置有用以执行进ー步包含以下各项的操作的处理器可执行指令调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标。
15.根据权利要求11所述的计算装置，其中所述处理器配置有用以执行操作的处理器可执行指令，使得 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像；且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包含 基于用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标；以及 调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标。
16.根据权利要求11所述的计算装置，其中所述处理器配置有用以执行进ー步包含以下各项的操作的处理器可执行指令 測量所述触摸屏显示器上的触摸区域的尺寸；基于所述触摸区域的所述所测量的尺寸来计算手指大小校准因数；以及 将所述所计算的手指大小校准因数存储在存储器中。
17.根据权利要求11所述的计算装置，其中所述处理器配置有用以执行操作的处理器可执行指令，使得基于所述所获得的数字图像来确定所述用户的注视的位置包含向所述所获得的数字图像应用规则，且 其中所述处理器配置有用以执行进ー步包含以下各项的操作的处理器可执行指令 在所述触摸屏显示器上显示图标； 用所述数码相机获得所述用户的所述眼睛的数字图像； 通过向所述所获得的数字图像应用所述规则来确定所述用户的注视的位置； 基于所述所显示的图标在所述触摸屏显示器上的实际位置来调整所述规则；以及 将所述经调整的规则存储在存储器中。
18.根据权利要求11所述的计算装置，其中所述处理器配置有用以执行操作的处理器可执行指令，使得 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所显示的超链接的附近；且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包含 基于用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的超链接；以及 调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接。
19.根据权利要求11所述的计算装置，其中所述计算装置为移动装置。
20.根据权利要求11所述的计算装置，其中所述计算装置为个人计算机。
21.一种计算装置，其包含 触摸屏显示器； 用于获得所述计算装置的用户的眼睛的数字图像的装置； 用于基于所述所获得的数字图像来确定所述用户的注视的位置的装置； 用于确定所述用户的注视是否指向所述触摸屏显示器的一部分的装置；以及用于当确定所述用户的注视指向所述触摸屏显示器的一部分时放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分的装置。
22.根据权利要求21所述的计算装置，其中用于放大呈现在所述触摸屏显示器上的图像的一部分的装置包含用于基于与所述用户的手指的大小有关的校准因数来放大呈现在所述触摸屏显示器上的所述图像的所述部分的装置。
23.根据权利要求22所述的计算装置，其进ー步包含用于当用户接ロ图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标的装置。
24.根据权利要求23所述的计算装置，其进ー步包含用于调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标的装置。
25.根据权利要求21所述的计算装置，其中 用于确定所述用户的注视是否指向所述触摸屏显示器的一部分的装置包含用于确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像的装置；且用于放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分的装置包含 用于基于用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标的装置；以及 用于调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标的装置。
26.根据权利要求21所述的计算装置，其进ー步包含 用于测量所述触摸屏显示器上的触摸区域的尺寸的装置； 用于基于所述触摸区域的所述所测量的尺寸来计算手指大小校准因数的装置；以及 用于将所述所计算的手指大小校准因数存储在存储器中的装置。
27.根据权利要求21所述的计算装置，其中用于基于所述所获得的数字图像来确定所述用户的注视的位置的装置包含用于向所述所获得的数字图像应用规则的装置， 所述计算装置进ー步包含 用于在所述触摸屏显示器上显示图标的装置； 用于用数码相机获得所述用户的所述眼睛的数字图像的装置； 用于通过向所述所获得的数字图像应用所述规则来确定所述用户的注视的位置的装置； 用于基于所述所显示的图标在所述触摸屏显示器上的实际位置来调整所述规则的装置；以及 用于将所述经调整的规则存储在存储器中的装置。
28.根据权利要求21所述的计算装置，其中 用于确定所述用户的注视是否指向所述触摸屏显示器的一部分的装置包含用于确定所述用户的注视是否指向所显示的超链接的附近的装置；且 用于放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分的装置包含 用于基于用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的超链接的装置；以及 用于调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接的装置。
29.根据权利要求21所述的计算装置，其中所述计算装置为移动装置。
30.根据权利要求21所述的计算装置，其中所述计算装置为个人计算机。
31.一种处理器可读存储媒体，其上存储有经配置以致使处理器执行包含以下各项的操作的处理器可执行指令 用数码相机获得计算装置的用户的眼睛的数字图像； 基于所述所获得的数字图像来确定所述用户的注视的位置； 确定所述用户的注视是否指向触摸屏显示器的一部分；以及 当确定所述用户的注视指向所述触摸屏显示器的一部分时放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分。
32.根据权利要求31所述的处理器可读存储媒体，其中所述所存储的处理器可执行指令经配置以致使处理器执行操作，使得放大呈现在所述触摸屏显示器上的图像的一部分包含基干与所述用户的手指的大小有关的校准因数来放大呈现在所述触摸屏显示器上的所述图像的所述部分。
33.根据权利要求32所述的处理器可读存储媒体，其中所述所存储的处理器可执行指令经配置以致使处理器执行进一歩包含以下各项的操作当用户接ロ图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。
34.根据权利要求33所述的处理器可读存储媒体，其中所述所存储的处理器可执行指令经配置以致使处理器执行进一歩包含以下各项的操作调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标。
35.根据权利要求31所述的处理器可读存储媒体，其中所述所存储的处理器可执行指令经配置以致使处理器执行操作，使得 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像；且 放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包含 基于用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标；以及 调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标。
36.根据权利要求31所述的处理器可读存储媒体，其中所述所存储的处理器可执行指令经配置以致使处理器执行进一歩包含以下各项的操作 測量所述触摸屏显示器上的触摸区域的尺寸； 基于所述触摸区域的所述所测量的尺寸来计算手指大小校准因数；以及 将所述所计算的手指大小校准因数存储在存储器中。
37.根据权利要求31所述的处理器可读存储媒体，其中所述所存储的处理器可执行指令经配置以致使处理器执行操作，使得基于所述所获得的数字图像来确定所述用户的注视的位置包含向所述所获得的数字图像应用规则，且 其中所述所存储的处理器可执行指令经配置以致使处理器执行进一歩包含以下各项的操作 在所述触摸屏显示器上显示图标； 用所述数码相机获得所述用户的所述眼睛的数字图像； 通过向所述所获得的数字图像应用所述规则来确定所述用户的注视的位置； 基于所述所显示的图标在所述触摸屏显示器上的实际位置来调整所述规则；以及 将所述经调整的规则存储在存储器中。
38.根据权利要求31所述的处理器可读存储媒体，其中所述所存储的处理器可执行指令经配置以致使处理器执行操作，使得 确定所述用户的注视是否指向所述触摸屏显示器的一部分包含确定所述用户的注视是否指向所显示的超链接的附近；且放大呈现在所述触摸屏显示器上的图像的在所述用户正观看的位置附近的一部分包 含基于用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的超链接；以及 调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接。
39.根据权利要求31所述的处理器可读存储媒体，其中所述所存储的处理器可执行指令经配置以由移动装置的处理器执行。
40.根据权利要求31所述的处理器可读存储媒体，其中所述所存储的处理器可执行指令经配置以由个人计算机的处理器执行。
全文摘要
本发明提供一种用于配备有触摸屏显示器和数码相机的计算装置的用户接口，其放大所显示图像的在用户注视内的一部分。用户可通过用一根或一根以上手指触摸所述触摸屏的一部分且用其双眼跟随所述显示器上的移动图像来校准其移动装置。所述移动装置可跟踪用户正观看的位置，且如果所述用户正观看所述移动装置显示器，那么可放大所述显示器的在所述用户的注视附近的一部分。在一实施例中，如果所述用户正观看虚拟键盘，那么可以与所述用户的指尖大小相称的大小增大在所述用户的注视附近的按键图标。以此方式，用户可准确地选择配合在移动装置显示器内的虚拟键盘中的个别按键。
文档编号G06F3/01GK102834789SQ201180018696
公开日2012年12月19日 申请日期2011年4月15日 优先权日2010年4月16日
发明者杰迪恩·N·伊, 乔尔·贝尔纳尔特, 珍妮特·L·多布森, 吉达尔·D·曼蒂阿姆, 约瑟夫·黄 申请人:高通股份有限公司