解码用于图形键盘的不准确手势的制作方法
【专利说明】
【背景技术】
[0001]一些计算设备(例如移动电话、平板电脑等等)可以将图形键盘提供为用于撰写文本(例如使用存在敏感输入设备和/或显示器，诸如触摸屏)的图形用户界面的一部分。图形键盘可以使得计算设备的用户能够输入文本(例如电子邮件、文本消息或文档等等)。例如，计算设备的存在敏感显示器可以输出使得用户能够通过指示(例如轻击)在存在敏感显示器处显示的键来输入数据的图形(或“软”)键盘。
[0002]在一些情况下，计算设备可以呈现用户能通过在与图形键盘的键相关联的存在敏感显示器的区域上滑动他或她的手指来与其交互的连续手势图形键盘(有时称为“手势键盘”或“组合手势键盘”)，由此基本上对词作手势以将其输入到计算设备。换句话说，用户可以通过跟踪存在敏感显示器处输出的词的字母来以单各手势输入整个词。以这种方式，连续手势图形键盘提供允许用户用手势输入词或词组的输入方法。这样，连续手势图形键盘可以允许用户获得某种程度的效率，尤其是与存在敏感显示器的单手轻击相比(例如，存在敏感屏可操作地耦接到计算设备或与计算设备集成)。
[0003]然而，连续手势键盘可能具有某些缺陷。例如，当用户在输出连续手势图形键盘的存在敏感屏处执行手势时，计算设备可以生成触摸事件。触摸事件可以包括当执行手势时由用户的手指经过的存在敏感输入设备的一个或多个不同位置的表示。在一些示例中，用户可能执行不准确的手势来输入预期词，由此产生不能紧密地对应于输入该词的预期键的位置的触摸事件。这样，连续手势键盘可能不正确地确定用户预期的词。因此，计算设备可能选择用户不预期输入的一个或多个词和/或字符，由此导致降低用户可以与计算设备交互的速度的不准确文本输入。
【发明内容】
[0004]在一个示例中，一种方法包括由计算设备输出包括多个键的图形键盘以显示。该方法还可以包括由计算设备接收在存在敏感输入设备处检测到的手势的指示。该方法还可以包括由计算设备基于与手势相关联的多个特征来确定手势的准确度。该方法还可以包括由计算设备至少部分地基于准确度来修改手势指示所述多个键中的至少一个键的概率。该方法还可以包括由计算设备输出至少部分地基于手势指示所述多个键中的至少一个键的概率的候选词以显示
[0005]在一个示例中，一种编码有指令的计算机可读存储介质，所述指令在被执行时使计算设备的一个或多个处理器执行包括由所述计算设备输出包括多个键的图形键盘以显示的操作。该计算机可读存储介质进一步编码有使计算设备的一个或多个处理器执行包括由所述计算设备接收在存在敏感输入设备处检测到的手势的指示的操作的指令。该计算机可读存储介质进一步编码有使计算设备的一个或多个处理器执行包括由所述计算设备基于与所述手势相关联的多个特征来确定所述手势的准确度的操作的指令。该计算机可读存储介质进一步编码有使计算设备的一个或多个处理器执行包括由所述计算设备至少部分地基于所述准确度来修改所述手势指示所述多个键中的至少一个键的概率的操作的指令。该计算机可读存储介质进一步编码有使计算设备的一个或多个处理器执行包括由所述计算设备输出至少部分地基于所述手势指示所述多个键中的至少一个键的概率的候选词以显示的操作的指令。
[0006]在一个示例中，一种计算设备包括至少一个处理器，其中，所述至少一个处理器可以被配置成输出包括多个键的图形键盘以显示。在一些示例中，至少一个处理器可以被配置成接收在存在敏感输入设备处检测到的手势的指示。在一些示例中，至少一个处理器可以被配置成基于与所述手势相关联的多个特征来确定所述手势的准确度。在一些示例中，至少一个处理器可以被配置成至少部分地基于所述准确度来修改所述手势指示所述多个键中的至少一个键的概率。在一些示例中，至少一个处理器可以被配置成输出至少部分地基于所述手势指示所述多个键中的至少一个键的概率的候选词以显示。
[0007]在附图和下述说明书中阐述了本公开的一个或多个示例的细节。其他特征、目的和优点从说明书和附图以及权利要求将是显而易见的。
【附图说明】
[0008]图1是图示根据本公开的一个或多个技术的可以用来提高用于不准确手势的键选择的示例性计算设备的框图。
[0009]图2是图示根据本公开的一个或多个技术的如图1所示的计算设备的一个示例的进一步细节的框图。
[0010]图3A-B是图示根据本公开的一个或多个技术的图1中所示的计算设备的一个示例的进一步细节的框图。
[0011]图4是图示根据本公开的一个或多个技术的可以提高用于不准确手势的键选择的计算设备的示例性操作的流程图。
[0012]图5是图示根据本公开的一个或多个技术的输出图形内容以在远程设备处显示的示例性计算设备的框图。
【具体实施方式】
[0013]通常，本公开涉及依据本公开的技术的当使用连续手势图形键盘执行不准确手势时用于提高字符和词选择的准确度的技术。在一个示例中，存在敏感输入设备可以通过检测以在存在敏感输入设备处或附近执行的手势的形式的用户输入来接收由用户输入的文本。在一些示例中，用户可能期望通过在存在敏感显示器处或附近执行一个或多个手势来输入文本串，例如词。
[0014]不同于执行输入单个词的多个手势，本公开的技术可以提高用户能使用计算设备的图形键盘来输入文本的速度和准确度。例如，使用本公开的技术，用户可以执行指示预期词的不同字符的单个手势，代替执行用于词的每一键的离散手势。计算设备可以随着用户执行手势而递增地确定由手势指示的一个或多个候选词。通过递增地确定候选词，同时执行手势，计算设备可以在手势期间为用户呈现一个或多个候选词，同时减少手势后输入处理时间。为了确定候选词，递增确定可以包括由计算设备使用空间模型来搜索每个都与字母的给定键盘位置对准的手势的一个或多个点。搜索可以包括基于空间模型选择与键盘的字母最佳对准的手势的点。
[0015]基于搜索，本公开的技术可以通过并行地确定手势经过的位置和词典(例如字典)中的各种状态，来构成对应于该手势的一个或多个可能候选字符串。以这种方式，本公开的技术能递增地确定手势同时对应于词典Trie树(trie)中的一个或多个字、一个节点/字母的概率。在一些示例中，本公开的技术可以使用一个或多个空间和/或时间对准特征来提高递增确定的准确度。这样的技术还可以支持其他先进的手势交互，诸如双手手势和多词手势。
[0016]根据本公开的技术，计算设备可以确定手势的准确或不准确(例如，“凌乱”)并且调整空间模型概率来更准确地选择用户预期的键。为了确定手势的准确度，计算设备例如可以确定图形键盘的两个键之间的直线路径。此外，计算设备可以确定在存在敏感显示器处执行的手势的实际路径。通过比较手势的直线路线和实际路径的各种特征(例如距离、曲率等等)，计算设备可以确定两个路径之间的偏差幅度。较大偏差幅度(例如，实际手势包括明显偏离两个键之间的直线路径的大弧)可以指示以较低准确度执行的手势。
[0017]响应于确定以较低准确度执行手势，计算设备可以调整对应于图形键盘的键的一个或多个空间模型概率。所调整的空间模型概率可以反映由于手势的较低准确度，各种可能键的预测中的较低和/或较高置信度。计算设备还可以使用其他特征，诸如手势的速度、手势相对于键区域的交点等等，如在此进一步所述来确定手势的准确度。通过基于所确定的手势的准确度来修改空间模型概率，当在连续手势图形键盘提供不准确手势时，本公开的技术可以提供改进的字符和/或词选择。
[0018]图1是图示根据本公开的一个或多个技术的可以用来改进用于不准确手势的键选择的示例性计算设备2的框图。在一些示例中，计算设备2可以与用户相关联。与计算设备2相关联的用户可以通过将各种用户输入提供到计算设备中，来与计算设备交互。
[0019]计算设备2的示例可以包括但不限于便携式或移动设备，诸如移动电话(包括智能电话)、膝上型计算机、台式计算机、平板电脑、智能电视平台、相机、个人数字助理(PDA)、服务器、大型机等等。如图1的示例中所示，计算设备2可以是平板电脑。在一些示例中，计算设备2能包括用户接口(UI)设备4、Π模块6、手势模块8和语言模型10。实现本公开的技术的计算设备2的其他示例可以包括图1中未示出的另外的组件。
[0020]计算设备2可以包括Π设备4。在一些示例中，Π设备4被配置成接收触觉、音频或视觉输入。如图1所示，π设备4可以包括触摸敏感和/或存在敏感屏或任何其他类型的用于接收输入的设备。在一些示例中，UI设备4可以输出诸如图形用户界面(⑶I) 12的内容以显不。在图1的不例中，UI设备4可以是能显不图形用户界面并且使用在存在敏感显示器处或附近的电容、电感和/或光学检测来从用户接收输入的存在敏感显示器。在一些示例中，存在敏感显示器可以包括存在敏感输入设备和用于接收输入的设备以及用于输出内容的显示设备。在一个示例中，存在敏感输入设备和显示设备可以物理紧密集成，诸如在移动设备中。在其他示例中，存在敏感输入设备和显示设备可以包括在物理分离的设备中，如在图5的示例中进一步所述。
[0021]如图1所示，计算设备2可以包括Π模块6。UI模块6可以执行接收诸如用户输入或网络数据的输入以及将这样的输入发送到与计算设备相关联的诸如手势模块8的其他组件的一个或多个功能。例如，Π模块6可以确定用户在Π设备4处执行的手势。Π模块6还可以从与计算设备2相关联的诸如手势模块8的组件接收数据。使用该数据，UI模块6可以使与计算设备2相关联的诸如Π设备4的其他组件提供基于该数据的输出。例如，UI模块6可以从手势模块8接收使UI设备4在⑶I 12的文本输入区14中显示信息的数据。
[0022]UI模块6可以以各种方式实现。例如，Π模块6可以被实现为可下载或预安装的应用或“app.”。在另一示例中，UI模块6可以被实现为计算设备2的硬件单元的一部分。在另一示例中，Π模块6可以被实现为计算设备2的操作系统的一部分。
[0023]在一些示例中，计算设备2包括手势模块8。手势模块8可以包括在计算设备2上执行各种操作的功能。例如，根据在此所述的技术，手势模块8可以包括从手势递增地确定文本的功能。手势模块8可以以各种方式实现。例如，手势模块8可以实现为可下载或预安装的应用或“app.”。在另一示例中，手势模块8可以被实现为计算设备2的硬件单元的一部分。在另一示例中，手势模块8可以被实现为计算设备2的操作系统的一部分。
[0024]手势模块8可以从与计算设备2相关联的诸如Π模块6的组件接收数据。例如，手势模块8可以从UI模块6接收手势数据，使手势模块8从该手势数据确定文本。手势模块8还可以将数据发送到与计算设备2相关联的组件，诸如UI模块6。例如，手势模块8可以将从手势数据确定的文本发送到UI模块6，使UI设备4显示⑶I 12。
[0025]计算设备10的手势模块8可以从UI模块6接收在UI设备4的存在敏感屏检测的用户输入的一个或多个指示。通常，每次Π设备4接收到在存在敏感屏的位置处检测的用户输入的指示时，手势模块8可以从UI模块6接收有关用户输入的信息。手势模块8可以将从UI设备4接收的信息汇编成指示手势的时间顺序事件集，诸如触摸事件序列。序列中的每一触摸事件可以包括表不表征存在敏感屏的输入的存在和/或移动的参数(例如何时、何地、发起方向)的数据或分量。序列中的每一触摸事件可以包括与UI设备4的位置相对应的位置分量、与UI设备4何时在该位置检测到用户输入有关的时间分量、以及与触摸事件对应于在该位置提离或按下有关的动作分量。此外，事件中的一个或多个可以具有并发时间分量，以及这样的事件仅为示例目的被描述为触摸事件并且可以指示以存在敏感输入设备的任何形式的手势。
[0026]手势模块8可以基于触摸事件序列来确定用户输入的一个或多个特性并且将有关这些一个或多个特性的信息包括在触摸事件序列中的每一触摸事件中。例如，手势模块8可以确定用户输入的起始位置、用户输入的结束位置、用户输入的一部分的密度、用户输入的一部分的速度、用户输入的一部分的方向和用户输入的一部分的曲率。触摸事件序列中的一个或多个触摸事件可以包括(除如上所述的时间、位置和动作分量外)包含有关用户输入的一个或多个特性的特性分量(例如密度、速度等等)。
[0027]如图1所示，⑶I 12可以是通过Π模块6生成以显示的、允许用户与计算设备2交互的用户界面。⑶I 12可以包括图形内容。通常，图形内容可以包括文本、图像、一组运动图像等等。如图1所示，图形内容可以包括图形键盘16、文本输入区14和词建议区24A-C(统称“词建议区24”)。图形键盘16可以包括多个键，诸如“I”键20A、“N”键20B和“M”键20C。在一些示例中，包括在图形键盘16中的多个键中的每一个表示单个字符。在其他示例中，包括在图形键盘16中的多个键中的一个或多个表示基于多个模式选择的一组字符。
[0028]在一些示例中，文本输入区14可以包括包含在例如文本消息、文档、电子邮件消息、Web浏览器或期望文本输入的任何其他情形的字符或其他图形内容。例如，文本输入区14可以包括经在UI设备4执行的手势由用户选择的字符或其他图形内容。在一些示例中，词建议区24可以每个显示词。UI模块6可以使UI设备4显示图形键盘16和检测具有由手势模块8根据在此进一步所述的本公开的技术递增地确定的手势路径22的手势。此外，UI模块6可以使UI设备4在词建议区24中显示从手势确定的候选词。
[0029]为了确定触摸事件序列表示对一个或多个键的选择，手势模块8可以包括空间模型26。通常，空间模型26可以生成基于与用户输入相关联的位置数据来选择图形键盘的多个键中的特定键的一个或多个概率。在一些示例中，