输入文本的系统和输入文本的方法
【专利摘要】输入文本的系统和输入文本的方法。系统(10)包括：特征识别结构(2)，其用于根据多个样本(11)生成一个或多个特征(12)，其中，所述样本(11)是在不同时间点上被采集而来的，而且在比划手势时，所述样本对应于手势感应键盘上的单一连续手势的位置，而其中的所述特征(12)与所述手势感应键盘的其中一个目标相关，该目标为用户比划手势时的预期输入。所述系统包括：预测机构，其用于根据所述特征(12)预测出一个或多个词条(15)，所述预测机构(5)包括：前缀树生成机构(3)，其用于生成包含所述特征(12)的词条前缀树(13)；路径搜索机构(4)，其用于找出一条或多条穿过被赋予所述特征(12)的所述词条前缀树(13)的路径(14)；以及预测器(5)。本发明还提供了一种对应于上述系统的方法。
【专利说明】输入文本的系统和输入文本的方法
【技术领域】
[0001] 本发明涉及一种通过手势感应键盘从用户手势中预测出一个或多个词条的系统 及方法。尤其是可从用户的单一连续手势中预测出一个或多个词条。
【背景技术】
[0002] 现有的系统根据通过触摸感应的键盘/屏幕输入的用户"敲击"预测单个词条。
[0003] 专利号为7, 098, 896、名称为"基于连续敲击单词的文本输入系统及文本输入方 法"的美国专利披露了这样一种系统，该系统包括数据库中存储的大量单词。由输入敲击 图案预测单词的方法包括：将输入敲击图案与数据库中的一组单词进行比较。该方法包括： 识别敲击图案中的"最后一个触摸点"，以识别出某一候选单词的结束字符。候选单词的预 测则基于该单词的首、尾字符，而这些字符则从输入敲击图案中被识别出。输入敲击图案的 实际路径长度同与各单词一起存储在单词数据库中的预期路径长度进行比较。
[0004] 专利号为7, 251，367、名称为"基于虚拟键盘格局识别单词图案的系统及方法"的 美国专利披露了另一种根据连续敲击预测单词的方法。在该公开物中，再一次于单词边界 内对敲击输入图案和预设的敲击图案库进行了比较。该技术已通过了完全预设的库和动态 生成的库的论证。
[0005] 所有的已知系统，包括上述系统，均基于解决表示一个单词的输入敲击和数据库 中单词匹配问题的原理。该原理基于输入敲击图案和（大致）对应于数据库中单词首、尾 字符明确的首、尾点。
[0006] 已知的系统和方法的问题在于：输入敲击局限于同数据库中单词的首、尾字符的 匹配，需要并限制用户输入的敲击要与完整的单词相一致。
[0007] 这样，已知的系统和方法无法基于对应于单词前缀的输入敲击或对应于多个单词 的输入敲击预测单词，例如，用户通过单一的连续敲击输入某一短语。
[0008] 本发明的目的在于解决上述问题。
【发明内容】
[0009] 在本发明的第一方面中，提供了一种根据穿过手势感应键盘的单一连续手势预测 一个或多个词条的方法。该方法其包括：在比划手势时，采集所述手势感应键盘上的手势在 多个时间点上的位置样本；以及根据多个所述样本预测一个或多个词条，这一过程具体由 以下步骤实现：根据多个所述样本生成一个或多个特征，其中各所述特征与所述手势感应 键盘上的目标相关，该目标为比划手势时用户的意图输入；生成包括所述特征的词条前缀 树；搜索一条或多条穿过被赋予所述特征的所述词条前缀树的路径。
[0010] 优选地，其中所述词条前缀树由图形表示，并包括使用图论生成所述图形的步骤。
[0011] 根据所述样本生成所述特征的步骤优选包括：识别所述手势感应键盘上的手势位 置，在该位置中，用户意图穿过所述手势感应键盘的目标。所述特征的位置优选是所述手势 位置，在所述手势位置中所述手势在距离所述目标最近的地方穿过。所述目标为点目标或 线目标。优选地，识别所述手势感应键盘上的各目标的特征。优选地，仅在所述特征与所述 目标之间的最小距离小于距离阈值时保留特征。
[0012] 各特征包括对应于所述手势和所述目标之间最小距离的距离度量。
[0013] 优选地，通过保留词典前缀树中被允许赋予所述特征的词条，生成所述词条前缀 树。即便特征与所述词典前缀树的词条不对应，也保留下该词条。
[0014] 所述手势感应键盘上的目标对应于字母表中的字母以及诸如空格和/或标点符 号的可选的单词边界定界符。所述词条前缀树包括一个或多个表示完整单词最后一个字母 的节点，其中，生成所述词条前缀树的步骤还包括：向包含对应于单词最后一个字母的节点 的所述词条前缀树中插入对应于空格符号的节点。优选地，如果未识别出与空格字符相关 的特征，对应于空格字符的所述节点的概率则被降低。生成所述词条前缀树的步骤还包括： 在对应于空格字符的节点上，通过保留词典前缀树中被允许赋予特征序列中的剩余特征的 词条，生成新的词条前缀树。
[0015] 优选地，上述方法还包括：修剪词条前缀树，以去除掉所述词条前缀树中给定路径 概率与最可能路径概率之比小于预设阈值的所有路径。代表空格字符的节点包括元数据， 以根据语境数据修剪所述新的词条前缀树。
[0016] 生成词条前缀树的步骤还包括：如果存在穿过词条前缀树且被赋予所述特征的有 效路径，则通过保留包含字符副本的词典前缀树中的词条，使给定特征表示与其相关的字 符的重复实例。
[0017] 在一实施例中，搜索穿过词条前缀树的所述路径的步骤包括：使用路径搜索算法。 所述路径搜索算法使用所述距离度量生成与穿过所述词条前缀树的各条路径相关的概率 评估。优选地，所述路径搜索算法返回一个或多个词条，其中所述词条的对应路径具有大于 阈值的概率评估。
[0018] 在另一实施例中，搜索穿过词条前缀树的所述路径的步骤包括：识别出对应于所 述手势结束位置的一个或多个特征；并且仅在任意代表所述一个或多个特征的节点与所述 词条前缀树中的节点相对应时，将给定路径的累计概率指示分配给任意代表所述一个或多 个特征的节点；所述一个或多个特征对应于所述手势的结束位置。通过累计概率对出一条 或多条路径排序并返回累计概率大于阈值的路径，其中，被返回的一条或多条路径对应于 一个或多个词条。
[0019] 在路径搜索方法另一实施例中，根据当下全部有效的样本预测一个或多个词条。 本发明的方法包括：随着单一连续手势的实施以及更多样本的生成，定期更新一个或多个 词条的预测。
[0020] 预测一个或多个词条的方法包括：预测一个或多个单词。根据单一连续手势预测 一个或多个单词，所述单一连续手势为用户在手势感应键盘上的一个或多个字符上方作出 的意图指出单词前缀的手势。预测一个或多个单词的步骤包括：根据单一连续手势预测包 含具有两个以上单词的序列的短语，所述单一连续手势为用户在手势感应键盘上的构成多 个单词的字符上方作出的手势。优选地，本发明方法包括：使用语境信息修剪一个或多个词 条的预测。
[0021] 优选地，以预设频率实施采样。所述采样的频率为60Hz。
[0022] -个或多个词条的预测优选取决于所述手势感应键盘的布局以及手势速度和/ 或手势曲线方向作出的。穿过所述前缀树的路径的概率取决于两个特征与所述手势感应键 盘的对应于这两个特征的目标之间的手势形状。所述路径的概率取决于差异单调递减函 数，所述差异为所述两个目标间的直线距离与所述两个目标间手势的曲线长度之间的直线 距离差异。所述路径的概率取决于直线方向间差异的单调递减函数，所述直线方向间差异 为所述两个目标之间的直线方向与所述两个目标间各点上的手势方向之间的差异。
[0023] 所述手势为击打键盘操作，所述手势感应键盘为触摸感应键盘。本发明方法包括： 探测用户击打所述手势感应键盘的压力，以形成单一连续的击打键盘操作，而关于采样的 步骤则包括采集存在上述压力的位置。关于采样的步骤包括探测压力值以及给定时间点上 的位置。
[0024] 在本发明的第二方面中，提供了一种计算机程序产品，该程序产品其包括：计算机 可读介质，其上存储有能够使处理器执行任意一项所述方法的计算机程序。
[0025] 在本发明的第三方面中，提供了一种系统。该系统包括：特征识别结构，其用于 根据多个样本生成一个或多个特征，其中，所述样本是在不同时间点上被采集而来的，而且 在比划手势时，所述样本对应于手势感应键盘上的单一连续手势的位置，而其中的所述特 征与所述手势感应键盘的其中一个目标相关，该目标为用户比划手势时的预期输入；以及 预测机构，其用于根据所述特征预测出一个或多个词条，所述预测机构包括：前缀树生成机 构，其用于生成包含所述特征的词条前缀树；路径搜索机构，其用于找出一条或多条穿过被 赋予所述特征的所述词条前缀树的路径；以及预测器。
[0026] 该系统还包括手势感应键盘；所述手势感应键盘包括多个目标，并用于接收作为 输入的单一连续手势。
[0027] 该系统还包括采样机构；所述采样机构用于采集在比划手势时所述手势感应键盘 上的手势在多个时间点上的位置。
[0028] 所述前缀树生成机构用于根据图论生成图形，其中，所述图形代表词条前缀树。
[0029] 所述特征识别机构用于根据通过识别所述手势感应键盘上的手势位置获得的多 个所述样本生成一个或多个特征；在该位置中，用户意图穿过所述手势感应键盘的目标。所 述特征的位置是所述手势位置，在所述手势位置中所述手势在距离所述目标最近的地方穿 过。所述目标为点目标或线目标。所述特征识别机构用于识别所述手势感应键盘上的各目 标的特征。所述特征识别机构用于仅在所述特征与所述目标之间的最小距离小于距离阈值 时保留特征。
[0030] 优选地，各特征包括对应于所述手势和所述目标之间最小距离的距离度量。
[0031] 所述前缀树生成机构优选用于通过保留词典前缀树中被允许赋予所述特征的词 条，生成所述词条前缀树。所述词典前缀树的词条被保留下来，即便特征与所述词典前缀树 的词条不对应。
[0032] 所述目标对应于字母表中的字母以及诸如空格和/或标点符号的可选的单词边 界定界符。所述词条前缀树包括一个或多个表示完整单词最后一个字母的节点，其中，所述 前缀树生成机构用于向包含对应于单词最后一个字母的节点的所述词条前缀树中插入对 应于空格符号的节点。优选地，所述前缀树生成机构用于在所述特征识别机构未识别出与 空格字符相关的特征时，降低对应于空格字符的所述节点的相关概率。所述前缀树生成机 构优选地用于在对应于空格字符的节点上通过保留词典前缀树中被允许赋予特征序列中 的剩余特征的词条，生成新的词条前缀树。
[0033] 所述前缀树生成机构用于修剪词条前缀树，以去除掉所述词条前缀树图形中给定 路径概率与最可能路径概率之比小于预设阈值的图形中的所有路径。所述前缀树生成机构 优选地用于将代表空格字符的节点与元数据关联，以根据语境数据修剪所述新的词条前缀 树。
[0034] 所述前缀树生成机构用于当存在穿过词条前缀树且被赋予所述特征的有效路径 时，通过保留包含字符副本的词典前缀树中的词条，使给定特征表示与其相关的字符的重 复实例。
[0035] 在一优选实施例中，所述路径搜索机构为路径搜索算法。所述路径搜索算法使用 所述距离度量生成与穿过所述词条前缀树的各条路径相关的概率评估。所述路径搜索算法 优选返回一个或多个词条，其中所述词条的对应路径具有大于阈值的概率评估。
[0036] 在另一实施例中，所述特征识别机构用于确定对应于所述手势结束位置的一个或 多个特征；而所述前缀树生成机构用于仅在任意代表所述特征的节点与所述词条前缀树中 的节点相对应时，将给定路径的累计概率指示分配给任意代表对应于所述手势结束位置的 所述特征的节点。所述路径搜索机构优选用于为累计概率排序并返回累计概率大于阈值的 路径的相应词条。
[0037] 所述预测器优选用于根据当下所有有效的样本预测一个或多个词条，并随着单一 连续手势的实施以及所述采样机构生成更多的样本，定期更新一个或多个词条的预测。
[0038] 所述预测器优选用于预测一个或多个单词。所述预测器用于根据单一连续手势预 测一个或多个单词，所述单一连续手势为用户在手势感应键盘上的一个或多个字符上方作 出的意图指出单词前缀的手势。所述预测器用于根据单一连续手势预测包含具有两个以上 单词的序列的短语，所述单一连续手势为用户在手势感应键盘上的构成多个单词的字符上 方作出的手势。所述预测器优选用于使用语境信息修剪一个或多个词条的预测。
[0039] 所述采样机构优选用于以预设频率实施采样。所述采样机构的采样频率为60Hz。
[0040] 所述预测器优选用于根据所述手势感应键盘的布局以及手势速度和/或手势曲 线方向预测一个或多个词条。所述预测器优选用于根据两个特征与所述手势感应键盘的对 应于这两个特征的目标之间的手势形状预测穿过所述前缀树的路径。所述路径的概率取决 于差异单调递减函数，所述差异为所述两个目标间的直线距离与所述两个目标间手势的曲 线长度之间的直线距离差异。所述路径的概率取决于直线方向间差异的单调递减函数，所 述直线方向间差异为所述两个目标之间的直线方向与所述两个目标间各点上的手势方向 之间的差异。
[0041] 所述手势感应键盘优选为触摸感应键盘，而所述单一连续手势为所述触摸感应键 盘上的击打键盘操作。所述触摸感应键盘用于探测用户击打所述手势感应键盘的压力，而 所述采样机构用于采集存在上述压力的击打键盘位置。所述采样机构用于探测压力值以及 给定时间点上的位置。
【专利附图】
【附图说明】
[0042] 参照下列附图，详细介绍本发明：
[0043] 图1为本发明系统和方法的使用示意图，并特别示出了为输入某一短语而滑过包 括了手势感应键盘的用户界面的单一连续用户手势，并示出了显示在用户界面显示器上的 相应预测短语；
[0044] 图2为本发明系统和方法的使用示意图，并特别示出了为某一单词输入前缀而滑 过包括了手势感应键盘的用户界面的单一连续用户手势，并示出了显示在用户界面显示器 上的相应的预测单词；
[0045] 图3为示出了本发明输入流连续处理流程的流程图；
[0046] 图4为示出了本发明的输入样本转换为更新预测的子流程的流程图；
[0047] 图5为本发明的使用了阈值和滞变的特征生成算法的曲线图；
[0048] 图6a和6b为本发明根据表示词典的参考前缀树（图6b)生成词条前缀树（图 6a)的不意图；
[0049] 图7为本发明词条如缀树中结束词尾的不意图；
[0050] 图8为当生成词条前缀树时本发明方法和系统中的前缀生成手段如何处理结束 词尾的示意图；
[0051] 图9为本发明基于某一手势中两点间轨迹的距离和长度变化实现成本函数的示 意图；
[0052] 图10为本发明基于两点间轨迹的有效面积实现成本函数的示意图；
[0053] 图11为本发明基于假设为两相邻点的两点间的轨迹的终点方向实现成本函数的 示意图；
[0054] 图12为本发明系统的示意图；
[0055] 图13为本发明方法和系统的使用实例的示意图，并特别解释了由实例单一连续 手势获得的第一样本的特征图；
[0056] 图14为本发明系统的使用实例的示意图，并特别示出了通过手势感应键盘输入 的意图表示词条"a wet"的用户手势；
[0057] 图15是为图14中示出的单一连续手势生成的部分特征的示意图。
【具体实施方式】
[0058] 本发明披露的系统和方法允许用户输入任意长度的可由单一的连续敲击表示的 多个单词或单词前缀所构成的字符输入序列，并保持以前缀、单词和/或短语预测形式出 现的定期的反馈。
[0059] 这样，本发明的系统和方法提供了手势感应装置的文本输入。在手势感应装置中， 用户可以实施单一的连续手势来表示意欲输入的单词或短语输入。下文以触摸屏或触摸感 应装置为例进行说明。具体实施例中的触摸屏装置允许用户通过移动其手指逐一地选择字 符来输入单词或短语，而无需在各字母或各单词之间断开与屏幕的接触，而该系统同时处 理该输入并生成预测。
[0060] 本发明同已知的装置相比已有了显著的改进，因为其提供了更加准确和灵活的文 本输入，同时提高了文本输入速度。
[0061] 为了便于理解触摸屏装置实施例，将用户输入手势称为以用户手指离开触摸屏作 为结束的"击打键盘"。该系统以用户断开与屏幕的接触表示在一次特定击打键盘中不再由 该点输入单词。
[0062] 本系统和方法基于连续的样本流进行词条预测。各样本在手势实施时表示适时 的手势位置。举例来说，同单词匹配系统相比，本系统和方法可在更高的功能级别上运行。 由此，本发明的系统和方法可提供双方向上的可伸缩性，即：每次可缩至小于一个单词（前 缀）的长度或伸至多个单词的长度。由此，解决了已知系统和方法存在的问题，并提供另一 个更加灵活的选择。下面结合图1、图2,介绍这一选择。
[0063] 图1示出了滑过触摸感应键盘的表示多个单词"How are you"的用户手势实例。 如图1所示，在各单词之间，用户的手指无需离开屏幕。本系统采用的概率方法（将在下文 中介绍）对于自然语言而言，能够推断出可能候选短语之间的空格。
[0064] 图2示出了表示单词前缀的用户手势实例，在该实例中，前缀为单词"please"的 "pl"。在该实例中，输入手势经过"P"和"1"，则句子起始（即，在无语境词汇条件下的预 测）的最可能单词为"please"，于是由将该单词显示在包含触摸屏键盘的用户界面的显示 屏上。在下文中将要介绍到的由概率语境模型提供的语境证据的使用，允许系统和方法考 虑诸如期望单词的前缀等较小幅度击打键盘的语境信息。这样，上述语境证据的使用将提 高提供给用户的文本预测的准确性。
[0065] 图1、2示出的实例涉及到通过未包含空格键的虚拟键盘所输入的文本。但是，本 发明同样适用于通过包含空格键的键盘上的手势所输入的文本。本发明的系统和方法可以 使用户通过单一的连续手势输入多个单词。凭借这一生成文本预测的方式，即便是在用户 未指出单词边界的情况下，也可以从单一的连续手势中推断出多个单词或一个短语。
[0066] 参照其余的图，在下文中将根据本发明方法和系统的实例介绍如何实现本发明的 细节。
[0067] 如上文所述，在比划手势时，本发明的方法和系统随时间的推移取手势位置的样 本。对于触摸屏装置而言，还可同时取表示位置的压力值样本，以提供更多关于用户的击打 键盘意图所表示的单词/短语的信息。位置和/或压力值的采样可由本领域中的任意已知 方法实施。该系统和方法将用户输入样本的连续流模型化，以提供词条/单词/短语的预 测。击打键盘输入可被定义为（大致为无穷大的）样本序列s如下：
[0068] s = {x, y, p, t}
[0069] 值x和y只是表示采样时用户手指物理位置的坐标值，p是压力读数，而t是实施 采样的时间。由此，击打键盘S的定义如下：
[0070] s = {Si, s2, ···, s^}
[0071] 由此给出了系统的必要输入条件的定义。该系统将击打键盘输入转换为代表请求 预测时间点上的特定字符序列C的样本序列的概率评估：
[0072] p({Sl，…，sn} |〇
[0073] 在这一概率评估中，η被定义为样本索引，其中t代表最新的样本。C为用户通过 击打键盘意图输入的内容的预测，该预测包括一组包含空格的字符。这一评估可作为额外 证据源应用于基于多证据源生成词条/单词/短语预测的其他系统或方法，例如，申请号为 PCT/GB2011/001419、名称为"文本预测引擎，电子装置的文本输入系统及文本输入方法"的 国际专利。该专利内容作为参考被全面引入本文。
[0074] 本发明系统优选用于连续提供概率评估，并可将这一评估作为输入提供给申请号 为PCT/GB2011/001419的国际专利中的文本预测机构。该文本预测机构将这一评估与其他 证据源（例如语境）一起加以考虑，以生成更加准确的文本预测。
[0075] 如上所述，需要对{x，y，p，t}形式的样本的连续流进行处理，以生成代表特定字 符序列的样本序列概率的评估。图3示出了这一处理步骤。如图3所示，当用户触摸屏幕 并击打键盘时，取得样本。该系统连续处理击打键盘生成的样本序列。这样，当用户保持与 屏幕的接触时，连续取得样本，而这些样本连同手势的在先样本一起被进行处理，以提供带 有相关概率评估的连续更新的预测。一旦用户断开其与屏幕的接触，则假设击打键盘已结 束，而且不再有字符/单词从该特定击打键盘的这一点上输入。
[0076] 此处需要一子流程，以将{x，y，p，t}形式的样本序列转换为一个或多个带有相关 概率评估的候选字符序列。图4示出了'原始'输入样本向概率评估/更新的转换。如图 4所示，一包含了三个步骤的方法将原始样本转换为带有相关概率评估的候选字符序列。
[0077] 如图4所示，上述子流程的第一步骤将原始样本转换为具有较抽象"特征"的稀疏 序列，其中，各特征可代表包含在预测（即：候选字符序列）中的候选字符。该候选字符可 与距离度量一起用于计算概率评估。下面将介绍原始样本向特征序列的转换。
[0078] 当原始样本已被转换为特征时，上述子流程的第二步骤包括：生成词条前缀树。通 过保留被有效地给予了特征的潜在子序列的参考前缀树路径，从参考词典前缀树中生成词 条前缀树。参考前缀树是整个词典的完整的前缀树，因此其为静态只读的数据结构。该参 考前缀树可被存储在系统的内存中。与之相反，词条的前缀树为动态生成的前缀树。动态 生成的前缀树是仅融入与击打键盘图案相关的元素的参考前缀树的稀疏副本。在生成给定 击打键盘图案的预测之后，词条的前缀树通常被丢弃掉。但是，在某些情况下，优选地保留 下词条的前缀树，以便为来自连续击打键盘图案的下一个预测提供语境证据，例如，在存在 表示同一句子/短语中连续词条的两个击打键盘图案的情况下。
[0079] 上述参考词典前缀树可以是本领域中任意已知的参考词典前缀树。例如，可以 是链接http://en. wikipedia. org/wiki/Trie上引用的任意参考，或者可以是
【发明者】本杰明·麦德洛克, 詹姆斯·阿利, 道格拉斯·亚历山大·哈珀·欧 申请人:触摸式有限公司