用于根据虚拟键盘布局来识别字形的系统和方法

专利名称：用于根据虚拟键盘布局来识别字形的系统和方法
技术领域：
本发明一般涉及用于计算机的文本输入器件，具体涉及经由用于基于计算机的快速书写的虚拟键盘进行文本输入，所述虚拟键盘利用速记手势来增加手写笔键盘输入。在虚拟键盘上由一个字中的所有字母限定字形后，用于词汇的速记手势被定义为由用户依序形成的笔划。
背景技术：
文本输入构成最频繁的计算机用户任务之一。QWERTY键盘已经被接受为用于桌面计算的文本输入的标准工具。但是，手持和其他形式的普及或移动计算的出现要求替代的方案。这些器件具有小屏幕和受限的键盘，限制用户输入文本的能力。于是，近些年来，文本输入已经重新成为重要的研究课题。最为引人关注的两种方案是手写和基于手写笔的虚拟键盘输入。
手写由于用户的已有经验而是相当“自然”和流畅的文本输入方式。各种手写识别系统已经被用于商业产品中。但是，作为文本输入方法的手写的基本弱点在于其有限的速度。虽然足够用于输入姓名和电话号码，但是手写对于写入较长的文本太有限制。
以手写笔依序轻击的虚拟键盘也在商业产品中可以获得。在所述屏幕上被提供的键盘典型是熟悉的QWERTY布局。手写笔键盘输入对于几乎每个按键的轻击都需要非常集中的视觉注意力，阻碍了用户将注意力集中在文本输出上。为了改善移动效率，已经通过反复试验和在算法上考虑了手写笔键盘布局的优化。在使用诸如ATOMIK(按字母表顺序调整和优化的移动接口键盘)的情况下，文本输入较快。参见S.Zhai，M.Hunter & B.A.Smith，“Performance Optimization of Virtual Keyboards，Human-Computer Interaction，”Vol.17(2，3)，229-270，2002(S.Zhai、M.Hunter和B.A.Smith，“虚拟键盘的性能优化，人机交互”，第17卷(2，3)，229-270页，2002年)。
近些年来，对于在移动器件上输入文本的需要已经推动了在文本输入上的多个发明的产生。优化用于提高速度的手势的思想被体现在Unistrokes字母表中。在Unistrokes字母表中，以单个笔划写入每个字母，但是经常使用的那些被分配比较简单的笔划。如果掌握了它，则用户在Unistrokes字母表可能比在Roman字母表中更快地写入。但是，Unistrokes字母表的基本限制是一次写入一个字母的特性。
Quikwriting方法使用在径向布局上的连续手写笔移动来输入字母。通过从径向布局的中心向8个外部区域之一、有时跨越到另一个区域并且返回中心区域来移动手写笔而输入每个字符。手写笔轨迹确定选择哪个字母。当有可能对于诸如“the”的常用字开发“形象的手势”时，由于在每个字母后手写笔返回中心，因此这样的手势相对复杂。在这个意义上，Quikwriting方法从根本上是一种字符输入方法。
Cirrin(循环输入)对于以布局在圆上的字母进行操作。用户通过将手写笔移动通过字母来画出一个字。Cirrin明确地试图在字词层次上操作，其中笔在每个字词的结尾被抬起。Cirrin也试图通过将最常用的字母彼此靠近地安排来优化笔的移动。但是，Cirrin不独立于位置或比例。
实现至少空间范围和位置的独立性以用于简化和加快文本输入是重要的。如果必须准确地通过在键盘上限定一个字词的所有字母，则沿着这些字形移动的时间预期不会比轻击短。作为一个示例，如果期望作为字“word”的一部分从按键“r”向按键“d”在连接两个按键的沟道中画出一条线，则这样的闭环划线处理将比在轻击“r”后轻击“d”花费更多的时间和视觉注意力。用户在画出所述字前必须将笔放在适当的位置上，并且保证从字母到字母的笔移动落入允许的笔的笔划范围内。
通过对于下述两种行为设计类似的移动模式来便利在文本输入中从新手行为到专家表现的技术过渡也是重要的。通过公共的移动模式来将新手和专家方式跨接的思想被用于“标记菜单”中。取代具有分别用于新手和专家用户的操作的两种不同模式的下拉菜单和快捷键，标记菜单对于两种类型的用户使用在饼式菜单上的相同方向手势。对于其动作慢并且需要视觉引导的新手用户，标记菜单通过在预先设置的时间延迟后显示该菜单布局来“展现”其本身。对于其动作快的专家用户，标记菜单系统不显示视觉引导。因此，用户的动作变为开环标记。但是标记菜单不用于文本输入，因为可在饼式菜单的每一层中可靠使用的项目的有限数量(8个或至多12个)。参见GKurtenbach，and W.Buxton，“User Learning and Performance with MarkingMenus”，Proc.CHI.1994，pages 258-264；and G. Kurtenbach，A.Sellen，and W.Buxton，“An Empirical Evaluation of Some Articulatory and Cognitive Aspects of“Marking Menus”，”Human Computer Interaction，1993，8(1)，pages 1-23(G.Kurtenbach和W.Buxton，“对于标记菜单的用户学习和行为”，会议论文集CHI.1994，第258-264页；G.Kurtenbach、A.Sellen和W.Buxton，““标记菜单”的一些清晰度和识别方面的经验评估”人机交互，1993，8(1)，第1-23页)。
一种自展示菜单方案T-cube限定了由类似于标记菜单的层叠饼式菜单设置的字母表。新手用户通过按照菜单的视觉引导来输入字符，而专家用户可以通过不使用可视显示地建立菜单手势来输入独立的字符。T-cube的缺点是它工作在字母表层次；结果，使用T-cube的文本输入固有得慢。
另一种使用连续手势输入的方案Dasher在多列中动态地排列字母。根据先前的上下文，可能的目标字母出现在靠近用户的光标位置。字母当通过光标时被选择；因此，最小化了光标移动。但是，这个最小化的代价是视觉注意力。因为字母排列经常改变，因此Dasher要求用户的视觉注意力动态地对于改变的布局进行反应。
引入基于手势的文本输入的一个可能性是使用速写。传统的速写系统是有效的，但是用户难于学习它，并且计算机难于识别它。速写没有双重性；它不能被专家和新手同样使用。另外，速写在虚拟键盘中没有基础，因此用户不能从键盘识别所需要的符号。如果用户忘记了速写符号，则必须查阅一个独立的表格来找到所述符号。
因此所需要的是形成连续的基于手势的文本输入，它需要最小的视觉注意力，并且基于键盘输入，其中一个系统和方法基于虚拟键盘布局来识别字形。至今仍未满足对于这样的系统和方法的需要。

发明内容
本发明满足了这个需要，提供了一种用于根据虚拟键盘布局识别字形的系统和相关联的方法(在此一起称为“系统”或“本系统”)。本系统将手写识别与虚拟、图形或屏幕上的键盘组合以提供一种较为容易使用的文本输入方法。所述系统使得用户可以快速地输入文本而使用很少的或不用用户的视觉注意力。
本系统的设计基于用于在虚拟键盘上实现基于手势的文本输入的5个原理。第一个原理是，为了使得字形手势有效，必须独立于比例和位置来识别字形。这对于诸如在PDA上的小器件屏幕或虚拟键盘尤其重要。只要用户产生与在键盘布局上限定的字形的形状匹配的字形，则系统将识别和为用户打印对应的字词。如果这样，用户可以以更开环的方式、大概更容易和舒适地以较少的视觉注意力来产生这些字形。
当前的工作的第二个原理是效率。与手写字母字符或诸如中文的语标字符相比，写入由手写笔键盘限定的字形会更为有效。每个字母构成仅仅一个直线笔划，并且整个字是一个形状。换句话说，本系统是速写的形式。
本系统可以被定义在任何键盘布局上，但是，如果在熟悉的QWERTY布局上被定义，则需要频繁的左右曲折笔划，因为在QWERTY的相对两侧上有意排列了常用的连续按键。一种替代的键盘布局是ATOMIK(按字母表顺序调整和优化的移动接口键盘)布局。ATOMIK键盘布局被优化以减少从一个按键向另一个的移动；结果，它也被优化用于产生最小长度的字形。
第三个原理涉及双重性的概念，即高级用户对于增加的一组常用字词主要使用手势，而新用户主要使用手写笔轻击来输入文本的能力。传统的速写系统需要花费很多时间和精力来掌握。除了在物理键盘上触摸打字之外，用户一般不愿意在学习人机交互技能上投入时间。但是，在手写笔键盘上限定的速写系统不必包括完整的或甚至大组的字词，因为人们可以同时使用轻击和速写手势。对于其字形被很好地记住的熟悉字词，用户可以使用手势。对于不太熟悉的，可以使用手写笔轻击。两种打字方式在同一输入表面上进行；本系统使笔划输入区别于轻击，并且因此提供输出。结果，用户不必在开始受益于本系统之前学习许多手势。
第四个原理识别出，在语言中的字词频率以高偏斜分布来趋向于遵循Zipf定律。Zipf定律模型化下述观察结果，即作为其排序i的函数，事件f的发生频率是幂定律函数f～1/ia，其中指数接近于整数(close to unity)。例如，100个最常用的独立字词构成整个英国国家文集(BNC)的46％。字词“the”单独构成BNC的超过6％。因此，较小组的速写手势可以覆盖大百分比的文本输入。对于小组的常用字词使用速写的等同物大大地提高了用户的文本输入速度。
第五个原理识别出，速写手势符号的用户的指令表可以通过实践逐步被扩展，这提供了从新手到专家行为的逐步和平滑的过渡。以手势表示和轻击字词共享一个公共移动字形，这个字形可能便利在两种方式之间的技术转换。对于新手用户，视觉引导的轻击更为容易。当一个字词被轻击足够多的次数时，用户可以切换到速写手势的更流畅的“专家”方式。如果忘记速写手势，则可以返回轻击，它加强所述字形和将用户推回专家方式。


参照下面的说明、权利要求和附图来详细说明本发明的各种特点和实现它们的方式，其中在适当的地方再用附图标记来指示在所引用的项目之间的对应关系，并且其中图1是示范的操作环境的示意图解，所述操作环境中可以使用本发明的字形识别系统；图2A表示图解图1的字形识别系统的操作的优选方法的处理流程图；图2B表示图解在图1的字形识别系统的操作中使用的一个处理流程图，它图解了一个替代实施例，用于将速写手势与已知字词的列表相匹配的步骤，并且用于产生最佳匹配的字词；图3是可以用于图1和2的字形识别系统的示范虚拟键盘布局；图4包括图4A、4B、4C、4D，表示图解一种方案的示范键盘图，在所述方案中，图1的字形识别系统解决了在速写手势中的模糊性；和图5包括图5A和5B，并且表示使用图1的字形识别系统的虚拟键盘的屏幕图，其中图解了字“they”的输入。
具体实施例方式
下面的定义和说明提供了属于本发明的技术领域的背景信息，并且意欲便于明白本发明而不限制其范围ATOMIK按字母表顺序调整和优化的移动接口键盘，它被一种算法优化，所述算法中，键盘被作为“分子”，每个按键作为“原子”。在按键之间的原子交互将移动效率驱向最小。移动效率被经对应对的字母的统计频率加权的在每对按键之间的所有移动次数的和来限定。ATOMIK也被按字母表顺序调整，产生从A到Z的字母从键盘左上角向右下角移动的一般趋势，有助于用户找到还没记住的按键。ATOMIK是一种示范的虚拟键盘，它可以与本发明组合使用。
弹性匹配传统的手写识别方法。参见Tappert，C.C.，“Speed，accuracy，flexibility trade-offs in on-line character recognition”，Research Report RC13228，10/28/1987，IBM T.J.Watson Research Center，1987；and Charles C.Tappert，Ching Y.Suen，Toru Wakahara，“The State of the Art in On-Line HandwritingRecognition，”IEEE Transactions on Pattern Analysis and Machine Intelligence.Vol.12，No.8，August 1990(Tappert，C.C.，“在线字符识别中的速度、精度和灵活性折中”，研究报告RC13228，10/28/1987，IBM T.J.Watson研究中心，1987；Charles C.Tappert，Ching Y. Suen，Toru Wakahara，“在在线手写识别中的发展现状”，字形分析和机器智能的电气和电子工程师协会会报，第12卷，第8号，1990年8月)。
PDA个人数字助理。一种超小型的个人计算机。PDA一般存储电话号码、约会和要做的事项列表。一些PDA具有小键盘，其他的仅仅具有用于在虚拟键盘上的输入和输出的特殊的笔。
虚拟键盘具有触摸屏交互能力的计算机模拟键盘，所述交互能力可以用于使用键控输入来替换或补充键盘。典型使用手写笔来顺序地轻击虚拟按键。它也称为图形键盘、在屏键盘或手写笔键盘。
图1描绘了一种示范的整体环境，其中可以使用用于按照本发明在虚拟键盘上识别字形的系统10和相关联的方法200。系统10包括典型被嵌入到计算机中或安装在计算机上的软件编程代码或计算机程序产品。其中安装了系统10的计算机可以是移动器件，诸如PDA15或蜂窝电话20。另外，系统10可以被安装在诸如图形输入板计算机25、触摸屏监控器30、电子白板35和数字笔40的器件中。系统10可以被安装在任何使用虚拟键盘或类似的输入接口的器件中，所述器件由辅助器件45表示。或者，系统10可以被存储在适当的存储介质上，诸如盘、CD、硬盘等器件。
参见图2A，由高层流程图来图解系统10的操作的优选方法200。在方框205，用户在虚拟键盘上形成笔划。所述笔划可以如在轻击中那样是短的，或者如在速写手势中那样是长的。
系统10在方框210记录该笔划。然后，在判决方框215，系统10判决是否笔划或标记是短的。如果不是，则用户在轻击方式中(方框220)，并且系统被指示在虚拟键盘上独立地选择字母。系统10随后通过在方框225将标记的位置与键盘坐标相匹配和通过在方框230产生一个字母，而将用户的轻击与一个字母相关联。当用户形成另一个笔划时，系统10随后返回方框205。
如果在判决方框在虚拟键盘上的用户的笔划不是短的，则用户处于速写手势方式(方框235)。系统10的识别系统可以基于例如传统的弹性匹配算法，它通过动态编程计算在两组点之间的最小距离。一组点来自用户在手写笔书写板或触摸屏上产生的形状(即未知的形状)。另一组点来自原型，即由一个字的字母按键位置限定的理想形状。所述识别系统也可以被其他的手写识别系统实现。参见Charles C.Tappert，Ching Y. Suen，Toru Wakahara，“TheState of the Art in On-Line Handwriting Recognition，”IEEE Transactions onPattern Analysis and Machine Intelligence，Vol.12，No.8，August 1990(Charles C.Tappert，Ching Y.Suen，Toru Wakahara，“在在线手写识别中的发展现状”，字形分析和机器智能的电气和电子工程师协会会报，第12卷，第8号，1990年8月)。
在预处理、过滤和在比例标准化之后，系统10通过使用弹性匹配或其他算法计算在未知的形状和原型之间的距离而将未知的形状与已知的字词参数匹配(方框240)。在方框245，与在一个确定门限上的用户的输入采样最佳匹配的对应的字词被返回作为被识别的字词。
在判决方框250，系统10判定是否在方框245得到的最佳匹配的字词在所期望的识别门限之上。如果由用户形成的速写手势清楚地是在已知的字形列表中的一个字，则系统10在方框255向用户显示这个字。
当用户形成另一个笔划时，系统10随后返回方框205。如果在判决方框250发现多于一个字匹配所述速写手势，则系统10在方框260向用户显示一个消息或替换字。
图2B示出了用于将速写手势与已知的字词表匹配并且产生最佳匹配的字词的替代方法300。如果将速写手势与字词的已知列表匹配的结果(方框240)是唯一的匹配(判决方框265)，则系统10进行到判决方框250，并且如前面参照图2A所述的进行。
否则，系统10在方框270向用户呈现多个匹配速写手势的选择。用户随后在方框275从候选者中选择所期望的字。系统10随后返回方框205，并且如前面参照图2A所述的进行。
本系统的一个方面是它的处理由速写手势产生的模糊性的能力。速写手势的形状不总是唯一的，尤其是对于一些短字词。这由图3所图解，图3图解了一个示范虚拟键盘布局，它被称为ATOMIK键盘布局。例如，当忽略比例和位置时，字“can”、“an”和“to”完全相同。对于字“do”和“no”也是这样。
在图2B的替代实施例中的用于解决模糊性的一种方法是通过使用过渡饼式菜单。如图4A所示，用户对于字“can”以手势表示在虚拟键盘410上的从左向右的笔划405。应当注意，不必对于实际的字母c-a-n执行笔划405；而是可以在虚拟键盘410上的任何位置进行它，只要笔划405连接三个字母c-a-n。虽然本发明以饼式菜单的形式描述以仅仅用于示范的目的，但是应当清楚也可以替代使用其他已知或可以获得的菜单，诸如线性菜单。
字形识别系统10找到与手势或笔划405的多个匹配“can”、“an”和“do”(图2B的方框240)。作为响应，系统10显示一个饼式菜单415，其中所有三个候选字为相容的次序(方框270)。对于这个具体的模糊字不知道的用户将查看所述菜单和在饼式图表上的期望候选者的方向上作出直线笔划420而与位置无关。在知道的情况下，用户不必查看所述菜单，因为在饼的相容段中呈现了候选者。
对于选项的选择仅仅依赖于方向，而与笔划的位置无关。有经验的用户可以仅仅将第二笔划记住为那个字的速写的一部分。例如，其后跟随向右上方向的笔划430的右平笔划425(图4D)总是字“can”。类似地，左和下总是字“to”，其后跟随向右上的笔划的左笔划总是字“an”。
图5A和5B还图解了系统10的使用。如在以系统10操作的虚拟键盘系统的屏幕图500中所示，用户被提供了一个虚拟键盘，诸如ATOMIK键盘505。用户希望输入字“they”。新手用户将轻击按键“t”510、“h”515、“e”520、“y”522。随着用户变得对于这些字母的字形更为熟悉，轻击次序被替换为速写手势525，所述速写手势525遵循对于字词“they”轻击的相同字形。最后，用户不需要用于输入的键盘，而是仅仅如图5B所示输入速写手势525。
附录的表1示出了使用基于ATOMIK虚拟键盘布局的系统10所产生的附加示范字形。
应当明白，已经描述的本发明的具体实施例仅仅说明本发明的原理的某些应用。可以在不脱离本发明的精神和范围的情况下，对于在此所述的用于识别基于虚拟键盘布局来识别字形的系统和方法进行多种修改。例如，输入单元也可以是字的部分(诸如“tion”)、缩写(例如“asap”)等，其字形象字一样在虚拟键盘布局上被限定。而且，虽然本发明仅仅与ATOMIK虚拟键盘相关地用于说明的目的，但是应当清楚本发明也可以应用到任何虚拟键盘布局上。
附录表1
权利要求
1.一种用于识别字形的方法，包括根据虚拟键盘布局来输入笔划；将所述笔划识别为字形；将所述字形与已知的字形列表匹配；和从匹配的字形中产生匹配的字。
2.按照权利要求1的方法，还包括显示被匹配的字。
3.按照权利要求2的方法，还包括分析该输入以在轻击和速写手势输入之间区分。
4.按照权利要求3的方法，还包括从该字形的列表产生至少一个候选匹配字。
5.按照权利要求4的方法，其中匹配笔划包括将该候选匹配字与手势识别门限相比较。
6.按照权利要求1的方法，还包括通过轻击至少一个字母来输入所述至少一个字母。
7.按照权利要求4的方法，其中显示匹配的字包括以图形的格式显示多个候选匹配字。
8.按照权利要求7的方法，其中以饼式图表图形显示来显示所述候选匹配字。
9.按照权利要求8的方法，还包括通过在所期望的候选匹配字的方向上以手势表示，来从所述饼式图表图形显示中选择所期望的候选匹配字。
10.按照权利要求1的方法，其中所述虚拟键盘匹配物理键盘布局。
11.一种计算机程序产品，具有用于识别字形的指令代码，包括第一组指令代码，用于根据虚拟键盘布局来输入笔划；第二组指令代码，用于将所述笔划识别为字形；第三组指令代码，用于将所述字形与已知的字形列表相匹配；和第四组指令代码，用于从匹配的字形中产生匹配的字。
12.按照权利要求11的计算机程序产品，还包括第五组指令代码，用于显示被匹配的字。
13.按照权利要求12的计算机程序产品，其中该第二组指令代码在轻击和速写手势输入之间区分。
14.按照权利要求13的计算机程序产品，其中所述第二组指令代码还从字形的列表产生至少一个候选匹配字。
15.按照权利要求14的计算机程序产品，其中所述第三组指令代码将该候选匹配字与手势识别门限相比较。
16.按照权利要求11的计算机程序产品，还包括输入器件，用于通过轻击至少一个字母来输入所述至少一个字母。
17.按照权利要求14的计算机程序产品，其中该第五组指令代码以图形的格式显示多个候选匹配字。
18.按照权利要求17的计算机程序产品，其中该第五组指令代码以饼式图表图形显示来显示候选匹配字。
19.按照权利要求18的计算机程序产品，还包括输入器件，用于通过在所期望的候选匹配字的方向上以手势表示，来从所述饼式图表图形显示中选择所期望的候选匹配字。
20.按照权利要求11的计算机程序产品，其中所述虚拟键盘匹配物理键盘布局。
21.一种用于识别字形的系统，包括根据虚拟键盘布局来输入笔划的装置；将所述笔划识别为字形的装置；将所述字形与已知的字形列表匹配的装置；和从匹配的字形中产生匹配的字的装置。
22.按照权利要求21的系统，还包括显示被匹配的字的装置。
23.按照权利要求22的系统，其中该用于识别笔划的装置在轻击和速写手势输入之间区分。
24.按照权利要求23的系统，其中该用于识别笔划的装置还从字形的列表中产生至少一个候选匹配字。
25.按照权利要求24的系统，其中该用于匹配字形的装置将候选匹配字与手势识别门限相比较。
26.按照权利要求21的系统，还包括输入器件，用于通过轻击至少一个字母来输入所述至少一个字母。
27.按照权利要求24的系统，其中该用于显示匹配的字的装置以图形的格式显示多个候选匹配字。
28.按照权利要求27的系统，其中该用于显示匹配的字的装置以饼式图表图形显示来显示候选匹配字。
29.按照权利要求28的系统，还包括输入器件，用于通过在所期望的候选匹配字的方向上以手势表示，来从所述饼式图表图形显示中选择所期望的候选匹配字。
30.按照权利要求21的系统，其中所述虚拟键盘匹配物理键盘布局。
全文摘要
一种系统，以速记手势来增加手写笔键盘输入。所述系统按照在优化的手写笔键盘上的移动字形来对于每个字限定速写符号。所述系统通过将输入识别为笔划，并且然后将所述笔划与所存储的字形列表相匹配，而来识别字形。所述系统然后产生和向用户显示匹配的字。
文档编号G06K9/22GK1510557SQ20031012236
公开日2004年7月7日 申请日期2003年12月19日 优先权日2002年12月20日
发明者翟树明 申请人:国际商业机器公司