用于交叠手写文本输入的用户界面的制作方法

文档序号:17928731发布日期:2019-06-15 00:38阅读:208来源:国知局
用于交叠手写文本输入的用户界面的制作方法



背景技术:

传统上,文本是利用硬件键盘(例如,12个电话键或qwerty键盘)或软件键盘(例如,键是在触摸屏显示器上显示的图形按钮)输入的。这种方法的主要问题是在手持设备上的键尺寸小,使得相对难以键入。通常,键盘被划分成若干部分(字母vs、数字vs、特殊字符)。这允许用户在各部分之间切换,并且在一个时刻在屏幕上仅显示一部分。这允许每部分更大的按钮,但是切换引起了用户的开销。并且,随着移动设备的屏幕尺寸减小,用户在触摸屏上触摸所意图的字符时易于出现更多错误,由此降低了整体准确性。因此,存在一种看法:与更为自然的用户输入(例如,笔迹辨识)相比,在较小的屏幕上进行键入没有在速度和/或准确性方面提供特别的价值。

因此,在小屏幕的情况下,对于个人通信,笔迹有时提供比键入更多的好处。此外,手写笔记通常包含凭借于书写字体的微妙的个人暗示,以及不能通过键入的文本来表达的绘画。当今的许多通信设备(例如,智能手机、平板计算机等)具有基于触摸屏的系统,其能够记录在设备的触摸屏上输入的笔迹。若干商业应用采用笔迹来记笔记和消息传送。不巧的是,这些类型的笔迹应用通常需要触笔,或需要足够大的表面以供手指以足够的精度书写。这对于移动设备的小屏幕来说是成问题的。

例如,一种常规的笔迹技术提供了基于手机的应用,其中用户在手机的横向模式下写入字符。用户对屏幕的最左边的触摸(或等待超时)将书写接受,并清除屏幕以供更多的输入。不巧的是,这种方法需要用户在空间上组织她的输入,以使得触发“接受和清除”型动作并因此有合适量的空间围绕每个字符,这是因为字符是通过将在头前的和在尾后的空白包括在内来被串接的。另外,这种应用的横向定向使得频繁旋转设备成为必要。另一类似应用使用两手指滑动的手势来在屏幕上手动布置预先定义的墨迹段,从而形成个体字符。

在为解决较小屏幕上可用于以手指书写的空间有限的问题而进行的尝试中,已经实现了各种自动分割技术以便在移动文本输入场景中使用。这样的系统允许将字母以覆于彼此上的方式(ontopofeachother)写入,并且然后这些字母通过后处理被分离。例如,所谓的交叠辨识系统通常是通过这样来运作的:评估交叠笔划以识别所意图的字符,并且然后使用该信息来分割笔划。不巧的是,这意味着这些系统使用文本辨识或笔迹辨识的形式,这是连同笔划分割一起执行的,作为在对笔划进行分割时使用的引导或辅助,伴随着作为结果的复杂性和计算开销需求的增加。一种避免字符分割问题的方法是使用定制的单笔划字母表,其中每个个体笔划表示一个不同的字符。这样的技术可以允许免视(eyes-free)输入,但却要求用户学习新的手势集(即,针对每个个体字符的不同的单个笔划)来输入文本。

另一种手指输入笔迹方法允许用户在触摸表面上通过织物(fabric)书写交叠字符。这种方法通常在没有进一步的用户动作的情况下辨识单笔划字母(例如,“c”或“l”)。然而,为了对更复杂的字符(例如“k”、“t”、“f”和“x”)分割交叠笔划,这种方法寻找第二特定笔划。特别地,如果遇到“<”、“—”、“\”或“/”手势,则该方法将该笔划与先前输入的笔划简单地融合以产生字符。换句话说,该方法或是将单个笔划作为字符识别,或是查找用于指示连续的笔划将被融合的一个或多个特殊标识符笔划或手势。在没有识别该类型的特殊字符的情况下,该系统不能够分割多个交叠笔划来确定用户意图的是什么字符。



技术实现要素:

提供该发明内容是为了引入简化形式的概念的选集,将对之在下文的具体实施方式部分进一步描述。该发明内容并非旨在识别所要求保护的主题的关键特征或必要特征,亦非旨在用作在确定所要求保护主题的范围时的辅助。此外,虽然可能在此注解或讨论了现有技术的某些缺点,但并非旨在将所要求保护的主题限制于可以解决或处理这些现有技术的任意或全部缺点的实现方式。

通常,如本文所描述的“笔划理清器(strokeuntangler)”提供了各种技术来在触摸屏上、或者在其它真实或虚拟书写表面(在本文中统称为“书写面板”)上利用手指或书写实现工具构成手写消息。首先在书写面板上绘画表示交叠的字母或部分字母段的手写笔划。然后对这些交叠笔划自动理清、分割以及合成为一个或多个字母、词语或短语。有利的是,该理清、分割和合成是在不需要用户手势(或预先定义的分割)、超时或其它用于在词语中将字符划界的输入的情况下执行的。此外,与现有分割技术相对比,该理清和分割过程是在无需使用文本或笔迹辨识技术作为用于对由用户输入的交叠笔划进行理清和分割的引导的情况下执行的。然而,在各个实施例中,作为结果的字符的辨识是接下来在已经完成理清和分割之后,利用各种笔迹辨识(hwr)技术执行的。

考虑到上述发明内容,显然的是,本文描述的笔划理清器提供了各种技术用于根据多个交叠笔划构成手写消息,而无需预先定义的手势或笔划,并且无需使用基于hwr的技术作为引导来对多个交叠笔划进行理清、分割和合成以形成字符。除了刚描述的益处外,根据后文的详细描述在结合附图的情况下将会容易理解笔划理清器的其它优点。

附图说明

结合后续描述、随附权利要求和附图,将更好地理解所要求保护主题的特定特征、方面和优点。在附图中:

图1示出了使用“笔划理清器”以便自动理清、分割和合成多个交叠笔划以形成字符、词语和短语,如本文所描述的。

图2提供了示出用于实现笔划理清器的各个实施例的程序模块的示例性架构流程图,如本文所描述的。

图3示出了基于手镯或腕表形状因子的示例性笔划理清器用户界面,其示出了对已理清、分割和合成的笔划的显示,基于hwr的辨识候选的显示,搜索建议的显示,以及渐隐笔划痕迹,以向用户提供视觉反馈,如本文所描述的。

图4示出了示例性笔划理清器用户界面,其示出了对已理清、分割和合成的笔划的显示,以及对应的基于hwr的机器可读文本和绘画输入的显示。

图5示出了示例性笔划理清器用户界面,其示出了对已理清、分割和合成的笔划的显示,与对对应的基于hwr的机器可读文本、搜索建议和对笔划分割错误进行的用户校正的显示相结合。

图6示出了在执行笔划分割时使用的示例性状态图,用于理清和合成多个用户笔划以形成一个或多个字符,如本文所描述的。

图7示出了示例性笔划理清器用户界面,其示出了在腕表类型的设备上基于笔划的预测键盘,在其中已理清、分割和合成的笔划用于显示有限集合的键以供用户选择,如本文所描述的。

图8示出了基于指环形状因子的具有触摸屏或触摸敏感表面的书写窗格的例子,在所述触摸屏或触摸敏感表面上用于可以输入交叠笔划以供笔划理清器处理,如本文所描述的。

图9示出了笔迹辨识模型的使用,该模型用于处理根据断裂笔划(例如,由在输入交叠笔划的同时跨书写面板的边缘而引起的未完成笔划)形成的断裂字符,如本文所描述的。

图10提供了总体流程图,其示出了用于实现笔划理清器的各个实施例的示例性方法,如本文所描述的。

图11是总体系统图,其描绘了简化通用计算设备,该设备具有简化的计算和i/o能力以用于实现笔划理清器的各个实施例,如本文所描述的。

具体实施方式

在所要求保护主题的实施例的下列描述中,参考形成其一部分的附图,在附图中通过图示示出了可以实践所要求保护主题的特定实施例。应该理解的是,可以利用和其它实施例,并且可以做出结构变化,而不背离当前要求保护主题的范围。

1、0引言:

通常,如本文所描述的“笔划理清器”提供各种技术用于在触摸屏或其它真实或虚拟的书写表面上利用手指或书写实现工具构成手写消息。首先在触摸屏设备或触摸敏感表面上绘画表示交叠的字母或部分字母段的手写笔划。然后对这些交叠笔划自动理清、分割并组合或合成一个或多个字母、词语或短语。此外,分割和组合是实时执行的,由此使得能够在用户界面窗口中实时地呈现作为结果的字符。在各个实施例中,在已经完成分割之后,利用各种笔迹辨识(hwr)技术,对作为结果的字符执行文本辨识。

换句话说,笔划理清器允许用户在触摸屏或触摸敏感表面上连续地或周期性地绘画(draw)多个交叠笔划。然后对这些笔划自动分割并组合成一个或多个对应字符。有利地,在无需要求用户手势(或预定义分割)、超时、或其它用于在词语中将字符划界的输入的情况下,来执行分割和组合。然而,在各个实施例中,笔划理清器使得各种控制手势能够实现如下功能,例如退格以删除字符、在词语之间的空格,以及用于清除整个词语或短语的清除型命令。注意,在各个实施例中,用户在词语之间并不输入空格,而后续的hwr处理自动确定词语间断,并随后在适当时在字符之间插入空格。

此外,与用于分割笔划的现有的基于hwr的分割技术相对比,笔划理清器通过将交叠笔划分组成k笔划字符而分割笔划,而不使用基于hwr的分割技术。这使得笔划理清器能够理清和呈现手写消息,同时以在典型的辨识系统中未找到的保持美学质量的方式保留用户的个人笔迹。此外,这些手写消息固有地是可以呈现给各种hwr系统的格式以供进一步处理。注意,相关的绘画模式使得能够结合手写字符输入绘画。

有利地,笔划分割是基于训练的分割模型的,而不使用基于hwr的技术作为分割过程的引导,显著减少了计算开销。此外,该方法便利于不常用词语或有表达性的拼写(例如,“whoooah”),因为笔划理清器所使能的技术在理清和分割笔划时不需要使用词典或类似物。此外,遵循由笔划理清器执行的理清、分割和呈现过程的字符或文本辨识已被观察到使用相对于现有系统(其是通过利用各种基于hwr的字符和文本辨识技术来操作的)显著降低的计算开销,从而便于最初的理清和分割过程。

在各个实施例中,笔划理清器还提供完整词语的“墨迹显示”(即,所显示的对用户输入笔划的表示),其随着笔划被理清、分割和合成以形成字符而实时更新,由此创建与用户的非常紧密的反馈回路。换句话说,对由用户输入的当前笔划的显示利用笔划理清和分割算法(参见章节2、3)(该算法周期性地更新作为结果的字符分组)来实时更新所显示的字符。如上所述,在各个实施例中,在理清、分割和合成过程之后对那些字符接下来执行文本辨识或笔迹辨识。该能力在各个实施例中通过提供图形用户界面(ui)而被进一步利用,在所述用户界面处,作为结果的字符邻近于可用于用户选择的一个或多个辨识候选而被显示,作为对一个或多个其它应用(例如,文本编辑、搜索引擎等)的输入。

例如,图1示出了经由手持计算设备的用户界面实现的笔划理清器的使用,用于自动理清、分割和合成多个交叠笔划以形成字符和词语。注意,图1并非旨在表示笔划理清器的所有特征、特性或实施例,图1意图简单地作为基本视觉例子,以引入一些在该文献通篇中描述的一般概念。

特别地,图1示出了具有触摸屏110的手持计算设备100。通过用户的手的手指120输入多个交叠笔划120(由在触摸屏110上显示的多个交叠虚曲线表示)。在图1所示的实施例中,笔划理清器理清和分割交叠笔划120并合成这些笔划,以形成人类可读字符集合140,其表现为拼写词语“pizza”。这种人类可读字符集合140显示在触摸屏110上的字符输入窗口150中。

注意,在各个实施例中,在触摸屏上直接输入不是必需的。这种笔划可以例如在膝上型计算机的触摸板上进行,或在具有触摸敏感表面的移动设备的背上进行。此外,可以在一个设备(例如,手表、触摸敏感手镯)上进行这种笔划,而在另一设备(例如,台式计算机、电子白板等)上理清(并呈现给用户)。其它例子包括与各种surfacetm设备相关联的“触摸盖(touchcover)”或“触摸盖2”输入设备。这种设备包括电容敏感技术、压力敏感技术和接近度感知技术的各种组合。这种设备可以适于(经由各种软件或驱动器修改)接收通过在一个或多个压力敏感的或接近度敏感的键顶部上或上方击打而输入的笔划,而不是仅感知屏幕上或触摸板上的笔划。

此外,在图1示出的实施例中,笔划理清器执行对人类可读字符集合140的自动笔迹辨识,所述集合140是为以将文本“pizza”作为机器可读文本来表示而通过笔划理清器的hwr部件辨识出的。然后将该辨识出的文本自动提供作为对搜索引擎的输入,搜索引擎继而在建议窗口160中返回用户可选择的搜索建议的集合(例如,“pizzahut”、“pizzahutmenu”和“pizzarecipe”)。

注意,在各个实施例中,hwr直到整个词语被输入(由用户在笔划输入之后输入空格或词语分隔符确定出)才被执行。在这种情况下,在输入了每个个体词语之后,hwr执行对人类可读字符的逐词语处理。在相关实施例中,一旦将每个笔划添加到字符,就立即在每个词语或部分词语上执行辨识,即使在词语尚未完成时。作为结果的部分辨识通常对用户有帮助。例如,如果用户书写“pizz”并且部分辨识已经出错误,例如,系统返回“riff”,则有很大可能该词语不是通过基于对对应字符的hwr处理将能够识别的方式书写的,因此即使在完成时也不会被正确地辨识出。在这种情况下,用户可以选择对于该词语重新开始(例如,删除一个或多个字符并重新输入那些字符)。

还应注意,在图1所示的实施例中,笔划理清器的用户界面包括按钮(170、180和190)或类似物,用于在文本模式和绘画模式之间切换,以及用于发送人类可读字符集合140或对应的辨识出的文本作为对另一输入设备或应用(例如,搜索、电子邮件、文本编辑应用等)的输入。

最后需注意,因为触摸屏通常能够在其整个表面上接收输入,所以笔划理清器允许用户输入的笔划130在触摸屏的任意部分上输入,即使在其它用户界面窗口(例如,字符输入窗口150和建议窗口160)的顶上。有利地,这增加了用户能够输入个体字符段的可用空间。然而,如果需要,则可以从笔划输入中排除触摸屏的部分。此外,注意,设备的触摸敏感度可能超出其可见屏幕的边界,例如在手表或移动设备上的触摸敏感座圈(bezel),其即使在笔划可能延伸超出触摸屏的边界时也允许用户的笔划被完整地感知到。

笔划理清器的额外特征的和实施例的例子包括但不限于各种ui元件,例如,呈现快速渐隐墨迹痕迹以提供对用户手指在输入笔划的同时跨触摸屏所采取的路径的视觉反馈。由笔划理清器提供的ui元件的另一例子是当用户在输入笔划的同时移动她的手指跨触摸屏时,在书写面板上显示已理清和分割的“墨迹”(即,笔划的视觉表示)。

在另一实施例中,相对用户笔迹的辨识提供各种辨识候选(类似于相对图1示出的搜索候选)。在各个实施例中,用户可以在任何时候通过轻敲或以其它方式选择候选中的一个,来接受辨识候选。辨识候选还可以包括预测,例如,系统可以在辨识候选中包括词语“pizza”,即使用户目前仅写了“piz”。首位候选(topcamdidate)的副本在应用的编辑或文本输入控制件或窗口中示出,直到候选已被选择为止。当候选被选择时,其就被发送到应用的编辑控制件(可能地替换之前显示的首位候选)。对候选进行选择可以在辨识出的词语之后将空格插入到应用编辑控制件,从而后续的由用户输入的词语或字符被先前的字符或词语分隔。

在笔划理清器的其它ui实施例中,经由相对于触摸屏的一个或多个滑动手势提供各种控制手势。示例性控制手势包括删除字符、删除词语、在字符或词语之间添加空格、切换绘画输入模式等。注意,在本文献通篇中讨论的特定控制手势并非旨在限制控制手势的特定类型、控制手势的数量或者用于激活由笔划理清器的各个实施例可用的控制手势的滑动或多次触摸输入的方向。

1、1系统概况:

如上所述,“笔划理清器”提供各种技术,用于根据多个交叠笔划构成手写消息而无需要求预定的手势或笔划,并无需使用基于hwr的技术作为对理清、分割和合成多个交叠笔划以形成字符的引导。上述过程由图2的总体系统图所示出。特别地,图2的系统图示出了用于实现笔划理清器的各种实施例的程序模块之间的相互关系,如本文所描述的。此外,虽然图2的系统图示出了笔划理清器的各种实施例的高级视图,但是图2并非旨在提供笔划理清器的每个可能实施例的穷举性的或完备性的图示,如本文献通篇描述的。

另外,应该注意的是,在图2中以断裂线或虚线表示的任意框以及框之间的相互连接表示本文描述的笔划理清器的替代实施例,并且如下文描述,任意或全部这些替代实施例可以与本文献通篇描述的其它替代实施例结合使用。

通常,如图2所示,笔划理清器所使能的过程通过使用书写面板200(例如,触摸屏、触摸敏感表面或能够跟踪用户笔迹的其它真实或虚拟书写表面)输入表示交叠的字母或部分字母段的多个手写笔划而开始操作。在各个实施例中,笔划显示模块205可选地在触摸屏上呈现每个用户笔划的渐隐痕迹,其紧随在与触摸屏接触的用户手指之后。这为用户提供了在输入每个笔划的同时显示每个笔划的视觉反馈。

当接收到每个笔划时,控制手势模块210评估笔划与根据表示控制手势的滑动或其它多触摸输入的笔划区分。控制手势的例子包括但不限于:滑动手势用于删除最后的笔划(例如,向左滑动、跨书写面板的左边缘),删除最后的词语(例如,向上滑动、跨书写面板的上边缘),标记词语的结束(例如,向右滑动、跨书写面板的右边缘),以及在文本和绘画模式之间切换(例如,向下滑动、跨书写面板的下边缘)。注意,控制手势的例子在段2、2、2中更详细的讨论。然后将每个笔划以及任意控制手势存储或缓存到笔划上下文模块215中。

然后笔划上下文模块215将缓存的笔划以及任何相关联的控制手势传递给笔划理清和分割模块220。一般而言,笔划理清和分割模块220考虑到任意控制手势来对交叠笔划进行理清、分割和合成,从而形成一个或多个字符。如上所述,这些交叠笔划被自动理清、分割和合成,无需要求预先定义的手势或笔划,并无需使用基于hwr的技术作为引导。在该理清和分割过程中使用的分割算法的示例性实施例在章节2、3中在下文更详细讨论。此外,结合一个或多个训练的分割模型操作该分割算法,如在本文献的章节2、4中在后文更详细讨论的。注意,分割用于将多个笔划组合到个体字符。换句话说,分割形成表示个体字符的笔划的组。

一旦通过笔划理清和分割模块220理清、分割和合成了笔划,则字符呈现模块225将呈现合成的笔划以产生表示一个或多个字母、词语和/或短语的人类可读字符。然后,字符显示模块230在用于输入交叠笔划的触摸屏上,或在一些与书写面板200相关联的其它显示器设备上,显示所呈现的字符的表示。还应该注意的是,由字符呈现模块225产生的呈现字符可以用于多种目的,包括但不限于基于笔迹的文本编辑应用,在其中将所呈现的字符作为文本的人类可读图像传递到另一设备或应用。

一旦字符显示模块230已经显示了所呈现的字符,则用户能够看到由笔划理清器执行的理清、分割和合成的结果。因此,如果在该理清、分割和合成过程中有任何错误,则用户可选地经由字符校正模块235(其接收用于校正错误的用户输入)来校正这些错误。注意,对错误的校正包括但不限于:相对于已理清和分割的笔划来校正合成错误(例如,将一个或多个笔划从一个字符处移动到先前或后续的字符),删除字符、词语或短语,插入或添加字符、词语或短语等。在各个实施例中,笔划理清器提供“轻敲以校正(tap-to-correct)”用户界面(参见章节2、2、6),其中用户简单地轻敲、触摸或以其它方式选择所显示的不正确地合成的字符。一旦被选择,则笔划理清和分割模块220就考虑所选字符的一个或多个笔划被不正确合成的信息来自动校正一个或多个字符的合成。

字符呈现模块225还将由合成过程得到的人类可读字符传递给笔迹辨识模块240。笔迹辨识模块240然后利用各种hwr技术处理这些所呈现的字符,以辨识字母、词语等,并产生对应的机器可读文本。注意,在章节2、6中在后文提供了对作为结果的交叠笔迹进行辨识的进一步讨论。

然后使由笔迹辨识模块240产生作为输出的机器可读文本可用于多种应用中的任一个作为文本输入。例如,在各个实施例中,辨识候选模块245提供一个或多个自动完成或辨识建议以供用户选择。用户选择这些建议之一用于提供对应于所选建议的文本,作为对从笔迹辨识模块240的输出接收输入的任何应用(搜索引擎、消息传送应用、词语处理器、密码输入窗口等)的输入。例如,自动完成的建议或辨识候选可以包括预测,例如,在用户仅手写了对应于“piz”的字符时建议词语“pizza”。此外,可以基于部分或完全的用户输入,从一个或多个语言模型或词典中得到辨识候选。另外,可以基于部分或完全的用户输入,从各种搜索引擎中取回搜索候选。注意,这些建议或搜索候选的任意或全部是结合笔划理清器的各个实施例使用的。

在其它实施例中,一旦已经辨识出所呈现的字符,则笔迹辨识模块240将对应的所呈现字符、词语和/或短语的样本传递到习得字符样本数据库250。通过用每个用户自己的笔迹的样本填充该数据库,这些样本可以用于多种目的。例如,当使用辨识候选模块245来选择一个或多个自动完成的建议时,字符显示模块230可以从习得字符样本数据库250取回所呈现字符的对应样本,以更新对所呈现的字符的显示以对应于用户选择。结果是由字符显示模块以用户自己的笔迹来显示自动呈现的字母、词语和/或短语。因此,如同由字符呈现模块225所产生的呈现字符,利用习得字符样本数据库250产生的字符可以用于多种目的,包括但不限于基于笔迹的文本编辑应用,在其中将所呈现的字符作为文本的人类可读图像传递给另一设备或应用。

应该理解的是,在先前段落中讨论的关于在习得字符样本数据库250中的单个用户数据并非旨在将该数据库只限制为用户自己的笔迹。例如,来自多个用户的笔迹样本的语料库用于上述分割模型的初始训练。在各个实施例中,可以利用具有来自其他用户或来自设备的特定用户的更多数据的在线模型来扩增该语料库。替代地,假定习得字符样本数据库250用于帮助以用户自己的笔迹呈现已理顺(disentangled)的字符,在数据库包含来自其他用户的样本的情况下,还可以用于利用其他用户笔迹的样本生成字符输出。

注意,可以在任何时候对上述总结的任何错误执行校正,或插入或删除字符、词语或短语。任何这种校正或改变将导致在由字符显示模块230呈现的字符的显示中的对应实时变化,在笔迹辨识模块240的输出中的对应实时变化,以及在可选辨识候选模块245的输出中的对应实时变化。

2、0笔划理清器的操作细节:

采用上述程序模块来实现笔划理清器的各个实施例。如上所述,笔划理清器提供各种技术,用于根据多个交叠笔划构成手写消息,而不要求预先定义的手势或笔划,并无需使用基于hwr的技术作为对理清、分割和合成多个交叠笔划以形成字符的引导。后续章节提供了对笔划理清器的各个实施例的操作的详细讨论,以及实现结合图1在章节1中描述的程序模块的示例性方法。特别地,后续章节提供了笔划理清器的各个实施例的例子和操作细节,包括:

·笔划理清器的操作概况;

·与笔划理清器交互的示例性用户界面;

·用于理清和合成用户笔划的分割算法;

·训练分割模型以便由分割算法使用;

·校正笔划分割错误;

·交叠笔迹辨识;以及

·额外的实施例和考量。

2、1操作概况:

如上所述,本文描述的基于笔划理清器的过程提供了各种技术,用于根据多个交叠笔划构成手写消息,而无需要求预先定义的手势或笔划,并无需使用基于hwr的技术作为对理清、分割和合成多个交叠笔划以形成字符的引导。一旦已经完成理清、分割和合成过程,则将对应的人类可读字符传递给hwr过程,hwr过程评估这些字符以生成对应的机器可读文本。然后使得作为结果的机器可读文本可用于多种应用和设备。

上述总结的能力提供了多种优点。例如,如上所述,笔划分割是基于训练的分割模型的,而不使用基于hwr的技术作为引导,显著减少了计算开销。此外,该方法便利于不常用的词语或有表达性的(expressive)拼写,因为在理清、分割和合成笔划时不使用词典等。此外,在理清、分割和合成过程之后的字符或文本辨识相对于现有系统(其利用文本或笔迹辨识技术操作)显著降低了计算开销,从而便于初始理清和分割过程。另外,持续输入多个交叠笔划而不用等待超时或输入字符分隔符的能力增加了用户输入字符的速率。另一优点在于对交叠笔划进行理清、分割和合成的能力意味着笔划理清器很好地适于与任何尺寸的书写面板一起使用,所述书写面板包括例如小型腕表或指环型的基于触摸屏的设备。

2、2用户界面例子:

笔划理清器可以以多种形状因子实现,包括但不限于智能手机、平板计算机、具有或不具有触摸屏的腕表型设备、可以佩戴到用户手指上的基于指环的设备、或具有真实或虚拟书写面板以跟踪交叠笔划的任意其它设备。给定可以实现笔划理清器的设备的宽范围,呈现对采用本文描述的一些或所有功能的用户界面进行呈现存在许多方式。此外,一些不同的可以呈现用户界面的方式与设备上可用的屏幕大小有关。例如,具有相对小屏幕的腕表型设备可以与较大平板计算机或智能手机不同地显示用户界面的各种部件(或不同数量的部件)。这样,应该理解的是,提供该文献通篇描述的各种用户界面例子仅出于讨论和解释的目的,并且在本文中讨论的例子并非旨在将笔划理清器的用户界面限制于所描述的各种形式。

通常,用于实现笔划理清器的各种特征的用户界面包括用于输入交叠笔划的书写面板和各种视觉反馈机构。这些视觉反馈机构允许用户看到响应于用户输入笔划而产生的已理清、分割和合成的人类可读字符集合并与之交互。另外,这些视觉反馈机构允许用户看到由人类可读字符集合的基于hwr处理产生的机器可读文本(包括辨识候选、搜索建议等的各种组合)并与之交互。人类可读字符集合和对应的机器可读文本均以各种组合显示并以多种方式使用。

另外,提供各种控制手势以实现用户界面的各个实施例。控制手势的例子包括但不限于:在词语之间添加空格,删除一个或多个字符,删除一个或多个词语,校正理清、分割和合成错误,等等。如本文更详细讨论的,这些控制手势在各个实施例中包括基于笔划的控制手势。然而,在笔划理清器用户界面的各个实施例中还可以使用其它控制手势,包括但不限于:基于语音的控制手势,基于触摸真实或虚拟设备按钮的控制,基于设备运动的控制,基于多触摸或组合手势的控制,等等。

2、2、1书写面板:

如上所述,笔划理清器通过接收对应于一个或多个交叠笔划的输入而开始操作。因此,用于跟踪这种笔划的现有或预期的技术可以操作以由笔划理清器使用。例如,这种技术包括但不限于:使用触摸屏、触摸敏感表面、绘画板、或可以跟踪手指(或触笔)的其它真实或虚拟表面。出于解释和讨论的目的,所有这种表面(真实的或虚拟的)将在本文中总体上称作书写面板。

此外,由于可以以类似于跟踪手指的方式来跟踪书写实现工具(例如,触笔、笔等),后续讨论将一般涉及利用手指创建笔划,可以理解后续讨论可以均等地应用于创建笔划的各种技术或工具的任何一种。还应注意,相对于任意表面甚至在空中跟踪笔划的各种技术将在章节2、4中在下文更详细地讨论

一般而言,书写面板涵盖用户在其上输入交叠笔划的真实或虚拟表面的部分或全部。在操作中,用户可以采用她常用的书写字体,利用大写或小写字母、数字、标点、特殊字符等,来在书写面板上书写笔划。取决于书写面板的尺寸以及用户书写的多大,书写面板可以允许用户书写一个或多个相邻字符,每个字符包括多个交叠笔划。用户可以在书写面板上水平和/或垂直放置和隔开字符的交叠笔划,而没有限制。事实上,在触摸屏的情况下,用户输入的交叠笔划可以侵占各种用户界面或输入窗口或触摸屏的其它显示区域。注意,这些情况的例子在上文关于图1讨论过。

2、2、2控制手势:

如上所述,可以实现宽范围的控制手势中的任一种用于与笔划理清器的用户界面交互。在经过验定的实施例中观察到,利用相对较小计算资源,容易将被设计为跨书写面板的外边界的滑动手势与意图利用输入字符的笔划区分开来。这允许笔划理清器避免各种控制手势的意外激活。其它实施例,例如利用两个手指的滑动或其它多触摸手势或设备运动以区别控制手势,也在笔划理清器的各个实现方式中提供。

例如,在各个实施例中,笔划理清器基于跨触摸屏的物理边缘而延续的滑动来提供四个方向的控制系统。在经过验定的实施例中,这些滑动或控制手势包括“退格”手势,用于通过跨书写面板的左边缘滑动而删除先前笔划或字符。类似地,跨书写面板的右边缘的滑动插入空格(等价于轻敲当前首位辨识候选),用于自动开始新字符或词语,该新字符或词语与先前输入的字符或词语分离。跨书写面板的上边缘的向上滑动将所有墨迹和/或候选从屏幕清除。最后,跨书写面板的下边缘的向下滑动切换绘画模式,以允许用户经由多个笔划输入图像,而不将这些笔划合成个体字符。

2、2、3显示屏:

笔划理清器的用户界面包括显示屏,例如,实现笔划理清器的设备的触摸屏,或与笔划理清器通信的某个其它屏幕。通常,显示屏显示根据用户输入的交叠笔划而理清、分割和合成的手写文本的一行或多行。在每次触摸事件(包括笔划输入、经由控制手势的笔划或字符删除、在字符之间输入空格,等)时,在书写面板上更新对当前笔划(在书写面板上正在绘制的笔划)的呈现。

换句话说,通过一个或多个先前笔划对笔划进行理清、分割和合成以形成字符,或者进行分割并用于开始新字符,作为实时过程。这允许用户可以在进行她的输入时对她的输入进行视觉验证。结果,随着用户在书写面板上书写,显示屏示出了形成用户输入的字符实时地演变的当前状态。

注意如图1所示,在各个实施例中,合成的字符(例如,人类可读字符集合140)被缩放(即,减小大小)以适配到布置在字符输入窗口150内的虚拟边界框中,从而这些字符可以在屏幕上以允许实现用户界面的其它元件的方式显示。注意在各个实施例中,利用相同的相对缩放比例(例如,所有人类可读字符减小80%)来缩放根据已分割和合成的笔划构造的每个字符,而不是个体地缩放每个字符以适配到上述边界框中。换句话说,在各个实施例中,利用相同的缩放比例缩放所有笔划。替代地,对所获得的人类可读字符进行缩放以适配到边界框中。

当为了显示而对经分割的词语(即,一个或多个经分割的字符,其每个包括从一个或多个交叠笔划生成的)进行布局时,笔划理清器依据字符将笔划自动地分割或分组,并且将对应的字符(或用于每个字符的边界框)水平地对准,以小空格(例如,大约一个笔划宽度)分隔。可以在每个词语的结束处插入更宽的水平空格,以改善人类可读字符集合的可读性。字符位置通常不被垂直调整,然而在各个实施例中,各种各样的对准或布局设置允许将字符以任意期望方式(例如,水平、垂直、对角线、沿着任意曲线、增加或减少的间隔等)相对彼此调整。

在各个实施例中,笔划理清器从书写面板中在每个字符内保持相对笔划位置。在一些情况下,在该简单方案后的假设没有保持,例如,如果用户在符号的半途放下设备并在稍后尝试结束。在这种情况下,笔划理清器基于在理清和分割过程中使用的训练分割模型为笔划自动确定更可能的位置。

2、2、4视觉反馈:

视觉反馈(呈现墨迹笔划)帮助用户检查他们目前写入的字母(或词语)部分。然而,事实上,将字符书写在彼此顶部产生了用户通常没有兴趣查看的复杂度。换句话说,在显示屏上呈现所有笔划并保留这些笔划达一段时间,将意味着将多个字符杂乱地呈现在彼此顶部。因此,笔划理清器用户界面的各个实施例用不同方式处理该问题,可以经由与笔划理清器用户界面相关联的配置菜单等选择或调整这些方式中的一些或全部。

例如,在一个实施例中,如上所述,除了用于形成人类可读字符集合的那些笔划的缩放版本外,简单地不示出笔划。在触摸屏的情况下,在各个实施例中,笔划理清器在书写面板上以跟踪跨触摸屏的用户笔划的渐隐笔划痕迹形式提供可选的视觉反馈。在其它实施例中,显示交叠笔划,直到由笔划理清器执行的分割开始新的字符,此时清除先前笔划,并且通过笔划理清器显示新的交叠笔划。再次,在用户界面的各个实现方式中可以选择和使用任意或全部这种模式。

如上所述,笔划理清器利用各种hwr技术来处理根据交叠笔划创建的人类可读字符集合,以创建机器可读文本。注意,笔迹辨识技术是本领域技术人员公知的,并且在此不再详细讨论。

关于该hwr过程的各个用户界面方面,在各个实施例中,笔划理清器将当前手写词语或字符邻近辨识候选(或在显示屏上的任意其它位置处)显示。在图3中示出了该实施例的例子,并伴随若干额外用户界面元件。例如,响应于理清和分割用户输入的交叠笔划,基于触摸屏的计算设备300(在该情况下,呈现为基于手镯或腕表的形状因子)显示人类可读字符集合310(其在该情况下表现为拼写词语“bill”)的呈现。如上所述,在用户输入笔划时实时地执行对这些人类可读字符的理清、分割、合成和呈现。

邻近人类可读字符集合310的是一组一个或多个用户可选hwr辨识候选320。在图示的实施例中,这些辨识候选320从左到右被按照从最可能到最不可能的候选进行排序,从而最可能的候选邻近对应的人类可读字符集合310。对这些辨识候选320之一的用户选择起到将正确的文本通知笔划理清器的作用,并还使得对应的机器可读文本可用于一个或多个额外应用。

例如,在图3所示的用户界面实施例中,最可能的辨识候选320(在该情况下是文本“bill”(或者用户所选择的无论什么其它辨识候选))还被提供到搜索引擎的输入字段330。如同许多搜索引擎,当由笔划理清器将输入提供到输入字段330时,但在实际执行搜索之前,提供基于部分用户输入的用户可选搜索候选340的一个组或列表。当用户选择这些搜索候选340的任一个时,或者当用户选择搜索按钮350等时,执行搜索,将结果代替于搜索候选(或显示屏的任意其它部分)而显示。还应注意,图3示出了渐隐笔划痕迹360的例子,该渐隐笔划痕迹在用户的当前笔划输入被理清、分割、合成和呈现以创建人类可读字符集合310时跟踪用户的当前笔划输入。

换句话说,图3的示例性用户界面示出了已理清和分割的用户笔划的显示,作为邻近的一组一个或多个hwr辨识候选的人类可读字符。这个用户界面例子还示出了基于首位hwr辨识候选或用户所选的hwr辨识候选之一的连同搜索建议的搜索引擎输入窗口。对人类可读字符集合的更新实时发生,伴随着对应的对hwr辨识候选的实时更新和对应的对搜索建议的实时更新。已经观察到,作为这些更新结果而提供给用户的实时视觉反馈允许用户基于用户输入的手写文本来快速执行搜索,而无需使用真实或虚拟键盘。还应注意,类似的用户界面可以用于对除了搜索引擎外的应用(例如,消息传送应用、词语处理器、或利用机器可读文本输入的任意其它应用)提供输入。

利用用户可选辨识候选和搜索建议的这些多级视觉反馈的一个优点在于:即使在对笔划的理清、分割和合成中或在对作为结果的字符的基于hwr的辨识中存在错误,也可能在候选或建议中有一个对应于所意图的用户输入。这样,这种类型的用户界面已经被观察到通过向用户提供选择正确文本的多个选项而减少了整体手写输入错误。

2、2、5绘画模式:

笔划理清器用户界面的各个实施例允许用户向文本中添加小的绘画。绘画与字符的不同在于在其合成期间关闭笔划分割。为了构成绘画,用户通过使用前述下滑控制姿势,通过切换绘画按钮,或者通过使用任意其它期望的控制手势,来将界面带入绘画模式。

与根据交叠笔划执行理清和分割过程来生成字符相比,在绘画模式中,绘画是典型的定制创建,其要求可能的多个笔划和在合成期间的放大的视图。这样,在各个实施例中,笔划理清器用户界面提供视觉指示以警告用户系统处于绘画模式。例如,在各个实施例(例如,图1的按钮180)中,选择或以其它方式突出绘画模式切换按钮来指示系统处于绘画模式,即使在书写面板上没有笔划。注意,在绘画模式中也可以使用删除手势。为了结束绘画,用户或是切换绘画模式按钮,或是做出词语结束手势。当显示消息时,将绘画作为词语对待,即,通过空白将其与相邻词语或绘画分离。对消息中绘画的数量没有限制。

在笔划理清器的经过验定的实施例中,每个笔划包括指示其是以绘画模式还是文本模式输入的位(bit),从而可以执行对绘画或文本的后续编辑,并因此当执行对人类可读字符集合的辨识时,基于hwr的辨识过程可以跳过该绘画。例如,假设用户“退格”经过多个笔划,并最终删除绘画的最后笔划。此时,笔划理清器用户界面自动切换到绘画模式,并在书写面板上显示所述绘画的所有笔划,从而可以编辑整个绘画。类似地,如果用户“退格”经过整个绘画,则笔划理清器用户界面回复到文本输入模式(即,捕捉用户输入字符的交叠笔划)。

图4经由笔划理清器用户界面的另一例子提供字符和绘画输入的组合使用的图示。特别地,如上所述,在各个实施例中,笔划理清器用户界面使得用户能够伴随用于输入字符的交叠笔划输入手指绘画图像。例如,在图4左侧的设备400示出了理清和分割交叠笔划410的结果作为人类可读字符集合420,其表现为拼写词语“thequickbrownfox”。另外,基于hwr处理人类可读字符集合420会导致显示对应的机器可读文本430,如图所示。注意在各个实施例中,人类可读字符集合420和对应的机器可读文本430都是用户可选和用户可编辑的。

此外,图4右侧的设备405示出了将绘画415添加到先前输入的人类可读字符集合420上的结果。在这种情况下,由于绘画415被随后添加到人类可读字符集合420的输入上,所以随后缩放附图以适配人类可读字符集合并与这些字符组合呈现(参见元件425)。

还应注意,在示出的例子中,绘画还与对应的机器可读文本组合呈现(参见元件435)。有利地,在该情况下,可以保存机器可读文本和绘画以供后续使用或呈现为到任意其它应用的输入,例如,搜索引擎,其随后在机器可读文本和图像上执行联合搜索。替代地,可以利用绘画415作为输入执行基于图像的搜索。

2、2、6轻敲以校正:

如同解释自然用户输入的任意系统,存在输出不匹配用户意图的情况。在笔划理清器使用分割算法的情况下,这种错误导致字符全部或部分呈现在彼此顶部,或断裂成碎片。这样,在各个实施例中,笔划理清器用户界面提供各种技术,允许用户校正由理清和分割过程产生的人类可读字符集合的分割和合成错误。

例如,假设用户想要写入“clean”,但是理清过程错误地将笔划分割而产生“dean”。然后,当用户简单地轻敲或以其它方式选择“d”时,分割将自动校正以将形成“d”字符的笔划分离为单独的“c”和“l”字符。

图5示出了笔划理清器用户界面的例子,其包括轻敲以校正控制手势,该手势能够通过对合成这些笔划的对应自动校正,而自动校正不正确分割的笔划成为校正的人类可读字符集合。

例如,如图5所示,对在设备的触摸屏510上输入的多个交叠笔划500自动理清、分割和合成以形成人类可读字符集合520,其表现为拼写词语“hellowotd”。此外邻近人类可读字符结合520的是基于hwr的处理的对应结果,其导致显示拼写“hellowotd”的机器可读字符530。该示例性用户界面的一个有趣特征是搜索建议窗口540基于机器可读字符530提供建议的搜索术语。

在这种情况下,实际上针对所意图的用户输入来校正搜索引擎返回的搜索建议。特别地,图5右侧的设备515示出了用户选择(例如,用户“轻敲”所显示的字符)人类可读字符的结果,其表示在表现为拼写“wotd”的字符集合中的字符“t”。在该例子中,笔划理清器自动重新分割笔划,在显示屏上显示得到的校正后的人类可读字符525和对应的机器可读字符535,并突出了校正后的分割和对应的字符(参见元件555)。

注意,对突出的校正后的分割和对应的字符(参见元件555)的显示可以被呈现达预定时间段或被呈现直到用户取消。此外,如该例子所示,在各个实施例中,可以在更大视图中呈现突出的校正后的分割和对应字符(参见元件555),以将这些字符以在用户想要进一步编辑的情况下能够更容易编辑的格式呈现给用户。

注意,在图5的例子中,当将用户输入校正为原始意图的“helloworld”时,所显示的搜索建议仍是相同的。对每个分割错误而言情况不总是这样的,但是在发生分割错误的百分率非常高时情况就是如此。这样,即使当形成人类可读字符集合时在对笔划进行理清、分割和合成中出现错误,用户也能够快速输入或选择所意图的输入。

注意,用于校正分割错误的示例性技术将在章节2、5中详细讨论。

2、3分割算法:

通常,笔划理清器用户界面允许用户通过空格手势或标记词语结束的任何其它控制手势来标记词语边界。利用以下结合在图6中呈现的笔划分割而描述的技术,将词语内的笔划自动分割成字符(其用于实现图1的笔划理清和分割模型220的各个实施例)。

特别地,图6示出了示例性笔划分割图600。笔划分割图600包括多个节点610-650(每个节点表示对应的分割模型,参见在章节2、4讨论的分割模型)。在所示的例子中,笔划分割图600可以用于表示由1-4个笔划构成的手写字符,因为这个数量的笔划通常对大部分字符都是足够的。然而,应该理解的是,可以通过增加在分割图中的节点的数量来分割任意数量的笔划。在任何情况下,在图6的例子中,来自节点4(即,元件650)到节点0(即,元件610)的任意路径表示笔划分割,其中这种分割的分数(score)是遍历的边缘权重(traversededgeweight)的和sik,并且其中访问节点标记字符结束。

在示例性实施例中,笔记理清器的分割算法用于分割包括n个笔划的任意词语或字符。对于每个笔划i=1,…,n,可以计算四个分数sik,k=1,…,4,其中每个分数描述笔划i是在k笔划字符中的最后笔划的可能性如何。图6描绘了分割图,其中n=4,并且包括n+1个节点;每个笔划i=1,…,n的一个节点加上一个标记为0的额外节点610,其中图600包括从每个节点返回到其(直到)四个前导(predecessors)的指向边缘。从节点i到节点i-k的边缘对应于将笔划(i-k+1),…,i分组到一个字符中,并由对应的分数sik加权。从节点n到节点0的路径表示将n个笔划分割成字符。预测最可能的分割相当于定位具有边缘权重的最大和的路径。本领域技术人员可以理解的是,这是个最短路径问题,可以利用在o(n)时间和空间中动态编程而有效地解决。

2、4分割模型:

一般而言,分割算法利用用于分割笔划的多个训练分割模型之一。这些训练分割模型由分割算法用于计算字符结束分数为sik=fk(vi),其中vi是描述笔划i的特征向量,而fk是笔划是k笔划字符中最后一个的可能性的统计模型。换句话说,这些模型确定一个字符的笔划何时结束,后续笔划然后被分割到下一字符中。多个交叠笔划的逐字符分割然后被合成一个对应的人类可读字符,如本文献通篇所讨论的。

在各个实施例中,特征向量vi包括多个值,包括笔划输入的边界框位置、维度、面积、纵横比、笔划长度、多箱(multi-bin)斜率直方图、在笔划开始和结束处的斜率,等等。特征向量还可以为在时间上相邻的笔划在两个方向(即,先前和后续相邻笔划)上保持类似的值。例如,特征向量可以为在时间上相邻的两个笔划在两个方向(i-2),…,(i+2)上保持类似值,如果这种笔划存在(在vi中丢失的输入可以被设置为一些默认值,例如-1,以表示对特定输入不存在值)。此外,用于笔划输入的边界框特征可以被采用于确定笔划输入的相邻边界框的并集和交集。注意,在触摸屏上的笔划输入的这些边界框不应与用于缩放根据上述在章节2、2、3中讨论的已理清和分割的笔划所呈现的人类可读字符的可选边界框混淆。

在笔划理清器的经过验定的实施例中,采用提升的决策残根(boosteddecisionstump)来习得字符分割模型的结束:例如,在vi的个体维度上n个步骤函数hjk的和。注意,在该经过验定的实施例中,利用在训练数据中的k笔划字符笔划的结束作为正面例子而剩余的笔划作为反面例子,有区别地训练模型。另外,应该理解,可以使用其它计算机学习或建模技术构造理清算法所使用的字符分割模型的结束,并且仅出于解释的目的描述了提升决策残根的使用。

2、4、1模型训练:

可以利用多种技术实现为分割图的节点训练分割模型。例如,在经过验定的实施例中,记录了针对已知阶段手动输入笔划数据,所述数据被手动标记字符边界,并用于训练四个分割模型(对于四个节点分割图的情况)。然而,这种类型的手动数据输入会是慢且较不准确的,除非输入大量数据。

因此,在经过验定的实施例中,利用在典型在线消息传送系统中观察到的包括来自大群体的写手和最频繁词语的语料库的数以千计的手写英语字符的公共可用数据集,通过自动模仿笔划,来生成显著更多的训练数据。注意,可以使用其它语言和字符集,例如,汉语、婆罗米系文字等,来生成语言特定的分割模型。

为了模仿输入到书写面板上的词语,从消息传送系统语料库中取出随机词语。然后,对于每个字符,从笔迹数据集中取回一组墨迹笔划。模仿的笔划的位置和大小被随机打乱,以使得它们的平均值和方差匹配来自前述讨论的手动创建(但是真实)的数据集的数据。在字符中的相对笔划位置不是随机的,因为假设当用户正在书写面板上输入笔划时相对笔划位置通常保存在字符内。这些技术用于生成非常大量的笔划用于训练分割模型。在经过验定的实施例中,利用n=256残根中的每个(即,利用上述提升的决策残根)训练模型。注意,在该过程中可以采用更多或更少的残根,这取决于可用训练数据以及取决于期望的模型保真度。

2、5校正笔划分割错误:

如结合图5在上述讨论的,错误有时可以发生于理清和分割笔划时,结果是意图成为人类可读的字符的一个或多个笔划全部或部分被呈现于彼此顶部,或以不正确的方式断裂成碎片。笔划理清器提供各种技术用于解决这种错误。

一般而言,当用户表示(例如,“轻敲以校正”,或以其它方式选择或指定)一个或多个字符被不正确地显示或呈现时,笔划理清器通过确定一个或多个所选和相邻笔划的最可能替代分割,来自动重新分割所选的一个或多个字符。

特别地,关于由于分割错误而未被正确显示的一个或多个字符,笔划理清器识别对轻敲或选择位置的一个或多个字符的最接近序列。然后将与所述词语的字符相关联的笔划划分为三个种类,包括:

种类1:将被改变分割的笔划。在经过验定的实施例中,在用户轻敲位置大约5mm周围的笔划被放置到该种类中,因为用户被预期为实际轻敲或选择被她视为分割错误的事物,但是这个距离将取决于各种因素,例如,字符的所显示大小;

种类2:可能改变分割的笔划。一般而言,这些是一个或多个笔划,其是在分割将被改变的种类1中用户所选字符或笔划的紧邻(在任意方向,如上所述);以及

种类3:不在种类1和种类2中的笔划。对这些笔划的分割不改变,直到用户后续进行选择,或者除非它们紧邻后续选择的笔划。

给定可能改变或不改变(例如,种类1和2)分割的笔划的上述种类,利用上述分割算法,计算最可能的替代分割的某个阈值(例如,32),同时保持种类3中的笔划不变。这可以通过以下而实现:从分割图(参见图6)移除将导致种类3中笔划的替代分割的边缘,并确定直到剩余路径的阈值数量的分数(score)。注意,取决于正被重新分割的笔划数量,替代路径的可能的总数可能少于对所考虑的路径数量设置上限的阈值数量。

在各个实施例中,给定上述讨论的最可能的替代分割的集合,笔划理清器自动选择单个最可能的替代分割,其定义为满足以下标准的可行路径:

1.所选的替代分割改变落入到种类1中的至少一个笔划;以及

2.所选的替代分割对落入到种类2中的笔划具有最小影响。

上述规则有利于部分的校正,但是当部分改变需要在较大区域内改变时(即,对邻近笔记分割的可能改变)还允许更大区域的改变。此外,利用该规则使得笔划理清器能够实时地在用户轻敲或选择具有分割错误的字符时自动校正分割。在各个替代实施例中,笔划理清器替代地表示对应于多个最可能替代分割的两个的显示以供用户选择。

2、6交叠笔迹辨识:

如本文献通篇所描述的,笔划理清器利用自动理清和分割交叠笔划来执行对对应人类可读字符的笔迹辨识。换句话说,笔划理清器提供交叠的hwr过程,其首先通过分组或分割交叠笔划到字符中,然后执行后续的hwr处理这些人类可读字符,来“理清”表示交叠墨迹的笔划。

与以需要使用各种hwr处理技术作为帮助执行分割的方式集成理清逻辑与笔迹辨识的技术相比,笔划理清器实现理清作为单独的专用过程,在不使用基于hwr技术作为帮助或引导执行分割的情况下执行理清。换句话说,该预处理笔划仅提供了将墨迹笔划分组或分割到人类可读组分。然将经分组或分割的字符发送给标准(非交叠)hwr过程,其操作以返回对应于人类可读字符的机器可读文本。

对于笔划理清器执行的笔划分割过程存在若干优点。例如,理清和分割比完全辨识简单,并因此通常比现有基于hwr的理清和分割技术更快(和较低的功率)。这使得其能很好地适于实时反馈,用于在用户正输入笔划的同时在显示器上呈现整个手写词语。此外,上述笔划分割过程可以利用任何现有hwr系统,其通常是不能被容易地修改以处理交叠输入的高度优化过程。

2、6、1辨识候选:

如上所述,笔划理清器响应于用户输入的手写字符,提供各种用户可选词语预测和“语义”辨识候选。特别地,当将来自hwr算法的结果馈送到如搜索算法的应用时,后者可以比单独hwr算法访问更多的校正或预测集合。

例如,如果用户在搜索引擎中键入“facebock”,则通常搜索引擎将以“facebook”作为搜索候选进行响应。在这种情况下,笔划理清器可以在候选窗口或显示屏的任意地方处直接显示更详尽的校正和预测作为用户可选输入。注意,该概念的例子结合图5在上文进行了描述。在各个实施例中,一旦用户已经选择了特定的辨识候选,则输入窗口被清除并准备用于下一字符输入。

词语预测是笔划理清器支持的另一技术。例如,在各个实施例中,笔划理清器使用统计语言模型等来显示当前词语的最可能的完成,例如,当用户书写“faceb”时,候选列表将包含“facebook”。这允许用户利用单次轻敲完成词语输入,导致更快速的输入速度。

注意,因为笔划理清器显示邻近或靠近辨识候选、预测候选、建议候选和/或校正候选(或这些的任意或全部的任意组合)的手写字符(即,由本文所描述的分割和合成技术生成的人类可读字符),所以用户仍可以访问她实际手写的事物。这已经被观察到有助于用户相对与笔划理清器呈现的各种辨识候选涉及她的输入。这在使用更复杂的预测算法或语言模型时,并且当在实际书写输入和候选之间的关系变得更抽象时,变得愈加有用。例如,在极端例子中,如果用户写入“lowes”,笔划理清器可以显示“homedepot”,因为两者都涉及家用改善型存贮。

2、6、2词表外的词语或字符串:

通常,用户想要输入不是实际词语的文本。例子包括:密码、在词典中找不到的不常用词语(包括另一种语言的词语)、或有表达性的拼写(例如,“whoooah”)等。因此,在笔划理清器的各个实施例中,经由hwr过程,通过发起辨识模式,允许这些类型的词表外词语或字符串,在所述辨识模式中,建议包括纯粹的理清和合成作为一种选择(例如,为至少一种选择关闭拼写检查或词语识别)以允许用户输入新词语(例如,“wooooah”)或具有混合特殊字符、数字和字母的密码(例如,“&4krpqws”)等。笔划理清器还可以通过使用hwr系统执行逐字符的辨识而不提供拼写或词语校正或建议来实现类似的结果。注意,在一些实施例中,这种结果可以表示为在预测列表中的替代,而不是强迫用户切换到不同的辨识模式。

2、7额外的实施例和考量:

如上所讨论的,笔划理清器可以以广泛范围的形状因子实现,例如,智能手机、平板计算机、具有触摸屏或触摸敏感表面的腕表型设备、或具有可以跟踪交叠笔划的真实或虚拟书写面板的任意其它设备。此外,使得作为hwr过程之后的输出产生的机器可读文本对于多种应用中的任一种作为文本输入可用。

因此,给定可以实现笔划理清器的广范围的设备,以及笔划理清器将机器可读文本传递到任意数量的应用的能力,存在多种方式呈现采用本文所描述的一些或所有功能的用户界面。此外,可以呈现用户界面的一些不同方式与设备上可用的显示屏的尺寸相关。

考虑到这些考量,在下文描述了笔划理清器的各种特征和能力的多个实施例和用途中的一些的若干额外例子。应该理解的是,这些例子并非旨在限制笔划理清器的用户界面实施例或能力的任一个的范围,并且这种例子仅出于解释的目的提供。

2、7、1自动完成用户笔迹样本:

如本文献通篇所描述的,笔划理清器以人力可读格式根据用户输入的交叠笔划生成已理清的和分割的字符和词语。这样,这些人类可读字符和词语是用户个人的笔迹。因此,在hwr过程之后,在用户个人笔迹的对应机器可读文本的个体字符和词语之间存在直接映射。

因此,在各个实施例中,笔划理清器构造形成用户笔迹以及对应机器可读文本的字符和词语的笔划的实际样本的数据库或库(例如,图2的元件250)。该数据库或库随后可以用于广范围的目的。

例如,当从各种辨识候选、搜索建议或自动完成建议中进行选择时,笔划理清器可以从用户的字符样本库中取回对应的字符样本,以更新所呈现字符的显示以对应于用户选择。结果是通过字符显示模块显示以用户个人笔迹自动呈现的字母、词语和/或短语。注意,笔划理清器还被允许在用户输入的文本中校正拼写错误,同时针对对应的人类可读字符保持用户个人笔迹。

其它示例性使用包括但不限于:基于笔迹的文本编辑应用,其中用户利用任意期望的文本(或语音)输入技术键入或输入文本,来自样本库的对应字符样本随后被作为文本的人类可读图像传递给另一设备或应用。注意,对应机器可读文本可以连同这些文本的人类可读图像被传递到其它设备或应用。另一例子

2、7、2整体词语理清:

通常,训练笔划理清器的分割算法和分割模型来每次支持不仅一个字符,而是支持两个或更多字符或甚至整个词语。因此,如果书写面板足够大,或如果用户能写地足够小,则一次可以输入两个或更多字母的笔划或甚至整个词语,如上所述笔划理清器将操作以理清、分割、合成和辨识这些多个字符作为组合操作。

2、7、3搜索引擎集成:

如该文献通篇所描述的,笔划理清器自动理清和合成用户输入笔划,以形成表示字母、词语或短语的字符。在各个实施例中,随后在这些字符上执行文本辨识,并将文本辨识自动提供作为搜索引擎等的输入。如同多个搜索引擎,在各个实施例中,自动完成功能用于提供基于部分用户输入的搜索建议。

例如,如图1所示,如上所述,将被理清以产生后续辨识为文本“pizza”的字符的用户笔划用作自动完成目的的部分搜索输入。作为响应,搜索引擎返回多个搜索建议,其在图1的例子中包括“pizzahut”、“pizzahutmenu”和“pizzahutcoupons”。然后,用户可以简单地选择这些自动完成建议中的任一个来执行搜索。替代地,如果用户不想接受任一个自动完成建议,则她可以执行仅基于词语“pizza”的搜索,或者简单地继续输入额外的笔划以提供额外的字符输入(例如,额外的笔划以输入表示词语“recipe”的字符)。还应注意的是,如结合图4讨论的,在各个实施例中,当用户输入绘画时,笔划理清器基于图像执行搜索或执行组合的图像与文本搜索。

2、7、4在空中或在任意表面的交叠笔划:

本领域技术人员已知各种用于跟踪手指运动的技术,例如,摄像机、基于射频的跟踪系统、基于激光的跟踪系统等。这种技术和设备适应于各个实施例中以跟踪用户的手指(或书写实现工具的尖端),同时用户在空中或在任意表面(例如,台式计算机或桌面)上进行交叠笔划运动。

此外,如上所述,在各个实施例中,在触摸屏上直接输入不是必需的。这种笔划可以例如在膝上型计算机的触摸板上进行,或在具有触摸敏感表面的移动设备的背上进行。此外,可以在一个设备(例如,手表、触摸敏感手镯)上进行这种笔划,而在另一设备(例如,台式计算机、电子白板等)上理清(并呈现给用户)。其它例子包括与各种surfacetm设备相关联的“触摸盖”或“触摸盖2”输入设备。这种设备包括电容敏感技术、压力敏感技术和接近度感知技术的各种组合。这种设备可以适于(经由各种软件或驱动器修改)接收通过在一个或多个压力敏感或接近度敏感键顶部上或之上击打而输入的笔划,而不是仅感知屏幕上或触摸板上的笔划。

换句话说,用户笔划理清器能够利用各种跟踪技术相对任意真实或虚拟表面来跟踪交叠的手指笔划。如同笔划输入直接到触摸屏或其它触摸敏感表面,用户笔划理清器然后利用观察该文献描述的一些或全部各种技术,来自动理清和合成这些笔划以形成字母、词语或短语。然后利用各种hwr技术处理得到的人类可读字符,以提供机器可读文本以用于任何期望的应用中,如本文献通篇所讨论的。

还应注意,在各个实施例中,在一个或多个手指上佩戴着惯性跟踪设备。然后,当这些手指移动以在空中或任意表面上创建交叠笔划时,经由惯性跟踪设备跟踪这些手指的运动。然后由笔划理清器将得到的运动视为如在本文献通篇中讨论的处理的输入交叠笔划。

2、7、5针对安全性考虑用户笔迹样本:

如上所述,在各个实施例中,笔划理清器基于用户笔迹的实际样本,收集用户的习得字符样本。因此,这些样本可以用于广范围的目的,例如,在章节2、7、1中讨论的笔迹自动完成技术。这些习得字符样本的另一感兴趣用途是考虑用户输入的手写字符是否足够接近在习得字符数据库中存储的那些字符的例子。为此,可以计算各种相似度度量,例如,现有的图像比较或匹配技术。然后,在手写字符足够接近匹配所存储的字符样本的情况下,笔划理清器可以接受那些手写字符作为有效的基于图像的密码输入。

此外,该处理可以用作上述hwr处理这些字符的前驱。例如,当通过对笔划进行理清、分割和合成来输入密码等时,对应的机器可读文本将不被作为密码输入尝试来传递,直到字符足够接近匹配用户笔迹。结果是需要输入仅一个密码的两级授权过程。换句话说,即使辨识出的文本提供正确的密码,当以不同用户的笔迹输入时,所述密码也将被拒绝。

2、7、6基于笔划的预测键盘:

在各个实施例中,笔划理清器利用技术来处理交叠笔划以用于选择性填充动态键盘以供用户下一输入。换句话说,如图7所示,笔划理清器用户界面的动态键盘特征基于理清、分割、合成和后续辨识随着每次输入笔划而更新的作为结果的字符,自动填充邻近正输入笔划处的可选键的小的子集。

例如,图7示出了腕表型设备720,在该例子中佩戴在用户的左手730上,其提供书写面板以供用户右手710的手指输入笔划。此外,如图7所示,在圆圈700的近似形状中绘画笔划将被hwr处理所述笔划作为“o”、“p”、“d”、“g”等的开始而辨识出。因此,包括一个或多个用户可选择的键740的动态键盘提供最可能匹配的用户输入笔划,并相对用户笔划700显示。

然后,当输入更多笔划时,包括动态键盘的一组键可能改变(通过字母、字符或所显示键的整体数量和/或大小),直到用户选择一个键,或直到hwr处理自动确定超过字符匹配可能性的某个阈值。从用户选择该动态键盘的一个或多个键得到的机器可读文本可以用于任何期望目的。还应注意,可以根据其匹配用户笔划的可能性来定键的大小,更可能的匹配用户笔划的被比不太可能匹配用户笔划的更大地显示。

2、7、7人类可读字符的远程hwr处理:

通常,上述理清和分割技术使用相对少量的计算资源来实时操作。然而,基于hwr的技术用于后续处理结果人类可读字符通常需要相对更多的计算资源。因此,在各个实施例中,笔划理清器使用远程服务器或基于云的系统来执行hwr处理从用户设备发送的人类可读字符。换句话说,在各个实施例中,基于hwr的处理由远程服务执行,同时在本地执行理清。

在这种情况下,在发生理清时,实时地将人类可读字符的图像(或者在各个实施例中,2d轨迹或描述笔划的曲线的任意其它数学表示)发送给远程服务。然后远程服务周期性发送回从一个或多个词典、语言模型、基于搜索引擎的搜索建议等导出的一个或多个辨识候选。换句话说,当用户输入笔划时实时地提供本地理清的墨迹显示,同时远程hwr系统提供周期性更新。在经过验定的实施例中,以大约500ms的间隔将周期性的基于hwr的更新返回到用户设备,同时向用户实时呈现部分笔划分割和显示。

这种实施例的优点在于它们允许计算昂贵的任务(例如,基于hwr处理字符图像)远程执行,同时最小化在用户设备上的计算负担和对应的功率花费。这在小型设备的情况下是尤其有利的,所述小型设备例如是基于手表的形状因子(参见图7),或者一些其它小型可穿戴或基于粘贴触摸屏的设备具有有限的计算能力和有限的电力资源,但是具有发送和接收数据的通信能力。

2、7、8基于草图的自动完成功能:

如上所述,在各个实施例中,笔划理清器包括绘画模式,其允许用户输入不理清笔划的草图(参见图4)。hwr处理这些绘画可以返回对应于常见的文本-图标型自动完成场景的字符组合。例如,如果在各个实施例中用户利用表示邻近右括号字符的冒号的笔划(即,“:)”)输入草图,则笔划理清器通过笑脸ascii型字符自动完成。还注意,在文本输入模式中,输入这些相同的字符笔划还可以用于自动完成或返回对应的笑脸图标等。基于在字符和图标之间的任意期望关系的类似的基于字符的自动完成或建议由笔划理清器的各个实施例所支持。

此外,如上所述,在各个实施例中,笔划理清器基于用户输入的绘画或草图执行搜索。在该情况下,这种搜索用于返回一个或多个剪贴型图像或可以自动或由用户选择输入的照片、

2、7、9用于实现笔划理清的其它形状因子:

如上所述,笔划理清器可以以广范围的形状因子实现,包括但不限于:智能手机、平板计算机、具有或不具有触摸屏的腕表式设备、可以戴在用户手指上的基于指环的设备、或具有能够跟踪交叠笔划的真实或虚拟书写面板的任意其它设备。例如,图8示出了书写面板800的例子,其具有触摸屏或触摸敏感表面,在其上用户可以输入交叠笔划810以供笔划理清器处理,如本文所描述的。

2、7、10手写字符的自动字距调整:

在各个实施例中,笔划理清器使用负字距调整和正字距调整中之一或两者,来在用户正输入笔划时调整在显示器设备上呈现的一个或多个人类可读字符之间的间隔。

通常,字距调整(kerning)是调整比例字体(proportionalfont)的字符之间的间隔的过程,通常为实现视觉美观的结果。字距调整调整了个体字符形式之间的空间,同时跟踪(字母间隔)一致地调整字符范围的间隔。在数字排印中,字距调整通常作为数字施加于字母对(letter-pair)上,按照该数字应该增加或减少默认字符间隔:正值表示增加,负值表示减少。

负字距调整通常用于将大写字母,例如,“t”、“v”、“w”和“y”,配合靠近在另一侧的一些其它大写字母,例如“a”,并在右侧配合到一些小写字母,例如,组合“ta”、“te”和“to”。负字距调整有时还用于将句号或逗号适配靠近各种字母或字母组合。使用负字距调整的其它组合的例子包括但不限于:“fa”、“lt”和“ly”,并且如“a”、“l”和“h”等字母之后跟随引号。注意,足够大的负字距调整还可以使得字符部分交叠,例如,当“o”放置地非常靠近“t”时,“t”顶部可以直接高于字母“o”的至少一部分,如在字距调整后的词语“to”。

相反,正字距调整通常结合特殊字符和标点使用(例如,小写字母“f”之后跟随右括号或引号),以增加字符之间的间隔。取决于字体,一些小的正字距调整还可以用于强调字母并用于成对,例如,“bo”、“dw”和“ty”。

在各个实施例中,笔划理清器使用多种字距调整技术中的任一种,其具有或不具有基于边界框缩放人类可读字符,以根据用户输入的交叠笔划构建字符、词语和/或句子。已经观察到相对与未调整字距的(non-kerned)版本的相同人类可读字符,所获得的已调整字距的人类可读字符具有更视觉美观的外观。

2、7、11断裂字符的辨识模型:

当书写面板相对较小时,或者当用户输入相对较大笔划时,在输入期间用户输入的一个或多个交叠笔划可能跨书写面板的边缘,从而手指或书写实现工具不再与书写面板的触摸敏感表面接触。在这种情况下,当笔划理清器确定笔划不是控制手势时,所述笔划固有地断裂成两个或多个碎片,每个碎片被笔划理清器解释为单独的笔划,用于理清、分割和合成这些笔划。理清、分割和合成这些笔划的结果是呈现用于hwr处理的部分字符或断裂字符。因此,为了改善这种情况下的笔迹辨识,在各个实施例中,基于断裂字符训练一个或多个hwr处理模型,其中出于训练的目的将字符的上、下、左、右边缘的一个或多个消除掉。

例如,如图9所示,手写字母“g”900的上部和下部的一部分被移除,如在该字母的上部和下部的虚线所示,并在训练hwr模型时提供作为字母“g”的正例子。然后,当用户输入跨书写面板920的上边缘和下边缘的交叠笔划910时,结果是若干断裂的交叠笔划930。然后笔划理清器理清、分割和合成这些笔划以产生表面上(ostensibly)人类可读的字符940。当人类可读字符940随后被传递到hwr处理模块时,所述模块包括在断裂字符上训练的一个或多个模型(例如,手写字母“g”900,其上部和下部的一部分被移除),结果是及其可读字母“g”950。

2、7、12笔划的后处理:

在各个实施例中,在理清、分割和合成过程之前或之后处理每个交叠笔迹,以自产生多个视觉效果。例如,利用多种图像处理技术过滤或修改形成每个笔划的个体曲线,以创建包括但不限于如下的效果:

·呈现每个笔划以显得其是利用铅笔绘画的;

·呈现每个笔划以显得其是利用各种类型的笔绘画的;

·呈现每个笔划以显得其是利用各种画笔类型和尺寸绘画的;

·以一种或多种所选颜色呈现每个笔划;

·利用多种填充图案中任一来呈现每个笔划;

·利用多种阴影效果中任一来呈现每个笔划;

·利用每个笔划的基于样条的表示或任意其它期望的平滑或过滤技术来平滑每个笔划;

·将合成的笔划或人类可读字符呈现到在任意期望的背景上(例如,羊皮纸、图像等);

·等等。

3、0笔划理清的操作摘要:

以上结合图1至图9描述的过程以及进一步考虑以上在章节1和2中提供的详细描述,在图10的操作流程图中示出。特别地,图10提供了总结笔划理清器的各种实施例的一些操作的示例性操作流程图。注意,图10并非旨在是本文描述的笔划理清器的各个实施例的全部的穷举表示,并且在图10中表示的实施例只是出于解释的目的提供的。

此外,应该理解的是,框以及由图10中的断裂线或虚线表示的框之间的相互连接表示本文描述的笔划理清器的可选或替代实施例,如下所述的这些可选或替代实施例中的任一个或全部可以与本文献通篇描述的其它替代实施例组合。

一般而言,如图10所示,笔划理清器通过以下步骤开始工作:接收(1000)表示一个或多个字符、一个或多个控制笔划和/或一个或多个其它多触摸手势的多个交叠笔划(例如,1005)。在各个实施例中,笔划理清器可选地在用于输入这些笔划的触摸屏上呈现(1010)笔划的渐隐痕迹。然后,笔划理清器评估(1015)每个笔划以确定该笔划是否是控制手势,例如,删除最后一个笔划手势、删除最后一个词语手势、标记词语结束或插入空格手势、切换绘画模式手势,等。

然后,笔划理清器使用(1020)前述分割算法和经训练的分割模式(1025),考虑任何控制手势或其它多触摸手势和用户校正来理清、分割和合成一个或多个笔划,从而形成一个或多个字符。一旦已经完成分割过程,则笔划理清器呈现(1030)合成的笔划,以产生一个或多个人类可读字符(1035),例如,字母、词语和/或短语,其在显示器设备的用户界面窗口中连同可选绘画或草图呈现,以向用户提供实时的视觉反馈。如上所讨论的,在各个实施例中,笔划理清器还接收(1040)用户输入,以校正在任意字符中的理清和合成错误(例如,利用前述“轻敲以校正”过程)。

然后,笔划理清器执行(1045)人类可读字符(1035)的笔迹辨识(hwr),并输出对应的机器可读文本。然后,笔划理清器可选地提供(1050)该辨识出的文本、词语或短语的输出作为对各种应用的输入,所述应用例如是搜索引擎、消息传送、词语处理、密码输入、游戏等。最后,在各个实施例中,笔划理清器接收用户输入(1055)来从一个或多个自动完成的建议、辨识候选和/或搜索建议中进行选择。

4、0示例性操作环境:

本文描述的笔划理清器在多种通用或专用计算系统环境或配置中可操作。图11示出了可以实现如本文所描述的笔划理清器的各种实施例和元件的通用计算机系统的简化例子。应该理解的是,在图11中由断裂线或虚线表示的任意框表示简化计算设备的替代实施例,并且如下文所述任意或所有这些替代实施例可以与该文献通篇中描述的其它替代实施例组合。

例如,图11示出了显示简化计算设备1100的通用系统图。可以与笔划理清器操作的这种设备的例子包括但不限于:便携式电子设备、可穿戴计算设备、手持计算设备、膝上型或移动计算机、通信设备(例如,蜂窝电话、智能手机和pds)、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子、网络pc、微型计算机、音频或视频媒体播放器、手持远程控制设备,等等。还应注意的是,如上所述,可以实现笔划理清器具有任意触摸屏或触摸敏感表面,其与广范围的电子设备或对象通信或以其它方式耦合。

为了允许设备实现笔划理清器,计算设备1100应该具有足够的计算能力和系统存储器以支持基本计算操作。另外,计算设备1100包括一个或多个传感器1105,包括但不限于:加速度计、摄像机、电容传感器、接近度传感器、麦克风、多频谱传感器等。此外,计算设备1100还可以包括可选系统固件1125(或其它固件或处理器可访问存储器或存储设备),以用于实现笔划理清器的各个实施例。

如图11所示,计算设备1100的计算能力通常由一个或多个处理单元1110示出,并还可以包括一个或多个gpu1115,其一者或两者与系统存储器1120通信。注意,计算设备1100的处理单元1110可以是专用微处理器,例如,dsp、vliw或其它微控制器,或者可以是传统的具有一个或多个处理芯片的cpu,包括在多核心cpu中的基于专用gpu核心。

另外,简化的计算设备1100还可以包括其它部件,例如,通信接口1130。简化的计算设备1100还可以包括一个或多个传统计算机输入设备1140,或这种设备的组合(例如,触摸屏、触摸敏感表面、定点设备、键盘、音频输入设备、基于话音或语音的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或无线数据传输的设备,等)。简化的计算设备1100还可以包括其它可选部件,例如,一个或多个传统计算机输出设备1150(例如,显示器设备1155、音频输出设备、视频输出设备、用于发送有线或无线数据传输的设备,等)。注意,本领域技术人员已知用于通用计算机的典型的通信接口1130、输入设备1140、输出设备1150以及存储设备1160,并在本文中不再详细描述。

简化的计算设备1100还可以包括多种计算机可读介质。计算机可读介质可以是任意可用介质,其可以经由存储设备1160访问,并包括可移除(1170)和/或不可移除(1180)的易失性和非易失性介质,用于存储信息,例如计算机可读或计算机可执行指令、数据结构、程序模块或其它数据。通过例子而非限制,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质指的是有形的计算机或机器可读介质或存储设备,例如dvd、cd、软盘、磁带驱动器、硬盘驱动器、光盘驱动器、固态存储器设备、ram、rom、eeprom、闪存或其它存储器技术、磁带盒、磁带、磁盘存储设备或其它磁存储设备、或可以用于存储期望信息并能由一个或多个计算设备访问的任意其它设备。

还可以通过使用多种前述通信介质中的任一种编码一个或多个调制的数据信号或载波、或其它传输介质或通信协议,并且包括任意有线或无线信息输送机制,来完成存储信息,例如计算机可读或计算机可执行指令、数据结构、程序模块等。注意,术语“调制的数据信号”或“载波”通常指代具有一个或多个其特征集或以编码信号中的信息的方式改变的信号。例如,通信介质包括有线介质,例如携带一个或多个调制数据信号的有线网络或直接连线连接;以及无线介质,例如,声、rf、红外、激光和其它无线介质用于发送和/或接收一个或多个调制数据信号或载波。对上述任意组合也应该包含于通信介质的范围内。

还可以通过使用多个前述通信介质编码一个或多个调制数据信号或载波、或其它传输机制或通信协议,并包括任意有线或无线信息输送机制,实现信息的保留,所述信息例如是计算机可读或计算机可执行指令、数据结构、程序模块等。注意,术语“调制的数据信号”或“载波”通常指代具有一个或多个其特征集或以编码信号中的信息的方式改变的信号。例如,通信介质包括有线介质,例如携带一个或多个调制数据信号的有线网络或直接连线连接;以及无线介质,例如,声、rf、红外、激光和其它无线介质用于发送和/或接收一个或多个调制数据信号或载波。对上述任意的组合也应该被包括于通信介质的范围内。

此外,可以从任意期望组合的计算机可执行指令或其他数据指令形式的计算机或机器可读介质或存储设备自己通信介质中,存储、接收、发送或读取实现本文描述的笔划理清器的各个实施例的一些或全部的软件、程序和/或计算机程序产品或其一部分。

最后,本文描述的笔划理清器还可以在由计算设备执行的计算机可执行指令(例如,程序模块)的一般上下文中得以进一步的描述。通常,程序模块包括例程、程序、对象、部件、数据结构等,其执行特定任务户欧实现特定抽象数据类型。本文描述的实施例还可以在分布式计算环境中实现,其中通过一个或多个远程处理设备执行任务,或者在通过一个或多个通信网络链接的一个或多个设备的云端执行任务。在分布式计算环境中,程序模块可以位于本地和远程计算机存储介质中,其包括介质存储设备。此外,前述指令可以整体或部分地实现为硬件逻辑电路,其可以包括或不包括处理器。

出于图示和描述的目的提出了对笔划理清器的前述说明。其并不打算穷举所要求保护主题或将其限制到所公开的精度。根据上述教导,许多修改和变型是可行的。此外,应该注意的是,前述替代实施例的任一个或全部可以在任意期望的组合中使用,以形成笔划理清器的另外的混合实施例。本发明的范围并非旨在受限于该详细描述,而是通过随附权利要求进行限定。虽然以专用于结构特征和/或方法动作的语言描述了本发明的主题,但可以理解的是在随附权利要求中定义的本发明的主题不必受限于上述特定特征或行为。而是,上述特定特征和行为被公开为实现权利要求的实例形式。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1