使用所推断的情绪修改触笔输入或响应的制作方法

使用所推断的情绪修改触笔输入或响应的制作方法
【专利摘要】本发明涉及使用所推断的情绪修改触笔输入或响应。根据本发明的方法包括：识别输入至第一设备的表面的一个或多个符号；使用至少一个处理器确定与一个或多个符号的输入相关联的一个或多个修改输入参数；基于一个或多个修改输入参数确定对一个或多个符号的关联的修改；以及执行与修改的一个或多个符号的关联对应的操作。本发明还描述并且要求保护了其他方面。
【专利说明】使用所推断的情绪修改触笔输入或响应

【技术领域】
[0001]本发明涉及信息处理的【技术领域】，具体地涉及使用所推断的情绪修改触笔输入或响应。

【背景技术】
[0002]光学字符识别是(例如输入到触摸屏的手写字母/符号或扫描图像中的)字符到文本(例如机器编码文本)的转换。光学字符识别(OCR)技术典型地限于与字母数字字符的以及在一些情况下与基本几何形状的一对一的相关性。OCR技术已尝试允许例如在触摸屏上手写，以作为对键盘输入的替代。因为打字比手写要快，所以趋势已变为例如通过单独的字符和单词像键盘输入一样来转化笔输入。
[0003]速记就其本身而言是加速或简化普通写法的缩写或符号化书写。最初，速记被开发为在不损失任何重要信息的情况下进行书写的较快方式。


【发明内容】

[0004]总之，一方面提供了一种方法，包括:识别输入至第一装置的表面的一个或多个符号；使用至少一个处理器确定与所述一个或多个符号的输入相关联的一个或多个修改输入参数；基于所述一个或多个修改输入参数确定对所述一个或多个符号的关联的修改；以及执行与修改的所述一个或多个符号的关联对应的操作。
[0005]另一方面提供了一种信息处理装置，包括:装置表面，被配置成接收用户输入；一个或多个处理器；以及可由一个或多个处理器访问的存储器，该存储器存储可由所述一个或多个处理器执行以进行以下操作的指令:识别输入至所述装置表面的一个或多个符号；确定与所述一个或多个符号的输入相关联的一个或多个修改输入参数；基于所述一个或多个修改输入参数确定对所述一个或多个符号的关联的修改；以及执行与修改的所述一个或多个符号的关联对应的操作。
[0006]进一方面提供了一种产品，包括:存储可由一个或多个处理器执行的指令的计算机可读存储介质，所述指令包括:被配置成识别输入至第一装置的表面的一个或多个符号的计算机可读程序代码；被配置成使用至少一个处理器确定与所述一个或多个符号的输入相关联的一个或多个修改输入参数的计算机可读程序代码；被配置成基于所述一个或多个修改输入参数确定对一个或多个符号的关联的修改的计算机可读程序代码；以及被配置成执行与修改的所述一个或多个符号的关联对应的操作的计算机可读程序代码。
[0007]前述的描述是概要性的说明，从而会包含细节的简化、概括和省略；因此，本领域的技术人员能够理解概要仅仅是说明性的并且不意在以任何方式进行限制。
[0008]为了更好地理解实施方式以及实施方式的其他和另外的特征和优点，结合附图对以下说明进行参考。本发明的范围将在所附权利要求中指出。

【专利附图】

【附图说明】
[0009]图1示出了信息处理装置电路的示例。
[0010]图2示出了信息处理装置电路的另一个示例。
[0011]图3示出了检测触笔输入以及实施与其相关联的操作的示例方法。
[0012]图4(A至C)示出了触笔输入的上下文敏感性的示例。
[0013]图5 (A至B)示出了触笔输入的组合关系敏感性的示例。
[0014]图6示出了触笔输入的递归关系的示例。
[0015]图7(A至B)示出了触笔输入的维度关系的示例。
[0016]图8示出了触笔输入的触笔输入参数敏感性的示例。
[0017]图9示出了触笔速记输入的转化的示例。
[0018]图10示出了存储触笔输入并且使得触笔输入可访问的示例方法。
[0019]图11示出了词典访问和符号/关联纳入的示例。

【具体实施方式】
[0020]容易理解，除所描述的示例实施方式之外，此处附图中的总体描述和实施方式的部件可以以多种不同的配置来布置和设计。因此，如在附图中表示的，对示例实施方式的以下更详细的描述并非意在限制实施方式要求保护的范围，而是仅代表示例实施方式。
[0021]在本说明书全文中，对“一个实施方式”或“实施方式”(等)的引用意味着结合实施方式所描述的特定特征、结构或特性包含在至少一个实施方式中。因此，在本说明书全文的各处所出现的短语“在一个实施方式中”或“在实施方式中”等未必都指代同一实施方式。
[0022]此外，在一个或多个实施方式中，可以以任何适当的方式对所描述的特征、结构或特性进行组合。在下面的描述中，提供了许多具体的细节以给出对实施方式的透彻的理解。然而，相关领域的技术人员将认识到，可以在不具有一个或多个具体细节的情况下，使用其他的方法、部件、材料等实施各种实施方式。在其他的实例中，未详细示出或描述公知的结构、材料或操作以避免混淆。
[0023]贯穿本说明书，“笔”和“触笔”可互换地用作指代用于将信息输入或提供至形成用户界面的电子设备表面的工具的术语。在一些情况下，除非示例清楚地暗示或限于机械笔/触笔，否则“笔”或“触笔”可以包括用户的身体部分，例如一个或多个手指。此外，触摸屏、数字转换器等用作能够从“笔”或“触笔”(广泛地被解释)接受输入信息的示例表面；然而，对于本领域的普通技术人员很明显的是，存在非限制性的示例以及例如包括那些利用光学手势检测和/或替代触摸输入检测来接受输入的其他表面，除非示例清楚地暗示或限于具体的工具，例如触摸输入表面，否则在本说明书中给出的各种示例中可以利用可替选的输入设备和表面。
[0024]尽管已经在电子设备中、例如在逐个字符的基础上实现了 OCR和符号识别，但是这种方法失去了相比打字而言手写的许多优点。不同于限于字母数字字符和预定义符号的键盘输入，手写不受限制。用户可以用字母、字母数字符号或符号、直线或波浪线等进行书写。手写是唯一的，并且用户甚至可以通过使用速记来增强他们的手写能力。用户还可以针对相同的概念采用多种符号，并且用于这些概念的符号随着时间的推移通常进化得非常快。这是当前的笔/触笔输入技术痛苦地错过的领域。
[0025]传统的笔输入能力是有限的。笔可以用来导航、绘画和写字。例如通过微软公司的某些WINDOWS产品如“pen flicks”，已经提供了某种手势表示能力。OCR允许手写和一些符号被识别并且转化成键入的文本和形状。例如SAMSUNG GALAXY N0TE2支持所谓的“笔手势”，其中，用户可以书写单词，并且使用该单词的图像替代该单词(例如用户可以书写单词“鱼”，并且被提供用来插入的鱼的图像)。GALAXY N0TE2还支持笔快捷方式用于基础功能(例如书写符号“#”来打开拨号盘)，这些基础功能中的一些需要附加的文本来执行命令(例如在所写的单词“Joe”旁边书写符号“?”用来打开用户界面，以将文本消息发送给名字叫“Joe”的联系人)。然而，这些传统方法中没有一种方法使用类似于语言的符号组合。
[0026]使用增强的计算机处理能力，实施方式利用了速记式的速度和简洁，以及使用符号保留有价值信息的互补特性。实施方式提供了与将要在增强环境中使用的速记相类似的触笔输入，所述增强环境例如通过笔/数字转换器对和/或触摸屏技术的计算机处理能力来增强。实施方式利用人类语言的机制来改进当前的触笔(电子笔)体验。
[0027]参照附图将会最好地理解所示出的示例实施方式。下面的描述意在仅作为示例，并且仅示出了某些示例实施方式。
[0028]参照图1和图2，虽然在信息处理装置中可以利用各种其他电路、电路系统或部件，但是对于智能电话和/或平板电路200，图2示出的示例包括基于ARM的系统(片上系统)设计，其中软件和(一个或多个)处理器集成在单个芯片210中。内部总线等取决于不同的供应商，但是基本上所有的外围装置(220)都可以附接到单个芯片210。与图1示出的电路形成对照，平板电路200将处理器、存储器控制器和I/O控制器集线器全部集成到单个芯片210中。此外，基于ARM的系统200通常不使用SATA或PCI或LPC。公共接口例如包括SD1和I2C。
[0029]存在(一个或多个)电力管理芯片230，例如电池管理单元BMU，该电力管理芯片230对例如经由可再充电电池240供应的电力进行管理，该可再充电电池240可以通过连接到电源(未示出)而再充电。在至少一个设计中，单个芯片如210用于提供类似B1S的功能和DRAM存储器。
[0030]基于ARM的系统200通常包括WffAN收发器250和WLAN收发器260中的一个或多个，用于连接到各种网络如电信网络和无线基站。通常，基于ARM的系统200包括用于数据输入和显示的触摸屏270。基于ARM的系统200通常还包括各种存储装置，例如闪存280和SDRAM 290。
[0031]图1就其部分而言描绘了信息处理装置电路、电路系统或部件的另一示例的框图。图1所描绘的示例可以对应于计算系统，例如由位于北卡罗来纳州莫里斯维尔的联想(美国)公司销售的THINKPAD系列个人计算机或其他装置。根据本文的描述可以明显看出，实施方式可以包括其他特征，或仅仅包括图1中示出的示例特征中的某些特征。
[0032]图1的示例包括所谓的芯片组110(—组一起工作的集成电路或芯片，芯片组)，该芯片组110具有可以根据制造商(例如INTEL、AMD、ARM等)而变化的体系结构。芯片组110的体系结构包括核与存储器控制组120以及I/O控制器集线器150，该I/O控制器集线器150经由直接管理接口(DMI) 142或链路控制器144交换信息(例如数据、信号、命令等)。在图1中，DMI 142是芯片到芯片的接口(有时被称为“北桥”与“南桥”之间的链路)。核与存储器控制组120包括经由前端总线(FSB) 124交换信息的存储器控制器集线器126和一个或多个处理器122 (例如单核或多核)；注意，组120的部件可以被集成在芯片中，该芯片代替传统的“北桥”式体系结构。
[0033]在图1中，存储器控制器集线器126与存储器140对接(例如为可被称为“系统存储器”或“存储器”的一类RAM提供支撑)。存储器控制器集线器126还包括用于显示装置192 (例如CRT、平板、触摸屏等)的LVDS接口 132。块138包括可以经由LVDS接口 132 (例如串行数字视频、HDMI/DV1、显示端口)支持的一些技术。存储器控制器集线器126还包括可以支持独立显卡136的PC1-Express接口(PC1-E) 134。
[0034]在图1中，I/O集线器控制器150包括SATA接口 151 (例如用于HDD、SDDU80等)、PC1-E接口 152(例如用于无线连接182)、USB接口 153 (例如用于诸如数字化仪、键盘、鼠标、照相机、电话、麦克风、存储装置、其他连接装置等的装置184)、网络接口 154(例如 LAN)、GP10 接口 155、LPC 接口 170(用于 ASIC 171,TPM 172、超级 I/O 173、固件集线器174,B1S支持175以及诸如ROM 177、闪存178和NVRAM 179的各种类型的存储器176)、电力管理接口 161、时钟发生器接口 162、音频接口 163(例如用于扬声器194)、TC0接口 164、系统管理总线接口 165以及可以包括B1S 168和启动代码190的SPI闪存166。I/O集线器控制器150可以包括千兆位以太网支持。
[0035]系统在通电时可以被配置成执行存储在SPI闪存166内的用于B1S 168的启动代码190，此后，在一个或多个操作系统和应用软件(例如存储在系统存储器140中)的控制下处理数据。操作系统可以存储在各种位置中的任何位置处，并且例如可以根据B1S168的指令来访问。如本文所描述的，装置可以包括比图1的系统中示出的特征更少或更多的特征。
[0036]例如如图1和图2所概述的信息处理装置可以提供增强形式的速记能力，该增强形式的速记能力又为用户提供机会，以既能提高当前使用触笔作为输入装置可以完成的事情，又能克服笔/纸手写的缺点。如图1和图2所概述的那些装置可以提供从输入工具(同上，在本文中简称为“笔”或“触笔”)接收输入的输入表面(例如触摸屏、数字转换器等)。
[0037]在类似于SAMSUNG GALAXY N0TE2的产品中使用的符号限于短的、基本字符串(例如“?Joe”用于“发消息给Joe”操作)。实施方式利用人类语言的特性来扩大笔输入的能力。实施方式允许用户使用各种符号来替代文字，并且便于增强的用户接口能力的组合。
[0038]参照图3，实施方式提供了允许用户例如通过触笔或笔提供书写输入的输入表面，所述输入表面例如是触摸屏或类似的表面。在步骤301中，实施方式检测输入表面处的输入。在步骤301中的检测例如可以包括在例如结合至触摸屏中的输入表面中包括的电容层上对笔或触笔输入进行记录；然而，这是非限制性的示例。在步骤302中，实施方式识别该输入。这对应于例如对书写输入实施OCR过程，以识别用户在步骤301中所写的字符和/或符号。
[0039]一旦在步骤302中将输入识别为例如具体的符号或者多个符号的组合，则实施方式在步骤303中确定输入的关联。对于所识别的输入的这种关联对应于识别针对输入的适当系统响应，例如响应于对具体的符号或者多个符号的组的识别而采取的操作。在步骤303中可以进行各种确定，这些确定包括但不限于基于其中提供了(一个或多个)符号的上下文来确定关联、基于针对(一个或多个)符号而识别的递归或组合结构来确定关联、基于(一个或多个)符号的关联属性来确定关联、基于关于符号所识别的维度来确定关联、基于与(一个或多个)符号输入相关的情绪来确定关联、基于与(一个或多个)符号相关联的速记或类似脚本的识别来确定关联，以及基于包含可以提供和识别的用于多种符号输入的关联的一个或多个词典来确定关联。可以进行适当的确定组合，并且如本文中进一步描述的，全文中提供了这样的确定(或确定的组合)的代表性示例。
[0040]一旦在步骤303中针对输入确定了适当的关联，则实施方式在步骤304中可以执行对应于该关联的操作。这可以包括多种功能，这些功能包括但不限于下面的操作:执行用户级操作(例如启动具体的用户应用程序)、执行系统级操作(例如通过该用户或另一个用户的所连接或链接的装置存储所识别的输入和/或关联以供后期使用)，或上述操作的组口 ο
[0041]上下文敏感性
[0042]实施方式在解释来自用户的触笔输入(即识别并且确定输入的关联)时对接口中的(一个或多个)应用程序、附近的符号和/或元素敏感。基于该上下文信息，来自用户的书写/绘制可以进行不同的解释，例如对于在不同上下文中相同的(一个或多个)符号的不同解释。
[0043]例如，相比按照命令提示符绘制“?”符号，在电子邮件应用程序中绘制“?”符号可以具有不同的解释。再例如，在程序中的表格上的绘制产生对该表格敏感的行为。如果该程序是MS WORD文档处理程序，则线条可以用来在表格中创建新的列/行。再例如，在程序中绘制圆圈用于在该程序中选择相关的元素。如果该程序是MS WORD文档处理程序，则圆圈可以用来在文档中选择文本块或图像，例如用于复制。
[0044]在这样的场景中，实施方式确定用户打算执行什么(即操作，如用户试图去圈出什么)。这可以由实施方式推断或做出关于所涉及的内容(例如圈出的内容)的假设来完成。例如，如果文本块已经被圈出，则用户有可能瞄准关键词、短语或完整的句子来进行高亮、复制等。因此，即使在用户的输入不精确时，文档的内容的知识仍可以提供上下文信息，该上下文信息帮助实施方式做出正确的选择。
[0045]因此，参照图4(A至B)，用户可以提供输入至装置的表面，例如触摸屏表面，使用例如触笔将波浪线输入到文字处理文档中。对于使用触笔403A输入到文档401A的第一输入波浪线402A，实施方式可以以多种方式利用上下文信息。例如，实施方式可以确定触笔输入402A是在文字处理应用程序的文档之上进行输入。此外，实施方式可以确定触笔输入402A仅覆盖了文档401A的特定段落的第一行。在波浪线402A已经与操作“删除”相关联的实施方式中，实施方式可以实现该操作使其适合于上下文，并且传送该操作用于由文字处理应用程序执行。在图4A的示例中，实施方式可以采取仅删除段落中的第一行的操作。相比之下，例如如图4B所示，实施方式可以利用不同的上下文信息来修改该操作。在图4B中，用户输入了触笔输入402B，再次使用触笔403B输入了波浪线，但是这次在文档40IB的整个第一段落之上。在这种情况下，实施方式可以通过删除文档401B中文本的整个段落来修改“删除”操作。因此，实施方式可以利用一条或多条上下文信息，例如在输入时运行的、在接口或底层对象中的符号或元素附近的(一个或多个)应用程序如文字处理文档等，以针对给定触笔输入修改操作。
[0046]在实施方式中，相同的符号可以用于表示两种(或更多种)不同想法(因此执行两种(或更多种)不同的操作)。例如，实施方式可以取决于符号被输入的上下文来进行符号的链接操作。因此，每个符号例如可以对周围的元素和它们的位置关系敏感。
[0047]例如参照图4C，绘制时钟符号404可以表示用于实施方式的触发器以显示当前时间。结合其他(一个或多个)符号绘制时钟符号405可以表示涉及到与符号405的组合相关联的操作的时间量。因此，在第一种情况下，孤立的时钟符号404触发第一操作(例如显示当前时间)，而包括作为子元素的时钟符号的组合符号405触发依赖于上下文的另一个操作，例如计算并且显示工作地点与家之间的行程时间。
[0048]作为上下文敏感性的另一个示例，用户可以在电子邮件客户端应用程序中绘制信封以打开新的电子邮件消息(例如在电子邮件应用程序中触发撰写操作)，而在文件(例如文字处理文档或图片)上或文件中绘制相同的信封符号触发另一个操作，例如使用该文件作为附件撰写新的邮件。类似地，在文字处理文档中绘制箭头符号可以将对应的符号(例如MICROSOFT WINGDING箭头)插入该文档中，而在电子邮件信息中绘制相同的箭头符号则触发对箭头符号下的电子邮件消息内容的转发。
[0049]递归组合结构
[0050]在实施方式中，在触笔输入中识别的字符或符号可以是结构敏感的。例如，可以以不同的方式表示或执行相同的命令或操作。此外，表达式输入例如可以通过另外的(一个或多个)输入进行扩展以具有或呈现不同的含义。这产生了基于符号环境的符号解释。这通过例如分析显示器上的符号位置、可能的周围符号和/或它们彼此间的物理关系来完成。再次，(一个或多个)应用程序(例如记笔记应用程序对比于绘制应用程序或电子邮件应用程序)可以影响实施方式的对触笔输入的解释。这允许用户以多种不同方式表达相同的想法。
[0051]如图5(A至B)所示，与仅检查符号的短字符串并且不试图识别和解释其与其他附近符号之间的关系的其他系统相比，实施方式利用符号的组合来理解来自用户的直观命令。例如，输入“Joe@3”510A可以自动地将提醒放入用户的日历，例如，在当天的日历应用程序中输入下午3:00 “Joe”条目。在后来在约会之前例如在弹出窗口中出现该提醒时，用户可以选择发送消息或呼叫与联系人“Joe”相关联的联系人号码。此外，实施方式可以智能地基于加法对输入进行重新解释。例如，用户可以在输入“Joe@3”之前写“msg”(例如通过添加到以前的注释)以形成新的输入“msg J0e@3”511A。现在，例如通过在预定时间(例如在下午3点或下午3点的预定数量分钟之前)打开预先填写有联系人“Joe”的文本消息或电子邮件应用程序，实施方式准备在下午3点给用户联系人“Joe”发送消息。在用户已经修改了之前的输入(例如通过在511A中添加“msg”)的情况下，实施方式可以清除之前的操作，例如上面的示例中的下午3:00的日历条目。此外，用户可以在分开的时间提供每个输入510A和511A并且使得两个操作都被执行，例如日历条目和消息准备或消息提醒。
[0052]因此，实施方式允许用户灵活地添加手写注释。例如，如果用户写“?J0e@3pm”，则实施方式将在下午3:00准备给Joe发送消息(例如通过在适当的时间打开消息应用程序并且预先填入联系人信息)。稍后，如果用户将“晚餐约会”添加至先前的输入“?J0e@3pm”，则实施方式将在上下文中使用先前的输入解释新的输入。因此，实施方式将提醒用户给Joe的消息的主题是“晚餐约会”，例如，在提示用户在下午3:00给Joe发送信息时，将该信息输入到电子邮件的应用程序的主题行或SMS消息的第一行。
[0053]应当理解的是，该提示可以在消息应用程序本身中(例如预先填充的消息)或具有一个或更多选择(例如文本消息、电子邮件、呼叫等)的提醒弹出窗口中，使得用户可以控制通信的格式。在具有选择选项的弹出提醒的示例中，所添加的信息(例如“晚餐约会”)可以显示在弹出提醒中，作为用户发送信息给联系人的原因的提示。还可以提供至底层输入的链接(例如存储为注释文件)，使得用户可以导航回到系统从中导出提醒的输入。
[0054]在实施方式中，可以使用实施方式将类似的符号替代为另一个符号。为了说明这一点，如果用户忘记用于发送信息的默认符号是“?”，而用户写下了 “txt”(例如以输入“txt Joe”的格式)，则对于任一输入而言实施方式产生相同的结果，亦即实施方式打开新的消息应用程序，例如预先填有联系人的文本消息应用程序。如本文中进一步描述的那样，这可以通过由系统提供的默认关联来完成，例如“txt”和“?”之间的等价，可以是用户创建的关联，或者可以从用户社区中学习或导出。
[0055]根据上述的示例，实施方式可以利用输入的递归组合结构来影响所采取的操作。例如参照图5B，实施方式可以利用输入符号的结构来影响针对输入所确定的关联和所采取的操作。因此，如果用户输入符号的第一组合510B，例如家到工作地点的方向，则实施方式识别家符号为“第一”(在左侧)，工作地点符号为“第二”(在右侧)，并且在它们之间绘制的线条符号通知实施方式用户想要的方向。响应于这样的输入510B，通过将符号转换成预定义的地址位置(例如在本文中进一步描述的那样，如用户在符号词典中预先关联的那样)，实施方式可以将这些符号(例如，如果在地图或导航应用程序的上下文中提供了这些符号510B)输入到地图应用程序中。类似地，可以修改符号的结构(在这种情况下是它们的从左到右排序)以修改实施方式所采取的操作。例如，如果用户反转符号结构关系，如在输入511B中那样，其中工作地点是“第一”并且家是“第二”，则实施方式将会对符号结构进行解释，以指示用户想要在适当的地图或导航应用程序中加载从工作地点到家的方向。
[0056]关联符号
[0057]实施方式利用了语言是灵活的这一理解，并且在不丢失意思的情况下允许符号的换位。对于较长的短语，这涉及某种智能分块。因此，实施方式可以识别输入的符号和操作以及它们彼此间的关系，并且可以比较符号在输入中的物理位置以确定用户的意图。
[0058]参照图6，与其他系统(其中，符号和关键词的组合并非与关键词和符号的组合解释为相同的含义)相比，在实施方式中，“符号+关键词”可以解释成与“关键词+符号”相同的含义，即，将相同的操作与这两个不同的输入相关联。例如，实施方式将用户输入“msgJoe”610A或“Joe msg”610B解释为以适当的应用程序被启动或提醒设置的方式触发将消息发送至联系人“Joe”的操作。例如，实施方式将用户输入“msg J0e@3”或“@3msg Joe”解释为提示用户在下午3点将消息发送至联系人“Joe”的请求。同样地，即使用户已经切换了排序和/或插入了等价的符号(在此，“msg”与“?”等价)，实施方式也可以将不同的符号(例如“msg Joe@3”和“@3?Joe”)解释为相同的含义。
[0059]再例如，实施方式允许用户以各种方式将注释插入到文字处理文档中，其中，插入的序列将会被理解为执行相同的操作。例如，用户可以通过以下步骤将注释插入文档:首先写注释，然后在文档中添加关于注释位置的线/箭头；或者用户可以首先绘制线/箭头以表示注释的位置，然后写入注释的文本用于以后插入。因此，实施方式利用了输入的序列以为组合输入提供更丰富的意义。
[0060]维度
[0061]语言是沿着单个维度进行书写的。单词只能处于彼此的前面或后面。实施方式使用标点符号如句号、冒号、逗号、感叹号等创建有意义的组合。在组合符号时可以添加第二维度，因为在二维平面上的彼此相对(前、后、上、下)的任意地方可以书写或绘制符号。使用该信息，实施方式可以对用户的输入产生更好的解释。符号之间的空间和它们的定位还可以用来创建以触笔的方式进行的对“句子”的书写/绘制。
[0062]参照图7 (A至B)，示出了这样一个示例，其中，实施方式利用输入符号的位置关系或维度来执行适当的操作。在图7A中，实施方式可以将用户输入“msg Joe@3pm”解释为在日历程序中放入当天下午3:00 “Joe”的提醒。在图7B中，实施方式可以将“@3”上方的用户输入“msg Joe”解释为做出操作列表以便执行。例如，对应于图7B的输入的操作列表可以是首先给Joe发送信息，然后在日历应用程序中指示下午3:00与“Joe”约会。通过提供列表被期望有的明确的指示器，用户可以便利于这种行为。例如，可以响应于用户而触发这种列表行为，包括格式化的符号，如在列表的项目之前和/或之后的加重号或破折号，以指示列表样式操作是所期望的。
[0063]实施方式可以利用关于间隔的信息来推断用户所期望的操作。例如，实施方式可以将用户书写“?J0e@3pm”或“?J0e@3pm”都解释为相同的含义。因此，由于符号的顺序和距离没有意义，所以可以利用容忍度和灵活性(在这种情况下，省略或忽略间隔信息)。通过这种方式，如果用户担心系统混淆(非常像当用户夸大语音识别系统的语音时)，则系统将成功地将两种输入都解释为表示“Joe@3:00p.m.”。可替选地，实施方式可以使用间隔对符号进行分组，来试图将用于单独考虑和操作的符号组分开。实施方式可以为用户提供机会，以作为输入步骤(如图3的步骤302)的识别的一部分来确认或修改分组(或没有分组)。
[0064]作为利用维度信息的另一个示例，由于符号与另一个邻近符号的空间关系，实施方式可以对符号标下标或上标。例如，实施方式可以通过识别符号与附近的(一个或多个)字符的二维关系对输入进行转化，并且将其匹配成通用模式，例如co2。再次，可以提示用户确认这样的标识是适当的。
[0065]情绪
[0066]人类语言由语法、语义和强调来表征。通过使用语法和语义使得人们所讲的或所写的具有直接的含义。可以通过强调或情绪导出用户所表达的意思。例如，说出词语“火”意味着一种含义，而叫喊着词语“火！ ”意味着另一种含义。用户可以使用触笔修改一个或多个输入参数，例如通过他们书写的方式(例如倾斜、压力、速度和/或笔触风格)来提供强调(或给出感情)。这个信息可以用于调整系统的响应。例如，更多的倾斜(例如用于提供输入的触笔的角度)、更多的压力(例如触笔输入在屏幕上的压力)、输入的较快速度和更加突然的笔触风格可以表示高情绪的状态。触笔输入风格的其他不同组合可以表示不同的情绪状态。
[0067]例如，如果用户书写牢固(例如，通过触笔输入的压力进行感测，例如通过输入表面上的压力输入感测层进行感测)并且快速地提供输入，则实施方式可以推断出用户的状态是匆忙和/或烦躁。为了避免使得情况更糟，系统可以在转化某种输入时(比如像具有长串的符号)更加保守，或者在其他场景中(比如像潦草的9-1-1)较不保守。因此，响应于确定触发输入(例如使用触笔输入的(一个或多个)符号)已经提供有相关联的情绪(例如匆忙、激动、慢/不确定等)，实施方式可以修改或改变操作。
[0068]响应于确定触发输入(例如使用触笔输入的(一个或多个)符号)已经提供有相关联的情绪，实施方式可以触发不同或另外的操作。例如，如果实施方式推断出用户处于高情绪状态(例如可以通过确定触笔输入提供了增加的压力或速度来推断)，则实施方式可以将干扰最小化以防止恶化情绪状态，所述干扰例如是来自其他应用程序(例如到达的新电子邮件或文本消息)的通知。
[0069]再例如，如果用户在高于正常水平的压力下写电子邮件，则实施方式可以将预定情绪(例如用户受刺激)与该输入相关联。实施方式可以响应于这样的触发输入执行另外的或修改的操作。例如，通过首先提示用户在发送电子邮件之前等待和/或确认，实施方式可以防止用户发送潜在有害的电子邮件。相似地，实施方式可以响应于这样的触发输入(亦即与预定的情绪相匹配)执行另外的(一个或多个)操作。例如，实施方式可以执行另外的语言过滤器以加亮消息中的文本的某些部分，并且为用户提供机会以在发送消息之前回顾文本。
[0070]因此，参照图8，基于使用(一个或多个)输入的额外的(一个或多个)特性推断的情绪，实施方式可以区分(其它方面等同形成的)两个输入810A和810B。以正常权重文本示出的输入810A可以使用正常水平的压力例如经由触笔向触摸屏提供，该正常水平的压力例如可以基于该特定用户的输入压力的历史和/或已知的标准压力进行确定。相比之下，以粗体文本示出的输入810B可以使用较高水平的压力例如经由触笔向触摸屏提供，该较高水平的压力例如可以基于该特定用户的输入压力的历史和/或已知的标准压力进行确定。
[0071]因此，实施方式可以基于所推断的情绪将输入810A与输入810B区分开。例如，增加的输入压力可以与情绪的强度预先相关联，并且反过来这又映射至增加重要性的功能特性。因此，实施方式可以利用增加压力的输入810B表示输入的增加重要性，并且假设该输入被设置为电子邮件应用程序的输入，则将输入810B标记为具有增加的重要性并且执行另外的操作，例如将电子邮件标记为高优先级。
[0072]处理速记输入符号
[0073]使用0CR，实施方式可以首先识别用户的输入符号，随后获取所识别的符号的集合并且对它们进行转化，例如转化成完全文本。这样的转化可以作为在后台执行的任务而发生。除原始的输入之外，还可以存储转化形式，或者转化形式可以用来例如在用户确认后代替原始识别的速记输入。
[0074]例如，参照图9,用户可以在课堂上记笔记并且写笔记910A“Beh psych testi2pmFebl2”。实施方式可以执行OCR来识别实际的输入，即“B”、“e”、“h”等，然后处理所识别的输入，例如将“psych”与“Beh”分开等。一旦已经逐字识别了输入，则实施方式可以将输入转化成所推断的完整句子，例如笔记910B “Behav1ral psychology test at2:00PM onFebruary 12 th (在2月12日的下午2点进行行为心理学测试)”。可以在后台处理转化，使得稍后在用户回顾他或她的笔记时，这样的转化连同原始笔记一起可得到。此外，考虑到输入的转化或修改(例如课堂笔记910A至课堂笔记910B)，如果另一个用户需要课堂笔记(例如那天没有上课的朋友)，则用户可以给另一个用户发送笔记的版本之一或两个笔记的版本(例如910A或910B)。假定910A和910B 二者都被发送，当其他用户接收它们时，他或她可以采用速记(例如保存笔记910A)，并且/或者他或她可以保留后台所存储的修改/转化版本91OB。
[0075]实施方式可以扩展转化特征以提供另外的修改，如使用用户提供的输入执行相关的操作。例如，实施方式可以使用OCR来逐字地识别用户的输入，例如用户提供触笔输入“y= x+2”，然后提供不同版本的输入，包括对该输入的处理，例如在图形应用程序中绘制该函数的图形。
[0076]输入的符号或字符串的转化不需要产生操作。例如，输入的符号或字符串可以具有与其相关联的行为。例如基于它们的上下文，行为可以是交互的。如本文进一步描述的，用户还可以容易地创建他们自己的交互元素和与其相关联的操作，以使装置接口个性化。
[0077]例如，绘制特定的符号可以充当接口元素(例如按钮)，以在轻击时将用户带到特定的网站。因此，当提供了符号本身时，可以不用自动地触发特定的操作，而是可以与行为相关联，例如，在识别的特定上下文中，特定符号需要通过轻击该符号以产生另外的输入，这又执行操作，例如打开网页浏览器并且导航至特定的网站。
[0078]实施方式能够确定什么时候用户已经完成了符号或符号组元素的书写/绘制，以产生正确的行为或操作。因此，对输入或输入会话的识别可以是适当的时间，以确保用户已经完成了对输入的提供。这可以通过多种不同的方式来完成，包括但不限于以指定的按钮(例如由用户点击或按下)指示完整的字符串或输入会话，以字符串或符号上或之内的轻击表示用户已经完成，并且/或者用户可以在他们完成后使用不同的模式与字符串交互(例如使用笔/触笔进行创建，然后使用手指进行交互)。
[0079]词典创建和共享
[0080]用户可以创建符号的词典。如图10所示，在步骤1001中在输入表面处可以检测用户的输入，然后在步骤1002中识别该输入。例如在用户的书写不寻常或不标准的情况下，或者在用户提供尚未记录到装置可获得的词典中的自定义符号的情况下，识别可以依赖于训练或学习过程。
[0081]例如，用户可以将输入提供至符号训练接口，以帮助系统学习用户的输入(例如基于用户的手写特性)。这大致相当于提供了重复输入，以允许实施方式学习特定符号的适当OCR识别。同样地，除默认的符号(例如默认提供为系统的部分)以外，用户可以输入自定义符号。这允许在步骤1002中对输入的适当识别。
[0082]此外，具有系统中可获得的某些符号(例如自定义符号和/或默认符号)的用户可以修改与符号相关联的操作，因此影响了在步骤1003中针对输入确定的关联。例如，用户可以将与符号相关联的操作(例如在被识别后由实施方式执行)修改为另一操作。例如通过输入符号、然后选择与该符号相关联的操作，或者通过修改分配给默认符号或符号组的默认操作，用户可以修改与符号(或符号组或符号模式)相关联的操作。
[0083]在步骤1004中，一旦用户以可重现和可识别的方式提供了符号并且为该符号选择或确认了关联，就可以例如在词典中存储该符号。词典可以存储在用户的本地装置上、远程装置上(例如在云存储中)或这些位置的组合。在用户的符号和关联的词典存储在网络或云装置中的情况下，例如对于用户自身(例如跨越特定用户的装置)或者跨越装置的社区(例如云社区)，可以在步骤1005中使用户的词典可访问。此外，可以跨越装置一致保持对词典的更新。
[0084]此外，为了建立更好的词典和语言的使用，用户可以选择共享他们的词典(例如匿名地)，使得在步骤1005中可访问的词典可以由其他社区用户进行访问。这提供了用户的社区，该用户的社区是可修改的，以共享关于词典的信息。实施方式可以访问这样的社区信息。例如，这允许用户用来产生各种命令的符号之间的比较。用户可以看到其他用户对于新命令等在做什么，并且决定是否他们也想采用符号和/或命令。而且，用户可以将他们自己的针对命令的符号中之一替换成来自他们喜好的社区中的一个。
[0085]例如，如图11所示，在步骤1101中，用户可以访问词典，例如在云服务中可获得的社区词典。然后在步骤1102中，用户可以识别输入，例如包含在词典中的特定符号。在步骤1103中，用户可以检索输入，例如在他或她的装置上将输入下载至存储在他或她的云账号中的词典。此后，在步骤1104中，用户可以将操作与最近检索的输入相关联，例如，将应用程序操作与最近检索的符号相关联。最近检索的符号可能已经具有与其相关联的操作，用户可以对其进行修改或改变，或者该符号可能需要用户为其选择操作。
[0086]例如，如果用户已经写了“发消息给Joe”以将消息发送给联系人“Joe”，但是能够访问(例如通过云帐号或服务)关于用户社区的信息，其他用户使用“?”来代替发送消息的命令中的“发消息”部分，则用户可以将用于发消息操作的符号添加到他或她的词典。因此，用户然后便可以可选地写“?”或“发消息”来触发发消息的操作或命令。可替选地，用户可以用符号“?”替换“发消息”符号。
[0087]再例如，在社区中符号“ |**| ”可以用于词“盒式磁带”，但特定用户在他或她的词典中没有该符号。用户可以利用实施方式增加这样的新符号(例如从社区词典中下载该符号)以开始使用它，例如给它分配命令，如打开音乐播放器、插入短语“盒式磁带”以代替该符号等。
[0088]用户的词典可以在装置之间转移，并且词典可以在用户之间进行共享。从用户的角度来看符号是相关的，而从系统的角度来看则不一定相关。例如，系统可以识别用于相同命令的许多不同符号，类似于关于处理各种用户输入作为触发相同命令的结合图6概述的示例。系统可以提供默认的限制设置，并且允许用户添加/删除/编辑符号。通过这样做，例如用于时钟的符号不必与另一用户的用于时钟的符号相同，但是这两个用户的系统将两个符号都识别为表示“时钟”。因此，如果符号在用户之间进行传输(例如在从第一用户传输至第二用户的消息中)，则用户系统不需要在消息传输之前知道符号以正确地解释符号。
[0089]例如，第一用户和第二用户各自拥有自己的平板装置。如果第一用户输入(例如使用触笔绘制)符号并且将其发送至第二用户，则第二用户可以将该符号添加到他或她的词典。因此，第二用户可以采用第一用户的符号。可替代地，第二用户的系统可以将(例如使用通过云服务可访问的社区词典和/或第二用户的词典)第二用户的符号转化成等价的符号，例如第二用户所使用或可识别的符号。通过这样的方式，它与系统无关，因为系统读出具有相同含义的两个版本的符号，因此允许用户通信实现透明度或转化功能。
[0090]此外，通过使用共享的词典(例如通过例如云服务可获得的社区词典)，用户不需要培训或教他们的本地系统使用那些已经被另外的用户或社区定义了的符号。例如，对于具体的用户和系统，如果通过共享的词典可以获得新的符号，则不需要将该符号训练到用户系统中。因此，用户不必教每个新的符号(或符号的组合)或每个新装置使用符号，而是可以简单地下载或者由新的装置访问适当的词典，并且新的符号可以从共享词典中传递或访问。因此，利用链接技术(例如云服务)，用户的个人词典可以通过来自另外的词典(例如社区词典)的附加条目进行补充，包括使用转化功能(例如，符号可以在用户和/或装置之间进行转化，而不用将符号添加至彼此的词典)。
[0091]简要地进行概括，实施方式提供了各种方式，其中，当使用书写(包括(一个或多个)符号)作为对装置的输入时，可以给予附加的含义。因此，实施方式极大地增强了书写工具如触笔的使用，并且允许增加的感觉:装置智能地理解或推断出含义，类似于人类用户如何解释书写和组织化的符号。
[0092]本领域的普通技术人员将容易理解，各种实施方式或各种实施方式的某些特征可以实施为计算机程序产品，在该计算机程序产品中可由处理器执行的指令存储在计算机可读介质或装置可读介质上。可以利用一个或多个非信号装置可读介质的任何组合。非信号介质可以是存储介质。存储介质可以是任意非信号介质，例如电子的、磁的、光学的、电磁的、红外线的或半导体的系统、设备或装置，或前述的任何适当的组合。存储介质的更多的具体示例可以包括如下:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPR0M或闪存)、光纤、便携式压缩磁盘只读存储器(CD-ROM)、光存储装置、磁存储装置，或前述的任何适当的组合。
[0093]可以使用任何适当的介质，包括但不限于无线、有线、光纤线缆、RF等或前述的任何适当的组合传输存储介质上的程序代码。
[0094]可以以一种或者多种编程语言的任何组合来编写用于执行操作的程序代码。程序代码可以完全在单个装置上执行、部分地在单个装置上执行、作为独立软件包部分地在单个装置上且部分地在另一装置上执行，或者完全地在其他装置上执行。在某些情况下，可以通过任何类型的连接或网络(包括局域网(LAN)或广域网(WAN)、个人局域网(PAN))来连接装置，或可以通过其他的装置(例如通过使用因特网服务提供商的因特网)或通过硬线连接(例如通过USB连接)来进行连接。
[0095]本文参照附图描述了多个方面，这些附图示出了根据各种示例实施方式的示例方法、装置和程序产品。将要理解的是，示出的动作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给通用信息处理装置、专用信息处理装置或其他的可编程数据处理装置或信息处理装置的处理器，以产生一种机器，使得经由装置的处理器执行的指令能够实现指定的功能/动作。
[0096]程序指令还可以存储在装置可读介质中，该装置可读介质可以弓I导装置以特定的方式运行，以使得存储在装置可读介质中的指令能够生产一种制造产品，该产品包括实现指定的功能/动作的指令。
[0097]程序指令还可以加载到装置上，以使得待在装置上执行的一系列的操作步骤产生一种装置实现的方法，在装置上执行的指令提供用于实现指定的功能/动作的方法。
[0098]本发明提出的公开内容用于说明和描述的目的，而非意在穷举或限制。对本领域的技术人员来说，许多修改和变化是明显的。本发明中选择并描述的示例实施方式用于说明原理和实际应用，并且使得本领域其他技术人员能够理解本发明的具有各种修改的各种实施方式适合于预期的特定用途。
[0099]因此，尽管本文参考附图描述了说明性的示例实施方式，但是应当理解该描述不是限制性的，并且在不偏离本公开内容的范围或精神的情况下，本领域技术人员可以作出各种其他变化和修改。
【权利要求】
1.一种方法，包括: 识别输入至第一设备的表面的一个或多个符号； 使用至少一个处理器确定与所述一个或多个符号的输入相关联的一个或多个修改输入参数； 基于所述一个或多个修改输入参数确定对所述一个或多个符号的关联的修改；以及 执行与修改的所述一个或多个符号的关联相对应的操作。
2.根据权利要求1所述的方法，其中，与所述一个或多个符号的输入相关联的所述一个或多个修改输入参数从包括下述输入参数的输入参数组中选择:符号输入的速度、符号输入的压力和符号输入的倾斜。
3.根据权利要求2所述的方法，其中，确定与所述一个或多个符号的输入相关联的一个或多个修改输入参数还包括:将一个或多个输入参数与所存储的用户输入参数的历史进行比较。
4.根据权利要求3所述的方法，其中，所存储的用户输入参数的历史与对所述第一装置的输入的历史相对应。
5.根据权利要求1所述的方法，其中，执行与修改的所述一个或多个符号的关联相对应的操作包括:结合对所述一个或多个符号的默认操作的执行来执行另外的操作。
6.根据权利要求5所述的方法，其中，所述另外的操作包括延迟所述默认操作的中间操作。
7.根据权利要求5所述的方法，其中，所述另外的操作包括过滤操作。
8.根据权利要求5所述的方法，其中，所述另外的操作包括显示选项以在所述默认操作的执行之前确认所述默认操作。
9.根据权利要求5所述的方法，其中，所述另外的操作包括修改所述第一装置的一个或多个应用程序的一个或多个独立操作。
10.根据权利要求9所述的方法，其中，所述第一装置的一个或多个应用程序的一个或多个独立操作包括通知操作，并且其中，所述另外的操作包括对由所述第一装置的所述一个或多个应用程序接收的至所述第一装置的呼入通信的通知进行消音。
11.一种信息处理装置，包括: 装置表面，配置成接收用户输入； 一个或多个处理器；以及 存储器，其可由所述一个或多个处理器访问，所述存储器存储可由所述一个或多个处理器执行以进行以下操作的指令: 识别输入至所述装置表面的一个或多个符号； 确定与所述一个或多个符号的输入相关联的一个或多个修改输入参数； 基于所述一个或多个修改输入参数确定对所述一个或多个符号的关联的修改；以及 执行与修改的所述一个或多个符号的关联相对应的操作。
12.根据权利要求11所述的信息处理装置，其中，与所述一个或多个符号的输入相关联的所述一个或多个修改输入参数从包括下述输入参数的输入参数组中选择:符号输入的速度、符号输入的压力和符号输入的倾斜。
13.根据权利要求12所述的信息处理装置，其中，确定与所述一个或多个符号的输入相关联的一个或多个修改输入参数还包括:将一个或多个输入参数与所存储的用户输入参数的历史进行比较。
14.根据权利要求13所述的信息处理装置，其中，所存储的用户输入参数的历史与对所述信息处理装置的输入的历史相对应。
15.根据权利要求11所述的信息处理装置，其中，执行与修改的所述一个或多个符号的关联相对应的操作包括:结合对所述一个或多个符号的默认操作的执行来执行另外的操作。
16.根据权利要求15所述的信息处理装置，其中，所述另外的操作包括延迟所述默认操作的中间操作。
17.根据权利要求15所述的信息处理装置，其中，所述另外的操作包括过滤操作。
18.根据权利要求15所述的信息处理装置，其中，所述另外的操作包括显示选项以在所述默认操作的执行之前确认所述默认操作。
19.根据权利要求15所述的信息处理装置，其中，所述另外的操作包括修改所述信息处理装置的一个或多个应用程序的一个或多个独立操作。
20.—种产品,包括: 计算机可读存储介质，其存储可由一个或多个处理器执行的指令，所述指令包括: 被配置成识别输入至第一装置的表面的一个或多个符号的计算机可读程序代码；被配置成使用至少一个处理器确定与所述一个或多个符号的输入相关联的一个或多个修改输入参数的计算机可读程序代码； 被配置成基于所述一个或多个修改输入参数确定对所述一个或多个符号的关联的修改的计算机可读程序代码；以及 被配置成执行与修改的所述一个或多个符号的关联相对应的操作的计算机可读程序代码。
【文档编号】G06F3/0488GK104252311SQ201410273093
【公开日】2014年12月31日 申请日期:2014年6月18日 优先权日:2013年6月28日
【发明者】米夏埃拉·罗斯·卡塞, 丹尼尔·乔丹·尚茨, 韦斯利·艾布拉姆·勒特雷尔 申请人:联想（新加坡）私人有限公司