电子装置及用于多形态融合的方法
【技术领域】
[0001]本发明涉及一种电子装置及用于多形态融合的方法。
【背景技术】
[0002]某些电子装置(例如台式电脑和笔记本电脑)提供了丰富的输入环境(诸如物理鼠标和键盘)以及其它输入形态(例如用于视线追踪(gaze tracking)/眼球输入(eyeinputs)的摄像头、用于语音输入的麦克风等)。其它电子装置采用不同的形式，例如诸如平板计算装置或智能电话的更加便携的形式。这些便携形式中的一些通常缺少一个或更多个输入装置，例如物理键盘和鼠标。
[0003]用户可能希望使用具有考虑到不同形式的电子装置而设计的应用(例如电子表格应用)的更小型和便携的电子装置(例如平板电脑或智能电话)。因此，用户可能发现，与应用的移动装置版本相比，正讨论的应用在更传统的形式因素(例如笔记本电脑或台式电脑)上具有增强的使用能力。即使在应用完全以便携形式实现的情况下，用户仍可能发现难以与某些便携装置(例如平板电脑、智能电话等)上的应用交互。这是由电子装置的差异(即每个电子装置所提供的不同输入环境)所导致的。
【发明内容】
[0004]总之，一个方面提供了一种方法，包括:在电子装置处检测使用第一形态的命令输入；在电子装置处检测使用不同形态的选择输入；使用处理器将命令输入和选择输入组合成应用格式的命令；以及将该应用格式的命令提供给电子装置上运行的应用以供执行。
[0005]另一方面提供了一种电子装置，包括:第一输入装置，其检测使用第一形态的用户输入；第二输入装置，检测使用不同形态的用户输入；处理器；以及存储器，所述存储器存储能够由处理器执行以实现如下操作的指令:检测使用第一形态的命令输入；检测使用不同形态的选择输入；将命令输入和选择输入组合成应用格式的命令；以及将应用格式的命令提供给电子装置上运行的应用以供执行。
[0006]再一方面提供了一种程序产品，包括:存储装置，所述存储装置存储处理器可执行的代码，处理器可执行的代码包括:用于检测使用第一形态的命令输入的代码；用于检测使用不同形态的选择输入的代码；用于将命令输入和选择输入组合成应用格式的命令的代码；以及用于将应用格式的命令提供给电子装置上运行的应用以供执行的代码。
[0007]以上为概要，从而可能包含简化、概括及细节的省略。因此，本领域的技术人员将理解的是，该概要仅仅是说明性的并且不意在以任何方式进行限制。
[0008]为了更好地理解实施方式连同实施方式的其它的和进一步的特征及优点，参考以下的结合附图的描述。本发明的范围将在所附权利要求中指出。
【附图说明】
[0009]图1示出了信息处理装置电路的示例。
[0010]图2示出了信息处理装置电路的另一示例。
[0011]图3示出了具有示例网络浏览器应用的多形态融合的示例。
[0012]图4示出了用于多形态融合的系统的示例概述。
[0013]图5不出了具有不例电子表格应用的多形态融合的不例。
【具体实施方式】
[0014]将容易理解的是，可以以所描述的示例实施方式以外的多种不同的配置来布置和设计本文附图中总体描述并示出的实施方式的部件。因而，如在附图中示出的示例实施方式的以下更详细的描述，不意在限制所要求保护的实施方式的范围，而只是代表示例实施方式。
[0015]贯穿本说明书，对“一个实施方式”或“实施方式”(等)的指代意味着结合实施方式所描述的特定特征、结构或特性包含在至少一个实施方式中。因此，在本说明书全文的各处所出现的短语“在一个实施方式中”或“在实施方式中”等未必都指代同一实施方式。
[0016]此外，在一个或更多个实施方式中，可以以任何适当的方式组合所描述的特征、结构或特性。在下面的描述中，提供了许多具体的细节以给出对于实施方式的透彻理解。然而，相关领域的技术人员将认识到，可以使用其它的方法、部件、材料等来实施各种实施方式，而无需一个或更多个具体细节。在其它示例中，不再详细地示出或描述公知的结构、材料或操作以避免混淆。
[0017]实施方式允许用户通过组合输入的形态来以更自然的方式与电子装置进行交互。例如，实施方式允许用户将自然口语与诸如触摸输入、手势输入或眼球跟踪输入的其它形态组合使用，以用于操作电子装置应用。因此，实施方式解决了指代消解的问题，即，当在例如“用电子邮件将这个表格发送给约翰”、“将这个段落翻译为西班牙语”等的语句中使用诸如“这个”、“那个”等的表达时，可靠地理解用户所指的是哪个实体。
[0018]目前商业上可用的多形态方案不允许语音和其它形态的紧密结合，而是允许用户选择一种形态或另一种形态来执行其任务。这阻止了用户说出涉及用户可能希望用以提供输入的其它事件(诸如触摸、手势或注视)的自然语句。可以理解的是，实施方式允许充分利用具有受限的输入形态(例如缺少物理键盘和鼠标)的电子装置，诸如移动电话、平板计算装置等型式因素。因此，用户可以采用许多应用，例如电子表格应用、文字处理应用等以充分发挥作用。
[0019]如本文进一步描述的，实施方式使用一组单一形态的输入处理器(诸如语音识别器、触摸屏事件处理器、视线跟踪器等)来采集用户可以分别提供的各种输入，虽然这些输入彼此相关。本文中被称为“库”或“数据库”的单一事件库存储输入事件(incomingevent)，其具有之后通过与其它事件、命令等的关联来推断其含义所必需的信息和时间戳。例如，时间戳可以允许实施方式确定在用户触摸特定点时屏幕上是什么。自然语言理解模块从用户所说的语句中提取命令(例如“复制”、“翻译”、“发送电子邮件”等)和指代表述(例如“这个表格”、“约翰”、“这个段落”等)。然后，指代消解引擎将所提取的、指代表述与应用内的一个或更多个实体匹配，从而使用应用特定解析器来产生应用可用的输出。
[0020]这种模块化架构提供了从应用本身中抽象出多形态融合所需的核心处理的方法。换言之，实施方式可以实现为广义子系统，该广义子系统可以在多个应用内容易地重用，其中，每个应用仅需有限数量的编码。
[0021]与其它多形态方案相比，在许多情形下，特别是在涉及操纵诸如文档、通讯录(例如来自地址簿或社交网络)、图像等的实体的应用中，本文中描述的实施方式允许更自然地交互。此外，与多形态融合的应用特定方式相比，这样的模块化架构赋予实施方式很大的灵活性，降低了开发新应用的难度和成本。
[0022]通过参考附图可以最好地理解所示出的示例实施方式。下面的描述仅意在作为示例，并且简要示出了某些示例实施方式。
[0023]虽然在信息处理装置中可以采用各种其它电路、电路系统或部件，但是对于智能电话和/或平板电路系统100来说，图1所示的示例包括在例如平板或其它便携式计算平台中发现的芯片设计上的系统。软件和处理器被组合在单芯片110中。处理器包括内部运算单元、寄存器、高速缓存存储器、总线、I/O端口等。内部总线等取决于不同的供应商，但基本上所有附加装置(120)均可以附接到单芯片110。电路系统100将处理器、存储器控制以及I/O控制器集线器全部组合到单芯片110中。并且，这种类型的系统100通常不使用串行高级技术附件(SATA)或外部设备互联(PCI)或LPC。公共接口例如包括安全数字输入输出(SD10)和 I2C。
[0024]存在用于管理经由例如可再充电电池140供应的电力的电力管理电路130(例如电池管理单元BMU)，可再充电电池140可以通过连接到电源(未示出)而再充电。在至少一个设计中，使用单个芯片(诸如110)来提供类似B1S的功能和DRAM存储器。
[0025]系统100通常包括无线广域网(WWAN)收发器150和无线局域网(WLAN)收发器160中的一个或更多个以连接到各种网络，诸如电信网络和无线因特网装置(如接入点)。另夕卜，附加装置120通常包括例如图像传感器(诸如摄像头)或音频传感器(诸如麦克风)。通常，系统100包括用于数据输入、显示/呈现的触摸屏/控制器170。系统100通常还包括各种存储装置，例如闪存180和同步动态随机存取存储器(SDRAM) 190。
[0026]图2描绘了信息处理装置电路、电路系统或部件的另一示例的框图。图2中描绘的示例可以对应于诸如由位于北卡罗来纳州莫里斯维尔市的联想(美国)公司销售的THINKPAD系列的个人计算机的计算系统或其它装置。根据本文的描述明显可知，实施方式可以包括其它特征或仅包括图2所示的示例的特征中的一些特征。
[0027]图2的示例包括其架构可能依据制造商(例如，INTEL、AMD、ARM等)而不同的所谓的芯片集210 ( 一起工作的一组集成电路或芯片，