芯片集)。INTEL是英特尔公司在美国和其它国家的注册商标。AMD是超微半导体公司在美国和其它国家的注册商标。ARM是安谋国际科技股份有限公司在美国或其它国家的未注册商标。芯片集210的架构包括经由直接管理接口(DMI) 242或链接控制器244交换信息(例如数据、信号、命令等)的核/存储器控制组220和I/O控制器集线器250。在图2中，DMI242是芯片-芯片接口(有时称为“北桥”与“南桥”之间的链接)。核/存储器控制组220包括经由前端总线(FSB)224交换信息的一个或更多个处理器222 (例如单核或多核)和存储器控制器集线器226 ;注意组220的部件可以被集成在代替传统“北桥”式架构的芯片中。一个或更多个处理器222包括内部算术运算单元、寄存器、高速缓冲存储器、总线、I/O端口等。
[0028]在图2中，存储器控制器集线器226和存储器240连接(例如，以对可以被称为“系统存储器”或“存储器”的RAM类型提供支持)。存储器控制器集线器226还包括用于显示装置292(例如，CRT、平板、触摸屏等)的低压差分信号(LVDS)接口 232。块238包括可以通过LVDS接口 232支持的一些技术(例如串行数字视频、高清晰度多媒体接口(HDMI)/数字视频接口(DVI)、显示端口)。存储器控制器集线器226还包括可以支持独立显卡236的PCI 扩展接口 (PC1-E)234o
[0029]在图2中，I/O控制器集线器250包括SATA接口 251(例如用于HDD, SDD 280等)，PC1-E接口 252 (例如用于无线连接282)、USB接口 253 (例如，用于诸如数字转换器、键盘、鼠标、摄像头、电话、麦克风、存储装置、其它连接装置等的装置284)、网络接口 254 (例如，LAN)、通用输入输出(GP10)接口 255、LPC接口 270 (用于专用集成电路(ASIC)271、TPM272、超级I/O 273、固件集线器274、B10S支持275以及如ROM 277、闪存278以及NVRAM 279的各种类型的存储器276)，电力管理接口 261、时钟发生器接口 262、音频接口 263 (例如用于扬声器或麦克风294)、TC0接口 264、系统管理总线接口 265以及可以包括基本输入输出系统(B1S) 268和启动代码290的SPI闪存266。I/O控制器集线器250可以包括千兆比特的以太网支持。
[0030]系统在通电时可以被配置成执行存储在SPI闪存266内的用于B1S 268的启动代码290，此后，在一个或更多个操作系统和应用软件(例如存储在系统存储器240中)的控制下处理数据。操作系统可以存储在多个位置中的任意位置，并且可以根据例如B1S268的指令被访问。如本文所描述的，装置可以包括比图2的系统中示出的特征更少或更多的特征。
[0031]可以在各种实施方式中使用例如如图1或图2所概述的信息处理装置电路。然而，为了通过非限制性的示例的方式来突出某些方面，将结合对包括例如通过图1中的示例所概述的电路的电子装置(诸如平板电脑或智能电话)的操作来描述某些实施方式。
[0032]应理解的是，在目前装置主要依赖于触摸屏输入和麦克风输入来进行应用控制的情况下，这样的装置(例如平板式计算装置)主要提供了触摸屏、麦克风和摄像头作为主要输入装置。在实施方式中，这样的形态的融合提供了更友好的用户体验，特别是针对某些应用可以向用户保证不被这样的设备所支持的其它输入形态(例如物理鼠标)。
[0033]通过示例，并且参考图3，考虑在诸如图1的触摸屏/控制器170的显示装置上呈现网页的文本和图像的网络浏览器。实施方式允许用户以流线的方式来提供触摸输入和语首输入，以操作各种功能，诸如文本选择、复制、共孚等。
[0034]在图3的示例中，用户可以在平板计算装置的例如触摸输入显示器上的特定词(例如位置301处的“Backed”)处提供触摸输入。通常，由于该词不是超文本链接的，因而该区域301中的触摸输入将没有影响(除了可能稍微地重新定位呈现的网页之外)。然而，实施方式将该触摸输入事件记录在库中，例如在与网页中的元素(在该示例中是词“Backed”)关联的特定位置(例如触摸屏坐标)处发生了触摸输入。如本文所描述的，该事件数据可以存储为上下文数据并与时间戳(例如“tl”时刻)相关联。
[0035]在例如“t2”时刻的另一时间，用户可以使用自然语言(诸如“对其进行复制”)来将语音输入提供给例如平板计算装置100的麦克风120。在传统的系统中，“其”与用户先前触摸的词(在该示例中为与触摸位置301相关联的“Backed”)之间不存在关联。然而，由于实施方式将预定数量的事件(如本文中进一步描述的，预定数量的事件可以变化)保持在库或事件数据库中以建立上下文数据存储库，因此语音输入命令“复制”可以与词“Backed”的位置301处的触摸输入相关联。因此，实施方式可以执行复制命令，例如将词“Backed”放置在剪切板上以粘贴至另一位置(例如电子邮件、文本消息等的正文)。
[0036]通过扩展上述示例，实施方式可以使用自然语言处理来容易地区分各种命令以及利用多形态融合来解决任何歧义。因此，例如，如果输入命令为“复制该语句”，则实施方式可以将301处的触摸输入(即与词“Backed”相关联)进一步与语句“Backed by the GoogleApp Store…”302相关联。因此，通过触摸事件301与语音输入命令的自然语言处理的简单融合，借助于实施方式对上下文库和关联的访问，用户能够复制整个语句。
[0037]可以进一步理解的是，同样通过在触摸输入显示器(即该示例中的区域301)上简单触摸相同的点，实施方式可以同样地从命令“对其进行复制”和命令“复制该语句”中区分命令“复制该段落”，以允许用户复制整个段落。大致相同的情况可以用于网页中的其它元素，例如图片、表格等。因此，使用触摸和语音输入的融合来帮助用户进行各种动作(例如选择和复制动作)，就如同用户装备有具有物理鼠标、键盘等的电子装置一样。
[0038]如同正讨论的电子装置访问了更多传统的输入装置一样，实施方式具有以增强的方式对各种应用给出输入的能力。应理解的是，可以通过应用开发人员建立指示应用需要哪些类型输入的形式来促进该能力。鉴于该信息，实施方式所提供的融合引擎可以收集提供形态输入的融合所需要的上下文信息，所述形态输入映射到特定应用所需的输入或与特定应用所需的输入相关联。将通过进一步非限制性的示例的方式来描述电子表格应用。
[0039]首先，参考图4关于这一点来整体上概述实施方式。在图4的该示例中示出了总体框架。如所描述的，装置将具有传感器或输入装置401，例如如图4所示的麦克风或触摸输入能力。使用这些装置或传感器401，用户可以与装置进行交互，例如提供触摸事件和语音输入。
[0040]实施方式使用麦克风401来接收语音输入(例如以自然语言形式发出的命令)，并且将这些语音输入提交至语音识别系统，在本示例中提交至自然语言理解或处理模块402。这使得实施方式能够准确地理解字面输入(使用语音识别)并解析自然语言输入，即将语音识别系统的字面解释翻译成例如用于电子装置上运行的应用的可用的命令参数。
[0041]同样地，实施方式对事件(例如提供给触摸屏显示器的触摸事件、提供给摄像头和视线跟踪子系统的眼聚焦事件等)进行记录，并且将这些事件存储在事件历史数据库403中。可以理解的是，事件历史数据库403可以存储许多事件或几个事件(例如，最近的“X”个事件，其中，例如可以基于用户偏好、系统能力(如存储器的数量)等定制或修改
“X”)。
[0042]如图4所示，自然语言理解或处理模块402的输出可以是命令。事件历史数据库可以被指代消解模块404访问或咨询以提供用于指代消解。作为示例，语音输入“复制该段落”的自然语言处理会如实地产生“复制”命令解析。然而，对事件历史数据库403的访问使得实施方式能够上下文地理解在该情况下“该段落”是什么段落，即借用图3所示的示例，用户最近触摸的网页的段落，可能是与触摸位置301关联的段落。
[0043]因此，可以理解的是，实施方式在405处可以输出补充有参数的用户命令，例如“该段落”的特定应用指代。这允许用户使用对可能具有歧义的语音输入命令的上下文理解或解析来控制应用，例如电子装置上运行的应用的复制功能。应进一步理解的是，这样的解析有效地扩展了许多更小规格装置上提供的有限数量的传感器或输入装置401的能力，使得用户能够与甚至更复杂的应用容易地交互。
[0044]转向图5，参考电子表格应用来说明这样的应用控制的示例。应该注意的是，这是非限制性的示例，并且本文中一般性描述的原理可以被扩