移动设备上的顺序双手触摸键入的制作方法

在现今的计算环境中，若干设备被配置为接收基于触摸的输入。通常，这样的设备经由计算机屏幕或类似的显示区域接收来自用户(例如，手指或拇指)或触摸输入工具(例如，触笔)的触摸输入。在移动设备上，显示屏提供有限的输入和观察区域，使得用户常常局限于使用单根手指和/或一根或多根拇指提供输入。结果，基于触摸的输入过程与使用全尺寸键盘录入输入相比大为减弱。

正是关于这些和其他总体考虑做出了本文中公开的各方面。此外，尽管相对具体的问题可以被讨论，但是应当理解，示例不应当限于解决在背景中或者在本公开内容中的其他地方标识的具体问题。

技术实现要素：

提供本发明内容从而以简化的形式介绍下面在具体实施方式部分中进一步描述的一系列概念。本发明内容不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用作确定要求保护的技术方案的范围的辅助。

本公开内容的示例描述了提供顺序双手触摸键入的系统和方法。在各方面中，客户端设备可以提供基于触摸的输入接收应用。客户端设备可以包括可操作以检测用户的手或基于触摸的工具的接近的一个或多个传感器。响应于检测，客户端设备可以确定输入交互信息，诸如手的方面(例如，其是右手还是左手，取向等)和/或正使用的(一根或多根)手指。输入交互信息可以用于检测候选键并且基于此来提供键盘(或键盘的部分)。在各方面中，所提供的键盘或键盘部分可以响应于后续检测而被更改。

提供本发明内容从而以简化的形式介绍下面在具体实施方式中进一步描述的一系列概念。本发明内容不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制要求保护的技术方案的范围。示例的附加方面、特征和/或优点将在随后的描述中被部分阐述，并且部分将从描述显而易见，或者可以通过对本公开内容的实践来习得。

附图说明

参考以下附图来描述非限制性且非穷举性示例。

图1图示了如本文中所描述的用于提供顺序双手触摸键入的示例系统的概览。

图2图示了如本文中所描述的用于提供顺序双手触摸键入的示例性输入处理单元。

图3图示了如本文中所描述的使用手势移动来确定好和坏放弃的示例方法。

图4是图示如本文中所描述的使用多个候选键对最可能的句子的示例性确定的示图。

图5是图示可以利用其来实践本公开内容的各方面的计算设备的示例物理组件的框图。

图6a和图6b是可以利用其来实践本公开内容的各方面的移动计算设备的简化框图。

图7是本公开内容的各方面可以被实践在其中的分布式计算系统的简化框图。

图8图示了用于执行本公开内容的一个或多个方面的平板计算设备。

具体实施方式

下面参考附图更完全地描述本公开内容的各个方面，附图形成本文的一部分并且示出具体示例性方面。然而，本公开内容的不同方面可以以许多不同的形式来实现并且不应当被理解为限于本文阐述的方面；相反，这些方面被提供以使得本公开内容将是透彻的且完整的，并且将这些方面的范围完整地传达给本领域技术人员。方面可以被实践为方法、系统或设备。因此，方面可以采取硬件实现方式、完全软件实现方式或者组合软件和硬件方面的实现方式的形式。因此，以下详细描述不应在限制性的意义上来理解。

本公开内容提供了提供顺序双手触摸键入的系统和方法。在各方面中，包括一个或多个传感器的客户端设备可以提供基于触摸的输入接收应用或服务。传感器的示例可以包括接近传感器、加速度计传感器、陀螺仪传感器、力传感器、声学传感器、触摸屏传感器、光学传感器、以及定位传感器。在示例中，传感器可以可操作以检测接近客户端设备或者客户端设备的显示部分的对象。对象可以是用户、用户的部分、基于触摸的工具、以及图像或声波。客户端设备可以使用检测到的对象的传感器数据来确定输入交互信息。如本文中所使用的输入交互信息可以是指表示对象与传感器、客户端设备的显示部分或者客户端设备的交互的一个或多个方面的数据。输入交互信息可以用于确定输入选项(诸如输入模式、键盘布局、候选键盘键等)。所确定的输入选项可以经由客户端设备的接口而被表示。

在各方面中，输入可以基于所确定的输入选项经由接口被接收。输入可以被提供给预测性语言模型。如本文中所使用的模型可以是指可以用于确定在一个或多个词和/或字符序列上的概率分布和/或预测来自一个或多个预测因子的响应值的统计语言模型。在示例中，模型可以是基于规则的模型、经机器学习的回归器、经机器学习的分类器等。模型可以用于预测由客户端设备接收的字符序列中的词或下一字母。附加地，模型可以用于预测一个或多个输入选项。

因此，本公开内容提供多个技术益处，包括但不限于：提高基于触摸的输入录入的速率；扩展基于触摸的键入的应用，提高移动设备显示屏的有效尺寸；检测接近输入工具；确定输入工具的各方面；呈现输入相关的输入模式；训练语言理解模型；改进用户体验；以及改进利用本公开内容的示例以及其他示例的应用/服务的效率和质量。

图1图示了如本文中所描述的用于提供顺序双手触摸键入的示例系统的概览。呈现的示例性系统100是交互以形成用于使自然语言系统个性化的集成整体的相互依赖组件的组合。系统的组件可以是硬件组件或被实施在系统的硬件组件上和/或由系统的硬件组件执行的软件。在示例中，系统100可以包括硬件组件(例如，以上描述的传感器、用于执行/运行操作系统(os)的组件等)和在硬件上运行的软件组件(例如，应用、应用编程接口(api)、模块、虚拟机、运行时库等)中的任何。在一个示例中，示例性系统100可以提供供软件组件运行、遵守针对操作而设置的约束并且利用系统100的资源或设施的环境，其中组件可以是在一个或多个处理设备上运行的软件(例如，应用、程序、模块等)。例如，软件(例如，应用、操作指令、模块等)可以在处理设备上运行，处理设备诸如计算机、移动设备(例如，智能电话/电话、平板计算机、膝上型计算机、个人数字助理(pda)等)和/或任何其他电子设备。作为处理设备操作环境的示例，参考图5-图8中描绘的示例性操作环境。在其他的一些示例中，本文中公开的系统的组件可以分散在多个设备上。例如，输入可以在客户端设备上被录入并且信息可以从网络中的其他设备(诸如一个或多个服务器设备)被处理或访问。

作为一个示例，系统100包括客户端设备102a、客户端设备102b、客户端设备102c、分布式网络104、以及包括诸如服务器设备106a、服务器设备106b和服务器设备106c的一个或多个服务器的分布式服务器环境。本领域技术人员将认识到，诸如系统100的系统的规模可以变化并且可以包括比图1中描述的组件多或少的组件。在一些示例中，系统100的组件之间的接口连接可以远程地进行，例如，其中系统100的组件可以跨分布式网络的一个或多个设备而分散。

在各方面中，客户端设备102a可以被配置为包括一个或多个传感器。传感器可以可操作以检测接近客户端设备102a或与客户端设备102a交互的对象。从传感器收集的传感器数据可以用于确定与对象和/或客户端设备相关联的输入交互信息。输入交互信息可以用于确定要经由客户端设备102a的接口被呈现的输入选项。客户端设备102b和102c可以与客户端设备102a类似地配置，但是可以是与客户端设备102不同的设备类型。例如，客户端设备102a可以是移动电话，客户端设备102b可以是平板计算机，并且客户端设备102c可以是个人数字助理(pda)。在一些方面中，由客户端设备102a接收和/或确定的信息(例如，传感器数据、输入交互信息、输入选项等)可以是客户端设备102b和102c可访问的。例如，由客户端设备102a收集的传感器数据可以由客户端设备102b分析以确定输入交互信息。客户端设备102c然后可以使用输入交互信息来确定输入选项。输入选项可以被呈现在客户端设备102a-102c中的一个或多个上。客户端设备102a-102c还可以被配置为经由与输入选项相关联的用户接口组件或其他输入部件接收输入。输入的示例可以包括语音、视觉、触摸和文本输入。接收到的输入还可以被存储在数据存储库中。客户端设备102a-102c可以经由分布式网络104将接收到的输入传输给服务器设备，诸如服务器设备106a。

服务器设备106a-106c可以被配置为从诸如客户端设备102a-102c的一个或多个客户端设备接收输入并对输入进行处理。在各方面中，服务器设备106a-106c可以将接口(例如，api、用户接口、服务等)暴露或以其他方式提供给客户端设备。服务器设备106a-106c可以使用接口从客户端设备102a-102c收集数据。数据可以被存储在服务器设备106a-106c可访问的数据存储库中、用于生成结果、和/或用于将内容提供给客户端设备102a-102c。在一些方面中，服务器设备106a-106c可以包括用于确定传感器数据、输入交互信息、输入选项中的一个或多个的(或者用于支持由客户端设备102a-102c对传感器数据、输入交互信息、输入选项中的一个或多个的确定的)逻辑、规则集和/或数据。

图2图示了如本文中所描述的用于提供顺序双手触摸键入的示例性输入处理单元200的概览。由输入处理单元200实现的顺序双手触摸键入技术可以包括图1中描述的顺序双手触摸键入技术和输入。在备选示例中，单个系统(包括一个或多个组件，诸如处理器和/或存储器)可以执行分别在系统100和200中描述的处理。

参考图2，输入处理单元200可以包括ui202、传感器204、处理引擎206、呈现引擎208和模型210。ui202可以被配置为提供用于接收输入并且将信息呈现给一个或多个用户的接口。例如，ui202可以提供对提供用于从诸如传感器204的一个或多个源接收各种形式的输入的应用或服务的访问。传感器204可以被配置为检测对象或事件的一个或多个特性。在各方面中，传感器204可以检测对象的物理特性和/或对象相对于输入处理单元200的至少一部分的运动。例如，包括文字处理应用的移动电话可以包括多个传感器，诸如接近传感器、天线和相机。传感器可以单独地或组合地检测接近移动电话的输入区域的对象。例如，接近传感器可以基于在一个或多个时间间隔内针对手而记录的信号强度，检测到手正在接近输入区域。接近传感器可以结合天线使用以基于移动电话的周围的3d图像来检测哪只手(例如，右或左)和手指正在接近输入区域。类似地，相机可以结合接近传感器和/或天线使用以基于相机可见的一幅或多幅2d或3d图像(利用高度的确定性)来检测哪只手(例如，右或左)和手指正在接近(或移动远离)移动电话的输入区域。

处理引擎206可以被配置为处理传感器数据。在各方面中，处理引擎206可以从传感器204接收传感器数据。处理引擎206可以解析传感器数据以确定针对每个传感器而记录的传感器数据是否对应于相同的对象(例如，右手)和/或事件(例如，右手朝向显示区域的移动)。该确定可以通过比较例如由每个传感器针对对象而记录的时间戳、信号强度和/或协同数据来做出。当传感器数据被确定为对应于相同的对象或事件时，处理引擎206可以确定输入交互信息。输入交互信息可以使用模式匹配技术、图像识别、声波分析、规则集、模糊逻辑、经机器学习的模型、和/或一个或多个加权算法来确定。例如，传感器数据中的一幅或多幅图像可以被提供给图像识别引擎。图像识别引擎可以将传感器数据图像与已知的或可能的动作相互关联。例如，图像识别引擎可以将具有伸出食指的接近的左手的图像与按压键盘上的‘f’键相互关联。在至少一个示例中，相互关联可以包括将传感器数据图像(例如，手轨迹、手指角度、手指卷曲等)与数据存储库中的一个或多个带标签的图像进行比较。相互关联还可以包括使用比较数据和接收到的输入中的一个或多个来确定针对传感器数据图像的标签。在另一实例中，相互关联可以包括将一个或多个传感器数据图像作为输入提供给运动图像分类器。运动图像分类器可以顺序地布置传感器数据图像以重新创建或以其他方式预测例如键盘键按压。

作为另一示例，传感器数据中的一个或多个声波可以被提供给声波识别引擎。声波标识别擎可以将传感器数据声波与已知的或可能的动作相互关联。例如，声波识别引擎可以使用声波分类器来确定一个或多个声波与触摸输入处理单元200的显示区域的特定手指相对应。在至少一个示例中，声波分类器还可以确定声波与显示区域的特定区域(例如，中间排按键、顶排按键等)相对应。基于这样的确定，声波识别引擎可以生成或访问手指使用的概率分布。传感器数据声波可以与手指使用的概率分布进行比较以推测哪根手指被使用和/或候选键中的哪个是意图的目标。作为另一示例，传感器数据中的一幅或多幅图像可以被提供给文本推测引擎。文本推测引擎可以使用先前确定的键和/或短语来将传感器数据图像与可能的用户意图相互关联。例如，鉴于‘q’键先前被按压，文本推测引擎可以将具有伸出食指的接近的右手与按压键盘上的‘u’键(而非‘j’键)相互关联。

呈现引擎208可以被配置为确定输入模式。在各方面中，呈现引擎208可以从处理引擎206接收输入交互信息。呈现引擎208可以使用接收到的输入交互信息来确定与输入处理单元200和/或ui202相关联的一个或多个输入模式。例如，呈现引擎208可以确定按压键盘上的‘f’键的意图对应于键盘的左侧。结果，呈现引擎208可以经由ui202生成和/或呈现表示键盘的左半边的交互式屏幕上键盘。在示例中，由呈现引擎208生成和/或呈现的键盘可以表示整个键盘或键盘的部分(例如，键盘的一半、数字板、功能键等)。附加地，呈现引擎208可以用交替布局(例如，qwerty、hcesar等)并且以交替格式(例如，传统的、基于多媒体的、人体工程学的等)来显示键盘。在至少一个示例中，当键盘的对应部分(例如，左侧或右侧)使用输入交互信息被确定时，键盘可以被呈现为从例如显示区域的一侧俯冲(swoop)的叠加。在另一示例中，在ui202中可见的键盘的部分可以基于输入交互信息中的意图被放大以选择键盘的对应部分。在又一示例中，呈现引擎208可以不呈现键盘。代替地，输入可以基于输入交互信息被直接录入到ui202中。

模型210可以被配置为预测用户输入。在各方面中，模型210可以被训练以预测/推测用户输入，使用传感器数据、输入交互信息和/或先前用户输入来标识对象和/或分类对象。例如，针对特定手指序列的传感器数据可以由输入处理单元200接收。如以上所描述的，候选键可以使用手指序列来生成。候选键可以作为输入被提供给模型210。模型210可以针对每个条目(例如，图像、视频、接近度信号、声波等)分析手指序列中的候选键。基于所分析的候选键，模型210可以使用例如n-gram(n元语法)似然技术或其他预测分析技术来提供一个或多个潜在的词和/或句子候选作为输出。在至少一个示例中，词和/或句子候选可以由自动完成、拼写检查和/或语法工具来使用。模型210可以经由ui202来呈现候选。模型210还可以被配置为支持输入模式选择。在一些方面中，模型210可以将键、词和/或句子候选提供给输入处理单元200的其他组件。例如，模型210可以将词候选提供给呈现引擎208。基于词候选，呈现引擎208可以确定输入模式的可能序列以进行显示。可能的输入模式可以然后被高速缓存或者以其他方式被预加载在输入处理单元200上以在用户输入期间减少处理时间和提高用户体验。

图3图示了如本文中所描述的提供顺序双手触摸键入的示例方法。在各方面中，方法300可以由诸如图1的系统100的示例性系统执行。在示例中，方法300可以在包括被配置为存储和执行操作、程序或指令的至少一个处理器的设备上执行。然而，方法300不限于这样的示例。在其他的一些示例中，方法300可以在用于提供对用户输入的存储和/或操纵的应用或服务上执行。在至少一个示例中，方法300可以由诸如web服务/分布式网络服务(例如，云服务)的分布式网络的一个或多个组件执行(例如，计算机实现的操作)。

示例性方法300在操作302处开始，其中可以由诸如输入处理单元200的计算设备检测对象。在各方面中，客户端设备可以包括传感器，诸如传感器204。传感器中的一个或多个可以检测一个或多个对象关于客户端设备的移动。例如，移动电话可以包括至少两个传感器，接近传感器和相机。接近传感器可以基于在一段时间内针对对象的变化的信号强度来检测对象的接近。例如，接近传感器可以发射对象所穿过的电磁场。基于返回信号的一个或多个减少，接近传感器可以确定对象正在接近传感器(并且由此正在接近移动电话)。在接近传感器检测期间，相机还可以基于由图像传感器采集的视觉数据来检测对象。例如，相机可以捕获从移动电话的左侧接近显示区域的对象的图像数据。在一些方面中，输入处理单元200可以记录和/或收集传感器数据并且将传感器数据存储在一个或多个数据存储库中。

在操作304处，可以确定输入交互信息。在各方面中，传感器数据可以由诸如处理引擎206的处理组件接收。处理组件可以解析传感器数据以将传感器数据排序和/或分组成一个或多个事件。在示例中，事件可以对应于时间段或用户会话以及由一个或多个传感器对一个或多个对象的检测。解析的数据可以用于确定针对事件的输入交互信息。例如，处理组件可以将传感器数据的一个或多个部分与带标签的数据集进行比较(或者引起进行比较)。比较可以使用处理组件可访问的一个或多个模型，诸如图像识别模型、图像运动识别模型、声波识别模型、显示屏电容模型等。在至少一个示例中，比较可以包括将捕获的图像数据作为输入提供给模型，该模型可操作以针对与捕获的图像数据中的图像匹配(或相对匹配)的图像来搜索数据存储库图像。当检测到匹配时，捕获的图像数据中的图像可以被分配给或者以其他方式与匹配的数据存储库图像的标签相关联。相关联的标签可以然后用于标识捕获的图像数据中的对象。例如，捕获的图像数据中的图像可以对应于标记有“具有食指伸出的左手”的数据存储库图像。结果，捕获的图像数据中的对象可以被标识为左手。在一些方面中，数据存储库图像可以附加地包括上下文数据或者与上下文数据相关联。例如，数据存储库可以包括对应于上下文(诸如键入动作、手语动作等)的手的相同(或相似)图像。在这样的示例中，捕获的图像数据中的对象可以附加地与“键入”上下文相关联并且因此被标识为按压对应的键盘键(例如，由左手食指可及的键盘键)。

在操作306处，可以确定输入选项。在各方面中，输入交互信息可以由诸如呈现引擎208的呈现组件接收。呈现组件可以使用输入交互信息来确定一个或多个输入模式、布局和/或格式。在示例中，呈现组件可以解析捕获的图像数据和/或输入交互信息来标识和/或确定对应于图像的标签或标识符。至少基于标签或标识符，呈现组件可以生成或选择对应的输入模式。例如，呈现组件可以解析捕获的图像数据以标识被标记有“具有食指伸出的左手”并且被分配了“键入”上下文的对象。基于键入上下文，键盘可以从输入处理单元200可访问的输入模型的列表中被选择。另外，基于标签，包括键盘的左半边的布局可以被选择。在一些方面中，所选择的输入模式和布局可以经由诸如ui202的接口被显示在客户端设备上。在一个示例中，输入模式可以被呈现为从界面或显示区域的边缘俯冲入的叠加图像。在另一示例中，输入模式可以在界面上可见并且可以基于输入交互信息被放大。例如，键盘可以在移动电话的界面上可见。基于由移动电话对具有伸出的食指的左手的检测，呈现组件可以放大键盘的左半边或者食指可用的候选键。在至少一个示例中，候选键可以被放大以反映标准计算机键盘上的键盘键的近似尺寸。

在操作308处，可以训练模型。在各方面中，计算设备可以具有对诸如模型210的一个或多个预测模型的访问。在至少一个方面中，预测模型可以是以上关于操作304描述的模型中的一个。在示例中，模型可以接收传感器数据、输入交互信息和输入选项中的至少一项作为输入(并且因此使用其来训练)。接收到的输入可以训练模型以将对象和用户意图相互关联和/或确定或推测词、句子和输入模式选项。例如，模型可以接收与经由输入选项而接收到的用户输入相对应的传感器数据。基于用户对输入的接受，模型可以生成或者确定传感器数据与用户输入之间的相互关联。模型可以然后使用相互关联来标识后续接收的传感器数据。例如，传感器数据可以包括与具有伸出的食指的左手相对应的图像。该图像可以导致捕获与在键盘上的‘f’键相对应的用户输入。在输入已经由用户批准(例如，‘f’未由用户修改，用户继续录入输入等)之后，模型可以接收图像(例如，左手)和输入(例如，‘f’)作为输入。模型可以生成图像与输入之间的相互关联，使得模型将与图像匹配(或基本上匹配)的后续接收的图像与‘f’字符相关联。在一些示例中，图像分类器或图像识别技术可以用于确定图像是否匹配(或者基本上匹配)。

在另一示例中，模型可以经由一个或多个输入选项来接收用户输入。模型可以使用接收到的用户输入来预测或确定候选键、词和/或句子。例如，模型可以接收表示词的部分的用户输入或具有对表示词的部分的用户输入的访问。模型可以使用预测技术来从输入确定一个或多个候选词，预测技术诸如n-gram建模、自然语言分类器、决策树、k近邻算法、支持向量机等。候选词可以经由用户接口呈现和/或被提供给例如文字处理工具(例如，自动完成、拼写检查、语法等)。在另一实例中，模型可以接收表示句子的部分的用户输入或具有对表示句子的部分的用户输入的访问。模型可以访问相关联的输入交互信息以使用以上描述的预测技术中的一个或多个来从输入推测意图的句子。在一个具体示例中，所推测的句子可以对应于具有表示用户意图的最高概率的句子，如图4中所图示的。

在又一示例中，经由一个或多个输入选项来接收用户输入的模型可以使用接收到的用户输入来预测或确定一个或多个用户输入模式。例如，模型可以接收用户输入“chris”。模型可以确定针对词“chris”的手指序列对应于在键盘的左侧上用于该词的第一个字母、第三个字母和第五个字母的按键，以及在键盘的右侧上用于该词的第二个字母和第四个字母的按键。结果，模型可以确定(或者使得计算设备的组件中的一个组件确定)针对词“chris”的输入选项(例如，键盘半边)应当以顺序的次序(例如，左-右-左-右-左)被显示。基于该确定，呈现组件可以对输入选项序列进行高速缓存和/或预加载。在至少一个示例中，模型可以检测并且高速缓存频繁使用的词或联系人。在这样的示例中，当确定频率使用的词将(或当前正在)被录入时，所高速缓存的输入选项序列可以被访问以减少由计算设备需要的处理时间和资源。

图5-图8和相关联的描述提供本公开内容的各方面可以被实践于其中的各种操作环境的讨论。然而，参考图5-图8所图示和讨论的设备和系统是出于示例和说明的目的，并且不限制可以用于实践本文中描述的本公开内容的各方面的巨大量的计算设备配置。

图5是图示可以利用其来实施本公开内容的各方面的计算设备500的物理组件(例如，硬件)的框图。下面描述的计算设备组件可以适合于以上描述的计算设备，包括客户端计算设备102a-102c和服务器计算设备106a-106c。在基本配置中，计算设备500可以包括至少一个处理单元502和系统存储器504。取决于计算设备的配置和类型，系统存储器504可以包括但不限于易失性存储设备(例如，随机存取存储器)、非易失性存储设备(例如，只读存储器)、闪存、或这样的存储器的任何组合。系统存储器504可以包括操作系统505和适合于运行软件应用520的一个或多个程序模块506，诸如由本文中描述的系统支持的一个或多个组件。操作系统505例如可以适合于控制计算设备500的操作。另外，本公开内容的实施例可以结合图形库、其他操作系统、或任何其他应用程序来实践并且不限于任何具体应用或系统。该基本配置通过虚线508内的那些组件被图示在图5中。计算设备500可以具有附加的特征或功能。例如，计算设备500还可以包括附加的数据存储设备(可移除的和/或不可移除的)，诸如，例如磁盘、光盘或磁带。这样的附加存储设备通过可移除存储设备509和不可移除存储设备510被图示在图5中。

如以上所述，许多程序模块和数据文件可以被存储在系统存储器504中。尽管在处理单元502上执行，但是程序模块506(例如，应用520)可以执行包括但不限于如本文中所描述的各方面的过程。可以根据本公开内容的各方面被使用的其他程序模块可以包括电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片应用、绘图或计算机辅助应用程序等。

另外，本公开内容的实施例可以被实践在电子电路中或者被实践在包含电子元件或微处理器的单个芯片上，电子电路包括分立电子元件、包含逻辑门的封装或集成的电子芯片、利用微处理器的电路。例如，本公开内容的实施例可以经由片上系统(soc)被实践，其中图5中图示的组件中的每个或许多可以被集成到单个集成电路上。这样的soc设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元以及各种应用功能，其全部被集成(或“烧”)到芯片衬底上作为单个集成电路。当经由soc操作时，本文中关于客户端到交换协议的能力描述的功能可以经由与计算设备500的其他组件一起集成在单个集成电路(芯片)上的专用逻辑来操作。本公开内容的实施例还可以使用能够执行诸如例如与(and)、或(or)和非(not)的逻辑操作的技术(包括但不限于机械、光学、流体和量子技术)来实践。另外，本公开内容的实施例可以被实践在通用计算机内或任何其他电路或系统中。

计算设备500还可以具有一个或多个输入设备512，诸如键盘、鼠标、笔、声音或语音输入设备、触摸或轻扫输入设备等。诸如显示器、扬声器、打印机等的(一个或多个)输出设备514也可以被包括。前述设备是示例并且可以使用其他设备。计算设备500可以包括允许与其他计算设备550进行通信的一个或多个通信连接516。合适的通信连接516的示例包括但不限于射频(rf)发射机、接收机、和/或收发机电路；通用串行总线(usb)、并行和/或串行端口。

如本文中所使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括以任何方法或技术实现的用于存储诸如计算机可读指令、数据结构、或程序模块的信息的易失性介质和非易失性介质、可移除介质和不可移除介质。系统存储器504、可移除存储设备509、以及不可移除存储设备510均是计算机存储介质示例(例如，存储器存储设备)。计算机存储介质可以包括ram、rom、电可擦只读存储器(eeprom)、闪存或其他存储器技术、cd-rom、数字多用盘(dvd)或其他光学存储设备、磁带盒、磁带、磁盘存储设备或其他磁性存储设备、或者能够被用于存储信息并且能够由计算设备500访问的任何其他制品。任何这样的计算机存储介质可以是计算设备500的一部分。计算机存储介质不包括载波或者其他传播或经调制的数据信号。

通信介质可以由计算机可读介质、数据结构、程序模块或诸如载波或其他传输介质的经调制的数据信号中的其他数据来实施，并且包括任何信息递送介质。术语“经调制的数据信号”可以描述具有以便于在信号中编码信息的方式设置或改变的一个或多个特性的信号。作为示例而非限制，通信介质可以包括诸如有线网络或直接有线连接的有线介质和诸如声学、射频(rf)、红外和其他无线介质的无线介质。

图6a和图6b图示了可以利用其来实践本公开内容的实施例的移动计算设备600，例如移动电话、智能电话、可穿戴计算机(诸如智能手表)、平板计算机、膝上型计算机等。在一些方面中，客户端可以是移动计算设备。参考图6a，图示了用于实现各方面的移动计算设备600的一个方面。在基本配置中，移动计算设备600是具有输入元件和输出元件两者的手持式计算机。移动计算设备600通常包括显示器605和允许用户将信息录入到移动计算设备600中的一个或多个输入按钮610。移动计算设备600的显示器605还可以用作输入设备(例如，触摸屏显示器)。在被包括的情况下，可选的侧面输入元件615允许另外的用户输入。侧面输入元件615可以是旋转开关、按钮、或任何其他类型的手动输入元件。在备选方面中，移动计算设备600可以包含更多或更少的输入元件。例如，在一些实施例中，显示器605可以不是触摸屏。在又一备选实施例中，移动计算设备600是便携式电话系统，诸如蜂窝电话。移动计算设备600还可以包括可选的小键盘635。可选的小键盘635可以是物理小键盘或在触摸屏显示器上生成的“软”小键盘。在各种实施例中，输出元件包括用于示出图形用户界面(gui)的显示器605、视觉指示器620(例如，发光二极管)和/或音频换能器625(例如，扬声器)。在一些方面中，移动计算设备600包含用于向用户提供触觉反馈的振动换能器。在又一方面中，移动计算设备600包含输入端口和/或输出端口，诸如音频输入(例如，麦克风插孔)、音频输出(例如，头戴式耳机插孔)以及视频输出(例如，hdmi端口)，以用于将信号发送给外部设备或从外部设备接收信号。

图6b是图示了移动计算设备的一个方面的架构的框图。即，移动计算设备600可以包含系统(例如，架构)602以实现一些方面。在一个实施例中，系统602被实现为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息发送客户端、游戏、以及媒体客户端/播放器)的“智能电话”。在一些方面中，系统602被集成为计算设备，诸如集成的个人数字助理(pda)和无线电话。

一个或多个应用程序666可以被加载到存储器662中并且在操作系统664上运行或者与操作系统664相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(pim)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息发送程序等。系统602还包括在存储器662内的非易失性存储区域668。非易失性存储区域668可以用于存储在系统602被关机的情况下不应当丢失的永久信息。应用程序666可以使用非易失性存储区域668中的信息并且将信息存储在非易失性存储区域668中，信息诸如由电子邮件应用使用的电子邮件或其他消息等。同步应用(未示出)也驻留在系统602上并且被编程为与驻留在主机计算机上的对应的同步应用交互，以保持存储在非易失性存储区域668中的信息与存储在主机计算机处的对应信息同步。如应当认识到的，其他应用可以被加载到存储器662中并且在本文中描述的移动计算设备60上运行(例如，搜索引擎、提取器模块、相关性排序模块、回答评分模块等)。

系统602具有电源670，其可以被实现为一个或多个电池。电源670还可以包括外部功率源，诸如补充电池或对电池再充电的ac适配器或供电对接托架。

系统602还可以包括执行发射和接收射频通信的功能的无线电接口层672。无线电接口层672支持经由通信载体或服务提供方的在系统602与“外部世界”之间的无线连接性。到达和来自无线电接口层672的传输在操作系统664的控制下进行。换言之，由无线电接口层672接收的通信可以经由操作系统664被散播到应用程序666，反之亦然。

视觉指示器620可以用于提供视觉通知，和/或音频接口674可以用于经由音频换能器625产生可听通知。在图示的实施例中，视觉指示器620是发光二极管(led)，并且音频换能器625是扬声器。这些设备可以被直接地耦合到电源670，使得当被激活时，它们保持接通由通知机制指示的持续时间，即使处理器660和其他组件可能关机以节省电池电力。led可以被编程为无限期地保持接通，直到用户采取动作以指示设备的接通状态。音频接口674用于将可听信号提供给用户并且从用户接收可听信号。例如，除了被耦合到音频换能器625，音频接口674还可以被耦合到麦克风以接收可听输入，诸如以支持电话交谈。根据本公开内容的实施例，麦克风还可以充当音频传感器以支持通知的控制，如下面将描述的。系统602还可以包括使得机载相机630能够进行记录静态图像、视频流等的操作的视频接口676。

实现系统602的移动计算设备600可以具有附加的特征或功能。例如，移动计算设备600还可以包括附加的数据存储设备(可移除的和/或不可移除的)，诸如磁盘、光盘或磁带。这样的附加存储设备通过非易失性存储区域668被图示在图6b中。

由移动计算设备600生成或捕获并且经由系统602存储的数据/信息可以被本地存储在移动计算设备600上，如以上所描述的，或者数据可以被存储在任何数目的存储介质上，存储介质可以由设备经由无线电接口层672或经由移动计算设备600与关联于移动计算设备600的单独计算设备(例如，诸如互联网的分布式计算网络中的服务器计算机)之间的有线连接访问。如应当认识到的，这样的数据/信息可以通过移动计算设备600经由无线电接口层672或经由分布式计算网络来访问。类似地，这样的数据/信息可以根据公知的数据/信息传输和存储单元(包括电子邮件和协作数据/信息共享系统)容易地在计算设备之间传输以用于存储和使用。

图7图示了用于如以上所描述的那样处理在计算系统处从诸如个人计算机704、平板计算设备706、或者移动计算设备708的远程源接收到的数据的系统的架构的一个方面。在服务器设备702处显示的内容可以被存储在不同的通信信道或者其他存储类型中。例如，各种文档可以使用目录服务722、web门户724、邮箱服务726、即时消息发送存储库728或者社交联网站点730来存储。服务器设备702可以通过网络715将数据提供给客户端计算设备并且从客户端计算设备提供数据，客户端计算设备诸如个人计算机704、平板计算设备706和/或移动计算设备708(例如，智能电话)。作为示例，以上描述的计算机系统可以被实施在个人计算机704、平板计算设备706和/或移动计算设备708(例如，智能电话)中。除了接收可用于在图形发源系统处预处理或者在接收计算系统处后处理的图形数据之外，计算设备的这些实施例中的任何实施例可以获得来自存储库716的内容。

图8图示了可以执行本文中公开的一个或多个方面的示例性平板计算设备800。另外，本文中描述的方面和功能可以在分布式系统(例如，基于云的计算系统)之上操作，其中应用功能、存储器、数据存储和检索以及各种处理功能可以在诸如互联网或内联网的分布式计算网络上彼此远程地操作。用户接口和各种类型的信息可以经由板载计算设备显示器或经由与一个或多个计算设备相关联的远程显示单元被显示。例如，用户接口和各种类型的信息可以被显示在用户接口和各种类型的信息被投影到其上的墙壁表面上并且与之交互。与可以利用其来实践本发明的实施例的许多计算设备的交互包括击键录入、触摸屏录入、语音或其他音频录入、手势录入，其中相关联的计算设备配备有用于捕获并解读用于控制计算设备的功能的用户手势的检测(例如，相机)功能等。

例如，以上参考根据本公开内容的方面的方法、系统和计算机程序产品的框图和/或操作图示来描述了本公开的方面。在框中指出的功能/动作可以以与任何流程图中示出的不同的顺序来进行。例如，取决于涉及的功能/动作，连续示出的两个框实际上可以基本上同时地被执行，或框可以有时以相反的顺序被执行。

对本申请中提供的一个或多个方面的描述和说明不旨在以任何方式限制或约束所要求保护的公开内容的范围。本申请中提供的方面、示例或细节被认为足以传达所有权并且使得其他人能够制作和使用要求保护的公开内容的最好模式。要求保护的公开内容不应当被解释为限于本申请中提供的任何方面、示例或细节。不管是组合地还是单独地示出和描述，各种特征(结构和方法两者)旨在被选择性地包括或省略以产生具有特定特征集的实施例。已经提供了对本申请的描述和说明，本领域技术人员可以设想落在本申请中实施的总体发明构思的更宽方面的精神内的未脱离要求保护的公开内容的更宽范围的变型、修改和备选方面。