由键盘作出的搜索查询预测的制作方法

文档序号:12837224阅读:192来源:国知局
由键盘作出的搜索查询预测的制作方法与工艺

本申请一般地涉及由键盘作出的搜索查询预测,并且具体地涉及用于使得计算设备能够基于利用图形键盘录入的文本来自动预测搜索查询并且在图形键盘内显示所预测的查询的技术。



背景技术:

尽管能够同时执行若干应用,一些移动计算设备一次只能呈现单个应用的图形用户界面(gui)。为了一次与多个应用交互,移动计算设备的用户可能不得不提供输入以在不同的应用gui间切换来完成特定任务。例如,移动计算设备的用户可能不得不停止在消息应用中录入文本,提供输入以使得设备切换到搜索应用,并且在搜索应用的gui处提供额外的输入以搜索用户可能需要完成撰写消息或者在消息应用中录入文本的特定消息块。提供一些计算设备所需要的若干输入以执行各个任务能够是乏味、重复、和耗时的。



技术实现要素:

在一个示例中,一种方法包括由在计算设备处执行的键盘应用输出包括多个键的图形键盘以供显示,基于从该多个键中选择一个或多个键的指示,由该键盘应用确定电子通信的文本,以及由该键盘应用至少部分地基于该文本来识别可搜索实体。所述方法进一步包括由该键盘应用基于该可搜索实体来生成搜索查询,以及由该键盘应用输出指示该计算设备生成了该搜索查询的图形指示以用于在所述图形键盘内显示。

在另一个示例中,一种移动设备,包括:存在敏感显示组件,至少一个处理器,以及存储与键盘应用相关联的指令的存储器。所述指令当被执行时,使得该至少一个处理器输出,包括多个键的图形键盘以用于在所述存在敏感显示组件处显示,基于在该存在敏感显示组件处检测到的从该多个键中选择一个或多个键的指示,确定电子通信的文本,以及至少部分地基于该文本来识别触发短语。这些指令当被执行时,进一步使得至少一个处理器基于该触发短语来生成搜索查询,以及在指示该计算设备生成了该搜索查询的图形指示以用于在该存在敏感显示组件处并且在该图形键盘内显示。

在另一个示例中,描述了一种方法,该方法包括:由在计算设备处执行的第一应用调用被配置来提供包括多个键的图形键盘的键盘应用以用于接收文本输入,由该键盘应用基于从该多个键中选择一个或多个键的指示来确定文本输入;由该键盘应用至少部分地基于该文本输入来识别可搜索实体,以及由该键盘应用基于该可搜索实体来生成搜索查询。此方法进一步包括:由该键盘应用输出指示该键盘应用生成了该搜索查询的图形指示以用于在该图形键盘内显示,以及响应于由该键盘应用接收对该搜索查询的选择的指示,由该该键盘应用发起在搜索应用处的基于该搜索查询的搜索。

在附图和下面的描述中阐述了一个或多个示例的细节。本公开的其他特征、目标、和优点根据说明书和附图以及根据权利要求将显而易见。

附图说明

图1是图示了依据本公开的一个或多个方面的、被配置来呈现具有整合的搜索特征的图形键盘的示例计算设备的概念图。

图2是图示了依据本公开的一个或多个方面的、被配置来呈现具有整合的搜索特征的图形键盘的示例计算设备的框图。

图3是图示了依据本公开的一个或多个技术的、输出图形内容以用于在远程设备处显示的示例计算设备的框图。

图4a-4e是图示了依据本公开的一个或多个方面的、被配置来呈现具有整合的搜索特征的图形键盘的示例计算设备的示例图形用户界面的概念图。

图5是图示了依据本公开的一个或多个方面的、被配置来呈现具有整合的搜索特征的图形键盘的计算设备的示例操作的流程图。

图6是图示了依据本公开的一个或多个方面的、被配置来呈现具有整合的搜索特征的图形键盘的计算设备的示例操作的流程图。

具体实施方式

大体上,本公开涉及用于使得计算设备能够基于利用图形键盘录入的文本来自动预测搜索查询并且在图形键盘内显示所预测的查询的技术。在各个实例中,这些技术还可以使得计算设备能够基于直接来自图形键盘内的所显示的查询来执行搜索,以获得可以与使用图形键盘录入的文本有关。例如,用户可以与键盘应用在存在敏感屏幕(例如,触摸屏)处所呈现的图形键盘交互。该交互可以与不同于搜索应用的通信应用或类似的应用相关联,例如作为消息或文本传送应用图形用户界面(gui)的一部分。随着计算设备检测与图形键盘相关联的输入(例如,随着用户录入消息),图形键盘应用可以从输入中确定词并且基于该词来识别可搜索的实体、词项或触发短语。键盘应用可以自动生成和显示从与可搜索的实体、词项或触发短语相关的额外信息中的一个或多个获得建议搜索查询。如果用户有兴趣基于所显示的查询来进行搜索,则他可以选择所建议的搜索查询并且使得键盘应用启动搜索(其可以可选地在计算设备上存储的内容上执行和/或由搜索引擎对与计算设备远程来存储的内容执行)。在一些示例中,在键盘应用内或通过键盘应用,计算设备可以将搜索结果作为键盘的一部分或代替键盘的一部分(例如代替图形键盘)来呈现。

通过提供包括具有整合的搜索查询预测的图形键盘的gui,一种示例计算设备可以为用户提供一种方式以供用户快速获得与该用户已经在图形键盘处提供的输入有关的搜索结果而无需在若干不同的应用和应用gui之间切换、重新键入已经在图形键盘处输入的文本、或者由他或她自己来想出相关的搜索查询。以这种方式,本公开的技术可以降低获得搜索结果所需的用户输入的数目和时间量,其可以简化用户体验并且可以降低计算设备的功耗。

整个公开中,描述了示例,其中仅在计算设备的用户提供许可来分析信息的情况下,应用、计算设备和/或计算系统才分析与该计算设备和该计算设备的用户相关联的信息(例如,在图形键盘处录入的文本、场境(context)、位置、速度、搜索查询等)。例如,在下面所讨论的情境中,在应用之前,计算设备或计算系统能够收集或可以利用与用户相关联的信息,可以向用户提供机会来提供输入以控制应用、计算设备和/或计算系统是否能够收集和利用用户信息(例如,关于在图形键盘处录入的文本的信息等),或规定应用、设备和/或系统是否和/或如何接收与用户相关的内容。此外,在其被应用、计算设备和/或计算系统存储或使用前,某些数据可以被以一种或多种方式处理,使得个人可识别信息被去除。例如,用户身份可以被处理以使得无法确定关于用户的个人可识别信息,或者用户的物理位置可以在获得位置信息的情况下被一般化(诸如到城市、邮政编码、或州层级),使得无法确定用户的特定位置。因此,用户可以控制关于用户的信息如何被收集以及如何被计算设备和计算系统使用。

图1是根据本公开一个或多个方面的、图示了被配置来呈现具有整合的搜索特征的图形键盘的示例计算系统110的概念图。计算设备110可以表示移动设备,诸如智能电话、平板计算机、膝上型计算机、计算化手表、计算化眼镜、计算机手套、或任何其他类型的便携式计算设备。计算设备110的额外示例包括台式计算机、电视、个人数字助理(pda)、便携式游戏系统、媒体播放器、电子书阅读器、移动电视平台、汽车导航和娱乐系统、载具(例如,汽车、飞行器、或其他载具)座舱显示、或可以输出图形键盘以供显示的其他任何类型的可穿戴式和非可穿戴式、移动或非移动计算设备。

计算设备110包括存在敏感显示器(psd)112、用户界面(ui)模块120和键盘模块122。模块120和122可以使用软件、硬件、固件、或驻留在计算设备110中和/或在其处执行的硬件、软件、和固件的混合执行所描述的操作。计算设备110的一个或多个处理器可以执行存储在计算设备110的存储器或其他非易失性存储介质处的指令以执行模块120和122的操作。计算设备110可以作为在底层硬件上执行的虚拟机来执行模块120和122。模块120和122可以作为操作系统或计算平台的一个或多个服务执行。模块120和122可以在计算平台的应用层处作为一个或多个可执行程序来执行。

计算设备110的psd112可以充当计算设备110的相应的输入和/或输出设备。psd112可以使用各个技术来实现。例如,psd112可以充当使用存在敏感输入屏的输入设备,诸如电阻触摸屏、表面声波触摸屏、电容触摸屏、投射电容触摸屏、压力敏感屏、声学脉冲识别触摸屏、或另一存在敏感显示技术。psd112还可以充当使用任何一个或多个显示设备的输出(例如显示)设备,诸如液晶显示器(lcd)、点矩阵显示器、发光二极管(led)显示器、有机发光二极管(oled)显示器、电子墨水、或类似的能够输出可视信息给计算设备110的用户的单色或彩色显示器。

psd112可以从相应的计算设备110的用户检测输入(例如,触摸或非触摸输入)。psd112可以通过从用户检测一个或多个手势来检测输入指示(例如,用户利用手指或触控笔在psd112的一个或多个位置处触摸、指点、和/或轻扫)。psd112可以以用户界面(例如,用户界面114)的形式向用户输出信息,该用户界面可以与由计算设备110提供的功能相关联。这样的用户界面可以与在计算设备110处执行或可从其访问的计算平台、操作系统、应用、和/或服务(例如,电子消息应用、聊天应用、互联网浏览器应用、移动或桌面操作系统、社交媒体应用、电子游戏、或其他类型的应用)相关联。例如,psd112可以呈现用户界面114,如图1所示,该用户界面114是在计算设备110处执行的聊天应用的图形用户界面,并且包括在psd112的各个位置处显示的各个图形元素。

如图1所示,用户界面114是一种聊天用户界面。但是,用户界面114可以是任何包括整合搜索特征的图形键盘的图形用户界面。用户界面114包括输出区域116a、图形键盘116b、和编辑区域116c。计算设备110的用户可以在图形键盘116b处提供输入以在编辑区域116c内产生形成输出区域116a内所显示的电子消息的内容的文本字符。在输出区域116a内显示的消息在计算设备110的用户与不同的计算设备的用户之间组成聊天对话。

ui模块120管理与psd112和计算设备110的其他组件的用户交互。换言之,ui模块120可以充当计算设备110的各个组件之间的中介以基于由psd112检测的用户输入来作出确定并且响应于该用户输入而在psd112处生成输出。ui模块120可以从计算设备110的应用、服务、平台、或其他模块接收指令以使得psd112输出用户界面(例如,用户界面114)。ui模块120可以在用户查看psd112处呈现的用户界面并且与其交互时管理由计算设备110接收的输入并且响应于从应用、服务、平台、或处理用户输入的计算设备110的其他模块接收额外的指令而更新该用户界面。

键盘模块122表示在计算设备110处执行或其可访问的应用、服务、或组件,该键盘模块122向计算设备110提供具有整合的搜索特征的图形键盘,该搜索特征包括搜索查询预测和执行。键盘模块122可以在以文本录入模式或搜索模式来操作之间切换,在文本录入模式中键盘模块122类似于传统图形键盘来工作或,在搜索模式下键盘模块122执行各个整合的搜索功能或与一个或多个搜索应用或功能对接。

在一些示例中,键盘模块122可以是在计算设备110处执行的独立的应用、服务、或模块,并且,在其他的示例中,键盘模块122可以是充当其他应用或设备功能的服务的子组件。例如,键盘模块122可以被整合至在计算设备110处执行的聊天或消息传送应用中,而在其他的示例中,键盘模块122可以是任何时候计算设备110的应用或操作平台需要图形键盘输入功能时由应用或操作平台调用的独立应用或子例程。在一些示例中,计算设备110可以从服务提供者的应用存储库中(例如经由互联网)下载和安装键盘模块122。在其他的示例中,键盘模块122可以在计算设备110的生产期间被预加载。

在文本录入模式下操作时,计算设备110的键盘模块122可以执行被用于文本录入的传统的、图形键盘操作,诸如:生成用于在psd112处显示的图形键盘布局、将在psd112处所检测的输入映射至对图形按键的选择、基于所选择的键来确定字符、或者基于根据所选择的键而确定的字符来预测或自动校正词和/或短语。

图形键盘116b包括被显示为图形键118a的图形元素。键盘模块122可以向ui模块120输出指定用户界面114内的图形键盘116b的布局的信息。例如,该信息可以包括指定位置、大小、颜色、以及其他图形键盘118a的特性的指令。基于从键盘模块122接收的信息,ui模块120可以使得psd112显示图形键盘116b以作为用户界面114的一部分。

图形键118a中的每个键可以与在该键内显示的一个或多个特征相关联(例如,字母、数字、标点、或其他字符)。计算设备110的用户可以在psd112的显示图形键118a中的一个或多个的位置处提供输入,以将内容(例如,字符、搜索结果等)输入至编辑区域116c(例如,用于撰写在输出区域116a内被发送和显示的消息或用于输入计设备110从图形键盘116b内执行的搜索查询)。键盘模块122可以从指示与由psd112检测的输入相关联的位置的ui模块120接收信息,该位置与图形键中的每一个的位置相关。使用空间和/或语言模型,键盘模块122可以将该输入转化为对键和字符、词、和/或短语的选择。

例如,当计算设备110的用户在psd112呈现图形键118a的psd112的位置处或附近提供用户输入时,psd112可以检测用户的输入。用户可以在图形键118a处键入以在编辑区域116c处录入短语“wanttogetdinner?(想去吃饭吗?)”。ui模块120可以从psd112接收由psd112检测的用户输入的指示并且向键盘模块122输出关于用户输入的信息。关于用户输入的信息可以包括由psd112检测的一个或多个触摸事件的指示(例如,关于输入的位置或其他信息)。

基于从ui模块120接收的信息,键盘模块122可以将在psd112处的所检测的输入映射至对图形键118a的选择,基于所选择的键118a来确定字符,并且预测或自动校正基于与所选择的键118a相关联的字符来确定的词和/或短语。例如,键盘模块122可以包括空间模型,该空间模型可以基于键118a的位置和关于输入的信息来确定最有可能被选择的一个或多个键118a是所述键。响应于确定最有可能被选择的一个或多个键118a,键盘模块122可以确定一个或多个字符、词、和/或短语。例如,根据在psd112处的用户输入所选择的一个或多个键118a中的每一个可以表示个体的字符或键盘操作。键盘模块122可以基于该一个或多个所选择的键118a来确定所选择的字符序列。在一些示例中,键盘模块122可以将语言模型应用至字符序列以确定用户正视图基于对键118a的选择来输入的一个或多个最有可能的候选字母、语素9、词、和/或短语。在图1的示例中,键盘模块122可以确定与短语“wanttogetdinner?”的字母相对应的字符序列。

键盘模块122可以发送字符序列和/或候选词和短语(例如,“wanttogetdinner?”)至ui模块120并且该ui模块120可以使得psd112将根据对一个或多个键118a的选择来确定的字符和/或候选词呈现为编辑区域116c内的文本。在一些示例中,当充当用于执行文本录入操作的传统键盘时并且响应于在图像键118a处接收用户输入(例如,当用户在图形键盘116b处键入以在编辑区域116c内录入文本时),键盘模块122可以使得ui模块120显示候选词和/或短语以作为在建议区域118b内的可选择的词或短语建议和/或一个或多个可选择的拼写校正。

除了执行被用于文本录入的传统的、图形键盘操作,计算设备110的键盘模块122还提供整合的搜索能力。即,不同于要求计算设备110的用户从提供图形键盘116b的用户界面114导航离开(例如,前往在计算设备110处执行或可从计算设备110访问的不同的应用或服务),键盘模块122能够在搜索模式下操作,在该模式下键盘模块122可以执行搜索操作——基于在图形键盘116b处录入的文本来预测和呈现搜索查询,并且在一个或多个可能的位置和格式呈现搜索,诸如在psd112的显示图形键盘116b的相同区域内的结果。

如上所指示,键盘模块122可以作为在计算设备110处执行的独立应用、服务、或模块或作为其中的单独的、整合的子组件来执行。因此,如果键盘模块122形成在计算设备110处执行的聊天或消息传送应用的一部分,则键盘模块122可以向聊天或消息传送应用提供文本录入能力以及搜索能力。类似地,如果键盘模块122是在计算设备110的应用或操作平台需要图形键盘输入功能的任何时间由应用或操作平台调用的独立应用或子例程,键盘模块122可以向进行调用的应用或操作平台提供文本录入能力以及搜索能力。

键盘模块122可以进一步以搜索模式来操作。当以搜索模式操作时,键盘模块122可以执行各个搜索相关的功能。例如,键盘模块122可以执行手动搜索(例如,布尔式、自然语言等)、生成并显示所预测的搜索查询、绘文字搜索、翻译、以及其他搜索相关的特征。

在一些示例中,当以搜索模式来操作时,键盘模块122可以使得图形键盘116b包括搜索元素118c。搜索元素118c表示用于手动调用图形键盘116b的各个搜索特征中的一个或多个的图形键盘116b的可选择的元素(例如图标、键等)。例如,通过选择搜索元素118c(例如,通过在在显示搜索元素118c的psd112的位置处或区域内轻敲或作手势),用户能够使得计算设备110调用各个整合的搜索特征中的一个或多个而无需用户明确导航至单独的应用、服务、或在计算设备110处执行或可从其访问的其他特征。

在一些示例中,搜索元素118c还可以被用作与搜索特征相关联的状态的指示符。例如,如果键盘模块122预测很可能产生与用户聊天对话相关的搜索结果的搜索查询,键盘模块122可以使得搜索元素118c闪现、跳动、变色、移动、或执行一些其他动画以指示被识别的搜索查询。

在一些示例中,当以搜索模式操作时,键盘模块122可以自动执行各个搜索功能而不管图形键盘116b是否包括搜索元素118c。例如,键盘模块122可以基于键盘模块122从用户输入推断的文本来预测搜索查询、确定转化、或生成其他建议的内容、并且在图形键盘116b内显示建议的内容。例如,键盘模块122可以配置建议区域118b,以代替键盘模块122从语言模型、字典(lexicon)、或词典(dictionary)推导的所预测的字符、词或短语或者其他主要语言学的信息或者除其以外,在搜素元素118c内将建议的内容(例如,所预测的搜索查询、所预测的表情符号或所谓的“绘文字”、其他建议的内容、或者任何其他图标符号)呈现为可选择的元素。换言之,不同于仅在建议区域118b内提供来自词典的拼写或词建议,计算设备110可以在建议区域118b内包括除了建议的语言内容外或者替代其的所建议的搜索相关的内容,计算设备110(或与设备110结合或通信的其他设备)在当前时间(例如在提供与电子通信相关的输入时)确定该搜索相关的内容可以协助用户。

当以搜索模式操作时,键盘模块122可以执行对可以与在当前时间使用图形键盘116b输入的文本有关的搜索查询的自动预测。换言之,键盘模块122可以使得计算设备110能够提供使用户快速获得处于建议的搜索或搜索结果的形式的信息的方法,该信息与用户已经在图形键盘116b处提供的输入相关,而无需在若干不同的应用或应用gui之间切换、重新键入已经在图形键盘116b处输入的文本、或由他或她自己来想出相关的搜索查询。键盘模块122可以自动生成和显示搜索查询(例如,在建议区域118c处)。如果用户有兴趣基于所显示的查询来进行搜索,则该用户能够可选地在psd112的显示建议的查询的位置处提供输入,以选择该搜索查询并且使得键盘模块122启动搜索。在一些示例中,键盘模块122能够使得ui模块120和psd112呈现搜索结果以替代图形键盘118a的一部分。

例如,如图1所示,计算设备110的用户可能想要作出与朋友共进晚餐的计划并且可以从用户界面114内与该朋友交换电子通信(例如消息)。用户可以通过在psd112的显示键118a的位置处提供手势输入来开始对话,并且键盘模块122的空间和/或语言模型可以基于该输入来确定与对键118a的选择相对应的手势输入以用于录入短语“workingmuchlonger?(要工作得更久吗?)”。用户可以在键118a的回车键的位置处提供输入并且作为反应,与用户界面114相关联的消息传送应用可以将包括文本“workingmuchlonger?”的电子通信发送至与该朋友相关联的计算设备。在从与该朋友相关联的计算设备接收到包括文本“nope,wrappingup(不,正在收拾)”的回覆消息后,消息传送应用可以在用户界面114内呈现该回覆的内容。

在一些示例中,键盘模块122可以启动对于存储在计算设备110处的信息的仅本地设备搜索而不访问诸如服务器的远程计算设备。例如,键盘模块122可以自己执行,或者可以调用本地存储的搜索模块,其针对由计算设备110存储的信息来执行。

在一些示例中,键盘模块122可以进行搜索。并且在一些示例中,键盘模块122可以依赖单独的设备资源或远程资源来完成搜索。例如,键盘模块122可以将用以执行搜索的指令与查询一起发送至在计算设备110处执行的内部搜索模块。并且在一些示例中,键盘模块122可以将用以执行搜索的指令与查询一起发送至在远程计算设备处执行的外部搜索模块,诸如服务器。在任一情况下,内部或外部搜索模块可以将搜索结果返回至键盘模块122。

计算设备110的用户可以进一步在psd112的显示图形键盘116b的位置处提供输入以选择一个或多个键118a以用于撰写给朋友的第二消息,该第二消息陈述了“wanttogetdinner?”。键盘模块122可以从ui模块120接收对一个或多个键118a的选择的指示(例如,一个或多个触摸事件)。

基于对一个或多个键118a的选择的指示,键盘模块122可以确定电子通信的文本。例如,键盘模块122的空间和/或语言模型可以将对与输入相关联的各个键选择转化为表示短语“wanttogetdinner?”的文本字符和/或词的字符串或序列。

键盘模块122可以至少部分地基于该文本来识别键盘模块122可以从其生成搜索查询的“可搜索实体”或“触发短语”。术语“可搜索实体”一般指代用户可以在句子中键入的可能被用作搜索的基础的任何描述符词或短语或名称。搜索实体的一些示例包括专业运动队、演员和其他名人、政治家的名称、品牌、电影、餐厅、地标、位置、或任何其他事件、景点、或潜在可能被搜索的事物。术语“触发短语”一般指代人们在讨论可搜索实体时使用的公共短语,而无需真正地命名该可搜索实体。例如,人们可能使用触发短语“letsgetdinner(我们去吃饭吧)”或简单的“dinner(饭)”而不是提及确切的餐厅或找到餐厅的期望。或者人们可能使用触发短语“what’sthescoreofthefootballgame(足球赛的比分是多少)”而不是提及具体的队名。

键盘模块122可以依赖于解析和分析在图形键盘116b处被输入的文本的各个“设备上(on-device)”注释器或文本分析引擎来检测用户是否已经在图形键盘116b处键入了一些内容是可搜索的。键盘模块122的注释器可以在计算设备110的一个或多个处理器处本地执行,而不像可以依赖于在远程计算系统(例如,服务器)处执行的远程注释器的其他传统搜索系统。通过依赖于设备上注释器,键盘模块122可以以看似近实时的方式来执行搜索查询预测以便避免用户在图形键盘116b处键入时可能具有的文本对话中的中断或落后。

在一些示例中,除了使用设备上注释器外或者作为其替选,键盘模块122可以通过依赖于设备外(off-device)注释器或远程注释器执行搜索查询预测。例如,键盘模块122可以访问云服务以用于通过向云发送由图形键盘116b推断的文本和/或其他关于计算设备110的信息来获得搜索查询预测,并且作为响应,接收一个或多个相关搜索查询。

使用全局模型和本地模型二者,键盘模块122的注释器可以解析在图形键盘116b处被录入的文本以便检测可搜索实体和触发短语。键盘模块122可以在模型中包括在聊天或文本消息传送对话中很可能会相关或者出现最频繁的那些实体和触发短语。键盘模块122可以将从在图形键盘116b处的用户输入所推断的文本提供至本地和/或全局模型并且接收一个或多个可搜索实体以作为来自该模型的输出。

全局模型可以使得键盘模块122的注释器能够识别跨各个地理位置公共的潜在有用的搜索实体(例如,国际品牌和名人)。本地模型可以使得键盘模块122的注释器能够识别跨越各个地理位置不同样公共但对于特定地理位置公共的潜在有用的搜索实体(例如,本地企业的名称、本地事件和景点、本地政治家等)。

键盘模块122可以响应于计算设备位置变化而自动下载所更新的本地模型。作为示例,键盘模块122的注释器可以将从对键118a的选择所辨别的文本作为输入提供至设备上的全局和本地模型并且接收可搜索实体的指示(例如,数据)以作为来自全局和本地模型的输出。

替选地或除了本地和全局模型之外,键盘模块122的注释器可以进一步依赖于人工智能和机器学习技术来以一定置信度来确定,用户是否在关于可搜索实体或触发短语来键入。例如,键盘模块122可以依赖于机器学习模型,其包括人工神经网络、递归神经网络、长短期记忆(lstm)模型、隐马尔可夫模型或者使用学习规则以一定确定度来确定在图形键盘116b处输入的文本是否与可搜索实体或触发短语相关的可信度的任何和全部其他类型的机器学习类型模型。例如,在lstm模型的情况中,lstm模型初始可以在多设备和多用户聊天对话上被训练以有把握地检测用户当前是否正在关于特定的、可搜索的实体或触发短语进行键入。在使用本地和/或全局模型来识别潜在可搜索的实体或触发短语后,键盘模块122的注释器可以使用lstm模型来确定,指派给可搜索实体或触发短语的分值指示该可搜索实体或触发短语与注释器从原始文本输入解析的的一个或多个词相关的概率。如果指派给可搜索实体或触发短语的分值满足阈值,则键盘模块122可以使用该可搜索实体或触发短语来生成查询。

在一些示例中,本地模型和/或全局模型可以确定与潜在可搜索实体或触发短语相关联的初始分值,并且键盘模块122可以使用lstm模型来加强或改善根据本地模型和/或全局模型所确定的初始分值。例如,由本地模型和/或全局模型确定的初始分值可以通过已经在聊天对话上被训练的键盘模块122的lstm模型来增加或降低,以有把握地检测用户正谈论特定实体。该lstm模型可以依赖于计算设备110的场境(context)信息以及(在聊天场境中)之前的消息和后续的消息的内容来以比本地模型或全局模型独自更大的把握来进行确定,用户是否在关于特定的可搜索实体或触发短语聊天。

除了识别可搜索实体以外,键盘模块122的本地模型和/或全局模型也可以建议在生成搜索查询中使用的归整短语(curatedphrase)。例如,键盘模块122可以将根据在图像键盘116b处的用户输入所推断的文本(例如,短语“wanttogetdinner?”)提供至本地模型和/或全局模型并且从该模型接收一个或多个归整短语作为输出。键盘模块i22可以将文本输入至本地模型并且响应于该本地模型将该短语识别为预定触发,键盘模块122可以从该本地模型接收归整短语“restaurantsnearme(我附近的餐厅)”作为输出。在一些示例中,键盘模块122的注释器可以进一步依赖于人工智能和机器学习技术以一定置信度来确定,用户是否正在关于特定的归整短语键入。例如,使用关于其他人在针对各个场境的聊天对话中键入的内容的一个或多个规则,该注释器可以基于文本输入和特定场境来生成用于推断归整短语的规则。使用该规则,注释器可以以一定确定度来预测用户是否正在聊关于“restaurantsnearme”、“foodnearby(附近的饮食)”、“moviesplayingatanearbytheater(附近影院在上映的电影)”、“directionstoaplace(去一个地点的路线指引)”或可以与该文本输入相关的一些其他归整短语。如果确定度(例如,可能性)满足阈值,则键盘模块122可以在产生查询中使用该归整短语。

键盘模块122可以基于可搜索实体或触发短语来生成搜索查询。例如,键盘模块122可以将来自注释器和全局模型和本地模型的输出格式化为在键盘模块122处执行或可从其访问的搜索引擎所识别的搜索查询格式。即,键盘模块122可以基于由模型识别的归整短语和搜索实体来生成自然语言或布尔搜索查询。为了与图1的示例一致,键盘模块122可以将“restaurants(餐厅)”识别为与文本“wanttogetdinner?”相关联的归整短语或可搜索实体。

键盘模块122可以输出图形指示来指示计算设备生成了搜索查询,以用于在图形键盘116内显示。例如,键盘模块122可以使得搜索元素118c闪现或改变格式、改变形状、改变颜色、移动、或执行其他动画以指示该搜索查询被识别。此外或替选地,键盘模块122可以将所生成的搜索查询的文本输出为蓝色的超级链接(例如,带下划线或不带下划线)。例如,如图1所示,键盘模块122使得ui模块120在建议区域118b内呈现搜索查询“restaurants”。作为键盘模块122确定了搜索查询的进一步的指示,键盘模块122可以使得ui模块120呈现与该搜索查询相关联的图标。例如,键盘模块122可以使得ui模块120在查询的文本语言旁边呈现与搜索查询的类别相关联的图标(例如,在建议区域118b内的词restaurants旁边的叉子和刀图标)。替选地,如图1所示的示例,psd112可以在建议区域118b内的词restaurants旁显示放大图标——该放大图标不与任何特定查询类别相关联。

在图形键盘116b内自动呈现搜索查询后,用户可以选择该搜索查询并且使得键盘模块122基于该查询来从用户界面114内执行搜索。例如,用户可以在psd112的显示建议区域118b的位置处提供轻敲或轻扫手势,并且响应于从ui模块120接收到轻敲或轻扫手势的指示,键盘模块122可以基于该查询来执行搜索。键盘模块122可以使得ui模块120在用户界面114内呈现搜索的结果,用户可以从所述用户界面114中选择该结果中的一个或多个并且将与该结果相关联的信息录入至新的电子消息。

通过提供包括具有整合的搜索查询预测的图形键盘的gui,示例计算设备可以为用户提供快速获得与用户已经在图形键盘处提供的输入相关的搜索结果的方法,而无需在若干不同的应用gui之间切换、重新键入已经在图形键盘处输入的文本、或者由他或她自己来想出相关的搜索查询之间切换。换言之,不像需要用户退出聊天应用gui并且在不同的搜索应用gui处提供随后的文本输入(例如,通过粘贴或重新键入先前在聊天应用中录入的文本)以搜索先前在该聊天应用处所录入的主题的其他计算设备,示例计算设备自动预测搜索查询并且执行该搜索查询而无需用户提供他或她在键入原始聊天消息时最初键入的内容以外的任何额外的输入。该搜索不限于原始消息的文本,而可以与该原始消息的主题有关。用这种方式,本公开的技术可以减少时间量和获得与聊天对话相关的搜索结果所需要的用户输入数目,其可以简化用户体验并且可以减少计算设备的功耗。

图2是依据本公开一个或多个方面的、图示了作为被配置来呈现具有整合的搜索特征的图形键盘的示例计算设备的计算设备210的框图。图2的计算设备210作为图1的计算设备110的示例而被描述如下。图2图示了计算设备210的仅一个特定示例,并且计算设备210的许多其他示例可以在其他实例中使用并且可以包括示例计算设备210中所包括的组件的子集或者可以包括图2中未示出的额外组件的组件。

如图2的示例所示,计算设备210包括psd212、一个或多个处理器240、一个或多个通信单元242、一个或多个输入组件244、一个或多个输出组件246、以及一个或多个存储组件248。存在敏感显示器212包括显示组件202和存在敏感输入组件204。计算设备210的存储组件248包括ui模块220、键盘模块222、以及一个或多个应用模块224。键盘模块122可以包括空间模型(“sm”)模块226、语言模型(“lm”)模块228、以及搜索模块230。存储设备248还包括本地模块232a和全局模块232b(统称为“模块232”)以及机器学习模块233(例如,lstm或其他机器学习模型)。通信信道250可以与组件212、240、242、244、246、和248中的每一个互连以用于组件间通信(物理上、通信上、和/或操作上)。在一些示例中,通信信道250可以包括系统总线、网络连接、进程间通信数据结构、或者用于传输数据的任何其他方法。

计算设备210的一个或多个通信单元242可以通过在该一个或多个网络上传输和/或接收网络信号来经由一个或多个有线和/或无线网络与外部设备通信。通信单元242的示例包括网络接口卡(例如,诸如以太网卡)、光学收发器、射频收发器、gps接收器、或者任何能够发送和/或接收信息的其他类型设备。通信单元242的其他示例可以包括短波无线电、蜂窝数据无线电、无线网络无线电、以及通用串行总线(usb)控制器。

计算设备210的一个或多个输入组件244可以接收输入。输入的示例为触觉、音频、和视频输入。在一个示例中,计算设备210的输入组件242包括存在敏感输入设备(例如,触敏屏幕,psd)、鼠标、键盘、语音响应性系统、视频相机、麦克风或用于检测来自人类或机器的输入的任何其他类型设备。在一些示例中,输入组件242可以包括一个或多个传感器组件、一个或多个位置传感器(gps组件、wi-fi组件、蜂窝组件)、一个或多个温度传感器、一个或多个移动传感器(例如,加速度计、陀螺仪)、一个或多个压力传感器(例如,气压计)、一个或多个环境光传感器、以及一个或多个其他传感器(例如,麦克风、相机、红外接近传感器、湿度计等)。其他传感器可以包括心率传感器、磁强计、葡萄糖传感器、湿度计传感器、嗅觉传感器、罗盘传感器、计步器、等其他非限制性示例。

计算设备110的一个或多个输出组件246可以生成输出。输出的示例为触觉、音频、和视频输出。在一个示例中,计算设备210的输出组件246包括psd、声卡、视频图形适配器卡、扬声器、阴极射线管(crt)监视器、液晶显示器(lcd)、或者用于向人类或机器生成输出的任何其他类型设备。

计算设备210的psd212可以与计算设备110的psd112类似并且包括显示组件202和存在敏感输入组件204。显示组件202可以是由psd212在其处显示信息的屏幕并且存在敏感输入组件204可以检测在显示组件202处和/或附近的物体。作为一个示例范围,存在敏感输入组件204可以检测一个物体,诸如在显示组件202的两英寸或更小内的手指或触控笔。存在敏感输入组件204可以确定显示组件202的检测到物体的位置(例如,[x,y]坐标)。在另一个示例范围中,存在敏感输入组件204可以检测距显示组件202六英寸或更小的对象并且其他范围也是可能的。存在敏感输入组件204可以确定通过用户的手指使用电容性、电感性、和/或光学识别技术来选择的显示组件202的位置。在一些示例中,存在敏感输入组件204如关于显示组件202所描述的使用触摸、音频、或视频刺激来向用户提供输出。在图2的示例中,psd212可以呈现用户界面(例如图1的图形用户界面114)。

尽管被图示为计算设备210的内部组件,psd212还可以表示与计算设备210共享数据路径以供传送和/或接收输入和输出的外部组件。例如,在一个示例中,psd212表示位于计算设备210外部封装物内并与其物理连接的计算设备210的内置组件(例如,移动电话上的屏幕)。在另一个示例中,psd212表示位于计算设备210的封装物或壳体外部并与其物理分离的计算设备210的外部组件(例如,与计算设备210共享有线/无线数据路径的监视器、投影仪等)。

计算设备210的psd212可以检测来自计算设备210的用户的二维和/或三维手势作为输入。例如,psd212的传感器可以检测在psd212传感器的阈值距离内的用户的移动(例如,移动手、手臂、笔、触控笔等)。psd212可以确定表示移动的二维或三维向量并且将所述向量表示与具有多维度的手势输入(例如,挥手(hand-wave)、捏、轻拍(clap)、挥笔(penstroke)等)相关联。换言之,psd212能够检测多维手势而无需用户在输出信息以供显示的psd212的屏幕或表面处或附近作手势。作为替代,psd212能够检测在传感器处或其附近执行的多维手势,其可以位于或可以不位于输出信息以供显示的psd212的屏幕或表面附近。

一个或多个处理器240可以实现与计算设备210相关联的功能和/或执行与计算设备210相关联的指令。处理器240的示例包括应用处理器、显示控制器、辅助处理器、一个或多个传感器中枢、以及被配置来充当处理器、处理单元、或处理设备的任何其他硬件。模块220、222、224、226、228、和230可以是可由处理器240操作以执行计算设备210的各个动作、操作、或功能。例如,计算设备210的处理器240可以检索和执行由存储组件248存储的指令,其使得处理器240执行操作模块220、222、224、226、228、和230。所述指令在由处理器240执行时,可以使得计算设备210将信息存储至存储组件248内。

计算设备210内的一个或多个存储组件248可以存储用于在计算设备210的操作期间处理的信息(例如,计算设备210可以存储由模块220、222、224、226、228、和230以及模型232和233在计算设备210的执行期间访问的数据)。在一些示例中,存储组件248是临时存储器,意指存储组件248的主要目的不是长期存储。计算设备210上的存储组件248可以被配置作为易失性存储器以用于信息的短期存储并且因此在断电的情况下不保持内容。易失性存储器的示例包括随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、以及本领域已知的其他形式的易失性存储器。

在一些示例中,存储组件248还包括一个或多个计算机可读存储介质。在一些示例中,存储组件248包括一个或多个非暂时性计算机可读存储介质。存储组件248可以被配置来存储比易失性存储器所通常存储的更大量的信息。存储组件248可以被进一步配置作为非易失性存储空间以用于信息的长期存储并且在电源打开/关闭循环后保持信息。非易失存储器的示例包括磁性硬盘、光盘、软盘、闪存、或电可编程存储器(eprom)或电可擦可编程(eeprom)存储器的形式。存储组件248可以存储与模型232和233以及模块220、222、224、226、228、和230相关联的程序指令和/或信息(例如,数据)。存储组件248可以包括被配置来存储与模型232和233以及模块220、222、224、226、228、和230相关联的数据或其他信息的存储器。

ui模块220可以包括图1的计算设备110的ui模块120的所有功能并且可以执行如用于管理用户界面(例如,用户界面114)的ui模块120的类似操作,计算设备210在存在敏感显示器212处提供该用户界面以供处置来自用户的输入。例如,计算设备210的ui模块220可以针对键盘布局(例如,英语语言qwerty键盘等)来查询键盘模块222。ui模块220可以在通信信道250上向键盘模块222传送对于键盘布局的请求。键盘模块222可以接收该请求并且向ui模块220回复与键盘布局相关联的数据。ui模块220可以在通信信道250上接收键盘布局数据并且使用该数据来生成用户界面。ui模块220可以在通信信道250上传送显示命令和数据以使得psd212在psd212处呈现用户界面。

在一些示例中,ui模块220可以接收在psd212处检测的对一个或多个用户输入的指示并且可以将关于用户输入的信息输出至键盘模块222。例如,psd212可以检测用户输入并且将关于该用户输入的数据发送至ui模块220。ui模块220可以基于所检测的输入来生成一个或多个触摸事件。触摸事件可以包括表征用户输入的信息,诸如用户输入的位置组件(例如,[x,y]坐标)、时间组件(例如,何时接收用户输入)、力组件(例如,由用户输入施加的压力的量)、或关于用户输入的其他数据(例如,速度、加速度、方向、密度等)。

基于根据用户输入所生成的触摸事件的位置信息,ui模块220可以确定所检测的用户输入与图形键盘相关联。ui模块220可以将一个或多个触摸事件的指示发送至键盘模块222以用于进一步解释。基于从ui模块220接收的触摸事件,键盘模块222可以确定所检测的用户输入表示对图形键盘的一个或多个键的初始选择。

应用模块224表示在可以依赖于具有整合的搜索特征的图形键盘的计算设备210处执行和可从其访问的所有各种的各个应用和服务。计算设备210的用户可以和与一个或多个应用模块224相关联的图形用户界面交互以使得计算设备210执行功能。应用模块224的众多示例可以存在并且包括,健身应用、日历应用、个人助理或预测引擎、搜索应用、地图或导航应用、交通服务应用(例如,巴士或火车跟踪应用)、社交媒体应用、游戏应用、电子邮件应用、聊天或消息传送应用、互联网浏览器应用、或者可以在计算设备210处执行的任何和全部其他应用。

键盘模块222可以包括图1的计算设备110的键盘模块122的所有功能并且可以执行与用于提供具有整合的搜索特征的图形键盘的键盘模块122相似的操作。键盘模块222可以包括各个子模块,诸如sm模块226、lm模块228、以及搜索模块230,其可以执行键盘模块222的功能。

sm模块226可以接收一个或多个触摸事件作为输入,并且输出字符或字符序列,其很可能表示该一个或多个触摸事件,连同指示该一个或多个字符有多大可能或以什么精度来定义该触摸事件的确定度或空间模型得分。换言之,sm模块226可以将触摸事件推断为对键盘的一个或多个键的选择并且可以基于对该一个或多个键的选择来输出字符或字符序列。

当键盘模块222以文本录入模式来操作时,lm模块228可以接收字符或字符序列以作为输入,并且输出lm模块228从字典中识别的一个或多个候选字符、词、或短语以作为对于字符序列的潜在替换,lm模块228接收所述字符序列作为针对给定语言场境的输入(例如以书面语言的句子)。键盘模块222可以使得ui模块220在用户界面114的建议区域118c处呈现所述候选词中的一个或多个。

计算设备210的字典可以包括书面语言词汇(例如词典)内的一个词列表。例如,该字典可以包括词(例如,在标准词典中的词和/或由用户或计算设备210添加至词典的词)的数据库。lm模块228可以在该字典中执行对字符串的查找以识别包括该字符串中的部分或所有字符的一个或多个字母、词、和/或短语。例如,lm模块228可以将语言模型概率或相似系数(例如,jaceard相似系数、或其他相似系数)指派给位于计算设备210的字典处的一个或多个候选词,其包括与所输入的字符或字符序列相同的字符中的至少某些字符。被指派给该一个或多个候选词中的每一个的语言模型概率指示该候选词通常被发现位于在接收正由lm模块228分析的当前字符序列之前和/或之后根据由存在敏感输入组件204检测到的文本输入所生成的词序列(例如句子)之后、之前、和/或之中的确定度或可能性程度。响应于确定该一个或多个候选词,lm模块228可以从字典数据存储260a输出具有最高相似系数的一个或多个候选词。

键盘模块222的搜索模块230可以以键盘模块222的名义来执行整合的搜索功能。即,当被调用(例如手动响应于计算设备210的用户选择用户界面114的可选择元素218c或自动地响应于从文本输入中识别可搜索实体或触发短语),键盘模块222可以以搜索模式来操作,其中键盘模块222使得计算设备210能够从图形键盘118a内执行搜索功能,诸如预测或显示计算设备210的用户可能觉得与聊天会话相关的搜索查询。

模型232表示多个“设备上”(例如本地存储或执行)模型,以用于由搜索模块230的注释器或文本分析引擎使用来解析和分析正在图形键盘116b处被输入的文本,以检测用户是否已经在图形键盘116b处键入了可搜索的某些内容。模型232可以接收从图形键盘116处的用户输入中推测的文本作为输入,并且作为响应而输出可能与该文本输入的部分相关的一个或多个可搜索实体或触发短语。在一些示例中,模型232可以输出与可搜索实体或触发短语相关联的分值作为该可搜索实体或触发短语与该文本输入相关的可能性的指示。

通过本地地存储和执行模型232,“设备上”(与像可以依赖于在远程计算系统处执行的远程注释器的其他传统搜索系统的“设备外”相对),计算设备210可以实时或近实时地执行搜索查询预测以便避免在用户在图形键盘116b处键入时可能具有的文本对话中的中断或落后。换言之,因为计算设备210不必与处理该预测的远程计算设备或云服务交换信息时,独使用或与远程注释器结合使用的所述该设备上注释器单可以使得计算设备210能够更快速地确定搜索查询。

响应于计算设备210位置的改变,搜索模块230可以自动地下载新的本地模型232a。例如,搜索模型230可以从通信单元242和/或输入组件232(例如gps接收器)中的一个或多个接收关于计算设备210的当前位置的信息。响应于确定当前位置不对应于与本地模型232a相关联的位置,搜索模型230可以针对当前位置的本地模型来查询远程计算系统。在从远程计算系统接收到该当前位置的本地模型后,搜索模型230用该当前位置的本地模型的副本替换先前的本地模型232a。换言之,在一些示例中,响应于确定从第一位置到第二位置的计算设备210的当前位置的改变,搜索模块230可以从远程计算系统获得针对该第二位置的可搜索实体的本地模型,并且可以用该第二位置的本地模型替换先前的本地模型232a。

搜索模块230可以解析正在图形键盘116b处录入的文本以便使用全局模型232b和本地模型232a二者来检测可搜索实体和触发短语。例如,基于键盘模块222从对图形键118的选择中推断的文本中的至少一部分,lm模块228可以从lm模块228的字典中确定一个或多个词。搜索模型230可以将该一个或多个词输入至本地模型232a以确定一个或多个本地搜索实体,被本地模型232a确定该一个或多个本地搜索实体与该一个或多个词相关。搜索模块230还可从本地模型232a中获得指派给该一个或多个本地搜索实体中的每一个的相应分值,所述分值指示搜索实体与一个或多个词相关的概率。在识别搜索实体以用于生成查询中。搜索模块230可以将与本地搜索实体相关联的相应分值与阈值进行比较。响应于确定被指派给本地可搜索实体的分值满足该阈值,搜索模块230可以将该本地可搜索实体识别为适于生成预测的查询。

搜索模型230可以将一个或多个词输入至全局模型232b以确定一个或多个全局搜索实体,全局模型232b确定所述一个或多个全局搜索实体与该一个或多个词相关。搜索模块230还可以根据全局模型232b来获得被指派给该一个或多个全局搜索实体中的每一个的相应分值,所述分值指示该搜索实体与该一个或多个词相关的概率。在识别搜索实体以用于生成查询中。搜索模块230可以将与全局搜索实体相关联的相应分值与阈值进行比较。响应于确定被指派给全局可搜索实体的分值满足该阈值,搜索模块230可以将该全局可搜索实体识别为适于生成预测查询。

搜索模块230可以从所识别的全局和本地搜索实体当中选择根据本地和全局模型232的最高得分的一个或多个搜索实体。根据该最高得分实体,搜索模块230可以生成查询。

除了识别可搜索实体外,由搜索模块230使用的本地和/或全局模型232还可以建议归整短语以在生成搜索查询中使用。至少部分地基于该可搜索实体或被包括在该可搜索实体中的触发短语,搜索模型230可以确定与该可搜索实体相关联的归整短语,并且根据该归整短语来生成搜索查询。例如,键盘模块222可以将从图形键盘116b处的用户输入中所确定的文本(例如短语“whattimeiskickoff(什么时候开球)”)提供至本地和/或全局模型232并且响应于本地模型232a将该文本识别为包括预定触发的文本,而从模型232接收作为输出的一个或多个归整短语,诸如“localsportsteamschedule(本地运动队排程)”。

机器学习模型233表示“设备上”(例如本地存储和执行的)lstm模型,该lstm模型用于由搜索模块230的注释器或文本分析引擎使用以增强以及进一步精炼使用本地和/或全局模型232所作出的关于用户是否已经在图形键盘116b处键入键入可搜索的某些内容的确定。例如,搜索模块230可以将从与图形键盘116b的用户交互中所推断出的一个或多个词输入至机器学习模型233以确定被指派给由模型232识别的一个或多个全局搜索实体或本地搜索实体中的每一个的精炼或更新的相应分值。以这种方式,机器学习模型233可以提高计算设备220对用户是否在提供与可搜索实体相关的输入的把握。

在一些示例中,搜索模型230的注释器(例如,依赖于机器学习模型233)可以进一步依赖于计算设备210的当前场境来确定用于在生成所预测查询中使用的可搜索实体和/或归整短语。如本文所使用,当前场境指定特定时间的计算设备——诸如计算设备210和该计算设备的用户的物理和/或虚拟环境的特性。此外,术语“场境信息”被用于描述能够由计算设备使用以定义该计算设备以及该计算设备的用户在特定时间可能经历的的虚拟和/或物理环境特征的任何信息。

场境信息的示例是众多的并且可以包括:由计算设备210的传感器(例如,位置传感器、加速度计、陀螺仪、气压计、环境光传感器、接近传感器、麦克风、以及任何其他传感器)获得的传感器信息,由计算设备210的通信模块发送和接收的通信信息(例如,基于文本的通信信息、可闻的通信信息、视频通信信息等),以及与计算设备210处执行的应用相关联的应用使用信息(例如,与应用相关联的应用数据、互联网搜索历史、文本通信、语音和视频通信、日历信息、社会媒体发布和相关信息等)。场境信息的进一步示例包括从计算设备210外部的传送设备获得的信号和信息。

机器学习模型233可以依赖于包括与电子对话相关联的信息的场境信息,该电子对话包括用户在图形键盘116b处提供输入时该用户可能正在撰写的电子通信,以及已经由计算设备220发送或接收的一个或多个其他电子通信信息。例如,键盘模块222可以基于场境信息(例如,与由计算设备220发送的之前的消息相关联的文本或其他信息以及与由计算设备220接收的之前的消息相关联的文本或其他信息)以及根据机器学习模型233来修改由全局模型232b或本地模型232a指派给可搜索实体的分值。在修改或精炼被指派给可搜索实体的分值之后并且响应于确定被指派给该可搜索实体的分值满足阈值,键盘模块222可以识别该可搜索实体。

搜索模块230可以依赖于由计算机学习模型233执行的人工智能和机器学习技术以一定置信度来确定用户是否正在关于针对特定场境的特定归整短语键入。例如,使用关于其他人在针对各个场境的聊天对话中键入的内容的机器学习模型233的一个或多个规则,搜索模块230的注释器可以基于文本输入和特定场境来生成用于推断归整短语的规则。使用所述规则,注释器可以以一定确定度来预测用户是否在聊关于“restaurantsnearme”、“foodnearby”、“moviesplayingatanearbytheater”、“directionstoaplace”或者可以与该文本输入相关的一些其他归整短语。如果该确定度(例如概率)满足阈值,则键盘模块122可以在产生查询中使用该归整短语。

使用机器学习模型233,搜索模型230可以依赖于计算设备210的当前场境来解决在确定可搜索实体中的歧义。例如,如果聊天对话的文本包括短语“whattimeiskickoff”,则搜索模块230可以从全局模型232b中获得被排程在改日比赛的若干专业足球队的名称。基于计算设备210的当前位置并且使用机器学习模型233,搜索模型230可以推断该用户很可能是指与计算设备210的当前位置最近的位置相关联的专业队作为该用户所指的专业队。

除了依赖于正在计算设备210处输入的当前消息的文本,机器学习模型233可以使得搜索模块230能够依赖于由计算设备210发送和/或接收的先前消息相关联的先前的词、句子等来建议搜索查询。换言之,使用机器学习模型233,搜索模块230可以依赖于包括计算设备210已发送和接收的多个消息的整个对话的文本来确定很可能与当前对话相关的搜索查询。

图3是图示了依据本公开的一个或多个技术的、输出图形内容以用于在远程设备处显示的示例计算设备的框图。通常,图形内容可包括可被输出以用于显示的任何视觉信息,诸如文本、图像、移动图像的群组等。图3中示出的示例包括计算设备310、psd312、通信单元342、移动设备386、以及视觉显示组件390。在一些示例中,psd312可以是如在图1-图2中描述的存在敏感显示器。尽管在图1和2中处于示例目的被示出为独立计算设备110,诸如计算设备310的计算设备通常可以是包括处理器或用于执行软件指令的其它合适的计算环境的任何组件或系统,以及例如不需要包括存在敏感显示器。

如在图3的示例中所示,计算设备310可以是包括关于图2中的处理器240所述的功能的处理器。在这样的示例中,计算设备310可以通过通信信道362a来操作地耦合至psd312,该通信信道可以是系统总线或其他合适的连接。计算设备310还可以通过通信信道362b操作地耦合至下面进一步描述的通信单元342,该通信信道也可以是系统总线或其他合适的连接。尽管在图3中被单独地示出为示例,计算设备310可以通过一个或多个通信信道中的任何数目的通信信道来操作地耦合至psd312和通信单元342。

在其他的示例中,例如先前由图1-2中的计算设备110所图示,计算设备可以指代便携式或移动设备,诸如移动电话(包括智能电话)、膝上型计算机等。在一些示例中,计算设备可以是台式计算机、平板计算机、智能电视平台、相机、个人数字助理(pda)、服务器、或主机。

psd312可以包括显示组件302和存在敏感输入组件304。例如,显示组件302可以从计算设备310接收数据并且显示图形内容。在一些示例中,存在敏感输入组件304可以使用电容式、电感式、和/或光学识别技术来确定在psd312处的一个或多个用户输入(例如,连续手势、多点触摸手势、单点触摸手势)并且使用通信信道362a将这样的用户输入的指示发送至计算设备310。在一些示例中,存在感应输入组件304可以在物理上位于显示组件302的顶部,使得当用户将输入单元定位在由显示组件302显示的图形元素上方时,存在敏感输入组件304的位置对应于显示图形元素的显示组件302的位置。

如图3中所示,计算设备310还可以包括和/或操作地与通信单元342耦合。通信单元342可包括如在图2中描述的通信单元242的功能。通信单元342的示例可包括网络接口卡、以太网卡、光学收发器、射频收发器、或者可发送和接收信息的任何其他类型的设备。这样的通信单元的其他示例可包括蓝牙、3g、和wifi无线电、通用串行总线(usb)接口等。计算设备310还可包括和/或操作地与出于简洁和例示的目的而没有在图3中示出的一个或多个其他设备(例如输入设备、输出组件、存储器、存储设备)耦合。

图3还图示了移动设备386和视觉显示组件390。移动设备386和视觉显示组件390均可包括计算和连接能力。移动设备386的示例可包括电子阅读器设备、可转换笔记本设备、混合板设备等。视觉显示组件390的示例可包括其他设备,诸如电视、计算机监视器等。在一些示例中,视觉显示组件390可以是车辆座舱显示器或导航显示器(例如在汽车、飞行器、或某些其他载具中)。在一些示例中,视觉显示组件390可以是与计算设备310分离的家庭自动化显示器或某些其他类型的显示器。

如图3中所示,移动设备386可包括存在敏感显示器388。视觉显示组件390可包括存在敏感显示器392。存在敏感显示器388、392可包括如在本公开中描述的存在敏感显示器112、212\和/或312的功能子集或所有的功能。在一些示例中,存在敏感显示器388、392可包括额外的功能。在任何情况下,例如,存在敏感显示器392可以从计算设备310接收数据并且显示图形内容。在一些示例中,存在敏感显示器392可以使用电容式、电感式、和/或光学识别技术确定在投影屏幕处的一个或多个用户输入(例如,连续手势、多点触摸手势、单点触摸手势)并且使用一个或多个通信单元将这样的用户输入的指示发送至计算设备310。

如上所述,在一些示例中,计算设备310可输出用于在psd312处显示的图形内容,该psd312通过系统总线或其他合适的通信信道耦合至计算设备310。计算设备310还可输出图形内容以用于显示在一个或多个远程设备处,诸如移动设备386和视觉显示组件390。例如,计算设备310可依据本公开的技术执行一个或多个指令以生成和/或修改图形内容。计算设备310可将包括该图形内容的数据输出至计算设备310的通信单元,例如通信单元342。通信单元342可将该数据发送至一个或多个远程设备,诸如移动设备386和/或视觉显示组件390。以这种方式,计算设备310可以输出用于在一个或多个远程设备处显示的图形内容。在一些示例中,一个或多个远程设备可将图形内容输出在被包括在相应远程设备中和/或操作地耦合至其的存在敏感显示器处。

在一些示例中,计算设备310可以不将图形内容输出在操作地耦合至计算设备310的psd312处。在其他示例中,计算设备310可输出图形内容以供显示在通过通信信道362a耦合至计算设备310的psd312处和一个或多个远程设备处二者。在这样的示例中,该图形内容可以在每个相应设备处基本上同时地显示。在一些示例中,由计算设备310生成并且输出以用于在psd312处显示的图形内容可以与被输出以用于在一个或多个远程设备处显示的图形内容不同。

计算设备310可使用任何合适的通信技术来发送和接收数据。例如,计算设备310可使用网络链路373a操作地耦合至外部网络374。图3中图示的远程设备中的每一个可以通过相应网络链路373b或373c中的一个来操作地耦合至网络外部网络374。外部网络374可包括在操作上相互耦合的网络集线器、网络交换机、网络路由器等,从而提供用于在图3中图示的计算设备310和远程设备之间的信息交换。在一些示例中,网络链路373a-373c可以是以太网、atm或其他网络连接。这样的连接可以是无线和/或有线连接。

在一些示例中,计算设备310可以使用直接设备通信378来操作地耦合至图3中所包括的一个或多个远程设备。直接设备通信378可以包括这样的通信,计算设备310通过该通信来使用有线或无线通信直接与远程设备发送和接收数据。即,在直接设备通信378的一些示例中,由计算设备310发送的数据可在远程设备处被接收前不被一个或多个额外设备转发,并且反之亦然。直接设备通信378的示例可包括蓝牙、近场通信、通用串行总线、wifi、红外等等。图3中图示的远程设备中的一个或多个可通过通信链路376a-376c操作地与计算设备310耦合。在一些示例中,通信链路376a-376c可以是使用蓝牙、近场通信、通用串行总线、红外等的连接。这样的连接可以是无线和/或有线连接。

依据本公开的技术,计算设备310可使用外部网络374操作地耦合至视觉显示组件390。计算设备310可输出图形键盘以用于在psd392处显示。例如,计算设备310可将包括该图形键盘的表示的数据发送至通信单元342。通信单元342可以使用外部网络374将包括该图形键盘的表示的数据发送至视觉显示组件390。响应于使用外部网络374接收到该数据,视觉显示组件390可使得psd392输出该图形键盘。响应于接收到在psd392处的选择该键盘的一个或多个键的用户输入,视觉显示设备130可使用外部网络374来将该用户输入的指示发送至计算设备310。通信单元342可接收该用户输入的指示,并且将该指示发送至计算设备310。

计算设备310可基于该用户输入来确定对一个或多个键的选择。计算设备310可基于对一个或多个键的选择来确定一个或多个词。计算设备310可至少部分基于该一个或多个词来识别可搜索实体并且可以基于该可搜索实体来生成搜索查询。计算设备310可输出指示计算设备生成了搜索查询的图形指示以用于在图形键盘内显示。通信单元342可接收所更新的图形用户界面的表示并且可以将该表示发送至视觉显示组件390,使得视觉显示组件390可使得psd392输出所更新的图形键盘,包括该指示该计算设备生成了搜索查询的图形指示。

图4a-4e是图示了依据本公开的一个或多个方面的、被配置来呈现具有整合的搜索特征的图形键盘的示例计算设备的示例图形用户界面的概念图。图4a-4e分别图示了示例图形用户界面414a-414e(统称用户界面414)。然而,图形用户界面的许多其他示例可被用在其他实例中。图形用户界面414中的每一个可分别对应于由图1和2的计算设备110或210显示的图形用户界面。图4a-4e在计算设备110的场境下被描述如下。

图形用户界面414包括输出区域416a、编辑区域416c和图形键盘416b。图形键盘416b包括建议区域418b、多个键418a、和搜索元素418c。

如在图4a中所示,计算设备110可以从与朋友相关联的设备接收电子通信(例如文本消息)。计算设备110可在输出区域416a内输出电子通信的内容以供显示。该消息的内容可以包括短语“wannaseeamovieordosomethingtonight?(今晚想要看电影或做什么吗?)”

计算设备110的用户可与图形键盘416b交互以撰写对来自该朋友的消息的回复。如在图4b中由在各个个体图形键418a上覆盖的半透明圆(其可以或不可以由计算设备110显示)所示,该用户可以在一个或多个键418a处轻敲或作手势以键入该回复。计算设备110的键盘模块122可接收在键418a处的轻敲或手势的指示并且基于该用户输入来确定计算设备110在编辑区域416c内编排(format)并显示的文本。例如,当用户键入“sure”时,计算设备110可使得编辑区域416c显示“sure”。此外,当用户在图形键418a处键入键入时,计算设备110的键盘模块122可基于该用户输入来预测一个或多个候选词并且在建议区域418b内显示该候选词中的一个或多个。

如在图4c中所示,计算设备110的键盘模块122可接收在键418a处的轻敲或手势的额外指示并且基于该用户输入来继续确定计算设备110在编辑区域416c内编排和显示的文本。例如,当用户在键入“surewhats”之后键入“playin”时,计算设备110的键盘模块122可使得编辑区域416c显示“playin”。此外,当用户在图形键418a处键入时,计算设备110的键盘模块122可基于用户输入来预测一个或多个候选词并且在建议区域418b内显示该候选词中的一个或多个。例如,如在图4c中所示,计算设备110可在建议区域418b中呈现“playin”、“playing”、以及“playtime”以作为从字典挑选出的所建议的词。响应于检测到对在建议区域418b中的所建议的词的选择,并且进一步在检测到对图形键418a中的“发送(send)键”的选择之后,计算设备110可向与该朋友相关联的计算设备组成和发送包括文本“surewhat’splaying”的电子消息。如在图4d中所示,计算设备110可输出该电子消息的内容以用于在输出区域416a中显示。

在用户完成键入与电子通信相关联的文本后,计算设备110的键盘模块122可自动推断出用户完成了键入,并且作为响应而预测一个或多个搜索查询,其可能使计算设备110的用户有兴趣撰写与该用户正在与朋友进行的电子对话相关联的额外文本。例如,响应于至少通过确定和与标点字符相关联的标点键相对应的一个或多个键418a的选择中的最后一个键来确定与电子通信相关联的文本的结束,计算设备110的键盘模块122可确定该搜索查询。换言之,响应于确定文本中的最末字符是标点符号(例如“?”、“.”、“!”或某些其他标点字符),键盘模块122可预测与文本相关联的搜索查询。在其他示例中,响应于至少通过确定与发送电子通信的图形键盘中的发送键相对应的一个或多个键418a的选择中的最后一个键,来确定与电子通信相关联的文本的结束,计算设备110的键盘模块122可确定该搜索查询。换言之,响应于确定用户选择的最末键是在被选择时触发计算设备110的聊天应用发送消息的“发送键”或“返回(return)键”,键盘模块122可预测与文本相关联的搜索查询。

响应于确定文本的结束或以其他方式推断出用户已结束撰写电子通信的内容中的至少一部分,键盘模块122可进入搜索模式并预测可能与该文本相关的搜索查询。在图4d的示例中,键盘模块122可以分析文本“surewhat’splaying(确定正上映的是什么)”并且确定短语“what’splaying”是用于指代电影的触发短语,特别是电影院中正在上映的电影。每当键盘模块122识别触发短语“what’splaying”时,键盘模块122可自动将归整短语“moviesplayingnearme(在我附近上映的电影)”关联至文本。此外,为了获得用户指“movies(电影)”而不是“plays(戏剧)”或其他产品,键盘模块122可在计算设备110的当前场境内分析文本的内容。即,计算设备110的当前场境包括其中包括文本“movies”的先前接收的消息。响应于确定先前的消息引用了“movies”,键盘模块122可增加与归整短语“moviesplayingnearme”相关联的分值并且生成用于施行对“moviesplayingnearme”的搜索的查询以识别靠近计算设备110的当前位置播放的各个电影。

在一些示例中,计算设备110可修改来自多个键中的搜索键的视觉格式以指示该计算设备生成了搜索查询。例如,如图4d中所示,搜索元素418c已经从搜索元素418c具有第一颜色托盘的第一视觉格式变为搜索元素418c被显示具有第二颜色托盘的第二视觉格式。在其他示例中,计算设备110可使得搜索元素418c闪现、移动、改变大小、或以基于在图形键盘416b处的文本输入来警示用户计算设备110自动生成了搜索查询的某种其他方式被更改。

在一些示例中,计算设备110可通过输出所生成的查询的文本来指示计算设备生成了搜索查询。例如,如图4d中所示,计算设备110可输出自动生成的搜索查询的文本以作为图形键盘416b的建议区域418b内的建议。如图4d中所示,搜索查询当被在建议区域418b内显示时,被显示在语言学的、候选词或短语(例如非搜索相关的建议)中和当中。

在一些示例中,计算设备110可在图形键盘的单独搜索区域内显示搜索查询的文本。该搜索区域可能不同于图形键盘416b的显示用于文本录入的所建议词的建议区域418b。例如,该搜索区域可以位于图形键418a和建议区域418c之间或者搜索区域可以位于编辑区域416c或输出区域416a与建议区域418b之间。在一些示例中,计算设备110甚至可以用搜索区域代替建议区域418b。

在显示所建议的查询之后,计算设备110可接收对图形指示的选择的指示,并且响应于接收对图形指示的选择的指示,计算设备110可基于该搜索查询来执行对于信息的搜索。例如,如图4d中所示,键盘模块122可接收在建议区域418b内显示搜索查询“moviesplayingnearme”的位置处所检测到的用户输入的指示。响应于接收用户输入的指示,键盘模块122可基于所选择的查询来执行搜索。

在执行对于信息的搜索之后,计算设备110可通过至少替换图形键盘416b的多个键418a中的一部分来输出由该搜索获得的一个或多个搜索结果的图形指示以供显示。例如,如在图4e中所示,键盘模块122可基于所选择的查询来获得搜索结果并且将该搜索结果编排为各个搜索卡片418d,键盘模块122使得计算设备110将所述搜索卡片418d作为覆盖显示在图形键418a的顶部。在图4d的示例中,搜索卡片418d被呈现成传送带格式以使得用户可以向左或右轻扫以移动至后续搜索结果或可将搜索结果从传送带拖动至编辑区域416c或输出区域416a中。在一些示例中,除了搜索卡片418d之外用户可进一步呈现搜索框使得用户能够执行后续的搜索。以这种方式,键盘模块122方便地在图形键盘416b内呈现自动生成的搜索查询,其在被选之后使得计算设备110直接在图形键盘416b内呈现搜索结果。

图5是图示了依据本公开的一个或多个方面的、被配置来呈现具有整合的搜索特征的图形键盘的计算设备示例操作的流程图。图5的操作可由计算设备的一个或多个处理器执行,诸如图1的计算设备110或图2的计算设备210。仅出于说明的目的,下面在图1的计算设备110的场境下描述图5。

在操作中,计算设备110可以输出图形键盘以供显示(500)。例如,在计算设备110处执行的聊天应用可调用键盘模块122(例如与聊天应用分离的计算设备110的独立应用或功能)以在psd112处呈现图形键盘116b。

基于从图形键盘选择键的指示,计算设备110可以确定电子通信的文本(502)。例如,键盘模块122可接收在psd112的显示图形键盘116b的图形键118a的位置处检测到的关于触摸输入的信息。基于该信息,键盘模块122可以确定文本(例如,“what’swiththepresident’shair(总统的头发怎么了?)”)。

计算设备110可以至少部分地基于该文本来识别可搜索实体(504)。例如,键盘模块122的全局模型可从文本输入中的“总统”的部分推断用户正在谈论美国总统(例如,“barakobama”)。

基于该可搜索实体,计算设备110可以生成搜索查询(506)。例如,键盘模块122可生成用于获得关于美国总统的新闻的搜索查询以作为对于“barakobamanews(新闻)”的关键词搜索。

计算设备110可以输出指示计算设备110生成了搜索查询的图形指示以用于在图形键盘内显示(508)。例如,键盘模块122可使得计算设备110在图形键盘116b内呈现所生成查询的文本(例如作为建议区域118b内的建议)。

图6是图示了依据本公开的一个或多个方面的、被配置来呈现具有整合的搜索特征的图形键盘的计算设备示例操作的流程图。图6的操作可由计算设备的一个或多个处理器执行,诸如图1的计算设备110或图2的计算设备210。仅出于说明目的,以下在图2的计算设备210的情况下描述图6。

在操作中,在计算设备210处执行的第一应用可调用被配置来提供包括多个键的图形键盘的键盘应用以用于接收文本输入(600)。例如,应用模块224可以是聊天应用,其提供即时消息传送或或在psd212处的聊天应用用户界面以用于在电子对话中在计算设备210的用户和其他计算设备的用户之间交换电子消息。作为聊天应用用户界面的一部分,应用模块224可调取(callon)键盘模块222来提供图形键盘116b。应用模块224可将命令发送至键盘模块222来调用键盘模块222(例如作为在计算设备210处执行的不同于应用模块224的应用或服务)。

一旦被调用,键盘应用就可以基于从多个键中选择一个或多个键的指示来确定文本输入(602)。例如,一旦被调用,键盘模块222就可以接收在psd212处显示一个或多个键118a的位置处的用户输入的指示并且从该用户输入中推断文本。

键盘应用可以至少部分地基于该文本输入来识别可搜索实体(604)。例如,键盘模块222可依赖于本地和/或全局模型232以及机器学习模型233来从该文本输入中识别一个或多个可搜索实体,以及从由键盘模块222检测的之前的文本输入中识别可搜索实体。

键盘应用可以基于该可搜索实体来生成搜索查询(606)。例如,键盘模块222可以将从文本输入中识别的可搜索实体中的一个或多个编排或封装为由在计算设备210处或其远程执行的搜索引擎使用的搜索查询格式以用于获得关于该搜索实体的信息。

键盘应用可以输出指示该键盘应用生成了搜索查询的图形指示以用于在图形键盘内显示(608)。例如,在生成该搜索查询之后,键盘模块222可使得psd212在建议区域118b处或则替换其他词建议或则除了其他词建议之外来呈现该查询(例如作为文本)。

该键盘应用可以接收对搜索查询的选择的指示(610)。例如,键盘模块222可以从ui模块220接收指示计算设备220的用户在psd212的正显示该搜索查询的位置处或附近(例如通过手势)作了选择的信息,并且可以从该信息推断出该用户选择了查询。

响应于接收到该选择的指示,键盘应用可以基于该搜索查询来在搜索应用处发起搜索(612)。例如,基于该搜索查询,键盘模块222可调取单独的搜索应用来执行对存储在计算设备220处的信息的本地信息搜索或对离计算设备220远程存储的信息的远程信息搜索(例如通过调取在诸如服务器的远程计算设备处执行的搜索应用)。

该搜索应用可以基于该搜索查询来执行该搜索(614)。例如,由键盘模块222调取的搜索应用可以基于搜索查询来将该搜索执行为对于与在计算设备210处本地存储的信息相关联的搜索结果的设备上搜索。由键盘模块222调取的搜索应用可以基于搜索查询来将该搜索执行为对于与离计算设备210远程存储的信息相关联的搜索结果的远程搜索。在任何情况下,该聊天应用可经由该键盘应用从该搜索应用来接收从该搜索的执行所获得的一个或多个搜索结果。

在键盘应用发起该搜索后,聊天应用可以输出由该键盘应用获得的一个或多个搜索结果的图形指示以用于代替图形键盘的至少一部分来显示(616)。例如,应用模块224可将从该搜索中获得的搜索结果封装至搜索卡片的传送带中,应用模块224可使得键盘模块122在psd212处将该传送带覆盖的图形键118a中的某些或全部的前面或代替其来呈现。

聊天应用可以接收对搜索结果的选择的指示(618)。例如,应用模块224可从ui模块220接收信息,其指示计算设备210的用户在psd212处的图形键盘116b内正显示的搜索结果中的一个的位置处或附近轻扫或以其他方式作手势。

响应于接收对一个或多个搜索结果中的至少一个的选择的指示,聊天应用可以输出搜索结果以作为电子对话的消息(620)。例如,响应于检测到选择搜索结果的用户输入,应用模块224可以将与该搜索结果相关联的信息编排为消息格式并且将所编排的信息输出作为消息的一部分或整体,应用模块224将该消息输出至不同的计算设备以作为计算设备210的用户与不同的计算设备的用户之间的电子对话的部分。

以下所编号的条款可说明本公开的一个或多个方面:

条款1.一种方法包括:由在计算设备处执行的键盘应用输出包括多个键的图形键盘以供显示;基于从所述多个键中选择一个或多个键的指示,由所述键盘应用确定电子通信的文本;由所述键盘应用至少部分地基于所述文本来识别可搜索实体;由所述键盘应用基于所述可搜索实体来生成搜索查询;以及由所述键盘应用输出指示所述键盘应用生成了所述搜索查询的图形指示以用于在所述图形键盘内显示。

条款2.如条款1所述的方法,其中,所述搜索查询响应于确定所述文本的末端而被确定,所述方法进一步包括:响应于确定对一个或多个键的所述选择中的最后一个键对应于与标点字符相关联的标点键,由所述键盘应用确定所述文本的所述末端。

条款3.如条款1-2中任一项所述的方法,其中,所述搜索查询响应于确定所述文本的末端而被确定,所述方法进一步包括:响应于确定对一个或多个键的所述选择中的最后一个键对应于用以发送所述电子通信的所述图形键盘中的发送键,由所述键盘应用确定所述文本的所述末端。

条款4.如条款1-3中任一项所述的方法,其中,输出所述图形指示包括:修改所述多个键中的搜索键的视觉格式以指示所述计算设备生成了所述搜索查询。

条款5.如条款1-4中任一项所述的方法,其中,所述图形指示包括所述搜索查询的文本,并且输出所述图形指示包括输出所述搜索查询的所述文本以作为所述图形键盘的建议区域内的建议。

条款6.如条款1-5中任一项所述的方法,其中,所述图形指示包括所述搜索查询的文本,并且输出所述图形指示包括输出所述搜索查询的所述文本以作为用于搜索的所建议查询以用于在图形键盘的搜索区域内显示,所述搜索区域不同于所述图形键盘的显示用于文本录入的所建议词的建议区域。

条款7.如条款6所述的方法,其中,输出所述图形指示包括由所述计算设备用所述搜索区域替换所述建议区域。

条款8.如条款1-7中任一项所述的方法,其中,识别所述可搜索实体包括:由所述键盘应用至少基于所述文本中的一部分来确定一个或多个词;由所述键盘应用基于所述一个或多个词根据可搜索实体的本地模型来确定被指派给所述可搜索实体的、指示所述可搜索实体与所述一个或多个词相关的概率的分值,所述本地模型与所述计算设备的当前位置相关联;响应于确定被指派给所述可搜索实体的所述分值满足阈值,由所述键盘应用识别所述可搜索实体。

条款9.如条款8所述的方法,其中,所述本地模型是第一本地模型,所述方法进一步包括:响应于确定从第一位置到第二位置的所述计算设备的所述当前位置的改变:由所述键盘应用从远程计算系统获得可搜索的实体的第二模型,所述第二模型与所述第二位置相关联;以及由所述键盘应用用所述第二模型替换所述第一模型。

条款10.如条款1-9中任一项所述的方法,其中,识别所述可搜索实体包括:由所述键盘应用至少基于所述文本中的一部分来确定一个或多个词;由所述键盘应用基于所述一个或多个词并且根据可搜索实体的全局模型来确定被指派给所述可搜索实体的、指示所述可搜索实体与所述一个或多个词相关的概率的分值,所述全局模型与地理区域相关联,所述地理区域包括与可搜索实体的两个或更多模型相关联的相应位置;以及响应于确定被指派给所述可搜索实体的所述分值满足阈值,由所述计算设备识别所述可搜索实体。

条款11.如条款1-10中任一项所述的方法,其中,识别所述可搜索的实体包括:由所述键盘应用至少基于所述文本中的一部分来确定一个或多个词;由所述键盘应用基于所述一个或多个词并且根据可搜索实体的全局模型或可搜索实体的本地模型中的至少一个来确定被指派给所述可搜索实体的、指示所述可搜索实体与所述一个或多个词相关的概率的分值,所述全局模型与地理区域相关联,所述地理区域包括与包括可搜索实体的所述本地模型的可搜索实体的两个不同的本地模型相关联的相应位置;由所述键盘应用基于场境信息并且根据机器学习模型来修改被指派给所述可搜索实体的所述分值;以及在修改被指派给所述可搜索实体的所述分值之后并且响应于确定被指派给所述可搜索实体的所述分值满足阈值,由所述键盘应用识别所述可搜索实体。

条款12.如条款11所述的方法,其中,所述场境信息包括与电子对话相关联的信息,所述电子会话包括所述电子通信以及已经由所述计算设备发送或接收的一个或多个其他电子通信。

条款13.如条款1-12中任一项所述的方法,其中,生成所述搜索查询包括:由所述键盘应用至少部分地基于所述可搜索实体来确定与所述可搜索实体相关联的归整短语;以及由所述键盘应用根据所述归整短语来生成所述搜索查询,其中,所述可搜索实体包括触发短语,并且其中,与所述可搜索实体相关联的所述归整短语至少部分地基于所述计算设备的当前场境来进一步被确定。

条款14.一种移动设备包括:存在敏感显示组件;至少一个处理器;以及存储与键盘应用相关联的指令的存储器,所述指令在被执行时使得所述至少一个处理器:输出包括多个键的图形键盘以用于在所述存在敏感显示组件处显示;基于在所述存在敏感显示组件处检测到的从所述多个键中选择一个或多个键的指示,确定电子通信的文本;至少部分地基于所述文本来识别触发短语;基于所述触发短语来生成搜索查询;以及输出指示所述计算设备生成了所述搜索查询的图形指示以用于在所述存在敏感显示组件处并且在所述图形键盘内显示。

条款15.一种方法包括:由在计算设备处执行的第一应用调用被配置来提供包括多个键的图形键盘的键盘应用以用于接收文本输入;由所述键盘应用基于从所述多个键中选择一个或多个键的指示来确定文本输入;由所述键盘应用至少部分地基于所述文本输入来识别可搜索实体;由所述键盘应用基于所述可搜索实体来生成搜索查询;由所述键盘应用输出指示所述键盘应用生成了所述搜索查询的图形指示以用于在所述图形键盘内显示;以及响应于由所述键盘应用接收对所述搜索查询的选择的指示,由所述键盘应用发起在搜索应用处的基于所述搜索查询的搜索。

条款16.如条款15所述的方法,其中,所述搜索应用正在所述计算设备处执行,所述方法进一步包括:由所述搜索应用基于所述搜索查询来将所述搜索执行为针对与在所述计算设备处本地存储的信息相关联的搜索结果的设备上搜索。

条款17.如条款15-16中任一项所述的方法,其中,所述搜索应用正在远程计算设备处执行,所述方法进一步包括:由所述搜索应用基于所述搜索查询来将所述搜索执行为针对与离所述计算设备远程存储的信息相关联的搜索结果的远程搜索。

条款18.如条款15-17中任一项所述的方法,其中,所述第一应用是聊天应用并且所述文本输入与所述聊天应用内的电子对话相关联。

条款19.如条款18所述的方法,进一步包括:在所述键盘应用发起搜索后,由所述第一应用输出由所述键盘应用获得的一个或多个搜索结果的图形指示以用于代替所述多个键的至少一部分来显示。

条款20.如条款19所述的方法,进一步包括:响应于由所述第一应用接收对所述一个或多个搜索结果中的至少一个的选择的指示,由所述聊天应用输出所述一个或多个搜索结果中的所述至少一个以作为所述电子对话的消息。

条款21.一种系统,包括用于执行条款1-13所述的方法中的任一个的装置。

条款22.一种计算设备,包括用于执行条款1-13所述的方法中的任一个的装置。

条款23.一种计算可读存储介质,包括指令,所述指令在其被计算设备的至少一个处理器执行时,使得所述至少一个处理器执行条款1-13所述方法中的任一个。

在一个或多个示例中,所描述的功能可以以硬件、软件、固件或其任何组合实现。如果以软件实现,则所述功能可以作为一个或多个指令或代码被存储在计算机可读介质上或通过计算机可读介质传送,并且由基于硬件的处理单元执行。计算机可读介质可以包括;计算可读存储介质,其对应于诸如数据存储介质的有形介质;或者通信介质,其包括例如根据通信协议来促进计算机程序从一个地点传送至另一个地点的任何介质。以这种方式,计算可读介质通常可对应于:(1)非瞬时性的有形计算机可读存储介质;或者(2)诸如信号或载波的通信介质。数据存储介质可以是任何可用介质,其可由一个或多个计算机或一个或多个处理器访问以检索指令、代码和/或数据结构以用于实现本公开中所描述的技术。计算机程序产品可包括计算机可读介质。

作为示例而非限制,这样的计算可读存储介质可包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁存储设备、闪存、或可被用于以指令或数据结构的形式存储期望的程序代码并且可由计算机访问的任何其他介质。此外,任何连接被适当地称为计算机可读介质。例如,如果使用线缆、光纤线缆、双绞线、数字订户线路(dsl)、或诸如红外、无线电和微波的无线技术从网站、服务器或者其它远程源传送指令,则同轴电缆、光纤线缆、双绞线、dsl或诸如红外、无线电和微波的无线技术包括在介质的定义中。然而,应当理解的是,计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬时介质,而是涉及非瞬时有形存储介质。所使用的磁盘或圆盘,包括压缩盘(cd)、激光盘、光学盘、数字多功能盘(dvd)、软盘和蓝光盘,通常磁盘以磁方式来再现数据,而光盘利用激光来以光学方式再现数据。以上的组合也应当包括在计算机可读介质的范围内。

指令可由一个或多个处理器执行,所述处理器诸如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)或其他等同的集成或分立逻辑电路。相应地,所使用的术语“处理器”可以指代前述结构中的任一或适合实现所描述技术的任何其他结构。此外,在某些方面,所描述的功能可被提供在专用硬件和/或软件模块内。此外,所述技术可以被完全地以一个或多个电路或逻辑元件中实现。

本公开的技术可以以广泛多种设备或装置实现,包括无线送受话器、集成电路(ic)或ic集合(例如芯片集)。在本公开中描述了各种组件、模块、或单元以强调被配置来执行所公开技术的设备的功能方面,而无需通过不同硬件单元实现。相反,如上所述,各种单元可被组合在硬件单元中或由协作硬件单元的集合提供,包括如上描述的一个或多个处理器,结合合适的软件和/或固件。

已经描述了各个示例。这些和其他示例在所附权利要求书的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1