本说明书涉及搜索引擎。
通常可以将搜索引擎描述为执行查询并且检索存储的数据的任何程序。然而，基于即将到来的任务，可按照各种不同的方式配置搜索引擎。例如，一些搜索引擎可以被配置成执行基于关键字的搜索和检索。这样的搜索引擎可以至少部分地基于搜索词项出现在特定资源中的次数或该特定资源的元数据来识别相关搜索结果。替选地或此外，一些搜索引擎可以通过识别与一个或多个搜索词项相关联的实体名称并且然后确定该实体名称在一个或多个特定资源中的出现次数来识别相关搜索结果。然而，搜索引擎可识别响应于查询的搜索结果的前述方式仅仅是示例。
技术实现要素：
根据本公开的一个创新方面，公开了一种基于预测计算机化渲染时段(apredictedcomputerizedrenderingperiod)来确定是否执行查询的方法。所述方法可以包括以下动作：由一个或多个服务器计算机接收源自于客户端设备的查询，其中，所述查询包括对存储在数据库中的一个或多个内容项的请求；由所述一个或多个服务器计算机基于所述查询来确定一个或多个特征的集合；由所述一个或多个服务器计算机基于所述一个或多个特征的集合来生成查询向量；由所述一个或多个服务器计算机将所述查询向量提供给机器学习模型，所述机器学习模型已被训练来提供指示用于显示均响应于所述查询的一个或多个候选内容项的集合的计算机化渲染时段是否满足预定阈值的输出；由所述一个或多个服务器计算机基于所述机器学习模型的所述输出接收第一数据，所述第一数据指示用于显示均响应于所述查询的所述一个或多个候选内容项的集合的所述计算机化渲染时段是否满足所述预定阈值；由所述一个或多个服务器计算机基于所述第一数据来确定能够用于显示均响应于所述查询的所述一个或多个候选内容项的集合的所述计算机化渲染时段何时不满足所述预定阈值；以及响应于由所述一个或多个服务器计算机确定能够用于显示均响应于所述查询的所述一个或多个候选项的集合的计算机化渲染时段不满足所述预定阈值，由所述一个或多个服务器计算机确定不使用搜索引擎来执行所接收的查询。
其它版本包括对应的系统、装置、以及编码在计算机存储设备上的用于执行所述方法的动作的计算机程序。
根据本公开的另一创新方面，公开了一种基于预测计算机化渲染时段来确定是否执行查询的系统。所述系统可以包括：接收单元，所述接收单元接收源自于客户端设备的查询，其中，所述查询包括对存储在数据库中的一个或多个内容项的请求；特征特征提取单元，所述特征提取单元：基于所述查询来确定一个或多个特征的集合，基于所述一个或多个特征的集合来生成查询向量，以及将所述查询向量提供给机器学习模型，所述机器学习模型已被训练来提供指示用于显示均响应于所述查询的一个或多个候选内容项的集合的计算机化渲染时段是否满足预定阈值的输出；以及计算机化渲染时段分析单元，所述计算机化渲染时段分析单元：基于所述机器学习模型的所述输出接收第一数据，所述第一数据指示用于显示均响应于所述查询的所述一个或多个候选内容项的集合的所述计算机化渲染时段是否满足所述预定阈值，基于所述第一数据来确定能够用于显示均响应于所述查询的所述一个或多个候选内容项的集合的所述计算机化渲染时段何时不满足所述预定阈值，以及响应于确定能够用于显示均响应于所述查询的所述一个或多个候选项的集合的所述计算机化渲染时段不满足所述预定阈值，确定不使用搜索引擎来执行所接收到的查询。
这些和其它版本可以可选地包括以下特征中的一个或多个。例如，在一些实施方式中，所述方法还可以包括：由所述一个或多个服务器计算机确定能够用于显示均响应于所述搜索查询的所述一个或多个候选内容项的集合的所述计算机化渲染时段何时确实满足所述预定阈值；以及响应于由所述一个或多个服务器计算机确定能够用于显示响应于所述查询的所述一个或多个候选项的集合的所述计算机化渲染时段确实满足所述预定阈值，由所述一个或多个服务器计算机确定使用所述搜索引擎来执行所接收的查询。
在一些实施方式中，所述一个或多个特征可以从描述引起了起始了所述查询的应用的场境信息导出。
在一些实施方式中，所述机器学习模型可以被训练来提供指示用于显示均响应于所述查询的所述一个或多个候选内容项的集合的所述计算机化渲染时段是否很可能满足所述预定阈值的输出。
在一些实施方式中，所述机器学习模型包括逻辑回归模型。
在一些实施方式中，所述预定阈值包括一秒钟的时间段。
在一些实施方式中，所述方法还包括：由所述一个或多个服务器计算机提供用于在所述客户端设备的用户界面中显示的一个或多个内容项。
常规搜索引擎通常接收并执行查询。然而，由搜索引擎接收到的每个查询的执行可导致对计算资源的效率低的使用。因此，通过使用依照本说明书编程的系统来选择性地执行查询，人们可相对于由未依照本说明书编程的系统所使用的搜索引擎提高搜索引擎的效率。此外，依照本说明书编程的系统可甚至不仅改进托管搜索引擎的一个或多个服务器的效率、而且改进与托管搜索引擎的服务器交互的客户端设备中的一个或多个以及用于促进所述一个或多个客户端设备与所述一个或多个服务器之间的通信的工作的效率。
例如，搜索引擎可以从不同的客户端设备接收数以百万计的查询。通过使用由本公开提供的系统和方法来选择性地执行所述查询的仅一部分，系统可减少需要使用搜索引擎来处理和执行的查询的数目。在由搜索引擎处理和执行的查询量方面的这样的减少可导致由托管搜索引擎的一个或多个服务器所消耗的计算资源量的显著减少。
选择性地执行所接收到的查询的仅一部分意味着托管搜索引擎的一个或多个服务器将不需要响应于每个查询对搜索结果进行评分和排名。对搜索结果进行评分和排名是计算上密集的任务。因此，选择性地执行所接收到的查询的仅一部分减少托管搜索引擎的一个或多个服务器需要执行对搜索结果进行评分和排名的计算上密集的任务的次数。结果，通过选择执行所接收到的查询的仅一部分，可改进托管搜索引擎的一个或多个服务器的效能，并且使其更有效率。
本公开改进除仅仅托管搜索引擎的一个或多个服务器外的系统的其它方面。例如，对查询的选择性执行将导致托管搜索引擎的一个或多个服务器不响应于每个接收到的查询而传送搜索结果。因此，通过在例如不存在足够量的时间来将一个或多个搜索结果有意义地显示在移动设备的屏幕上时不将一个或多个搜索结果返回给客户端设备(例如，移动设备)，使用了更少的网络带宽。因为托管搜索引擎的一个或多个服务器正在使用更少的网络带宽来向客户端设备传送搜索结果，所以留下更多的网络带宽可用于使用该网络来传送将被呈现在一个或多个设备的屏幕上的其它数据、使用该网络来将其它数据传送到其它设备、或者使用该网络来从一个或多个设备接收数据等。
此外，本公开可甚至改进使用客户端设备(例如，移动设备)的效率。例如，通过在例如在不存在足够量的时间来将一个或多个搜索结果有意义地显示在客户端设备的屏幕上时不必下载数据、或渲染数据等保留了客户端设备资源，从而释放那些客户端设备资源以被用在其它任务上。此外，由于由本公开提供的系统和方法而由客户端设备实现的效率增益可释放客户端侧存储器并且节省电池电力。
在下面的附图和描述中阐述了本说明书中所描述的主题的一个或多个实施例的细节。该主题的其它特征、方面、和优点将根据说明书、附图、和权利要求书变得显而易见。
附图说明
图1是用于基于预测计算机化渲染时段来确定何时执行查询的系统的示例的图。
图2是基于预测计算机化渲染时段来确定何时执行查询的过程的示例的流程图。
图3是用于基于预测计算机化渲染时段来确定何时执行查询的系统的组件的框图。
在下面的附图和描述中阐述了这些和其它实施方式的细节。其它特征和优点将根据本说明书和附图并且根据权利要求书而显而易见。
具体实施方式
本公开涉及相对于不管可用于每个相应的查询的结果的计算机化渲染时段如何都执行所有查询的搜索和检索系统的效率、通过在预测计算机化渲染时段上使用来提高搜索和检索的效率的搜索和检索系统。计算机化渲染时段是响应于查询而返回的内容项被显示、在视觉上可感知的、和/或在客户端设备的计算机化用户界面中渲染的时间量。存在各种类型的计算机化渲染时段，包括例如闪现(impression)持续时间。该搜索和检索系统也通过基于接收到的查询来预测所接收到的查询是否很可能具有超过预定阈值的计算机化渲染时段并且然后确定在与所接收到的查询相关联的计算机化渲染时段很可能未能满足预定阈值的情况下不执行接收到的查询来提高搜索和检索的效率。例如，被编程来执行由本公开提供的方法的系统可以确定在预测计算机化渲染时段为1秒钟或更少的情况下不执行请求内容项的查询。
相对于不管可用于每个相应的查询的结果的计算机化渲染时段如何都执行所有查询的搜索和检索系统的效率，本公开通过减少由搜索和检索系统消耗的计算资源来提高搜索和检索系统的效率。本公开减少由搜索和检索系统消耗的处理能力的量，因为如果该搜索和检索系统预测到查询与很可能未能满足预定阈值的计算机化渲染时段相关联则不执行接收到的查询。此外，附加计算资源被节省，因为不需要对针对这样的查询的搜索结果进行评分和排名。这样的搜索结果评分和排名过程是资源密集的，并且当与不使用预测计算机化渲染时段来避免执行某些接收到的查询的系统相比时，避免这样的搜索结果评分和排名过程的执行可显著地优化对计算资源的使用。
图1是用于基于预测计算机化渲染时段来确定是否执行查询的系统100(例如，搜索和检索系统)的示例的图。系统100包括客户端设备110、网络120、服务器130、和客户端设备210。虽然在本说明书中提供的系统100的示例包括两个客户端设备110、210，但是本公开不必被如此限制。替代地，由本说明书描述的系统也可以与仅一个客户端设备或超过两个客户端设备一起使用。
服务器130可以包括一个或多个单元。在本说明书中，术语“单元”将广泛地用于指代可执行一个或多个特定功能的基于软件的系统或子系统。通常，单元将作为安装在一个或多个位置中的一个或多个计算机上的一个或多个软件模块或组件被实现；在其它情况下，可将多个单元安装在一个或多个相同的计算机上。
诸如客户端设备110的客户端设备的用户可输入用于打开应用的指令。例如，用户可以选择在客户端设备110的用户界面中显示的发起天气应用的打开的图标。替选地，用户可以讲出指令安装在客户端设备110上并且在客户端设备110上执行的自动化助理应用打开天气应用的语音命令。打开天气应用导致图形用户界面111在客户端设备110的用户界面中的显示。随着用户界面111被生成，该应用指令设备110获得与特定位置的当前温度112和该特定位置的一个或多个未来温度113有关的数据。此外，该应用也指令客户端设备110向服务器130传送对可显示在图形用户界面111的区域114中的内容项的查询121。例如，查询121所请求的内容项可以包括图像、视频、文本、或者其组合等。在一些实施方式中，内容项可以包括产品、服务、或者事件等的广告。可以经由网络120传送查询121。网络120可以包括lan、wan、蜂窝网络、互联网、或其组合。
服务器130接收查询121并且提供131查询121作为向特征提取单元132的输入。在一些实施方式中，服务器130可以具有查询接收单元，该查询接收单元与特征提取单元132分开并且用来从客户端设备110、210接收数据并且将所接收到的数据的一个或多个部分提供给特征提取单元132。替选地，可以将查询接收单元功能性整合到特征提取单元132中，使得该特征提取单元可在不需要单独的查询接收单元的情况下接收查询121。
所接收到的查询121可以包括(i)一个或多个查询词项和(ii)与客户端设备110的当前场境(context)有关的数据。例如，客户端设备110的当前场境可以包括：指示生成了查询121的应用的数据、或者指示用户的应用使用历史的数据等。特征提取单元132从查询121中提取可用于生成查询向量134的特征。查询向量134是从客户端设备110接收到的一个或多个搜索词项和场境信息的数值表示。数值关系量化所接收到的查询121与建立的特征向量词汇(vocabulary)之间的关系。特征向量词汇可以包括许多条目，所述许多条目包括每个已知词的条目、安装在客户端设备上的每个应用的条目、以及与用户对客户端设备110上的应用的历史使用有关的一个或多个条目(例如，使用应用的时间的平均长度)等。
查询特征向量134被提供135作为向机器学习模型136的输入，所述机器学习模型136已被训练来预测查询与满足预定阈值的计算机化渲染时段相关联的可能性。机器学习模型136可以是逻辑回归模型，该逻辑回归模型包括在计算机化渲染时段很可能大于预定阈值(例如，1秒钟、3秒钟、或5秒钟等)的情况下定义诸如“0”的第一值的标签或在计算机化渲染时段很可能小于预定阈值(例如，1秒钟、3秒钟、或5秒钟等)的情况下定义诸如“1”的第二值的标签。经训练的机器学习模型136可以对所接收到的查询向量134进行处理，并且生成将所接收到的查询向量134分类为与第一值或第二值相关联的输出标签137。虽然本公开的该实施方式使用逻辑回归模型，但是可使用其它类型的机器学习模型。例如，可以将能够被训练来对输入进行处理并且将该输入分类为多个输出类中的一个的神经网络或其它类型的机器学习模型用作机器学习模型。
输出标签137被提供给计算机化渲染时段分析单元138，所述计算机化渲染时段分析单元138可确定输出标签137是否指示查询121的预测计算机化渲染时段满足预定阈值。在一个实施方式中，如果机器学习模型136输出指示预测计算机化渲染时段超过预定阈值的标签137，则用于显示响应于查询121的内容项的预测计算机化渲染时段可以满足预定阈值。替选地，如果机器学习模型136输出指示预测计算机化渲染时段没有超过预定阈值的标签137，则用于显示响应于查询137的内容项的预测计算机化渲染时段可以不满足预定阈值。
基于通过由机器学习模型136对查询向量134的处理而生成的输出标签137，计算机化渲染时段分析单元138确定是否应当执行查询121。特别地，如果计算机化渲染时段分析单元138确定机器学习模型136的输出137指示响应于查询121的内容项的预测计算机化渲染时段未被预测为满足预定阈值，则计算机化渲染时段分析单元138可以决定避免对查询121进行处理。在这样的场景中，计算机化渲染时段分析单元138将指令139服务器130不使用搜索引擎140来执行查询121。例如，搜索引擎可以包括被存储在设备或一组设备上并且在其上执行的一个或多个软件组件，所述设备或一组设备可使用查询(具有例如文本、图像或音频的任何形式)来识别存储在数据结构中的内容。
在系统100的示例中，机器学习模型136可以至少部分地基于特征向量的特征来预测响应于查询121的内容项的计算机化渲染时段很可能不满足预定阈值，所述特征指示客户端设备110的场境，诸如起始了查询121的应用的类型。例如，机器学习模型136可被训练来学习诸如提供用户界面111的天气应用的应用通常不与高计算机化渲染时段相关联。这是因为，用户通常打开天气应用，了解当前或未来的预报，并且然后关闭该天气应用。结果，天气应用通常可以与诸如1秒钟或更少的低计算机化渲染时段相关联。在这样的实例中，系统100可确定不执行查询121以试图节省系统100的计算资源。避免查询121的执行不应当影响用户体验，因为预测了用户不打算使用户界面111打开并且显示在客户端设备110的用户界面中达足够长的时间以接收用于基于查询121而在区域114中显示的内容项，查看响应于查询121而返回的将被显示在区域114中的内容项，并且然后点击将被显示在区域114中的内容项。在一些实施方式中，当避免了查询121的执行时用户界面111的区域114可以留空。
指令139服务器130不执行查询121提高系统100的效率，因为服务器不需要消耗查询处理单元142执行查询121所必需的计算资源。此外，系统100能够绕过由内容排名单元147执行的搜索结果评分和排名的计算上昂贵的操作。因此，系统100可通过不执行诸如查询121的由机器学习模型136预测为与不满足预定阈值的计算机化渲染时段相关联的查询来节约对计算资源的消耗。
诸如客户端设备210的客户端设备的用户也可输入用于打开应用的指令。例如，用户可以选择显示在客户端设备210的用户界面中的发起新闻应用的打开的图标。替选地，该用户可以讲出指令安装在客户端设备210上并且在客户端设备210上执行的自动化助理应用打开新闻应用的语音命令。打开新闻应用导致图形用户界面211在客户端设备210的用户界面中的显示。随着用户界面211被生成，该应用指令客户端设备210获得与一个或多个新闻标题(newsheadline)有关的数据。可以将与新闻标题有关的数据显示为与网络地址相关联的可选择的文本、图像、或图标等212a、212b。响应于对可选择的文本、图像、或图标等中的一个的选择，客户端设备可以从与所选择的文本、图像、或图标等相关联的网络地址中检索与新闻报道213有关的数据。此外，应用也指令客户端设备210向服务器130传送对可显示在图形用户界面211的区域214中的内容项的查询122。例如，查询122所请求的内容项可以包括图像、视频、文本、或者其组合等。内容项可以与网络地址相关联并且被以使内容项可选择的方式渲染在用户界面211的区域214中。在选择内容项时，客户端设备可以基于从与该内容项相关联的网络地址获得的数据来生成用户界面。
服务器130接收查询122并且提供131查询122作为向特征提取单元132的输入。所接收到的查询122与先前接收到的查询121基本上类似。例如，查询122也可以包括(i)一个或多个查询词项和(ii)与客户端设备110的当前场境有关的数据。然而，与天气应用相反，查询122起源于新闻应用。在此示例中，新闻应用是用户(或客户端设备)可以在例如客户端设备210的用户阅读诸如新闻报道213的一个或多个新闻报道的同时让其打开较长时间段的类型的应用。
如上所述，特征提取单元132从查询122中提取可用于生成查询向量的特征。查询向量被提供135作为向机器学习模型136的输入，所述机器学习模型136已被训练来预测与查询向量相关联的计算机化渲染时段满足预定阈值的可能性。经训练的机器学习模型136可以对所接收到的查询向量进行处理并且生成指示响应于查询122而返回的内容项的计算机化渲染时段满足预定阈值的可能性的输出标签。例如，该输出标签包括指示响应于查询的内容项的显示的预测计算机化渲染时段是否满足预定阈值(例如，1秒钟、3秒钟、或5秒钟等)的数据。
由机器学习模型136输出的输出标签被提供给计算机化渲染时段分析单元138。计算机化渲染时段分析单元138可确定该输出标签是否指示查询122的预测计算机化渲染时段满足预定阈值。基于此确定，计算机化渲染时段分析单元138可确定是否指令查询处理单元142执行查询122。例如，如果计算机化渲染时段分析单元138确定机器学习模型136的输出指示响应于查询122的内容项的计算机化渲染时段很可能将不满足预定阈值，则计算机化渲染时段分析单元138可以决定避免对查询139进行处理。在这样的场景中，计算机化渲染时段分析单元138将指令139服务器130不使用搜索引擎140来执行查询121。替选地，如果计算机化渲染时段分析单元138确定机器学习模型136的输出指示响应于查询122的内容项的预测计算机化渲染时段被预测为满足预定阈值，则计算机化渲染时段分析单元138指令搜索引擎140执行查询。例如，计算机化渲染时段分析单元138可指令141查询处理单元142执行查询122。
在系统100的示例中，机器学习模型136至少部分地基于特征向量的特征来预测响应于查询122的内容项的计算机化渲染时段很可能满足预定阈值，所述特征指示客户端设备210的场境，诸如起始了查询122的应用的类型。例如，机器学习模型136可被训练来学习诸如提供用户界面211的新闻应用的应用通常与高计算机化渲染时段相关联。这是因为，用户通常打开新闻应用，选择与一个或多个标题相对应的数据，并且然后读完或者至少略读感兴趣的文章。替选地，用户可以花费足够的时间来简单地阅读由新闻应用提供的多个标题。结果，新闻应用可以通常与诸如多于1秒钟、或多于3秒钟等的足够的计算机化渲染时段相关联。在这样的实例中，系统100可确定通过使用搜索引擎140执行查询122来消耗计算资源是可接受的，因为用户将在查看图形用户界面211足够长以查看响应于查询122所返回的内容项并且潜在地点击该内容项。
搜索引擎140可使用查询处理单元142来通过使用查询122搜索143内容数据库144执行查询122。内容数据库144可以包括诸如图像、视频、文本、或其组合等的多个内容项。在一些实施方式中，内容数据库144可以包括图像、视频、文本或其组合，其包括产品、服务、或事件等的广告。可以在对内容数据库的搜索期间识别响应于查询122的一个或多个内容项，并且可将一个或多个内容项返回145给查询处理单元142。查询处理单元142可以将一个或多个内容项提供146给内容排名单元147。替选地，在一些实施方式中，内容数据库可以将响应于查询122的经识别的一个或多个内容项提供给内容排名单元147，而无需通过查询处理单元142来路由一个或多个内容项。
内容排名单元147可以使用一个或多个评分算法来为被识别为响应于查询122的一个或多个内容项中的每一个生成一个或多个分值。该分值可以包括对内容项的质量进行评级的质量分值、对内容项的流行度进行评级的流行度分值、或者指示客户端设备的用户将点击内容项的可能性的置信分值等。然后，内容排名单元147可以基于一个或多个分值来对一个或多个内容项进行排名。然后，可以基于一个或多个生成的分值来选择内容项中的一个或多个。在一些实施方式中，可以选择排名最高的内容项以供传输123到客户端设备210。然后可将一个或多个内容项显示215在区域214中。
在一些实施方式中，可以将多个内容项返回给客户端设备以供显示。在这样的实例中，可以提供多个不同的内容项以供在区域214中显示。替选地，虽然可以将多个内容项返回给客户端设备210，但是客户端设备210可以缓存所述多个内容项中的一个或多个，并且然后以循环方式、一次一个、或一次两个等来用另一内容项定期地替换区域214中显示的内容项。
机器学习模型对响应于查询而提供的内容项的计算机化渲染时段是否超过预定阈值的预测的使用只是参考图1所描述的主题的使用的一个示例。这是因为存在预测计算机化渲染时段的使用能够是有用的其它实施方式。
例如，可以提供逻辑执行系统(例如，竞拍系统)，该逻辑执行系统执行一个或多个逻辑指令(例如，用以执行竞拍)并且接收关于一个或多个搜索词项的选择指令以触发内容项的显示。该逻辑执行系统可以被配置成接收用户感兴趣的一个或多个关键字的集合，并且然后对来自该关键字的集合的一个或多个关键字发起逻辑执行指令(例如，自动竞价)。在一些实施方式中，预测计算机化渲染时段可用于确定是否应当提交逻辑执行指令。例如，可以提供一个或多个搜索词以供竞价。在代表用户发起逻辑执行指令之前，该逻辑执行系统可以使用机器学习模型136和计算机化渲染时段分析单元138来确定与响应于基于供竞价的关键字的查询的内容项相对应的搜索结果的计算机化渲染时段是否满足预定阈值(例如，1秒钟、3秒钟、或5秒钟等)。
该逻辑执行系统可被配置成在机器学习模型136和计算机化渲染时段分析单元138确定与响应于查询的内容项相对应的搜索结果的计算机化渲染时段不满足预定阈值的情况下不允许逻辑执行指令执行。这样的系统提供以下优点：避免对一个或多个关键字发起逻辑执行指令，所述一个或多个关键字不会导致为用户提供机会来查看并点击响应于查询而提供的内容项的计算机渲染时段的。在一些实施方式中，用户可以能够向竞拍系统提供输入，该输入指定必须与一个或多个关键字相关联以便使该竞拍系统代表用户允许逻辑执行指令发生的最小计算机化渲染时段。
图2是基于预测计算机化渲染时段来确定是否执行查询的过程200的示例的流程图。为了方便，过程200将被描述为由位于一个或多个位置中的一个或多个计算机的系统来执行。例如，可依照本说明书将诸如系统100的系统适当地编程为执行过程200。
过程200从系统接收210来自客户端设备的查询开始。该查询可以由应用生成并且包括对内容项的请求。该查询可以包括(i)一个或多个查询词项和(ii)与客户端设备110的当前场境有关的数据。例如，客户端设备110的当前场境可以包括：指示生成了该查询的应用的数据、或者指示用户的应用使用历史的数据等。
系统基于所接收到的查询来确定220一个或多个特征。从查询中提取的特征包括与查询的词、或查询的当前场境等有关的特征。所提取的特征可用于基于提取的特征的集合来生成查询向量。该查询向量是从客户端设备接收到的一个或多个搜索词项和场境信息的数值表示。数值关系量化所接收到的查询与建立的特征向量词汇之间的关系。特征向量词汇可以包括许多条目，所述许多条目包括每个已知词的条目、安装在客户端设备上的每个应用的条目、以及与用户对客户端设备上的应用的历史使用有关的一个或多个条目(例如，使用应用的时间的平均长度)等。
系统提供230在阶段220处确定的一个或多个特征作为向已被训练来预测计算机化渲染时段的机器学习模型的输入。在一些实施方式中，作为向机器学习模型的输入所提供的一个或多个特征可以处于在阶段220处生成的查询向量的形成。机器学习模型可以包括逻辑回归模型，该逻辑回归模型包括在计算机化渲染时段很可能满足预定阈值(例如，大于或者等于1秒钟、3秒钟、5秒钟等)的情况下定义为诸如“0”的第一值的标签或在计算机化渲染时段很可能小于预定阈值(例如，小于1秒钟、3秒钟、5秒钟等)的情况下定义为诸如“1”的第二值的标签。经训练的机器学习模型可以对所接收到的查询向量进行处理并且生成指示预测计算机化渲染时段的输出标签。系统可以从机器学习模型接收240指示计算机化渲染时段是否很可能满足预定阈值的输出数据。所接收到的输出数据可以包括例如由机器学习模型生成的输出标签。
虽然过程200的一些实施方式可以使用逻辑回归模型，但是本公开不必被如此限制。替代地，能够对输入进行处理并且将该输入分类为多个类中的特定类的任何类型的机器学习模型可被训练来针对查询向量预测计算机化渲染时段。例如，在一个实施方式中，可以将神经网络系统用作机器学习模型。
系统确定250计算机化渲染时段是否很可能满足预定阈值。确定计算机化渲染时段是否很可能满足预定阈值可以包括对从机器学习模型接收到的输出数据进行分析。例如，如果系统在阶段250处确定机器学习模型的输出指示响应于查询的内容项的预测计算机化渲染时段很可能不满足预定阈值，则系统可决定不执行260查询。
基于机器学习模型的输出确定计算机化渲染时段是否很可能满足阈值可以包括评估由机器学习模型输出的概率。例如，系统可以在机器学习模型的输出指示计算机化渲染时段不超过预定阈值的概率比计算机化渲染时段确实超过阈值有更高概率的情况下确定计算机化渲染时段不满足预定阈值。
决定不执行查询提高系统的效率，因为系统不需要消耗计算资源来执行其结果由于低计算机化渲染时段时间而无法被查看或者点击的查询。此外，系统能够绕过计算上昂贵的操作，诸如在查询被执行的情况下会对生成的搜索结果的集合执行的搜索结果评分和排名。因此，系统可通过不执行由机器学习模型预测为与不满足预定阈值的计算机化渲染时段相关联的查询来节约计算资源的消耗。
替选地，系统可在阶段250处确定机器学习模型的输出指示响应于查询的内容项的预测计算机化渲染时段很可能满足预定阈值。在这样的实例中，系统可决定执行270所接收到的查询。系统可以通过使用查询搜索内容数据库来执行查询。内容数据库可以由系统托管，或者由远程第三方服务器来维护。内容数据库144可以包括诸如图像、视频、文本、或者其组合等的多个内容项。在一些实施方式中，内容数据库可以包括图像、视频、文本或其组合，其包括与产品、服务、或事件等相关联的内容项。
如上所述，基于机器学习模型的输出来确定计算机化渲染时段是否很可能满足阈值可以包括：评估由机器学习模型输出的概率。例如，系统可以在机器学习模型的输出指示与计算机化渲染时段确实超过阈值比计算机化渲染时段不超过预定阈值有更高概率的情况下确定计算机化渲染时段确实满足预定阈值。
可以在对内容数据库的搜索期间识别响应于查询的一个或多个内容项，并且可由系统使用一个或多个内容评分算法来对所述一个或多个内容项进行评分。例如，系统可以使用质量分值、流行度分值、置信分值等来对内容项进行评分。然后，系统可以基于一个或多个评分来对一个或多个内容项进行排名。然后，可以选择经排名的内容项中的一个或多个以供传输到使用网络连接到系统的客户端设备。在一些实施方式中，可以选择排名最高的内容项以供传输到客户端设备。然后可将一个或多个内容项显示在客户端设备的用户界面中。
可对于所期望的输出——即，与查询向量所基于的查询相关联的计算机化渲染时段是否满足预定阈值的指示——未知的查询向量执行过程200。系统也可以对训练数据的集合——即，已知其输出的输入集合，该输出应当由该系统来预测——中的输入执行过程200，以便训练该系统，即以针对机器学习模型的参数确定经训练值。特别地，可对从训练数据的集合中选择的输入重复执行过程200以作为用于训练神经网络的常规机器学习训练技术的一部分，例如，通过时间训练技术的随机梯度下降反向传播。
图3是用于基于预测计算机化渲染时段来确定何时执行查询的系统的组件的框图。
计算设备300旨在表示各种形式的数字计算机，诸如膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型主机、以及其它适当的计算机。移动计算设备350旨在表示各种形式的移动计算设备，诸如台式机、膝上型计算机、平板计算机、个人数字助理、蜂窝电话、智能电话、以及其它类似的计算设备。这里所示的组件、它们的连接和关系、及其功能意在仅为示例，而不意在为限制性的。
计算设备300包括处理器302、存储器304、存储设备306、连接到存储器304和多个高速扩展端口310的高速接口308以及连接到低速扩展端口314和存储设备306的低速接口312。处理器302、存储器304、存储设备306、高速接口308、高速扩展端口310、和低速接口312中的每一个使用各种总线来互连，并且可以被安装在公共主板上或者酌情以其它方式安装。处理器302可对用于在计算设备300内执行的指令进行处理，所述指令包括存储在存储器304中或在存储设备306上以将图形用户界面(gui)的图形信息显示在外部输入/输出设备——诸如，耦合到高速接口308的显示器316——上的指令。在其它实施方式中，可以酌情使用多个处理器和/或多条总线连同多个存储器和各种类型的存储器。而且，可以连接多个计算设备，其中每个设备提供必要操作的部分(例如，作为服务器组、刀片服务器的群组、或多处理器系统)。
存储器304存储计算设备300内的信息。在一些实施方式中，存储器304是一个或多个易失性存储器单元。在一些实施方式中，存储器304是一个或多个非易失性存储器单元。存储器304也可以是另一形式的计算机可读介质，诸如磁盘或光盘。存储设备306能够为计算设备300提供大容量存储。在一些实施方式中，存储设备306可以是或者包含：计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备；闪速存储器或其它类似的固态存储器设备；或设备的阵列，包括存储区域网络或其它配置中的设备。在其它实施方式中，存储设备306可以包括一个或多个基于云的存储设备。指令可被存储在信息载体中。该指令当由一个或多个处理设备(例如，处理器302)执行时，执行一个或多个方法，诸如上述的那些方法。指令也可由诸如计算机或机器可读介质(例如，存储器304、存储设备306、或处理器302上的存储器)的一个或多个存储设备来存储。
高速接口308管理计算设备300的带宽密集操作，而低速接口312管理较低带宽密集操作。功能的这样的分配仅是示例。在一些实施方式中，高速接口308耦合到存储器304、显示器316(例如，通过图形处理器或加速器来耦合)，并且耦合到可以接受各种扩展卡的高速扩展端口310。在该实施方式中，低速控制器312耦合到存储设备306和低速扩展端口314。可以包括各种通信端口(例如，usb、蓝牙、以太网、无线以太网)的低速扩展端口314可以耦合到一个或多个输入/输出设备——诸如键盘、指示设备、扫描仪，或例如通过网络适配器耦合到联网设备——诸如交换机或路由器。
如该图中所示，可以以许多不同的形式实现计算设备300。例如，它可以作为标准服务器320被实现，或在这样的服务器的群组中多次实现。此外，它可以被实现在诸如膝上型计算机322的个人计算机中。它也可以作为机架服务器系统324的一部分被实现。替选地，来自计算设备300的组件可以与移动计算设备——诸如移动计算设备350——中的其它组件组合。这样的设备中的每一个可以包含计算设备300和移动计算设备350中的一个或多个，并且整个系统可以由彼此进行通信的多个计算设备组成。
除其它组件之外，移动计算设备350也包括处理器352、存储器364、诸如显示器354、通信接口366、和收发器368的输入/输出设备。移动计算设备350也可以被提供有存储设备——诸如微型驱动器或其它设备——以提供附加存储。处理器352、存储器364、显示器354、通信接口366、和收发器368中的每一个使用各种总线来互连，并且可以在公共主板上或者酌情以其它方式安装这些组件中的若干组件。
处理器352可执行移动计算设备350内的指令，包括存储在存储器364中的指令。处理器352可以作为包括单独的和多个模拟及数字处理器的芯片的芯片组被实现。例如，处理器352可以提供对移动计算设备350的其它组件的协调，诸如对用户界面、由移动计算设备350运行的应用、和由移动计算设备350进行的无线通信的控制。
处理器352可以通过耦合到显示器354的控制接口358和显示接口356与用户进行通信。显示器354可以是例如tft(薄膜晶体管液晶显示器)显示器或oled(有机发光二极管)显示器或其它适当的显示技术。显示接口356可以包括用于驱动显示器354以向用户呈现图形和其它信息的适当电路。控制接口358可以接收来自用户的命令并且对它们进行转换以供提交给处理器352。此外，外部接口362可以提供与处理器352的通信，以便使得移动计算设备350能够与其它设备进行近区域通信。外部接口362可以在一些实施方式中提供例如有线通信，或者在其它实施方式中提供无线通信，并且也可以使用多个接口。
存储器364存储移动计算设备350内的信息。存储器364可作为一个或多个计算机可读介质、一个或多个易失性存储器单元、或者一个或多个非易失性存储器单元中的一个或多个被实现。扩展存储器374也可以通过扩展接口372来提供并连接到移动计算设备350，所述扩展接口372可以包括例如simm(单列直插存储器模块)卡接口。扩展存储器374可以为移动计算设备350提供额外的存储空间，或者也可以为移动计算设备350存储应用或其它信息。具体地，扩展存储器374可以包括用于执行或者补充上述的过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器374可以作为移动计算设备350的安全模块被提供，并且可以被编程有许可对移动计算设备350的安全使用的指令。此外，可以经由simm卡连同附加信息一起提供安全应用，诸如以不可非法侵入的方式将识别信息放置在simm卡上。
如在下面所讨论的，存储器可以包括例如闪速存储器和/或nvram存储器(非易失性随机存取存储器)。在一些实施方式中，指令被存储在信息载体中，所述指令当由一个或多个处理设备(例如，处理器352)执行时，执行一个或多个方法，诸如上述的那些方法。指令也可由诸如一个或多个计算机或机器可读介质(例如，存储器364、扩展存储器374、或处理器352上的存储器)的一个或多个存储设备来存储。在一些实施方式中，可例如通过收发器368或外部接口362在传播信号中接收指令。
移动计算设备350可以通过通信接口366以无线方式通信，所述通信接口366必要时可以包括数字信号处理电路。通信接口366可以在各种模式或协议下提供通信，所述模式或协议诸如gsm(全球移动通信系统)、sms(短消息服务)、ems(增强消息收发服务)或mms消息收发(多媒体消息收发服务)、cdma(码分多址)、tdma(时分多址)、pdc(个人数字蜂窝)、wcmda(宽带码分多址)、cdma2000、或gprs(通用分组无线电服务)等。例如，这样的通信可以通过收发器368使用射频来发生。此外，短距离通信可以诸如使用蓝牙、wifi、或其它这样的收发器来发生。此外，gps(全球定位系统)接收器模块370可以向移动计算设备350提供附加导航相关和位置相关的无线数据，其可以酌情由在移动计算设备350上运行的应用使用。
移动计算设备350也可以使用音频编解码器360可听地通信，所述音频编解码器360可以从用户接收说出的信息并且将它转换为可使用的数字信息。同样，音频编解码器360可以诸如通过扬声器——例如，在移动计算设备350的送受话器中——为用户生成可听声音。这样的声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且也可以包括由在移动计算设备350上操作的应用所生成的声音。
如该图中所示，可以以许多不同的形式实现移动计算设备350。例如，它可以作为蜂窝电话380被实现。它也可以作为智能电话382、个人数字助理、平板计算机、膝上型计算机、台式机、或其它类似的移动计算设备的一部分被实现。
在本说明书中描述的主题、功能操作和过程的实施例可用数字电子电路、用有形地体现的计算机软件或固件、用计算机硬件——包括本说明书中公开的结构及其结构等同物、或者用它们中的一个或多个的组合来实现。在本说明书中描述的主题的实施例可作为一个或多个计算机程序——即编码在有形非易失性程序载体上以供由数据处理装置执行或者控制数据处理装置的操作的计算机程序指令的一个或多个模块——被实现。替选地或此外，可将程序指令编码在人工生成的传播信号上，例如编码在机器生成的电、光、或电磁信号上，所述信号被生成来对信息进行编码以用于传输到合适的接收器装置以供由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基底、随机或串行存取存储器设备、或它们中的一个或多个的组合。
术语“数据处理装置”涵盖用于对数据进行处理的所有种类的装置、设备、和机器，作为示例包括可编程处理器、计算机、或多个处理器或计算机。该装置可包括专用逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。该装置除了包括硬件之外，还可包括为讨论中的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。
计算机程序(其也可以被称为或者描述为程序、软件、软件应用、模块、软件模块、脚本、或代码)可用任何形式的编程语言编写——包括编译或解释语言、或者声明性或过程性语言，并且它可被以任何形式部署，包括作为独立程序或者作为适合于在计算环境中使用的模块、组件、子例程或其它单元。计算机程序可以但不必对应于文件系统中的文件。可在保持其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分、在专用于讨论中的程序的单个文件中、或者在多个协作文件(例如，存储一个或多个模块、子程序、或代码的部分的文件)中存储程序。可将计算机程序部署为在一个计算机上或者在位于一个站点处或跨越多个站点分布并通过通信网络互连的多个计算机上执行。
在本说明书中描述的过程和逻辑流程可由一个或多个可编程计算机来执行，所述可编程计算机执行一个或多个计算机程序以通过对输入数据进行操作并且生成输出来执行功能。该过程和逻辑流程也可由专用逻辑电路来执行，并且装置也可作为专用逻辑电路被实现，所述专用逻辑电路例如fpga(现场可编程门阵列)或asic(专用集成电路)。
作为示例，适合于执行计算机程序的计算机包括可基于通用微处理器或专用微处理器或两者，或任何其它种类的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必要元件是用于实现或者执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机也将包括用于存储数据的一个或多个大容量存储设备——例如，磁盘、磁光盘、或光盘，或者可操作地耦合以从其接收数据或者向其传输数据、或这两者。然而，计算机不必具有这样的设备。此外，可将计算机嵌入在另一设备中——例如，移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏控制台、全球定位系统(gps)接收器、或便携式存储设备(例如，通用串行总线(usb)闪速驱动器)，仅举数例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，作为示例包括：半导体存储器设备，例如，eprom、eeprom和闪速存储器设备；磁盘，例如，内部硬盘或可移动盘；磁光盘；以及cd-rom盘和dvd-rom盘。处理器和存储器可由专用逻辑电路来补充，或者并入专用逻辑电路。
为了提供与用户的交互，可将本说明书中所描述的主题的实施例实现在计算机上，该计算机具有：用于向用户显示信息的显示设备——例如crt(阴极射线管)或lcd(液晶显示器)监视器)；以及用户通过其能够向计算机提供输入的键盘和指示设备——例如鼠标或轨迹球。其它种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈、或触觉反馈；并且可接收来自用户的处于包括声输入、语音输入、或触觉输入的任何形式的输入。此外，计算机可通过向由用户使用的设备发送文档并且从由用户使用的设备接收文档来与该用户交互；例如，通过响应于从用户的客户端设备上的web浏览器接收到的请求而向该web浏览器发送web页面。
在本说明书中描述的主题的实施例可被实现在计算系统中，所述计算系统包括后端组件——例如作为数据服务器)，或者包括中间件组件——例如应用服务器)，或者包括前端组件——例如具有用户通过其与本说明书中所描述的主题的实施方式交互的图形用户界面或web浏览器的客户端计算机，或一个或多个这样的后端组件、中间件组件、或前端组件的任何组合。本系统的组件可通过任何形式或介质的数字数据通信——例如通信网络——来互连。通信网络的示例包括局域网(“lan”)和广域网(“wan”)，例如，互联网。
计算系统可包括客户端和服务器。客户端和服务器通常远离彼此并且典型地通过通信网络来交互。客户端和服务器的关系依靠在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生。
虽然本说明书包含许多特定实施方式细节，但是这些不应当被解释为对可能要求保护的范围构成限制，而是相反解释为可以特定于特定实施例的特征的描述。也可在单个实施例中组合地实现在本说明书中在单独的实施例场境下所描述的某些特征。相反地，也可单独地在多个实施例中或者以任何适合的子组合来实现单个实施例场境下所描述的各种特征。此外，尽管特征可以被在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是来自要求保护的组合的一个或多个特征可在一些情况下被从组合中删去，并且所要求保护的组合可以涉及子组合或子组合的变型。
类似地，虽然在附图中按照特定次序描绘了操作，但是这不应当被理解为要求按照所示的特定次序或者按照顺序次序执行这样的操作，或者要求执行所有图示的操作以实现所期望的结果。在某些情况下，多任务处理和并行处理可以是有利的。此外，不应当将在上述实施例中的各种系统组件的分离理解为在所有实施例中都要求这样的分离，并且应当理解，所描述的程序组件和系统通常可一起集成单个软件产品中或者封装到多个软件产品中。
已经描述了本主题的特定实施例。其它实施例在所附权利要求书的范围内。例如，在权利要求书中记载的动作可按照不同的次序来执行并且仍然实现所期望的结果。作为一个示例，在附图中描绘的过程不一定要求所示的特定次序或顺序次序来实现所期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。可以提供其它步骤，或者可以从所描述的过程中消除步骤。因此，其它实施方式在所附权利要求书的范围内。