个性化的任务继续助手的制作方法

文档序号:16637166发布日期:2019-01-16 07:07阅读:319来源:国知局
个性化的任务继续助手的制作方法

计算机上的个人助理的日益复杂化对用户完成简单任务的方式产生了很大影响。然而,数字个人助理通常不能用于辅助完成长时间运行的任务(即,在一次就坐(sitting)中任何未完成的任务)。例如,在恢复长时间运行的任务时,用户可能必须重新启动任务,或者回溯并执行与先前已经完成的任务完成相关的步骤。当在不同位置的多个设备上执行长时间运行的任务时(这种情况经常发生),这些问题会复杂化。

关于该总体技术环境,已经构想了本文中公开的本技术的各方面。此外,尽管已经讨论了总体环境,但是应当理解,本文中描述的示例不应当限于背景中标识的总体环境。



技术实现要素:

提供本“发明内容”是为了以简化的形式介绍一些概念,这些概念将在下面的“具体实施方式”部分中进一步描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。

本公开的非限制性示例描述了用于辅助任务继续和完成的系统、方法和设备。可以接收:从第一上下文接收的来自设备的第一数据。第一数据可以在经聚类的意图索引中被排序,经聚类的索引包括与第一数据有关的多个类别层级。可以从第二上下文接收来自设备的第二数据,第二数据提供对辅助任务继续的指示。可以确定第二数据与经聚类的第一数据的相关性,该确定包括:利用与多个类别层级中的至少一个类别层级有关的阈值来评估来自第二数据的提取信息。然后可以向设备发送与第一数据相关的内容。

附图说明

参考以下附图描述非限制性和非穷举性示例:

图1是示出用于执行个性化的任务继续辅助的示例分布式计算环境的示意图。

图2是用于辅助任务继续的示例性方法。

图3是用于提供增强的设备反馈以辅助任务继续的示例性方法。

图4示出了对从用户资源中提取的信息进行意图聚类的一个示例。

图5是用于在位置阈值满足时辅助任务继续并且提供设备反馈的示例性方法。

图6是用于在时间阈值满足时辅助任务继续并且提供增强的设备反馈的示例性方法。

图7示出了用于执行本公开的一个或多个方面的计算设备。

图8是可以实践本公开的各方面的计算设备的简化框图。

图9是示出可以实践本公开的各方面的计算设备900的物理组件(例如,硬件)的框图。

具体实施方式

将参考附图详细描述各种实施例,其中贯穿各视图,相同的附图标记表示相同的部件和组件。对各种实施例的引用并不限制所附权利要求的范围。此外,本说明书中阐述的任意示例并非旨在进行限制,而是仅为所附权利要求阐述了许多可能的实施例中的一些可能的实施例。

以上描述的各种实施例和示例仅以说明的方式被提供,并且不应当被解释为限制所附权利要求。本领域技术人员将容易地认识到可以在不遵循本文中示出和描述的示例实施例和应用并且不脱离权利要求的真实精神和范围的情况下进行的各种修改和改变。

总体而言,本公开涉及:对将在多于一次就坐或浏览期间完成的任务的继续进行辅助。具体地,可以分析由设备在第一上下文中访问的内容,并且可以从内容中提取数据以进行进一步处理,以便向设备提供增强的反馈。还可以处理提取的数据以用于在多个意图聚类中进行分类。在提取内容之后,一个或多个计算设备可以评估当前设备上下文。这种评估可以包括:分析诸如设备的地理位置、设备的移动、一天中的时间、星期几、月份和年份等度量。在评估当前设备上下文之后,可以确定在意图聚类中分类的数据与当前上下文的相关性。可以过滤掉:与一个或多个排序阈值相关地被确定为不相关的聚类和被确定为具有很少相关性的聚类。可以向设备发送与满足一个或多个排序阈值的一个或多个意图聚类有关的信息和增强内容,以辅助任务继续和完成。

根据一些方面,用户可以在设备上开始任务,并且由于时间限制、不充分的信息或其他混淆因素而可能无法完成任务。例如,用户可以开始web搜索从洛杉矶到西雅图的廉价且便利的航班,在6月的第一周离开并且在6月的第二周返回。在用户能够定位和购买满足这些标准的期望航班之前,用户可能被中断或以其他方式取消任务,仅在之后的时间恢复任务。根据该示例,可以分析用户在初始航班搜索期间访问的用户资源和对应内容,并且可以提取来自内容的数据用于进一步处理。

可以分析的用户资源的示例包括:浏览的网站、访问的应用以及查看或处理的文档。例如,在航班预订任务的上下文中,所分析的资源可以包括:航空公司网站和应用、在线旅行社网站和应用、用户的日历、用户的联系信息、跟踪设备的地理位置的应用、以及记笔记和提醒应用等。备选地和附加地,在访问用户资源时设备的地理位置和针对访问用户资源的时间的时间戳可以被附加到用户资源,或者以其他方式与用户资源相关联(例如,经由元数据)。可以分析地理定位和时间戳作为用户资源分析的一部分,如关于下面提供的图5和图6的描述更全面地描述的。

根据示例,对用户资源的分析可以包括:从所访问的内容中提取数据,并且在经聚类的意图索引中对其进行分类。经聚类的意图索引可以包括与所提取的数据有关的多个类别层级。所提取的数据可以包括:所访问的文档的文本(例如,用户已经向其中输入经编译的航班信息和相关内容的电子表格或其他文字处理文档)、已经访问的网站的内容(例如,航班时间、航班日期、航班持续时间、停留地点、停留时间、航班价格等)、以及已经访问的图像的光学字符识别(ocr)。可以在经聚类的索引中对其进行分类之前进一步处理所提取的数据。根据示例,所提取的数据的附加处理可以包括:执行自然语言处理、关键词和短语识别、模式识别等。

来自所访问的资源的内容和从所访问的资源中提取的数据到多个分类意图层级的分析、评估和分类可以包括多层分类过程。可以确定用户在处理任务时访问了哪些资源。例如,可以确定用户在开始航班搜索任务时已经访问了web搜索引擎、一个或多个航空公司网站以及一个或多个旅行预订应用。然后可以使用各种度量来对用户的web浏览和旅行应用历史进行排序和分类,并且在多个分类意图层级中对在这些资源上访问的内容进行排序和分类。根据这样的示例,可以关于web浏览和应用历史来进行分析的度量包括:在给定网站或应用上花费的时间、所访问的内容在网站或应用中的嵌入深度、用户是否已经在其他网站或应用所搜索到相关内容、用户是否已经将所访问的url标记或以其他方式保存到收藏夹列表等。

在确定用户在处理任务时访问了哪些资源并且评估与这些资源有关的度量之后,可以进行与用户意图相关的分析。这样的分析可以利用从所访问的内容中提取的数据和所访问的内容的处理(例如,自然语言处理),来根据用户意图类别(例如,娱乐、旅行、科技、文学、零售等)对数据进行排序和分类。在执行第一级排序和分类之后,可以将数据进一步分类为意图层级的第二层。例如,如果在第一级排序和分类中确定排序最高的意图类别是旅行,则进一步的分类可以确定:在旅行的次要意图类别中,应当将什么等级值应用到数据(例如,航班、火车、汽车、公共汽车、步行等)。可以根据第一意图层分类、用于确定第一意图层中的排序的对度量的分析、以及对所访问内容的处理来应用附加意图层,如下面关于图4的描述更全面地描述的。

根据某些方面,可以在离线过程中(例如,通过服务器计算设备)存储和评估从用户资源中提取的数据,以在之后的时间向设备提供附加内容。备选地和附加地,可以以在线方式执行对从用户资源中提取的数据的评估(例如,在用户执行与任务有关的动作的同时)。

根据上述离线和在线评估技术,可以分析和处理提取的数据,以获取与用户的任务相关的内容。例如,在将与第一任务有关的数据分类为至少第一意图类别层级之后,可以生成查询,以提取与经分类的数据有关的内容。这样的查询可以利用来自对提取的数据进行处理的结果,包括:自然语言处理结果、关键字和短语识别结果、以及模式识别结果,以产生查询字符串,查询字符串可以被发送给如关于图1所描述的web服务器或一个或多个计算设备、由其处理并且查询从其接收的结果。

还可以将另外的离线和在线评估技术应用于提取的数据,以获取与用户的任务相关的内容。例如,来自已经浏览的网页、已经查看的地图、已经阅读的文档以及已经访问的应用的数据可以在运行时收集,并且发送到一个或多个计算设备以进行进一步处理。可以针对已经在分层索引中分类的特定的提取的数据来实现进一步处理。备选地和附加地,可以对已经在分层索引中分类的所提取的数据的全部或一部分实现进一步处理。可以实现这样的附加处理,以提供用于与任务恢复有关的建议或反馈的附加内容,该附加内容不是用户访问的原始内容的一部分。

对提取的数据的进一步处理可以包括:使用来自自然语言处理、关键字、短语和模式识别以及图像的ocr的结果来组成与任务相关的搜索字符串。可以将搜索字符串提供给本地和远程搜索引擎中的一个或多个。然后可以根据本文中描述的类别层级对从这些查询中获取的结果进行分类和排序。根据一些方面,可以向设备证明排序最高的结果,并且可以在提供与未完成的任务有关的推荐或反馈之前过滤掉排序较低的结果。

根据附加示例,使用来自自然语言处理、关键字和短语识别、模式识别和ocr的结果的查询可以用于:从特定于用户但存储在远程存储设备(例如,云)上的资源中获取内容。这样的查询还可以用于获取本地化到一个或多个用户设备的内容(例如,经由个人计算机、膝上型计算机、平板电脑和智能电话存储器),以获取与任务相关的内容。例如,可以分析本地和远程文档、网站和特定web内容、与提取的数据有关的应用内容、用户日历和联系人数据(例如,空闲时间、会议信息、与日历事件相关联的人),以确定是否应当从这些资源中获取与已开始的任务有关的内容。这样的确定可以包括:评估是否应当关于这些资源生成查询,以及是否应当将与这些资源有关的内容和相关联分析作为针对任务继续的反馈来提供给设备。

在接收到对与用户的任务有关的反馈满足一个或多个阈值的指示时,可以将与用户的任务有关的内容发送到一个或多个用户设备。可以关于时间关联的数据(例如,在特定时间处、之前或期间可能有用的、与任务有关的反馈)、日期(例如,在特定日期处、之前或之后可能有用的、与任务有关的反馈)、位置(例如,在设备处于、接近或远离特定位置时可能有用的、与任务有关的反馈)、联系人信息(例如,在用户联系人空闲或不空闲或者用户联系人存在于特定位置或会议的情况下可能有用的、与任务有关的反馈)、以及事件上下文(例如,在事件上下文符合时间、日期和/或位置阈值的情况下可能有用的、与任务有关的反馈)来评估和评价如下面更全面描述的这样的阈值。

转到图1,提供了示出用于执行个性化的任务继续辅助的示例分布式计算环境100的示意图。用户104可以在第一上下文102中访问设备106并且开始处理任务。第一上下文102可以涉及特定时间或时间跨度、特定地理位置、移动方向和速度(例如,由设备106跟踪)、以及可以在该上下文期间访问的设备资源。

用户104可以开始第一任务。例如,用户104可以在家中并且使用设备106来浏览户外装备零售店的网站(例如,rei.com),以购买适合于在乔治华盛顿、在12月份、在gorgeamphitheatre进行野营旅行的睡袋和其他露营装备。用户104可以访问与网站上的几个感兴趣的睡袋相关的内容,包括对睡袋的评论、与睡袋相关的视频内容和温度评级。用户可以出于某种原因决定他们倾向于亲自看一个或多个所查看的睡袋。这样,用户可以决定停止在rei.com上查看与露营装备相关的内容,从而结束第一上下文102。

在结束第一上下文102之后,在用户104有机会访问rei的物理位置之前可以经过一段时间114。一旦用户104到达rei的物理位置处或附近,第二上下文108就开始。在设备112与rei的物理位置相关地满足位置阈值时,用户110可以访问设备112,设备112可以自动向用户110提供与在第一上下文102期间、在设备106上访问的内容有关的反馈。例如,设备112可以主动显示用户110最近在rei.com上查看并且仔细考虑的露营装备的深层链接。用于在上下文102期间开始露营装备搜索任务的设备106可以是与设备112相同或不同的设备,设备112在第二上下文108期间向用户110提供反馈。例如,设备106可以是用于在第一上下文102期间在家里浏览内容的个人计算机。设备106也可以是智能电话、笔记本电脑或平板电脑。在第二上下文108期间向用户110提供与在第一上下文102期间访问的内容相关的反馈的设备112可以是智能电话或其他便携式计算设备。

用户资源118包括与用户的计算设备有关的内容,例如设备106和设备112。例如,用户资源118中的内容可以包括:用户的web浏览器历史、应用使用历史、文档查看和准备历史、日历条目、联系人列表和照片。如下面关于图4更全面地讨论的,用户资源118和相关联的内容可以被存储并且用于在恢复未完成的任务(例如,购买露营装备)时向用户提供反馈。

世界知识120包括与设备访问的内容有关的信息,并且可以包括:与在第一上下文期间访问的内容有关的文档、与在第一上下文期间访问的内容相关的web搜索结果、与在第一上下文期间访问的内容相关的事件时间表、与在第一上下文期间访问的内容相关的地图和方向、以及与在第一上下文期间访问的内容相关的白名单。在第一上下文102结束之后,可以在离线处理期间获取世界知识120。例如,在第一上下文102期间访问的内容可以被存储为用户资源118的一部分。来自第一上下文102的存储的内容可以在离线处理期间处理,如下面关于图4更全面地讨论的,以获取世界知识120,世界知识120在与第一上下文102相关的一个或多个阈值满足时可以作为对用户110的反馈而被提供给设备112。备选地和附加地,可以在在线处理期间(例如,在第一上下文102期间执行任务的同时)全部或部分地获取世界知识120。

设备106和设备112可以经由网络116与一个或多个计算设备以及可以包含用户资源118和世界知识120的一个或多个数据库通信。

图2描绘了表示用于提供与继续和完成已开始的任务有关的反馈的方法200的流程图。流程开始于操作202,其中分析上下文。上下文可以包含诸如特定时间或时间跨度、设备的地理位置、设备的移动方向、设备的移动速度以及可以在该上下文期间访问的设备资源等信息。在操作204,可以关于所分析的上下文来评估一个或多个意图聚类,并且在操作206,确定一个或多个意图聚类与所分析的上下文的相关性。

以下结合图4更全面地讨论的意图聚类提供了一种机制,通过该机制,从所访问的内容(例如,用户在执行任务时访问的内容)中提取的数据以及与所访问的内容有关的增强的反馈内容可以被排序,并且在包括与所访问内容有关的多个类别层级的经聚类的意图索引中进行分类。例如,分层经聚类的意图索引中的第一层可以包括多个第一级意图(例如,零售、旅行、科技、文学、娱乐等),其中来自所访问的内容的所提取的数据和与所访问的内容有关的增强的反馈内容可以被排序。在确定多个第一级意图中的每个与该信息的相关性时,这种排序可以将各种算法应用于提取的数据和增强的反馈内容。

在确定多个第一级意图中的每个与提取的数据和增强的反馈内容的相关性之后,可以调用多个后续意图级别。例如,在层级中在娱乐意图下面的第二层可以包括第二级意图(例如,电影、音乐、事件、体育等)。然后,可以根据上面关于第一级意图的排序所讨论的方法,通过与每个第二级意图的相关性来对提取的数据和增强的反馈内容进行排序。应当理解,任何数目的后续层可以与意图聚类相关联。例如,娱乐意图聚类可以具有1、2、3......n个意图层,这些意图层可以应用于来自所访问内容的提取的数据和与所访问内容相关的增强的反馈内容。

通过处理来自所访问的内容的所提取的数据而得到的结果可以从自然语言处理、关键词和短语识别、模式识别和ocr中的一个或多个返回。然后可以针对应用于每个结果和对应内容的第一级意图和值排序来评估这些结果。因此,可以确定首先访问的内容与旅行意图最相关,并且由此将其与旅行意图类别或聚类相关联。备选地和附加地,可以确定第一访问内容与旅行意图最相关,但也与一个或多个其他意图相关,诸如娱乐意图。在这种情况下,首先访问的内容将由此与旅行意图类别相关联,其中相关性值排序指示旅行意图类别与内容最相关,并且首先访问的内容将与娱乐意图类别相关联,其中相关性值排序指示娱乐意图也与内容相关,但其与该意图的相关性次于其与旅行意图的相关性。

转向操作208,过滤分层经聚类的意图索引中的意图聚类和相关联的排序内容。例如,如果在操作202处分析上下文时,确定已经满足一个或多个阈值以关于已开始的任务向设备发送反馈(例如,对设备处于与已开始的任务相关的位置的径向阈值距离处或在该径向阈值距离内的指示),则可以过滤一个或多个意图聚类(例如,零售、旅行、科技、文学、娱乐)及其对应的分层意图级,使得仅在经聚类的意图索引中与特定上下文相关的最相关内容将被提供给运行中的设备。该反馈在操作210处提供,其中将推荐和/或相关内容发送到设备。

图3描绘了表示用于提供与继续和完成已开始的任务有关的反馈的方法300的流程图。方法300开始于操作302,其中分析由设备访问的内容。例如,可以在第一上下文期间访问所分析的内容。在分析所访问的内容之后,流程移动到操作304,其中提取由设备访问的数据,并且在操作306,存储所提取的数据。

移动到操作308,执行与提取的数据相关的离线处理。离线处理可以包括:分析在第一上下文期间访问的用户资源,包括web浏览器历史、应用使用历史、文档创建和查看历史、以及在第一上下文期间可能尚未访问但是可以与在该上下文中已开始的任务有关的用户资源。可以被包括在离线处理中的未访问的用户资源可以包括:日历信息、联系人列表和联系人相关信息(例如,联系人的空闲时间)和照片。离线处理还可以包括分析世界知识内容。这样的内容可以包括:文档、web搜索结果和url、事件时间表、地图和白名单。

转到操作310,评估当前设备上下文。当前上下文可以是第二上下文,例如第二上下文108,其中可以给出与在例如第一上下文102等第一上下文期间开始的任务有关的反馈。当前上下文可以涵盖:诸如特定时间或时间跨度、设备的地理位置、设备的移动方向、设备的移动速度以及在该上下文期间可以访问的设备资源等信息。在310处评估当前设备上下文之后,流程继续到操作312,其中可以确定在意图聚类中分组的数据与当前上下文的相关性。可以过滤掉:与一个或多个排序阈值相关地被确定为不相关的聚类和被确定为具有很少相关性的聚类。

在操作316,可以将与满足一个或多个排序阈值的一个或多个意图聚类有关的信息和增强内容发送到设备,以辅助任务继续和完成,并且该方法结束。

图4示出了从用户资源402提取的信息的意图聚类400的一个示例。例如,可以执行对用户资源的离线和在线分析以及处理,以便与一个或多个任务相关地确定在设备上执行的动作的相关性。用户资源402可以包括:诸如web浏览器历史、应用历史、文档创建和查看历史、日历信息、联系人列表和联系人空闲时间以及照片等资源。

根据示例,对用户资源404的分析可以包括:来自一个或多个用户资源402的资源内容提取404。例如,如果在第一上下文期间用户已经开始任务(例如,在户外零售网站上查看露营装备),则可以提取与该任务有关的web浏览器历史,并且可以如406处所示评估web浏览器历史的内容。web浏览器历史的内容评估可以包括评估以下度量,包括:在网站上花费的时间、所访问的网站的嵌入深度、有关浏览历史的确定、以及在浏览期间查看的任何内容是否已经被标记或以其他方式保存到收藏夹列表。

尽管使用网络浏览器历史作为可以从中提取内容的用户资源的一个示例,但是提取还可以包括:所访问的文档的文本(例如,用户已经将经编译的信息和相关内容输入到其中的电子表格或其他文字处理文档)和已经访问的图像的ocr。

可以在经聚类的索引中对其进行分类之前,进一步处理来自用户资源的提取的数据。根据示例,提取的数据的附加处理可以包括执行自然语言处理、关键词和短语识别、模式识别等。

在执行用户资源的内容提取并且对来自这些资源的提取的数据进行如上所述的进一步处理之后,可以执行第一级内容意图聚类,如408处所示。图4提供了如何将在第一任务期间执行的web浏览历史分类为娱乐意图聚类的一个示例。然而,如果确定一个或多个意图聚类与来自用户资源的提取的数据相关,则应当理解,分类成这些意图聚类(例如,旅行、科技、文学、零售等)中的一个或多个可以也可以根据本文中描述的系统和方法来进行。

执行第一级内容意图聚类可以涉及包括以下各项的步骤:来自所访问的资源的内容和从所访问的资源中提取的数据到多个分类意图层级的分析、评估和分类。可以确定用户在处理任务时访问了哪些资源。在确定用户在处理任务时访问了哪些资源并且评估与这些资源相关的度量(例如,在网站上花费的时间、网站的嵌入深度、相关浏览历史的确定、用户的标记网站等)之后,可以进行与用户意图有关的分析。这一分析可以利用从所访问的内容中提取的数据和对所访问的内容的处理(例如,自然语言处理)来根据用户意图类别对数据进行排序和分类。

如408所示,已经执行了第一级内容意图聚类,并且已经确定了与web浏览历史最相关的意图聚类是娱乐,如围绕“娱乐”的实线矩形所示。一个或多个其他第一级意图聚类也可能是相关的,尽管程度低于娱乐,并且这种较小的相关性在408处表示:“旅行”、“科技”、“文学”和“零售”第一级意图聚类各自由虚线矩形包围。

至少针对第一级意图聚类中被发现与提取的内容最相关的内容来执行第二级内容意图聚类。还可以针对第一级意图聚类中被发现与提取的内容相关但未发现与提取的内容最相关的附加内容来执行第二级内容意图聚类。在图4所示的示例中,如410处所示,对最初被聚类在娱乐聚类中的提取的内容执行第二级内容意图聚类。根据该示例,在娱乐第一级层级下面的第二级聚类包括电影、音乐、事件和体育。可以对从所访问的内容中提取的数据应用附加分析,以确定在第二级内容意图聚类内的每个聚类的相关性值排序。

如410处所示,已经执行了第二级内容意图聚类,并且已经确定第二级意图聚类中与web浏览历史最相关的意图聚类是电影,如围绕“电影”的实线矩形所示。一个或多个其他第二级意图聚类也可能是相关的,尽管程度低于娱乐,并且这种较小的相关性在410处表示:“音乐”、“事件”和“体育”第二级意图聚类各自由虚线矩形包围。

至少针对第二级意图聚类中被发现与提取的内容最相关的内容来执行第三级内容意图聚类。还可以针对第二级意图聚类中被发现与提取的内容相关但未发现与提取的内容最相关的附加内容来执行第三级内容意图聚类。在图4所示的示例中,如412处所示,对在分层内容意图聚类的第一级和第二级处、最初分别被聚类在娱乐和电影聚类中的提取的内容来执行第三级内容意图聚类。根据该示例,在娱乐第一级层级和电影第二级层级下面的第三级聚类包括戏剧、动作、喜剧和爱情。可以对从所访问的内容中提取的数据应用附加分析,以确定第三级内容意图聚类内的每个聚类的相关性排序。

如412处所示,已经执行了第三级内容意图聚类,并且已经确定第三级意图聚类中与web浏览历史最相关的意图聚类是戏剧,如围绕“戏剧”的实线矩形所示。一个或多个其他第三级意图聚类也可能是相关的,虽然程度低于戏剧,并且这种较小的相关性在412处表示:“动作”、“喜剧”和“爱情”第三级意图聚类各自由虚线矩形包围。

至少针对第三级意图聚类中被发现与提取的内容最相关的内容来执行第四级内容意图聚类。还可以针对第三级意图聚类中被发现与提取的内容相关但未发现与提取的内容最相关的附加内容来执行第四级内容意图聚类。在图4所示的示例中,如414处所示,对在分层内容意图聚类的第一级、第二级和第三级处、最初分别被聚类在娱乐、电影和戏剧聚类中的提取的内容来执行第四级内容意图聚类。根据该示例,在娱乐第一级层级、电影第二级层级和戏剧第三级层级下面的第四级聚类包括演员、新版本、经典度和评级。可以对从所访问的内容中提取的数据应用附加分析,以确定第四级内容意图聚类内的每个聚类的相关性排序。

如414处所示,已经执行了第四级内容意图聚类,并且已经确定第四级意图聚类中与web浏览历史最相关的意图聚类是演员,如围绕“演员的”实线矩形所示。一个或多个其他第四级意图聚类也可能是相关的,尽管程度低于演员,并且这种较小的相关性在414处表示:“新版本”、“经典度”和“评级”第四级意图聚类各自由虚线矩形包围。

如416处所示,可以执行n次将所提取的内容分类为分层内容意图聚类的附加级别。对提取的内容集执行的分类级别数目可以取决于一个或多个因素。例如,可以为娱乐聚类执行第一数目的分类级别(例如,如图4所示的四个级别的分类),而可以针对旅行、科技、文学和零售聚类中的每个彼此独立地执行相同或不同数目的分类级别。

根据一些方面,针对提取的数据来处理的分类级别的数目可以根据用户、设备、内容类型、提取策略、计算成本和可用资源而变化。例如,针对提取的数据来处理的分类级别的数目可以取决于:提取的内容的类型(web浏览器历史、应用历史、文档、日历、联系人列表、照片等)、提取的内容量(例如,1兆字节对1千兆字节)、评估提取的内容的计算成本、可用于离线处理的时间量(例如,任务在其中开始的第一上下文与任务在其中恢复的第二上下文之间的时间量)、以及用户帐户设置等。

在用户帐户设置的情况下,例如,与用户帐户相关联的一个或多个设备可以具有设置功能,该设置功能修改特定设备将用于处理意图聚类的数据量。也就是说,用户可能希望:归因于网络服务提供商限制、提供商计划细节以及与传输和接收处理意图聚类所必需的数据相关联的相关成本,而限制通过网络接收的数据或向处理意图聚类的一个或多个服务器设备发送的数据。

除了对与任务有关的提取数据进行分类并且将其分类为分层经聚类的意图索引之外,本文中描述的系统和方法还向用户提供个性化执行意图聚类的方式的能力。具体地,用户可以访问应用、个人助理(例如,siri、cortana、alexa、googlenow等)、与执行本文中描述的一个或多个功能并且查看与一个或多个任务相关联的所有意图的一个或多个设备相关联的帐户设置(例如,预订从西雅图到洛杉矶的航班)、访问的用户资源、以及从这些资源中提取的数据、以及该内容在分层经聚类的意图索引内的排序。

如果在检查该信息时,用户确定应当将一个或多个意图中的内容的一个或多个分类移动到不同的意图,则可以给予他们将该内容分配给一个或多个不同意图的选项。备选地,如果用户确定分类内容对完成任务没有帮助,则他们可以从分层经聚类的意图索引中删除该内容,使得在恢复该任务时不会将其作为反馈提供给用户,并且该内容将不会被用于(例如,通过自动web搜索)标识要在恢复该任务时作为反馈被提供给用户的有关内容。另外,如果用户确定经分类的内容被不适当地排序,则可以给予他们向该内容分配不同排序的选项。以这种方式,向本文中描述的系统提供主动用户反馈,该反馈可以用于修改执行将数据分类到分层经聚类的意图索引中的方式。也就是说,上述个性化用户输入可以在本文中描述的系统中实现以用于机器学习目的,使得内容以独特于用户(或单个账户的多个用户)的偏好的方式而被分类。

根据用户偏好和帐户设置对内容进行分类的方式可以是设备相关的或设备无关的。例如,用户可以在家里的个人计算机上开始任务并且在出差时在移动设备上恢复该任务,反之亦然。因此,每个设备可以具有不同的帐户设置,这些帐户设置影响对内容进行分类的方式,并且影响机器学习过程的用户的主动输入可以在设备之间变化。备选地,用户可以确定与其帐户相关联的每个设备应当在分类内容时应用相同的设置,并且相应地设置链接到该帐户的每个设备。

对内容进行分类的方式还可以受到包括以下各项在内的因素的影响:执行本文中描述的系统和方法的元素的时间(例如,用户可以更有可能在晚上使用不受限制的互联网连接并且在下午使用受限制的蜂窝数据连接)、设备传输和接收数据的方法(例如,手机网络对上互联网服务提供商网络)和隐私设置(例如,用户可能不希望某些访问的内容,诸如地理位置,被监测)。

图5示出了用于在位置阈值满足时辅助任务继续并且提供设备反馈的示例性方法500。流程开始于操作502,其中接收对当设备在位置阈值内时提供反馈的指示。例如,用户可以在实现本文中描述的系统和方法的各方面的、与账户相关联的设备上开始购物清单。可以在该设备上的应用(诸如笔记或提醒应用)中创建根据该示例的购物清单。该清单可以通过从用户接收的触觉输入以及通过语音输入(例如,通过访问个人助理的服务)来生成。本文中描述的系统可以根据该信息进行以下初始确定:当与用户账户相关联的设备在一个或多个位置(例如,杂货店)的规定位置阈值内时,应当在该任务(即,杂货店购物)完成过程中提供用户反馈和辅助。该初始确定可以基于一个或多个因素进行,包括:清单的初始关键字查看和用于创建清单的应用。

除了接收对基于诸如关键字检测等自动功能、当设备在位置阈值内时提供反馈的指示之外,用户可以主动指示应当在任务完成过程中向他们提供反馈。根据一个示例,用户可以在与其用户帐户相关联的设备上购买门票,以在gorgeamphitheatre观看演出。在购买这些门票并且浏览gorgeamphitheatre网站时,他们可以访问一个或多个网页,这些网页具有他们希望在他们到达场地时向他们展示的停车指示和gorgeamphitheatre规则。因此,用户可以使用他们的设备上的应用或个人助理,并且指示:他们希望在他们到达场地时将这些网页或在这些网页上找到的内容发送到与他们的帐户相关联的设备。

除了接收对当设备在位置阈值内时提供反馈的指示,还可以接收对当设备在该阈值之外但是在该阈值的方向上移动时提供反馈的指示。例如,图5所示的方法也可以在接收到设备在与任务完成相关的位置的方向上的移动时被应用。在这种情况下可以使用更大的位置阈值。也就是说,根据示例,在设备以高速(例如,通过汽车)朝向该位置移动的情况下,可以应用距离与任务完成相关的位置5km的径向阈值,并且在设备以较慢的速度(例如,通过脚)朝向该位置移动的情况下,可以应用1000米的径向阈值。

从操作502,流程继续到操作504,其中提取来自所访问的设备资源的内容,并且在操作406处存储所提取的内容。可以提取和存储内容,使得可以在如本文所述的分层经聚类的意图索引中对其分类,以及可以搜索有关内容并且将其作为反馈提供给用户以帮助恢复任务。

移动到操作508,接收对设备在位置阈值内的指示。如上所述,当与用户的账户相关联的设备在位置阈值内时,以及当与用户的账户相关联的设备在位置阈值内并且在位置的方向上移动时,可以接收这样的指示。从操作508,流程继续到操作510,其中向设备发送关于已开始的任务的反馈,并且该方法结束。

图6示出了用于在时间阈值满足时辅助任务继续并且提供增强的设备反馈的示例性方法600。流程开始于操作602,其中接收对在时间阈值满足时提供反馈的指示。在上面讨论的关于在位置阈值满足时提供gorgeamphitheatre的停车和规则信息的示例中,可以在特定时间向用户提供该内容以及通过离线处理得出的有关内容。例如,本文中描述的系统和方法可以首先确定:所访问的gorgeamphitheatre网站内容包含用户已经购买门票的演出的开始时间和日期。在做出该确定之后,例如可以进行在事件发生时或在事件开始前一小时提供反馈的指示。

如关于图4所讨论的,用户还可以主动指示应当向他们提供反馈以帮助完成任务。例如,在购买演出门票并且浏览gorgeamphitheatre网站之后,用户可以访问一个或多个网页,这些网页具有他们希望在节目开始前一小时向他们展示的停车指令和gorgeamphitheatre规则。因此,用户可以使用他们的设备上的应用或个人助理,并且指示他们希望在节目开始前一小时将这些网页或在这些网页上找到的内容发送到与他们的帐户相关联的设备。

移动到操作604,提取来自设备资源的内容,并且在操作606,存储所提取的内容。除了提取用户已经访问的内容之外,还可以提取与所访问的内容有关的内容。可以提取的与所访问的内容有关的内容的示例包括:存储在日历应用中的事件的开始时间、联系人列表中的一个或多个联系人的空闲时间和地理位置信息等。例如,除了指示他们想要在事件发生前一小时被提供反馈,用户可以备选地或附加地指示:他们希望在来自其联系人列表的一个或多个联系人在事件即将发生的场所的位置阈值内时他们被提供与事件有关的反馈。

从操作604开始,流程继续到操作608,其中执行离线处理。离线处理可以包括:将内容分类为分层经聚类的意图索引,以及获取与访问和提取的内容有关的内容。例如,在与gorgeamphitheatre的演出有关的数据的离线处理期间,可以获取与在演出期间演奏的乐队有关的内容(例如,乐队的网站和其他演出日期),并且在向用户提供其他所请求的反馈之前或同时将其发送给用户。

在操作610,接收提供反馈的时间指示。如上所述,可以在事件要开始时或在这样的事件之前的一定时间量接收这样的指示。从操作610,流程继续到操作612,其中向设备发送关于已开始的任务的增强的反馈,并且该方法结束。

图7和图8示出了可以实践本公开的实施例的计算设备700,例如,移动电话、智能电话、平板个人计算机、膝上型计算机等。参考图7,示出了用于实现实施例的示例性移动计算设备700。在基本配置中,移动计算设备700是具有输入元件和输出元件两者的手持式计算机。移动计算设备700通常包括显示器705以及允许用户将信息键入到计算设备700中的一个或多个输入按钮710。移动计算设备700的显示器705还可以用作输入设备(例如,触摸屏显示器)。如果包括可选的侧输入元件715,则其允许其他的用户输入。侧输入元件715可以是旋转开关、按钮或任何其他类型的手动输入元件。在备选实施例中,移动计算设备700可以集成更多或更少的输入元件。例如,在一些实施例中,显示器705可能不是触摸屏。在又一个备选实施例中,移动计算设备700是便携式电话系统、诸如蜂窝电话。移动计算设备700还可以包括可选小键盘735。可选小键盘735可以是物理小键盘或在触摸屏显示器上生成的“软”小键盘。在各种实施例中,输出元件包括用于示出图形用户界面(gui)的显示器705、视觉指示器720(例如发光二极管)、和/或音频换能器725(例如扬声器)。在一些实施例中,移动计算设备700包括用于向用户提供触觉反馈的振动换能器。在又一实施例中,移动计算设备700集成了输入和/或输出端口,诸如音频输入(例如麦克风插孔)、音频输出(例如耳机插孔)、和视频输出(例如hdmi端口),以用于向外部设备发送信号或从外部设备接收信号。在实施例中,任务完成应用可以显示在显示器705上。

图8是示出移动计算设备的一个实施例的架构的框图。也就是说,移动计算设备800可以包括用于实现本公开的一些方面的系统(即,架构)802。在一个方面,系统802被实现为能够运行一个或多个应用(例如,浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏、和媒体客户端/播放器)的“智能电话”。在一些方面,系统802被集成为计算设备,诸如集成的个人数字助理(pda)和无线电话。

一个或多个应用866可以被加载到存储器862中并且在操作系统864上运行或者与操作系统864相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(pim)程序、文字处理程序、电子表格程序、因特网浏览器程序、消息传送程序、图表应用等等。系统802还包括存储器862内的非易失性存储区域868。非易失性存储区域868可以用于存储在系统802断电的情况下不应当丢失的持久信息。应用程序866可以使用信息并将信息存储在非易失性存储区域868中,该信息诸如为电子邮件或由电子邮件应用使用的其他消息等。同步应用(未示出)也驻留在系统802上并被编程为与驻留在主机上的对应同步应用进行交互,以将存储在非易失性存储区域868中的信息与存储在主计算机中的对应信息保持同步。如应当理解的,可以将其他应用加载到存储器862中,并且在移动计算设备800上运行,包括用于辅助任务继续的步骤和方法,包括:从设备接收第一数据,第一数据是从第一上下文接收的;将第一数据在经聚类的索引中进行排序,经聚类的意图索引包括与第一数据有关的多个类别层级;从设备接收第二数据,第二数据是从第二上下文接收的并且提供对辅助任务继续的指示;确定第二数据与经聚类的第一数据的相关性,该确定包括利用与多个类别层级中的至少一个类别层级有关的阈值来评估来自第二数据的提取信息;以及向设备发送与第一数据相关的内容。

系统802具有电源870,电源870可以被实现为一个或多个电池。电源870可以进一步包括外部电源,诸如对电池进行补充或充电的ac适配器或上电对接支架。

系统802还可以包括执行传送和接收射频通信的功能的无线电872。无线电872经由通信载波或服务提供商来促进系统802与“外部世界”之间的无线连接。去往和来自无线电872的传输在操作系统864的控制下进行。换句话说,无线电872接收的通信可以经由操作系统864传播到应用程序866,反之亦然。无线电872允许系统802诸如通过网络与其他计算设备通信。无线电872是通信介质的一个示例。通信介质通常可以由计算机可读指令、数据结构、程序模块或调制数据信号(诸如载波或其他传输机制)中的其他数据来实施,并且包括任何信息传递介质。术语“调制数据信号”表示以下信号:该信号的特征中的一个或多个被设置或改变,以使得在信号中编码信息。作为示例而非限制,通信介质包括诸如有线网络或直接有线连接等有线介质、以及诸如声学、rf红外和其他无线介质等无线介质。本文中使用的术语计算机可读介质包括存储介质和通信介质两者。

系统802的该实施例使用可以用于提供视觉通知的视觉指示器820和/或经由音频换能器725产生可听通知的音频接口874来提供通知。在所图示的实施例中,视觉指示器820是发光二极管(led),而音频换能器725是扬声器。这些设备可以直接耦合到电源870,使得当被激活时,即使处理器860和其他部件可能关闭以节省电池电力,它们仍然在由通知机构规定的持续时间内保持开启。led可以被编程为无限期地保持开启,直到用户采取动作为止,以指示设备的开机状态。音频接口874被用来向用户提供可听信号并且从用户接收可听信号。例如,除了被耦合到音频换能器725之外,音频接口874还可以耦合到麦克风以接收可听输入,诸如促进电话对话。按照本发明的实施例,如下文所描述的,麦克风还可以用作音频传感器以促进对通知的控制。系统802还可以包括视频接口876,其使得车载相机730的操作能够记录静止图像、视频流等。

实现系统802的移动计算设备800可以具有附加特征或功能。例如,移动计算设备800还可以包括附加的数据存储设备(可移除的和/或不可移除的),诸如磁盘、光盘或磁带。在图8中由非易失性存储区域868图示这种附加存储装置。计算机存储介质可以包括:以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。

如上文所描述的,由移动计算设备800生成或捕获并且经由系统802存储的数据/信息可以被本地存储在移动计算设备800上,或者数据可以被存储在任何数目的存储介质上,这些存储介质可以由设备经由无线电872或经由移动计算设备800和与移动计算设备800相关联的单独计算设备(例如,分布式计算网络(诸如因特网)中的服务器计算机)之间的有线连接来访问。应当领会,这种数据/信息可以经由移动计算设备800、经由无线电872、或经由分布式计算网络来访问。类似地,根据众所周知的数据/信息传递和存储部件、包括电子邮件和协作数据/信息共享系统,这些数据/信息可以在计算设备之间容易地传递以用于存储和使用。

本领域技术人员将理解,诸如系统802等系统的规模可以变化,并且可以包括比图8中描述的组件更多或更少的组件。在一些示例中,系统802的组件之间的接口可以远程发生,例如,其中系统802的组件可以分布在分布式网络的一个或多个设备上。在示例中,一个或多个数据存储库/存储装置或其他存储器与系统802相关联。例如,系统802的组件可以具有与其相关联的一个或多个数据存储装置/存储器/存储库。与系统802的组件相关联的数据以及由系统802的组件执行的处理操作/指令可以存储在系统802的组件上。

图9是图示了可以实践本公开的各方面的计算设备900的物理组件(例如,硬件)的框图。下面描述的计算设备组件可以具有计算机可执行指令,用于对任务继续进行辅助,包括:从设备接收第一数据,第一数据是从第一上下文接收的;在经聚类的索引中对第一数据进行排序,经聚类的意图索引包括与第一数据有关的多个类别层级;从设备接收第二数据,第二数据是从第二上下文接收的并且提供对辅助任务继续的指示;确定第二数据与经聚类的第一数据的相关性,该确定包括:利用与多个类别层级中的至少一个类别层级有关的阈值来评估来自第二数据的提取信息;以及向设备发送与第一数据相关的内容。计算设备组件包括用于任务继续应用920的计算机可执行指令,其可以被执行以采用本文中公开的方法。

在基本配置中,计算设备900可以包括至少一个处理单元902和系统存储器904。取决于计算设备的配置和类型,系统存储器904可以包括但不限于易失性存储器(例如,随机存取存储器)、非易失性存储器(例如,只读存储器)、闪存或这些存储器的任意组合。系统存储器904可以包括操作系统905和适用于任务完成应用920的一个或多个程序模块906,诸如关于图9的一个或多个组件并且具体是:资源分析模块911、内容提取引擎913、意图推断引擎915和上下文评估模块917。操作系统905可以例如适合于控制计算设备900的操作。此外,本公开的各方面可以结合图形库、其他操作系统、或任何其他应用程序来实践,并且不限于任何的特定应用或系统。该基本配置在图9中由虚线908内的那些组件所图示。计算设备900可以具有附加特征或功能。例如,计算设备900还可以包括附加的数据存储设备(可移除的和/或不可移除的),诸如例如磁盘、光盘或磁带。这种附加的存储在图9中由可移动存储装置909和不可移动存储装置910来图示。

如上所述,多个程序模块和数据文件可以被存储在系统存储器904中。当在处理单元902上执行时,程序模块906(例如,任务继续应用920)可以执行过程,其包括但不限于如本文所述的各方面。可以根据本公开的各方面使用其他程序模块,并且其他程序模块具体地可以包括资源分析模块911、内容提取引擎913、意图推断引擎915和上下文评估模块917等。

此外,本公开的各方面可以在包括分立电子元件的电气电路中、包含逻辑门的封装或集成电子芯片中、利用微处理器的电路中实践,或者在包含电子元件或微处理器的单个芯片上实践。例如,本公开的各方面可以经由片上系统(soc)来实践,其中图9中所图示的每个或多个组件可以被集成到单个集成电路上。这样的soc器件可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能,所有这些都作为单个集成电路被集成(或“烧”)到芯片衬底上。当经由soc进行操作时,本文描述的关于客户端切换协议能力的功能可以经由与单个集成电路(芯片)上的计算设备900的其他组件集成的应用特定的逻辑来操作。本公开的实施例还可以使用能够执行诸如例如and、or和not等逻辑操作的其他技术来实践,包括但不限于机械、光学、流体和量子技术。附加地,本公开的实施例可以在通用计算机内或在任何其他电路或系统中实践。

计算设备900还可以具有诸如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等的一个或多个输入设备912。还可以包括输出设备914,诸如显示器、扬声器、打印机等。上述设备作为示例,可以使用其他设备。计算设备900可以包括允许与其他计算设备950通信的一个或多个通信连接916。合适的通信连接916的示例包括但不限于射频(rf)发送器、接收器和/或收发器电路;通用串行总线(usb)、并行和/或串行端口。

本文使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括用于存储诸如计算机可读指令、数据结构或程序模块的信息的任何方法或技术中实现的易失性和非易失性、可移动和不可移动的介质。系统存储器904、可移动存储装置909和不可移动存储装置910都是计算机存储介质(例如,内存存储)的示例。计算机存储介质可以包括ram、rom、电可擦除只读存储器(eeprom)、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光存储器、盒式磁带、磁带、磁盘存储器或其他磁性存储设备、或者可以用于存储信息并且能够由计算设备900访问的任何其它制品。任何这样的计算机存储介质都可以是计算设备900的一部分。计算机存储介质不包括载波或者其他传播或调制的数据信号。

通信介质可以通过计算机可读指令、数据结构、程序模块、或者诸如载波或其他传输机制的调制数据信号中的其他数据来体现,并且包括任何信息传递介质。术语“调制数据信号”可以描述具有以对信号中的信息进行编码的方式而设置或改变的一个或多个特性的信号。作为示例而非限制,通信介质可以包括诸如有线网络或直接有线连接的有线介质,以及诸如声学、射频(rf)、红外线和其他无线介质的无线介质。

可以使用软件、硬件或软件和硬件的组合来采用本文中描述的不同方面,以实现和执行本文中公开的系统和方法。尽管在整个本公开中已经将特定设备列为执行特定功能,但是本领域技术人员将理解,提供这些设备是出于说明性目的,并且在不脱离本公开的范围的情况下,可以采用其他设备来执行本文中公开的功能。

如上所述,多个程序模块和数据文件可以存储在系统存储器904中。当在处理单元902上执行时,程序模块(例如,应用、输入/输出(i/o)管理等)可以执行包括但不限于本文中描述的方法的一个或多个操作阶段在内的过程。

贯穿本说明书已经参考了“一个示例”或“一示例”,这意指在至少一个示例中包括特定的描述的特征、结构或特性。因此,这样的短语的使用可以指代不止一个示例。更进一步地,所描述的特征、结构或特性可以以任何合适的方式在一个或多个示例中组合。

然而,相关领域的技术人员可以认识到,可以在缺少具体细节中的一个或多个具体细节的情况下,或者通过其他方法、资源、材料等来实践这些示例。在其他实例中,众所周知的结构、资源、或操作未被示出或详细描述,仅仅是为了不模糊观察示例的方面。

虽然已经说明和描述了示例和应用,但是应当理解,示例不限于上文所描述的精确配置和资源。可以在不背离所要求保护的示例的范围的情况下,对在本文中所公开的方法和系统的布置、操作和细节做出对于本领域技术人员而言是明显的各种修改、改变和变型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1