响应端点选择的制作方法
【专利说明】响应端点选择
[0001]相关申请
[0002]本申请要求2012年12月14日提交的美国申请号13/715,741的权益，所述申请的全部公开内容以引用方式并入本文。
[0003]发明背景
[0004]家庭、办公室和其它场所与计算设备(诸如台式计算机、平板电脑、娱乐系统以及便携式通信设备)的激增之间的联系越来越紧密。随着这些计算设备的发展，已经引入了许多不同的方式来允许用户与计算设备进行交互，诸如通过机械设备(例如，键盘、鼠标等)、触摸屏、运动、手势以及甚至通过自然语言输入(诸如语音)。
[0005]随着计算设备的发展，预计用户将越来越多地依赖于此类设备来在日常任务中协助他们。如今，司空见惯的是，计算设备帮助人们买票、购买商品和服务、查看天气、查找并播放娱乐等。然而，伴随着计算设备的日益普及，用户具有诸如智能电话、电子书阅读器、平板电脑、计算机、娱乐系统等许多设备的情况并不少见。多设备用户所面临的挑战之一是，在使用多个设备时如何有效地执行任务。在多个设备之间协调任务并非微不足道的。
[0006]因此，需要技术来改进对普遍存在的计算设备环境中的用户活动的协调。
[0007]附图简述
[0008]参照附图来描述详细说明。在图中，参考标号的最左侧的数字指示首次出现该参考标号的图。在不同图中使用相同的参考标号指示类似或相同的部件或特征。
[0009]图1示出其中包括话音控制设备的多个计算设备普遍存在并且被协调来协助人处理日常任务的环境。
[0010]图2示出人使用计算环境来协助任务的代表性情境。图2包括环境中的计算设备以及可通过网络访问的远程云服务的所选择部件的功能框图。
[0011]图3示出在执行任务期间如何选择设备来接合人。
[0012]图4示出可在环境中使用的计算设备的所选择部件的框图。
[0013]图5是示出用于协助人执行任务的说明性过程的流程图，包括通过一个设备接收来自人的请求以及通过另一个设备将响应传送给人。
[0014]图6是示出用于确定人的位置的说明性过程的流程图。
[0015]图7是示出用于确定用于将响应传送给人的设备的说明性过程的流程图。
【具体实施方式】
[0016]在此所描述的是用于利用各种计算设备来协助日常任务的技术。随着计算设备在家庭、办公室和其它场所变得普遍存在，用户在思考和执行这些日常任务时不太可能对它们进行区分。用户将越来越多地期望设备能够智能地提供帮助，不管用户身在何处以及用户当前可能正在做什么。为了实现这种智能性，计算系统被设计成在用户可以与之进行交互的多个设备中组织任务管理。
[0017]在一个实现方式中，计算系统被构造成云服务，所述云服务使用多个隐式和显式信号来确定用户在一个位置中的存在并且判定将哪些(如果有的话)协助或响应提供给那个位置内的一个或多个设备。信号可以呈现能够帮助查明用户的行踪以及在那个时间和那个位置如何最佳地与人进行交互的任何数量的标记。代表性信号可以包括音频输入(例如用户话音的声音)、用户最近是如何与设备进行交互的、与用户相关联的移动设备的存在、对用户的视觉识别等。
[0018]作为一个示例性情境，假设用户想要记住做简单的家务琐事或工作任务。用户可以通过第一设备要求计算系统在某个未来时间提醒他去做所述家务琐事或工作任务。随后，计算系统可以在所述未来时间通过在当前情况下适合传送那条消息的第二设备来提醒用户。在这种情况下，计算系统了解是谁正在发出请求，确定何时将提醒提供给用户，查明当提醒用户的时间到来时他身在何处，找出哪些设备可用于传送提醒，并且评估所述可用设备中的哪一个对传送提醒而言是最佳的。以这种方式，计算系统实现包括智能选择端点设备的响应功能。
[0019]用于实现这种智能性的各种操作可以分散在本地设备和远程云计算系统中。在各种实现方式中，不同的模块和功能性可以本地驻留在接近用户的设备中或远程驻留在云服务器中。本公开提供了一种示例性实现方式，其中响应系统的大部分驻留在远程云计算系统中。
[0020]此外，本公开在主要是话音操作的本地计算设备(诸如专用话音控制设备)的上下文中描述技术。接收口头请求和提供可听响应引入了一些额外的挑战，以下所描述的系统被配置来解决这些挑战。然而，使用话音控制设备并不意图具有限制性，因为计算系统可以使用其它接合用户的形式(例如，手势输入、打字输入、视觉输出等)。
[0021]说明性体系结构
[0022]图1示出利用智能端点选择实现响应功能的计算系统100的说明性体系结构。出于讨论的目的，在用户全天都在进行他们的正常例程并且与计算系统100交互作用的上下文中描述系统100。计算系统100被配置来接收由用户在相应时间和相应位置处给出的请求，处理那些请求，并且在其它相应时间将响应返回到用户所在的位置和适当的端点设备。
[0023]在这个图示中，房屋102是三个用户包括第一用户104(例如，成年男性、爸爸、丈夫等)、第二用户106 (例如，成年女性、妈妈、妻子等)和第三用户108 (例如，女儿、孩子、女孩等)的家庭的主要住所。所述房屋被示出为具有五个房间，包括主卧室110、浴室112、孩子的卧室114、客厅116和厨房118。用户104至108位于房屋102中的不同房间，其中第一用户104位于主卧室110中，第二用户106位于客厅116中，并且第三用户108位于孩子的卧室114中。
[0024]计算系统100包括定位在各种位置处以便与用户进行交互的多个本地设备或端点设备120(1)……120 (N)。这些设备可以采用任何数量的形状因子，诸如膝上型计算机、电子书(eBook)阅读器设备、平板电脑、台式计算机、智能电话、话音控制设备、娱乐设备、增强现实系统等。在图1中，本地设备包括驻留在卧室110中的话音控制设备120(1)、在孩子的卧室114中的话音控制设备120(2)、在客厅116中的话音控制设备120(3)、在客厅116中的膝上型计算机120(4)，以及在厨房118中的话音控制设备120(5)。计算系统也可以利用其它类型的本地设备，诸如第一用户104的智能电话120(6)、照相机120(7)和120⑶，以及电视机屏幕120(9)。另外，计算系统100还可以依赖于在家庭之外诸如在汽车122中(例如，车载电话、导航系统等)或在第一用户的办公室124处(例如，工作计算机、平板电脑等)找到的用于向用户传达信息的其它用户端设备。
[0025]这些端点设备120(1)至120 (N)中的每一个都可以接收来自用户的输入并且将响应传送给同一个用户或不同用户。可以通过任何数量的方式来接收输入，包括音频或口头输入、手势输入等。也可以通过任何数量的形式来传送响应，包括音频输出、视觉输出(例如，在膝上型计算机120(4)或电视机120(9)上描绘的图片、U1、视频等)、触觉反馈(例如，智能电话120(6)的振动等)等。
[0026]计算系统100还包括远程计算系统，诸如由网络可访问设备或服务器132的集合支持的云服务130。云服务130—般是指实现为处理器的计算基础结构、存储、软件、数据访问等的网络可访问平台，通过诸如互联网等网络维护且可访问所述网络可访问平台。云服务130可能不需要终端用户了解传送服务的系统的物理位置和配置。与云服务相关联的常见表达包括“按需计算”、“软件即服务(SaaS) ”、“平台计算”、“网络可访问平台”等。
[0027]云服务130在各个本地设备120 (I)至120 (N)之间协调请求输入和响应输出。在本地设备120(1)至120 (N)中的任何一个处，诸如用户104等用户可以输入需要计算系统100处理的请求。这个请求可以是口头请求，诸如用户104对着主卧室110中的话音控制设备 120(I)讲话。例如，用户可以说“Please remind me to take out the garbage tomorrowmorning(请提醒我明天早晨把垃圾带出去)”。话音控制设备120(1)配备有用于接收音频输入的麦克风和用于将请求传递到云服务130的网络接口。本地设备120(1)可以任选地具有自然语言处理功能用于开始处理语音内容。
[0028]请求通过网络(图1中未示出)被传递到云服务130，在所述云服务130处请求得到处理。请求得到解析和解释。在这个实例中，云服务130确定用户希望得到家务琐事提醒，以便在指定的时间范围内(即，明天早晨)将垃圾带出去。云服务130实现任务处理程序以便定义任务:预定将要在适当时间(例如，早上7:00)传送给用户的提醒。当那个时间到来时，云服务130确定发出请求的目标用户(S卩，第一用户104)位于何处。云服务130可以使用任何数量的技术来查明用户的行踪，诸如轮询区域中的设备以便获得对存在的音频、视觉或其它生物识别确认；或定位可能是用户个人的或与用户相关联的设备(例如，智能电话120(6));或通过其它辅助标记，诸如用户的活动历史、从特定位置接收来自用户的其它输入等。
[0029]—旦定位了用户，云服务130随后就可以确定哪个本地设备适于将响应传送给用户。在一些情况下，可能仅存在单个设备，因此决定是直截了当的。然而，在其它情况下，用户可能位于具有多个本地设备的区域中，所述多个本地设备中的任何一个都可以用于传达响应。在此类情况下，云服务130可以评估各个候选设备，并且选择在所述情况下最佳或更适当的设备来传送响应。
[0030]以这种方式，计算系统100提供利用在用户环境中可用的普遍存在的设备来接收请求并且传送响应的协调响应系统。用于接收请求和传送响应的端点设备可以是不同的。此外，设备不需要以任何方式与用户相关联，而是通用端点设备根据需要用于与用户进行交互。为了说明计算系统的灵活性，以下讨论继续前面的用户要求提醒执行家务琐事的实例。
[0031]图2示出计算系统100中的所选择设备，以便示出人使用计算环境来协助任务的代表性情境。在这个实例中，示出两个端点设备，其中第一端点设备的形式是驻留在卧室110中的话音控制助理120(1)，并且第二端点设备的形式是驻留在厨房118中的话音控制助理120 (5)。联接端点设备120⑴和120 (5)以便通过网络202与远程云服务130进行通信。网络202可以代表任何数量的网络类型，诸如有线网络(例如，电缆、LAN等)和/或无线网络(例如，蓝牙、RF、蜂窝、卫星等)。
[0032]每个端点设备或本地设备(如由基于卧室的设备120(1)表示的)都配备有一个或多个处理器204、计算机可读介质206、一个或多个麦克风208以及网络接口 210。计算机可读介质206可以包括以任何方法或技术实现用于存储信息(诸