用于虚拟个人助理的可扩展上下文感知的自然语言交互的制作方法
【专利说明】
【背景技术】
[0001]虚拟个人助理是响应于来自用户的自然语言请求而在计算装置上执行任务的人工智能系统。典型的虚拟个人助理是处置用户任务的有限集合(诸如日历、提醒和消息)的单一应用。那些虚拟个人助理理解如何响应于与那些任务关联的若干自然语言短语。扩展虚拟个人助理的能力一般需要广泛的修改以分析并响应于与新能力相关的自然语言。例如，基于语法模型的系统必须基本上对于任何新词汇或短语行为都改变。类似地，基于口述模型的系统可需要广泛的努力来集成需要的说出的数据的训练集合。当添加附加能力时，集成新能力所需的努力和/或数据量可指数增加。
【附图说明】
[0002]在附图中作为示例而非作为限制图示本文描述的概念。为了图示的简洁和清晰起见，在附图中图示的元件不一定按比例绘制。在适当的地方，附图标记在各图之间重复以指示对应或类似元件。
[0003]图1是与虚拟个人助理进行上下文感知的自然语言交互的可扩展系统的至少一个实施例的简化框图；
图2是图1计算装置的环境的至少一个实施例的简化框图；
图3是图1计算装置和VPA服务器的一对环境的至少一个实施例的简化框图；
图4是可由图1-3的计算装置执行的用于上下文感知的数据捕获的方法的至少一个实施例的简化流程图；
图5是可由图1和图2的计算装置执行的用于上下文感知的自然语言交互的方法的至少一个实施例的简化流程图；
图6是可由图1-3的系统执行的用于上下文请求解释的方法的至少一个实施例的简化流程图；
图7是可由图1和图3的VPA服务器执行的用于上下文感知的自然语言交互的方法的至少一个实施例的简化流程图；以及
图8是可由图1和图3的计算装置执行的用于上下文感知的自然语言交互的方法的至少一个实施例的简化流程图。
【具体实施方式】
[0004]虽然本公开的概念易受到各种修改和备选形式，但其特定实施例已经在附图中作为示例示出，并且将在本文中详细描述。然而，应该理解，没有意图将本公开的概念局限于所公开的具体形式，而是相反，本发明覆盖与本公开和所附权利要求书一致的所有修改、等效和备选。
[0005]在说明书中提到“一个实施例”、“实施例”、“图示实施例”等指示所描述的实施例可包含具体特征、结构或特性，但每一个实施例可以一定或者可以不一定包含该具体特征、结构或特性。而且，此类短语不一定是指同一实施例。另外，当结合实施例描述具体特征、结构或特性时，认为结合不管是否明确描述的其它实施例实现此类特征、结构或特性在本领域技术人员的知识范围内。此外，应该认识到，包含在以“至少一个A、B和C”形式的列表中的项目可意味着(A); (B); (C); (A和B); (B和C)或(A，B和C)。类似地，包含在以“A、B或C中的至少一个”形式的列表中的项目可意味着(A) ； (B) ； (C) ； (A和B) ； (B和C)或(A, B和C)
所公开的实施例在一些情况下可用硬件、固件、软件或它们的任何组合来实现。所公开的实施例也可实现为由易失性或非易失性机器可读(例如计算机可读)介质携带或存储在其上的指令，其可由一个或多个处理器读取和执行。机器可读存储介质可实施为用于存储或传送由机器(例如易失性或非易失性存储器、媒体盘或其它媒体装置)可读形式的信息的任何存储装置、机制或其它物理结构。
[0006]在附图中，一些结构或方法特征可按特定布置和/或排序示出。然而，应该认识到，可能不需要此类特定布置和/或排序。而是，在一些实施例中，此类特征可按与在说明性附图中示出的不同的方式和/或次序布置。此外，在具体附图中包含结构或方法特征不打算暗示此类特征在所有实施例中都需要，并且在一些实施例中，可能不包含或者可与其它特征组合。
[0007]现在参考图1，用于与虚拟个人助理(VPA)进行可扩展上下文感知的自然语言交互的说明性系统100包含计算装置102，在一些实施例中还有VPA服务器104，它们可通过网络106彼此通信。在使用时，计算装置102的用户发起VPA命令，并向计算装置102说出自然语言请求。可在计算装置102上本地执行或在远程VPA服务器104上远程执行的虚拟个人助理解释请求，并执行请求的数据操作。虚拟个人助理可索引并搜索许多语言模型，它们各与具体情境上下文(例如用户的当前位置)关联以便找到用户请求的最佳解释。当尝试理解自然语言请求时应用对具体上下文特定的语言模仿人类行为，并且从而可改进与虚拟个人助理的交互质量。
[0008]计算装置102使用也基于请求的具体上下文生成的用户接口元素呈现可从VPA月艮务器104接收的用户查询的结果。语言模型、数据操作映射和用户接口元素映射全都与具体上下文源(例如安装在计算装置102上的位置或具体活动上下文源)关联。那些相同上下文源还捕获并解释由计算装置102的上下文传感器生成的数据。从而，虚拟个人助理的能力和可用上下文可通过安装附加上下文源来扩展，每一个附加上下文源都包含解释自然语言、处置用户请求并显示结果所必需的所有元数据。因而，数据捕获、语言和数据交互的详情可全都封装在上下文源中，这可改进可扩展性，并降低虚拟个人助理的开发复杂性。
[0009]计算装置102可被实施为能够执行本文描述的功能的任何类型装置。例如，计算装置102可实施为(而非限制):智能电话、蜂窝电话、平板计算机、笔记本计算机、膝上型计算机、台式计算机、分布式计算系统、微处理器系统、消费电子装置、智能电器和/或能够识别所说用户命令的任何其它计算装置。如图1所示，说明性计算装置102包含处理器120、1/0子系统122、存储器124和数据存储装置126。当然，在其它实施例中，计算装置102可包含其它或附加组件，诸如在便携计算机中发现的组件(例如各种输入/输出装置)。此外，在一些实施例中，其中一个或多个说明性组件可结合在另一组件中，或另外来自另一组件的一部分。例如，在一些实施例中，存储器124或其部分可结合在处理器120中。
[0010]处理器120可被实施为能够执行本文描述的功能的任何类型的处理器。例如，处理器可实施为单核或多核处理器、数字信号处理器、微控制器或其它处理器或处理/控制电路。类似地，存储器124可实施为能够执行本文描述的功能的任何类型易失性或非易失性存储器或数据存储装置。在操作中，存储器124可存储在计算装置102操作期间使用的各种数据和软件，诸如操作系统、应用、程序、库以及驱动。存储器124以通信方式经由I/O子系统122耦合到处理器120，1/0子系统104可实施为电路和/或组件以便于与计算装置102的处理器120、存储器124和/或其它组件的输入/输出操作。例如，I/O子系统122可实施为或另外包含存储器控制器集线器、输入/输出控制集线器、固件装置、通信链路(即，点对点链路、总线链路、导线、电缆、光导、印刷电路板迹线等)和/或其它组件和子系统以便于输入/输出操作。在一些实施例中，I/O子系统122可形成片上系统(SoC)的一部分，并与计算装置102的处理器120、存储器124和其它组件一起结合在单个集成电路芯片上。
[0011]数据存储装置126可实施为配置用于数据的短期存储或长期存储的任何类型装置，诸如例如存储器装置和电路、存储卡、硬盘驱动器、固态驱动器或其它数据存储装置。数据存储装置126可存储对计算装置102可用的上下文源的程序文件、插件或外挂模块，并且可充当由计算装置102捕获的音频数据的临时或永久存储装置。
[0012]计算装置102还包含显示器128、通信电路130和音频传感器132。计算装置102的显示器128可实施为能够显示数字信息的任何类型显示器，诸如液晶显示器(IXD)、发光二极管(LED)、等离子显示器、阴极射线管(CRT)或其它类型显示装置。在一些实施例中，显示器128可耦合到触摸屏以便接收用户输入。
[0013]计算装置102的通信电路130可实施为能够实现计算装置102、VPA服务器104和/或其它远程装置之间通信的任何通信电路、装置或它们的集合。通信电路130可配置成使用任一个或多个通信技术(例如无线或有线通信)以及关联的协议(例如以太网、蓝牙?、W1-Fi?、WiMAX等)来实现此类通信。
[0014]音频传感器132可实施为能够捕获音频信号的任何传感器，诸如麦克风、线路输入插孔和关联的电路、模数转换器(ADC)或其它类型音频传感器。音频传感器132可由计算装置102用于检测由用户发出的语音命令，如下面所描述的。
[0015]计算装置102还包含位置电路134，并且可包含一个或多个其它上下文传感器136。位置电路134可实施为能够确定计算装置102的精确定位或者大致定位的任何类型传感器或电路。例如，位置电路134可实施为能够确定计算装置102的精确坐标的全球定位系统("GPS")接收器。在其它实施例中，位置电路134可使用由通信电路130提供的与具有已知定位的蜂窝网络塔的距离和/或角度来使用三边测量和/或三角测量来确定计算装置102的定位。在其它实施例中，位置电路134可使用通信电路130基于与具有已知定位的无线网络的关联来确定计算装置102的大致定位。
[0016]上下文传感器136可实施为能够检测计算装置102或其用户的上下文的任何其它传感器或多个传感器。计算装置102的上下文可包含位置、环境条件、一天中的时间、用户身份、用户的当前活动或者计算装置102的其它条件。在一些实施例中，上下文传感器136可实施为或合并在计算装置102的其它传感器中。例如，上下文传感器可感测使用通信电路130的具体无线网络、使用音频传感器132的周围噪声级别或其它上下文相关数据。
[0017]在系统100包含VPA服务器104的那些实施例中，VPA服务器104配置成执行上下文感知的自然语言解释，以及执行虚拟个人助理服务。VPA服务器104可实施为能够执行本文描述的功能的任何类型的服务器计算装置或装置集合。说明性地，VPA服务器104包含处理器140、1/0子系统142、存储器144、数据存储装置146、通信电路148和/或通常在服务器或类似计算装置中发现的其它组件和装置。VPA服务器104的各个组件可类似于计算装置102的对应组件，其的描述可适用于VPA服务器104的对应组件，并且本文不再重复以免使本公开模糊不清。另外，VPA服务器104可实施为单个服务器计算装置或服务器和关联装置的集合。例如，在一些实施例中，VPA服务器104可实施为从分布在网络上并操作在公用或私用云中的多个计算装置形成的“虚拟服务器”。因而，尽管VPA服务器104在图1中图示，并在下面被描述为单个服务器计算装置，但应该认识到，VPA服务器104可实施为多个装置一起合作来实现下面描述的功能性。
[0018]如下面更详细论述的，计算装置102和VPA服务器104可配置成通过网络106用彼此和/或系统100的其它装置传送和接收数据。网络106可实施为任何数量的各种有线和/或无线网络。例如，网络106可实施为或否者包含有线或无线局域网(LAN)、有线或无线广域网(WAN)和/或可公开访问的全球网诸如因特网。因此，网络106可包含任何数量的附加装置，诸如附加计算机、路由器和交换机，以便于系统100的装置之间的通信。
[0019]现在参考图2，在一个说明性实施例中，计算装置102在操作期间建立环境200。说明性环境200包含用户接口模块202、传感器输入模块204、上下文源管理器206、虚拟个人助理220和上下文数据库228。环境200的各种模块可实施为硬件、固件、软件或它们的组合。
[0020]用户接口模块202配置成允许计算装置102的用户调用虚拟个人助理命令，并再现用户接口元素以允许用户消耗那些虚拟个人助理命令的结果或另外与这些结果交互。用户接口模块202可考虑到人机交互的一个或多个模式。例如，用户接口模块202可提供一个或多个硬件按钮、使用显示器128的传统图形用户接口和/或语音命令和控制。用户接口模块202可例如使用音频传感器132来捕获表示用户的自然语言请求的音频输入数据。
[0021 ]传感器输入模块204配置成从计算装置102的各种上下文传感器接收传感器输入，并将传感器输入提供给上下文源管理器206作为潜在的上下文源数据。例如，传感器输入模块204可提供由位置电路134感测的位置信息和/或由上下文传感器136感测的任何其它上下文数据。
[0022]上下文源管理器2