用于处理用户话语的系统的制作方法

本公开总体上涉及对用户话语进行处理，尤其涉及对用户输入进行处理以请求与第三方提供的第三方应用相关联的服务的方法。

背景技术

除了使用键盘或鼠标的常规输入方案之外，电子设备近来还支持各种输入方案，例如语音输入等。例如，诸如智能电话或平板个人计算机(pc)的电子设备可以在执行语音识别服务的状态下识别用户输入的语音，并且执行与语音输入相对应的动作或者提供根据语音输入找到的结果。

目前，正在基于处理自然语言的技术开发语音识别服务。处理自然语言的技术是指掌握用户话语的意图并向用户提供适合该意图的结果的技术。

上述信息仅作为背景信息而提供，以帮助理解本公开。对于任意上述内容是否可作为本公开的现有技术没有任何判定也没有任何断言。

技术实现要素：

由于在处理用户语音时语音识别服务仅根据用户输入显示结果，所以语音识别服务仅可以处理诸如执行应用程序的简单用户语音输入，但是也许不能处理执行和处理多个应用(app)所需的用户语音输入。

尽管语音识别服务能够控制对应于用户输入的多个应用，但是语音识别服务可能非常受限，因此语音识别服务可能不会有机地控制多个应用程序的操作。具体而言，为了处理用户输入，语音识别服务很难在电子设备中已经执行应用时确定是否执行新的应用。另外，在必须新执行的应用是由第三方提供的应用的情况下，语音识别服务难以控制应用以对应于用户输入。

本公开的一方面提供了一种处理用户输入以请求与由第三方提供的第三方应用相关联的服务的方法。

本公开的另一方面为了处理用户输入以请求与第三方应用相关联的服务，提供了一种用户终端。该用户终端通过云服务器可以掌握用户意图，根据用户意图云服务器接收与服务相关联的信息并且向用户提供信息，以及因此执行由第三方提供的第三方应用，以便与用户意图相匹配。

根据本公开的一个方面，提供了一种用于处理用户话语的系统。所述系统包括：至少一个网络接口；至少一个处理器，其可操作地连接到所述至少一个网络接口；和至少一个存储器，其可操作地连接到所述最至少一个处理器，其中该至少一个存储器存储至少一个外部电子设备的多个指定状态序列，其中该多个指定状态序列中的每一个序列与多个域中的相应的一个域相关联，其中，该至少一个存储器还存储指令，当该指令在被执行时使得该至少一个处理器：接收经由所述至少一个外部电子设备中的第一外部电子设备提供的与所述用户话语相关联的第一数据，其中所述用户话语包括用于使用所述至少一个外部设备中的所述第一外部设备执行任务的请求，其中所述至少一个外部设备中的所述第一外部设备被配置为执行多个应用程序；当所述用户话语包括所述多个应用程序中的所述至少一个应用程序的名称时，使用所述多个应用程序中的所述至少一个应用程序的所述名称确定域，当所述用户话语不包括所述多个应用程序中的所述至少一个应用程序的名称时，基于所述第一数据，确定与所述用户话语相关联的域；至少部分地基于所确定的域，确定所述至少一个外部设备中的所述第一外部设备执行所述任务的第一状态序列，以及向所述至少一个外部设备中的所述第一外部设备提供所述第一状态序列。

根据本公开的另一方面，提供了一种处理用户话语的系统。所述系统包括：至少一个网络接口；至少一个处理器，其可操作地连接到所述至少一个网络接口；和至少一个存储器，其可操作地连接到所述最至少一个处理器，其中，所述至少一个存储器存储指令，当所述指令在被执行时使得所述至少一个处理器：接收所述至少一个外部电子设备中的第一外部电子设备的状态，其中所述至少一个外部电子设备中的所述第一外部电子设备被配置为执行多个应用程序，并且其中所述状态与所述多个应用程序中的至少一个应用程序相关联；接收经由所述至少一个外部电子设备中的所述第一外部电子设备提供的与用户话语相关联的第一数据，其中所述用户话语包括用于使用所述至少一个外部设备中的所述第一外部设备执行任务的请求；至少部分地基于所述第一数据和所述状态来确定与所述用户话语相关联的意图；至少部分地基于所述多个应用程序中的所述至少一个应用程序，确定所述至少一个外部设备中的所述第一外部设备的第一状态序列，以执行所述任务；以及向所述至少一个外部设备中的所述第一外部设备提供所述第一状态序列。

根据本公开的另一方面，提供了一种系统。所述系统包括：至少一个网络接口；至少一个处理器，其可操作地连接到所述至少一个网络接口；和至少一个存储器，其可操作地连接到所述最至少一个处理器，其中所述至少一个存储器存储被配置为与至少一个客户端设备交互的第一自然语言理解(nlu)单元和被配置为与至少一个外部服务器交互的第二nlu单元，其中所述至少一个存储器还存储指令，当所述指令在被执行时使得所述至少一个处理器：接收被配置为执行多个应用程序的第一客户端设备的状态，其中所述状态与所述多个应用程序中的至少一个应用程序相关联；接收与由所述至少一个客户端设备中的所述第一个客户端设备提供的用户话语相关联的第一语音数据，其中所述用户话语包括用于使用所述至少一个客户端设备中的所述第一个客户端设备执行任务的第一请求；用自动语音识别(asr)单元处理所述第一语音数据，以生成第一数据文本；经由所述第一nlu单元向所述第二nlu单元提供所述第一文本数据；至少部分地基于所述第一文本数据使用所述第二nlu单元确定与所述用户话语相关联的意图，以及经由所述第一nlu单元向所述至少一个客户端设备中的所述第一个客户端设备提供所确定的意图。

根据本公开的另一方面，提供了一种系统。所述系统包括：至少一个网络接口；至少一个处理器，其可操作地连接到所述至少一个网络接口；和至少一个存储器，其可操作地连接到所述最至少一个处理器，其中所述至少一个存储器存储被配置为与至少一个客户端设备交互的第一nlu单元和被配置为与至少一个外部服务器交互的第二nlu单元，其中该至少一个存储器还存储指令，当该指令在被执行时使得该至少一个处理器：接收被配置为执行多个应用程序的至少一个客户端设备中的第一客户端设备的状态，其中所述状态与所述多个的应用程序中的至少一个应用程序相关联；接收与由所述至少一个客户端设备中的所述第一个客户端设备提供的用户话语相关联的第一语音数据，其中所述用户话语包括用于使用所述至少一个客户端设备中的所述第一个客户端设备执行任务的第一请求；用asr单元处理所述第一语音数据，以生成第一数据文本；经由所述第一nlu单元向所述第二nlu单元提供所述第一文本数据；基于所述第一文本数据，使用所述第二nlu单元确定所述用户话语的意图；以及经由所述第二nlu单元向所述至少一个客户端设备中的所述第一客户端设备提供所确定的意图。

附图说明

通过下面结合附图进行的详细描述，将更加清楚地理解本发明的以上和其它方面、特征和优点，在附图中：

图1是根据实施例的集成智能系统的图示；

图2是根据实施例的集成智能系统的用户终端的框图；

图3是根据实施例的正在执行的用户终端的智能应用的图示；

图4是根据实施例的集成智能系统的智能服务器的框图；

图5是根据实施例的nlu的路径规则生成方法的图示；

图6是根据实施例的nlu模块的每个功能的框图；

图7是根据实施例的为每个域存储的多个路径规则的图示；

图8是根据实施例的nlu模块的路径规则生成方法的流程图；

图9是根据实施例的其中nlu模块根据所确定的域来处理用户输入的方法的流程图；

图10是根据实施例的其中nlu模块根据所确定的域来处理用户输入的方法的流程图；

图11是根据实施例的其中nlu模块根据与在用户终端中执行的应用相对应的域来处理用户输入的方法的流程图；

图12是根据实施例的用户终端接收用于执行正在执行的应用的功能的用户输入的图示；

图13是根据实施例的用户终端接收用于执行与正在执行的应用不同的应用的功能的用户输入的图示；

图14是根据实施例的用户终端接收用于执行正在执行的应用的功能的用户输入的图示；

图15是根据实施例的用户终端接收用于执行与正在执行的应用不同的应用的功能的用户输入的图示；

图16是根据实施例的在显示器中显示与当前正在执行的应用对应的域的用户终端的图示；

图17是根据实施例的用户终端接收用于执行第三方应用的用户输入的图示；

图18是根据实施例的用户终端接收用于执行功能的用户输入的图示；

图19是根据实施例的nlu模块的路径规则生成方法的流程图；

图20是根据实施例的用户终端在主画面接收用户话语的图示；

图21是根据实施例的接收用于执行用户终端中正在执行的应用的操作的用户话语的图示；

图22是根据实施例的接收用于执行与用户终端中正在执行的应用不同的应用的操作的用户话语的图示；

图23是根据实施例的接收用于执行用户终端中正在执行的应用的操作的用户话语的图示；

图24是根据实施例的接收用于执行与用户终端中正在执行的应用不同的应用的操作的用户话语的图示；

图25是根据实施例的集成智能系统的框图；

图26是根据实施例的在集成智能系统处理用户话语的方法的流程图；

图27和图28是根据实施例的用于实现其中用户终端通过智能服务器接收用户意图以获得信息的方法的集成智能系统的框图；

图29是根据实施例的用于实现用户终端直接从云服务器接收用户意图并获得信息的方法的集成智能系统的框图；

图30a是根据实施例的智能服务器的nlu模块的框图；

图30b是根据实施例的智能服务器的用户话语处理方法的流程图；

图31a是根据实施例的智能服务器的第一nlu模块的框图；

图31b是根据实施例的第一自然语言处理模块的用户话语处理方法的流程图；

图32是根据实施例的在云服务器处理的用户话语有效的情况下在用户终端中显示的画面的图示；

图33是根据实施例的在云服务器处理的用户话语无效的情况下在用户终端中显示的画面的图示；

图34是根据实施例的在云服务器处理的用户话语有效的情况下接收附加用户输入的图示；

图35是根据实施例的在云服务器处理的用户话语无效的情况下在画面上显示生成的路径规则的图示；以及

图36是根据实施例的在网络环境中的电子设备的框图。

具体实施方式

下文中将参照附图描述本公开的各种实施例。然而，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文中描述的本公开进行修改、等效和/或替换。

在描述本公开的实施例之前，下面描述能够应用本公开的集成智能系统。

图1是根据实施例的集成智能系统的图示。

参考图1，集成智能系统10可以包括用户终端100、智能服务器(或智能系统)200、个人信息服务器300或者建议服务器400。

用户终端100可以通过存储在用户终端100中的应用(例如，闹钟应用、消息应用，图片(图库)应用等)来提供用户所需的服务。例如，用户终端100可以通过存储在用户终端100中的智能应用(或语音识别应用)来执行和操作另一应用。其他应用可以通过用户终端100的智能应用来执行，并且可以接收用于执行动作的用户输入。例如，可以通过物理按钮、触摸板、语音输入、远程输入等来接收用户输入。根据实施例，与互联网连接的诸如移动电话、智能电话、个人数字助理(pda)、笔记本电脑等的各种类型的终端设备(或电子设备)可以对应于用户终端100。

根据实施例，用户终端100可以接收用户话语作为用户输入。用户终端100可以接收用户话语并基于用户话语生成用于操作应用的命令。这样，用户终端100可以通过使用命令来操作应用。

智能服务器200可以通过通信网络从用户终端100接收用户的语音输入，并将语音输入转换为文本数据。在实施例中，智能服务器200可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于用于执行应用的功能的动作(或操作)的信息或关于执行动作所需的参数的信息。另外，路径规则可以包括应用的动作的顺序。用户终端100可以接收路径规则、根据路径规则选择应用以及执行包括在所选择的应用中的路径规则中的动作。

通常，本公开的术语“路径规则”可以指示但不限于电子设备执行用户所请求的任务的状态序列。换句话说，路径规则可以包括关于状态序列的信息。例如，任务可能是智能应用能够提供的特定动作。任务可以包括生成时间表、将图片传输到期望的组件或者提供天气信息。用户终端100可以通过依次具有至少一个或多个状态(例如，用户终端100的操作状态)来执行任务。

根据实施例，可以通过人工智能(ai)系统提供或生成路径规则。ai系统可以是基于规则的系统或基于神经网络的系统(例如前馈神经网络(fnn)或递归神经网络(rnn))。或者，ai系统可以是上述系统或不同于上述系统的ai系统的组合。可以从一组预定义的路径规则中选择路径规则，或者响应于用户请求实时生成路径规则。例如，ai系统可以选择预定义的多个路径规则中的至少一个路径规则或者动态地(或实时地)生成路径规则。此外，用户终端100可以使用混合系统来提供路径规则。

根据实施例，用户终端100可以执行动作并且在显示器中显示与执行动作的用户终端100的状态相对应的画面。用户终端100可以执行动作并且不在显示器中显示通过执行动作获得的结果。例如，用户终端100可以执行多个动作并且仅在显示器中显示多个动作的一部分的结果。例如，用户终端100可以仅在显示器中显示通过执行最后动作获得的结果。例如，用户终端100可以接收用户输入以在显示器中显示通过执行动作获得的结果。

个人信息服务器300可以包括存储用户信息的数据库。例如，个人信息服务器300可以从用户终端100接收用户信息(例如，上下文信息、关于应用的执行的信息等)，并将用户信息存储在数据库中。智能服务器200可以通过通信网络从个人信息服务器300接收用户信息并且生成与用户输入相关联的路径规则。根据实施例，用户终端100可以通过通信网络500从个人信息服务器300接收用户信息，并将该用户信息用作用于管理数据库的信息。

建议服务器400可以包括存储关于终端中的功能、应用的介绍或将被提供的功能的信息的数据库。例如，建议服务器400可以包括与用户通过从个人信息服务器300接收用户终端100的用户信息而使用的功能相关联的数据库。用户终端100可以通过通信网络500从建议服务器400接收关于将被提供的功能的信息，并将该信息提供给用户。

图2是根据实施例的集成智能系统的用户终端100的框图。

参考图2，用户终端100可以包括输入模块110、显示器120、扬声器130、存储器140或处理器150。用户终端100还可以包括外壳，其中用户终端100的元件可以位于外壳中或者定位在外壳上。

根据实施例，输入模块110可以从用户接收用户输入。例如，输入模块110可以从连接的外部设备(例如，键盘或耳机)接收用户输入。例如，输入模块110可以包括耦合到显示器120的触摸屏(例如，触摸屏显示器)。例如，输入模块110可以包括定位在用户终端100(或用户终端100的外壳)中的硬件键(或物理键)。用户终端100可以通过通信网络500向外部服务器(例如，智能服务器200)发送数据(或信息)或从外部服务器(例如，智能服务器200)接收数据(或信息)。

根据实施例，输入模块110可以包括能够接收用户话语作为语音信号的麦克风。例如，输入模块110可以包括语音输入系统，并通过语音输入系统接收用户话语作为声音信号。例如，麦克风可以通过壳体的一部分(例如，第一部分)暴露。

根据实施例，显示器120可以显示应用的图像、视频和/或执行画面。例如，显示器120可以显示应用的图形用户界面(gui)。显示器120可以暴露于壳体的一部分(例如，第二部分)。

扬声器130可以输出语音信号。例如，扬声器130可以输出在用户终端100中生成的语音信号到外部。显示器130可以暴露于壳体的一部分(例如，第三部分)。

根据实施例，存储器140可以存储多个应用(或应用程序)(例如，第一应用141和第二应用143)。例如，多个应用(例如，第一应用141和第二应用143)可以是用于执行与用户输入相对应的功能的程序。处理器150可以包括也可以存储在存储器140中的智能代理145、执行管理器模块147或智能服务模块149。例如，智能代理145、执行管理器模块147和智能服务模块149可以是用于处理接收到的用户输入(例如，用户话语)的框架(或应用框架)。

根据实施例，存储器140可以包括能够存储识别用户输入所需信息的数据库。例如，存储器140可以包括能够存储日志信息的日志数据库。例如，存储器140可以包括能够存储用户信息的角色数据库。

根据实施例，存储器140可以存储多个应用141和143，其中多个应用(例如，第一应用141和第二应用143)可以被加载以进行操作。例如，存储在存储器140中的多个应用(例如，第一应用141和第二应用143)可以在由执行管理器模块147加载之后进行操作。多个应用(例如，第一应用141和第二应用143)可以分别包括用于执行功能的执行服务模块141a和143a。多个应用(例如，第一应用141和第二应用143)可以分别通过用于执行功能的执行服务模块141a和143a来执行多个动作(例如，状态的序列)141b和143b。换句话说，执行服务模块141a和143a可以由执行管理器模块147激活并执行多个动作141b和143b。

根据实施例，当执行应用141和143的动作141b和143b时，可以在显示器120中显示根据动作141b和143执行的执行状态画面。例如，执行状态画面可以是在动作141b和143b完成的状态下的画面。例如，执行状态画面可以是在动作141b和143b的执行处于部分着陆(landing)的状态下(例如，在未输入动作141b和143b所需的参数的情况下)的画面。

根据实施例，执行服务模块141a和143a可以根据路径规则执行动作141b和143b。例如，执行服务模块141a和143a可以由执行管理器模块147激活，根据路径规则从执行管理器模块147接收执行请求，并且根据执行请求通过执行动作141b和143b分别执行第一应用141和第二应用143的功能。当动作141b和143b的执行完成时，执行服务模块141a和143a可以将完成信息发送到执行管理器模块147。

根据实施例，在第一应用141和第二应用143中分别执行多个动作141b和143b的情况下，可以顺序执行多个动作141b和143b。当一个动作(例如，第一应用141的动作1或第二应用143的动作1)的执行完成时，执行服务模块141a和143a可以打开下一动作(例如，第一应用141的动作2或第二应用143的动作2)并且将完成信息发送到执行管理器模块147。在这种情况下，可以理解的是，打开任意动作是将任意动作的状态改变为可执行状态或准备动作的执行。换句话说，当任意动作未被打开时，相应的动作可能不会被执行。当接收到完成信息时，执行管理器模块147可以将与下一个动作(例如，第一应用141的动作2或第二应用143的动作2)相关联的执行请求发送到执行服务模块141a和143a。在执行多个应用(例如，第一应用141和第二应用143)的情况下，可以顺序地执行多个应用(例如，第一应用141和第二应用143)。例如，当在第一应用141的最后一个动作(例如，第一应用141的动作3)的执行完成之后接收到完成信息时，执行管理器模块147可以将第二应用143的第一动作的执行请求(例如，第二应用143的动作1)发送到执行服务模块143a。

根据实施例，在第一应用141和第二应用143中执行多个动作141b和143b的情况下，根据所执行的多个动作141b和143b中的每个动作的执行的结果画面可以显示在显示器120中。根据所执行的多个动作141b和143b的多个结果画面中的仅一部分可以显示在显示器120中。

根据实施例，存储器140可以存储结合智能代理145操作的智能应用(例如，语音识别应用)。结合智能代理145操作的应用可以接收和处理用户话语作为语音信号。结合智能代理145操作的应用可以通过输入模块110输入的特定输入(例如，通过硬件按键的输入、通过触摸屏的输入或特定语音输入)来操作。

根据实施例，处理器150中的智能代理145、执行管理器模块147或智能服务模块149可以由处理器150执行，智能代理145、执行管理器模块147或智能服务模块149可以存储在存储器140中。智能代理145、执行管理器模块147或智能服务模块149的功能可以由处理器150实现。智能代理145、执行管理器模块147或智能服务模块149中的每个的功能是处理器150的操作。存储在存储器140中的智能代理145、执行管理器模块147或智能服务模块149可以用硬件以及软件实现。

根据实施例，处理器150可以控制用户终端100的所有动作。例如，处理器150可以控制输入模块110来接收用户输入。处理器150可以控制显示器120来显示图像。处理器150可以控制扬声器130来输出语音信号。处理器150可以控制存储器140来执行程序并读取或存储信息。

在实施例中，处理器150可以执行存储在存储器140中的智能代理145、执行管理器模块147或智能服务模块149。这样，处理器150可以实现智能代理145、执行管理器模块147或者智能服务模块149的功能。

根据实施例，处理器150可以执行智能代理145以基于作为用户输入接收的语音信号来生成用于启动应用的指令。处理器150可以执行执行管理器模块147，以根据所生成的指令启动存储在存储器140中的第一应用141和第二应用143。处理器150可以执行智能服务模块149来管理用户的信息并通过使用用户的信息来处理用户输入。

处理器150可以执行智能代理145以将通过输入模块110接收到的用户输入发送到智能服务器200并且通过智能服务器200处理用户输入。

根据实施例，在将用户输入发送到智能服务器200之前，处理器150可以执行智能代理145以预处理用户输入。为了预处理用户输入，智能代理145可以包括自适应回声消除器(aec)模块、噪声抑制(ns)模块、终点检测(epd)模块或自动增益控制(agc)模块。aec可以移除包含在用户输入中的回声。ns模块可以抑制用户输入中的背景噪声。epd模块可以检测用户输入中的用户语音的终点，并通过使用检测到的终点来搜索用户语音所在的部分。agc模块可以识别用户输入并调整用户输入的音量以便适于处理识别的用户输入。处理器150可以执行用于性能的所有预处理元件。然而，处理器150可以执行一部分预处理元件以在低功率下操作。

根据实施例，智能代理145可以执行存储在存储器140中的唤醒识别模块，用于识别用户的呼叫。如此，处理器150可以通过唤醒识别模块识别用户的唤醒命令，并在接收到唤醒命令时执行接收用户输入的智能代理145。唤醒识别模块可以用低功率处理器(例如，包括在音频编解码器中的处理器)来实现。当通过硬件键接收到用户输入时，处理器150可以执行智能代理145。在执行智能代理145的情况下，可以执行结合智能代理145操作的智能应用(例如，语音识别应用)。

根据实施例，智能代理145可以包括用于执行用户输入的语音识别模块。处理器150可以通过语音识别模块识别用于执行应用中的动作的用户输入。例如，处理器150可以通过语音识别模块识别用于在第一应用141和第二应用143中执行诸如唤醒命令之类的动作的受限用户(语音)输入(例如，当在执行相机应用时用于执行拍摄操作的点击等话语)。例如，处理器150可以帮助智能服务器200识别并且快速处理能够通过语音识别模块在用户终端100中处理的用户命令。用于执行用户输入的智能代理145的语音识别模块可以在应用处理器中实现。

根据实施例，智能代理145的语音识别模块(包括唤醒模块的语音识别模块)可以通过使用用于识别语音的算法来识别用户输入。例如，用于识别语音的算法可以是隐马尔可夫模型(hmm)算法、人工神经网络(ann)算法或动态时间规整(dtw)算法中的至少一个。

根据实施例，处理器150可以执行智能代理145以将用户的语音输入转换为文本数据。例如，处理器150可以通过智能代理145向智能服务器200发送用户的语音，并且从智能服务器200接收与用户的语音相对应的文本数据。如此，处理器150可以将经转换的文本数据显示在显示器120中。

根据实施例，处理器150可以执行智能代理145以从智能服务器200中接收路径规则(或序列)。处理器150可以通过智能代理145将路径规则发送到执行管理器模块147。

根据实施例，处理器150可以执行智能代理145以根据从智能服务器200接收到的路径规则将执行结果日志发送到智能服务模块149，并且所发送的执行结果日志可以在角色模块149b的用户的偏好信息中被累积和管理。

根据实施例，处理器150可以执行执行管理器模块147、从智能代理145接收路径规则，并且执行应用141和143；以及处理器150可以允许应用141和143执行路径规则中包括的动作141b和143b。例如，处理器150可以通过执行管理器模块147向第一应用141和第二应用143发送用于执行动作141b和143b的命令信息(例如，路径规则信息)；并且处理器150可以从第一应用141和第二应用143接收动作141b和143b的完成信息。

根据实施例，处理器150可以执行执行管理器模块147以在智能代理145与第一应用141和第二应用143之间发送用于执行第一应用141和第二应用143的动作141b和143b的命令信息(例如，路径规则信息)。处理器150可以通过执行管理器模块147根据路径规则绑定待执行的第一应用141和第二应用143，并且处理器150可以将路径规则中包括的动作141b和143b的命令信息(例如，路径规则信息)发送到第一应用141和第二应用143。例如，处理器150可以通过执行管理器模块147顺序地将路径规则中包括的动作141b和143b发送到第一应用141和第二应用143，并且可以根据路径规则顺序地执行第一应用141和第二应用143的动作141b和143b。

根据实施例，处理器150可以执行执行管理器模块147以管理第一应用141和第二应用143的动作141b和143b的执行状态。例如，处理器150可以通过执行管理器模块147从第一应用141和第二应用143接收关于动作141b和143b的执行状态的信息。例如，在动作141b和143b的执行状态处于部分着陆的情况下(例如，在没有输入动作141b和143b所需的参数的情况下)，处理器150可以通过执行管理器模块147将关于部分着陆的信息发送到智能代理145。处理器150可以通过使用通过智能代理145接收的信息，向用户请求输入必要的信息(例如，参数信息)。例如，在每个动作141b和143b的执行状态是操作状态的情况下，处理器150可以通过智能代理145从用户接收话语。处理器150可以通过执行管理器模块147向智能代理145发送关于正在执行的第一应用141和第二应用143的信息以及第一应用141和第二应用143的执行状态。处理器150可以通过智能代理145将用户话语发送到智能服务器200。处理器150可以通过智能代理145从智能服务器200接收用户话语的参数信息。处理器150可以通过智能代理145将所接收的参数信息发送到执行管理器模块147。执行管理器模块147可以通过使用所接收的参数信息将动作141b和143b中的每一个的参数改变为新的参数。

根据实施例，处理器150可以执行执行管理器模块147以将包括在路径规则中的参数信息发送到第一应用141和第二应用143。在根据路径规则顺序地执行多个应用(例如，第一应用141和第二应用143)的情况下，执行管理器模块147可以将包括在路径规则中的参数信息从一个应用发送到另一个应用。

根据实施例，处理器150可以执行执行管理器模块147以接收多个路径规则。处理器150可以通过执行管理器模块147基于用户话语来选择多个路径规则。例如，在用户话语指定一个应用(例如，第一应用141)执行一个动作141b但没有指定另一个应用(例如，第二应用143)执行另一个动作143b的情况下，处理器150可以接收多个不同的路径规则，其中通过执行管理器模块147，执行相同应用(例如，第一应用141)(例如，图库应用)执行一个动作141b，并且其中不同应用(例如，第二应用143)(例如，消息应用程序或电报应用)执行另一个应用143b。例如，处理器150可以通过执行管理器模块147执行多条路径规则中的相同动作141b和143b(例如，相同的连续动作141b和143b)。在处理器150执行相同动作的情况下，处理器150可以通过执行管理器模块147显示用于选择包括在显示器120中的多个路径规则中的不同应用(例如，第一应用141和第二应用143)的状态画面。

根据实施例，智能服务模块149可以包括上下文模块149a、角色模块149b或建议模块149c。

上下文模块149a可以从应用(例如，第一应用141和第二应用143)收集应用(例如，第一应用141和第二应用143)的当前状态。例如，上下文模块149a可以接收指示应用(例如，第一应用141和第二应用143)的当前状态的上下文信息以收集应用(例如，第一应用141和第二应用143)的当前状态。

角色模块149b可以利用用户终端100管理用户的个人信息。例如，角色模块149b可以收集用户终端100的使用信息和执行结果以管理用户的个人信息。

建议模块149c可以预测用户意图以向用户推荐命令。例如，考虑到用户的当前状态(例如，时间、地点、情况或应用)，建议模块149c可以向用户推荐该命令。

图3是根据实施例的正在执行的用户终端100的智能应用的图示。

参考图3，用户终端100可以接收用户输入以执行与智能代理145连同操作的智能应用(例如，语音识别应用)。

根据实施例，用户设备100可以通过硬件键112执行用户识别语音的智能应用。例如，在用户终端100通过硬件键112接收到用户输入的情况下，用户终端100可以在显示器120中显示智能应用的用户界面(ui)121。例如，用户可以在智能应用的ui121显示在显示器120中的状态下，触摸智能应用的ui121的语音识别按钮121a以输入语音111b。例如，用户在持续按下硬件键112以输入语音120b时，可以输入语音120b。

根据实施例，用户终端100可以执行用于通过麦克风111识别语音的智能应用。例如，在通过麦克风111输入语音(例如，“醒来！”)120a的情况下，用户设备100可以在显示器120显示智能应用的ui121。

图4是根据实施例的集成智能系统10的智能服务器200的框图。

参考图4，智能服务器(或智能系统)200可以包括asr模块210、nlu模块220、路径规划器模块230、对话管理器(dm)模块240、自然语言生成器(nlg)模块250或文本到语音(tts)模块260。根据实施例，智能服务器200可以包括通信电路(或网络接口)、存储器和处理器。处理器可以执行存储在存储器中的指令以驱动asr模块210、nlu模块220、路径规划器模块230、dm模块240、nlg模块250和tts模块260。智能服务器200可以通过通信电路向外部电子设备(例如，用户终端100)发送数据(或信息)或从外部电子设备接收数据(或信息)。

智能服务器200的nlu模块220或路径规划模块230可以生成路径规则(或序列)。

根据实施例，asr模块210可以将从用户设备100接收到的用户输入改变为文本数据。

根据实施例，asr模块210可以将从用户设备100接收到的用户输入转换为文本数据。例如，asr模块210可以包括语音识别模块。语音识别模块可以包括声学模型和语言模型。例如，声学模型可以包括与发声相关联的信息，并且语言模型可以包括单位音素信息和关于单位音素信息的组合的信息。语音识别模块可以通过使用与发音和单位音素信息相关联的信息将用户语音转换为文本数据。例如，关于声学模型和语言模型的信息可以存储在自动语音识别数据库(asrdb)211中。

根据实施例，nlu模块220可以通过执行句法分析或语义分析来掌握用户意图。句法分析可以将用户输入划分为句法单元(例如，单词、短语、语素等)并确定划分的单元具有哪些句法元素。可以通过使用语义匹配、规则匹配、公式匹配等来执行语义分析。如此，nlu模块220可以获得用户输入以表达意图所需的域、意图或参数(或时隙(slot))。

根据实施例，nlu模块220可以通过使用被划分为掌握意图所需的域、意图以及参数(或时隙)的匹配规则来确定用户意图和参数。例如，一个域(例如，警报)可以包括多个意图(例如，警报设置、警报取消等)，并且一个意图可以包括多个参数(例如，时间、迭代数量、警报声音等)。例如，多个规则可以包括一个或更多个必要参数。匹配规则可以被存储在自然语言理解数据库(nludb)221中。

根据实施例，nlu模块220可以通过使用诸如语素、短语等的语言特征(例如，语法元素)来掌握从用户输入中提取的词的含义，并且可以将所掌握的词的含义与域和意图匹配以确定用户意图。例如，nlu模块220可以计算从用户输入中提取的单词有多少被包括在每个域和用于确定用户意图的意图中。nlu模块220可以通过使用用于掌握意图的词来确定用户输入的参数。nlu模块220可以通过使用存储用于掌握用户输入的意图的语言特征的nludb221来确定用户意图。nlu模块220可以通过使用个人语言模型(plm)来确定用户意图。例如，nlu模块220可以通过使用个性化信息(例如，联系人列表或音乐列表)来确定用户意图。例如，plm可以存储在nludb221中。asr模块210和nlu模块220可以参考存储在nludb221中的plm来识别用户的语音。

根据实施例，nlu模块220可以基于用户输入的意图和参数来生成路径规则。例如，nlu模块220可以基于用户输入的意图选择要执行的应用并且确定要在所选择的应用中执行的动作。nlu模块220可以确定与所确定的动作相对应的参数以生成路径规则。由nlu模块220生成的路径规则可以包括：关于要执行的应用、要在应用中执行的动作(例如，至少一个或更多个状态)以及执行动作所需的参数的信息。

根据实施例，nlu模块220可以基于用户输入的意图和参数来生成一个路径规则或多个路径规则。例如，nlu模块220可以从路径规划器模块230接收与用户终端100相对应的路径规则集，并且可以将用户输入的意图和参数映射到所接收的路径规则集以确定路径规则。

根据实施例，nlu模块220可以基于用户输入的意图和用于生成一个路径规则或多个路径规则的参数来确定要被执行的应用、要在应用中被执行的动作以及执行动作所需的参数。例如，nlu模块220可以根据用户输入的意图以用于生成路径规则的本体(ontology)或图形模型的形式使用用户终端100的信息来布置要被执行的应用和有待于在应用中被执行的动作。生成的路径规则可以通过路径规划模块230存储在路径规则数据库(prdb)231中。生成的路径规则可以被添加到prdb231的路径规则集。

根据实施例，nlu模块220可以选择所生成的多个路径规则的至少一个路径规则。根据实施例，nlu模块220可以选择多个路径规则中的最优路径规则。例如，在基于用户话语仅指定动作的一部分的情况下，nlu模块220可以选择多个路径规则。nlu模块220可以根据用户的附加输入来确定多个路径规则中的一个路径规则。

根据实施例，nlu模块220可以响应于对用户输入的请求而将路径规则发送到用户终端100。例如，nlu模块220可以将与用户输入相对应的一个路径规则发送到用户终端100。例如，nlu模块220可以将与用户输入相对应的多个路径规则发送到用户终端100。例如，在基于用户话语仅指定动作的一部分的情况下，nlu模块220可以生成多个路径规则。

根据实施例，路径规划器模块230可以选择多个路径规则中的至少一个路径规则。

根据实施例，路径规划器模块230可以将包括多个路径规则的路径规则集发送到nlu模块220。路径规则集的多个路径规则可以以表格形式存储在连接到路径规划器模块230的prdb231中。例如，路径规划器模块230可以将与从智能代理145接收到的用户终端100的信息(例如，操作系统(os)信息或应用信息)相对应的路径规则集发送到nlu模块220。例如，存储在prdb231中的表可以针对每个域或针对域的每个版本来存储。

根据实施例，路径规划器模块230可以从路径规则集中选择一个路径规则或多个路径规则，以将所选择的一个路径规则或所选择的多个路径规则发送到nlu模块220。例如，路径规划器模块230可以将用户意图和参数与对应于用户终端100的路径规则集相匹配以选择一个路径规则或多个路径规则，并且可以将所选择的一个路径规则或所选择的多个路径规则提供给nlu模块220。

根据实施例，路径规划器模块230可以利用用户意图和参数来生成一个路径规则或多个路径规则。根据实施例，路径规划器模块230可以基于用户意图和用于生成一个路径规则或多个路径规则的参数来确定要被执行的应用以及要在应用中执行的动作。路径规划器模块230可以将所生成的路径规则存储在prdb231中。

根据实施例，路径计划器模块230可以将由nlu模块220生成的路径规则存储在prdb231中。生成的路径规则可以被添加到存储在prdb231中的路径规则集。

根据实施例，存储在prdb231中的表格可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的设备的种类、版本、类型或特性。

根据实施例，dm模块240可以确定由nlu模块220掌握的用户意图是否是确定的。例如，dm模块240可以基于参数的信息是否足够来确定用户意图是否清楚。dm模块240可以确定由nlu模块220掌握的参数是否足以执行任务。在用户意图不清楚的情况下，dm模块240可以向用户提供用于请求必要信息的反馈。例如，dm模块240可以提供反馈，用于请求关于用于掌握用户意图的参数的信息。

根据实施例，dm模块240可以包括内容提供者模块。在内容提供者模块基于由nlu模块220掌握的意图和参数执行动作的情况下，内容提供者模块可以生成通过执行与用户输入相对应的任务而获得的结果。dm模块240可以将由内容提供者模块生成的结果作为对用户输入的响应发送到用户终端100。

根据实施例，nlg模块250可以将特定信息改变为文本形式。改变为文本形式的信息可能是自然语言话语的形式。例如，特定信息可以是关于附加输入的信息、用于指导完成对应于用户输入的动作的信息，或者用于指导用户的附加输入的信息(例如，关于用户输入的反馈信息)。改变为文本形式的信息可以在被发送到用户终端100之后显示在显示器120中，或者在发送到tts模块260之后改变为语音形式。

根据实施例，tts模块260可以将文本形式的信息改变为语音形式的信息。tts模块260可以从nlg模块250接收文本形式的信息、将文本形式的信息改变为语音形式的信息，并且将语音形式的信息发送到用户终端100。用户终端100可以将语音形式的信息输出到扬声器130。

根据实施例，nlu模块220、路径规划模块230和dm模块240可以用一个模块来实现。例如，nlu模块220、路径规划器模块230和dm模块240可以用一个模块来实现，确定用户意图和参数，并且生成与所确定的用户意图和参数相对应的响应(例如，路径规则)。这样，所生成的响应可以被发送到用户终端100。

图5是根据实施例的路径规划器模块的路径规则生成方法的图示。

参考图5，nlu模块220可以将应用的功能划分为任何一个动作(例如，状态a到状态f)，并且可以将划分的单位动作存储在prdb231中。例如，nlu模块220可以将包括划分成一个动作(或状态)的多个路径规则(a-b1-c1、a-b1-c2、a-b1-c3-d-f和a-b1-c3-d-e-f)的路径规则集存储在prdb231中。

根据实施例，路径规划器模块的prdb231可以存储用于执行应用的功能的路径规则集。路径规则集可以包括多个路径规则，其中每个路径规则包括多个动作(例如，状态序列)。根据输入到包括在多个路径规则中的每个路径规则中的多个动作中的每个动作的参数执行的动作可以被顺序地布置。以本体或图模型的形式实现的多个路径规则可以被存储在prdb231中。

根据实施例，nlu模块220可以选择与用户输入的意图和参数相对应的多个路径规则a-b1-c1、a-b1-c2、a-b1-c3-d-f和a-b1-c3-d-e-f中的最佳路径规则a-b1-c3-d-f。

根据实施例，在不存在与用户输入完全匹配的路径规则的情况下，nlu模块220可以将多个规则发送到用户终端100。例如，nlu模块220可以选择与用户输入部分对应的路径规则(例如，a-b1)。nlu模块220可以选择包括部分对应于用户输入的路径规则(例如，a-b1)的一个或多个路径规则(例如，a-b1-c1、a-b1-c2、a-b1-c3-d-f和a-b1-c3-d-e-f)，并且可以将一个或多个路径规则发送到用户终端100。

根据实施例，nlu模块220可以基于由用户终端100添加的输入来选择多个路径规则中的一个，并且可以将选择的一个路径规则发送到用户终端100。例如，nlu模块220可以根据由用户终端100另外输入的用于向用户终端100发送所选择的一个路径规则的用户输入(例如，用于选择c3的输入)，选择多个路径规则(例如，a-b1-c1、a-b1-c2、a-b1-c3-d-f和a-b1-c3-d-e-f)中的一个路径规则(例如，a-b1-c3-d-f)。

根据实施例，nlu模块220可以确定与用户输入(例如，用于选择c3的输入)相对应的用户意图和参数，该用户输入由用户终端100附加地输入并用于将所确定的用户意图或所确定的参数发送到用户终端100。用户终端100可以基于所发送的意图和所发送的参数选择多个路径规则(例如，a-b1-c1、a-b1-c2、a-b1-c3-d-f和a-b1-c3-d-e-f)中的一个路径规则(例如，a-b1-c3-d-f)。

例如，用户终端100可以基于选择的一个路径规则来完成应用(例如，第一应用141和第二应用143)的动作。

根据实施例，nlu模块220可以在智能服务器200接收到其中信息不足的用户输入的情况下，生成与所接收的用户输入部分相对应的路径规则。例如，nlu模块220可以将部分对应的路径规则发送到智能代理145。处理器150可以执行智能代理145以接收路径规则，并且可以将部分对应的路径规则发送到执行管理器模块147。处理器150可以通过执行管理器模块147根据路径规则执行第一应用141。处理器150可以在执行第一应用141的同时通过执行管理器模块147将关于不足参数的信息发送到智能代理145。处理器150可以通过智能代理145使用关于不足参数的信息向用户请求附加输入。当用户接收到附加输入时，处理器150可以通过智能代理145将用户输入发送到智能服务器200并处理该用户输入。nlu模块220可以基于另外输入的用户输入的意图和参数信息，生成要添加的路径规则，并且可以将要添加的路径规则发送到智能代理145。处理器150可以通过智能代理145将路径规则发送到执行管理器模块147以执行第二应用143。

根据实施例，nlu模块220可以在智能服务器200接收到其中部分信息丢失的用户输入的情况下，将用户信息请求发送到个人信息服务器300。个人信息服务器300可以将用户对存储在角色数据库中的用户输入进行输入的信息发送到nlu模块220。nlu模块220可以通过使用用户信息来选择与部分动作丢失的用户输入相对应的路径规则。例如，即使智能服务器200接收到其中部分信息丢失的用户输入，nlu模块220可以请求丢失的信息以接收附加输入，或者可以通过使用用户信息确定与该用户输入相对应的路径规则。

根据实施例，以下表1可以指示与用户请求的任务相关联的路径规则的示例性格式。

表1

参考上面的表1，由智能服务器(例如，图1的智能服务器200)根据用户语音(例如，“请共享图片”)生成或选择的路径规则可以包括至少一个状态25、26、27、28、29或30。例如，至少一个状态(例如，终端的一个操作状态)可以对应于图片应用执行picturesview25、图片搜索功能执行searchview26、搜索结果显示画面输出searchviewresult27、其中未选择图片的搜索结果显示画面输出searchemptyselectedview28、其中选择至少一个图片的搜索结果显示画面输出searchselectedview29或共享应用程序选择画面输出crossshare30。

在实施例中，路径规则的参数信息可以对应于至少一个状态。例如，在其中选择至少一个图片的搜索结果显示画面输出中，searchselectedview29可以被包括在至少一个状态中。

可以依据包括状态25、26、27、28和29的序列的路径规则的执行结果来执行用户请求的任务(例如，“请共享图片！”)。

图6是根据实施例的nlu模块的每个功能的框图。

参考图6，nlu模块600可以包括应用调度模块610、能力调度模块620、域分类器模块630、第一意图分类器模块640、第二意图分类器模块650和时隙标签模块660。nlu模块600可以类似于图4的nlu模块220。例如，nlu模块600可以通过使用与用户输入(例如，语音)对应的文本数据来生成(或选择)路径规则(或序列)。例如，路径规则可以包括电子设备100的状态序列。

根据实施例，nlu模块600可以学习用户话语以生成模型并且可以通过使用所生成的模型生成与用户输入相对应的路径规则。例如，学习模型可以包括域和包括在域中的路径规则。域可以对应于存储在用户设备100的存储器中的应用。路径规则可以对应于特定话语。与用户输入相对应的路径规则可以通过使用特定标准(例如，特定功能)划分和识别特定话语来生成。nlu模块600的每个配置可以通过使用不同的模型来生成对应于用户输入的响应。

根据一个实施例，应用调度模块610可以确定用户输入是否包括用于确定根据用户输入执行或终止的应用的特定单词。例如，应用调度模块610可以确定用户输入是否包括应用名称(例如，图库应用或短消息服务(sms)应用)。例如，应用调度模块610可以确定用户输入是否包括用于终止应用的单词(例如，“退出”或“再见”)。

根据实施例，在应用调度模块610识别特定单词的情况下，应用调度模块610可以确定对应于用户输入的域。例如，应用调度模块610可以确定执行与用户输入相对应的任务的应用，并且可以将对应于该应用的域确定为对应于用户输入的域。例如，应用调度模块610可以仅确定用户输入是否包括特定单词，以确定与用户输入对应的域。

根据实施例，能力调度模块620可以选择用于执行与用户输入相对应的任务的多个应用。例如，能力调度模块620可以选择对应于相同功能(例如，编辑功能)的多个应用(例如，图库应用和备忘录应用)。

根据实施例，能力调度模块620可以接收用户输入以选择多个应用中的一个。例如，能力调度模块620可以将关于多个应用的信息发送到用户终端100，并且可以通过用户终端10接收用户输入，以选择多个应用中的一个应用。例如，能力调度模块620可以将对应于所选择的一个应用的域确定为对应于用户输入的域。

根据实施例，域分类器模块630可以确定对应于用户输入的域。例如，类似于确定图4的nlu模块220的域的方法，域分类器模块630可以通过使用用户输入的语言特征(例如，语法特征)来确定对应于用户输入的域。

根据实施例，域分类器模块630可以确定对应于用户输入的域。然而，与通过识别特定单词或功能来确定域的应用调度模块610或能力调度模块620相比，确定域可能花费很长时间。这样，nlu模块600可以操作应用调度模块610和能力调度模块620。在nlu模块600未通过应用调度模块610和能力调度模块620确定对应于用户输入的域的情况下，nlu模块600可以通过域分类模块630确定对应于用户输入的域。

根据实施例，第一意图分类器模块640可以通过使用基于存储在数据库(或存储器)中的规则(或规则匹配)的自然语言理解方法来掌握用户输入的意图，并且可以根据所掌握的意图确定路径规则。例如，第一意图分类器模块640可以从包括在通过域分类器模块630确定的域中的多个意图中掌握对应于用户输入的意图，并且可以根据所掌握的意图来确定路径规则。第一意图分类器模块640可以通过将多个路径规则与用户输入进行匹配来确定对应于用户输入的路径规则。

根据实施例，第二意图分类器模块650可以通过使用基于包括深度学习方案的统计方案的自然语言理解来确定用户输入的意图，并且可以根据所掌握的意图来确定路径规则。例如，第二意图分类器模块650可以通过使用用户输入的语言特征来掌握(或确定)对应于用户输入的意图。例如，第二意图分类器模块650可以通过使用plm来掌握对应于用户输入的意图。第二意图分类器模块650可以基于所掌握的意图来确定对应于用户输入的路径规则。例如，第二意图分类器模块650可以基于所掌握的意图计算包括在通过应用调度模块610、能力调度模块620或者域分类器模块630确定的域中的多个路径规则的匹配概率(或者置信度)，并且可以选择具有最高匹配概率的路径规则作为对应于用户输入的路径规则。

根据实施例，第二意图分类器模块650可以将包括在与用户终端100中正在执行的应用对应的域中的多个路径规则中的路径规则确定为对应于用户输入的路径规则。例如，第二意图分类器模块650可以基于所掌握的用户输入的意图来计算包括在与用户终端100中正在执行的应用相对应的域中的多个路径规则的匹配概率，并且可以选择对应于用户输入的路径规则。

根据实施例，与第一意图分类器模块640相比，当第二意图分类器模块650确定路径规则时花费更长的时间，然而，第二意图分类器模块650可以选择正确的路径规则。如此，nlu模块600可以首先确定通过第一意图分类器模块640确定的路径规则是否对应于特定路径规则(例如，完整路径规则)。在所确定的路径规则不是特定路径规则的情况下，nlu模块600可以通过第二意图分类器模块650确定对应于用户输入的路径规则。

根据实施例，时隙标记模块660可以提取包括在路径规则中的状态所需的参数。例如，时隙标记模块660可以提取包括在通过第一意图分类器模块640或第二意图分类器模块650确定的路径规则中、来自用户输入的用户输入中的单词中的状态所需的参数，并且可以用该状态标记参数。

根据实施例，当甚至通过配置也确定不了用户输入的域时，nlu模块600可以接收用户输入以选择由用户执行的应用并且可以确定用户输入的域。例如，nlu模块600可以将用于接收用户输入以选择要被执行的应用的指导信息发送到用户终端100。例如，可以通过nlg模块250生成用于接收用户输入的指导信息。

例如，nlu模块600可以确定对应于用户输入的路径规则。为了确定存储在数据库中的多个路径规则中与用户输入相对应的路径规则，nlu模块600可以基于与应用对应的域对存储在数据库中的多个路径规则进行分类，并且可以设置与用于执行应用的功能的多个用户话语中的每一个相对应的路径规则。

图7是根据实施例的为每个域存储的多个路径规则的图示。

参考图7，可以为每个域分别存储对应于用户输入的多个路径规则。

根据实施例，多个路径规则可以被划分成包括第一域domain1、第二域domain2和第三域domain3的多个域，并且可以被存储在数据库中。多个域可以包括对应于本地应用和第三方应用的域。例如，本地应用可以是由用户终端100的制造商或智能服务器200的操作者管理的应用(例如，sms应用)。另外，本地应用可以通过使用路径规则来执行与用户输入相对应的任务。例如，第三方应用可以是由除了用户终端100的制造商或智能服务器200的操作者的第三方管理的应用(例如，食物输送应用)。除了nlu模块600之外的另一个nlu模块可以用于执行第三方应用的至少一部分功能。不同于nlu模块600的nlu模块可以另外地被包括在图2的智能服务器200中。此外，第三方应用可以包括使用网页的网络应用。

根据实施例，第一域domain1、第二域domain2和第三域domain3中的每一个的域可以包括多个路径规则。例如，第一域domain1可以包括与第一应用app1相关联的多个路径规则(例如，第一路径规则app1_pathrule_1至第十四路径规则app1_pathrule_14)。例如，第二域domain2可以包括与第二应用app2相关联的多个路径规则(例如，第一路径规则app1_pathrule_1至第十四路径规则app1_pathrule_14)。例如，第三域domain3可以包括与第三应用app3相关联的多个路径规则(例如，第一路径规则app1_pathrule_1至第十四路径规则app1_pathrule_14)。

根据实施例，包括在第一域domain1、第二域domain2和第三域domain3中的每一个的域中的多个路径规则可以被划分为全局规则或非全局规则。例如，全局规则可以是完整路径规则。完整路径规则可以是与在用户终端100的状态下可执行的根话语(例如，“在图库应用中搜索夏威夷的图片”)相对应的路径规则。全局规则可以是除全局规则之外的路径规则(例如，部分路径规则)。非完整路径规则可以是与在用户终端100的状态下可执行的根话语(例如，“在图库应用中搜索夏威夷的图片”)相对应的路径规则。包括在第一域domain1、第二域domain2和第三域domain3中的每一个的域中的多个路径规则中的特定(或所选择的)路径规则可以被设置为全局路径规则。例如，可以将多个路径规则中用于执行特定功能的路径规则设置为全局路径规则。

根据实施例，图6的nlu模块600可以识别包括在用户输入中的特定单词并且可以确定对应于用户输入的域(例如，第一域domain1)。例如，特定单词可以是应用名称(例如，图库应用)。nlu模块600可以从包括在与指定单词相对应的域中的多个路径规则(例如，第一路径规则app1_pathrule_1至第十四路径规则app1_pathrule_14)中选择(或确定)一个路径规则(例如，第一路径规则app1_pathrule_1)。

根据实施例，在用户输入不包括特定单词的情况下，nlu模块600可以不确定对应于用户输入的域(例如，第二域domain2)。在nlu模块600未确定对应于用户输入的域的情况下，nlu模块600可以不确定与用户输入相对应的路径规则(例如，第六路径规则app2_pathrule_6)。例如，路径规则可以是非全局路径规则(例如，局部路径规则)。nlu模块600可以向用户终端100发送用于请求用户输入以选择要被执行的应用的指导信息。nlu模块600可以从基于用户输入选择的域(例如，第二域domain2)中包括的多个路径规则(例如，第一路径规则app2_pathrule_1至第十四路径规则app2_pathrule_14)中确定一个路径规则(例如，第六路径规则app2_pathrule_6)以选择要执行的应用，作为与用户输入相对应的路径规则。

根据实施例，nlu模块600可以识别包括用于执行特定功能的命令的用户输入并且可以确定与用户输入相对应的路径规则。例如，在用户输入包括用于执行特定功能的命令的情况下，nlu模块600可以确定全局路径规则(例如，第一路径规则app2_pathrule_1)。例如，nlu模块600可以生成对应于用户输入的路径规则，而不识别与域(例如，第二域domain2)相对应的特定单词。

例如，基于存储在每个域的数据库中的多个路径规则，nlu模块600可以确定与用户输入相对应的路径规则。

图8是nlu模块的路径规则生成方法的流程图。

参考图8，nlu模块600可以接收对应于用户话语的文本数据。例如，nlu模块600可以通过通信电路从用户终端100(或外部电子设备)接收与用户话语相关联的数据。例如，用户输入可以包括通过使用外部电子设备执行至少一个任务的请求。

根据实施例，在用户输入对应于特定用户话语的情况下，nlu模块600可以通过使用与用户输入相对应的第一应用来确定执行任务的用户终端100的路径规则(或状态序列)。

根据实施例，在用户输入不对应于特定用户话语的情况下，nlu模块600可以确定将执行与用户话语相对应的功能的应用以确定用于使用用户终端100的第二应用执行任务的用户终端100的路径规则或者产生用于接收用户输入以选择第三应用的指导信息。

根据实施例，nlu模块600可以将用户终端100的确定的路径规则或生成的指导信息发送到外部电子设备。

根据实施例，在步骤810中，nlu模块600(例如，应用调度模块610)可以确定用户话语是否包括特定单词。例如，nlu模块600可以确定用户话语是否包括应用的名称(例如，图集应用)。nlu模块600可以确定对应于特定单词的域。例如，nlu模块600可以确定用户输入是否包括终止应用的命令(例如，“退出！”)。nlu模块600可以确定用户输入是否包括应用的名称和用于终止应用的命令中的至少一个。在输入用于终止应用的命令的情况下，用户终端100可以终止正在执行的应用，并且可能不再进行该处理。在步骤801中，在用户输入包括应用的名称的情况下，nlu模块600可以根据对应于用户输入的域来处理用户输入。下面参考图9更详细地描述了nlu模块600处理用户输入的方法。

根据实施例，在用户输入不包括应用的名称的情况下，在步骤820中，nlu模块600(例如，能力调度模块620)可以确定用户输入(或话语)是否包括用于执行应用的特定功能的命令。在用户输入包括用于执行应用的功能的命令的情况下，在步骤802中，nlu模块600可以将关于用于执行特定功能的多个应用的信息发送到用户终端100。例如，用户终端100可以向用户提供关于多个应用的信息，并且可以接收用户输入以选择多个应用中的一个应用。nlu模块600可以执行步骤801。

根据实施例，在用户输入不包括用于执行应用的功能的命令的情况下，在步骤830中，nlu模块600(例如，域分类器模块630)可以确定对应于用户输入的域。在步骤840中，nlu模块600可以确定所确定的域是否是与用于处理用户输入的专用应用(例如，聊天机器人)对应的域。专用应用可能是不使用路径规则来执行任务的应用。或者，对应于专用应用的域可能不包括路径规则。在用户输入对应于专用应用的域的情况下，nlu模块600可以不生成对应于用户输入的路径规则。nlu模块600可以获得与用户输入而不是路径规则相对应的结果，并且可以允许专用应用显示获得的结果。

根据实施例，在确定的域与专用应用对应的域相同的情况下，在步骤803中，nlu模块600可以确定应用是否正在用户终端100中执行。nlu模块600可以验证用户终端100的状态(例如，应用是否正在执行、主画面还是锁定画面)以确定应用是否正被执行。

根据实施例，在用户终端100中没有应用正在执行的情况下，在步骤804中，nlu模块600可以根据所确定的域来处理用户输入。下面参照图10更详细地描述nlu模块600处理用户输入的方法。

根据实施例，在所确定的域与专用应用对应的域不相同的情况下，在步骤850中，nlu模块600(例如，第一意图分类器模块640)可以基于包括在所确定的域中的规则选择(或确定)第二路径规则。例如，nlu模块600可以基于存储在数据库中的规则，根据通过使用自然语言理解方案确定的意图来确定第二路径规则。在步骤860中，nlu模块600可以确定所选择的第二路径规则是否是全局规则。在所选择的第二路径规则是全局路径规则的情况下，nlu模块600可以基于用户终端100的状态来确定是否确定与用户话语相关联的意图。例如，在步骤803中，用户终端100的状态可以是正在执行应用的状态。

根据实施例，在所选择的第二路径规则不是全局路径规则的情况下，在步骤870中，nlu模块600(例如，第二意图分类器模块650)可以基于深度学习方案从所确定的域中包括的路径规则中选择第四路径规则。例如，nlu模块600可以基于包括深度学习方案的统计方案(例如，语言特征，或plm)通过使用自然语言理解来确定用户话语的意图，并且可以基于确定的意图选择第四路径规则。例如，nlu模块600可以基于所确定的域和用户话语来确定意图。nlu模块600可以通过使用针对语法成分的域、意图和参数(或时隙)的匹配规则来确定路径规则。当第四路径规则被确定时，在步骤803中，nlu模块600可以基于用户终端100的状态(例如，应用的执行状态)来确定是否确定与用户话语相关联的意图。例如，第四路径规则可以与由步骤860选择的第二路径规则相同。

根据实施例，在用户终端100中正在执行应用的情况下，在步骤880中，nlu模块600(例如，第二意图分类器模块650)可以基于根据正在执行的应用(或与正在执行的应用对应的域)而分类的意图从所确定的域中包括的路径规则中选择第三路径规则。例如，根据正在执行的应用而分类的意图可以不同于根据在步骤870中确定的域来分类的意图。此外，根据正在执行的应用分而类的意图可以彼此相同。这样，由nlu模块600选择的第三路径规则可以与由步骤860选择的第二路径规则相同或不同。

根据实施例，在步骤890中，nlu模块600(例如，第二意图分类器模块650)可以根据与正在执行的应用相对应的域来处理用户输入。下面参考图11更详细地描述了nlu模块600处理用户输入的方法。

根据实施例，在步骤850和步骤860中选择的第二路径规则是全局路径规则的情况下，nlu模块600可以将第二路径规则发送到用户终端100。nlu模块600可以确定所选择的路径规则是否对应于全局路径规则。在确定了所选择的路径规则对应于全局路径规则的情况下，nlu模块600可以不执行步骤840。类似于步骤870之后的步骤860，nlu模块600可以确定第四路径规则是否对应于全局路径规则。在第四路径规则是全局路径规则的情况下，nlu模块600可以将第四路径规则发送到用户终端100。在步骤850和步骤860中所选择的路径规则是非全局路径规则的情况下，nlu模块600可以执行步骤803。在用户终端100中正在执行应用的情况下，nlu模块600可以执行步骤880和步骤890。在用户终端100中没有正在执行应用的情况下，nlu模块600可以将用于接收附加用户输入(例如，应用选择)的指导信息发送到用户终端100。

根据实施例，nlu模块600可以在步骤803中确定用户终端100是否正在执行应用以选择要发送到用户终端100的路径规则。nlu模块600可以确定用户终端100是否执行应用以选择对应于用户输入的路径规则。在确定了用户终端100执行应用的情况下，nlu模块600可以不执行步骤860。例如，在用户终端100执行应用的情况下，在步骤880中，nlu模块600可以基于用户话语和所确定的域来选择第三路径规则。在步骤804或步骤1030中，nlu模块600可以将第三路径规则发送到用户终端100。nlu模块600可以验证所选择的第三路径规则的置信度。在第三路径规则的置信度较低的情况下，nlu模块600可以向用户终端100发送在步骤850中选择的第二路径规则，而不是第三路径规则。

图9是nlu模块根据所确定的域来处理用户输入的方法的流程图。即，图9示出了图8中的步骤801的方法。

参考图9，在步骤810或步骤802中通过包括应用的功能来确定用户输入包括与用户输入相对应的特定单词或域的情况下，图6的nlu模块600可以根据所确定的域来处理用户输入。

根据实施例，在步骤910中，nlu模块600可以确定所确定的域的类型。例如，nlu模块可以确定与所确定的域对应的应用是否与本地应用和第三方应用中的一个相对应。

根据实施例，在与所确定的域相对应的应用是本地应用的情况下，在步骤920中，nlu模块600(例如，第二意图分类器模块650)可以根据所掌握的用户输入的意图来选择包括在所确定的域中的路径规则中的第一路径规则。

根据实施例，在步骤930中，nlu模块600(例如，第二意图分类器模块650)可以计算第一路径规则的置信度。

根据实施例，在第一路径规则的置信度高的情况下，在步骤940，nlu模块600可以发送第一路径规则作为与用户输入相对应的路径规则。换句话说，在第一路径规则的置信度超过特定值的情况下，nlu模块600可以发送第一路径规则作为与用户输入相对应的路径规则。

根据实施例，在第一路径规则的置信度低的情况下，在步骤950，nlu模块600可以发送另一路径规则作为与用户输入相对应的路径规则。换句话说，在第一路径规则的置信度不高于特定值的情况下，nlu模块600可以发送另一路径规则作为与用户输入相对应的路径规则。例如，nlu模块600可以将关于与用户输入相对应的多个路径规则的信息发送到用户终端100。这样，用户终端100可以接收用户输入以从多个路径规则中选择一个路径规则，并且可以根据所选择的一个路径规则来执行用户终端100的操作。

根据实施例，在与所确定的域对应的应用是第三方应用(第三方)的情况下，在步骤960中，与nlu模块600不同的nlu模块可以生成用于执行第三方应用的命令，并且可以将命令发送到用户终端100。

图10是根据实施例的其中nlu模块根据所确定的域来处理用户输入的方法的流程图。即，图9示出了图8中的步骤804的方法。

参考图10，在步骤803中，在用户终端100中没有执行应用的情况下，nlu模块600可以根据所确定的域来处理用户输入。

根据实施例，在步骤1010中，nlu模块600可以确定所生成的路径规则的属性或者所生成的路径规则是否存在。

根据实施例，在与用户输入相对应的域是专用应用(聊天机器人)的域的情况下，在步骤1020中，可以生成用于在专用应用中显示与用户输入相对应的结果的命令，并且所生成的命令可以通过与nlu模块600不同的nlu模块发送到用户终端100。

根据实施例，在对应于用户输入的第二路径规则是全局路径规则的情况下，在步骤1030中，nlu模块600(例如，第二意图分类器模块650)可以将第二路径规则发送到用户终端100。例如，第二路径规则可以是与当用户终端100在显示器中显示主画面时输入的“查找夏威夷的图片！”相对应的全局路径规则。

根据实施例，在对应于用户输入的路径规则是非全局路径规则的情况下，在步骤1040中，nlu模块600(例如，第二意图分类器模块650)可以将请求与用户输入相对应的附加用户输入的引导信息(例如，应用选择)发送到用户终端100。例如，非全局路径规则可以是与当用户终端100在显示器中显示主画面时输入的“向我显示信用卡！”相对应的非全局路径规则。用户终端100可以输出指导信息“这将在另一个应用中完成”和“告诉我应用的名称！”。

图11是根据实施例的其中nlu模块根据与在用户终端正被执行的应用对应的域来处理用户输入的方法的流程图。即，图11示出了图8中的步骤890的方法。

参考图11，在步骤880中，在用户终端100中应用正在被执行的情况下，图6的nlu模块600可以根据与正在执行的应用对应的域来处理用户输入。

根据实施例，在步骤1110中，nlu模块600可以计算与用户输入对应的第三路径规则的置信度。在第三路径规则的置信度高的情况下，在步骤1120中，nlu模块600可以选择第三路径规则以将第三路径规则发送到用户终端100。例如，第三路径规则可以是与当用户终端100在显示器中显示主画面时输入的“向我显示家庭相册！”相对应的路径规则。

根据实施例，在第三路径规则的置信度低的情况下，在步骤1130中，类似于图10的步骤1010，nlu模块600(例如，第二意图分类器模块650)可以确定在图8的步骤870中所生成的路径规则的属性或者是否存在所生成的路径规则。在步骤1140中，类似于图10的步骤1020，nlu模块600可以向用户终端100发送用于在专用应用中显示与用户输入相对应的结果的命令。在对应于用户输入的第二路径规则是全局路径规则的情况下，在步骤1150中，类似于图10的步骤1030，nlu模块600可以选择第二路径规则以将第二路径规则发送到用户终端100。例如，第二路径规则可以是与当用户终端100在显示器中显示图库应用的画面时输入的“搜索kimyeon-ah！”相对应的全局路径规则。

根据实施例，在对应于用户输入的第一路径规则是非全局路径规则的情况下，在步骤1160中，nlu模块600(例如，第二意图分类器模块650)可以确定与第一路径规则对应的域是否与与用户终端100中正在执行的应用对应的域相同。

根据实施例，在与第二路径规则对应的域和与用户终端100中正在执行的应用对应的域相同的情况下，在步骤1161中，nlu模块600可以选择包括在与在用户终端100中正在执行的应用对应的域中的另一路径规则，并发送到用户终端100。nlu模块600可以将多个路径规则发送到用户终端100。例如，多个路径规则可以包括第一路径规则或第二路径规则中的至少一个。例如，第一路径规则可以是与当用户终端100在显示器中显示图库应用的画面时输入的“编辑图片并附上编辑的图片！”对应的路径规则。

根据实施例，在与第一路径规则对应的域和与用户终端100中正在执行的应用对应的域不同的情况下(否)，类似于图10的步骤1040，在步骤1163中，nlu模块600可以将用于接收用户输入以选择应用的指导信息发送到用户终端100。例如，第二路径规则可以是与当用户终端100在显示器中图库应用的画面时输入的“向我显示信用卡！”相对应的非全局路径规则。相对应的非全局路径规则。根据实施例，nlu模块600可以从用户终端100请求关于所选择的第三应用的附加信息，可以执行第三应用以确定将执行任务的路径规则，并且可以将所确定的路径规则发送到用户终端100。

根据实施例，nlu模块600可以向用户终端100发送包括响应于从用户终端100接收到的请求而生成的路径规则等的响应。用户终端100可以从智能服务器200接收响应，并且可以根据响应来执行用户终端100的操作。

根据实施例，用户终端100可以执行第一应用以在显示器中显示第一应用的画面。用户终端100可以通过麦克风接收用户输入，并且用户输入可以包括通过应用执行至少一个任务的请求。用户终端100可以通过通信电路将与用户输入相关联的数据发送到智能服务器200。用户终端100可以通过通信电路从智能服务器200接收包括关于路径规则(或用户终端100的状态序列)的信息的响应。

根据实施例，在用户输入对应于特定用户输入的情况下，用户终端100可以根据响应来执行第二应用，以在显示器中显示第二应用的画面。例如，特定用户输入可以包括用于终止第一应用的命令和第二应用的名称中的至少一个。例如，特定用户输入可以包括用于执行第二应用的特定功能的命令。响应可以包括用于通过执行与用户输入相对应的第二应用来执行任务的路径规则。

根据实施例，在用户输入不对应于特定用户输入的情况下，用户终端100可以根据响应执行第一应用以执行任务，或者可以根据响应来选择第三应用。例如，响应可以对应于用户输入，可以包括用于通过执行第一应用来执行任务的路径规则，或者可以包括用于接收用户输入以选择第三应用的指导信息。

图12是根据实施例的用户终端100接收用于执行正在被执行的应用的功能的用户输入的图示。

参考图12，当执行第一应用时(例如，备忘录记录)，用户终端100可以接收用户输入(例如，“记录”)。用户终端100可以通过智能服务器200的图11的步骤1120接收与用户输入相对应的路径规则。

根据实施例，用户终端100可以执行第一应用以在显示器中显示第一应用的画面1210。用户终端100可以接收用户输入1210a(例如，通过硬件键输入)以接收用户话语。

根据实施例，用户终端100可以显示器中显示用于接收用户话语的画面1220。用于接收用户话语的画面1220可以包括指示接收到用户话语的状态的指示符(例如，图标)1221。用户终端100可以从用户接收用户话语(例如，“记录”)。

根据实施例，用户终端100可以从智能服务器200接收与用户输入相对应的文本数据，并且可以在显示器中显示用于显示文本数据的画面1230。用于显示文本数据的画面1230可以包括与用户话语相对应的文本1231。

根据实施例，用户终端100可以从智能服务器200接收与第一应用相关联的路径规则，并且可以在显示器中显示用于执行(例如，在备忘录应用中执行记录功能)与包括在路径规则中的状态相对应的操作的画面1240。例如，用于执行与包括在路径规则中的状态相对应的操作的画面1240可以包括用于接收与执行操作的结果相关联的反馈的指示符1241。智能服务器200可以接收用户输入，可以执行图11的步骤1120，以选择与对应于用户输入的第一应用相关联的路径规则，并且可以将所选择的路径规则发送到用户终端100。

图13是根据实施例的用户终端100接收用于执行与正被执行的应用不同的应用的功能的用户输入的图示。

参考图13，当执行第一应用时(例如，备忘录记录)，用户终端100可以接收用户输入1310a(例如，“搜索詹姆斯的电话机号码”)。用户终端100可以通过智能服务器200的图11的步骤1150接收与用户输入相对应的路径规则。

根据实施例，类似于第一应用的画面1210、用于接收用户话语的画面1220以及用于显示图12中显示的文本数据的画面1230，用户终端100可以显示第一应用的画面1310、用于接收用户话语的画面1320以及用于在显示器中显示文本数据的画面1330。

根据实施例，用户终端100可以在显示器中显示指示正在处理用户输入的状态的画面1340。智能服务器200可以接收用户输入，可以执行图11的步骤1150，以选择与对应于用户输入的第二应用(例如，联系人应用)相关联的路径规则，并且可以将所选择的路径规则发送到用户终端100。例如，所选择的路径规则可以是全局路径规则。

根据实施例，用户终端100可以从智能服务器200接收与第二应用相关联的路径规则，并且可以执行第二应用以在显示器中显示第二应用的画面1350。例如，第二应用的画面1350可以包括执行与包括在路径规则中的状态相对应的操作的结果(例如，发现的联系号码1351)。

图14是根据实施例的用户终端接收用于执行正被执行的应用的功能的用户输入的图示。

参考图14，当执行第一应用时(例如，备忘录记录)，用户终端100可以接收用户输入(例如，“编辑图片并且附上编辑后的图片”)。用户终端100可以通过智能服务器200的图11的步骤1161接收与用户输入相对应的路径规则。

根据实施例，类似于第一应用的画面1210、用于接收用户话语的画面1220以及用于显示图12中显示的文本数据的画面1230，用户终端100可以显示第一应用的画面1410、用于接收用户话语的画面1420以及用于在显示器中显示文本数据的画面1430。

根据实施例，用户终端100可以在显示器中显示用于接收用户输入的画面1440，以在与用户输入对应的多个路径规则中选择一个路径规则。用于接收用户输入的画面1440可以包括指示多个路径规则的指示符1441。智能服务器200可以接收用户输入，可以执行图11的步骤1161，以选择与对应于用户输入的第一应用相关联的路径规则，并且可以将所选择的多个路径规则发送到用户终端100。

根据实施例，用户终端100可以在显示器中显示其中选择了多个路径规则中一个路径规则的画面1450。用户终端100可以接收用户输入(例如，触摸输入1451a)以在多个路径规则中选择一个路径规则。其中选择一个路径规则的画面1450可以包括显示所选择的路径规则的指示符1451。

根据实施例，用户终端100可以在显示器中显示用于执行(例如，附加编辑后的图片)对应于包括在所选择的路径规则中的状态的操作的画面1460。此外，用户终端100可以请求输入关于另一个应用的信息。例如，用于执行与包括在所选择的路径规则中的状态相对应的操作的画面1460可以包括用于指导用户在话语期间输入第三应用的名称的指示符1461。而且，指示符1461可以包括用于接收与执行操作的结果相关联的反馈的信息。

图15是根据实施例的用户终端接收用于执行与正被执行的应用不同的应用的功能的用户输入的图示。

参考图15，当执行第一应用时(例如，备忘录记录)，用户终端100可以接收用户输入(例如，“向我显示信用卡”)。用户终端100可以通过智能服务器200的图11的步骤1162接收用于选择另一应用的指导信息。

根据实施例，类似于图12的第一应用的画面1210，用户终端100可以在显示器中显示第一应用的画面1510。

根据实施例，用户终端100可以在显示器中显示画面1520，画面1520显示了用于选择另一应用的指导信息。例如，用于显示指导信息的画面1520可以包括指示符1521，指示符1521包括与用户输入相关联的指导和反馈。

图16是根据实施例的在显示器中显示关于当前正在执行的应用的信息的用户终端的图示。

参考图16，当接收用户输入时，用户终端100在显示器中显示关于当前正在执行的应用的信息(或与应用对应的域信息)。

根据实施例，当执行当前正在执行的第一应用(例如，图库应用)时，用户终端100可以接收用户输入(例如，“通过使用sms发送该图片！”)。用户终端100可以在显示器中显示用于接收用户输入的画面1610。用于接收用户输入的画面1610可以包括指示接收到用户输入的状态的指示符(例如，图标)1611。指示状态的指示符1611可以包括指示正在用户终端100中执行的第一应用的信息的部分1611a。

根据实施例，用户终端100可以接收与用户输入相对应的路径规则(例如，“通过使用sms发送该图片！”)，并且可以根据路径规则执行第二应用(例如，sms应用)。用户终端100可以在显示器中显示用于执行与用户输入相对应的操作(例如，通过使用sms发送图像的操作)的画面1620。用于执行操作的画面1620可以包括指示执行操作的状态的指示符(例如，图标)1621。指示状态的指示符1621可以包括指示正在用户终端100中执行的第一应用的信息的部分1621a。换句话说，当在指示状态的指示符1611和1621中显示时，用户终端100可以将指示正在执行的应用的部分从指示第一应用的部分1611a改变为指示第二应用的部分1621a。因此，在话语期间，参考其中示出正在执行的应用的部分1611a或1621a，用户可以允许将应用的名称包括在用户输入中。换句话说，在用户执行与示出正在执行的应用的部分1611a或1621a相对应的应用不同的另一应用的情况下，为了执行与用户输入对应的操作，用户可以允许将要执行的应用的名称包括在用户输入中。

根据实施例，用户终端100可以显示器中显示与用于接收用户输入的画面1610相似的画面1630。包括在用于接收用户输入的画面1630中并且指示接收到用户输入的状态的指示符1631可以指示关于在用户终端100中执行的第一应用(例如，图库应用)的信息。换句话说，用户终端100可以显示指示状态的指示符1631以及在用户终端100中执行的第一应用(或与第一应用对应的域)。

图17是根据实施例的用户终端接收用于执行第三方应用的用户输入的图示。

参考图17，当执行第一应用(例如，本地应用)时，用户终端100可以接收用于执行第三方应用(例如，达美乐披萨应用)的用户输入(例如，“在达美乐披萨应用中订购披萨！”)。

根据实施例，用户终端100可以显示器中显示用于显示用户输入的画面1710。例如，用于接收用户输入的画面1710可以包括与用户输入相对应的文本1711。用户终端100可以将与用户输入相关联的数据发送到智能服务器200。智能服务器200可以通过nlu模块600的应用调度模块610识别特定单词(例如，达美乐披萨应用)，并且可以生成用于执行第三方应用(或聊天机器人)的命令，并且可以将命令发送到用户终端100。

根据实施例，用户终端100可以根据命令执行第三方应用以在显示器中显示第三方应用的画面1720。例如，可以显示第三方应用的画面1720(例如，“与达美乐披萨的对话中”或“你好！达美乐披萨”)使得第三方应用已经被执行。此外，用户终端100可以输出改变的音调的指导语音(例如，从男性语音改变为女性语音)，以指示第三方应用已经被执行。或者，用户终端100可以输出改变的背景画面(例如，改变为背景图像)以指示第三方应用已经被执行。当用户输入包括特定单词的话语(例如，“退出”)或者输入与全局规则对应的话语时，用户终端100可以终止第三方应用。用户终端100可以输出用于提供第三方应用已被终止的通知的指示(例如，“谢谢”)，以指示第三方应用已经被终止。

图18是根据实施例的用户终端接收用于执行的特定功能的用户输入的图示。

参考图18，当执行第一应用(例如，本地应用)时，用户终端100可以接收用于执行特定应用(例如，披萨的订购)的用户输入(例如，“订购披萨！)的用户输入。

根据实施例，用户终端100可以显示器中显示用于接收用户输入的画面1810。例如，用于接收用户输入的画面1810可以包括与用户输入相对应的文本1811。用户终端100可以将与用户输入相关联的数据发送到智能服务器200。智能服务器200可以通过nlu模块600的能力调度模块620识别特定功能(例如，披萨的订购)，并且可以向用户终端100发送关于能够执行该功能的多个应用的信息。

根据实施例，用户终端100可以在显示器中显示指示多个应用的信息的画面1820。指示多个应用的信息的画面1820可以包括指示多个应用的指示符1821。用户终端100可以接收用户输入(例如，触摸输入)1821a以在多个应用中选择一个应用。

根据实施例，用户终端100可以根据用户输入执行应用(例如，第三方应用)以选择该应用并在显示器中显示所选择的应用的画面1830。

图19是根据实施例的nlu模块的路径规则生成方法的流程图。

参图19，图2的集成智能系统10的智能服务器200可以根据正在执行的应用(或应用程序)来确定路径规则，并且可以将该路径规则发送到用户终端100。

根据实施例，智能服务器200的nlu模块220可以从asr模块210接收对应于用户输入(例如，用户话语)的文本数据。

根据实施例，在步骤1910中，nlu模块220可以确定用户输入是否包括应用的名称(例如，联系人应用或便笺应用)。nlu模块220可以确定与应用的名称相对应的域。在步骤1901中，在用户输入包括应用的名称的情况下，nlu模块220可以根据与用户话语相对应的域来处理用户输入。步骤1901可以与图8的步骤801相似。另外，步骤1901可以与图9的处理方法相似。

根据实施例，在用户话语不包括应用的名称的情况下，在步骤1920中，nlu模块220可以确定用户话语是否包括用于执行应用的特定功能的命令。在用户输入包括用于执行应用的特定功能的命令的情况下，在步骤1902中，nlu模块220可以将关于用于执行功能的多个应用的信息发送到用户终端100。例如，用户终端100可以向用户提供关于多个应用的信息，并且可以接收用户输入以选择多个应用中的一个应用。nlu模块220可以执行步骤1901。换言之，nlu模块220可以基于所确定的域来确定(或选择)第一路径规则。

根据实施例，在用户输入不包括用于执行应用的功能的命令的情况下，在步骤1930中，nlu模块220可以确定对应于用户话语的域。例如，nlu模块220通过使用用户输入的语言特征(例如，语法特征)来确定对应于用户输入的域。在步骤1940中，nlu模块220可以基于包括在所确定的域中的规则或分类的意图，确定与用户话语相对应的第二路径规则。

根据一个实施例，在步骤1950中，nlu模块220可以确定应用是否正在用户终端100中执行。在用户终端100中没有正在执行应用的情况下，在步骤1951中，nlu模块220可以将第二路径规则发送(或提供)到用户终端100。

根据实施例，在用户终端100中没有正在执行的应用的情况下，在步骤1960中，nlu模块220可以根据正在执行的应用基于分类的意图来选择第三路径规则。例如，nlu模块220可以基于与正在执行的应用和用户话语相对应的域(或与正在执行的应用相关联的域)来确定用户意图，并且可以基于所确定的意图来选择第三路径规则。

根据实施例，在步骤1970中，nlu模块220可以验证第三路径规则的置信度。置信度可以指示要生成的匹配概率，使得基于用户话语选择的路径规则与用户意图相匹配。

根据实施例，在第三路径规则的置信度高的情况下，在步骤1980中，nlu模块220可以确定在步骤1930中所确定的域是否与与在用户终端100中正在执行的应用相对应的域相同。在所确定的域与对应于正在执行的应用的域相同的情况下，在步骤1981中，nlu模块220可以将第三路径规则发送到用户终端100。在所确定的域与对应于正在执行的应用的域不同的情况下，在步骤1983中，nlu模块220可以发送指示包括应用程序的名称的用户话语是正确的话语的信息以及第三条路径规则。

根据实施例，在第三路径规则的置信度低的情况下，如在步骤1980中那样，在步骤1990中，nlu模块220可以确定在步骤1930中所确定的域是否与在用户终端100中正在执行的应用对应的域相同。在所确定的域与正在执行的应用对应的域相同的情况下，在步骤1991中，nlu模块220可以将所选择至少一个其他路径规则发送到用户终端100。在所确定的域与正在执行的应用对应的域不同的情况下，在步骤1993中，nlu模块220可以选择对应于用户输入的另一路径规则以将所选择的其他路径规则发送到用户终端100。可以将在步骤1940中生成的第二路径规则发送到用户终端100。

在用户输入不包括要执行的应用的名称的情况下，集成智能系统10可以基于与用户话语相对应的域来选择路径规则，可以确定该应用是否在用户终端100中被执行，并且可以将基于所选择的路径规则或用户意图生成的另一路径规则发送到用户终端100。

图20是根据实施例的用户终端在主画面接收用户话语的图示。

参考图20，用户终端100可以通过使用在主画面(或锁定画面)中存储的应用来接收用于执行任务的用户话语。用户终端100可以根据智能服务器200的图9的步骤1951接收路径规则(例如，第二路径规则)以执行操作。

根据示例性实施例，用户终端100可以在显示器中显示主画面2010。用户终端100可以显示器中显示画面2020，在该画面2020中执行用于接收用户话语的专用应用。用户终端100可以从用户接收“向我显示詹姆斯的联系方式”。用户终端100可以显示器中显示用于显示接收到的用户输入的画面2030。例如，用于显示接收到的用户输入的画面2030可以显示与接收到的用户输入相对应的文本信息2031。

根据实施例，用户终端100可以接收与来自智能服务器200的用户输入相对应的路径规则，并且可以在显示器中显示其中根据路径规则发现联系方式的画面2040。例如，可以根据与用户话语相对应的域来确定路径规则。用户终端100可以向用户提供信息并且可以在其中发现联系方式的画面2040中提供用于与用户交互的指示符2041。例如，用户终端100可以在指示符2041中显示关于与由用户输入执行的应用相对应的域的信息2041a。用户终端100可以在指示符2041中显示关于智能服务器200识别的用户终端100的状态的信息。关于该域的信息可以是“打开【应用名称】”2041a。有关该域的信息可能是“您现在处于【应用名称】中”或“我们现在处于【应用名称】中”。此外，用户终端100可以在指示符2041中显示与根据接收到的路径规则的执行操作的结果相关联的用户的反馈输入请求2041b。

集成智能系统10可以向用户提供关于智能服务器200识别的用户终端100的状态(例如，域信息)的信息，并且因此集成智能系统10可以从用户接收正确的话语，其中，在提供的状态下执行操作，以便适合用户意图。

图21是根据实施例的接收用于执行用户终端中正被执行的应用的操作的用户输入的图示。

参考图21，用户终端100可以在执行应用的状态下，接收用于使用执行的应用来执行任务的用户输入。与通过智能服务器200选择的用户输入相对应的路径规则的置信度可以较高。路径规则的置信度可以超过特定值。用户终端100可以根据智能服务器200的图9的步骤1981接收路径规则(例如，第三路径规则)以执行操作。

根据实施例，用户终端100可以显示器中显示执行的应用的画面2110。例如，用户终端100可以在显示器中显示其中执行联系人应用的画面2110。

根据实施例，用户终端100可以接收用户输入以操作正在执行的应用。例如，用户终端100可以从用户接收“显示詹姆斯的联系方式”。用户终端100可以在执行的应用的画面2110中显示包括关于用户话语的信息的第一指示符2111。例如，关于用户话语的信息可以是文本信息。

根据实施例，用户终端100可以接收与来自智能服务器200的用户输入相对应的路径规则，并且可以在显示器中显示其中根据路径规则发现联系方式的画面2120。此外，用户终端100可以在第二指示符2121中显示与根据接收到的路径规则的执行操作的结果相关联的用户的反馈输入请求2121a。

用户终端100可以接收用于操作正在执行的应用的话语，并且因此通过指示符可以不提供智能服务器200识别的用户终端100的状态。

图22是根据实施例的接收用于执行与用户终端中正被执行的应用不同的应用的操作的用户话语的图示。

参考图22，用户终端100可以在执行应用的状态下，接收用于使用另一应用来执行任务的用户输入。与通过智能服务器200选择的用户输入相对应的路径规则的置信度可以较高。用户终端100可以根据智能服务器200的图9的步骤1983接收路径规则(例如，第三路径规则)以执行操作。

根据实施例，用户终端100可以显示器中显示执行的应用的画面2210。例如，用户终端100可以在显示器中显示其中执行联系人应用的画面2210。

根据实施例，用户终端100可以接收用户输入以操作与正在执行的应用不同的应用。例如，用户终端100可以使用便签应用从用户接收“减小图片的大小”。用户终端100可以在显示器中显示包括关于用户话语的信息的第一指示符2211。

根据实施例，用户终端100可以接收与来自智能服务器200的用户输入相对应的路径规则，并且可以在显示器中显示其中根据路径规则对图片进行编辑的画面2220。用户终端100可以在第二指示符2221中显示指示包括应用程序的名称的用户话语是正确话语的信息2221a。例如，用户终端100可以在第二指示符2221中显示指导信息2221a，该指导信息2221a表示“下次请输入“在便签应用中编辑图片””。此外，用户终端100可以在指示符2221中显示与执行的结果相关联的用户的反馈输入请求2221b。不同于图20的指示符2030，用户终端100可以在指示符2221中不显示关于与执行的应用对应的域的信息。

图23是根据实施例的接收用于执行用户终端中正被执行的应用的操作的用户话语的图示。

参考图23，用户终端100可以接收用户输入以操作正在执行的应用。与通过智能服务器200选择的用户输入相对应的路径规则的置信度可以较低。用户终端100可以根据智能服务器200的图9的步骤1991接收路径规则(例如，与第二路径规则不同的路径规则)以执行操作。

根据实施例，用户终端100可以显示器中显示执行的应用的画面2310。例如，用户终端100可以在显示器中显示其中执行联系人应用的画面2310。

根据实施例，用户终端100可以接收用户输入以操作正在执行的应用。例如，用户终端100可以从用户接收“向我显示詹姆斯”。与用户输入“向我显示詹姆斯的联系方式”相比，用户输入中用于选择路径规则的信息可能不足。因此，基于用户输入确定的路径规则的置信度可能较低。用户终端100可以在显示器中显示包括关于用户话语的信息的第一指示符2311。

根据实施例，用户终端100可以从智能服务器200接收与用户话语相对应的多个路径规则。根据正在执行的应用确定的路径规则(例如，第三路径规则)的置信度可能较低，并且由于由用户输入确定的域与正在执行的应用对应的域相同，因此可以选择对应于用户话语的多个路径规则。用户终端100可以在其中执行联系人应用的画面2320的第二指示符2321中相同地显示用于接收用户输入以选择多个路径规则中的一个的信息(例如，规则选择器)2321a。用户终端100可以接收用于选择多个路径规则中的一个的路径规则，并且可以根据选择的路径规则执行操作。

由于用户终端100接收到其中难以掌握用户意图以从智能服务器200接收多个路径规则的用户输入，所以用户终端100可能不通过指示符向用户提供智能服务器200识别的用户终端100的状态。

图24是根据实施例的接收用于执行与用户终端中正被执行的应用不同的另一应用的操作的用户话语的图示。

参考图24，用户终端100可以在执行应用的状态下，接收用于使用与所执行的应用不同的应用来执行任务的用户输入。与通过智能服务器200选择的用户输入相对应的路径规则的置信度可以较低。路径规则的置信度可以不大于特定值。用户终端100可以根据智能服务器200的图9的步骤1993接收路径规则(例如，第二路径规则)以执行操作。

根据实施例，用户终端100可以显示器中显示执行的应用的画面2410。例如，用户终端100可以在显示器中显示其中执行联系人应用的画面2410。

根据实施例，用户终端100可以接收用户输入以操作与被执行的应用不同的应用。例如，用户终端100可以从用户接收“减小图片的大小”。用户终端100可以在执行的应用的画面2410中显示包括关于用户话语的信息的第一指示符2411。例如，用户输入可以不是用于执行正在被执行的应用(例如，联系人应用)的操作的输入。这样，基于与正在执行的应用对应的域中的用户输入的意图确定的路径规则的置信度可能较低。用户终端100可以在显示器中显示包括关于用户话语的信息的第一指示符2411。

根据实施例，用户终端100可以从智能服务器200接收与用户输入相对应的路径规则。例如，由于路径规则的置信度低并且由用户输入确定的域不同于与正在执行的应用对应的域，因此智能服务器200可以将在基于用户话语确定的域中选择的路径规则(例如，第二路径规则)发送到用户终端100。用户终端100可以显示画面2420，其中根据接收到的路径规则编辑图片，并且可以在第二指示符2421中显示关于与执行的应用对应的域的信息2421a。此外，用户终端100可以在第二指示符2421中显示与根据接收到的路径规则的执行的结果相关联的用户的反馈输入请求2041b。

由于用户终端100接收到其中难以掌握用户意图以对路径规则执行操作的用户输入，其置信度较低，所以用户终端100可以通过指示符向用户提供智能服务器200识别的用户终端100的状态。

根据以上参照图1至图24描述的本公开的实施例，处理用户话语的集成智能系统可以识别包括特定单词的用户输入以执行或终止对应于用户输入的应用，并且因此可以有机地控制应用以便与用户输入的意图相匹配。即使用户输入不包括特定单词，但是在用户输入包括用于执行特定功能的命令的情况下，集成智能系统可以控制与用户输入相对应的应用。集成智能系统可以识别特定用户输入来控制应用，因此可以控制由第三方提供和管理的应用以及通用应用。

此外，集成智能系统可以选择性地应用用于掌握用户意图的复杂过程(或操作过程)，并且可以通过考虑用户终端100的状态来选择与用户话语相对应的路径规则来减少用于掌握用户意图的确定范围。因此，集成智能系统可以快速地将对应于用户输入的路径规则提供给用户终端100。

图25是根据实施例的集成智能系统2500的框图。

参考图25，集成智能系统2500可以包括用户终端2510、智能服务器2520和云服务器2530。集成智能系统2500可以类似于图1的集成智能系统10。例如，集成智能系统2500可以进一步包括云服务器2530。

用户终端2510可以通过外部服务器(例如，智能服务器2520和云服务器2530)处理用户输入(例如，用户话语)。

根据实施例，用户终端2510可以包括执行管理器模块2511、执行代理模块2513和云处理模块2515。用户终端2510可以类似于图2的用户终端100。例如，用户终端2510还可以包括执行代理模块2513和云处理模块2515。云处理模块2515可以从云服务器2530接收执行第三方应用2513a的操作所需的数据(或内容)。

根据实施例，执行管理器模块2511可以控制应用2511a的操作。例如，执行管理模块2511可以执行应用2511a。另外，执行管理器模块2511可以向应用2511a发送命令以执行操作。

根据实施例，执行管理器模块2511可以根据从智能服务器2520接收的路径规则来执行应用2511a。此外，智能服务器2520可以根据路径规则将命令发送到应用2511a以执行特定操作。

根据实施例，由执行管理器模块2511控制的应用2511a可以是能够在智能服务器2520中选择用于执行特定任务的路径规则的应用。例如，由执行管理器模块2511控制的应用2511a可以是由用户终端2510的制造商安装的应用(例如，电话应用、消息应用、联系人应用等)。执行管理器模块2511可以从智能服务器2520接收用于执行特定任务的路径规则以操作应用2511a。

根据实施例，执行管理器模块2513可以控制第三方应用2513a的操作。例如，执行管理模块2513可以执行第三方应用2513a。而且，执行代理模块2513可以发送命令以执行特定操作。而且，可以从第三方应用2513a接收操作的执行结果。

根据实施例，执行管理器模块2513可以根据从智能服务器2520接收的路径规则来执行第三方应用2513a。执行代理模块2513可以根据用户输入(或用户意图)向第三方应用2513a发送命令以执行操作。

根据实施例，由执行管理器模块2513控制的第三方应用2513a可以是能够在智能服务器2520中选择用于执行特定任务的路径规则的应用。例如，第三方应用2513a可以是由第三部门(或第三方)提供或管理的应用(例如，餐馆应用、食物订购应用、在线银行应用、飞机时间表应用等)。执行代理模块2513可以根据从智能服务器2520接收的所接收到的路径规则来执行第三方应用2513a，但是执行代理模块2513可以不执行该操作来执行该特定任务。从智能服务器2520接收的路径规则可以不包括关于执行第三方应用2513a的操作的信息。另一个服务器(例如，云服务器2530)的nlu模块(例如，第二nlu模块2531)可以用于第三方应用2513a以执行功能的至少一部分，而不是智能服务器2520的nlu模块(例如，第一nlu模块2523)。

根据实施例，第三方应用2513a可以根据用户输入来执行操作。另外，第三方应用2513a可以通过使用从云服务器2530接收的数据来执行操作。

根据实施例，云处理模块2515可以接收用户意图，并且可以根据用户接收到的意图向云服务器2530发送用于获取信息的请求。

智能服务器2520可以处理从用户终端2510接收的用户话语。

根据实施例，智能服务器2520可以包括asr模块2521和第一nlu模块2523。智能服务器2520的asr模块2521和第一nlu模块2523可以分别类似于图4的智能服务器200的asr模块210和nlu模块220。

根据实施例，asr模块2521可以将从用户设备100接收到的用户话语转换为文本数据。asr模块2521可以将文本数据发送到第一nlu模块2523。

根据实施例，第一nlu模块2523可以通过使用从asr模块2521接收的文本数据来生成(或确定)与用户输入相对应的路径规则。例如，第一nlu模块2523可以基于文本数据确定对应于用户输入和用户意图的域，并且可以提取执行操作所需的时隙(或参数)以生成路径规则。

根据实施例，第一nlu模块2523可以通过从用户终端2510接收的上下文信息来验证用户终端2510的状态。例如，第一nlu模块2523可以通过上下文信息来验证在用户终端2510中正在执行的应用。例如，关于状态的信息可以包括与正在用户终端2510中执行的应用相对应的会话信息(例如，第三方会话、网上银行会话等)。第一nlu模块2523可以通过使用会话信息来确定路径规则。例如，第一nlu模块2523可以确定包含在上下文信息中并执行正在执行的应用的操作的路径规则。

根据实施例，第一nlu模块2523可以基于用户终端100的状态来确定是否将文本数据发送到云服务器2530。例如，在第一nlu模块2523通过上下文信息验证用户终端100执行第三方应用2513a的状态的情况下，第一nlu模块2523可以将文本数据和上下文信息发送到云服务器2530而不是生成路径规则。在用户终端100处于第三方会话内的情况下，第一nlu模块2523可以将文本数据和上下文信息发送到云服务器2530，而不是生成路径规则。

根据实施例，网络接口2525可以从外部设备接收数据并且可以将数据发送到外部设备。网络接口2525可以接收对来自外部设备的请求的响应。另外，网络接口2525可以确定接收到的响应的类型，以将接收到的响应发送到适当的配置(例如，第一nlu模块2523)以在智能服务器2520中进行适当处理。例如，网络接口2525可以从用户终端2510接收用户话语和上下文信息。网络接口2525可以将从用户终端2510接收到的用户话语发送到asr模块2521，并且可以将该上下文信息发送到第一nlu模块2523。第一nlu模块2523可以通过网络接口2525将文本数据和上下文信息发送到云服务器2530。此外，第一nlu模块2523可以从云服务器2530接收处理文本数据的结果(例如，用户意图)。在下文中，可以理解的是，智能服务器2520的数据的发送/接收是通过网络接口2525的数据的发送/接收。

云服务器2530可以处理从智能服务器2520接收到的文本数据。云服务器2530可以通过使用文本数据和上下文信息向用户终端2510提供与第三方应用2513a相关联的服务。

根据实施例，云服务器2530可以包括第二nlu模块2531和服务数据库(或服务db)2533。

根据实施例，在用户终端2510处于第三方会话内的情况下(或者在正在执行第三方应用的情况下)，第二nlu模块2531可以有效地处理从智能服务器2520接收到的文本数据。第二nlu模块2531可以确定与接收到的文本数据相对应的用户意图。例如，由第二nlu模块2531有效处理的文本数据可以包括与第三方应用2513a相关联的信息(例如，服务信息)。第二nlu模块2531可以通过使用接收到的上下文信息来确定用户意图。例如，第二nlu模块2531可以通过使用包含在上下文信息中的应用的执行信息(或会话信息)来确定对应于相应应用的用户意图。第二nlu模块2531可以将所确定的用户意图发送到智能服务器2520。

根据实施例，在用户终端2510未处于第三方会话内的情况下(或者第三方应用未被执行的情况下)，第二nlu模块2531可以有效地处理从智能服务器2520接收到的文本数据。例如，没有被第二nlu模块2531有效处理的文本数据可以包括与第三方应用2511a相关联的信息(例如，服务信息)。第二nlu模块2531可以将未被有效处理的结果发送到智能服务器2520。

根据实施例，第二nlu模块2531可以从服务db2533和第三方服务器2540中的至少一个获得与通过第三方应用2531a提供的服务相关联的数据。例如，在第二nlu模块2531从用户终端100接收到与由第三方应用2513a提供的服务相关联的数据的请求的情况下，第二nlu模块2531可以从服务db2533和第三方服务器2540中的至少一个获得对应于该请求的数据。

根据实施例，服务db2533可以存储与通过第三方应用2513a提供的服务相关联的数据。例如，服务db2533可以存储与第三方应用2513a相关联的内容(例如，餐馆列表或菜单)。例如，存储在服务db2533中的数据可以是频繁使用的服务的数据，或者是其安全性不重要的服务的数据。

根据实施例，第三方服务器2540可以存储与通过第三方应用2513a提供的服务相关联的信息。例如，第三方服务器2540可以存储与第三方应用2513a相关联的数据(例如，网上银行信息、航班时刻表等)。例如，存储在第三方服务器2540中的数据可以是例如其安全性是重要的服务的数据。第三方服务器2540可以通过云服务器2530向用户终端100提供与服务相关联的信息。

根据实施例，在第二nlu模块2531未在服务db2533中找到与服务相关联的数据的情况下，第二nlu模块2531可以从第三方服务器2540获得相关数据。

根据实施例，第二nlu模块2531可以将获得的与第三方应用2513a的服务相关联的数据发送到用户终端2510。第二nlu模块2531可以包括在第一nlu模块2523中。换句话说，智能服务器2520和云服务器2530可以用相同的服务器来实现。

图26是根据实施例的在集成智能系统中处理用户话语的方法的流程图。

参考图26，图25的集成智能系统2500的智能服务器2520可以处理从用户终端100接收到的用户话语以提供与用户意图相对应的服务。

根据实施例，在步骤2610中，智能服务器2520(例如，网络接口2525)可以接收用户话语和上下文信息。

根据实施例，在步骤2620中，智能服务器2520(例如，asr模块2521)可以将用户话语转换为文本信息。

根据实施例，在步骤2630中，智能服务器2520(例如，第一nlu模块2523)可以接收与用户话语和上下文信息对应的文本数据，并且可以通过上下文信息确定用户终端2510是否执行第三方应用(或者用户终端2510是否在第三方会话内)。智能服务器2520可以确定用户终端2510是否执行第三方应用。在用户终端2510处于第三方会话内的情况下，智能服务器2520可以将文本数据和上下文信息(例如，会话信息)发送到云服务器2530。

根据实施例，在步骤2640中，云服务器2530可以通过第二nlu模块2531处理文本数据。例如，在接收到的文本数据包括与第三方应用2513a相关联的信息(或者用于执行第三方应用中的任务的信息)的情况下，云服务器2530可以确定与用户输入相对应的用户意图。云服务器2530可以将处理文本数据的结果发送到智能服务器2520。

根据实施例，在步骤2650中，智能服务器2520(例如，第一nlu模块2523)可以确定是否已经有效地处理了接收的文本数据。例如，智能服务器2520可以通过处理从云服务器2530接收的文本数据的结果来确定是否已经有效地处理了文本数据。例如，智能服务器2520可以根据是否已经确定了用户意图来确定是否已经有效地处理了文本数据。

根据实施例，在有效地处理了文本数据的情况下，在步骤2660中，智能服务器(例如，第一nlu模块2523)2520可以将所确定的意图发送到用户终端2510。

根据实施例，在步骤2670中，智能服务器2520可以通过第一nlu模块2523来处理用户话语。例如，在用户终端2510不执行第三方应用的情况下，在步骤2630中，用户终端2510可以基于文本数据生成路径规则。例如，在没有有效地处理文本数据的情况下，在步骤2650中，用户终端2510可以基于文本数据生成路径规则。

根据实施例，在步骤2680中，智能服务器2520可以将所生成的路径规则发送到用户终端100。

集智能系统2500的智能服务器2520可以处理用户话语以将对应于用户输入的路径规则或用户意图发送到用户终端100。

图27和图28是根据实施例的用于实现其中用户终端通过智能服务器接收用户意图以获得信息的方法的集成智能系统的框图。

参考图27，在执行第三方应用(例如，餐馆应用)时，用户终端2710可以处理用户输入(例如，“查找附近餐馆！”)以请求与正在执行的第三方应用相关联的服务(或任务)。集成智能系统2700可以类似于图25的集成智能系统2500。例如，集成智能系统2700可以顺序地执行图26的步骤2610、步骤2620、步骤2630和步骤2640。

根据实施例，用户终端2710可以将包括与第三方应用相关联的服务信息和上下文信息的用户输入发送到智能服务器2720(①)。上下文信息可以包括关于用户终端2710执行第三方应用(例如，餐馆应用)的事实的信息。

根据实施例，智能服务器2720的asr模块2721可以将接收到的用户输入转换为文本数据。asr模块2721可以将转换的文本数据发送到第一nlu模块2723(②)。

根据实施例，第一nlu模块2723可以接收文本数据，并通过使用从用户终端2710接收的上下文信息来确定第三方应用是否正在用户终端2710中执行。第一nlu模块2723可以将文本数据和上下文信息发送到云服务器2730(③)。

根据实施例，云服务器2730的第二nlu模块2731可以通过使用所接收的文本数据来确定用户意图(例如，搜索附近的餐馆)。第二nlu模块2731可以有效地处理从智能服务器2720接收的文本数据。第二nlu模块2731可以将所确定的意图传送给智能服务器2720(④)。例如，第二nlu模块2731可以将与所确定的意图相对应的信息(例如#searchrestaurant)发送到智能服务器2720。

根据实施例，智能服务器2720的第一nlu模块2723可以将接收到的意图发送到用户终端2710(⑤)。

根据实施例，用户终端2710(例如，云处理模块)可以接收用户意图并且可以根据用户意图将搜索附近餐馆的请求发送到云服务器2730(⑥)。该请求可以包括用户终端2710的全球定位系统(gps)信息。

根据实施例，云服务器2730的第二nlu模块2731可以获得与从服务db2733或第三方服务器2740接收到的请求相对应的信息(例如，搜索附近餐馆的结果)(⑦)。第二nlu模块2731可以将所获得的信息发送到用户终端2710(⑧)。

根据实施例，用户终端2710(例如，云处理模块)可以向用户提供所接收的信息。例如，用户终端2710可以通过用于处理用户话语的应用向用户提供所接收的信息(例如，网络应用)。例如，用户终端2710可以通过第三方应用(例如，餐馆应用)向用户提供接收到的信息(例如，特定状态所必需的信息)。用户终端100可以通过智能服务器2720和云服务器2730处理用户输入以请求与第三方应用相关联的服务。

参考图28，在执行第三方应用(例如，餐馆应用)时，用户终端2810可以处理用户输入(例如，“向妈妈发送我迟到的消息”)用于操作与正在执行的第三方应用不同的另一应用(例如，消息应用)。集成智能系统2800可以类似于图25的集成智能系统2500。例如，集成智能系统2800可以顺序地执行图26的步骤2610、步骤2620、步骤2630、步骤2650和步骤2660。

根据实施例，其中用户终端2810和智能服务器2820将用户输入的文本数据和上下文信息发送到云服务器2830的操作①、②和③可以分别类似于其中图27的用户终端2710和智能服务器2720将用户输入的文本数据和上下文信息发送到云服务器2730的操作①、②和③。

根据实施例，云服务器2830的第二nlu模块2831可以通过使用所接收的文本数据来确定用户意图(例如，消息传递)。第二nlu模块2831可能不能有效地处理所接收的文本数据。第二nlu模块2831可以将关于处理文本数据的结果的信息发送到智能服务器2820(④)。

根据实施例，智能服务器2820的第一nlu模块2823可以通过使用与用户输入相对应的文本数据，根据接收到的关于结果的信息来生成用于在消息应用中发送消息的路径规则。智能服务器2820可以将所生成的路径规则发送到用户终端2810(⑤)。

根据实施例，用户终端2810(例如，执行代理模块)可以根据路径规则执行消息应用，并且可以顺序地执行发送消息的操作(例如，选择接收者的操作、写入消息的操作等)。用户终端2810可以通过智能服务器2820处理用于执行与第三方应用不同的另一应用的操作的用户输入。

图29是根据实施例的用于实现用户终端从云服务器直接接收与用户意图相对应的信息的方法的集成智能系统2900的框图。

参考图29，在执行第三方应用(例如，餐馆应用)时，用户终端2910可以处理用户输入。集成智能系统2900可以类似于图25的集成智能系统2500。例如，集成智能系统2900可以将与用户输入相关联的服务发送到用户终端2910，而不是通过智能服务器2920发送在云服务器2930中确定的用户意图。

根据实施例，其中用户终端2910和智能服务器2920将用户输入的文本数据发送到云服务器2930的操作①、②和③可以分别类似于其中图27的用户终端2710和智能服务器2720将用户输入的文本数据发送到云服务器2730的操作①、②和③。

根据实施例，在用户终端2910接收到与第三方应用相关联的用户输入(例如，“查找附近的餐馆”)的情况下，第二nlu模块2931可以通过使用对应于用户输入的文本数据来确定用户意图(例如，搜索餐馆)。第二nlu模块2931可以从服务db2933或第三方服务器2940获得与所确定的意图相对应的信息(例如，搜索附近餐馆的结果)(④)。第二nlu模块2931可以将所获得的信息传送到用户终端2910(⑤)。用户终端2910(例如，执行代理模块)可以通过第三方应用(例如，餐馆应用)向用户提供信息。

根据实施例，在用户终端2910接收到与不与第三方应用相关联的应用相关联的用户输入(例如，“发送消息”)的情况下，第二nlu模块2931可以不通过使用文本数据确定用户意图(例如，消息传递)。第二nlu模块2931可能不能有效地处理所接收的文本数据。用户终端2910从智能服务器2920接收路径规则的操作④'和⑤'可以分别类似于其中图27中所示的用户终端2710从智能服务器2720接收路径规则的操作④和⑤。用户终端2910(例如，执行管理器模块)可以根据路径规则执行消息应用并且可以顺序地执行用于发送消息的操作。

这样，云服务器2930可以确定对应于用户话语的文本信息的意图，并且可以根据所确定的意图将用于通过第三方应用提供服务的数据发送到用户终端2910，并且因此集成智能系统2900可以有效地发送或接收与第三方应用相关联的数据。

图30a是根据实施例的智能服务器3000的nlu模块的框图。

参考图30a，智能服务器3000可以通过使用图26的方法和图8的方法来处理用户话语。智能服务器3000可以首先执行图26的用户输入处理方法。

根据实施例，智能服务器3000可以包括asr模块3010、nlu控制模块3020和第一nlu模块3030。第一nlu模块3030可以包括域分类器模块3031、意图分类器模块3033和时隙标记器3035。例如，nlu控制模块3020可以是用于执行图26的用户输入处理方法的配置。nlu控制模块3020可以是第一nlu模块3030的外部模块。

图30b是根据实施例的智能服务器的用户话语处理方法的流程图。

参考图30b，智能服务器3000可以首先执行图26的用户输入处理方法，以处理用户话语。

根据实施例，在步骤3041中，智能服务器3000可以从用户终端接收用户话语和上下文信息。

根据实施例，在步骤3042中，智能服务器3000可以将用户输入转换为文本数据。

根据实施例，在步骤3043中，智能服务器3000(例如，自然语言控制模块3020)可以确定用户终端是否正在执行第三方应用。

根据实施例，在用户终端处于第三方会话内的情况下，在步骤3044中，智能服务器3000可以通过云服务器处理用户话语。

根据实施例，在步骤3045中，智能服务器3000可以确定云服务器是否有效地处理了用户话语。

根据实施例，在智能服务器3000从云服务器接收到用户意图的情况下，在步骤3046中，智能服务器3000可以将接收到的意图发送到用户终端。

根据实施例，在智能服务器3000从云服务器接收到未处理文本数据的结果的情况下，智能服务器3000可以通过使用图8的方法来处理用户话语以生成路径规则。智能服务器3000可以执行图8的步骤810。

图31a是根据实施例的智能服务器的第一nlu模块3130的框图。

参考图31a，第一nlu模块3130可以通过使用图26的方法和图8的方法来处理用户话语。在执行图8的方法时，智能服务器3000可以执行图26的方法。

根据实施例，第一nlu模块3130可以包括域分类器模块3131、意图分类器模块3133、时隙标记器3135和nlu控制模块3137。例如，nlu控制模块3137可以执行图26的用户输入处理方法。nlu控制模块3020可以是第一nlu模块3130的内部配置。

图31b是根据实施例的第一自然语言处理模块的用户话语处理方法的流程图。

参考图31b中，第一nlu模块3130可以在执行图8的方法的过程中执行图26的方法，然后可以处理用户话语。

根据一个实施例，第一nlu模块3130(例如，nlu控制模块3137)可以首先执行图8所示的用于处理用户话语的步骤810和步骤820。例如，第一nlu模块3130可以确定用户话语是否包括要执行的应用的名称。

根据实施例，在用户话语不包括要执行的应用的名称的情况下，在步骤3141中，第一nlu模块3130可以确定用户终端是否正在执行第三方应用。

根据实施例，在用户终端处于第三方会话内的情况下，在步骤3143中，第一nlu模块3130可以通过云服务器处理用户话语。

根据实施例，在步骤3145中，第一nlu模块3130可以确定云服务器是否有效地处理用户话语。

根据实施例，在第一nlu模块3130从云服务器接收到用户意图的情况下，在步骤3147中，第一nlu模块3130可以将接收到的意图发送到用户终端。

图32是根据实施例的在由云服务器处理的用户话语有效的情况下显示在用户终端3200中的画面的图示。

参考图32，用户终端3200可以执行第三方应用(例如，餐馆应用)并且可以接收与执行的第三方应用相关联的用户输入(例如，“查找附近的有停车位的餐馆！”)。集成智能系统2700可以根据图27的操作(或者图29的操作④和⑤)执行对应于用户输入的任务。

根据实施例，用户终端3200可以在显示器中显示餐馆应用的画面3210。例如，用户终端3200可以接收用户输入(例如，用于查找附近餐馆的用户输入)并且可以执行操作。用户终端3200可以通过餐馆应用的ui提供附近餐馆的列表3211。用户终端3200可以在显示器中显示指示语音识别服务的指示符3213。指示语音识别服务的指示符3213可以显示当前正在执行的餐馆应用(3213a)。

根据实施例，用户终端3200可以接收用户话语(例如，“查找附近的有停车位的餐馆！”)3210a。用户终端3200可以通过指示语音识别服务(3213b)的指示符3213来显示接收到的用户输入3210a。

根据实施例，用户终端3200可以从云服务器接收与对应于用户话语的服务相关联的数据。例如，与服务相关联的数据可能具有网络应用的形式。

根据实施例，用户终端3200可以通过使用从云服务器接收的数据在显示器中显示餐馆的详细信息画面3220。用户终端3200可以在餐馆的详细信息画面3220中显示与用户话语相对应的餐馆信息3221。另外，用户终端3200可以在显示器中显示指示语音识别服务的指示符3223，并且可以通过指示符3233(3223a)显示正在执行的应用(例如，餐馆应用)。

图33是根据实施例的在云服务器处理的用户话语无效的情况下显示在用户终端3300中的画面的图示。

参考图33，用户终端3300可以执行第三方应用(例如，餐馆应用)并且可以接收用于执行与执行的第三方应用程序不同的应用(例如，消息应用)的用户输入(例如，“向妈妈发送我迟到的消息”)。集成智能系统2700可以根据图28的操作(或者图29的操作④和⑤)执行与用户输入相对应的任务。

根据实施例，类似于图32，用户终端3300可以在显示器中显示餐馆应用的画面3310并且可以提供餐馆的列表3311。另外，用户终端3300可以在显示器中显示指示语音识别服务的指示符3313，并且可以显示当前正在执行的餐馆应用(3313a)。

根据实施例，用户终端3300可以接收用户输入(例如，“向妈妈发送我迟到的消息”)3310a。用户终端3300可以通过指示语音识别服务(3313b)的指示符3313来显示接收到的用户输入3310a。用户终端3300可以从智能服务器接收与用户输入相对应的路径规则。

根据实施例，用户终端3300可以根据从智能服务器接收的路径规则执行操作，以在显示器中显示消息应用画面3320。用户终端3300可以在消息应用的画面3320中显示根据路径规则发送的消息3321。另外，用户终端3300可以在显示器中显示指示语音识别服务的指示符3323，并且可以显示当前正在执行的消息应用(3323a)。

图34是根据实施例的用户终端3400处理与第三方应用相关联的用户输入并且接收与第三方应用相关联的附加话语的图示。

参考图34，在处理用户输入(例如，“订购披萨”)以请求与第三方应用(例如，食物订购应用)相关联的服务之后，用户终端3400可以接收用于提供服务的附加话语。

根据实施例，用户终端3400可以接收用户输入(例如，“订购披萨”)以请求与第三方应用相关联的服务(例如，食物订购应用)。用户终端3400可以通过使用接收到的数据在画面3410中显示第三方应用，并且可以在显示器中显示与对应于用户输入的服务相对应的画面(例如，披萨选择画面)3411。用户终端3400可以在显示器中显示指示语音识别服务的指示符3413并且可以显示正在执行的应用(例如，食物订购应用)(3413a)。

根据实施例，用户终端3400可以输出用于向用户提供与用户输入相对应的服务的附加请求(例如，菜单选择请求)。用户终端3400可以在输出请求时改变(例如，添加波纹效果)指示语音识别服务的指示符3413的形状。

根据实施例，用户终端3400可以接收用户输入(例如，选择披萨)3410a以订购食物。用户终端3400可以通过云服务器接收与对应于用户输入的服务相关联的数据(例如，选择的食物信息)。例如，与服务相关联的信息可能具有网络应用的形式。另外，用户终端3400可以在显示器中显示指示语音识别服务的指示符3413，并且可以显示当前正在执行的食物预定应用(3413a)。

根据实施例，用户终端3400可以在显示器中显示用于订购通过使用所接收的数据选择的食物的画面3420。用户终端3400可以在用于订购食物的画面3420上显示用户的订单信息3421。用户终端3400可以输出用于执行操作(例如，订购食物)的附加请求(例如，用于验证订单的请求)。当接收到订购食物的用户输入(例如，订单的验证)3420a时，用户终端3400可以执行该操作。

图35是根据实施例的处理与第三方应用相关联的用户输入并且接收用于操作不与第三方应用相关联的应用的附加话语的用户终端3510的图示。

参考图35，在处理用户输入(例如，“订购披萨”)以请求与第三方应用(例如，食物订购应用)相关联的服务之后，用户终端3500可以接收用于操作与第三方应用不同的应用(例如，消息应用)的附加话语。

根据实施例，用户终端3500可以如上参考图34所述进行操作。用户终端3500可以接收用户输入(例如，“订购披萨”)以请求与第三方应用(例如，食物订购应用)相关联的服务并且可以在显示器中显示披萨订购画面3511。

根据实施例，用户终端3500可以输出用于向用户提供与用户输入相对应的服务的附加请求(例如，菜单选择请求)。用户终端3500可以接收与附加请求不相关的用户输入(例如，“向妈妈发送我迟到的消息”)3510a。用户输入可以是不与第三方应用相关联的应用(例如，消息应用)。另外，用户终端3500可以在显示器中显示指示语音识别服务的指示符3513，并且可以显示当前正在执行的食物预定应用(3513a)。

根据实施例，用户终端3500可以显示器中显示用于指示用户输入的画面3520。用户终端3500可以在指示用户输入的画面3520中显示用户输入3521。用户终端3500可以在显示器中显示指示语音识别服务的指示符3523并且可以显示当前正在执行的应用(例如，食物订购应用)3523a。

根据实施例，用户终端3500可以根据从智能服务器接收的路径规则执行操作，以在显示器中显示消息应用画面3530。用户终端3500可以在消息应用的画面3530中显示根据路径规则发送的消息3531。另外，用户终端3500可以在显示器中显示指示语音识别服务的指示符3531a，并且可以显示当前正在执行的消息应用(3531a)。

根据以上参照图25至图35描述的本公开的实施例，为了处理用户输入以请求与第三方应用相关联的服务，用户终端可以通过云服务器掌握用户意图，根据用户意图从云服务器接收与服务相关联的信息，向用户提供信息，并且因此可以执行由第三方提供的第三方应用以与用户意图匹配。

根据本公开的实施例，系统可以包括至少一个网络接口、可操作地连接到网络接口的至少一个处理器以及可操作地连接到处理器的至少一个存储器。存储器可以存储被配置为与至少一个客户端设备交互的第一nlu单元以及被配置为与至少一个外部服务器交互的第二nlu单元。存储器可以进一步存储指令，该指令在被执行时使得处理器接收被配置为执行多个应用程序的第一客户端设备的状态，以接收与从第一客户端设备提供的用户话语相关联的第一语音数据、使用asr单元处理第一语音数据以生成第一文本数据、经由第一nlu单元向第二nlu单元提供第一文本数据、通过使用第二nlu单元至少部分地基于第一文本数据来确定与用户话语相关联的意图，并且将所确定的意图经由第一nlu单元提供给第一客户端设备。状态可以与至少一个应用程序相关联，并且用户话语可以包括用于使用第一客户端设备来执行任务的第一请求。

根据本公开的实施例，指令可以使得处理器接收用于从第一客户端设备获得信息的第二请求，向第二nlu提供第二请求，基于第二请求从至少一个外部服务器获得信息，并将该信息提供给第一客户端设备。

根据本公开的实施例，当第二nlu单元不能够确定与用户话语相关联的意图时，指令可以使得处理器至少部分地基于第一文本数据，使用第一nlu单元来确定与用户话语相关联的意图，部分基于至少一个应用程序来确定第一客户端设备执行任务的状态序列，并且向第一客户端设备提供状态序列。

根据本公开的实施例，指令可以使得处理器通过使用第一nlu单元来确定用户话语是否包括至少一个应用程序的名称，当用户话语包括至少一个应用程序的名称时通过使用至少一个应用程序的名称来确定域，至少部分地基于所确定的域来确定第一客户端设备执行任务的状态序列；当所述用户话语不包括所述至少一个应用程序的名称时，基于第一文本数据确定与用户话语相关联的域，并且基于第一文本数据和所确定的域确定第一客户端设备执行任务的状态序列。

根据本公开的实施例，当用户话语不包括至少一个应用程序的名称时，并且当确定的序列是特定序列中的一个时，指令可以使得处理器选择所确定的序列并且将选择的序列提供给第一客户端设备。

根据本公开，当用户话语不包括至少一个应用程序的名称，并且当序列是特定序列中的一个时，指令可以使得处理器接收第一客户端设备的状态并且至少部分地基于该状态来确定是否确定与用户话语相关联的意图。

根据本公开的实施例，指令可以使得处理器接收第一客户端设备的状态，并且当用户话语不包括应用程序中的至少一个的名称并且所确定的序列是所选择的序列中的一个时，至少部分地基于该状态，确定与用户话语相关联的意图；至少部分地基于意图确定第一客户端设备执行任务的第二状态序列，并且将第二状态序列提供给第一客户端设备。

根据本公开的实施例，当用户话语不包括至少一个应用程序的名称，以及当序列不是特定序列时，指令可以使得处理器至少部分基于第一文本数据来确定与用户话语相关联的意图。

根据本公开的实施例，该系统可以进一步包括包含asr和第一nlu单元的第一服务器以及包括第二nlu单元的第二服务器。第二服务器可以通过网络连接到第一服务器。

根据本公开的实施例，网络可以包括因特网。

根据本公开的实施例，系统可以包括至少一个网络接口、可操作地连接到网络接口的至少一个处理器以及可操作地连接到处理器的至少一个存储器。存储器可以存储被配置为与至少一个客户端设备交互的第一nlu单元以及被配置为与至少一个外部服务器交互的第二nlu单元。存储器可以进一步存储指令，该指令在被执行时使得处理器接收被配置为执行多个应用程序的第一客户端设备的状态，接收与从第一客户端设备提供的用户话语相关联的第一语音数据、使用asr单元处理第一语音数据以生成第一文本数据、经由第一nlu单元向第二nlu单元提供第一文本数据、通过使用第二nlu单元至少部分地基于第一文本数据来确定与用户话语相关联的意图，并且将所确定的意图经由第二nlu单元提供给第一客户端设备。状态可以与至少一个应用程序相关联，并且用户话语可以包括用于使用第一客户端设备来执行任务的第一请求。

根据本公开的实施例，当第二nlu单元不能确定与用户话语相关联的意图时，指令可以使得处理器部分地基于至少一个应用程序来确定第一客户端设备执行任务的状态序列，并将状态序列提供给第一客户端设备。

根据本公开的实施例，指令可以使得处理器通过使用第一nlu单元来确定用户话语是否包括至少一个应用程序的名称，当用户话语包括至少一个应用程序的名称时通过使用至少一个应用程序的名称来确定域，至少部分地基于所确定的域来确定第一客户端设备执行任务的状态序列；当所述用户话语不包括所述至少一个应用程序的名称时，基于第一文本数据确定与用户话语相关联的域，并且基于第一文本数据和所确定的域确定第一客户端设备执行任务的状态序列。

根据本公开的实施例，当用户话语不包括应用程序中的至少一个的名称并且确定的序列是特定序列中的一个时，指令可以使得处理器选择所确定的序列并且将选择的序列提供给第一客户端设备。

根据本公开的实施例，当用户话语不包括应用程序中的至少一个的名称并且当序列是特定序列中的一个时，指令可以使得处理器接收第一客户端设备的状态并且至少部分地基于该状态来确定是否确定与用户话语相关联的意图。

根据本公开的实施例，指令可以使得处理器接收第一客户端设备的状态，并且当用户话语不包括应用程序中的至少一个的名称并且所确定的序列是所选择的序列中的一个时，至少部分地基于该状态，确定与用户话语相关联的意图；至少部分地基于意图确定第一客户端设备执行任务的第二状态序列，并且将第二状态序列提供给第一客户端设备。

根据本公开的实施例，当用户话语不包括应用程序中的至少一个的名称并且当序列不是特定序列中的一个时，指令可以使得处理器至少部分基于第一文本数据来确定与用户话语相关联的意图。

根据本公开的实施例，指令可以使得处理器接收第一客户端设备的状态，并且当用户话语不包括应用程序中的至少一个的名称并且序列不是特定序列中的一个时，至少部分地基于该状态，确定与用户话语相关联的意图；至少部分地基于意图确定第一客户端设备执行任务的第二状态序列，并且选择所确定的状态序列或第二状态序列中的一个。

根据本公开的实施例，系统可以进一步包括包含asr和第一nlu单元的第一服务器以及包括第二nlu单元的第二服务器。第二服务器可以通过网络连接到第一服务器。

根据本公开的实施例，网络可以包括因特网。

图36是根据示例性实施例的网络环境3600中的电子设备3601的框图。电子设备3601可以包括各种形式的设备。例如，电子设备3601可以包括例如以下电子设备中的至少一种：便携式通信设备(例如，智能电话)、计算机设备(例如，个人数字助理(pda)、平板个人电脑(pc)、膝上型pc、台式pc、工作站或服务器)、便携式多媒体设备(例如，电子书阅读器或运动图片专家组(mpeg-1或mpeg-2)音频层3(mp3)播放器)、便携式医疗设备(例如，心跳测量设备、血糖监测设备、血压测量设备和温度计)、相机或可穿戴设备。根据本公开的各种实施例，可穿戴设备可以包括以下至少一种：配件类型(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(hmd))、织物或衣服集成型(例如，电子衣服)、身体附着型(例如，皮肤垫或纹身)以及生物可植入类型(例如，可植入电路)。电子设备可以例如包括以下中的至少一种：电视机(tv)、数字通用盘(dvd)播放器、音响、音频辅助设备(例如，扬声器、耳机或头戴式耳机)、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、游戏控制台、电子词典、电子钥匙、摄像机和电子相框。

在实施例中，电子设备3601可以包括以下中的至少一种：导航设备、卫星导航系统(例如全球导航卫星系统(gnss))、事件数据记录器(edr)(例如，汽车、船舶或飞机的黑匣子)、车载信息娱乐设备(例如，车辆的平视显示器)、工业或家用机器人、无人机、自动取款机(atm)、销售点(pos)设备、测量仪器(例如，水表、电表或煤气表)或物联网(iot)设备(例如，灯泡、喷水装置、火警报警器、恒温器或街灯)。电子设备3601不限于上述设备，还可以提供像智能手机这样具有个人生物信息的测量功能(例如，心率或血糖水平)的多个设备的功能。在本公开中，术语“用户”可以指使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。

参考图36，在网络环境3600下，电子设备3601(例如，图1的用户终端100)可以通过本地无线通信3698与电子设备3602通信，或者可以通过网络3699与电子设备3604或服务器3608通信。电子设备3601可以通过服务器3608与电子设备3604进行通信。

根据实施例，电子设备3601可以包括总线3610、处理器3620(例如，处理器150)、存储器3630、输入设备3650(例如，微型电话或鼠标)、显示设备3660、音频模块3670、传感器模块3676、接口3677、触觉模块3679、相机模块3680、电源管理模块3688、电池3689、通信模块3690和用户识别模块3696。电子设备3601可以省略上述元件中的至少一个组件(例如，显示设备3660或相机模块3680)，或者可以进一步包括其他元件。

总线3610可以互连上述元件3620至3690，并且可以包括用于在上述元件之间传送信号(例如，控制消息或数据)的电路。

处理器3620可以包括以下中的至少一种：中央处理单元(cpu)、应用处理器(ap)、图形处理单元(gpu)、相机的图像信号处理器(isp)或通信处理器(cp)。根据实施例，处理器3620可以用片上系统(soc)或系统级封装(sip)来实现。例如，处理器3620可以驱动os或应用程序以控制连接到处理器3620的电子设备3601的另一元件(例如，硬件或软件元件)中的至少一个并且可以处理并计算各种数据。处理器3620可以将从至少一个其他元件(例如，通信模块3460)接收到的命令或数据加载到易失性存储器3632中，以处理该命令或数据并且可以将结果数据存储到非易失性存储器3634中。

存储器3630可以包括例如易失性存储器3632或非易失性存储器3634。易失性存储器3632可以包括例如随机存取存储器(ram)(例如，动态ram(dram)、静态ram(sram)或同步dram(sdram))。非易失性存储器3634可以包括例如可编程只读存储器(prom)、一次性prom(otprom)、可擦除prom(eprom)、电eprom(eeprom)、掩模rom、闪存rom、闪存、硬盘驱动器(hdd)或固态驱动器(ssd)。另外，非易失性存储器3634可以根据与电子设备3601的连接以内部存储器3636或外部存储器3638的形式来配置，该内部存储器3636或外部存储器3638仅在必要时通过连接才可用。外部存储器3638还可包括闪存驱动器，例如，紧凑式闪存(cf)、安全数字(sd)卡、微型安全数字(micor-sd)卡、迷你安全数字(mini-sd)卡、极限数字(xd)卡、多媒体卡(mmc)或记忆棒。外部存储器3638可以以有线方式(例如，电缆或通用串行总线(usb))或无线(例如，蓝牙)方式可操作地或物理地与电子设备3601连接。

例如，存储器3630可以存储例如电子设备3601的至少一个不同的软件元素，诸如与程序3640相关联的命令或数据。程序3640可以包括例如内核3641、库3643、应用框架3645或应用程序(或“应用”)3647。

输入设备3650可以包括麦克风、鼠标或键盘。根据实施例，键盘可以包括物理地连接的键盘或通过显示设备3660显示的虚拟键盘。

显示设备3660可以包括显示器、全息设备或投影仪以及控制相关设备的控制电路。显示器可以包括例如液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)显示器、微机电系统(mems)显示器或电子纸显示器。根据实施例，显示器可以灵活地、透明地或可穿戴地实现。显示器可以包括触摸电路，其能够检测用户的输入，例如手势输入、接近输入或悬停输入或能够测量触摸的压力的强度的压力传感器(或力传感器)。触摸电路或压力传感器可以与显示器一体地实现，或者可以使用与显示器分开地至少一个传感器来实现。该全息设备可以使用光的干涉在空间中显示立体图像。投影仪可以将光投影到画面上以显示图像。该画面可以位于电子设备3601的内部或外部。

音频模块3670例如可以将声音转换为电信号，或者将电信号转换为声音。根据实施例，音频模块3670可以通过输入设备3650(例如，麦克风)获取声音，或者可以通过包括在电子设备3601、电子设备3602(例如，无线扬声器或无线耳机)或与电子设备3601连接的电子设备3606(例如，有线扬声器或有线耳机)中的输出设备(例如，扬声器或接收器)输出声音。

传感器模块3676可以测量或检测例如电子设备3601的内部操作状态(例如，功率或温度)或外部环境状态(例如，高度、湿度或亮度)以生成与测量到的状态或检测到的状态的信息相对应的电信号或数据值。传感器模块3676可以包括例如以下中的至少一种：手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、抓握传感器、接近传感器、颜色传感器(例如，红色、绿色、蓝色(rgb)传感器)、红外传感器、生物传感器(例如，虹膜传感器、指纹传感器、心率监测(hrm)传感器、电子鼻传感器、肌电图(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器)、温度传感器、湿度传感器、照度传感器或uv传感器。传感器模块3676可以进一步包括用于控制包括在其中的至少一个或更多个传感器的控制电路。根据实施例，电子设备3601可以通过使用处理器3620或与处理器3620分离的处理器(例如，传感器集线器)来控制传感器模块3676。在处理器3620处于睡眠状态时使用单独的处理器(例如，传感器集线器)的情况下，单独的处理器可以在不唤醒处理器3620的情况下操作以控制传感器模块3676的操作或状态的至少一部分。

根据实施例，接口3677可以包括高清多媒体接口(hdmi)、usb、光接口、推荐标准232(rs-232)、d超小型(d-sub)连接器、移动高清链接(mhl)接口、sd卡/mmc接口或音频接口。连接器3678可以物理地连接电子设备3601和电子设备3606。连接器3678可以包括例如usb连接器、sd卡/mmc连接器或音频连接器(例如，耳机连接器)。

触觉模块3679可以将电信号转换成机械刺激(例如，振动或运动)或电刺激。例如，触觉模块3679可以向用户施加触觉或动觉刺激。触觉模块3679可以包括例如电机、压电元件或电刺激器。

相机模块3680可以例如拍摄静止图像和运动图像。根据实施例，相机模块3680可以包括以下中的至少一种：透镜(例如，广角镜头和远摄镜头，或者前透镜和后透镜)、图像传感器、图像信号处理器或者闪光灯(例如，发光二极管或氙灯)。

用于管理电子设备3601的电力的电力管理模块3688可以构成电力管理集成电路(pmic)的至少一部分。

电池3689可以包括主电池、辅助电池或燃料电池，并且可以由外部电源再充电以向电子设备3601的至少一个元件供电。

通信模块3690可以建立电子设备3601与第一外部电子设备3602、第二外部电子设备3604或服务器3608之间的通信信道。通信模块3690可以通过建立的通信信道来支持有线通信或无线通信。根据实施例，通信模块3690可以包括无线通信模块3692或有线通信模块3694。通信模块3690可以通过无线通信模块3692或有线通信模块3694中的相关模块，通过第一网络3698(例如，诸如蓝牙或红外数据协会(irda)标准的无线局域网)或第二网络3699(例如，诸如蜂窝网络的无线广域网)与外部电子设备通信。

无线通信模块3692可以支持例如蜂窝通信、本地无线通信、gnss通信。蜂窝通信可以包括例如长期演进(lte)、lte高级(lte-a)、码分多址(cdma)、宽带cdma(wcdma)、通用移动电信系统(umts)、无线宽带(wibro)或全球移动通信系统(gsm)。本地无线通信可以包括无线保真(wi-fi)、wi-fi直接、光保真(li-fi)、蓝牙、蓝牙低功耗(ble)、zigbee、近场通信(nfc)、磁安全传输(mst)、射频(rf)或身体区域网(ban)。gnss可以包括例如以下至少一种：gps、全球导航卫星系统(glonass)、北斗导航卫星系统(beidou)、欧洲全球卫星导航系统(galileo)等。在本公开中，“gps”和“gnss”可以互换使用。

根据实施例，当无线通信模块3692支持地蜂窝通信时，无线通信模块3692可以例如使用用户识别模块(例如，sim卡)3696来识别或认证通信网络内的电子设备3601。无线通信模块3692可以包括与处理器3620分开的cp(例如，ap)。在这种情况下，当处理器3620处于不活动(或睡眠)状态时，cp可以代替处理器3620执行与电子设备3601的元件3610至3696中的至少一个相关联的至少一部分功能，以及当处理器3620处于活动状态时，cp可以与处理器3620一起执行以上功能。无线通信模块3692可以包括多个通信模块，每个通信模块仅支持蜂窝通信、本地无线通信或gnss通信中的相关通信方案。

有线通信模块3694可以包括例如局域网(lan)服务、电力线通信或普通老式电话服务(pots)。

例如，第一网络3698可以通过电子设备3601与第一外部电子设备3602之间的无线直接连接采用例如wi-fi直连或蓝牙来发送或接收命令或数据。第二网络3699可以包括用于在电子设备3601与第二电子设备3604之间发送或接收命令或数据的电信网络(例如，诸如lan或广域网(wan)、因特网或电话网络等的计算机网络)。

根据实施例，可以通过与第二网络3699连接的服务器3608在电子设备3601与第二外部电子设备3604之间发送或接收命令或数据。第一外部电子设备3602和第二外部电子设备3604中的每一个可以是与电子设备3601的类型相同或不同的设备。电子设备3601将执行的全部或部分操作可以由电子设备3602和3604或服务器3608执行。在电子设备3601自动地执行任何功能或服务或者响应于请求执行任何功能或服务的情况下，电子设备3601可以不在内部执行功能或服务，而是可以替代地或附加地将对与电子设备3601相关联功能的至少一部分的请求发送到电子设备3602或3604或服务器3608。电子设备3602或3604或服务器3608可以执行所请求的功能或附加功能，并且可以将执行结果发送到电子设备3601。电子设备3601可以使用所接收的结果来提供所请求的功能或服务，或者可以另外处理所接收的结果以提供所请求的功能或服务。例如，可以使用云计算、分布式计算或客户端-服务器计算。

本公开的各种实施例和本文中使用的术语并非意在将本公开限制为某些实施例，并且应该理解的是，这些实施例和这些术语包括对这里描述的对应实施例的修改、等效和/或替代。关于附图的描述，通过相似的附图标记来标记相似的部件。单数形式的术语可能包含复数形式，除非另外说明。单数形式的术语可能包含复数形式，除非另外说明。在本文公开中，本文中使用的表述“a或b”、“a或/和b中的至少一个”、“a、b或c”或者“a、b和/或c中的一个或多个”等等，可以包括相关列出项中的一个或多个的任何和所有组合。诸如“第一”、“第二”等的表达可以表达它们的元件，而不管它们的优先级或重要性，并且可以用于将一个元件与另一个元件区分开但不限于这些组件。当元件(例如，第一元件)被称为“(可操作地或通信地)与另一个元件(例如，第二元件)耦合或者耦合到另一个元件(例如，第二元件)”或者“连接到另一个元件(例如，第二元件)”时，所述元件可以直接与所述另一个元件耦合/耦合到所述另一个元件或者连接到所述另一个元件，或者可以存在中间元件(例如，第三元件)。

根据情况，本文中使用的表述“适用于或配置成……”例如可以与如下表述互换使用：“适合于……”、“具有……的能力”、“改变为……”、“能够……”或者“设计为……”硬件或软件。表述“设备配置为”可以指示：所述设备“能够”与另一设备或其他组件一起工作。例如，表述“被配置(或设置)用于执行a、b和c的处理器”可以指用于执行相应操作的专用处理器(例如，嵌入式处理器)或者是可以通过执行存储在存储设备中的一个或多个软件程序来执行相应操作的通用处理器(例如，cpu或ap)。

本文使用的术语“模块”可以指示用硬件、软件或固件实现的单元，并且可以与术语“逻辑”、“逻辑块”、“组件”、“电路”等互换使用。术语“模块”可以指示集成组件或其一部分的最小单元，或者可以指示用于执行一个或多个功能的最小单元或其一部分。术语“模块”可以机械地或电子地实现，并且可以包括已知的或将要开发的例如用于执行某些操作的应用专用集成电路(asic)、现场可编程门阵列(fpga)和可编程逻辑器件。

根据各种实施例的装置(例如,其模块或其功能)或方法(例如，操作)的至少一部分可以例如以程序模块的形式通过存储在非临时性计算机可读存储介质(例如，存储器3630)实现。当指令在由处理器(例如，处理器3620)执行时，该指令可以使处理器执行与该指令对应的功能。非暂时性计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光介质(例如，光盘只读存储器(cd-rom)和dvd、磁光介质(例如，软光盘))、嵌入式存储器等。该一个或多个指令可以包含由编译器生成的代码或由解释器可执行的代码。

根据各种实施例的每个元件(例如，模块或程序模块)可以由单个实体或多个实体组成，上述子元件的一部分可以被省略，或者可以进一步包括其他子元件。可替换地或附加地，在集成到一个实体之后，一些元件(例如，模块或程序模块)可以在集成之前相同或类似地执行由每个对应元件执行的功能。根据各种实施例，由模块、程序模块或其他元件执行的操作可以通过连续方法、并行方法、重复方法或启发式方法来执行，或者可以以不同顺序执行至少一部分操作或省略至少一部分操作。或者，可以添加其他操作。

虽然已经参考本公开的各种实施例对本公开进行了说明和描述，但是本领域技术人员将会理解，在不脱离由所附权利要求及其等同形式所限定的本发明的范围的前提下，可以对本发明进行形式和细节上的各种改变。

本申请基于并要求分别于2017年6月21日、2017年7月18日和2017年8月22日在韩国知识产权局提交的韩国专利申请no.10-2017-0078829、no.10-2017-0091217和no.10-2017-0106326的优先权，通过引用将其全文都并入本文。