本申请要求于2017年4月5日向韩国知识产权局提交的并且被分配了序列号10-2017-0044302的韩国专利申请的优先权，该韩国专利申请的全部公开内容通过引用并入本文。
技术领域
本公开涉及使用框架生成自然语言表达的技术。
背景技术：
人工智能系统是指作为实现人类水平的智能的计算机系统的一种系统，其可以自行学习和判断，并且随着其被使用而提高识别率。
人工智能技术可以包括：使用对输入数据的特征自行进行分类或学习的算法的机器学习(深度学习)技术；以及通过使用机器学习算法来模拟人脑功能的元素(element)技术，例如，识别、确定等。
例如，元素技术可以包括识别人的语言/特征的语言理解技术、识别对象的视觉理解技术(如人类视觉)、确定信息以逻辑地推断和预测确定的信息的推断或预测技术、处理作为知识数据的人类体验信息的知识表达技术以及控制车辆的自主驾驶和机器人的运动的操作控制技术中的至少一个。
除了使用键盘或鼠标的常规输入方案之外，最新的电子设备已经支持诸如语音输入等的各种输入方案。例如，诸如智能电话或平板PC的电子设备可以识别在执行语音识别服务的状态下的用户输入的语音，以及可以执行与语音输入相对应的动作，或者可以提供依赖于语音输入找到的结果。
目前，正在基于处理自然语言的技术开发语音识别服务。处理自然语言的技术是指掌握用户话语的意图并且向用户提供适合意图的结果的技术。
技术实现要素：
语音识别服务可以存储用户输入的期望范例，并且可以向用户提供存储的范例作为提示。
然而，当用户终端的当前情境与存储的情境相同时，服务可以仅向用户提供映射到相应情境的提示。
根据本公开的实施例至少解决了上述问题和/或缺点，并且至少提供了下面描述的优点。因此，根据本公开的特定实施例提供了一种通过使用从用户终端外部接收的或由用户终端生成的通知来提供提示的方法。
根据本公开的特定实施例的电子设备可以包括：壳体；触摸屏显示器，通过壳体的一部分暴露；无线通信电路，布置在壳体内部；存储器，存储框架；以及至少一个处理器，电连接到触摸屏显示器、无线通信电路和存储器。处理器被配置为通过无线通信电路接收来自电子设备外部的第一事件或接收从电子设备内部生成的第二事件，向框架提供与在第一事件和第二事件当中接收的事件相关联的通知对象，解析通知对象以获得一个或多个参数，通过使用框架基于一个或多个参数的至少一部分选择与接收的事件相关联的一个或多个任务，选择指示一个或多个任务中的至少一个任务的自然语言表达，通过触摸屏显示器提供包括自然语言表达的用户界面，以及至少部分地基于在触摸屏显示器上提供的自然语言表达的用户输入来执行至少一个任务。
根据本公开的特定实施例的生成提示的方法，包括：接收来自电子设备外部的第一事件或接收从电子设备内部生成的第二事件；向框架提供与在第一事件和第二事件当中接收的事件相关联的通知对象；解析通知对象以获得一个或多个参数；通过使用框架基于一个或多个参数的至少一部分选择与接收的事件相关联的一个或多个任务；选择指示一个或多个任务中的至少一个任务的自然语言表达；通过触摸屏显示器提供包括自然语言表达的用户界面；以及至少部分地基于通过触摸屏显示器的自然语言表达的用户输入来执行至少一个任务。
根据本公开的特定实施例的计算机可读记录介质存储指令，当由电子设备的处理器执行时，使得电子设备：接收来自电子设备外部的第一事件或接收从电子设备内部生成的第二事件；向框架提供与在第一事件和第二事件当中接收的事件相关联的通知对象；解析通知对象以获得一个或多个参数；通过使用框架基于一个或多个参数的至少一部分选择与接收的事件相关联的一个或多个任务；选择用于指示一个或多个任务中的至少一个任务的自然语言表达的请求；通过触摸屏显示器提供包括自然语言表达的用户界面；以及至少部分地基于通过触摸屏显示器的自然语言表达的用户输入来执行至少一个任务。
根据本公开的各种实施例，电子设备可以通过使用通知对象的各种参数来提供对应于用户终端的当前情境的提示。
根据本公开的各种实施例的电子设备可以通过使用通知对象的各种参数和用户终端的情境信息来生成提示，并且因此可以允许用户利用语音识别服务。
根据以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显着特征对于本领域技术人员将变得明显。
附图说明
根据以下结合附图的描述，本公开的特定实施例的以上和其他方面、特征和优点将变得更加明显，在附图中：
图1示出根据本公开的各种实施例的集成智能系统；
图2以框图格式示出根据本公开的一些实施例的集成智能系统的用户终端；
图3示出根据本公开的一些实施例的在用户终端处的智能应用的执行；
图4以框图格式示出根据本公开的至少一个实施例的集成智能系统的智能服务器；
图5示出根据本公开的特定实施例的自然语言理解(NLU)的路径规则生成方法；
图6以框图格式示出根据本公开的特定实施例的收集当前状态的处理器的情境模块；
图7示出根据本公开的一些实施例的管理用户的信息的角色(persona)模块；
图8以框图格式示出根据本公开的特定实施例的提议模块；
图9以框图格式示出根据本公开的一些实施例的用户终端处的应用和框架；
图10以框图格式示出根据本公开的特定实施例的提议模块；
图11是示出根据本公开的一些实施例的通过使用通知提供提示的方法的操作的流程图；
图12A至图12D示出根据本公开的一些实施例的基于与用户终端的安全性相关联的通知来提供提示并且执行根据提示选择的任务的屏幕；
图13A至图13C示出根据本公开的一些实施例的依赖于与用户终端的电力相关联的通知来提供提示并且执行根据提示选择的任务的屏幕；
图14A至图14C示出根据本公开的特定实施例的基于接收的文本消息通知来提供提示并且执行根据提示选择的任务的屏幕；
图15A至图15B示出根据本公开的至少一个实施例的基于接收的文本消息通知来提供提示并且执行根据提示选择的任务的屏幕；
图16A至图16C示出根据本公开的一些实施例的基于在音乐回放期间生成的通知的类型来提供提示的屏幕；
图17A至图17B示出根据本公开的一些实施例的基于通过对话管理器接收的用户输入和接收的文本消息通知来提供提示的屏幕；
图18A至图18C示出根据本公开的一些实施例的基于系统通知来提供提示并且执行根据提示选择的任务的屏幕；
图19示出根据本公开的特定实施例的依赖于提示选择来执行任务的处理；以及
图20以框图格式示出根据本公开的各种实施例的网络环境中的电子设备。
贯穿附图，应该注意，相同的附图标记用于描绘相同或相似的元件、特征和结构。
具体实施方式
以下讨论的图1至20以及用于描述本专利文件中的本公开的原理的各种实施例仅作为说明，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以以任何适当布置的系统或设备来实现。
在下文中，本公开的各种实施例可以被描述为与附图相关联。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种修改、等效和/或替代。
在描述根据本公开的特定实施例之前，将描述应用本公开的一些实施例的集成智能系统。
图1示出根据本公开的各种实施例的集成智能系统。
参照图1的非限制性示例，集成智能系统10可以包括用户终端100、智能服务器200、个人信息服务器300或提议服务器400。
根据特定实施例，用户终端100可以通过存储在用户终端100中的应用(或应用程序)(例如，闹钟应用、消息应用、图片(图库)应用等)来提供用户所需的服务。例如，用户终端100可以通过存储在用户终端100中的智能应用(或语音识别应用)来执行和操作一个或多个其他应用。可以接收通过用户终端100的智能应用启动和操作其他应用的用户输入。例如，用户输入可以通过物理按钮、触摸板、语音输入、远程输入等来接收。根据一些实施例，与互联网连接的各种类型的终端设备(或电子设备)——诸如移动电话、智能电话、个人数字助理(PDA)、笔记本式计算机等——可以对应于用户终端100。
根据特定实施例，用户终端100可以接收语音命令或用户话语作为用户输入。用户终端100可以接收用户话语并且可以基于用户话语生成用于操作应用的指令。这样，用户终端100可以通过使用指令来操作应用。
智能服务器200可以通过通信网络从用户终端100接收用户的语音输入，并且可以将语音输入改变为文本数据。在另一个实施例中，智能服务器200可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于用于执行应用的功能的动作(或操作)的信息或关于执行动作所需的参数的信息。另外，路径规则可以包括应用的动作的顺序。用户终端100可以接收路径规则，可以依赖于路径规则选择应用，以及可以执行选择的应用中的包括在路径规则中的动作。
例如，用户终端100可以执行动作并且可以在显示器中显示与执行动作的用户终端100的状态相对应的屏幕。在另一个示例中，用户终端100可以执行动作并且可以不在显示器中显示通过执行动作获得的结果。例如，用户终端100可以执行多个动作，并且可以仅在显示器中显示多个动作的一部分的结果。例如，用户终端100可以仅在显示器中显示通过执行最后动作获得的结果。又如，用户终端100可以接收用户输入以在显示器中显示通过执行动作获得的结果。
根据图1的非限制性示例，个人信息服务器300可以包括存储用户信息的数据库。例如，个人信息服务器300可以从用户终端100接收用户信息(例如，情境信息、关于执行应用的信息等)，并且可以将用户信息存储在数据库中。智能服务器200可以用于通过通信网络从个人信息服务器300接收用户信息并且生成与用户输入相关联的路径规则。根据特定实施例，用户终端100可以通过通信网络从个人信息服务器300接收用户信息，并且可以使用用户信息作为用于管理数据库的信息。
在根据本公开的一些实施例中，提议服务器400可以包括数据库，其存储关于终端中的功能、应用的介绍或将被提供的功能的信息。例如，提议服务器400可以包括与用户通过从个人信息服务器300接收用户终端100的用户信息而利用的功能相关联的数据库。用户终端100可以通过通信网络接收关于建议服务器400要提供的功能的信息并且可以将信息提供给用户。
图2以框图格式示出根据本公开的一些实施例的集成智能系统的用户终端。
参照图2的非限制性示例，用户终端100可以包括输入模块110、显示器120、扬声器130、存储器140或处理器150。用户终端100还可以包括壳体，并且用户终端100的元件可以被安置在壳体中或者可以位于壳体上。
根据至少一个实施例，输入模块110可以从用户接收用户输入。例如，输入模块110可以从连接的外部设备(例如，键盘或耳机)接收用户输入。又如，输入模块110可以包括耦合到显示器120的触摸屏(例如，触摸屏显示器)。又如，输入模块110可以包括放置在用户终端100(或用户终端100的壳体)中的硬件密钥(或物理密钥)。
根据特定实施例，输入模块110可以包括能够接收作为语音信号的用户话语的麦克风(例如，图3的麦克风111)。例如，输入模块110可以包括语音输入系统，并且可以通过语音输入系统接收用户的话语作为语音信号。
根据特定实施例，显示器120可以显示应用的图像、视频和/或执行屏幕。例如，显示器120可以显示应用的图形用户界面(GUI)。
根据特定实施例，扬声器130可以输出语音信号。例如，扬声器130可以将在用户终端100中生成的语音信号输出到外部。
根据特定实施例，存储器140可以存储多个应用141和143。存储在存储器140中的多个应用141和143可以依赖于用户输入来选择、启动和执行。
根据至少一个实施例，存储器140可以包括能够存储识别用户输入所需的信息的数据库。例如，存储器140可以包括能够存储日志信息的日志数据库。又如，存储器140可以包括能够存储用户信息的角色数据库。
根据一些实施例，存储器140可以存储多个应用141和143，并且可以加载多个应用141和143以进行操作。例如，存储在存储器140中的多个应用141和143可以由处理器150的执行管理器模块153加载以进行操作。多个应用141和143可以包括执行功能的执行服务141a和143a或多个动作(或单元动作)141b和143b。执行服务141a和143a可以由处理器150的执行管理器模块153生成，然后可以执行多个动作141b和143b。
根据特定实施例，当执行应用141和143的动作141b和143b时，可以在显示器120中显示根据动作141b和143b的执行的执行状态屏幕。例如，执行状态屏幕可以是在动作141b和143b完成的状态下的屏幕。又如，执行状态屏幕可以是在动作141b和143b的执行处于部分着落(landing)的状态下(例如，在没有输入动作141b和143b所需的参数的情况下)的屏幕。
根据一些实施例，执行服务141a和143a可以依赖于路径规则执行动作141b和143b。例如，执行服务141a和143a可以由执行管理器模块153激活，可以依赖于路径规则从执行管理器模块153接收执行请求，以及可以依赖于执行请求执行应用141和143的动作141b和143b。如果动作141b和143b的执行完成，则执行服务141a和143a可以将完成信息发送到执行管理器模块153。
根据至少一个实施例，在应用141和143中分别执行多个动作141b和143b的情况下，可以顺序执行多个动作141b和143b。如果完成一个动作(动作1)的执行，则执行服务141a和143a可以打开下一个动作(动作2)并且可以将完成信息发送到执行管理器模块153。在此，应当理解，打开任意动作是将任意动作的状态改变为可执行状态或准备执行任意动作。换句话说，如果任意动作未打开，则可能不执行相应的动作。如果接收到完成信息，则执行管理器模块153可以将对下一个动作141b和143b的执行请求发送到执行服务(例如，动作2)。根据实施例，在执行多个应用141和143的情况下，可以顺序执行多个应用141和143。例如，如果在执行第一应用141的最后一个动作的执行之后接收到完成信息，则执行管理器模块153可以将第二应用143的第一动作的执行请求发送到执行服务143a。
根据特定实施例，在应用141和143中执行多个动作141b和143b的情况下，根据执行的多个动作141b和143b中的每一个的执行的结果屏幕可以被显示在显示器120中。根据实施例，根据执行的多个动作141b和143b的多个结果屏幕中的仅一部分可以被显示在显示器120中。
根据一些实施例，存储器140可以存储结合智能代理151操作的智能应用(例如，语音识别应用)。结合智能代理151操作的应用可以接收和处理用户的话语为语音信号。根据实施例，结合智能代理151操作的应用可以根据通过输入模块110输入的特定输入(例如，通过硬件键的输入、通过触摸屏的输入或特定语音输入)来操作。
根据至少一个实施例，处理器150可以控制用户终端100的整体动作。例如，处理器150可以控制输入模块110接收用户输入。处理器150可以控制显示器120显示图像。处理器150可以控制扬声器130输出语音信号。处理器150可以控制存储器140读取或存储必要的信息。
根据各种实施例，处理器150可以包括智能代理151、执行管理器模块153或者智能服务模块155。在实施例中，处理器150可以通过执行存储在存储器140中的指令驱动智能代理151、执行管理器模块153或者智能服务模块155。在本公开的各种实施例中描述的模块可以通过硬件或通过软件来实现。在本公开的各种实施例中，应该理解，由智能代理151、执行管理器模块153或智能服务模块155执行的动作是由处理器150执行的动作。
根据至少一个实施例，智能代理151可以基于作为用户输入接收的语音信号来生成用于操作应用的指令。根据实施例，执行管理器模块153可以从智能代理151接收生成的指令，以及可以选择、启动并且操作存储在存储器140中的应用141和143。根据一些实施例，智能服务模块155可以管理用户的信息并且可以使用用户的信息来处理用户输入。
智能代理151可以将通过输入模块110接收的用户输入发送到智能服务器200并且处理。
根据特定实施例，在向智能服务器200发送用户输入之前，智能代理151可以预处理用户输入。根据实施例，为了预处理用户输入，智能代理151可以包括自适应回声消除器(AEC)模块、噪声抑制(NS)模块、端点检测(EPD)模块或自动增益控制(AGC)模块。AEC可以移除用户输入中包括的回声。NS模块可以抑制包括在用户输入中的背景噪声。EPD模块可以检测包括在用户输入中的用户语音的端点以搜索用户语音存在于其中的部分。AGC模块可以调整用户输入的音量，以适于识别和处理用户输入。根据实施例，智能代理151可以包括用于执行的所有预处理元件。然而，在另一个实施例中，智能代理151可以包括预处理元件的一部分来以低功率操作。
根据一些实施例，智能代理151可以包括识别用户呼叫的唤醒识别模块。唤醒识别模块可以通过语音识别模块识别用户的唤醒指令。在唤醒识别模块接收到唤醒指令的情况下，唤醒识别模块可以激活智能代理151以接收用户输入。根据实施例，智能代理151的唤醒识别模块可以用低功率处理器(例如，包括在音频编解码器中的处理器)来实现。根据至少一个实施例，智能代理151可以依赖于通过硬件键输入的用户输入而被激活。在智能代理151被激活的情况下，可以执行与智能代理151结合操作的智能应用(例如，语音识别应用)。
根据特定实施例，智能代理151可以包括用于执行用户输入的语音识别模块。语音识别模块可以识别用于执行应用中的动作的用户输入。例如，语音识别模块可以识别用于执行应用141和143中的动作(诸如唤醒指令)的受限用户(语音)输入(例如，用于在执行相机应用时执行捕获动作的“点击”的话语)。例如，用于在协助智能服务器200时识别用户输入的语音识别模块可以识别并且快速处理能够在用户终端100中处理的用户指令。根据实施例，用于执行智能代理151的用户输入的语音识别模块可以在应用处理器中实现。
根据各种实施例，智能代理151的语音识别模块(包括唤醒模块的语音识别模块)可以通过使用用于识别语音的算法来识别用户输入。例如，用于识别语音的算法可以是隐马尔可夫模型(HMM)算法、人工神经网络(ANN)算法或动态时间规整(DTW)算法中的至少一个。
根据特定实施例，智能代理151可以将用户的语音输入改变为文本数据。根据至少一个实施例，智能代理151可以将用户的语音发送到智能服务器200以接收改变的文本数据。这样，智能代理151可以将文本数据显示在显示器120中。
根据各种实施例，智能代理151可以从智能服务器200接收路径规则。根据至少一个实施例，智能代理151可以将路径规则发送到执行管理器模块153。
根据特定实施例，智能代理151可以根据从智能服务器200接收的路径规则向智能服务模块155发送执行结果日志，并且发送的执行结果日志可以在角色模块155b的用户的偏好信息中累积和管理。
根据特定实施例，执行管理器模块153可以从智能代理151接收路径规则以执行应用141和143，并且可以允许应用141和143执行包括在路径规则中的动作141b和143b。例如，执行管理器模块153可以将用于执行动作141b和143b的指令信息发送到应用141和143，并且可以从应用141和143接收动作141b和143b的完成信息。
根据各种实施例，执行管理器模块153可以在智能代理151与应用141和143之间发送或接收用于执行应用141和143的动作141b和143b的指令信息。执行管理器模块153可以依赖于路径规则绑定要执行的应用141和143，并且可以将包括在路径规则中的动作141b和143b的指令信息发送到应用141和143。例如，执行管理器模块153可以向应用141和143顺序地发送包括在路径规则中的动作141b和143b，并且可以依赖于路径规则顺序地执行应用141和143的动作141b和143b。
根据至少一个实施例，执行管理器模块153可以管理应用141和143的动作141b和143b的执行状态。例如，执行管理器模块153可以从应用141和143接收关于动作141b和143b的执行状态的信息。例如，在动作141b和143b的执行状态处于部分着落的情况下(例如，在未输入动作141b和143b所需的参数的情况下)，执行管理器模块153可以将关于部分着落的信息发送到智能代理151。智能代理151可以通过使用接收的信息来向用户请求必要信息(例如，参数信息)的输入。又如，在动作141b和143b的执行状态处于操作状态的情况下，可以从用户接收话语，并且执行管理器模块153可以向智能代理151发送关于正在执行的应用141和143的信息和应用141和143的执行状态。智能代理151可以通过智能服务器200接收用户话语的参数信息，并且可以将接收的参数信息发送到执行管理器模块153。执行管理器模块153可以通过使用接收的参数信息将动作141b和143b中的每个的参数改变为新的参数。
在图2的非限制性示例中，执行管理器模块153可以将包括在路径规则中的参数信息发送到应用141和143。在依赖于路径规则顺序地执行多个应用141和143的情况下，执行管理器模块153可以将包括在路径规则中的参数信息从一个应用发送到另一个应用。
根据一些实施例，执行管理器模块153可以接收多个路径规则。执行管理器模块153可以基于用户的话语来选择多个路径规则。例如，在用户话语指定执行动作141b的一部分的应用141但未指定执行任何其他动作143b的应用143的情况下，执行管理器模块153可以接收多个不同路径规则，其中，执行动作141b的一部分的相同应用141(例如，图库应用)被执行，并且执行其他动作143b的不同应用143(例如，消息应用或电报(Telegram)应用)被执行。例如，执行管理器模块153可以执行多个路径规则的相同动作141b和143b(例如，相同的连续动作141b和143b)。在执行管理器模块153执行相同动作的情况下，执行管理器模块153可以在显示器120中显示用于选择包括在多个路径规则中的不同应用141和143的状态屏幕。
根据各种实施例，智能服务模块155可以包括情境模块155a\角色模块155b或提议模块155c。
情境模块155a可以从应用141和143收集应用141和143的当前状态。例如，情境模块155a可以接收指示应用141和143的当前状态的情境信息以收集应用的当前状态141和143。
根据图2的非限制性示例，角色模块155b可以利用用户终端100管理用户的个人信息。例如，角色模块155b可以收集用户终端100的使用信息和执行结果以管理用户的个人信息。
提议模块155c可以预测用户的意图以向用户推荐指令。例如，提议模块155c可以在考虑用户的当前状态(例如，时间、地点，情境或应用)的情况下向用户推荐指令。
图3示出根据本公开的特定实施例的用户终端的智能应用的执行。
在图3的非限制性示例中，用户终端100接收用户输入以执行结合智能代理151操作的智能应用(例如，语音识别应用)。
根据一些实施例，用户终端100可以通过硬件键112执行用于识别语音的智能应用。例如，在用户终端100通过硬件键112接收用户输入的情况下，用户终端100可以在显示器120中显示智能应用的UI 121。例如，在智能应用的UI 121显示在显示器120中的情况下，针对输入语音113b的目的，用户可以触摸智能应用的UI 121的语音识别按钮121a。又如，在持续按下硬件键112输入语音113b的同时，用户可以输入语音113b。
根据特定实施例，用户终端100可以通过麦克风111执行用于识别语音的智能应用。例如，在通过麦克风111输入113a的特定语音(例如，唤醒！)的情况下，用户终端100可以在显示器120中显示智能应用的UI 121。
图4以框图格式示出根据本公开的各种实施例的集成智能系统的智能服务器。
参照图4的非限制性示例，智能服务器200可以包括自动语音识别(ASR)模块210、自然语言理解(NLU)模块220、路径规划器模块230、对话管理器(DM)模块240、自然语言生成器(NLG)模块250或文本到语音(TTS)模块260。
智能服务器200的NLU模块220或路径规划器模块230可以生成路径规则。
根据一些实施例，ASR模块210可以将从用户终端100接收到的用户输入改变为文本数据。
例如，ASR模块210可以包括话语识别模块。话语识别模块可以包括声学模型和语言模型。例如，声学模型可以包括与话语相关联的信息，并且语言模型可以包括单位音素信息和关于单位音素信息的组合的信息。话语识别模块可以通过使用与话语和单位音素信息相关联的信息将用户话语改变为文本数据。例如，关于声学模型和语言模型的信息可以存储在自动语音识别数据库(ASR DB)211中。
根据一些实施例，NLU模块220可以通过执行语法分析或语义分析来掌握或实现用户意图。语法分析可以将用户输入划分为语法单元(例如，单词、短语、语素等)并且确定划分的单元具有哪些语法元素。语义分析可以通过使用语义匹配、规则匹配、公式匹配等来执行。这样，NLU模块220可以获得用户输入表达该意图所需的域、意图或参数(或时隙)。
根据一些实施例，NLU模块220可以通过使用被划分为掌握意图所需的域、意图和参数(或时隙)的匹配规则来确定用户的意图和参数。例如，一个域(例如，闹钟)可以包括多个意图(例如，闹钟设置、闹钟取消等)，并且一个意图可以包括多个参数(例如，时间、迭代数量、闹钟声音等)。例如，多个规则可以包括一个或多个必要的参数。匹配规则可以存储在自然语言理解数据库(NLU DB)221中。
根据至少一个实施例，NLU模块220可以通过使用诸如语素、短语等的语言学特征(例如，语法元素)掌握从用户输入中提取的单词的含义，并且可以将掌握的单词的含义匹配到域和意图以确定用户意图。例如，为了确定用户意图的目的，NLU模块220可以计算在域和意图的每个中包括多少个从用户输入中提取的单词。根据实施例，NLU模块220可以通过使用作为掌握意图的基础的单词来确定用户输入的参数。根据特定实施例，NLU模块220可以通过使用存储用于掌握用户输入的意图的语言学特征的NLU DB 221来确定用户意图。根据其他实施例，NLU模块220可以通过使用个人语言模型(PLM)来确定用户意图。例如，NLU模块220可以通过使用个性化信息(例如，联系人列表或音乐列表)来确定用户意图。例如，可以将PLM存储在NLU DB 221中。根据一些实施例，ASR模块210和NLU模块220可以参考存储在NLU DB 221中的PLM来识别用户的语音。
根据特定实施例，NLU模块220可以基于用户输入的意图和参数来生成路径规则。例如，NLU模块220可以基于用户输入的意图来选择要执行的应用，并且可以在选择的应用中确定要执行的动作。NLU模块220可以确定对应于确定的动作的参数以生成路径规则。根据至少一个实施例，由NLU模块220生成的路径规则可以包括关于要执行的应用的信息，在应用中要执行的动作以及执行动作所需的参数。
根据一些实施例，NLU模块220可以基于用户输入的意图和参数来生成一个路径规则或多个路径规则。例如，NLU模块220可以从路径规划器模块230接收对应于用户终端100的路径规则集，并且可以将用户输入的意图和参数映射到接收的路径规则集以用于确定路径规则的目的。
根据特定实施例，NLU模块220可以基于用户输入的意图和参数来确定要执行的应用、在应用中要执行的动作以及执行动作所需的参数，以用于生成一个路径规则或多个路径规则的目的。例如，为了生成路径规则的目的，NLU模块220可以以实体(ontology)或图形模型的形式依赖于用户输入的意图通过使用用户终端100的信息来安排要执行的应用和在应用中要执行的动作。例如，生成的路径规则可以通过路径规划器模块230存储在路径规则数据库(PR DB)231中。生成的路径规则可以被添加到PR DB 231的路径规则集中。
根据图4的非限制性示例，NLU模块220可以选择生成的多个路径规则中的至少一个路径规则。例如，NLU模块220可以选择多个路径规则中的最佳路径规则。又如，在基于用户话语仅指定动作的一部分的情况下，NLU模块220可以选择多个路径规则。NLU模块220可以依赖于用户的附加输入来确定多个路径规则中的一个路径规则。
根据至少一个实施例，NLU模块220可以响应于对用户输入的请求而将路径规则发送到用户终端100。例如，NLU模块220可以向用户终端100发送与用户输入相对应的一个路径规则。在另一示例中，NLU模块220可以将与用户输入相对应的多个路径规则发送到用户终端100。例如，在基于用户话语仅指定动作的一部分的情况下，可以由NLU模块220生成多个路径规则。
根据特定实施例，路径规划器模块230可以选择多个路径规则中的至少一个路径规则。
根据特定实施例，路径规划器模块230可以将包括多个路径规则的路径规则集发送到NLU模块220。路径规则集的多个路径规则可以以表格形式存储在连接到路径规划器模块230的PR DB 231中。例如，路径规划器模块230可以将与从智能代理151接收的用户终端100的信息(例如，OS信息或应用信息)相对应的路径规则集发送到NLU模块220。例如，存储在PR DB 231中的表格可以针对每个域或针对域的每个版本来存储。
根据特定实施例，路径规划器模块230可以从路径规则集中选择一个路径规则或多个路径规则，以将选择的一个路径规则或选择的多个路径规则发送到NLU模块220。例如，路径规划器模块230可以将用户意图和参数与对应于用户终端100的路径规则集匹配以选择一个路径规则或多个路径规则，并且可以将选择的一个路径规则或选择的多个路径规则发送到NLU模块220。
根据一些实施例，路径规划器模块230可以通过使用用户意图和参数来生成一个路径规则或多个路径规则。例如，为了生成一个路径规则或多个路径规则的目的，路径规划器模块230可以基于用户意图和参数来确定要执行的应用和在应用中要执行的动作。根据实施例，路径规划器模块230可以将生成的路径规则存储在PR DB 231中。
根据各种实施例，路径规划器模块230可以将由NLU模块220生成的路径规则存储在PR DB 231中。生成的路径规则可以被添加到存储在PR DB 231中的路径规则集。
根据特定实施例，存储在PR DB 231中的表格可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的设备的种类、版本、类型或特性。
根据一些实施例，DM模块240可以确定由NLU模块220掌握的用户意图是否清楚。例如，DM模块240可以基于参数的信息是否充足来确定用户意图是否清楚。DM模块240可以确定NLU模块220掌握的参数是否足以执行任务。根据实施例，在用户意图不清楚的情况下，DM模块240可以执行用于向用户请求必要信息的反馈。例如，DM模块240可以执行用于请求关于用于掌握用户意图的参数的信息的反馈。
根据特定实施例，DM模块240可以包括内容提供商模块。在内容提供商模块基于NLU模块220掌握的意图和参数执行动作的情况下，内容提供商模块可以生成通过执行与用户输入相对应的任务而获得的结果。根据一些实施例，DM模块240可以将由内容提供商模块生成的结果作为对用户输入的响应发送到用户终端100。
根据各种实施例，自然语言生成模块NLG 250可以将指定的信息改变为文本形式。改变为文本形式的信息可以是自然语言话语的形式。例如，指定的信息可以是关于附加输入的信息、用于指导对应于用户输入的动作的完成的信息或者用于指导用户的附加输入的信息(例如，关于用户输入的反馈信息)。被改变为文本形式的信息可以在被发送到用户终端100之后被显示在显示器120中，或者可以在被发送到TTS模块260之后被改变为语音形式。
根据一些实施例，TTS模块260可以将文本形式的信息改变为语音形式的信息。TTS模块260可以从NLG模块250接收文本形式的信息，可以将文本形式的信息改变为语音形式的信息，并且可以将语音形式的信息发送到用户终端100。用户终端100可以将语音形式的信息输出到扬声器130。
根据图4的非限制性示例，NLU模块220、路径规划模块230和DM模块240可以用一个模块来实现。例如，NLU模块220、路径规划器模块230和DM模块240可以用一个模块来实现，可以确定用户意图和参数以及可以生成对应于确定的用户意图和参数的响应(例如，路径规则)。这样，生成的响应可以被发送到用户终端100。
图5示出根据本公开的各种实施例的路径规划器模块的路径规则生成方法。
参照图5的非限制性示例，根据一些实施例，NLU模块220可以将应用的功能划分为单位动作(例如，A至F)，并且可以将划分的单位动作存储在PR DB 231中。例如，NLU模块220可以在PR DB 231中存储包括被划分成单位动作的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F的路径规则集。
根据各种实施例，路径规划器模块230的PR DB 231可以存储用于执行应用的功能的路径规则集。路径规则集可以包括多个路径规则，多个路径规则中的每个包括多个动作。依赖于输入到多个动作中的每个的参数执行的动作可以顺序地排列在多个路径规则中。根据至少一个实施例，以实体或图形模型的形式实现的多个路径规则可以存储在PR DB 231中。
根据各种实施例，NLU模块220可以选择对应于用户输入的意图和参数的多个路径规则A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F中的最佳路径规则A-B1-C3-D-F。
根据一些实施例，在不存在与用户输入完全匹配的路径规则的情况下，NLU模块220可以向用户终端100发送多个规则。例如，NLU模块220可以选择部分对应于用户输入的路径规则(例如，A-B1)。NLU模块220可以选择包括部分对应于用户输入的路径规则(例如，A-B1)的一个或多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)，并且可以将一个或多个路径规则发送到用户终端100。
根据至少一个实施例，NLU模块220可以基于由用户终端100添加的输入来选择多个路径规则中的一个，并且可以将选择的一个路径规则发送到用户终端100。例如，NLU模块220可以依赖于用户终端100附加输入的用户输入(例如，用于选择C3的输入)选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)，以用于将选择的一个路径规则发送到用户终端100的目的。
根据其他实施例，NLU模块220可以确定与用户终端100附加输入的用户输入(例如，用于选择C3的输入)相对应的用户的意图和参数，以用于将用户意图或参数发送到用户终端100的目的。用户终端100可以基于发送的意图或发送的参数选择多个路径规则(例如，A-B1-C1、A-B1-C2、A-B1-C3-D-F和A-B1-C3-D-E-F)中的一个路径规则(例如，A-B1-C3-D-F)。
这样，在图5的非限制性示例中，用户终端100可以基于选择的一个路径规则来完成应用141和143的动作。
根据特定实施例，在智能服务器200接收到信息不足的用户输入的情况下，NLU模块220可以生成部分对应于接收的用户输入的路径规则。例如，NLU模块220可以将部分对应的路径规则发送到智能代理151。智能代理151可以将部分对应的路径规则发送到执行管理器模块153，并且执行管理器模块153可以依赖于路径规则执行第一应用141。当执行第一应用141时，执行管理器模块153可以将关于不足参数的信息发送到智能代理151。智能代理151可以通过使用关于不足参数的信息向用户做出对附加输入的请求。如果用户接收到附加输入，则智能代理151可以向智能服务器200发送附加输入并且进行处理。NLU模块220可以基于附加输入的用户输入的意图和参数信息来生成要添加的路径规则，并且可以向智能代理151发送要添加的路径规则。智能代理151可以将路径规则发送到执行管理器模块153并且可以执行第二应用143。
根据各种实施例，在智能服务器200接收到缺少一部分信息的用户输入的情况下，NLU模块220可以将用户信息请求发送到个人信息服务器300。个人信息服务器300可以将输入存储在角色数据库中的用户输入的用户的信息发送到NLU模块220。NLU模块220可以通过使用用户信息来选择与缺少的一部分动作的用户输入相对应的路径规则。这样，即使智能服务器200接收到缺少一部分信息的用户输入，NLU模块220也可以对缺少的信息做出请求以接收附加输入，或者可以通过使用用户信息确定对应于用户输入的路径规则。
图6以框图格式示出根据本公开的实施例的处理器的情境模块收集当前状态。
参照图6，如果从智能代理151接收到情境请求(由编号①的箭头所示)，则情境模块155a可以向应用141和143请求指示应用141和143的当前状态的情境信息(如编号②的箭头所示)。根据一些实施例，情境模块155a可以从应用141和143接收情境信息(由编号③的箭头所示)，并且可以将情境信息发送到智能代理151(如编号④的箭头所示)。
根据一些实施例，情境模块155a可以通过应用141和143接收多条情境信息。例如，情境信息可以是关于最近执行的应用141和143的信息。又如，情境信息可以是在应用141和143中关于当前状态的信息(例如，关于用户通过图库应用观看图片的情况下的相对应的图片的信息)。
根据各种实施例，情境模块155a可以从设备平台以及应用141和143接收指示用户终端100的当前状态的情境信息。情境信息可以包括通用情境信息、用户情境信息或设备情境信息。
在图6的非限制性示例中，通用情境信息可以包括用户终端100的通用信息。通用情境信息可以通过经由设备平台的传感器集线器等接收数据经由内部算法来验证。例如，通用情境信息可以包括关于当前时间和空间的信息。例如，关于当前时间和空间的信息可以包括关于用户终端100的当前时间或当前位置的信息。可以通过用户终端100上的时间来验证当前时间，并且关于当前位置的信息可以通过全球定位系统(GPS)来验证。又如，通用情境信息可以包括关于物理运动的信息。例如，关于物理运动的信息可以包括关于步行、跑步、驾驶等的信息。关于物理运动的信息可以通过运动传感器来验证。在关于驾驶的信息的情况下，可以通过感测车辆中的蓝牙连接来验证上车和停车，并且通过运动传感器验证驾驶。又如，通用情境信息可以包括用户活动信息。例如，用户活动信息可以包括关于通勤、购物、旅行等的信息。用户活动信息可以通过使用关于用户或应用在数据库中注册的地点的信息来验证。
根据特定实施例，用户情境信息可以包括关于用户的信息。例如，用户情境信息可以包括关于用户的情绪状态的信息。例如，关于用户的情绪状态的信息可以包括关于用户的快乐、悲伤、愤怒等的信息。又如，用户情境信息可以包括关于用户的当前状态的信息。例如，关于用户的当前状态的信息可以包括关于兴趣、意图等的信息(例如，购物)。
设备情境信息可以包括关于用户终端100的状态的信息。例如，设备情境信息可以包括关于执行管理器模块153执行的路径规则的信息。又如，设备信息可以包括关于电池的信息。例如，可以通过电池的充电和放电状态来验证关于电池的信息。在又一示例中，设备信息可以包括关于连接的设备和网络的信息。例如，关于连接设备的信息可以通过与设备连接的通信接口来验证。
图7示出根据本公开的一些实施例的管理用户的信息的角色模块。
参照图7的非限制性示例，角色模块155b可以从应用141和143、执行管理器模块153或情境模块155a接收用户终端100的信息。应用141和143以及执行管理器模块153可以将关于通过执行应用的动作141b和143b获得的结果的信息存储在动作日志数据库中。情境模块155a可以将关于用户终端100的当前状态的信息存储在情境数据库中。角色模块155b可以从动作日志数据库或情境数据库接收存储的信息。例如，存储在动作日志数据库和情境数据库中的数据可以由分析引擎分析并且可以被发送到角色模块155b。
根据至少一个实施例，角色模块155b可以将从应用141和143、执行管理器模块153或情境模块155a接收的信息发送到提议模块155c。例如，角色模块155b可以将存储在动作日志数据库或情境数据库中的数据发送到提议模块155c。
根据一些实施例，角色模块155b可以将从应用141和143、执行管理器模块153或情境模块155a接收的信息发送到个人信息服务器300。例如，角色模块155b可以向个人信息服务器300周期性地发送累积并且存储在动作日志数据库或情境数据库中的数据。
根据特定实施例，角色模块155b可以将存储在动作日志数据库或情境数据库中的数据发送到提议模块155c。由角色模块155b生成的用户信息可以存储在角色数据库中。角色模块155b可以向个人信息服务器300周期性地发送存储在角色数据库中的用户信息。根据实施例，角色模块155b发送到个人信息服务器300的信息可以存储在角色数据库中。个人信息服务器300可以通过使用存储在角色数据库中的信息来估计生成智能服务器200的路径规则所需的用户信息。
根据各种实施例，通过使用角色模块155b发送的信息估计的用户信息可以包括简档(profile)信息或偏好信息。简档信息或偏好信息可以通过用户账户和累积信息来估计。
简档信息可以包括用户的个人信息。例如，简档信息可以包括用户的人口统计信息。例如，人口统计信息可以包括用户的性别、年龄等。又如，简档信息可以包括生活事件信息。例如，可以通过将日志信息与生活事件模型进行比较来估计生活事件信息，并且可以通过分析行为模式来加强生活事件信息。又如，简档信息可以包括兴趣信息。例如，兴趣信息可以包括感兴趣的购物项目、感兴趣的领域(例如，体育、政治等)。又如，简档信息可以包括活动区域信息。例如，活动区域信息可以包括关于家庭、工作地点等的信息。关于活动区域的信息可以包括关于基于累计停留时间和访问次数以及关于地点位置的信息来记录优先级的区域的信息。又如，简档信息可以包括活动时间信息。例如，活动时间信息可以包括关于唤醒时间、通勤时间、睡眠时间等的信息。关于通勤时间的信息可以通过使用活动区域信息(例如，关于家庭和工作场所的信息)来估计。关于睡眠时间的信息可以通过用户终端100的未使用时间来估计。
偏好信息可以包括用户的偏好信息。例如，偏好信息可以包括关于应用偏好的信息。例如，可以通过应用的使用日志(例如，时间和地点特定的使用日志)来估计应用偏好。应用偏好可以用于依赖于用户的当前状态(例如，时间或地点)确定要执行的应用。在另一个示例中，偏好信息可以包括关于联系人偏好的信息。例如，可以通过分析关于联系人的联系频率(例如，联系的时间和地点特定频率)的信息来估计联系人偏好。可以使用联系人偏好依赖于用户的当前状态(例如，重复姓名的联系人)确定要联系的联系人。又如，偏好信息可以包括设置信息。例如，可以通过分析关于特定设置值的设置频率(例如，对设置值进行设置的时间和地点特定频率)的信息来估计设置信息。设置信息可以用于依赖于用户的当前状态(例如，时间、地点或情境)来设置特定设置值。又如，偏好信息可以包括地点偏好。例如，可以通过对特定地点的访问历史(例如，时间特定的访问历史)来估计地点偏好。地点偏好可以用于依赖于用户的当前状态(例如，时间)确定要访问的地点。根据另一示例，偏好信息可以包括指令偏好。例如，可以通过指令的使用频率(例如，时间和地点特定的使用频率)来估计指令偏好。指令偏好可以用于依赖于用户的当前状态(例如，时间或地点)确定要使用的指令模式。具体地，指令偏好可以包括关于在通过分析日志信息而执行的应用的当前状态下用户最经常选择的菜单的信息。
图8以框图格式示出根据本公开的特定实施例的提议模块。
参照图8的非限制性示例，提议模块155c可以包括提示提供器模块155c_1、情境提示生成模块155c_2、条件检查模块155c_3、条件模型模块155c_4、重用提示生成模块155c_5或者介绍提示生成模块155c_6。
根据一些实施例，提示提供器模块155c_1可以向用户提供提示。例如，提示提供器模块155c_1可以从情境提示生成模块155c_2、重用提示生成模块155c_5或者介绍提示生成模块155c_6接收生成的提示，以向用户提供提示。
根据至少一个实施例，情境提示生成模块155c_2可以通过条件检查模块155c_3或条件模型模块155c_4生成依赖于当前状态推荐的提示。条件检查模块155c_3可以通过智能服务模块155接收与当前状态相对应的信息，并且条件模型模块155c_4可以通过使用接收的信息来设置条件模型。例如，条件模型模块155c_4可以通过在向用户提供提示的时间点确定时间、位置、情境、正被执行的应用等来按照优先顺序向用户提供可能在相对应的条件下使用的提示。
根据各种实施例，重用提示生成模块155c_5可以依赖于当前状态和使用频率生成要被推荐的提示。例如，重用提示生成模块155c_5可以考虑用户的使用模式来生成提示。
根据一些实施例，介绍提示生成模块155c_6可以生成用于向用户介绍新功能和被另一用户重度利用的功能的提示。例如，用于介绍新功能的提示可以包括与智能代理151相关联的介绍(例如，操作方法)。
根据各种实施例，个人信息服务器300可以包括提议模块155c的情境提示生成模块155c_2、条件检查模块155c_3、条件模型模块155c_4、重用提示生成模块155c_5或者介绍提示生成模块155c_6。例如，提议模块155c的提示提供模块155c_1可以从个人信息服务器300的情境提示生成模块155c_2、重用提示生成模块155c_5或者介绍提示生成模块155c_6接收提示，以向用户提供接收的提示。
根据特定实施例，用户终端100可以依赖于以下系列处理来提供提示。例如，如果从智能代理151接收到提示提供请求，则提示提供器模块155c_1可以将提示生成请求发送到情境提示生成模块155c_2。如果接收到提示生成请求，则情境提示生成模块155c_2可以通过使用条件检查模块155c_3从情境模块155a和角色模块155b接收与当前状态相对应的信息。条件检查模块155c_3可以将接收的信息发送到条件模型模块155c_4，并且条件模型模块155c_4可以通过使用该信息在一条件下以高可用性的顺序、为要提供给用户的提示中的提示分配优先级。情境提示生成模块155c_2可以验证条件并且可以生成与当前状态相对应的提示。情境提示生成模块155c_2可以将生成的提示发送到提示提供器模块155c_1。提示提供器模块155c_1可以依赖于指定的规则对提示进行排序，并且可以将该提示发送到智能代理151。
根据一些实施例，提示提供器模块155c_1可以生成多个情境提示，并且可以依赖于指定的规则向多个情境提示分配优先级。根据至少一个实施例，提示提供器模块155c_1可以首先向用户提供多个情境提示中优先级高的情境提示。
根据一些实施例，用户终端100可以根据使用频率提议提示。例如，如果从智能代理151接收到提示提供请求，则提示提供器模块155c_1可以将提示生成请求发送到重用提示生成模块155c_5。如果接收到提示生成请求，则重用提示生成模块155c_5可以从角色模块155b接收用户信息。例如，重用提示生成模块155c_5可以接收包括在角色模块155b的用户的偏好信息中的路径规则、包括在路径规则中的参数、应用的执行频率以及关于应用被使用的时间和空间的信息。重用提示生成模块155c_5可以生成与接收的用户信息相对应的提示。重用提示生成模块155c_5可以将生成的提示发送到提示提供器模块155c_1。提示提供器模块155c_1可以对提示进行分类并且可以将提示发送到智能代理151。
根据一些实施例，用户终端100可以提议与新功能相关联的提示。例如，如果从智能代理151接收到提示提供请求，则提示提供器模块155c_1可以向介绍提示生成模块155c_6发送提示生成请求。介绍提示生成模块155c_6可以向提议服务器400发送介绍提示提供请求，并且可以从提议服务器400接收关于要介绍的功能的信息。例如，提议服务器400可以存储关于要介绍的功能的信息，并且与要介绍的功能相关联的提示列表可以由服务运营商更新。介绍提示生成模块155c_6可以将生成的提示发送到提示提供器模块155c_1。提示提供器模块155c_1可以对提示进行分类并且可以将提示发送到智能代理151。
这样，提议模块155c可以向用户提供由情境提示生成模块155c_2、重用提示生成模块155c_5或者介绍提示生成模块155c_6生成的提示。例如，提议模块155c可以将生成的提示显示在操作智能代理151的应用中，并且可以通过应用从用户接收用于选择提示的输入。
在下文中，将参照图9的非限制性示例来描述通过使用通知来提供提示的用户终端的配置。
图9以框图格式示出根据本公开的一些实施例的用户终端100包括的应用910和框架920。
参照图9，用户终端100可以包括应用910和框架920。尽管在图9中未示出，但是应用910和框架920可以与原生地提供给上述用户终端100的元件合作地进行操作。
根据本公开的一些实施例，应用910可以将由应用910生成的通知事件发送到框架920，并且可以对应于图2的应用141或143，作为存储在用户终端100的存储器140中并且能够由处理器执行的程序。根据实施例，应用910可以包括电话910a、消息910b、智能管理器910c等。
根据本公开的一些实施例，框架920可以包括通知管理模块921、智能服务模块922等。
根据本公开的特定实施例，通知管理模块921可以接收由用户终端100生成的通知事件以生成通知对象，可以将通知对象发送到提议模块922c以及可以在通知栏中显示通知情境。例如，通知管理模块921可以接收由应用910生成的通知事件。
根据特定实施例，通知对象可以包括：定义了通知对象的通知ID的参数、定义了在通知栏中显示的图标的图标参数、定义了在通知栏中显示的标题的标题参数、定义了在通知栏中显示的文本的文本参数、定义了在选择通知栏中显示的通知对象的情况下要执行的任务的待定意图参数等。
根据各种实施例，待定意图参数中定义的任务可以是与通知相关联的任务，并且可以在待定意图参数中定义多个任务。例如，文本消息通知对象包括的待定意图参数可以定义启动文本消息应用的任务、执行响应操作的任务等。
根据本公开的至少一个实施例，智能服务模块922可以包括角色模块922a、情境模块922b、提议模块922c等。根据本公开的各种实施例，角色模块922a可以管理利用用户终端100的用户的个人信息，并且可以对应于图2的角色模块155b。例如，角色模块922a可以收集用户终端100的使用信息和执行结果以管理用户的个人信息。
根据本公开的一些实施例，情境模块922b可以从应用910或设备平台收集应用910或设备平台的当前状态，并且可以将收集的当前状态返回给智能代理；并且情境模块922b可以对应于图2的情境模块155a。例如，情境模块922b可以接收指示应用的当前状态的情境信息以收集应用的当前状态。
根据本公开的一些实施例，提议模块922c可以预测用户的意图以向用户推荐指令；并且提议模块922c可以对应于图2的提议模块155c。例如，提议模块922c可以考虑用户的当前状态(例如，时间、地点、情境或应用)向用户推荐该指令。根据实施例，提议模块922c推荐的指令可以用作允许用户执行特定功能的提示。
根据本公开的至少一个实施例，为了通过使用通知来提供提示的目的，需要基于通知情境来生成提示，并且需要定义在已经选择提示时要执行的动作。在下文中，将参照图10描述通过使用通知来生成提示的提议模块的配置。
图10以框图格式示出根据本公开的各种实施例的提议模块。
参照图10的非限制性示例，提议模块1030可以连接到智能代理1010或通知管理模块1040。提议模块1030可以通过使用从通知管理模块1040接收的通知来生成提示，并且可以将生成的提示提供给智能代理1010。
根据特定实施例，提议模块1030可以包括提示提供器模块1031、情境提示生成模块1032、条件检查模块1033、条件模型模块1034、重用提示生成模块1035、介绍提示生成模块1036、通知提示生成模块1037、通知检查模块1038或通知数据库1039。
根据本公开的至少一个实施例，提示提供器模块1031可以对应于图8的提示提供器模块155c_1，并且可以向用户提供提示。例如，提示提供器模块1031可以接收从情境提示生成模块1032、重用提示生成模块1035、介绍提示生成模块1036或通知提示生成模块1037生成的提示以向用户提供提示。
根据图10的非限制性示例，情境提示生成模块1032可以对应于图8的情境提示生成模块155c_2，并且可以通过条件检查模块1033和条件模型模块1034依赖于当前状态生成要被推荐的提示。条件检查模块1033可以通过智能服务模块922的情境模块922b或角色模块922a接收与当前状态相对应的信息，并且条件模型模块1034可以通过使用接收的信息来设置条件模型。例如，条件模型模块1034可以通过在向用户提供提示的时间点确定时间、位置、情境、正在执行的应用等，按照优先顺序向用户提供可能在相对应的条件下使用的提示。
根据本公开的各种实施例，重用提示生成模块1035可以对应于图8的重用提示生成模块155c_5，并且可以生成依赖于当前状态、使用频率或使用历史要推荐的提示。例如，重用提示生成模块1035可以考虑用户的使用模式来生成提示。
根据本公开的特定实施例，介绍提示生成模块1036可以对应于图8的介绍提示生成模块155c_6，并且可以生成用于向用户介绍新功能和被另一用户重度利用的功能的提示。例如，用于介绍新功能的提示可以包括智能代理的介绍(例如，操作方法)。
根据本公开的一些实施例，通知检查模块1038可以存储在特定时间期间从通知管理模块1040接收的通知对象。根据至少一个实施例，如果经过了特定时间，则通知检查模块1038可以删除存储的通知对象。通知检查模块1038可以响应于提示提供器模块1031的请求，将存储的通知对象发送到通知提示生成模块1037。
根据本公开的各种实施例，通知提示生成模块1037可以通过使用通知检查模块1038或通知数据库1039基于通知对象来生成提示。通知提示生成模块1037可以解析从通知检查模块1038接收的通知对象，以将通知对象参数发送到提示服务器1050，并且可以从提示服务器1050接收任务。图10的非限制性示例将提示服务器1050和智能服务器1060示出为分开的服务器。然而，根据各种实施例，智能服务器1060可以包括提示服务器1050。根据各种实施例，在智能服务器1060包括提示服务器1050的情况下，通知提示生成模块1037可以解析从通知检查模块1038接收的通知对象，以将通知对象参数发送到智能服务器1060，并且可以从智能服务器1060接收任务。
根据一些实施例，通知提示生成模块1037可以接收与用户终端的状态相关联的信息，并且可以通过使用与用户终端的状态相关联的信息来选择从提示服务器1050接收的任务的至少一部分。
根据本公开的特定实施例，通知数据库1039可以存储关于能够由终端生成的通知的信息。例如，通知数据库1039可以存储通知对象ID、与通知对象ID相对应的提示消息或者当与通知对象ID相对应的提示被选择时执行的任务。根据一些实施例，通知数据库1039可以存储由通知对象ID、提示消息和任务组成的一个集合。换句话说，提示消息和任务中的每个可以对应于通知对象ID。根据实施例，通知数据库1039可以存储多个集合，多个集合中的每个由通知对象ID、提示消息和任务组成。
根据本公开的各种实施例，通知数据库1039可以存储多个任务。根据一些实施例，多个任务可以包括多个任务集合，多个任务集合中的每个包括一个或多个任务。根据一些实施例，任务集合可以分别对应于域。根据至少一个实施例，域中的每个可以对应于应用程序。
例如，多个任务可以包括：第一任务集合，该第一任务集合包括与发送或接收消息相关联的一个或多个任务；以及第二任务集合，该第二任务集合包括与搜索相关联的一个或多个任务。根据一些实施例，第一任务集合可以对应于消息发送/接收域，而第二任务集合可以对应于搜索域。根据各种实施例，消息发送/接收域可以对应于消息应用程序，并且搜索域可以对应于互联网应用程序。
根据本公开的至少一个实施例，通知数据库1039可以由外部服务器管理，并且可以从外部服务器周期性地接收关于通知的信息。
根据本公开的特定实施例，通知数据库1039可以由电子设备自身来管理。在通知数据库1039由电子设备自身管理的情况下，通知数据库1039可以在制造电子设备的时间点存储与预加载应用相关联的通知信息。在电子设备中安装新应用的情况下，电子设备可以在安装新应用的时间点更新通知数据库1039中与新应用相关联的通知信息。
根据本公开的各种实施例，通知管理模块1040可以从应用1020或电子设备的内部接收通知事件，以将与通知事件相关联的通知对象提供给通知检查模块1038。
在下文中，将参照图11的非限制性示例来描述用户终端通过使用通知来生成提示的方法。
图11是示出根据本公开的一些实施例的通过使用通知提供提示的方法的操作的流程图。
在操作1101中，通知管理模块1040可以从应用1020接收通知事件。
根据一些实施例，通知事件可以是应用1020通过无线通信电路从用户终端外部接收的通知事件。例如，从用户终端外部接收的通知事件可以包括与呼叫、短消息、即时消息的接收等相关联的通知事件。
根据各种实施例，通知事件可以是从用户终端内部生成的通知事件。例如，从用户终端内部生成的通知事件可以包括与用户终端的电力管理、存储器状态、安全性等相关联的通知事件。
在操作1102中，通知管理模块1040可以将与通知事件相关联的通知对象提供给通知检查模块1038。根据特定实施例，通知检查模块1038可以存储在特定时间期间接收的通知对象，并且可以将通知对象发送到通知提示生成模块1037。
在操作1103中，通知提示生成模块1037可以解析从通知检查模块1038接收的通知对象以获得一个或多个参数。根据一些实施例，智能代理1010可以请求提示提供器模块1031生成提示。提示提供器模块1031可以检查存储在通知检查模块1038中的通知对象是否存在，并且可以请求通知检查模块1038将存储的通知对象发送到通知提示生成模块1037。
根据各种实施例，通知提示生成模块1037获得的参数可以包括：定义了通知对象的通知ID的通知ID参数、定义了通知栏中显示的图标的图标参数、定义了通知栏中显示的标题的标题参数、定义了通知栏中显示的文本的文本参数、定义了在选择通知栏中显示的通知对象的情况下要执行的任务的待定意图参数等。
在操作1104中，通知提示生成模块1037可以通过使用框架基于获得的参数来选择一个或多个任务。
根据一些实施例，通知提示生成模块1037可以通过使用无线通信电路将获得的参数发送到提示服务器1050，并且可以从提示服务器1050接收至少一个任务。通知提示生成模块1037可以从接收的至少一个或多个任务当中选择与在操作1101中接收的事件相关联的任务。例如，通知提示生成模块1037获取的通知对象的文本参数中定义的文本可以读作“我们明天将在哪里见面？(where are we going to meet tomorrow？)”，待定意图参数中定义的任务可以是在选择显示器中显示的通知对象的情况下启动消息应用的任务。根据本公开的至少一个实施例，通知提示生成模块1037可以向提示服务器1050发送说明“我们明天将在哪里见面？”的文本参数和定义了任务的待定意图参数。提示服务器1050可以向通知提示生成模块1037发送：基于定义了任务的待定意图参数启动消息应用以发送说明“让我们在江南见面吧，(let’s meet in Gangnam,)”的响应回答的任务；基于说明“我们明天将在那里见面？”的文本参数启动地图应用以搜索餐厅的任务；启动互联网应用以搜索推荐地点的任务等。通知提示生成模块1037可以从接收的任务当中选择启动与接收的事件相关联的地图应用以搜索餐厅的任务。
根据各种实施例，通知提示生成模块1037可以基于从情境模块155a接收的情境信息(例如，关于在用户终端正的当前状态的信息，例如，在执行用户终端时应用程序的信息等)来选择任务。
根据一些实施例，通知提示生成模块1037可以基于获得的参数从存储在通知数据库1039中的多个任务中选择一个或多个任务。例如，通知数据库1039可以存储：第一数据，包括对应于低电池等级通知ID的说明“执行省电模式”的提示消息以及执行省电模式的任务；或第二数据，包括对应于缺少存储空间的通知ID的说明“删除临时文件”的提示消息以及删除临时文件的任务。在通知提示生成模块1037在操作1103中获得低电池等级通知ID的情况下，通知提示生成模块1037可以从存储在通知数据库1039中的第一数据或第二数据选择用于执行对应于低电池等级通知ID的省电模式的任务。
根据本公开的特定实施例，通知数据库1039可以存储多个任务。根据至少一个实施例，多个任务可以包括多个任务集合，多个任务集合中的每个包括一个或多个任务。根据各种实施例，任务集合可以分别对应于域。根据一些实施例，域中的每个可以对应于应用程序。
例如，多个任务可以包括：第一任务集合，包括与发送或接收消息相关联的一个或多个任务；以及第二任务集合，包括与搜索相关联的一个或多个任务。根据至少一个实施例，第一任务集合可以对应于消息发送/接收域，而第二任务集合可以对应于搜索域。根据各种实施例，消息发送/接收域可以对应于消息应用程序，而搜索域可以对应于互联网应用程序。
根据特定实施例，在接收的通知事件对应于消息发送/接收域的情况下，通知提示生成模块1037可以从第一任务集合中选择一个或多个任务。根据至少一个实施例，在接收的通知事件对应于搜索域的情况下，通知提示生成模块1037可以从第二任务集合选择一个或多个任务。
根据各种实施例，通知提示生成模块1037可以进一步基于与接收的通知事件相对应的应用程序来选择一个或多个任务。例如，接收的通知事件可以是消息应用程序生成的消息接收事件。通知提示生成模块1037可以基于与消息接收事件相对应的消息应用程序，选择与消息发送/接收域相对应的消息发送和接收相关联的一个或多个任务。
在操作1105中，智能代理1010可以选择对指示选择的一个或多个任务当中的至少一个任务的自然语言表达的请求。
根据一些实施例，智能代理1010可以接收从通知提示生成模块1037选择的一个或多个任务，并且智能代理1010可以向智能服务器1060做出对指示通过使用无线通信电路接收的一个或多个任务当中的至少一个任务的自然语言表达的请求。自然语言表达可以是表达提供给用户的提示的形式，并且任务可以是提示被选择时用户终端要执行的任务。当对自然语言表达做出请求时，智能代理1010可以将在操作1103中获得的一个或多个参数发送到智能服务器1060，并且可以从智能服务器1060接收自然语言表达作为对一个或多个参数的传输的响应。例如，智能代理1010可以向智能服务器1060发送定义了启动地图应用以搜索餐厅的任务的待定意图参数，或者定义了启动互联网应用以搜索推荐的地点的任务的待定意图参数务；并且智能代理1010可以请求指示任务的自然语言表达。智能代理1010可以将从智能服务器1060接收的自然语言表达发送到通知提示生成模块1037。通知提示生成模块1037可以选择说明“通过使用地图应用搜索餐厅”的接收的自然语言表达以及说明“搜索推荐的地点”的接收的自然语言表达。然而，在各种实施例中，用户终端的处理器150可以生成自然语言表达。
在操作1106中，处理器150可以将包括选择的自然语言表达的用户界面提供给触摸屏显示器。例如，处理器150可以在显示器中显示说明“通过使用地图应用搜索餐厅”的自然语言表达或说明“搜索推荐的地点”的自然语言表达。
在操作1107中，处理器150可以基于在触摸屏显示器上提供的自然语言表达的用户输入来执行至少一个任务。例如，处理器150可以接收在触摸屏显示器上提供的说明“通过使用地图应用搜索餐厅”的自然语言表达和说明“搜索推荐的地点”的自然语言表达当中的一个的用户输入。在处理器150接收说明“通过使用地图应用搜索餐厅”的自然语言表达的用户输入的情况下，处理器150可以执行启动地图应用以搜索餐厅的任务。
在下文中，将参照附图来描述根据本公开的一些实施例的根据通知生成提示的用户终端的说明性示例。
图12A至图12D示出根据本公开的一些实施例的基于与用户终端的安全性相关联的通知来提供提示并且执行根据提示选择的任务的屏幕。
根据本公开的特定实施例，诸如图12A所示，用户终端的提示提供器模块1031可以在显示器中显示通过使用情境提示生成模块、重用提示生成模块或者介绍提示生成模块生成的提示1210。
根据特定实施例，如图12A所示，智能应用的UI可以显示在显示器的一部分中，并且用户终端的提示提供器模块1031可以在智能应用的UI中显示提示1210。
根据本公开的各种实施例，如图12B所示，智能应用的UI可以显示在整个显示器中，并且用户终端的提示提供器模块1031可以在智能应用的UI中显示提示1220。
如图12C所示，通知管理模块1040可以在通知栏中显示与接收的通知事件相关联的通知对象的通知情境。通知检查模块1038可以将从通知管理模块1040接收的通知对象发送到通知提示生成模块1037。
根据本公开的一些实施例，通知提示生成模块1037可以解析通知对象以获得定义了说明“发生对用户终端的安全威胁”的文本的参数以及定义了选择通知情境时启动安全相关应用的任务的待定意图参数。
根据本公开的至少一个实施例，通知提示生成模块1037可以选择基于获得的参数验证恶意代码的任务和执行用户终端的安全检查的任务。例如，如果选择通知栏中显示的通知情境，则可以启动安全相关应用。通知提示生成模块1037可以基于定义了启动安全相关应用的任务的待定意图参数，来从存储在存储器中的多个任务当中选择验证恶意代码的任务和执行用户终端的安全检查的任务。
根据本公开的一些实施例，智能代理1010可以将获得的参数发送到智能服务器1060，并且可以接收指示将自然语言表达发送到通知提示生成模块1037的任务的自然语言表达。通知提示生成模块1037可以选择接收的自然语言表达。如图12C所示，处理器150可以在显示器中显示用户界面1240，包括说明“验证恶意代码”的自然语言表达和说明“执行终端的安全检查”的自然语言表达。
根据本公开的特定实施例，处理器150可以接收包括说明“执行终端的安全检查”的自然语言表达的用户界面的用户输入。如图12D所示，处理器150可以基于接收的用户输入来执行用户终端的安全检查，以显示通过执行安全检查获得的结果1250。
图13A至图13C示出根据本公开的特定实施例的依赖于与用户终端的电力相关联的通知来提供提示并且执行根据提示选择的任务的屏幕。
根据本公开的一些实施例，诸如图13A所示，提示提供器模块1031可以在显示器中显示通过使用情境提示生成模块、重用提示生成模块或者介绍提示生成模块生成的提示1310。
如图13B的非限制性示例所示，通知管理模块1040可以在通知栏中显示与接收的通知事件相关联的通知对象的通知情境1320。通知检查模块1038可以从通知管理模块1040接收通知对象，以将通知对象发送到通知提示生成模块1037。
根据本公开的各种实施例，通知提示生成模块1037可以解析通知对象以获得参数(在该参数中定义了说明“用户终端正在执行的两个应用正在耗尽电池”的情境)以及待定意图参数(在该待定意图参数定义了选择通知情境时启动电池相关应用的任务)。
根据本公开的一些实施例，通知提示生成模块1037可以选择基于获得的参数执行省电模式的任务和显示耗尽电池的应用的任务。例如，如果选择通知栏中显示的通知情境，则可以启动电池相关应用。通知提示生成模块1037可以基于定义了启动电池相关应用的任务的待定意图参数，来从存储在存储器中的多个任务当中选择执行省电模式的任务和显示耗尽电池的应用和电池使用量的任务。
根据本公开的一些实施例，智能代理1010可以将获得的参数发送到智能服务器1060，并且可以接收指示将自然语言表达发送到通知提示生成模块1037的任务的自然语言表达。通知提示生成模块1037可以选择接收的自然语言表达。如图13B所示，处理器150可以在显示器中显示包括说明“执行省电模式”的自然语言表达或者说明“显示电池消耗”的自然语言表达的用户界面1330。
根据本公开的至少一个实施例，处理器150可以接收包括说明“显示电池消耗”的自然语言表达的用户界面的用户输入。处理器150可以基于接收的用户输入来执行显示耗尽用户终端的电池的应用和电池使用量的任务。此时，处理器150可以不启动单独的应用程序，而是从应用接收信息，如图13C所示，以显示耗尽用户终端的电池的应用和电池使用量1340。
根据特定实施例，处理器150可以基于任务的执行结果来生成提示，如图13C所示，并且可以执行显示说明“显示主屏幕”的自然语言表达和显示“结束Facebook”的自然语言表达1350的任务。
图14A至图14C示出根据本公开的特定实施例的基于接收的文本消息通知来提供提示并且执行根据提示选择的任务的屏幕。
根据本公开的一些实施例，通知管理模块1040可以从应用1020接收从用户终端外部接收的消息接收事件。如图14A所示，通知管理模块1040可以在通知栏中显示与接收的通知事件相关联的通知对象的通知情境1410。通知检查模块1038可以从通知管理模块1040接收通知对象，以将通知对象发送到通知提示生成模块1037。
根据本公开的各种实施例，通知提示生成模块1037可以解析通知对象以获得文本参数(在该文本参数中，说明“我们明天将在哪里见面？”的文本被定义为显示在通知栏中的文本)以及待定意图参数(在该待定意图参数中，定义了当选择通知情境时启动消息应用的任务和在从通知对象中选择“响应”时生成用于接收文本的区域的任务)。
根据本公开的特定实施例，通知提示生成模块1037可以向提示服务器1050发送文本参数(在该文本参数中，定义了说明“我们明天将在哪里见面？”的文本)以及待定意图参数(在该待定意图参数中，定义了当选择通知情境时启动消息应用的任务和当从通知对象中选择“响应”时生成用于接收文本的区域的任务)。
提示服务器1050可以向通知提示生成模块1037发送基于接收的参数启动消息应用以发送响应的任务、启动地图应用以搜索餐厅和咖啡店的任务以及启动互联网应用以搜索推荐的地点的任务。
根据本公开的特定实施例，通知提示生成模块1037可以在接收的多个任务当中选择发送说明“让我们在江南见面吧”的响应的任务、启动地图应用以搜索餐厅和咖啡店的任务以及启动互联网应用以搜索推荐的地点的任务。
根据本公开的一些实施例，智能代理1010可以将获得的参数发送到智能服务器1060，并且可以接收指示将自然语言表达发送到通知提示生成模块1037的任务的自然语言表达。通知提示生成模块1037可以选择接收的自然语言表达。如图14A所示，处理器150可以在显示器中显示包括说明“发送说明‘让我们在江南见面吧’的消息”的自然语言表达1420和说明“搜索地点”的自然语言表达1430的的用户界面。
根据本公开的各种实施例，处理器150可以接收包括说明“搜索地点”的自然语言表达的用户界面的用户输入。如图14B所示，处理器150可以执行基于接收的用户输入启动地图应用以搜索餐厅和咖啡店的任务，以及如图14C所示，处理器150可以执行启动互联网应用以搜索推荐的地点的任务。
图15A至图15B示出根据本公开的实施例的基于接收的文本消息通知来提供提示并且执行根据提示选择的任务的屏幕。
如图15A的非限制性示例所示，通知管理模块1040可以在显示器的提供智能服务的区域中显示与接收的通知事件相关联的通知对象的通知情境1510。通知检查模块1038可以从通知管理模块1040接收通知对象，以将通知对象发送到通知提示生成模块1037。
根据本公开的各种实施例，通知提示生成模块1037可以解析通知对象以获得文本参数(在该文本参数中，说明“我们明天将在哪里见面？”的文本被定义为显示在通知栏中的文本)以及待定意图参数(在该待定意图参数中，定义了当选择通知情境时启动消息应用的任务和在从通知对象中选择“响应”时生成用于接收文本的区域的任务)。
根据本公开的各种实施例，诸如参照图14A至图14C所描述，通知提示生成模块1037可以在接收的多个任务当中选择发送说明“让我们在江南见面吧”的响应的任务、启动地图应用以搜索餐厅和咖啡店的任务以及启动互联网应用以搜索推荐的地点的任务。
根据本公开的各种实施例，智能代理1010可以将获得的参数发送到智能服务器1060，并且可以接收指示将自然语言表达发送到通知提示生成模块1037的任务的自然语言表达。通知提示生成模块1037可以选择接收的自然语言表达。如图15A所示，处理器150可以在显示器中显示包括说明“发送说明‘让我们在江南见面吧’的消息”的自然语言表达1520和说明“搜索地点”的自然语言表达1530的用户界面。
根据本公开的各种实施例，处理器150可以接收包括说明“发送说明‘让我们在江南见面吧’的消息”的自然语言表达的用户界面的用户输入。如图15B所示，处理器150可以基于接收的用户输入执行发送说明“让我们在江南见面吧”的响应的任务。此时，处理器150可以不执行消息应用，而是显示响应被发送到显示器的提供智能服务的区域的屏幕。
图16A至图16C示出根据本公开的实施例的基于在音乐回放期间生成的通知的类型来提供提示的屏幕。
当如图16A所示执行音乐回放应用时，如图16B的非限制性示例所示，通知管理模块1040可以在通知栏中显示与接收的通知事件相关联的通知对象的通知情境1610。通知检查模块1038可以从通知管理模块1040接收通知对象，以将通知对象发送到通知提示生成模块1037。
根据本公开的各种实施例，通知提示生成模块1037可以解析通知对象以获得文本参数，在该文本参数中，说明“看起来外面雨很大”的文本被定义为在通知栏中显示的文本。
根据本公开的一些实施例，通知提示生成模块1037可以向提示服务器1050发送文本参数，在该文本参数中，定义了说明“看起来外面雨很大”的文本。
根据本公开的至少一个实施例，提示服务器1050可以向通知提示生成模块1037发送基于说明“看起来外面雨很大”的文本来启动天气应用以显示天气信息的任务以及在音乐回放应用中搜索适合雨天的歌曲以播放歌曲的任务。
根据本公开的特定实施例，通知提示生成模块1037可以基于关于在用户终端中正在执行的应用是音乐回放应用的事实的信息(即情境信息)，在接收的多个任务当中选择在音乐回放应用中搜索适合雨天的歌曲以播放歌曲的任务。
根据本公开的一些实施例，智能代理1010可以将获得的参数发送到智能服务器1060，并且可以接收指示将自然语言表达发送到通知提示生成模块1037的任务的自然语言表达。通知提示生成模块1037可以选择接收的自然语言表达。如图16B所示，处理器150可以在显示器中显示包括说明“播放适合雨天的歌曲”的自然语言表达的用户界面1620。
根据本公开的特定实施例，处理器150可以接收包括说明“播放适合雨天的歌曲”的自然语言表达的用户界面的用户输入。处理器150可以执行在音乐回放应用中搜索适合雨天的歌曲以播放歌曲的任务。
在音乐回放应用正在执行的同时，如图16C所示，通知管理模块1040可以在通知栏中显示与接收的通知事件相关联的通知对象的通知情境1630。通知检查模块1038可以从通知管理模块1040接收通知对象，以将通知对象发送到通知提示生成模块1037。
根据本公开的一些实施例，通知提示生成模块1037可以解析通知对象以获得定义了说明“用户终端的电池等级低”的文本的参数。
根据本公开的至少一个实施例，通知提示生成模块1037可以基于获得的参数或者关于在用户终端中正在执行的应用是音乐回放应用的事实的信息，在存储在存储器中的多个任务当中选择执行省电模式的任务和减小音量并且终止的音乐回放应用的歌词显示的任务。
根据本公开的一些实施例，智能代理1010可以将获得的参数发送到智能服务器1060，并且可以接收指示将自然语言表达发送到通知提示生成模块1037的任务的自然语言表达。通知提示生成模块1037可以选择接收的自然语言表达。如图16C所示，处理器150可以在显示器中显示包括说明“执行省电模式”的自然语言表达和说明“减少音量并且关闭歌词”的自然语言表达的用户界面1640。
根据本公开的至少一个实施例，处理器150可以接收包括说明“执行省电模式”的自然语言表达的用户界面和说明“减少音量并且关闭歌词”的自然语言表达的用户界面的一个用户输入。处理器150可以执行与用户输入相对应的任务。
图17A至图17B示出根据本公开的实施例的基于通过对话管理器接收的用户输入和接收的文本消息通知来提供提示的屏幕。
如图17A的非限制性示例所示，通过对话管理器接收的用户的输入情境1710可以显示在显示器的提供智能服务的区域中。通知管理模块1040可以在通知栏中显示与接收的通知事件相关联的通知对象的通知情境1720。通知检查模块1038可以从通知管理模块1040接收通知对象，以将通知对象发送到通知提示生成模块1037。
根据本公开的特定实施例，通知提示生成模块1037可以解析通知对象以获得文本参数(在该文本参数中，说明“看起来像外面雨很大”的文本被定义为显示在通知栏中的文本)以及待定意图参数(在该待定意图参数中，定义了当选择通知情境时启动消息应用的任务和在从通知对象中选择“响应”时生成用于接收文本的区域的任务)。
根据本公开的各种实施例，通知提示生成模块1037可以将获得的参数发送到提示服务器1050。此时，智能代理1010可以向提示服务器1050发送说明“通过使用BT播放音乐”的文本作为通过对话管理器接收的用户输入。
根据本公开的至少一个实施例，提示服务器1050可以分别地基于来自接收的参数的说明“看起来外面雨很大”的文本和说明“通过使用BT播放音乐”的文本，向通知提示生成模块1037发送启动消息应用的任务以及在音乐回放应用中搜索适合雨天的歌曲以播放歌曲的任务。
根据本公开的特定实施例，通知提示生成模块1037可以在接收的多个任务当中选择启动消息应用的任务以及在音乐回放应用中搜索适合雨天的歌曲以播放歌曲的任务。
根据本公开的一些实施例，智能代理1010可以将获得的参数发送到智能服务器1060，并且可以接收指示用于将自然语言表达发送到通知提示生成模块1037的任务的自然语言表达。通知提示生成模块1037可以选择接收的自然语言表达。如图17B的非限制性示例所示，处理器150可以在显示器中显示包括说明“启动消息应用”的自然语言表达和说明“播放适合雨天的歌曲”的自然语言表达的的用户界面1730作为提示。
图18A至图18C示出根据本公开的一些实施例的基于系统通知来提供提示并且执行根据提示选择的任务的屏幕。
如图18A的非限制性示例所示，通知管理模块1040可以在通知栏中显示用户终端的系统通知对象(而不是应用通知对象)的通知情境1810。通知检查模块1038可以从通知管理模块1040接收通知对象，以将通知对象发送到通知提示生成模块1037。
根据本公开的各种实施例，通知提示生成模块1037可以解析通知对象以获得定义了说明“由于电池的低温而不能充电”的情境的参数。根据特定实施例，通知提示生成模块1037可以获得通知ID参数。
根据本公开的至少一个实施例，通知提示生成模块1037可以基于获得的参数在存储在存储器中的多个任务当中选择在可以进行充电的时间点显示通知的任务和终止后台应用的任务。换句话说，通知提示生成模块1037可以在存储在通知数据库1039中的任务当中选择与电池未充电通知的通知ID参数相对应的任务。在另一个实施例中，通知提示生成模块1037可以将获得的参数发送到提示服务器1050，并且可以从提示服务器1050接收的任务当中选择至少一个任务。
根据本公开的各种实施例，智能代理1010可以将获得的参数发送到智能服务器1060，并且可以接收指示用于将自然语言表达发送到通知提示生成模块1037的任务的自然语言表达。如图18B所示，处理器150可以在显示器中显示说明“让我知道何时可充电”的自然语言表达和说明“终止后台应用”的自然语言表达作为提示1820。
根据本公开的至少一个实施例，处理器150可以接收包括说明“让我知道何时可充电”的自然语言表达的用户界面1830的用户输入，并且如图18C所示，可以执行在可以进行充电的时间点显示通知1840的任务。
根据各种实施例，通知提示生成模块1037可以基于生成通知事件的应用1020的类型来生成提示。根据实施例，根据由呼叫相关应用生成的通知的提示可以被设置为“拒绝”和“接受”。根据实施例，根据由游戏相关应用生成的通知的提示可以被设置为“启动游戏”。根据至少一个实施例，根据由音乐相关应用生成的通知的提示可以被设置为“播放歌曲”。根据一些实施例，根据由消息相关应用生成的通知的提示可以被设置为“回复”或“拨打电话”。在通知提示生成模块1037接收到由电话相关应用生成的通知对象的情况下，通知提示生成模块1037可以生成说明“拒绝”的提示。
根据特定实施例，即使选择通知对象时执行的任务没有在通知对象的参数中定义，通知提示生成模块1037也可以提供在显示通知对象之后执行的后续任务作为提示。根据各种实施例，可以基于用户的使用历史或预定义任务来确定后续任务。
根据一些实施例，在通知提示生成模块1037接收到多个通知对象的情况下，通知提示生成模块1037可以基于最近接收的通知对象生成提示。
根据至少一个实施例，在通知提示生成模块1037接收到多个通知对象的情况下，通知提示生成模块1037可以基于由用户重度使用的应用1020生成的通知对象来生成提示。
根据各种实施例，在多个应用1020中预先设置优先级并且通知提示生成模块1037接收到多个通知对象的情况下，通知提示生成模块1037可以基于预设的优先级来选择通知对象，并且可以根据选择的通知对象生成提示。
在下文中，将参照图19的非限制性示例来描述处理器依赖于提示选择来执行任务的处理。
图19示出根据本公开的各种实施例的依赖于提示选择执行任务的处理。
如果用户终端1920的智能代理1921在操作1951中接收到与提示相关联的用户选择(例如，包括自然语言表达的用户界面)，则智能代理1921可以在操作1952中将指示提示的文本发送到智能服务器1910的NLU模块1911。
NLU模块1911可以分析接收的提示以生成用户意图和参数，并且可以将用户意图和参数发送到路径规划器模块1912。在操作1953中，路径规划器模块1912可以基于用户意图和参数生成路径规则，以将路径规则发送到智能代理1921。
在操作1954中，智能代理1921可以将接收的路径规则发送到执行管理器模块1922。在操作1955中，接收路径规则的执行管理器模块1922可以向每个应用1924的执行服务1924a做出对动作执行的请求。执行服务1924a可以在操作1956中执行动作1924b，可以在操作1957中接收执行结果，以及可以在操作1958中将执行结果发送到执行管理器模块1922。
在操作1959中，接收执行结果的执行管理器模块1922可以向智能代理1921发送执行完成消息。
根据一些实施例，在接收路径规则之后，在操作1960中，智能代理1921可以将路径规则发送到NLG模块1913。NLG模块1913可以将路径规则转换为自然语言格式的文本以将转换的路径规则发送到TTS模块1914。在操作1961中，TTS模块1914可以将文本转换为语音信号以将语音信号发送到智能代理1921。在操作1962中，智能代理1921可以将接收的语音信号提供给用户。
根据至少一个实施例，在执行路径规则之后，在操作1963中，执行管理器模块1922可以将执行完成日志发送到智能服务模块1923。
图20以框图格式示出根据本公开的各种实施例的网络环境2000中的电子设备2001。根据本公开中公开的各种实施例，电子设备2001可以包括各种类型的设备。例如，电子设备2001可以包括以下中的至少一个：便携式通信设备(例如，智能电话)、计算机设备(例如，个人数字助理(PDA)、平板式个人计算机(PC)、膝上型PC、台式PC、工作站或服务器)、便携式多媒体设备(例如，电子书阅读器或MP3播放器)、便携式医疗设备(例如，心率、血糖、血压或温度计)、相机或可穿戴设备。可穿戴设备可以包括以下中的至少一个：附件类型设备(例如，钟表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(HMD))、单件织物或衣服类型的设备(例如电子衣服)、身体附着型设备(例如，皮肤垫或纹身)或生物可植入电路。根据实施例，电子设备可以包括例如电视(TV)、数字多功能盘(DVD)播放器、音频设备、音频附件设备(例如，扬声器、头戴式耳机或耳机)、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、游戏终端、电子词典、电子钥匙、摄录机或电子相框。
根据另一个实施例，电子设备可以包括以下中的至少一个：导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)(例如，用于汽车、船舶或飞机的黑匣子)、车辆信息娱乐设备(例如，车辆的平视显示器)、工业或家用机器人、无人机、自动柜员机(ATM)、销售点(POS)设备、测量设备(例如，水表，电表或燃气表)或物联网设备(例如，灯泡、喷水装置、火警、恒温器或路灯)。根据本公开的实施例，电子设备不限于上述设备。例如，类似于具有测量个人生物信息(例如，心率或血糖)功能的智能电话，电子设备可以以复杂的方式提供多个设备的功能。在本公开中，本文使用的术语“用户”可以是指使用电子设备的人或者可以是指使用电子设备的设备(例如，人工智能电子设备)。
参照图20的非限制性示例，在网络环境2000内，电子设备2001(例如，用户终端100)可以通过本地无线通信2098与电子设备2002通信，或者可以通过网络2099与电子设备2004或服务器2008(例如，智能服务器200)进行通信。根据实施例，电子设备2001可以通过服务器2008与电子设备2004进行通信。
根据一些实施例，电子设备2001(例如，用户终端100)可以包括总线2010、处理器2020、存储器2030、输入设备2050(例如，微型电话或鼠标)、显示器2060、音频模块2070、传感器模块2076、接口2077、触觉模块2079、相机模块2080、电源管理模块2088、电池2089、通信模块2090和用户识别模块2096。根据实施例，电子设备2001可以不包括上述元件中的至少一个(例如，显示器2060或相机模块2080)，或者可以进一步包括其他元件。
例如，总线2010可以互连上述元件2020至2090，并且可以包括用于在上述元件之间传送信号(例如，控制消息或数据)的电路。
处理器2020(例如，处理器150)可以包括相机或通信处理器(CP)的中央处理单元(CPU)、应用处理器(AP)、图形处理单元(GPU)、图像信号处理器(ISP)中的一个或多个。根据实施例，处理器2020可以用片上系统(SoC)或系统级封装(SiP)来实现。例如，处理器2020可以驱动操作系统(OS)或应用以控制连接到处理器2020的另一元件(例如，硬件或软件元件)中的至少一个，并且可以处理和计算各种数据。处理器2020可以将从其他元件(例如，通信模块2090)中的至少一个接收的指令或数据加载到易失性存储器2032中以处理指令或数据，并且可以将处理结果数据存储到非易失性存储器2034中。
存储器2030(例如，存储器140)可以包括例如易失性存储器2032或非易失性存储器2034。易失性存储器2032可以包括例如随机存取存储器(RAM)(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)或同步DRAM(SDRAM))。非易失性存储器2034可以包括例如可编程只读存储器(PROM)、一次性可编程只读存储器(OTPROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器存储器(EEPROM)、掩模ROM、闪存ROM、闪存、硬盘驱动或固态驱动(SSD)。另外，根据与电子设备2001的连接，非易失性存储器2034可以以内部存储器2036的形式或仅在必要时通过连接可用的外部存储器2038的形式来配置。外部存储器2038可以还包括闪存驱动，诸如紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)或记忆棒。外部存储器2038可以以有线方式(例如，电缆或通用串行总线(USB))或无线(例如，蓝牙)方式在操作上或物理上与电子设备2001连接。
例如，存储器2030可以存储例如电子设备2001的至少一个不同的软件元件，诸如与程序2040相关联的指令或数据。程序2040可以包括例如内核2041、库2043、应用框架2045或应用程序(可互换地称为“应用”)2047。
输入设备2050可以包括麦克风、鼠标或键盘。根据实施例，键盘可以包括物理连接的键盘或通过显示器2060虚拟显示的键盘。
显示器2060可以包括显示器、全息设备或投影仪以及用于控制相关设备的控制电路。屏幕可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。根据实施例，显示器可以柔性地、透明地或可穿戴地实现。显示器可以包括：触摸电路，能够检测用户的输入，诸如手势输入、接近输入或悬停输入；或者压力传感器(可互换地为力传感器)，能够测量触摸压力的强度。触摸电路或压力传感器可以与显示器一体地实现，或者可以与显示器分开地使用至少一个传感器来实现。全息设备可以使用光的干涉在空间中显示立体图像。投影仪可以将光投影到屏幕上以显示图像。屏幕可以位于电子设备2001的内部或外部。
音频模块2070可以例如将声音转换成电信号或者将电信号转换成声音。根据实施例，音频模块2070可以通过输入设备2050(例如，麦克风)获取声音，或者可以通过包括在电子设备2001中的输出设备(未示出)(例如，扬声器或接收器)、与电子设备2001连接的外部电子设备(例如，电子设备2002(例如，无线扬声器或无线耳机))或电子设备2006(例如，有线扬声器或有线耳机)输出声音。
传感器模块2076可以测量或检测例如电子设备2001的内部操作状态(例如，功率或温度)或外部环境状态(例如，高度、湿度或亮度)，以生成与测量的状态或检测的状态的信息相对应的电信号或数据值。传感器模块2076可以包括例如手势传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、抓握传感器、接近传感器、颜色传感器(例如，红色，绿色，蓝色(RGB)传感器)、红外传感器、生物传感器(例如，虹膜传感器、指纹传感器、心率监测(HRM)传感器、电子鼻传感器、肌电图(EMG)传感器，脑电图(EEG)传感器、心电图(ECG)传感器)、温度传感器、湿度传感器、照度传感器或UV传感器中的至少一个。传感器模块2076还可以包括用于控制其中包括的至少一个或多个传感器的控制电路。根据实施例，电子设备2001可以通过使用处理器2020或与处理器2020分离的处理器(例如，传感器集线器)来控制传感器模块2076。在使用单独的处理器(例如，传感器集线器)的情况下，在处理器2020处于睡眠状态时，电子设备2001可以在不唤醒处理器2020的情况下进行操作以控制传感器模块2076的至少一部分操作或状态。
根据至少一个实施例，接口2077可以包括高清晰度多媒体接口(HDMI)、通用串行总线(USB)、光学接口、推荐标准232(RS-232)、D超小型(D-sub)、移动高清链接(MHL)接口、SD卡/MMC(多媒体卡)接口或音频接口。连接器2078可以物理地连接电子设备2001和电子设备2006。根据一些实施例，连接器2078可以包括例如USB连接器，SD卡/MMC连接器或者音频连接器(例如，头戴式耳机连接器)。
触觉模块2079可以将电信号转换成机械激励(例如，振动或运动)或转换成电激励。例如，触觉模块2079可以向用户施加触觉或运动感觉激励。触觉模块2079可以包括例如马达、压电元件或电激励器。
相机模块2080可以捕获例如静止图像和运动图片。根据实施例，相机模块2080可以包括至少一个镜头(例如，广角镜头和长焦镜头，或者前镜头和后镜头)、图像传感器、图像信号处理器或者闪光灯(例如，发光二极管或氙灯)。
管理电子设备2001的电力的电力管理模块2088可以构成电力管理集成电路(PMIC)的至少一部分。
电池2089可以包括主电池、辅助电池或燃料电池，并且可以由外部电源再充电以为电子设备2001的至少一个元件供给电力。
通信模块2090可以建立电子设备2001与外部设备(例如，第一外部电子设备2002、第二外部电子设备2004或服务器2008)之间的通信信道。通信模块2090可以通过建立的通信信道来支持有线通信或无线通信。根据实施例，通信模块2090可以包括无线通信模块2092或有线通信模块2094。通信模块2090可以通过第一网络2098(例如，诸如蓝牙或红外数据关联(IrDA)的无线局域网)或第二网络2099(例如，诸如蜂窝网络的无线广域网)与外部设备通信。
无线通信模块2092(例如，无线通信电路)可以支持例如蜂窝通信、本地无线通信、全球导航卫星系统(GNSS)通信。蜂窝通信可以包括例如长期演进(LTE)、LTE高级(LTE-A)、码分多址(CMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带WiBro)或全球移动通信系统(GSM)。本地无线通信可以包括无线保真(Wi-Fi)、WiFi Direct(无线直连)、光保真(Li-Fi)、蓝牙、蓝牙低功耗(BLE)、Zigbee(紫蜂)、近场通信(NFC)、磁安全传输(MST)、射频(RF)或体域网(BAN)。GNSS可以包括全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(北斗)、欧洲全球卫星导航系统(伽利略)等中的至少一个。在本公开中，“GPS”和“GNSS”可以互换使用。
根据一些实施例，当无线通信模块2092支持蜂窝通信时，无线通信模块2092可以例如使用用户识别模块2096来识别或认证通信网络内的电子设备2001。根据特定实施例，无线通信模块2092可以包括与处理器2020分开的通信处理器(CP)(例如，应用处理器(AP))。在这种情况下，当处理器2020处于不活动(睡眠)状态时，通信处理器可以代替处理器2020执行与电子设备2001的元件2010至2096中的至少一个相关联的至少一部分功能，以及当处理器2020处于活动状态时与处理器2020一起执行与电子设备2001的元件2010至2096中的至少一个相关联的至少一部分功能。根据各种实施例，无线通信模块2092可以包括多个通信模块，每个通信模块仅支持蜂窝通信、短距离无线通信或GNSS通信方案当中的相关通信方案。
有线通信模块2094可以包括例如包括局域网(LAN)服务、电力线通信或普通老式电话服务(POTS)。
例如，第一网络2098可以采用例如Wi-Fi直连或蓝牙用于通过电子设备2001与第一外部电子设备2002之间的无线直接连接来发送或接收指令或数据。第二网络2099可以包括用于在电子设备2001与第二电子设备2004之间发送或接收指令或数据的电信网络(例如，诸如LAN或WAN的计算机网络、互联网或电话网络)。
根据特定实施例，可以通过与第二网络连接的服务器2008在电子设备2001和第二外部电子设备2004之间发送或接收指令或数据。外部的第一外部电子设备2002和第二外部电子设备2004中的每个可以是类型与电子设备2001的类型不同或相同的设备。根据各种实施例，电子设备2001将执行的操作的全部或一部分可以由另一个或多个电子设备(例如，电子设备2002和2004或服务器2008)执行。根据实施例，在电子设备2001自动执行任何功能或服务或者响应于请求执行任何功能或服务的情况下，电子设备2001可以不在内部执行功能或服务，而是可以可选地地或附加地向另一设备(例如，电子设备2002或2004或服务器2008)发送与电子设备2001相关联的至少一部分功能的请求。其他电子设备(例如，电子设备2002或2004或服务器2008)可以执行请求的功能或附加功能，并且可以将执行结果发送到电子设备2001。电子设备2001可以使用接收的结果提供请求的功能或服务，或者可以附加地处理接收的结果以提供请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算。
根据本公开的特定实施例，电子设备(例如，用户终端100)可以包括壳体；触摸屏显示器120，通过壳体的一部分暴露；无线通信电路(例如，无线通信模块2092)，布置在壳体内部；存储器140，存储框架920；以及至少一个处理器150，电连接到触摸屏显示器120、无线通信电路(例如，无线通信模块2092)和存储器140。处理器150配置为通过无线通信电路(例如，无线通信模块2092)接收来自电子设备外部的第一事件或接收从电子设备内部生成的第二事件，向框架920提供与第一事件和第二事件当中所接收的事件相关联的通知对象，解析通知对象以获得一个或多个参数，通过使用框架920基于一个或多个参数的至少一部分选择与所接收的事件相关联的一个或多个任务，选择指示一个或多个任务中的至少一个任务的自然语言表达，通过触摸屏显示器120提供包括自然语言表达的用户界面，以及至少部分地基于在触摸屏显示器120上提供的自然语言表达的用户输入来执行至少一个任务。
根据一些实施例，处理器150可以配置为通过无线通信电路(例如，无线通信模块2092)从外部电子设备(例如，提示服务器1050或智能服务器1060)接收一个或多个任务中的至少一个任务。
根据各种实施例，处理器150可以被配置为将一个或多个参数中的至少一个参数发送到外部电子设备，并且从外部电子设备(例如，提示服务器1050或智能服务器1060)接收至少一个任务作为对至少一个参数的传输的响应。
根据至少一个实施例，处理器150可以配置为通过使用无线通信电路(例如，无线通信模块2092)从外部电子设备(例如，智能服务器1060)接收自然语言表达。
根据特定实施例，处理器150可以配置为将一个或多个参数中的至少一个参数发送到外部电子设备(例如，智能服务器1060)，并且从外部电子设备(例如，智能服务器1060)接收自然语言表达作为对至少一个参数的传输的响应。
根据一些实施例，至少一个任务可以包括第一任务和第二任务。处理器150可以配置为通过用户界面提供指示第一任务的第一自然语言表达和指示第二任务的第二自然语言表达来作为自然语言表达的至少一部分。
根据至少一个实施例，存储器140可以存储包括一个或多个任务的多个任务。处理器150可以配置为从多个任务中选择一个或多个任务。
根据一些实施例，多个任务可以包括：第一任务集合，包括对应于第一域的一个或多个第一任务；以及第二任务集合，包括对应于第二域的一个或多个第二任务。如果所接收的事件对应于第一域，则处理器150可以配置为从第一任务集合中选择一个或多个第一任务，而如果所接收的事件对应于第二域，则从第二任务集合中选择一个或多个第二任务。
根据各种实施例，第一域可以对应于第一应用程序，而第二域可以对应于第二应用程序。处理器150可配置为进一步基于与所接收的事件相对应的应用程序来选择一个或多个第一任务或者一个或多个第二任务。
根据一些实施例，处理器150可以配置为获得电子设备的情境信息并且至少部分地基于情境信息来选择一个或多个任务。
根据特定实施例，电子设备的情境信息可以包括电子设备正在执行的应用程序的信息。
根据一些实施例，来自电子设备外部的第一事件可以包括与特定应用程序相关联的呼叫、短消息或即时消息的接收。
根据各种实施例，从电子设备内部生成的第二事件可以与电力管理、存储器状态或电子设备的安全性相关联。
根据本公开的至少一个实施例，生成提示的方法可以包括接收来自电子设备外部的第一事件或接收从电子设备内部生成的第二事件，向框架920提供与第一事件和第二事件当中所接收的事件相关联的通知对象，解析通知对象以获得一个或多个参数，通过使用框架920基于一个或多个参数的至少一部分选择与所接收的事件相关联的一个或多个任务，选择针对指示一个或多个任务中的至少一个任务的自然语言表达的请求，通过触摸屏显示器120提供包括自然语言表达的用户界面，以及至少部分地基于通过触摸屏显示器120的自然语言表达的用户输入来执行至少一个任务。
根据各种实施例，方法还可以包括在选择一个或多个任务之前从外部电子设备接收一个或多个任务中的至少一个任务。
根据一些实施例，方法还可以包括在接收至少一个任务之前，将一个或多个参数中的至少一个参数发送到外部电子设备。可以接收至少一个任务作为对至少一个参数的传输的响应。
根据一些实施例，选择一个或多个任务可以包括从存储在电子设备的存储器140中的多个任务中选择一个或多个任务。
根据至少一个实施例，多个任务可以包括：第一任务集合，包括对应于第一域的一个或多个第一任务；以及第二任务集合，包括对应于第二域的一个或多个第二任务。如果所接收的事件对应于第一域，则从第一任务集合中选择一个或多个第一任务，而如果所接收的事件对应于第二域，则从第二任务集合中选择一个或多个第二任务。
根据特定实施例，方法还可以包括：在选择一个或多个任务之前，获得电子设备的情境信息。选择一个或多个任务可以包括至少部分地基于情境信息来选择一个或多个任务。
根据本公开的一些实施例，计算机可读记录介质可以存储指令，当由电子设备的处理器150执行该指令时，使电子设备：接收来自电子设备外部的第一事件或接收从电子设备内部生成的第二事件，向框架920提供与第一事件和第二事件当中所接收的事件相关联的通知对象，解析通知对象以获得一个或多个参数，通过使用框架920基于一个或多个参数的至少一部分选择与所接收的事件相关联的一个或多个任务，选择对指示一个或多个任务中的至少一个任务的自然语言表达的请求，通过触摸屏显示器120提供包括自然语言表达的用户界面，以及以至少部分地基于通过触摸屏显示器120的自然语言表达的用户输入来执行至少一个任务。
本公开的各种实施例和本文中使用的术语不意图将本公开中描述的技术限制为具体实施例，并且应该理解，实施例和术语包括对本文描述的相应实施例的修改、等效和/或替代。关于附图的描述，可以通过相同的附图标记来对相同的元件进行标记。除非另有说明，单数形式的术语可以包括复数形式。在本文所公开的公开内容中，本文使用的表达“A或B”、“A和/或B中的至少一个”、“A和/或B中的至少一个”、“A，B或C”或“A，B和/或C中的至少一个”等可以包括一个或多个相关所列项目的任何和所有组合。诸如“第一”或“第二”等的表达可以表示其元件，而不管它们的优先级或重要性如何，并且可以用于将一个元件与另一个元件区分开，但不限于这些组件。当(例如，第一)元件被称为“与另一个(例如，第二)元件(可操作地或通信地)耦合”/“(可操作地或通信地)耦合到另一个(例如，第二)元件”或“连接到”另一个(例如，第二)元件时，其可以与另一个元件直接耦合/直接耦合到另一元件或可以存在中间元件(例如，第三元件)。
根据情况，本文使用的表达“适用于或被配置为”可以可互换地用作例如“适于”、“具有...的能力”、“改变为”、“制成”、“能够“或“设计为”的表达。表达“设备，配置为…”可以意味设备“能够”与另一个设备或其他组件一起操作。例如，“处理器，配置为(或设置为)执行A，B和C”可以意味用于执行相应操作的专用处理器(例如，嵌入式处理器)或通过执行存储在存储器设备(例如，存储器2030)中的一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
本说明书中使用的术语“模块”可以包括采用硬件、软件或固件实现的单元。例如，术语“模块”可以与术语“逻辑、“逻辑块”、“组件”、“电路”等互换使用。“模块”可以是集成组件、用于执行一个或多个功能的最小单元或其一部分。“模块”可以机械地或电子地实现。例如，模块可以包括公知或将要开发的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或执行任何操作的可编程逻辑器件。
根据各种实施例，装置(例如，其模块或其功能)或方法(例如，操作)的至少一部分可以例如通过以程序模块的形式存储在计算机可读存储介质(例如，存储器2030)的指令来实现。指令在由处理器(例如，处理器2020)执行时可以使处理器执行对应于指令的功能。计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光介质(例如，光盘只读存储器(CD-ROM)和数字多功能光盘(DVD)、磁光介质(例如，软光盘))、嵌入式存储器等。指令可以包括由编译器创建的代码或者能够通过使用解释器由计算机执行的代码。
根据各种实施例的每个元件(例如，模块或程序模块)可以由单个实体或多个实体组成，并且上述子元件的一部分可以被省略或者可以进一步包括其他元件。可选地或附加地，在集成到一个实体之后，一些元件(例如，模块或程序模块)可以相同或类似地执行在集成之前由每个对应元件执行的功能。由模块、程序模块或其他元件执行的操作可以通过连续方法、并行方法、重复方法或启发式方法来执行。替选地，至少一些操作可以以另一顺序执行或可以省略，或者可以添加任何其他操作。
尽管已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中进行形式上和细节上的各种改变。
尽管已经采用各种实施例描述了本公开，但是可以向本领域技术人员建议各种改变和修改。意图是本公开包括落入所附权利要求的范围内的这些改变和修改。