经由可选的图形元素初始化与自动代理的交谈的制作方法

背景技术：

人们可以使用在本文中被称为“自动助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“交谈代理(conversationalagents)”等)的交互式软件应用进行人机对话。例如，人们(当他们与自动助理互动时，可以被称为“用户”)可以使用口头自然语言输入(即话语)来提供命令和/或请求，该口头自然语言输入在一些情况下可以被转换成文本然后进行处理。以这种方式，用户具有调用计算设备的功能的能力，而不要求用户必须物理地操纵诸如键盘或鼠标的外围设备。这样的自动助理可以响应于预加载在计算设备上并且由用户说出的口头短语。但是，用户常常可能不知晓可用于调用自动助理的各种可口述的短语，或者可能无法发音这类可口述的短语。此外，由于许多计算设备所具有的功能范围的扩大，大多数用户可能没有任何方便的资源来学习全部可用的功能。结果，用户可能会错过自动助理的许多可供使用的功能部件，这意味着为实现这些功能部件而提供的计算机资源可能没有得到有效利用。此外，某些环境可能太吵而不能舒适地说出询问，并且用户可能选择在某些时候不说出询问以保护他们的隐私，例如在工作中或在咖啡馆中。

技术实现要素：

本公开总体上涉及用于通过提供与调用短语相关联的可选元素来向用户介绍自动助理的功能的方法、装置和计算机可读介质(瞬时性和非瞬时性)。可选元素可以将自动助理转换成特定的操作状态，例如以下状态，其中在不要求用户首先以能够听到的方式请求自动助理的情况下，使自动助理初始化和/或完成服务请求(例如“帮我叫辆出租车去机场”)。

当用户例如浏览网页、查看电子邮件、操作各种应用等时，可以在移动设备的图形用户界面(“gui”)处提供可选元素(例如，文本或图形超链接)。假定用户将网络浏览器导航到对应于附近商店的网页。网页上的链接或其它可选元素可以显示调用短语，例如“请给我到这个附近的商店的方位”。通过点击该链接，可以初始化自动助理(通常但不排他地在另一计算设备上)，以提供能够听到的响应，从而鼓励用户继续与自动助理对话。此后，用户不需要依赖链接，而是可以使用先前在可选元素中介绍给他们的调用短语来启动自动助理。

在一些实施方式中，可以在第一设备上向用户显示可选元素。响应于用户选择可选元素，第二设备上的自动助理可以转换成特定的操作状态。这鼓励用户在其它设备上启动自动助理，而他们可能还没有意识到他们有能力调用自动助理。此外，一些实施方式可以处理多种语言。例如，可选元素可以包括用户偏好的语言的调用短语，使得用户知晓他们可以自由地使用偏好的语言来调用自动助理，即使用户的设备的其它功能部件以不太熟悉的语言显示时也是如此。可替代地，可选元素可以包括用户偏好的语言的调用短语(例如，由用户的本地web浏览器翻译的调用短语)，但是响应于选择可选元素，自动助理可以指示用户如何以自动助理更熟悉的语言来发音调用短语(例如“规范”调用短语)。

在一些实施方式中，在第三方设备(例如，第三方蜂窝设备)上运行的应用可以提供可选元素，该可选元素包括用于在另一设备上调用自动助理的调用短语。在这种情况下，将基于在第三方设备处查看的内容，向用户介绍将被调用的自动助理的能力。例如，用户可以在第三方设备的应用上编辑播放列表，并且该应用可以呈现带有调用短语“请播放我刚刚编辑的播放列表”的可选元素。在点击可选元素时，可以在比第三方设备更适合播放音乐的单独的设备上初始化自动助理。可替代地，如果另一设备不可用，则可以在第三方设备处初始化对应于自动助理的web应用。以这种方式，可以使用户知晓调用自动助理以利用在第三方设备处观看的内容的能力。

在其它实施方式中，可以基于学习到的用户偏好和用户趋势来随时间调整被包括在可选元素中的调用短语。结果，将使用户知晓，与发出重复的一般请求相反，他们可以说出更具体的短语来调用自动助理。例如，用户可以请求自动助理播放播放列表中的音乐。然而，如果播放列表上的某个艺术家(例如，ledzeppelin)比其它艺术家播放更多，则可以向用户呈现包括有调用短语“请播放ledzeppelin”的可选元素。以这种方式，通过调整可选元素的调用短语，可以使用户知道自动助理可以理解更具体的请求。作为另一示例，用户可以具有家庭助理设备(例如，独立的交互式扬声器)，该设备知道该用户每天何时下班回家。当用户每天到达家中时，用户可能总是要求家庭助理设备继续播放用户刚才正在汽车中收听的播客。但是，为了消除用户重复地发出该请求的需要，可以在汽车的用户界面处提供具有调用短语“助理，只要我到家时正在听播客，就在家里继续播放该播客”的可选元素。当用户在用户界面处选择该可选元素时，家庭助理设备可以继续播放该播客，并且可选地，以能够听到的方式确认已经建立了新的自动化规则。以这种方式，可以根据学习到的用户偏好，通过调整可选元素中的调用短语，向用户显示自动助理的能力。

在一些实施例中，在选择了初始可选元素并且初始化了自动助理之后，响应元素可以提供有新短语以在它们的回应中引导用户。通过提供响应元素，可以使用户知晓自动助理将理解的能够听到的响应。此外，响应元素可以展示带有占位符的响应短语，当用户在响应自动助理时可以填充该占位符。例如，在用户已经在用于第二天早上的日历中安排了早会之后，可以向用户呈现具有调用短语“请为明天早上设置闹钟”的可选元素。选择该可选元素可以初始化自动助理，并且使自动助理用短语“好，您希望将闹钟设置在什么时间？”来以能够听到的方式询问用户。如果在阈值时间段之后用户还没有以能够听到的方式响应，则可以向用户呈现具有响应短语“请将闹钟设置为[在此说出闹钟的时间]”的响应元素。响应元素可以可选地是可选的或不可选择的。以这种方式呈现可用的响应可以确保用户在不确定如何响应自动助理时，总是会有一定程度的视觉指导。

因此，在一些实施方式中，一种方法可以包括诸如以下的步骤：由计算设备从服务器设备接收用于在计算设备的图形用户界面处提供可选元素的指令。可选元素可以与调用短语相关联，该调用短语当被说出时，使自动助理转换成操作状态，在该操作状态下，自动助理致使在单独的计算设备上提供输出。该方法还可以包括以下步骤：在计算设备的图形用户界面上显示可选元素，并且在图形用户界面处接收对可选元素的选择。该方法可以进一步包括步骤：响应于接收到该选择，使自动助理转转换成操作状态，以使单独的计算设备提供输出。

另外，一些实施方式包括一种装置，该装置包括存储器和一个或多个处理器，所述一个或多个处理器用来执行存储在存储器中的指令，其中，所述指令被配置为执行上述方法中的任何一种。一些实施方式还包括非瞬时性计算机可读存储介质，其存储可由一个或多个处理器执行以实现上述方法的任何一个的计算机指令。

应当理解到，本文详细描述的前述概念和附加概念的所有组合被认为是本文公开的主题的一部分。例如，本公开所附的所要求保护的主题的所有组合被认为是本文公开的主题的一部分。

如本文所使用的，“代理”是指独立于自动助理的一个或多个计算设备和/或软件。在一些情况下，代理可以是第三方(3p)代理，因为它是由与管理自动助理的一方分开的一方管理的。代理被配置为(例如，经由网络和/或经由api)从自动助理接收调用请求。响应于接收到该调用请求，代理基于调用请求生成响应内容，并且发送响应内容以提供基于响应内容的输出。例如，代理可以将响应内容传输到自动助理，以由自动助理提供基于响应内容的输出。作为另一示例，代理本身可以提供输出。例如，用户可以经由客户端设备与自动助理进行交互(例如，自动助理可以被实现在客户端设备上和/或与客户端设备进行网络通信)，并且代理可以是安装在客户端设备上的应用或能够从客户端设备远程执行但在客户端设备上能够“流式传输”的应用。当调用该应用时，它可以由客户端设备执行和/或由客户端设备置于最上层(例如，其内容可以占据客户端设备的显示)。

调用代理可以包括发送(例如，利用应用程序接口(api))调用请求，该调用请求包括用于调用参数的值(例如，用于意图参数的值、用于意图时隙参数的值和/或用于其它参数的值)，并且使得代理生成用于经由一个或多个用户界面输出设备(例如，经由用在与自动助理对话中的一个或多个用户界面输出设备)呈现给用户的内容。可以将代理生成的响应内容定制为调用请求的调用参数。

本公开的方法可以提供许多优点。例如，通过提供可选元素，可以实现改进的界面，允许在备选输入不合适或不期望时进行用户交互。此外，在一些方面中，可以通过提供用于反映每个设备的上下文和/或能力的适当交互来便于多个计算设备的协调。另外，提供可选元素可以使用户能够识别否则可能难以发现和/或实现的功能，这可以使得可以更好地利用每个计算设备处的可用的资源。例如，在计算设备具有用户不知道的能力的情况下，为了便于这些能力而提供的资源可能被低效率地使用，而通过帮助发现这些能力，本公开可以减轻这种影响。

附图说明

图1示出了用于通过使用在客户端设备处显示的可选元素来初始化自动助理的系统。

图2a、图2b和图2c示出了可以初始化用于向用户提供服务的自动助理的可选元素的实施方式。

图3a、图3b和图3c示出了设备的透视图，该设备可以使用在第一设备处向用户显示的可选元素以在第二设备处初始化自动助理。

图4a和图4b示出了用于提供可以以不同语言调用自动助理的可选元素的系统。

图5示出了用于从可选元素初始化自动助理的方法。

图6示出了用于在不同于显示可选元素的设备上初始化自动助理的方法。

图7示出了用于初始化自动助理的方法，该自动助理理解与在计算设备处提供的内容的语言不同的语言。

图8示出了示例性计算机系统的框图。

具体实施方式

本文所描述的实施方式涉及用于通过提供可选元素来向新用户介绍自动助理的功能的系统、方法和装置，该可选元素传达调用短语以初始化对自动助理的服务请求，而不要求用户首先以能够听到的方式请求自动助理。在许多计算设备中，自动助理可以为寻求使用一些数字服务的用户提供指导。尽管可以通过某些口语短语来调用自动助理，但是通常用户可能并不熟悉所有短语及其功能。此外，用户可能知道他们想要自动助理做什么，但是他们可能不能准确地发音与发出命令有关的单词，或者可能未意识到自动助理接受或不接受用户的偏好语言。为了向用户介绍自动助理的某些能力，可以向用户呈现传达调用短语的可选元素，以使用户知晓自动助理接受的命令，而不必先说出它们。当用户物理地致动(例如，点击)传达调用短语的可选元素时，可以初始化自动助理并且以能够听到的方式响应，就像用户说了该调用短语一样。

当用户例如浏览网页、查看电子邮件、操作各种应用时，可以在移动设备的图形用户界面(gui)处提供可选元素(例如，文本或图形超链接)。假定用户将网络浏览器导航到对应于附近商店的网页。网页上的链接或其它可选元素可以显示调用短语，例如“请给我到这个附近的商店的方位”。通过点击该链接，可以初始化自动助理，以提供能够听到的响应，从而鼓励用户继续与自动助理对话。此后，用户不需要依赖链接，而是使用先前在可选元素中介绍给他们的调用短语来启动自动助理。

在一些实施方式中，可以在第一设备上向用户显示可选元素。响应于用户选择可选元素，第二设备上的自动助理可以转换成提供输出的特定的操作状态。这鼓励用户在其它设备上启动自动助理，而他们可能还没有意识到他们有能力调用自动助理。此外，一些实施方式可以处理多种语言。例如，可选元素可以包括用户偏好的语言的调用短语，使得用户知晓他们可以自由地使用偏好的语言来调用自动助理，即使用户的设备的其它功能部件以不太熟悉的语言显示。可替代地，可选元素可以包括用户偏好的语言的调用短语，但是响应于选择可选元素，自动助理可以指示用户如何以自动助理更熟悉的语言叙说调用短语的所谓“规范”版本。

为了提供适合于给定上下文的可选元素，设备的系统可以承担管理将自动助理介绍给用户的任务。设备系统可以至少包括可以访问账户数据库的服务器和一个或多个辅助(或客户端)设备。辅助(或客户端)设备可以用来向用户呈现可选元素，该可选元素传达用于在特定辅助设备处调用自动助理的调用短语。服务器可以使用来自辅助设备的登录凭据来查询账户数据库，并且识别与该登录凭据相关联的任何其它辅助设备。例如，用户的登录凭据可以与以下用户账户相关联，该用户账户在由该用户操作的辅助(或客户端)设备的协调“生态系统”上激活。此后，响应于用户选择可点击的调用短语，服务器可以从与登录凭据相关联的辅助设备中识别合适的辅助设备。由服务器识别的辅助设备可以是被确定为最适合执行与可点击的调用短语相关联的动作的辅助设备。例如，蜂窝电话可以是比电视机更合适给出方位的辅助设备，因为蜂窝电话比电视机更易于在旅途中携带。一旦服务器已经识别了辅助设备，服务器就可以向该辅助设备发送关于如何响应由可选元素传达的命令的指令。来自辅助设备的响应可以是能够听到的响应，以便鼓励用户和辅助设备之间的进行能够听到的交流。来自辅助设备的响应还可以包括在辅助设备的界面处的变化。例如，当用户点击与方位请求相对应的可选元素时，辅助设备可以通过显示路线并且说出例如“这是您请求的方位”的响应短语来响应。辅助设备还可以通过向用户提问来响应，以便鼓励用户以他们的声音来应答。

响应可以基于存储在系统服务器处的数据。该服务器可以包括用于操作一个或多个自动助理的模块，以及每个自动助理可以使用的预加载的调用短语和响应。服务器可以根据用户正在使用的辅助设备、用户正在查看的内容、由用户致动的可选元素和/或与辅助设备的操作环境有关的任何其它特征来选择适当的自动助理。例如，服务器可以包括对应于以不同语言提供辅助的自动助理的模块，并且自动助理的选择可以基于可选元素的语言。

可以向登录到启用了助理服务的辅助设备的用户显示可选元素。但是，可选元素的部署可以限于某些情况。例如，可选元素的显示可以取决于用户正在观看的内容以及用户正在使用的辅助设备的类型。可以不向远离家的同时正在其蜂窝电话上流式传输视频的用户显示用于在其家用电视机上流式传输内容的调用短语，直到他们更接近电视机为止。一旦用户回到家中，就可以在他们的蜂窝电话上显示传达诸如“请在我的电视机上播放此视频”的信息的可选元素。在致动可选元素后，电视机可以播放该视频，并且还提供诸如“这是您请求的视频”的能够听到的响应。在一些实施方式中，呈现可选元素的设备可以显示要初始化的设备的图像。例如，在蜂窝电话处提供短语“请播放该视频”的可选元素还可以包括代表电视机的图标。服务器可以根据哪个设备最适合通过可选元素进行初始化来识别要显示的适当的图标。例如，当服务器已经知道用户从他们的蜂窝电话打出大多数电话时，包括有短语“请呼叫sally”的可选元素可以包含代表蜂窝电话的图标。另外，当服务器知道用户的膝上电脑上的税务应用或网站处于活动时，包括有短语“请上报我的税”的可选元素可以包含代表手提电脑的图标。

在一些实施方式中，在第三方设备(例如，第三方蜂窝设备)上运行的应用可以提供可选元素，该可选元素包括用于在另一设备上调用自动助理的调用短语。在这种情况下，将基于在第三方设备处查看的内容，向用户介绍将被调用的自动助理的能力。例如，用户可以在第三方设备的应用上编辑播放列表，并且该应用可以呈现带有调用短语“请播放我刚刚编辑的播放列表”的可选元素。在点击可选元素时，可以在比第三方设备更适合播放音乐的单独的设备上初始化自动助理。可替代地，如果另一设备不可用，则可以在第三方设备处初始化对应于自动助理的web应用。以这种方式，可以使用户知晓调用自动助理以利用在第三方设备处观看的内容的能力。

在其它实施方式中，可以基于学习到的用户偏好和用户趋势来随时间调整被包括在可选元素中的调用短语。结果，将使用户知晓，与发出重复的一般请求相反，他们可以说出更具体的短语来调用自动助理。例如，用户可以请求自动助理播放播放列表中的音乐。然而，如果播放列表上的某个艺术家(例如，ledzeppelin)比其它艺术家播放更多，则可以向用户呈现包括有调用短语“请播放ledzeppelin”的可选元素。以这种方式，通过调整可选元素的调用短语，可以使用户知道自动助理可以理解更具体的请求。作为另一示例，用户可以具有操作自动助理的独立交互式扬声器，该自动助理知道用户每天何时下班回家。当用户每天到达家中时，用户可能总是要求独立交互式扬声器继续播放用户刚才在汽车中收听的播客。但是，为了消除用户重复地发出该请求的需要，可以在汽车的车辆导航系统的gui处提供具有调用短语“助理，只要我到家时正在听播客，就在家里继续播放该播客”的可选元素。当用户在gui处选择了可选元素时，独立交互式扬声器可以继续播放播客，并且可选地，以能够听到的方式确认已经建立了新的自动化规则。以这种方式，可以根据学习到的用户偏好，通过调整可选元素中的调用短语，向用户显示自动助理的能力。

在一些实施例中，在选择了初始可选元素并且初始化了自动助理之后，响应元素可以提供有新短语以在它们的回应中引导用户。通过提供响应元素，可以使用户知晓自动助理将理解的能够听到的响应。此外，响应元素可以展示带有占位符的响应短语，当用户在响应自动助理时可以填充该占位符。例如，在用户已经在用于第二天早上的日历中安排了早会之后，可以向用户呈现具有调用短语“请为明天早上设置闹钟”的可选元素。选择该可选元素可以初始化自动助理，并且使自动助理用短语“好，您希望将闹钟设置在什么时间？”来以能够听到的方式询问用户。如果在阈值时间段之后用户还没有以能够听到的方式响应，则可以向用户呈现具有响应短语“请将闹钟设置为[在此说出闹钟的时间]”的响应元素。响应元素可以可选地是可选元素。以这种方式呈现可用的响应可以确保用户在不确定如何响应自动助理时，总是会有一定程度的视觉指导。

图1示出了用于使用在客户端设备106处显示的可选元素118来初始化自动助理106的系统100。每个客户端设备106可以是例如台式计算设备、膝上计算设备、平板计算设备、移动电话计算设备、参与者的车辆的计算设备(例如，车载通信系统、车载娱乐系统、车载导航系统)或包括有计算设备的参与者的可穿戴装置(例如，参与者的具有计算设备的手表、参与者的具有计算设备的眼镜)。可以提供附加的和/或替选的客户端设备106。服务器设备104和/或服务器设备104上的自动助理106可以在例如通过网络114通信的一台或多台计算机中实现。用户可以经由客户端设备102与服务器设备104交互。每个客户端设备106可以是通过一个或多个网络114(诸如局域网(lan)或广域网(wan)(诸如互联网))耦合到服务器设备104的计算机系统。

用户账户数据库116可以经由网络114连接到服务器设备104和/或客户端设备102。在本说明书中，术语“数据库”将广泛地指代任何数据集合。可以以任何特定的方式来构造数据库的数据，并且可以将数据存储在一个或多个地理位置中的存储设备上。因此，例如，用户账户数据库116可以包括多个数据集合，每个数据集合可以以不同的方式被组织和访问。

客户端设备102的用户可以在客户端设备102上操作一个或多个软件应用(未描绘)以执行诸如记录数据、访问媒体、控制另一客户端设备102的任务和/或适合于计算机系统的任何其它任务。当操作客户端设备102时，用户可以以多种方式(诸如讲话、移动四肢、移动对象、将文本和/或图像输入到在其中可以访问自动助理106和/或参与者的消息传递应用(例如sms、mms、即时消息传递、聊天等)中等等来请求自动助理106。然而，当用户在某些情况下不知晓他们请求自动助理106的能力时，可以在客户端设备102的图形用户界面(gui)处向用户提供可选元素118。可选元素118可以是在gui处提供的图形功能组件(例如，链接、图像、按钮、卡片、弹出通知等)，当选择了可选元素118时，会使客户端设备102与服务器设备交互。可选元素118可以包括诸如以下的内容：文本、图像、视频、声音、嵌入信息(例如，元信息和/或超链接)；和/或嵌入式指令(例如ecmascript实现，例如javascript)。

为了在客户端设备102的gui处提供可选元素118，在一些实施方式中，可以通过网络114从客户端设备102向服务器设备104提供账户数据(例如，登录凭据或用户标识符)。服务器设备104可以使用账户数据来查询用户账户数据库116。服务器设备104可以在用户账户数据库116中识别与用户账户相关联的信息，诸如与账户相关联的设备(例如，上文提及的设备的协调生态系统)、用户的偏好、学习到的用户的日程、用户的联系人、在用户的设备处查看的媒体和/或可以与用户账户关联存储的任何其它数据。服务器设备104可以使用来自用户账户数据库116的信息以做出关于如何向客户端设备102提供可选元素118以及自动助理106可以如何响应对可选元素118的选择的决定。尽管在图1中分别示出了服务设备104和用户账户数据库116，但这并不意味着是限制性的，并且这些组件可以在同一计算系统上实现和/或以各种方式分布在多个计算系统上。

可以根据存储在服务器设备104处的数据来执行一个或多个自动助理106的操作。在一些实施方式中，用户账户可以与一个或多个不同的自动助理106相关联，并且每个自动助理106可以为用户提供类似或不同的服务。在其它实施方式中，用户账户可以与单个自动助理106或代理相关联，和/或单个自动助理106可以为多个用户账户和/或代理服务或与多个用户账户和/或代理交互(在一些这样的情况下，自动助理106可以有权访问不同的数据，这取决于它当前正在服务的用户账户或代理)。例如，可以由自动助理106处理来自用户的对自动助理106的响应，并且将该响应发送到一个或多个代理以向用户提供服务。自动助理106可以包括(自然)语言处理引擎108或根据其操作，该(自然)语言处理引擎108可以接收对应于用户的口头语言的音频数据并且将该音频数据转换成所接收的语言数据。所接收的语言数据可以对应于命令(例如，自然语言输入)，该命令可以使自动助理106对命令进行动作。例如，自动助理106可以响应于从用户接收到命令来执行各种动作，诸如向用户提供信息、控制与用户相关联的设备、编辑与用户账户相关联地存储的数据和/或能够由计算机系统执行的任何其它动作。自动助理106还可以使客户端设备102在自动助理106执行操作之前、期间和/或之后提供能够听到的响应。来自自动助理106的响应可以由自动助理106的响应内容引擎110生成。响应内容引擎110可以使用来自服务器设备104、客户端设备102和/或用户账户数据库116的数据以在用户与自动助理106通信时提供响应。此外，响应内容引擎110使用的数据可以来自不与用户账户相关联的数据源(例如，常规internet搜索、各种web服务等)。尽管由响应内容引擎110生成的响应可以是将由自动助理106输出的能够听到的响应(例如，口头单词)，但是响应也可以是不能够听到的(例如，图像、文本、视频、触觉反馈)。例如，对用户请求自动助理106的响应可以是出现在客户端设备102的gui处的文本或可选元素118的形式。

服务器设备104可以包括可选元素引擎112，可选元素引擎112用于生成与可选元素118的呈现和操作有关的内容和数据。可选元素118的内容可以基于来自用户账户数据库116、一个或多个客户端设备102、服务器设备104和/或可以提供用于包含在可选元素118中的信息的任何其它数据源的数据。由可选元素引擎112为客户端设备102提供的可选元素118可以被用来初始化一个或多个自动助理106以协助用户。可选元素118的内容和操作可以基于用户正在如何操作其客户端设备102。例如，用户可以正在使用客户端设备102来执行本来可以由自动助理106执行的功能。可以通过网络114将与该功能有关的数据发送到服务器设备104。服务器设备104的可选元素引擎112可以将与该功能有关的数据用作生成可以初始化自动助理106的可选元素118的基础。

可选元素118的内容可以包括调用短语，如果用户以能够听到的方式向客户端设备102说出该调用短语，则该调用短语将会初始化自动助理106。可以将对应于可选元素118的内容和操作的数据发送回客户端设备102，并且客户端设备102可以在客户端设备102的gui处显示可选元素118。当用户选择可选元素118时，自动助理106可以被初始化并协助执行功能。以这种方式，可以使用户注意到可以初始化用于执行功能的自动助理106的调用短语。此后，将鼓励用户说出调用短语，而不是通过客户端设备102手动地执行功能本身。

图2a至图2c示出了可选元素212的实施方式，该可选元素212可以初始化用于向用户202提供服务的自动助理。具体而言，图2a示出了用户202使用正在计算机系统204的图形用户界面(gui)208处显示的应用206的透视图200。应用206可以是web浏览器、文字处理应用、日程应用、媒体应用、游戏应用、地图应用、第三方应用、控制器应用、电子邮件应用、消息传递应用和/或能够在计算系统上运行的任何其它应用。当应用206是web浏览器时，计算机系统204可以将与用户202相关联的账户数据发送到管理用户202的偏好并且识别用户202的趋势的服务器。用户202可以例如导航到标识用户202想去用餐的餐馆的网站。尽管用户可能没有意识到，但是计算机系统204可以初始化自动助理，以向用户202提供到餐馆的方位。计算机系统204可以响应于用户202在计算机系统204处说出调用短语来初始化自动助理。但是，如果用户202未说出该调用短语或者不知晓这样的功能，则可以与正在gui208处显示的应用206同时地在计算机系统204的gui208处呈现可选元素212。如图2b的透视图210中所示，可选元素212可以显示包括有调用短语的文本。调用短语可以基于用户202正在观看的媒体，例如识别餐馆的网站。用于提供调用短语和/或可选元素212的指令可以由计算机系统212、连接到计算机系统212的服务器设备和/或能够控制和/或托管自动助理的任何其它设备来提供。调用短语可以是命令，例如“请向我提供前往这家餐馆的方位”。通过传达可选元素212中的调用短语，可以使用户202注意到调用自动助理106以帮助找到方位的能力。此外，如图2c的透视图214所示，通过点击可选元素212，用户202可以发起与自动助理的对话。

图2c示出了响应于用户202选择可选元素212，来自计算机系统204的能够听到的输出218。能够听到的输出218可以对应于响应于用户202选择可选元素212，由自动助理提供的语音。通过点击可选元素212，自动助理接收调用短语，就好像用户202向计算机系统204说了该调用短语一样。一旦用户202点击了可选元素212，可选元素212就会从gui208中消失，并且应用206可以在gui208处展开。来自自动助理的能够听到的输出218可以为用户202提供方位和/或询问用户202关于到餐馆的行程的细节。例如，自动助理可以询问用户202是将要步行到餐馆还是开车去餐馆。如果用户202在阈值时间段之后没有响应询问，则可以呈现具有文本(例如，“我想走路”)的另一可选元素212以响应来自自动助理的询问。如果由用户202选择了另一可选元素212，则另一可选元素212可以使自动助理106提供另一能够听到的输出218。例如，如果另一可选元素212的文本对应于短语“请给我到餐馆的步行方向”，则自动助理可以通过计算机系统204，开始向用户202提供步行方向。

在一些实施方式中，与自动助理的操作有关的数据可以被存储在计算机系统204处和/或与计算机系统204通信的服务器设备处。此外，当服务器设备包括用于操作自动助理的数据时，服务器设备可以从与用户账户相关联的不同计算机系统中进行选择，以提供来自自动助理的输出。例如，服务器设备可以选择图2a至图2c的计算机系统204以提供方位，因为服务器设备可以知道计算机系统204是便携式的，并且用户202正在与使用计算机系统204的同时来询问方位。可替代地，如果用户202正在操作具有适合用于与计算机系统204分开的设备的功能的应用，则服务器设备或计算机系统204可以选择用于提供来自自动助理的输出的设备。例如，与自动助理的操作有关的数据可以被存储在计算机系统204处，并且计算机系统204可以包括家庭监视应用。当用户202正在操作家庭监视应用时，可以在家庭监视设备处呈现可选元素。在家庭监视设备处的可选元素的呈现可以基于在计算机系统204处执行的动作，该计算机系统204可以存储与用户202的账户相关联的设备的目录。可选元素可以包括能够在家庭监控设备上调用自动助理的调用短语。例如，调用短语可以包括例如“请将家的温度调节到70度”的文本。当用户202点击家庭监视设备处的可选元素时，可以相应地调整家的温度，并且自动助理可以从家庭监视设备提供能够听到的输出，例如“我已经调整了家的温度。”在一些实施方式中，调用短语中的文本可以基于由服务器设备存储的趋势和偏好。例如，来自调用短语文本的文本“70度”可以基于用户202先前已经使用家庭监视应用将温度调节到如由服务器设备和/或计算机系统204所存储的70度的频率。

图3a至图3c示出了设备的透视图，该设备可以使用在第一设备302处显示给用户306的可选元素以初始化在第二设备304处的自动助理。第一设备302和第二设备304中的每一个可以是允许用户306控制来自计算机系统的应用的计算机系统(例如，由用户306操作的计算设备的上述协调的生态系统的成员)。此外，第一设备302和第二设备304可以通过网络来连接。在操作第一设备302时，用户202可以正在查看应用内容310，其可以对应于可以由计算机系统的图形用户界面(gui)308提供的任何图形内容。例如，应用内容310可以是用户306想要在他们的家庭内部播放的视频的播放列表。尽管用户306可能意识到第二设备304能够播放视频的播放列表，但是用户306可能没有意识到自动助理可以在第二设备304上操作以帮助启动播放列表的回放。为了鼓励用户306以这种方式使用自动助理，可以在第一设备302处向用户306呈现包括有调用短语的可选元素。

第一设备302可以连接到第二设备304以及包括有服务器设备的网络。用户306可以使用在第一设备302处提供并随后被发送到服务器设备的账户数据来登录服务器设备。服务器设备可以使用账户数据来查询包括有与用户306的账户相关联的设备的目录的用户账户数据库。设备目录可以包括有至少标识第一设备302和第二设备304的条目。以这种方式，服务器设备能够控制将从何处初始化自动助理。因为第二设备304具有比第一设备302更大的显示区域，所以当用户306可以访问第二设备304时，服务器设备可以选择第二设备304来输出由用户306选择的视频。此外，当用户306正在查看与视频的播放列表有关的应用内容310时，服务器设备可以为第一设备302提供数据，该数据对应于可以初始化自动助理的可选元素的操作和呈现。例如，与可选元素的操作有关的数据可以包括可由第一设备302或第二设备304执行的指令，以使在第二设备304处提供自动助理的输出。另外，与可选元素的呈现有关的数据可以包括调用短语的文本，例如“请在第二设备处播放视频的播放列表”。

图3b示出了用户306通过gui308处的可选元素314查看应用内容310的透视图312。可以在gui308处以调用短语显示可选元素314，以便当用户306不知晓自动助理的某些功能时，鼓励他们说出该调用短语。在该示例中，用户306不知晓可以通过向第二设备304说出调用短语来在第二设备304处初始化自动助理。因此，因为服务器设备被告知用户306正在第一设备302处查看应用内容310，服务器设备可以使第一设备302显示可选元素314。当可选元素314被用户306选择时，可选元素314可以使自动助理在第二设备304上进行初始化，就好像用户306向第二设备304以能够听到的方式说出该调用短语一样。另外，自动助理可以使得执行对应于该调用短语的命令。例如，如果调用短语是“请在第二设备处播放视频的播放列表”，则自动助理可以使第二设备304显示对应于视频的播放列表中的视频的视频内容318，如图3c的透视图316中所示的。

具体地，图3c提供了用户306在点击了第一设备302处的可选元素314之后，用户306查看在第二设备304处显示的视频内容318的透视图316。可选地，在一些实施方式中，第二设备304可以显示调用短语320，调用短语320可以告知用户306自动助理在第二设备304处可以提供帮助的其它功能部件。例如，在用户306选择了可选元素314并且自动助理106使视频内容318显示之后，用户306可能想要跳过播放列表中的某些视频。跳过功能可以在用户306的指导下，由自动助理执行。为了向用户306告知该能力，服务器设备、第一设备302或第二设备304可以使调用短语320显示文字“请跳到播放列表中的下一个视频”。可替代地，调用短语320可以显示文本“请调大第二设备304处的视频上的音量”。可以从服务器设备或可选地，从第一设备302或第二设备304向第二设备提供用于提供调用短语的指令。该指令可以可选地由正在操作自动助理的设备生成。

在一些实施方式中，自动助理可以访问与用户306相关的偏好和趋势数据，并且使调用短语320包括更特定于用户306的趋势的文本。例如，自动助理可以访问服务器设备处的指示用户306最多播放的视频(例如ledzeppelin视频)在视频的播放列表中的数据。然后，自动助理可以使调用短语320或可选元素314显示文本“请播放ledzeppelin视频”。以这种方式，可以使用户306注意到他们可以向第一设备302和第二设备304提供更具体的请求以调用自动助理。在一些实施方式中，调用短语320可以是可点击或不可点击的图形元素的一部分。例如，在一些实施方式中，具有调用短语320的图形元素可以是不可点击的，以便鼓励用户306向第二设备304说出调用短语320。

图4a和图4b示出了用于提供可以以不同语言调用自动助理的可选元素的系统。具体而言，图4a示出了系统的图400，该系统包括通过网络404连接的服务器设备402、客户端设备406和用户账户数据库412。客户端设备406可以是能够以第一语言，在客户端设备406的显示组件408处显示内容的任何计算机系统204。例如，显示组件408可以包括图形用户界面(gui)414，图形用户界面414显示具有第一语言内容410的应用。第一语言可以是英语、德语、西班牙语、法语、日语、波斯语和/或可以由人类说或写的任何其它语言。服务器设备402可以包括对应于一个或多个自动助理的一个或多个模块，所述一个或多个模块可以被用来在客户端设备406处执行功能。用户可以通过能够以多种不同语言说出的调用短语来与自动助理通信。然而，在一些实施方式中，自动助理所理解的语言可能是有限的。因此，为了教导用户以自动助理理解的语言来请求自动助理，可以提供可选元素。可以以第一语言(用户偏好的语言)来呈现可选元素，但是自动助理可以以第二语言响应，该第二语言响应是当用户以能够听到的方式说出时自动助理可以理解的语言。例如，根据用户的偏好，第一语言可以是德语，并且第一语言内容410可以对应于正在以德语文本显示的邮件应用。为了使用邮件应用，用户可以向客户端设备406提供登录凭据，然后客户端设备406可以将登录凭据发送到服务器设备402。服务器设备402可以使用登录凭据来查询用户账户数据库412并确定该用户的语言偏好。如果语言偏好不对应于由自动助理理解的语言，诸如英语，则服务器设备402可以向客户端设备406提供对应于可选元素的数据。该可选元素可以包括以第一语言写出的调用短语，但是当被选择时，可以使自动助理从音频组件416以第二语言说出，从而告知用户如何以第二语言调用自动助理。

图4b提供了图418，图418示出了可选元素，该可选元素被显示为可以用来初始化自动助理的第二语言可选元素420。响应于用户选择第二语言可选元素420，自动助理可以执行在第二语言可选元素420中标识的命令，并且为用户以能够听到的方式叙说该命令。例如，当用户正在以德语查看邮件应用时，第二语言可选元素420可以包括调用短语，该调用短语包括文本“bitteliestdudieseemail”，这是指“请阅读该电子邮件”。自动助理可以用英语叙说该调用短语，并执行命令(例如，以能够听到的方式叙说电子邮件的文本)。这可以帮助双语用户知晓自动助理理解其它语言的能力。

在一些实施方式中，服务器设备402和/或客户端设备406可以用于扩展自动助理可以理解的多个口头调用短语。服务器设备402可以包括一种或多种语言处理模块，用于处理用户的语音，使处理后的语音与服务器设备402和/或客户端设备406的功能相关，使应用文本与服务器设备402和/或客户端设备406的功能相关，和/或管理自动助理理解的调用短语。这些模块可用于扩展自动助理可以理解的口头调用短语的数量。例如，用户可以以第一语言查看在客户端设备406处包括具有多个文本条目的gui的社交网络应用。客户端设备406和/或服务器设备402可以识别与能够由自动助理执行的功能相关的文本条目，例如播放在社交网络应用中显示的视频。然而，自动助理可能不理解第一语言，而是可能依赖于以第二语言提供的调用短语。换句话说，当用户以第二语言而非第一语言说出一个调用短语时，自动助理可能已经能够执行该功能。在这种情况下，可以用第一语言向用户提供可选元素，并提示用户用第一语言说出可选元素的调用短语。提示可以包含在可选元素中，并包含短语“您想用您喜欢的语言记录命令吗？”如果用户同意，则客户端设备406和/或服务器设备402然后可以处理从用户接收的语音，以便扩展自动助理能够以第一语言理解的调用短语的数量。然后，可以将与所处理的语音有关的数据与该功能相关联地存储，使得可以用第一语言或第二语言调用自动助理来执行该功能。可替代地，可选元素可以使自动助理以第二语言叙说可选元素的调用短语，以便教导用户如何以自动助理所偏好的语言叙说调用短语。

图5示出了用于从可选元素初始化自动助理的方法500。方法500可以由计算机系统，装置和/或适合用于控制自动助理的任何其它设备执行。该计算机系统可以包括各种计算机系统的各种组件，包括本文描述的各种引擎，数据库和模块。此外，尽管以特定的顺序示出了方法500的操作，但这并不意味着是限制性的。一项或多项操作可能会重新排序，省略或添加。方法500可以包括接收用于在计算设备的图形用户界面处提供可选元素的指令的框502。指令可以由连接到计算设备的服务器设备提供。在框504处，可以在计算设备的图形用户界面上显示可选元素。可选元素可以包括与用于请求自动助理的调用短语相对应的文本。调用短语可以包括自动助理可以理解和执行的命令。例如，该命令可以指示自动助理使用存储在计算设备和/或服务器设备处的数据来执行动作。在框506处，可以在图形用户界面处接收对可选元素的选择。可以使用计算设备的触摸屏、键盘，触摸板和/或外围设备来进行选择。此外，在框508处，自动助理可以响应于接收到选择而转换成操作状态。操作状态可以是活动的操作状态，其中自动助理能够响应来自用户的口头调用短语。可替代地，操作状态可以是活动的操作状态，其中自动助理响应于接收到选择而执行动作。

图6示出了用于在不同于提供可选元素的计算设备的计算设备处初始化自动助理的方法600。方法600可以由计算机系统，装置和/或适合用于控制自动助理的任何其它设备执行。该计算机系统可以包括各种计算机系统的各种组件，包括本文描述的各种引擎，数据库和模块。此外，尽管以特定的顺序示出了方法600的操作，但这并不意味着是限制性的。一项或多项操作可能会重新排序，省略或添加。方法600可以包括在连接到网络的第一计算设备的图形用户界面处提供可选元素的框602。可选元素可以对应于一个链接，该链接可以调用自动助理来执行在可选元素上显示的文本中标识的功能。方法600可以进一步包括在第一计算设备的图形用户界面处接收对可选元素的选择的框604。另外，方法600可以包括标识网络上的第二计算设备以调用自动助理的框606。可以从与用户的账户数据相关联地存储的设备目录中识别第二计算设备。另外，可以基于第二计算设备是否比第一计算设备更适合于响应于可选元素的选择来识别第二计算设备。例如，如果第一计算设备是蜂窝设备，第二计算设备是电视机，并且可选元素对应于播放视频的命令，则可以选择电视机来调用自动助理，因为它更适合于播放视频。可替代地，如果第一计算设备是电视机，第二计算设备是便携式设备，并且可选元素对应于提供方位的命令，则可以选择便携式设备来调用自动助理，因为它可以更容易地在旅行中携带。在框608处，自动助理可以在第二计算设备处转换成操作状态。该操作状态可以是活动的操作状态，在该状态下，自动助理使动作在第二计算设备处执行。当处于活动操作状态时，自动助理可以响应于口头调用短语以及对其它另一个可选元素的任何后续选择。

图7示出了用于初始化自动助理的方法700，该自动助理所理解的语言与在计算设备处提供的内容的语言不同。方法700可以由计算机系统，服务器设备，装置和/或适合用于控制自动助理的任何其它设备执行。该计算机系统可以包括各种计算机系统的各种组件，包括本文描述的各种引擎，数据库和模块。而且，尽管以特定的顺序示出了方法700的操作，但这并不意味着是限制性的。一项或多项操作可能会重新排序，省略或添加。方法700可以包括识别在计算设备的图形用户界面处显示的内容的第一语言的框702。第一语言可以对应于人类可以理解的书面语言，并且第一语言可以对应于可以在应用的界面处提供内容，该应用在该计算设备上操作。例如，应用可以是日历应用，该日历应用以德语显示内容，例如某些已安排的事件的主题。在框704处，确定第一语言不同于自动助理的第二语言。第二语言可以是与第一语言不同的任何语言。例如，第二语言可以是英语，第二语言是当向操作有自动助理的设备以能够听到的方式说出时自动助理可以理解的语言。在框706处，可以用第一语言在计算设备的图形用户界面处显示可选元素。例如，可选元素可以是按钮或链接，该按钮或链接包括有与用第一语言提供的调用短语相对应的文本。可以在用户正在操作具有可以由自动助理控制的功能的应用时提供可选元素。例如，如果应用正在使用日历应用，则可选元素可以包含意思是“请打开下个月的日历”的德语调用短语。在框708处，响应于对可选元素的选择，自动助理可以用第二语言进行响应。在一些实施方式中，自动助理的响应可以包括第一语言和第二语言两者。例如，以第一语言，自动助理可以说“这是用第二语言说出的命令的方式”，随后，以第二语言，自动助理可以说出调用短语。以这种方式，可以鼓励用户以自动助理偏好的语言说出调用短语。

图8是示例性计算机系统810的框图800。计算机系统810通常包括经由总线子系统812与多个外围设备通信的至少一个处理器814。这些外围设备可以包括存储子系统824(包括例如存储器子系统825和文件存储子系统826)、用户界面输出设备820、用户界面输入设备822和网络接口子系统816。输入设备和输出设备允许用户与计算机系统810交互。网络接口子系统816提供了到外部网络的接口并且耦合至其它计算机系统中的对应的接口设备。

用户界面输入设备822可以包括键盘、指点设备(诸如，鼠标、轨迹球、触摸板或者图形输入板)、扫描仪、并入到显示器中的触摸屏、音频输入设备(诸如，语音识别系统、麦克风和/或其它类型的输入设备)。一般而言，使用术语“输入设备”意图包括将信息输入到计算机系统810中或者到通信网络上的所有可能类型的设备和方法。

用户界面输出设备820可以包括显示子系统、打印机、传真机、或者非可视显示器，诸如，音频输出设备。显示子系统可以包括阴极射线管(crt)、平板设备(诸如，液晶显示器(lcd))、投影设备、或者用于创建可见的图像的一些其它机构。显示子系统还可以提供非可视显示器，诸如，经由音频输出设备。一般而言，使用术语“输出设备”意图包括将信息从计算机系统810输出至用户或者至另一机器或者计算机系统的所有可能类型的设备和方法。

存储子系统824存储提供本文所述的模块中的一些或者所有的功能的程序和数据结构。例如，存储子系统824可以包括执行方法500、600、700的所选方面的逻辑，和/或实现本文所讨论的服务器设备、客户端设备、数据库、引擎和/或模块的逻辑。

这些软件模块通常由处理器814单独或者与其它处理器组合执行。用在存储子系统824中的存储器825可以包括多个存储器，该多个存储器包括用于在程序执行期间存储指令和数据的主随机存取存储器(ram)830以及在其中存储固定指令的只读存储器(rom)832。文件存储子系统826可以为程序和数据文件提供永久存储，并且可以包括硬盘驱动器、软盘驱动器连同相关联的可移动介质、cd-rom驱动器、光盘驱动器、或者可移动介质盒。实现某些实施方式的功能的模块可以由文件存储子系统826存储在存储子系统824中或者可以存储在可由处理器814访问的其它机器中。

总线子系统812提供用于使计算机系统810的各种组件和子系统按照预期的方式彼此通信的机制。虽然总线子系统812被示意性地示出为单个总线，但是总线子系统的替选实施方式可以使用多个总线。

计算机系统810可以是各种类型，包括工作站、服务器、计算集群、刀片式服务器、服务器群、或者任何其它数据处理系统或者计算设备。由于计算机和网络的不断变化的性质，因此图8中描绘的计算机系统810的描述仅仅意图作为为了说明一些实施方式的目的的具体示例。计算机系统810的许多其它配置可能具有比图8中描绘的计算机系统更多或者更少的组件。

在本文所述的系统收集有关用户的个人信息或可以利用个人信息的情况下，可以为用户提供控制程序或功能部件是否收集用户信息(例如，有关用户的社交网络、社交动作或活动、职业、用户的喜好或用户当前的地理位置的信息)的机会，或为用户提供控制是否和/或如何从服务器接收与用户更相关的内容的机会。而且，某些数据在被存储或使用之前可能以一种或多种方式处理，以便移除个人身份信息。例如，可以处理用户的身份，以便无法确定该用户的任何个人可识别信息，或者可以使获得了地理位置信息的用户的地理位置(例如到市、邮政编码或州级)泛化，因此无法确定用户的具体地理位置。因此，用户可以控制如何收集有关用户的信息和/或使用该信息。

虽然在本文中已经描述和示出了多个实施方式，但是可以利用用于执行功能和/或获得结果和/或本文所述的一个或多个优点的各种其它装置和/或结构，并且认为这类变型和/或改型中的每一个都在本文所述的实施方式的范围内。更一般地，本文所述的所有参数、尺寸、材料和配置都是示例性的，并且实际参数、尺寸、材料和/或配置将取决于使用了本教导的具体应用。本领域的技术人员仅仅使用常规实验即将认识或者能够确定本文所述的具体实施方式的许多等同物。因此，将理解到，前述实施方式仅仅以举例的方式呈现，并且在所附权利要求书及其等同物的范围内，可以不同于所具体描述和所要求保护的方式来实现实施方式。本公开的实施方式是针对本文所述的每一个特征、系统、制品、材料、套件和/或方法。另外，如果这些特征、系统、制品、材料、套件和/或方法并非相互矛盾，则两个或更多个这些特征、系统、制品、材料、套件和/或方法的任意组合被包括在本公开的范围内。