背景技术：
：：人类可以参与与在本文中称为“自动化助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“助理应用”、“谈话代理”等)的交互式软件应用的人机对话。例如，人类(其在他们与自动化助理交互时可以被称为“用户”)可以使用在一些情况下可以被转换成文本然后被处理的口头自然语言输入(即话语)和/或通过提供文本(例如，键入的)自然语言输入来向自动化助理提供命令和/或请求。能够使用一些自动化助理来控制物联网(“iot”)设备。然而，许多iot设备能够带有它们自己的对应应用。结果，已获取了多个不同的iot设备的用户可能被指派有在其个人计算设备上安装各种第三方应用的任务。因为应用可能通常需要存储器、网络带宽、更新和/或其它资源，所以在单个设备上具有各种类似的应用可能是效率低的。尽管用户可以依靠自动化助理来调解用户与特定iot设备之间的交互，但是此类交互可能频繁地需要将来自用户的口头话语从音频转换为文本。为了实行音频到文本的转换，时常必须通过网络来发送音频数据，从而消耗显著网络带宽。此外，当用户被正在说话的其它人们包围或者另外在具有背景噪声的环境中时，以这样的方式调解交互可能证明是不可靠的。结果，当最终未识别或以其它方式未履行对iot设备执行特定功能的请求时，用户与自动化助理之间的对话会话可能浪费计算资源和网络资源。技术实现要素：本公开通常涉及用于提供用来控制多个不同的设备的复合图形助理界面的方法、装置和计算机可读介质(暂时性和非暂时性)。随着诸如灯泡和其它器具的常见设备的网络连接变得更普遍，通过网络与此类设备对接的方式可能增加。这可能是部分地由于制造类似设备的制造商数目增加而导致的。例如，可能有数十个智能灯泡制造商，并且大多数灯泡制造商可以提供从中控制其相应的灯泡的应用或界面。结果，安装来自不同的制造商的灯泡的用户可以将不同的应用下载到其个人计算设备以用于控制灯泡。这可能浪费存储器，因为安装多个应用可能占用大量设备存储器，并且还可能浪费网络带宽，因为在设备上具有多个应用可以使设备检查更新，共享数据，并且/或者为相应的制造商推送通知。为了克服这些和/或其它限制，本文描述的一些实现方式提供用于自动化助理生成用于控制各种设备的复合图形助理界面的各种技术，而不管设备是由不同的第三方提供的。复合图形助理界面可以是由一个或多个图形元素编译以便实行对一个或多个设备的控制的界面。复合图形助理界面能够由自动化助理采用，该自动化助理能够作为用户与任何连接设备之间的中介。例如，用户能够提供诸如“assistant,turnonmykitchenlights(助理，打开我的厨房灯)”的口头话语。能够在能够包括一个或多个麦克风和显示面板的客户端设备处接收口头话语，并且作为响应，自动化助理能够使用户家的厨房中的任何灯打开。此外，自动化助理能够识别用户已请求自动化助理控制的“物联网”(iot)设备的类型，并且识别与iot设备的类型相关联的一个或多个控制参数。控制参数能够对应于槽值，这些槽值能够被供应给iot设备以用于修改iot设备的状态，因此能够通过分析用于iot设备的可接受槽值来识别控制参数。例如，诸如智能灯泡的iot设备能够接收可以诸如能够与灯泡的光照状态相对应的“打开”和“关闭”的槽值，和/或诸如能够与灯泡的颜色状态相对应的“红色”、“绿色”和“蓝色”的颜色值。此外，iot设备能够接收诸如能够与灯泡的亮度状态相对应的介于0与100之间的任何数字的槽值。当自动化助理已识别iot设备的所有可能的槽值和/或所得状态时，自动化助理能够识别用来编译复合图形助理界面的合适的图形控制元素。例如，在一些实现方式中，自动化助理能够识别特定iot设备的给定功能的槽值的总数并且使功能与图形控制元素相关。当为具有两个槽值(例如，“打开”和“关闭”)的功能选择图形控制元素时，自动化助理能够选择类似于两位电气开关具有两种状态的图形控制元件。此外，当为具有颜色名称作为槽值(例如，“红色”、“绿色”和“蓝色”)的功能选择图形控制元素时，自动化助理能够选择具有颜色编码输入的图形控制元素，诸如着色按钮的阵列。此外，当为具有至少阈值数目的槽值(例如，两个以上、五个以上、十个以上等)的功能选择图形控制元素时，自动化助理能够选择类似刻度盘控件的图形控制元素，诸如电位计。当自动化助理已选择了用来生成复合图形助理界面的一个或多个合适的图形控制元素时，自动化助理然后能够使客户端设备显示复合图形助理界面。例如，响应于接收到口头话语“assistant,turnonmykitchenlights”，自动化助理能够使厨房灯打开并且也使客户端设备显示具有所选图形控制元素的复合图形助理界面。复合图形助理界面因此将被显示在具有诸如以下各项的图形控制元素的客户端设备的显示面板处：用于打开和关闭灯的两位置开关、用于控制灯的颜色的颜色编码控制输入和/或用于调整灯的亮度的刻度盘控件。以这些和其它方式，不是必须针对每个相应的设备和/或每个相应的设备制造商访问唯一应用，而是自动化助理能够生成具有用户能够与之接洽以修改某些设备的状态的熟悉图形控制元素的类似界面。另外，通过以这样的方式编译复合图形助理界面，能够保留网络带宽，因为客户端设备将不一定必须与远程服务器进行通信以处理口头话语。此外，在各种实现方式中，并且如在上面并在本文中别处描述的，响应于要控制连接设备的口头命令而渲染用于控制连接设备的功能的图形助理界面。例如，响应于“将恒温器调整到72度”的口头输入，能够渲染反映恒温器设定点改变为72度的交互式助理界面，这使得触摸交互能够进一步调整受控设定点功能，并且这使得触摸交互能够进一步调整附加功能(例如，湿度功能、风扇打开/关闭功能等)。以这些和其它方式，所呈现的助理界面进一步帮助用户继续执行连接设备的控制。另外，与例如通过进一步口头输入实行的进一步调整相比，所呈现的界面能够使得更多的网络资源和/或计算资源能够高效地进一步调整功能。在一些实现方式中，能够在由自动化助理呈现的复合图形助理界面处反映设备的状态。例如，响应于接收到口头话语“assistant,pleaseturnonmykitchenlights(助理，请打开我的厨房灯)”，自动化助理能够使前述复合图形助理界面被呈现在客户端设备的显示面板处。此外，在自动化助理已使厨房灯打开之后，自动化助理能够识别厨房灯的所得状态(例如，状态：[灯：“打开”]，...)并且将复合图形助理界面的图形控制元素配置成表示厨房灯的状态。例如，用于控制厨房灯的图形控制元素可以是以“打开”状态呈现以便反映用户通过向自动化助理发出口头话语而引起的状态变化。在一些实现方式中，也能够在复合图形助理界面处反映设备的其它状态。例如，当厨房灯的亮度水平在用户提供口头话语时处于50％时，自动化助理能够使控制厨房灯的亮度水平的刻度盘被定位在50％处。换句话说，响应于自动化助理接收到修改iot设备的状态的特定口头话语，自动化助理能够从iot设备中检索(或接收)附加状态信息以便将iot设备的状态准确地反映给用户。此外，响应于自动化助理接收到特定口头话语，自动化助理能够确定能够由iot设备执行的其它功能。这能够允许自动化助理编译反映能够用于修改iot设备的状态的多个控件的更全面的复合图形助理界面。通过提供反映用户与自动化助理的先前交互的图形助理界面，可以促进用户交互的效率改善。特别地，可以利用减少的交互集促进相关助理任务，诸如iot设备的控制，从而减少与那些交互相关联的计算机和网络资源的消耗。此外，在一些示例中，可以通过特别适于某些控件(例如打开或关闭状态的二元选择)但是对于相关功能(例如优选水平或平衡的精细控制)可能不那么高效的替代模态—诸如通过对话语的辨识—来执行初始交互。因此能够以自动化且高有效的方式呈现用于每个功能的适当模态。此外，提供图形界面可以增强与初始用户输入有关的功能的可发现性。以上描述作为本公开的一些实现方式的概要被提供。在下面更详细地描述那些实现方式和其它实现方式的进一步描述。在一些实现方式中，一种由一个或多个处理器实现的方法被阐述为包括诸如如下的操作：确定经由自动化助理界面检测到的口头话语包括要修改与客户端设备链接的连接设备的状态的请求。口头话语由用户提供。该方法能够进一步包括：响应于接收到请求，识别与所接收到的请求相对应的功能；基于识别功能，使连接设备执行与所接收到的请求相对应的功能；以及确定连接设备的当前状态。连接设备的当前状态可能受到功能的执行影响。该方法也能够包括：识别能够由连接设备执行的一个或多个其它功能。连接设备的当前状态可能进一步受到一个或多个其它功能的执行影响。该方法能够进一步包括：基于识别功能和一个或多个其它功能，确定用于控制由连接设备执行的功能的第一图形控制元素和用于控制一个或多个其它功能的第二图形控制元素。该方法也能够包括：基于连接设备的当前状态，确定用于第一图形控制元素和第二图形控制元素中的每个图形控制元素的配置；以及响应于接收到请求，使与客户端设备相关联的显示面板提供用于控制连接设备的复合图形助理界面。复合图形助理界面能够包括根据所确定的用于每个图形控制元素的配置来布置的第一图形控制元素和第二图形控制元素。在一些实现方式中，该方法能够包括：确定用户已在显示面板处选择了第二图形控制元素，该第二图形控制元素对应于一个或多个其它功能的附加功能；响应于确定用户已选择了第二图形控制元素，使连接设备执行附加功能，其中，附加功能的执行使连接设备展示修改后的状态；以及响应于连接设备执行附加功能，使第二图形控制元素根据修改后的状态来重新配置。在一些实现方式中显示面板包括触摸界面，用户能够通过该触摸界面使用一个或多个手势输入来直接控制第一图形控制元素和第二图形控制元素。在一些实现方式中，该方法能够包括：确定用于控制一个或多个功能的附加功能的第三图形控制元素以及被配置成链接到第三图形控制元素的可选链接。使与第一客户端设备相关联的显示面板提供复合图形助理界面能够包括使得在复合图形助理界面处提供可选链接。在一些实现方式中，该方法能够包括：确定用户已在显示面板处选择了可选链接；以及响应于确定用户已选择了可选链接，使复合图形助理界面提供第三图形控制元素。在一些实现方式中，其中客户端设备缺少集成显示面板，并且该方法能够进一步包括：确定客户端设备缺少集成显示面板；以及响应于确定客户端设备缺少集成显示面板，识别并入显示面板并被链接到客户端设备的附加连接设备。使显示面板提供复合图形助理界面能够包括使附加连接设备的显示面板渲染复合图形助理界面。在一些实现方式中，识别附加连接设备包括：基于指示附加连接设备相对于客户端设备的接近度的存储的设备拓扑，从多个候选设备中选择附加连接设备。在其它实现方式中，一种由一个或多个处理器实现的方法被阐述为包括诸如如下的操作：确定经由自动化助理界面检测到的口头话语包括对连接设备执行功能的请求。口头话语能够由用户提供并且连接设备被链接到客户端设备。该方法也能够包括：响应于接收到请求，识别与所接收到的请求相对应的功能；基于识别功能，使连接设备执行与所接收到的请求相对应的功能；以及基于客户端设备可访问的历史交互数据，确定由连接设备根据来自用户的先前请求先前执行的一个或多个其它功能。该方法能够进一步包括：基于识别一个或多个其它功能，确定用于控制一个或多个其它功能的图形控制元素；以及响应于接收到请求，使与客户端设备相关联的显示面板提供用于控制连接设备的复合图形助理界面。复合图形助理界面能够包括图形控制元素。在一些实现方式中，该方法能够包括：基于与口头话语相关联的话音特性确定用户的简档。使在客户端设备处提供复合图形助理界面能够包括使复合图形助理界面包括基于所确定的简档布置的多个图形控制元素。在一些实现方式中，多个图形控制元素基于由所确定的简档指示的用户的偏好省略至少一个可用的图形控制元素。在一些实现方式中，该方法能够包括：从远程服务器设备请求指示连接设备的当前状态的状态数据。连接设备的当前状态可能受到由连接设备先前执行的一个或多个功能影响。该方法能够进一步包括：从远程服务器设备接收状态数据；以及基于状态数据确定用于图形控制元素的配置。图形控制元素能够根据所确定的配置在复合图形助理界面处被布置。在一些实现方式中，该方法能够包括：响应于请求状态数据，接收与用于修改连接设备的当前状态的附加功能相对应的命令数据。在一些实现方式中，该方法能够包括：确定可选链接和用于控制附加功能的附加图形控制元素。使与客户端设备相关联的显示面板提供复合图形助理界面能够包括使复合图形助理界面包括可选链接。可选链接能够被配置成响应于接收到用户对可选链接的选择而揭示附加图形控制元素。在仍然其它的实现方式中，一种由一个或多个处理器实现的方法被阐述为包括诸如如下的操作：确定用户已在与客户端设备相关联的显示面板处提供的第一复合图形助理界面处选择了的图形控制元素。第一复合图形助理界面可以是用户能够用来控制与客户端设备通信的连接设备的模态。该方法能够进一步包括：响应于确定用户已选择了图形控制元素，使连接设备执行与图形控制元素相对应的功能。连接设备能够被配置成执行各种不同的功能。该方法也能够包括：响应于确定用户已选择了图形控制元素，确定表征用户控制多个不同的功能中的一个或多个其它功能的历史倾向的用户偏好。该方法能够进一步包括：基于确定用户偏好，识别多个不同的功能中的一个或多个其它功能；以及基于识别一个或多个其它功能，确定用于控制连接设备的一个或多个其它功能的一个或多个图形控制元素。该方法也能够包括：响应于确定用户已选择了图形控制元素，使与客户端设备相关联的显示面板用包括一个或多个图形控制元素的第二复合图形助理界面代替第一复合图形助理界面。在一些实现方式中，该方法能够包括确定连接设备的状态。状态可能受到该功能和一个或多个其它功能的执行影响。该方法也能够包括：基于连接设备的状态，确定用于一个或多个图形控制元素中的每个图形控制元素的布置。在一些实现方式中，连接设备的状态能够基于通过一个或多个其它功能中的每个功能的执行或不执行所实行的所得条件。在一些实现方式中，连接设备的状态能够基于通过功能的执行所实行的所得条件并且第二复合图形助理界面包括指示所得条件的图形界面元素。第二复合图形助理界面能够排除与功能相对应的图形控制元素。在一些实现方式中，用户偏好表征用户至少基于用户与自动化助理之间的先前交互控制多个不同的功能中的一个或多个其它功能的历史倾向，其可经由客户端设备的自动化助理界面访问。在一些实现方式中，在用户选择图形控制元素之前，先前交互对应于用户与自动化助理之间的对话会话；其中，在对话会话期间，用户提供了要使连接设备执行功能的请求。其它实现方式可以包括一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质存储指令，这些指令可由一个或多个处理器(例如，中央处理器(cpu)、图形处理单元(gpu)和/或张量处理单元(tpu))执行以执行诸如在下面和/或在本文中别处描述的方法中的一种或多种的方法。仍然其它的实现方式可以包括一个或多个计算机和/或一个或多个机器人的系统，该一个或多个计算机和/或一个或多个机器人可操作来执行存储的指令以执行诸如在下面和/或在本文中别处描述的方法中的一种或多种的方法。应该领会，在本文中更详细地描述的前面的构思和附加构思的所有组合都被设想为是本文公开的主题的一部分。例如，在本公开结尾处出现的要求保护的主题的所有组合都被设想为是本文公开的主题的一部分。附图说明图1图示用于组装用于与连接设备交互的复合图形助理界面的系统。图2a和图2b图示响应于用户提供对连接设备执行特定功能的请求而生成的复合图形助理界面的示例的视图。图3a和图3b图示通过用于使用各种不同的功能来与连接设备交互的建议而生成的复合图形助理界面的示例的视图。图4a和图4b图示用于提供用于控制连接设备的复合图形助理界面的方法。图5图示用于基于用户偏好在复合图形助理界面处提供图形控制元素以便用户经由该复合图形助理界面控制连接设备的方法。图6是示例计算机系统的框图。具体实施方式图1图示用于组装用于与连接设备交互的复合图形助理界面的系统100。复合图形助理界面能够部分地由在诸如客户端设备102(例如，平板设备128)的一个或多个计算设备和/或诸如服务器设备112的远程计算设备124处提供的自动化助理118生成。用户120能够经由助理界面110与客户端自动化助理104交互，该助理界面可以是麦克风、相机、触摸屏显示器、用户界面和/或能够在用户与应用之间提供界面的任何其它装置。例如，用户120能够通过向助理界面110提供口头、文本和/或图形输入来初始化客户端自动化助理104，以使客户端自动化助理104执行操作(例如，提供数据、控制外围设备、访问代理等)。客户端设备102能够包括显示设备108，该显示设备可以是包括用于接收触摸输入和/或手势以用于允许用户经由触摸界面控制客户端设备102的应用的触摸界面的显示面板。客户端设备102能够通过诸如因特网的网络122与远程计算设备124通信。客户端设备102能够将计算任务卸载到远程计算设备124以便保存客户端设备102处的计算资源。例如，远程计算设备124能够托管自动化助理118，并且客户端设备102能够将在一个或多个助理界面处接收到的输入传送到远程计算设备124。然而，在一些实现方式中，自动化助理118能够被完全托管在客户端设备102处。在各种实现方式中，能够在客户端设备102上实现客户端自动化助理104的所有或不到所有方面。在那些实现方式中的一些中，自动化助理118的各方面是经由客户端设备102的客户端自动化助理104实现的并且与远程计算设备124对接，该远程计算设备实现客户端自动化助理104的其它方面。远程计算设备124能够经由多个线程任选地为多个用户及其关联的助理应用服务。在经由客户端设备102的客户端自动化助理104实现自动化助理118的所有或不到所有方面的一些实现方式中，客户端自动化助理104可以是与客户端设备102的操作系统分开的应用(例如，被安装“在”操作系统“之上”)—或者能够替换地由客户端设备102的操作系统直接实现(例如，被认为是操作系统的应用，但是与操作系统集成在一起)。在一些实现方式中，远程计算设备124能够包括话音至文本引擎116，该话音至文本引擎能够处理在助理界面110处接收到的音频数据以识别音频数据中体现的文本。用于将音频数据转换为文本的过程能够包括语音辨识算法，该语音辨识算法能够采用神经网络、word2vec算法和/或统计模型来识别与单词或短语相对应的音频数据组。从音频数据转换的文本能够由文本解析器引擎114解析并且在给自动化助理104处可用作为文本数据，该文本数据能够用于生成和/或识别来自用户和/或第三方应用的命令短语。用户120能够使用其客户端设备102和/或客户端自动化助理104来与连接设备132交互。连接设备132可以是一个或多个iot设备，该一个或多个iot设备能够通过局域网和/或广域网连接到客户端设备102或与之通信。例如，客户端设备102和连接设备132都能够连接到家庭或其它环境中的wi-fi网络。为让用户120与连接设备132交互，用户120能够初始化与连接设备132相关联的应用。然而，如果用户120频繁地与多个不同的连接设备交互，则可能需要用户120操作各种不同的应用以便控制每个连接设备132。为了更高效地使用计算资源，并且防止浪费网络带宽，客户端自动化助理104和/或自动化助理118能够提供用户能够从中与一个或多个连接设备132交互的复合图形助理界面。为了生成复合图形助理界面，用户120能够向助理界面110提供口头话语130。口头话语能够体现指示用户120希望连接设备132执行特定功能的请求。能够将与口头话语130相对应的音频数据从客户端设备102传送到远程设备124。音频数据然后能够由话音至文本引擎116并由文本解析器引擎114处理。由对音频数据的处理产生的文本能够由功能识别引擎142使用以便识别用户120正在其口头话语130中提及的一个或多个功能。例如，功能识别引擎142能够将来自口头话语130的文本与在诸如连接设备服务器134的单独的远程设备126处可用的功能数据136进行比较。功能数据136能够提供一个或多个连接设备能够执行的功能的全面列表。功能识别引擎142能够将文本与功能数据136进行比较以便识别能够由连接设备132执行并且用户正在提及的一个或多个功能。响应于确定文本对应于一个或多个功能，自动化助理118或客户自动化助理104能够使连接设备132执行一个或多个识别的功能。例如，当连接设备132是诸如但不限于恒温器的iot设备时，功能能够包括改变连接设备132的温度设定。能够从服务器设备112向连接设备132提供用于使得在连接设备132处执行功能的命令。或者，能够将用于使连接设备132执行功能的命令从服务器设备112提供给连接设备服务器134，该连接设备服务器能够与连接设备132进行通信以使连接设备132执行功能。或者，客户端设备102能够将命令传送到连接设备132，或者服务器设备112能够将命令传送到客户端设备102，该客户端设备102能够与连接设备132进行通信以使连接设备132执行功能。响应于接收到要使连接设备132执行功能的口头话语130，自动化助理能够使得在客户端设备102的显示设备108或与客户端设备102相关联的单独的显示设备处提供复合图形助理界面。为了生成复合图形助理界面，自动化助理118能够从功能数据136中识别能够由连接设备132执行的一个或多个其它功能。所识别的其它功能能够被用作用来识别图形控制元素140的基础，这些图形控制元素能够用来在显示设备108处控制所识别的其它功能中的每个功能。例如，诸如打开和关闭风扇的功能能够由与双向开关相对应的图形控制元素140控制。此外，能够使用与刻度盘相对应的图形控制元素140来控制诸如调整湿度的功能，该刻度盘能够被转动以选择范围值中的值。自动化助理118或客户自动化助理104能够将所识别的其它功能映射到图形控制元素140，这些图形控制元素能够被存储在服务器设备112处或者可被服务器设备112以其它方式访问。复合界面引擎144能够将图形控制元素140映射到所识别的其它功能以便生成复合图形助理界面。在一些实现方式中，自动化助理118能够访问与连接设备132的状况或状态相对应的状况数据138。状况数据138能够指示可能受到连接设备132的一个或多个功能的执行或不执行影响的状况。例如，当不正在执行连接设备32的功能时，连接设备132的状况可以是“关闭”。或者，状况能够对应于指示连接设备132的特定功能的条件或参数的数据的表或串。连接设备132的状况能够被用作据此为已被映射到连接设备132的功能的每个图形控制元素140确定配置的基础。例如，如果连接设备132包括处于关闭状态的灯，并且连接设备132的功能是打开或关闭灯，则能够在复合图形助理界面处提供与灯开关相对应的图形控制元素并以示出灯开关被关闭的方式配置它。换句话说，当在显示设备108处呈现复合图形助理界面时，每个图形控制元素能够反映连接设备132的当前状态。在一些实现方式中，用于复合图形助理界面的图形控制元素的布置和/或选择能够基于和用户120与自动化助理和/或连接设备132之间的交互相关联的数据。例如，能够基于用户先前已使此类功能在阈值时间段内被执行来为复合图形助理界面选择与特定功能组相对应的特定图形控制元素组。替换地或附加地，能够基于功能如何影响特定用户、特定位所、特定设备和/或能够由功能的功能展示的任何其它关系来为复合图形助理界面选择与特定功能组相对应的特定图形控制元素组。例如，为用户生成的复合图形助理界面能够包括与连接设备的影响用户当前所位于的家庭的功能相对应的图形控制元素。因此，对图形控制元素的选择能够基于用户的位所、连接设备的标识符、用户的日历排程和/或能够用于估计用户的地理定位数据的任何其它数据。在一些实现方式中，用户120能够将口头话语130提供给缺少集成显示面板或者否则不能在助理设备处容易地呈现复合图形助理界面的助理设备。在此类实现方式中，自动化助理能够在助理设备处接收口头话语130并且使得由用户120请求的功能由连接设备132执行。然而，响应于接收到要执行功能的请求并且确定显示面板在助理设备处不可用，则自动化助理能够识别一个或多个候选设备。候选设备能够基于候选设备显示助理界面的能力、候选设备与用户120的接近度、候选设备与助理设备的接近度、候选设备与连接设备132的接近度和/或用户120对于特定候选设备的偏好来识别。例如，当自动化助理确定显示面板在助理设备处不可用并且确定平板设备或电视是次最接近助理设备的显示设备时，自动化助理能够使平板设备或电视呈现复合图形助理界面。以这种方式，因为当用户120在他们正在请求由连接设备132执行特定功能时可能不总是在显示面板附近，所以自动化助理能够仍然使得在附近的显示设备处生成复合图形助理界面。在一些实现方式中，自动化助理能够响应于用户120提供对连接设备132执行功能的请求而使助理设备可听见地向用户120通知复合图形助理界面的位所。例如，响应于用户120提供口头话语“assistant,pleaseturnonmykitchenlights(助理，请打开我的厨房灯)”，自动化助理能够使助理设备可听见地输出响应“ok,i’veprovidedaninterfacewithadditionalcontrolsatyourtabletdevice(好的，我已在你的平板设备处提供了带有附加控件的界面)”。自动化助理因此能够使用户120注意到，如果他们去取回其平板设备，则他们能够找到用于其连接设备的附加控件。图2a和图2b图示响应于用户202提供对连接设备执行特定功能的请求而生成的复合图形助理界面212的示例的视图200和210。具体地，用户202能够通过向客户端设备204的音频界面提供口头话语208来与诸如平板设备的客户端设备204交互。口头话语可以是例如“assistant,increasethetemperatureinmyhome(助理，提高我家的温度)”。响应于接收到口头话语，在客户端设备204处可用的自动化助理能够使口头话语被处理以便识别向口头话语208中体现的请求。该请求能够对应于连接设备的功能，诸如提高恒温器处的温度。自动化助理能够使功能由连接设备执行，并且也使得在客户端设备204的显示面板206处提供复合图形助理界面212。图2b图示在客户端设备204的显示面板206处提供的复合图形助理界面212的视图210。具体地，因为用户202请求了提高温度设定，所以复合图形助理界面212能够包括将温度设定提高到“72”的通知214。此外，复合图形助理界面212能够包括用户202能够控制连接设备的其它功能的多个不同的图形控制元素。例如，复合图形助理界面212能够提供用于控制连接设备的湿度设定的刻度盘218。附加地，复合图形助理界面212能够包括用于控制风扇设定的开关216和用于控制安全设定的开关220。以这种方式，用户202不一定需要向客户端设备204提供另一口头话语以便使连接设备执行不同功能。相反，用于功能的控件能够被以相对于提供多个口头话语来使它们变得控制起来不太计算密集的方式呈现。尽管在图2b中未显式地图示，但是应注意，在各种实现方式中也能够在复合图形助理界面212中呈现图形控制元素，其使得能够响应于口头话语208而进一步调整功能。例如，通知214能够用使得能够控制连接设备的温度设定的刻度盘(例如，类似于刻度盘218)代替。这样的刻度盘也可以反映温度设定被提高到“72”(例如，经由在刻度盘的调整元件上或附近提供的“72”的显示)。图3a和图3b图示通过用于使用各种不同的功能来与连接设备交互的建议而生成的复合图形助理界面312的示例的视图300和310。例如，用户302能够向客户端设备304的音频界面提供口头话语308以便与连接设备交互或控制连接设备。口头话语可以是例如“assistant,iwanttochangethetemperatureofmyhome(助理，我想要改变我家的温度)”。自动化助理能够接收到口头话语308并使口头话语308被处理以便识别用户302希望影响或控制的特定功能。响应于识别特定功能(例如，控制温度)，自动化助理能够编译包括用于控制所识别的特定功能的至少一个图形控制元素的复合图形助理界面312。自动化助理也能够选择用来编译复合图形助理界面的其它元素。例如，复合图形助理界面312能够包括用于控制温度的刻度盘318，以及用于控制连接设备的另一功能(例如调整湿度)的第一链接314和用于控制连接设备的另一功能(例如调整风扇)的第二链接316。当用户302选择例如第一链接314时，复合图形助理界面能够用包括用于调整湿度的刻度盘(诸如来自图2b的刻度盘218)的不同的复合图形助理界面代替。以这种方式，不是向自动化助理提供一系列口头话语来确定连接设备的其它功能性，而是能够响应于用户302提供与连接设备有关的初始口头话语而向用户302建议各种功能。在一些实现方式中，复合图形助理界面312能够展示连接设备的当前状况。例如，刻度盘318能够被配置成反映连接设备的当前温度设定。图4a和图4b图示用于提供用于控制连接设备的复合图形助理界面的方法400和410。方法400和410能够由计算设备、应用和/或能够与连接设备和/或自动化助理交互的任何其它装置或模块中的一个或多个执行。方法400能够包括确定经由客户端设备的自动化助理界面检测到的口头话语包括要修改与客户端设备链接的连接设备的状态的请求的操作402。自动化助理界面能够包括麦克风、触摸显示器、相机和/或用户可以用来与自动化助理和/或计算设备进行通信的任何其它装置中的一个或多个。在一些实现方式中，连接设备可以是与客户端设备和/或经由客户端设备可访问的自动化助理通信的一个或多个设备。例如，客户端设备和连接设备(例如，iot设备)能够连接到用户家中的局域网(例如，wi-fi网络)，或者客户端设备和连接设备能够通过因特网连接。方法400能够进一步包括响应于接收到请求而识别与所接收到的请求相对应的功能的操作404。功能可以是连接设备能够执行或实行的操作。在一些实现方式中，功能能够对应于能够在一个或多个候选连接设备处执行的多个不同的操作。功能可以是例如打开用户家的厨房中的灯的操作。口头话语能够体现用于执行功能的请求。例如，口头话语可以是“assistant,pleaseturnonthelightsinmykitchen(助理，请打开我厨房里的灯)”。响应于接收到口头话语，客户端设备能够通过将从该口头话语导出的文本与能够在自动化助理的指示下初始化的可用功能进行比较来识别与接收到的口头话语最相对应的功能。方法400也能够包括基于识别功能使连接设备执行与所接收到的请求相对应的功能的操作406。例如，在一些实现方式中，客户端设备能够接收请求并向连接设备发出执行所识别的功能的命令。在其它实现方式中，能够在客户端设备处捕获请求并将其传送到远程服务器以进一步处理。远程服务器然后能够识别功能并且向连接设备或与连接设备相关联的服务器传送命令，以使连接设备执行该功能。替换地或附加地，在一些实现方式中，远程服务器能够识别功能并将命令传送到客户端设备，并且作为响应，客户端设备能够与连接设备进行通信以使连接设备执行功能。方法400能够进一步包括确定连接设备的当前状态的操作408。连接设备的当前状态可能受到一个或多个功能的执行影响或干扰。例如，当功能对应于打开灯的请求时，该功能的执行能够使连接设备(例如，智能灯)的所得状态为“打开”。当前状态因此能够基于分别受到一个或多个功能的执行或不执行干扰的一个或多个条件。例如，响应于连接设备具有打开的灯，连接设备的当前状态可以是“智能_灯(状态)：([灯：打开]，[亮度：50％]，[颜色：浅_白色)]”。能够通过客户端设备向连接设备发出查询并且作为响应接收指示连接设备的当前状态的数据来确定连接设备的当前状态。替换地或附加地，响应于连接设备接收到要使连接设备执行所识别的功能的命令，连接设备能够执行该功能并且提供该功能被执行的确认以及指示连接设备的当前状态的数据。替换地或附加地，连接设备能够将连接设备的当前状态传达到服务器，并且客户端设备能够通过直接或间接与能够访问一个或多个连接设备的当前状态的远程服务器进行通信来确定连接设备的当前状态。如通过图4a和图4b两者中画圆圈的连续元素“a”所指示的，图4a的方法400能够继续到图4b的方法410。方法410能够包括识别能够由连接设备执行的一个或多个其它功能的操作412。一个或多个其它功能可以与先前识别的功能不同。例如，当所识别的功能对应于打开灯的操作时，一个或多个其它功能能够对应于设定灯的亮度水平和/或设定灯的色调的操作。此外，一个或多个其它功能可以取决于其执行或不执行是否已在连接设备处产生特定条件而影响连接设备的当前状态。方法410能够进一步包括基于识别功能和一个或多个其它功能确定用于控制由连接设备执行的功能的第一图形控制元素和用于控制一个或多个其它功能的第二图形控制元素的操作414。确定第一图形控制元素和第二图形控制元素能够包括从包括能够用来编译复合图形助理界面的多个不同的图形控制元素的本地或远程存储器存储中选择图形控制元素。能够将每个图形控制元素与元数据相关联地存储，该元数据能够指示相应的图形控制元素能够控制的参数。例如，第一图形控制元素能够与二进制或“打开-关闭”参数相关联，从而指示第一图形控制元素能够控制具有两种状态或条件的功能。此外，能够将第二图形控制元素与参数的范围(例如，介于0与1或0与100之间的两个或更多个值的范围)相关联地存储，从而指示第二图形控制元素能够控制貌似模拟功能，诸如亮度水平变化和/或色调变化。方法400能够进一步包括基于连接设备的当前状态确定用于第一图形控制元素和第二图形控制元素中的每个图形控制元素的配置的操作416。配置可能是指每个图形控制元素的反映连接设备的当前状态的外观。例如，当初始请求对应于用于打开灯的功能并且作为响应而打开灯时，第一图形控制元素可能类似被配置在“打开”位置中的灯开关，从而反映连接设备的当前状态。此外，当连接设备的当前状态对应于90％的亮度水平时，第二图形控制元素能够类似被配置在90％位置处的模拟刻度盘，其中第二图形控制元素的旋钮或刻度盘被定位在模拟刻度盘的范围的一半内。在一些实现方式中，与每个图形控制元素相关联的元数据能够指示每个图形控制元素的配置，从而能够在生成复合图形助理界面时修改或更新元数据以反映连接设备的当前状态。方法410也能够包括响应于接收到请求而使与客户端设备相关联的显示面板提供包括第一图形控制元素和第二图形控制元素的复合图形助理界面的操作418。能够根据所确定的配置来布置第一图形控制元素和第二图形控制元素中的每一个，以便为用户反映连接设备的当前状态。以这种方式，用户将能够快速地确认初始请求被履行，并且他们也可以控制连接设备的其它功能而不必叙述附加口头话语。这能够保存计算资源，因为与在图形用户界面处接收输入比，处理附加口头话语可能要求更加处理密集。此外，通过避免处理另外的附加口头话语，客户端设备能够保存网络带宽，因为将不需要将与附加口头话语相关联的音频数据传送到远程服务器以进行处理(例如，语音至文本处理)。图5图示用于基于用户偏好在复合图形助理界面处提供图形控制元素以便用户经由该复合图形助理界面控制连接设备的方法500。方法500能够由一个或多个计算设备、应用和/或能够与客户端设备和/或自动化助理交互的任何其它装置或模块来执行。方法500能够包括确定用户已在与客户端设备相关联的显示面板处提供的第一复合图形助理界面处选择了图形控制元素的操作。能够在客户端设备处提供第一复合图形助理界面以用于控制通过局域网或广域网与客户端设备通信的连接设备。提供有第一复合图形助理界面的显示面板可以是允许用户在连接设备处初始化特定功能的执行的触摸界面。第一复合图形助理界面能够由自动化助理应用提供，该自动化助理应用能够用于控制多个不同的连接设备。显示面板能够与客户端设备集成在一起或者与客户端设备分开，从而允许用户对连接设备展示某种控制，而不必直接联系连接设备。相反，用户能够通过由自动化助理生成的复合图形助理界面来与连接设备交互，以便提供用来与来自不同第三方的不同设备交互的标准化界面。方法500能够进一步包括响应于确定用户已选择了图形控制元素而使连接设备执行与该图形控制元素相对应的功能的操作504。图形控制元素可以是经由触摸显示面板可选择的第一复合图形助理界面的一部分，并且能够使得在客户端和/或连接设备处发生特定处理。例如，第一复合图形助理界面能够与用户家的机电系统相关联，并且选择图形控制元素能够使机电系统执行功能。例如，图形控制元素可以是能够用于调整hvac系统的温度输出的可滑动元素。在一些实现方式中，第一复合图形助理界面能够包括用户能够用来控制hvac系统的特定功能的多个不同的图形控制元素。然而，第一图形控制元素能够限于用户最频繁地使用过的那些图形控制元素和/或将合适地配合在第一复合图形助理界面的边界内的许多图形控制元素。方法500也能够包括确定表征用户控制能够由连接设备执行的多个不同的功能中的一个或多个功能的历史倾向的用户偏好的操作506。用户偏好能够作为在客户端设备处可用或客户端设备可访问的一个或多个文件的一部分被体现。用户偏好可以是基于用户与自动化助理、客户端设备、连接设备和/或能够在用户的指示下控制的任何其它应用或装置之间的历史交互而生成的数据的子集。例如，用户偏好能够指示用户先前已操纵hvac系统(即，连接设备)以修改hvac系统的温度输出，并且此后不久，操纵了hvac系统的风扇打开。因此，历史倾向可以是用户更喜欢在他们调整hvac系统的温度输出时调整hvac系统的风扇。在一些实现方式中，用户偏好能够表征用户调整连接设备的多个功能的多个历史倾向。方法500能够进一步包括基于识别一个或多个其它功能确定用于控制连接设备的一个或多个其它功能的一个或多个图形控制元素的操作510。例如，诸如hvac系统的连接设备能够执行多个功能，包括改变温度、湿度、空气流量和/或任何其它操作。各种功能能够由自动化助理识别，该自动化助理能够从远程服务器和/或连接设备访问功能列表。替换地或附加地，客户端设备能够包括与连接设备相关联的应用因此能够提供与连接设备的功能性和/或能够经由客户端设备和/或自动化助理来控制的任何功能相对应的数据。在一些实现方式中，能够从在客户端设备、不同的客户端设备和/或客户端设备可访问的远程服务器处提供的图形控制元素的存储中选择一个或多个其它图形控制元素。图形控制元素能够与指示能够采用它们来接收和/或提供的输入和/或输出的类型的元数据存储在一起。因此，自动化助理能够使用元数据使图形控制元素与能够由连接设备执行的功能相关。例如，如果连接设备能够执行使用具有两个可能参数(例如，打开或关闭)的单个槽值的功能，则自动化助理能够使功能与二进制开关图形控制元素(例如，诸如电灯开关)相关。方法500也能够包括使与客户端设备相关联的显示面板用包括一个或多个图形控制元素的第二复合图形助理界面代替第一复合图形助理界面的操作512。用第二复合图形助理界面代替第一复合图形助理界面能够包括使第一复合图形助理界面被第二复合图形助理界面至少部分地或完全地替换。在一些实现方式中，第二复合图形助理界面能够指示与在第一复合图形助理界面处选择的图形控制元素相关联的功能的成功完成。在一些实现方式中，第二复合图形助理界面能够包括与在第一复合图形助理界面处提供的可选链接相关联的图形控制元素。例如，第一复合图形助理界面能够包括指示可用功能的可选链接，并且响应于对可选链接的选择，能够给第二复合图形助理界面提供用于控制可用功能的图形元素。在一些实现方式中，第二复合图形助理界面能够被布置成包括与用户已在控制与所选图形控制元素相关联的功能的上下文中先前控制的功能相对应的多个不同的图形控制元素。以这种方式，用户将不一定需要提供口头话语以便影响先前控制的功能，而是相反，仅仅与显示面板处的第二复合图形助理界面交互。结果，能够通过消除为了控制特定功能将需要发生的语音处理量来保存计算资源和/或网络带宽。在一些实现方式中，在第二复合图形助理界面处提供的图形控制元素能够基于与图形控制元素相对应的功能之间的关系。例如，当连接设备与影响家庭和/或不同地理区域的不同位所的功能相关联时，在每个复合图形助理界面处提供的图形控制元素能够按与其指派的功能相关联的位所或地理区域来组织。替换地或附加地，在第二复合图形助理界面处呈现的图形控制元素能够基于其对应功能的排名被选择。排名能够基于由用户或与用户相关联的人员、由用户拥有或采用的其它设备或应用对每个功能的使用频率和/或能够用于向用户推荐特定功能的任何其它数据。此外，第二复合图形助理界面可能限于与具有满足特定排名阈值的排名的功能相对应的图形控制元素。图6是示例计算机系统610的框图。计算机系统610通常包括经由总线子系统612与许多外围设备进行通信的至少一个处理器614。这些外围设备可以包括存储子系统624，包括例如存储器625和文件存储子系统626、用户界面输出设备620、用户界面输入设备622和网络接口子系统616。输入和输出设备允许用户与计算机系统610交互。网络接口子系统616提供到外部网络的接口并且耦合到其它计算机系统中的对应接口设备。用户界面输入设备622可以包括键盘、诸如鼠标、轨迹球、触摸板或图形输入板的指点设备、扫描仪、并入到显示器中的触摸屏、诸如话语辨识系统的音频输入设备、麦克风和/或其它类型的输入设备。通常，术语“输入设备”的使用旨在包括用于将信息输入到计算机系统610或到通信网络上的所有可能类型的设备和方式。用户界面输出设备620可以包括显示子系统、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子系统可以包括阴极射线管(crt)、诸如液晶显示器(lcd)的平板设备、投影设备或用于创建可见图像的某种其它机制。显示子系统也可以例如经由音频输出设备提供非视觉显示。通常，术语“输出设备”的使用旨在包括用于从计算机系统610向用户或另一机器或计算机系统输出信息的所有可能类型的设备和方式。存储子系统624存储提供本文描述的模块中的一些或全部的功能性的程序和数据构造。例如，存储子系统624可以包括用于执行方法400、方法500的所选方面并且/或者实现以下各项中的一个或多个的逻辑：连接设备服务器134、服务器设备112、自动化助理118、客户端设备102、连接设备132、功能识别引擎142、复合界面引擎144、客户端设备204、客户端设备304和/或本文讨论的任何其它操作或装置。这些软件模块通常由处理器614单独或与其它处理器相结合地执行。存储子系统624中使用的存储器625能够包括许多存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(ram)630)和其中存储有固定指令的只读存储器(rom)632。文件存储子系统626能够为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及关联的可移动介质、cd-rom驱动器、光驱或可移动介质盒。实现某些实现方式的功能性的模块可以由文件存储子系统626存储在存储子系统624中，或者存储在可由处理器614访问的其它机器中。总线子系统612提供了用于让计算机系统610的各个组件和子系统按预期彼此通信的机制。尽管总线子系统612被示意性地示出为单条总线，但是总线子系统的替代实现方式可以使用多条总线。计算机系统610可以是各种类型，包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其它数据处理系统或计算设备。由于计算机和网络的不断变化性质，图6中描绘的计算机系统610的描述仅旨在作为用于图示一些实现方式的目的的具体示例。计算机系统610的许多其它配置可能具有比图6中描绘的计算机系统更多或更少的组件。在本文描述的系统收集关于用户的个人信息(或在本文中常常称为“参与者”)或者可以利用个人信息的情形下，可以给用户提供控制程序或特征是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前地理位置的信息)或者控制是否和/或如何从内容服务器接收可能与用户更相关的内容的机会。另外，某些数据可以在它被存储或使用之前被以一种或多种方式处理，使得个人可识别信息被去除。例如，可以处理用户的身份，使得对于该用户不能确定个人可识别信息，或者可以在获得地理位置信息的情况下使用户的地理位置一般化(诸如到城市、邮政编码或州级别)，使得不能确定用户的特定地理位置。因此，用户可以控制信息如何关于用户被收集和/或使用。虽然已在本文中描述并图示若干实现方式，但是可以利用用于执行功能和/或获得结果的各种其它手段和/或结构和/或本文描述的优点中的一个或多个，并且此类变化和/或修改中的每一个均被视为在本文描述的实现方式的范围内。更一般地，本文描述的所有参数、尺寸、材料和配置都意在为示例性的，并且实际的参数、尺寸、材料和/或配置将取决于这些教导被用于的一个或多个具体应用。本领域的技术人员将认识到或能够使用不止例行试验来探知本文描述的具体实现方式的许多等同物。因此，应当理解，前面的实现方式仅作为示例被给出，并且在所附权利要求及其等同物的范围内，可以以不同于具体地描述和要求保护的方式实践实现方式。本公开的实现方式针对本文描述的每个单独的特征、系统、物品、材料、套件和/或方法。另外，两个或更多个此类特征、系统、物品、材料、套件和/或方法的任何组合在此类特征、系统、物品、材料、套件和/或方法不是相互不一致的情况下，被包括在本公开的范围内。当前第1页12当前第1页12