抢先初始化自动化助理常规事务和/或取消排程的闹钟的制作方法

文档序号:23067981发布日期:2020-11-25 17:55阅读:131来源:国知局
抢先初始化自动化助理常规事务和/或取消排程的闹钟的制作方法



背景技术:

在某些场境下,用户可以请求在某个时间触发闹钟以叫醒用户,使得用户可以醒来开始他们的早晨常规事务。如果用户在闹钟响之前醒来,他们的闹钟仍然可以在排程(schedule)的时间被触发。根据闹钟的类型(例如,音频和/或视觉),生成闹钟可能会浪费电力和计算资源,因为用户已经醒来,所以这不是必需的。此外,用户可能不得不中断他们的常规事务以停止闹钟,从而在停止闹钟之前中断他们可能已经参与的任何任务。当用户与自动化助理交互时,可能会发生类似的错误,自动化助理可能会被排程在某些时间初始化特定的动作。

在许多情况下,在自动化助理可以解释和响应用户的请求之前,必须首先“调用”它,例如使用预定义的口头调用短语,其通常称为“热门词汇”或“触发短语”。因此,许多自动化助理在“默认收听状态”下操作,在所述状态下,它们总是“收听”由麦克风为有限(或限定,或“默认”)的热门词汇组采样的音频数据。除了默认的热门词汇组之外,音频数据中捕获的任何话语都将被忽略。一旦自动化助理被一个或多个默认热门词汇组调用,它就可以在本文将称为“语音辨识状态”的状态下操作,其中,在调用后的至少某一时间间隔内,自动化助理对麦克风采样的音频数据执行语音转文本(“stt”)处理以生成文本输入,该文本输入又被语义处理以确定用户的意图(并实现该意图)。

在某些场境下,用户可能无法舒适地提供触发短语,且因此可能选择不调用自动化助理,诸如当用户是家庭中第一个醒来的人而其他人正在睡觉时。此外,总是让自动化助理在“收听”状态下操作可能在计算上是低效的。例如,“收听”状态可能需要一个或多个计算装置持续采样基于麦克风输出生成的音频数据。与简单的按钮输入相比,此类对麦克风输出的不断监测可能在计算上是密集的,并且还可能消耗网络带宽——如果音频数据在单独的服务器装置上处理的话。



技术实现要素:

本公开总体涉及用于响应于一个或多个条件被满足而取消将由计算装置执行的排程操作的方法、设备和计算机可读介质(暂时性和非暂时性)。此外,可以调用自动化助理用于响应于排程操作被取消来执行一个或多个动作(例如,包括多个动作的常规事务)。以此方式,可以减少原本由一个或多个计算装置处理的用户输入的数量。例如,通过响应于用户取消闹钟(例如,通过点击装置的按钮)而抢先(pre-emptively)触发自动化助理常规事务,用户不必提供随后的口头话语来触发自动化助理常规事务。以此方式省略随后的口头话语可以保存网络带宽,因为语音数据不需要传输到单独的服务器进行处理。此外,忽视处理对应于口头话语的数据可以保存处理带宽,因为接收口头话语的装置的处理器不必缓存和/或压缩对应于口头话语的任何数据。

在一些实施方式中,用户可以将多个装置连接在一个环境内,诸如他们的家中。多个装置中的每一装置可以提供对自动化助理的访问,该自动化助理可以响应于用户提供自然语言输入(诸如口头话语或触发短语)而被调用。自动化助理可以执行动作或动作集(例如,常规事务),这些动作或动作集可以包括创建或修改某些设置,诸如建立闹钟并使得闹钟在特定时间响起。例如,用户可以通过说“助理,请将我的闹钟设置为明天早上6:00。”来向他们卧室中的计算装置的自动化助理接口提供口头话语。作为响应,自动化助理可以从计算装置调用并且随后设置闹钟。当闹钟在第二天早上6:00响起时,输出(例如,音乐)可以由用户经由用于取消输出的明确输入来取消,诸如按钮点击或另一个口头话语。然而,为了防止闹钟在用户在闹钟之前已经醒来时响起,可以抢先取消闹钟。

为了抢先取消闹钟,可以确定情境条件(situationalcondition)是否已满足,并且当情境条件满足时,可以抢先取消闹钟。例如,情境条件可以包括参数,该参数要求指示用户至少在闹钟响起的排程时间之前的有限时间段内是醒着的、活动的或者以其他方式未睡着的。作为示例,当在用户已排程闹钟响起的时间之前、但是在用户已经睡了阈值时间段之后,用户已经在他们家中启动了灯时,可以满足情境条件。以此方式,如果用户在他们的闹钟响起之前起床并打开灯,则可以省略或忽视在闹钟的排程时间排程发出的输出。

可替代地或另外地,当闹钟正在响起(例如,呈现能够被用户感知的音频和/或视频),当满足情境条件时闹钟可以被取消。作为示例,在用户已经睡了阈值时间段的时间之后,用户已经在他们家中启动了播客应用和/或扬声器时,可以满足情境条件。因此,如果用户在闹钟响起时起床,并且启动他们家中的播客应用和/或扬声器,则对应于闹钟响起的输出可以被取消。在一些实施方式中,当情境条件不满足时,闹钟可以继续响起(例如,呈现能够被用户感知的音频和/或视频)。例如,当闹钟的排程时间的时间到达发生、并且闹钟随后响起时,用户可能不执行使得情境条件被满足的动作。结果,闹钟可以继续响起,直到满足情境条件或另一适用条件为止。

在一些实施方式中,情境条件可以基于用户和自动化助理之间的一个或多个交互,该交互在事件过去发生的时间段内在先发生,或者以可以确定一个或多个交互与事件之间的关系的方式发生。例如,当用户表现出在特定闹钟已被排程响起的时间附近执行一个或多个任务的习惯时,可以为本文论述的任何实施方式生成情境条件。作为示例,自动化助理可以检测到用户在醒来后通常会在房子里走来走去,打开他们厨房的灯,并开始听音乐。由用户提出的这一系列任务可以用作建立情境条件的基础,例如,为了抢先取消闹钟。以此方式,如果用户在他们的闹钟响起之前执行该系列任务,或者当他们的闹钟响起时,情境条件可以被认为是满足的,并且闹钟可以被取消(或者抢先取消)。在一些实施方式中,生成用于定义情境条件的参数可以基于一个或多个用户在过去已经执行一个或多个任务的次数、用户已经执行一个或多个任务的场境(context)、与一个或多个任务相关的一个或多个事件、和/或当识别与排程事件相关的任务时适合使用的任何其他信息。例如,尽管当用户调用自动化助理来取消闹钟时,用户可以明确地请求取消他们的闹钟,但是自动化助理也可以基于用户在过去的至少阈值次数(例如,至少10次)下已经打开他们的灯并且在他们的闹钟响起之后调节他们的恒温器,来生成用于取消闹钟的情境条件。

在一些实施方式中,当用户的闹钟响起或取消时,用户还可以请求自动化助理执行常规事务。常规事务可以包括将由自动化助理执行的一个或多个动作,并且可以由用户在用户与自动化助理之间的对话会话期间在先地配置。例如,用户可以通过提供诸如“助理,当我说‘早上好’时,打开我的咖啡机,播放我的早晨播放列表,并打开我的厨房灯”之类的口头话语来请求自动化助理执行“早晨”常规事务。因此,当用户请求自动化助理设置闹钟时,用户也可以请求自动化助理执行“早晨”常规事务。用于建立上述设置的口头话语可以是,例如,“助理,设置我的闹钟并在我的闹钟响起时执行我的‘早上好’常规事务”。因此,当已经满足用户输入条件和/或已经满足事件条件时,可以将自动化助理常规事务设置为初始化。例如,用户输入条件可以通过用户提供输入来满足,该输入旨在当闹钟响起时取消闹钟。当对应于事件条件的事件的时间到达(例如,排程闹钟的时间已经时间到达)已经发生时,事件条件被满足。因此,当闹钟已经响起和/或用户已经用特定的用户输入(例如,对计算装置的接口的口头话语或手势)取消了闹钟时,“早晨”常规事务可以由自动化助理初始化。

在一些实施方式中,用户可以请求自动化助理设置闹钟并在闹钟响起或取消时执行常规事务,并且自动化助理可以在闹钟被抢先取消和/或满足情境条件时执行常规事务。换句话说,尽管用户请求响应于闹钟响起或用户取消闹钟而执行常规事务,但是常规事务仍然可以在闹钟响起的排程时间之前被初始化。作为示例,用户可以将闹钟设置为在第二天早上6:00响起,并请求在用户取消闹钟时执行“早上好”常规事务。然而,如果用户在早上6:00之前醒来,并且通过提供口头话语与自动化助理交互,而没有初始化“早上好”常规事务(例如,“助理,天气怎么样?”),自动化助理可以注意到用户在闹钟时间(即,早上6:00)之前醒来,从而满足情境条件。由于自动化助理确认用户在闹钟响起的排程时间之前醒来,自动化助理可以将常规事务的执行初始化,并且使得对应于闹钟的输出被取消或省略。因此,当闹钟时间的时间到达(例如,早上6:00)随后发生时,计算装置将不提供输出,并且自动化助理已经将常规事务的执行初始化。

以此方式抢先影响特定操作的状态,而不必要求处理用户输入,可以保存原本将用于处理重复用户输入的计算资源。例如,在用户必须提供口头话语来取消他们的闹钟的情况下,为了取消闹钟并初始化自动化助理常规事务,可以使用各种语音处理技术由一个或多个装置来处理口头话语。然而,因为不直接意图影响闹钟和/或自动化助理常规事务的输入仍然可以被用于取消闹钟和初始化自动化助理,所以可以消除存储、传输和/或处理用户输入(例如,口头话语)的需要。

在一些实施方式中,当满足用户提出的一个或多个条件时,可以修改正在进行的操作。正在进行的操作可以是当前由一个或多个计算装置执行的操作,并且任选地经由自动化助理来执行。例如,用户可以请求自动化助理提供某些媒体的音频播放,并且当媒体被可听见地呈现给用户时,媒体的播放可以被认为是正在进行的操作。可替代地或另外地,当用户请求自动化助理将闹钟设置为特定时间,并且闹钟随后在该特定时间响起时,被可听地呈现的闹钟可以被认为是正在进行的操作。如本文所述,当在正在进行的操作期间满足用户已指定的一个或多个条件时,可以修改所述正在进行的操作。在一些实施方式中,一个或多个条件可以由用户指定、由自动化助理建立、在一个或多个计算装置处预先配置、由一个或多个计算装置使用对应于一个或多个用户与一个或多个计算装置之间的交互的交互数据随时间学习、和/或以其他方式可以由自动化助理可访问的数据表征。

在一些实施方式中,用户可以请求自动化助理通过提供诸如“助理,设置明天早上6点的闹钟,当我打开起居室的新闻时取消闹钟。”之类的口头话语来设置闹钟。响应于接收到该口头话语,自动化助理可以使得闹钟在指定的时间被设置,并生成表征取消闹钟的条件的数据。具体地,当用户在他们的起居室中使用他们起居室中的一个或多个装置打开新闻时,自动化助理可以使设置被建立以用于取消闹钟。结果,当第二天早上6点闹钟被可听地呈现时,当在用户家中的起居室中的一个或多个计算装置处访问和/或呈现新闻媒体时,闹钟的可听地呈现将被取消或停止。在一些实施方式中,一个或多个装置的状态可以响应于闹钟响起而被访问,以便确定与取消闹钟相关联的一个或多个条件是否已经被满足。可替代地或另外地,与条件相关联的装置子集(例如,起居室内的装置,而不是整个家)的状态可以在闹钟响起时和/或响应于闹钟响起而具体确定。因此,当装置子集的一个或多个装置的状态对应于新闻媒体的播放时,自动化助理可以按照用户经由口头话语的请求,使闹钟的呈现被取消。

在一些实施方式中,正在进行的操作的修改可以至少部分取决于确定哪个特定用户正在试图满足条件。换句话说,在一些实施方式中,为了修改正在进行的操作,一个或多个计算装置可以要求指定用户是执行特定动作的用户,以便满足一个或多个条件。作为示例,使得正在进行的操作发生(并且还提出了用于修改正在进行的操作的一个或多个条件)的用户可以是为了修改正在进行的操作而必须满足一个或多个条件的用户。例如,第一用户和第二用户可以与家里的特定助理装置相关联,并且第一用户可以向助理装置提供口头话语,诸如“助理,当我回家并打开灯时,播放我的90年代的播放列表”。响应于接收到口头话语,助理装置可以生成设置,在该设置中,当第一用户回到他们的家并打开灯时,助理装置呈现对应于90年代播放列表的听觉媒体。为了验证第一用户(而不是第二用户)是否已经回家,可以访问与一个或多个用户(例如,第一用户和/或第二用户)具体相关联的数据,以便验证第一用户是否已经回家。经用户许可,此类数据可以包括由便携式电子装置(诸如手机)提供的gps数据、与第一用户和第二用户的家相关联的安全警报数据、与第一用户相关联的车辆数据、经由第一用户可访问的一个或多个客户端装置可访问的客户端数据、和/或用户可以向自动化助理指示他们的存在的任何其他数据。

在一些实施方式中,可以识别用户的语音签名或用户的语音识别,以确定特定用户是否在家和/或以其他方式在进一步满足一个或多个条件。例如,当用户到家时,用户可以向自动化助理提供口头话语,并且作为响应,自动化助理可以确定用户的语音特性对应于第一用户的语音签名。因此,将满足第一用户先前指定的至少一个条件。随后,如果用户请求打开灯,或者以其他方式打开他们家中的灯,则满足另一条件,并且至少根据前述示例,自动化助理可以使90年代播放列表的播放被呈现。

在一些实施方式中,修改正在进行的操作的条件可以基于用户和自动化助理之间的交互,和/或用户和自动化助理不能直接访问的装置之间的交互。例如,用户可以提供口头话语,诸如“助理,当我早上制作咖啡时,请阅读我一天的排程”。用户家里的咖啡机可以不是智能装置,或者以其他方式连接到局域网。然而,自动化助理可以根据一个或多个情境条件和/或当用户正在制作咖啡时典型展现的特性来确定用户正在制作咖啡。例如,响应于用户请求操作取决于“制作咖啡”,自动化助理可以被调用和/或以其他方式响应于渗滤器的声音、备注或咖啡壶的图像、对应于咖啡的气味和/或可归因于制作咖啡的过程的任何其他可检测的环境特性。以此方式,用户可以许可自动化助理检测在用户指导下执行的各种偶发事件、特性和/或任务,以便确定是否已满足特定的请求条件。

在一些含义中,可以结合确定的情境特性来使用其他数据,以便验证已经请求创建条件的用户是使得特定条件被满足的用户。例如,在用户的事先许可下,可以处理语音数据、面部辨识数据和/或任何其他用户允许的数据,以验证哪个用户满足特定条件。作为示例,如果用户在制作咖啡之前已经提供了口头话语,则自动化助理可以处理该口头话语以验证是谁提供口头话语,且因此推断出是同一用户制作了咖啡。因此,当用户提供口头话语(从其可以确定语音特性)并随后满足条件(例如,制作咖啡,其可以提供环境变化,诸如机械噪声和温度变化)时,可以初始化依赖于特定用户制作咖啡(或任何其他条件)的任何动作(诸如,阅读一天的排程)。

提供以上描述作为本公开的一些实施方式的概述。下文更详细地描述那些实施方式和其他实施方式的进一步描述。

在一些实施方式中,由一个或多个处理器实现的方法被提出为包括以下操作,诸如:接收用户输入,该用户输入使得计算装置生成用于在满足一个或多个条件中的任何一个时控制叫醒闹钟的设置,其中该计算装置提供对自动化助理的访问,并且在计算装置的自动化助理接口处接收用户输入。该操作还可以包括,当计算装置正在操作时访问数据,该数据提供一个或多个条件中的任何一个是否已被满足的指示,其中一个或多个条件至少包括事件条件和情境条件,并且其中当用户在对应于事件条件的事件的阈值时间段内已经执行了与自动化助理的一个或多个交互时,满足情境条件,并且基于用户和自动化助理之间在事件过去发生的时间段内在先发生的一个或多个其他交互来选择一个或多个交互以满足情境条件。该操作还可以包括基于访问数据来确定该数据是否指示一个或多个条件中的任何一个已被满足。该操作还可以包括,当确定在满足事件条件之前满足情境条件时:使得叫醒闹钟的执行被取消,使得当事件随后发生时,对应于叫醒闹钟的输出被省略。

在一些实施方式中,事件是特定时间的发生,并且叫醒闹钟的执行包括使得从计算装置或单独的计算装置发出声音。在一些实施方式中,该操作还可以包括,当确定事件的时间到达满足事件条件时:使得叫醒闹钟被执行,使得对应于叫醒闹钟的输出由计算装置或单独的计算装置提供。在一些实施方式中,一个或多个条件包括进一步选自用户输入条件的至少一个条件,并且方法还包含:当确定在事件随后发生之前满足用户输入条件时:使得叫醒闹钟被取消,使得当事件随后发生时,对应于叫醒闹钟的输出被省略。在一些实施方式中,事件条件至少包括识别特定时间的时间参数,当特定时间的时间到达发生时,时间参数使得事件条件被满足。在一些实施方式中,自动化助理被配置成执行常规事务并且在执行常规事务时使得多个不同动作被初始化,并且其中常规事务的多个不同动作包括使得单独的计算装置执行另一叫醒闹钟,叫醒闹钟使得单独的计算装置提供用户可直接感知的不同输出。在一些实施方式中,该操作还可以包括当确定在对应于事件条件的事件之前满足情境条件时:响应于确定已经满足情境条件,使得自动化助理在事件之前初始化常规事务的执行。在一些实施方式中,确定数据是否指示一个或多个条件中的任何一个已被满足包括确定数据指示用户已提供了口头话语,口头话语已在事件之前调用了自动化助理。在一些实施方式中,使得自动化助理初始化常规事务的执行包括使得自动化助理执行不同于用户经由口头话语指定的请求动作的动作。

在其他实施方式中,由一个或多个处理器实现的方法被陈述为包括以下操作,诸如:接收第一用户输入,第一用户输入使得计算装置生成用于在事件发生时执行操作的设置,其中计算装置提供对自动化助理的访问,自动化助理被配置成执行常规事务,并且在执行常规事务时使得多个不同的动作被初始化。该操作可以还包括接收第二用户输入,第二用户输入使得自动化助理生成用于在满足一个或多个条件中的任何一个时执行常规事务的另一设置,其中一个或多个条件包括选自用户输入条件的至少一个条件,并且当用户已在选自事件之前的时间和事件之后的另一时间的特定时间期间使得操作被取消时,满足用户输入条件。该操作还可以包括在第一用户输入和第二用户输入之后访问数据,该数据提供一个或多个条件中的任何一个是否已被满足的指示。该操作还可以包括基于访问数据来确定该数据指示一个或多个条件中的任何一个已被满足。该操作还可以包括,当数据指示用户输入条件已在所述事件之前的时间被满足时:使得操作的执行被取消,使得当事件随后发生时,将由计算装置提供并且对应于该操作的输出被省略,并且响应于确定一个或多个条件中的任何一个已被满足,使得自动化助理在事件之前初始化常规事务的执行。

在一些实施方式中,数据指示用户输入条件已被第三用户输入满足,第三用户输入用于使得操作在事件之前的时间被取消。在一些实施方式中,第三用户输入是物理手势,操作是计算装置提供声音警报输出,并且事件是特定时钟时间的时间到达。在一些实施方式中,该操作还可以包括,当数据指示用户输入条件已在事件之后的另一时间被满足时:响应于来自用户的第三用户输入,使得由计算装置根据设置提供的输出被取消,并且响应于来自用户的第三用户输入,使得自动化助理在事件之后的另一时间初始化常规事务的执行。在一些实施方式中,一个或多个条件包括进一步选自情境条件的至少一个条件,并且方法还包含:当数据指示情境条件已在事件之前的时间被满足时:使得操作的执行被取消,使得当事件随后发生时,将由计算装置提供并且对应于该操作的输出被省略,并且响应于确定情境条件已被满足,使得自动化助理在事件之前初始化常规事务的执行。在一些实施方式中,情境条件至少包括识别特定用户输入的输入参数,当特定用户输入在单独的计算装置处被接收时,使得生成用于指示情境条件已被满足的数据。在一些实施方式中,特定用户输入对应于由用户提供给单独的计算装置的自动化助理接口的口头话语,并且口头话语表征了对自动化助理执行从常规事务中省略的特定动作的请求。

在其他实施方式中,由一个或多个处理器实现的方法被陈述为包括以下操作,诸如:接收表征第一计算装置的第一可操作状态和第二计算装置的第二可操作状态的数据,其中第一计算装置和第二计算装置中的每一个提供对自动化助理的访问,自动化助理被配置成响应于来自用户的自然语言输入并且执行包括初始化要执行的多个不同动作的常规事务。该操作还可以包括,基于数据确定第一可操作状态指示第一计算装置被排程以响应于至少满足事件条件而执行操作,并且第二可操作状态指示第二计算装置响应于满足条件以执行自动化助理常规事务的动作,其中条件是选自用户输入条件、情境条件和事件条件的特定条件。该操作还可以包括在接收到数据之后接收其他数据,其他数据表征在包括第一计算装置和第二计算装置的环境内的用户的存在。该操作还可以包括基于其他数据确定条件是否已被满足。该操作还可以包括,当基于其他数据确定情境条件已在对应于事件条件的事件之前被满足时:使得操作的执行被取消,使得当事件随后发生时,将由第一计算装置提供并且对应于操作的输出被省略,并且响应于确定情境条件已被满足,使得自动化助理在事件之前初始化常规事务的执行。

在一些实施方式中,操作还可以包括,当基于数据确定要满足事件条件和情境条件并且第一计算装置在事件之后提供输出时:使得第一计算装置中止提供输出,并且响应于确定已经满足情境条件,使得自动化助理在事件之前初始化常规事务的执行。在一些实施方式中,事件是时钟时间的时间到达,并且当至少由其他数据表征的用户的存在指示用户已经改变了环境内的位置时,情境条件被满足。在一些实施方式中,输出是用户可直接感知的听觉输出,并且通过第一计算装置经由扬声器提供,扬声器被配置成在由自动化助理执行常规事务期间向用户提供自然语言输出。在一些实施方式中,自动化助理常规事务的动作包括使得选自第一计算装置和第二计算装置的特定装置下载附加数据,附加数据已在服务器装置处生成,并且使得特定装置从特定装置的自动化助理接口提供基于附加数据的特定输出。在一些实施方式中,自动化助理常规事务的动作包括使得不同于第一计算装置和第二计算装置的特定装置执行另一操作,该另一操作不同于第一计算装置被排程执行的操作。

在其他实施方式中,由一个或多个处理器实现的方法被陈述为包括以下操作,诸如:接收第一用户输入,第一用户输入使得计算装置生成用于在事件发生时执行动作的设置,其中计算装置提供对自动化助理的访问,并且在计算装置的自动化助理接口处接收第一用户输入。该操作还可以包括,经由计算装置的自动化助理接口接收第二用户输入,第二用户输入使得自动化助理生成用于响应于一个或多个条件中的任何一个被满足而使得动作的执行的修改的另一设置,其中一个或多个条件由用户经由第二用户输入指定。该操作还可以包括,当事件在接收到第一输入和第二输入后发生时:响应于事件发生而使得动作被执行,在使得动作被执行之后,访问提供一个或多个条件中的任何一个是否已经被满足的指示的数据,并且当数据指示一个或多个条件中的任何一个在事件发生之后被满足时:根据设置使得动作的执行被修改。

在一些实施方式中,一个或多个条件包括:确定装置的状态已被修改,并且验证提供第一用户输入和/或第二用户输入的用户还执行对装置的状态的修改。在一些实施方式中,数据包括音频数据,且方法还包含:当事件在接收到第一输入和第二输入后发生时:确定音频数据对应于提供第一用户输入和/或第二用户输入的用户的语音签名。在一些实施方式中,操作还包括,当事件尚未发生但一个或多个条件中的任何一个在事件发生之前被满足时:使得操作的执行被取消,使得当事件随后发生时,省略将由计算装置根据动作提供的输出。

其他实施方式可以包括存储指令的非暂时性计算机可读存储介质,该指令可由一个或多个处理器(例如,中央处理单元(cpu)(多个))、图形处理单元(gpu)(多个)和/或张量处理单元(tpu)(多个)执行以执行诸如上文和/或在本文别处所描述的一个或多个方法的方法。其他实施方式可以包括一个或多个计算机和/或一个或多个机器人的系统,该系统包括一个或多个处理器,该处理器可操作来执行存储的指令以执行诸如上文和/或在本文别处所描述的一个或多个方法的方法。

应了解,本文更详细描述的前述概念和附加概念的所有组合都被认为是本文所公开的主题的一部分。例如,出现在本公开末尾的要求保护的主题的所有组合被认为是本文所公开的主题的一部分。

附图说明

图1a示出用户请求在助理装置处生成设置的视图。

图1b示出用户响应于旨在影响装置正在执行的正在进行的操作的手势而使自动化助理执行常规事务的视图。

图2a示出用户响应于影响将由计算装置执行的操作的用户,使得生成用于调用自动化助理的设置的视图。

图2b示出用户基于在闹钟响起之前执行的一个或多个动作而使得闹钟被抢先取消的视图。

图3示出一种系统,用于使用户能够抢先取消排程操作和/或响应于被抢先取消的排程操作,使自动化助理执行一个或多个动作。

图4a和图4b示出当满足一个或多个条件时,用于抢先取消即将到来的和/或预期的排程操作的方法。

图5是示例性计算机系统的框图。

具体实施方式

图1a示出用户118请求在助理装置110处生成设置的视图100。具体地,当用户118在他们的房间108中时,用户118可以提供口头话语106,以便生成将影响自动化助理的功能的设置。设置的生成可以由用户118请求,以便指示自动化助理常规事务的执行对一个或多个特定条件、操作、事件和/或执行常规事务可以基于的任何其他特性或动作的依赖性。例如,用户118可以提供口头话语106,诸如“助理,将闹钟设置为早上6:30,并且当我取消闹钟时开始我的早晨常规事务”。口头话语106可以在助理装置110处接收,诸如独立的扬声器装置102,其包括助理接口114,诸如麦克风、扬声器和/或能够接收输入和/或提供输出的任何其他设备。响应于助理装置110接收到口头话语106,助理装置110可以提供诸如“好”的自然语言输出104,从而确认口头话语106的接收。

口头话语106可以在助理装置110和/或远程装置(诸如服务器装置)处处理,以便生成客户端数据116。客户端数据116可以表征响应于客户端自动化助理112接收到基于口头话语106的请求而生成的设置。具体地,客户端数据116可以表征能够使闹钟在早上6:30响起的设置,并且当闹钟被用户118取消时,自动化助理执行“早晨”常规事务。在一些实施方式中,响应于接收到口头话语106,自动化助理可以确定多个不同的条件,当满足这些条件时,使得由口头话语106定义的特定操作被执行。例如,客户端数据116可以表征包括表征用于取消闹钟的用户输入的参数的条件,因此当接收到此类用户输入时,可以满足所述条件。客户端数据116还可以表征为包括另一参数的条件,该另一参数表征用于使闹钟操作初始化的事件输入。其他参数可以将事件输入表征为时钟时间的时间到达,因此,当时钟时间发生时,可以由助理装置110和/或与用户118相关联的任何其他装置发出警报。

图1b示出用户118响应于旨在影响装置正在执行的正在进行的操作的手势而使自动化助理执行常规事务的视图120。具体地,图1b示出包括多个不同装置的用户118的家。助理装置110可以位于房间108中,且其他装置可以位于房间108外部。例如,用户118可以具有另一助理装置122,诸如独立扬声器装置130。另外,用户118可以具有通过局域网与助理装置连接的其他客户端装置。其他客户端装置可以包括例如咖啡机132和/或恒温器134。

根据图1a,用户已经创建了在特定时间闹钟响起的设置,并且在取消闹钟时执行自动化助理常规事务。当闹钟随后响起时,如图1b所示,闹钟可以由用户118取消。例如,如图1b所示,助理装置110可以提供输出144,其可以包括发出警报。当警报由房间108中的助理装置110发出时,用户118可以执行手势来指示取消闹钟的意愿或意图。用于取消闹钟的手势可以是例如口头手势、经由肢体运动执行的手势、和/或可以是对计算装置的输入的任何其他手势。响应于闹钟被来自用户118的手势取消,自动化助理可以初始化“早晨”常规事务的执行。此常规事务的初始化可以基于根据图1a生成的设置。

由自动化助理执行的常规事务可以由客户端数据116、客户端数据128和/或自动化助理可以访问的任何其他数据来表征。客户端数据128可以表征当自动化助理正在执行常规事务时要执行的一个或多个动作。例如,可以经由助理装置122访问的客户端自动化助理124可以在执行常规事务时提供早间新闻。此外,作为“早晨”常规事务的一部分,客户端自动化助理124可以使咖啡机132执行操作140,诸如开始制作咖啡,并使恒温器134执行操作142,诸如停止运动检测(例如,作为恒温器134的安全模式的一部分)。换句话说,作为在用户118的请求下创建的设置的结果,当用户118取消了由助理装置110发出的警报时,客户端自动化助理124可以初始化“早晨”常规事务的执行。

使自动化助理以这种方式执行常规事务可以减少需要在一个或多个装置上处理的用户输入的数量。例如,代替用户118向助理装置122的助理接口126提供口头话语以初始化“早晨”常规事务,用户118可以响应于取消闹钟而使得执行“早晨”常规事务。在一些实施方式中,自动化助理对常规事务的初始化可能取决于谁取消了闹钟。换句话说,如果除了用户118之外的其他人取消了闹钟,则自动化助理可以根据设置忽视初始化常规事务。以此方式,如果当闹钟响起时用户118正在旅行或不在家,并且闹钟随后被另一用户取消,则自动化助理将省略执行“早晨”常规事务。这可以保存能量和计算资源,否则这些资源可能会被花费在执行常规事务上。此外,这可以为用户和/或家中的其他用户提供额外的安全级别。语音识别可以用于确定用户118或不同的用户是否正在取消闹钟。可替代地或另外地,各种环境数据和/或用户数据可以被用于确定用户118是否是取消闹钟的人,或者闹钟是否是被除了用户118之外的其他人取消。

图2a示出用户218响应于用户影响由计算装置执行的操作,使得生成用于调用自动化助理的设置的视图200。具体地,用户218可以响应于影响由计算装置执行的另一操作的用户来请求自动化助理执行常规事务。响应于来自用户218的请求,自动化助理可以确定可以满足的多个不同条件,以便自动化助理执行常规事务。例如,当用户218与诸如独立扬声器装置202的助理装置210在他们的房间208中时,用户218可以提供口头话语206。口头话语206可以是例如“助理,将闹钟设置为早上6:30,并且当我取消闹钟时开始我的早晨常规事务”。口头话语206可以在助理装置210的助理接口214处接收。在独立扬声器装置202处可用的客户端自动化助理212可以响应于接收到口头话语206而生成客户端数据216。客户端数据216可以表征一个或多个条件,当满足这些条件时,使得自动化助理执行常规事务,而用户不必提供识别该常规事务的口头话语。

例如,响应于接收到口头话语206,客户端自动化助理212可以使得生成客户端数据216用于表征用户输入条件。用户输入条件可以包括接收用于取消闹钟的用户输入的参数。当接收到用于取消闹钟的用户输入时,可以认为用户输入条件得到满足,并且作为响应,自动化助理可以初始化早晨常规事务的执行。用户输入条件可以对应于用户输入,该用户输入表示当发出警报时用户停止警报或者停止随后发出警报的意愿或意图。例如,在闹钟被设置响起的时间之前,但是在用户已经睡了阈值时间段的时间之后,用户可以提供输入,该输入指示他们希望即将发生的闹钟被取消,尽管该闹钟还没有响起。

可替代地或另外地,响应于接收到口头话语206,客户端自动化助理212可以生成用于表征事件条件的客户端数据216。事件条件可以包括事件发生的一个或多个参数。例如,特定时钟时间的时间到达可以是满足事件条件的事件的发生。可替代地,事件可以是可以由计算装置确认的一个或多个其他时间相关活动。当满足事件条件时,警报可以由独立扬声器装置202发出以便叫醒用户。此外,根据用户请求的设置,当满足事件条件时,自动化助理可以初始化“早晨”常规事务的执行。以此方式,自动化助理可以初始化常规事务的执行,而不必要求用户在口头话语206之后提供另一口头话语。

另外地或可替代地,响应于接收到口头话语206,客户端自动化助理212可以生成用于表征情境条件的客户端数据216。情境条件可以包括用于表征一个或多个特定情况的一个或多个参数。自动化助理可以基于来自一个或多个装置的数据来确定特定情况是明显的还是正在进行的。例如,情境条件可以包括一个或多个参数,用于表征用户正在房间208外的他们的家里走来走去的情境。参数可以包括由房间208外部的装置收集的音频数据的阈值水平、由房间208外部和/或房间208内部的装置检测到的运动的阈值水平、用户与一个或多个装置之间的交互的阈值量、和/或可以指示明显的或正在进行的特定情境的任何其他信息。当在为闹钟设置的时钟时间之前满足情境条件时,闹钟可以被抢先取消,并且自动化系统可以初始化“早晨”常规事务的执行。当在闹钟被设置响起的时间处或之后满足情境条件时,可以取消对应于闹钟的输出,并且自动化助理可以初始化早晨常规事务的执行。

图2b示出用户218基于在闹钟响起之前执行的一个或多个动作而使得闹钟被抢先取消的视图220。例如,助理装置210的设置244可以操作以有效地使闹钟在距离当前时间段的23分钟内响起。无论如何,用户218可以通过使得满足情境条件来使闹钟被抢先取消。情境条件可以包括在闹钟将要响起的排程时间之前,用于用户调用自动化助理、用户移动到房间208外部、和/或用户以其他方式与他们家中和/或他们家外部的装置交互的参数。例如,图2b示出用户218向助理装置222提供诸如“天气如何?”的查询。由用户218提供的查询可以在闹钟排程响起的时间之前被提供,从而向助理装置222指示用户在闹钟响起之前醒来。在一些实施方式中,在闹钟被配置成响起的时间之前,由用户家里的特定装置(例如,恒温器234)检测运动。此类检测结合一个或多个其他检测到的活动可以指示用户在闹钟响起之前醒来,或者对闹钟在闹钟响起之前被取消感兴趣。

响应于闹钟被抢先取消,可以通知客户端自动化助理224闹钟已经被抢先取消。此外,响应于闹钟被抢先取消,客户端自动化助理224可以初始化“早晨”常规事务的执行。客户端数据228可以存储在客户端助理装置224处和/或诸如服务器装置的独立装置上,并且可以表征根据常规事务要执行的一个或多个动作。例如,早晨常规事务可以包括使客户端自动化助理224提供早间新闻的动作、初始化咖啡机232以制作咖啡的动作240、以及使恒温器234退出安全模式并停止运动检测的动作242。

在一些实施方式中,当通过用户218向客户端自动化助理224提供查询或命令来满足情境条件时,可以根据查询或命令来修改根据常规事务要执行的动作。例如,当通过用户218提供查询“天气如何?”来满足情境条件时,提供早间新闻的后续常规事务动作可以被修改为包括提供天气。因此,助理装置222的助理接口226可以提供自然语言输出236,诸如,“这里是天气和早间新闻……”。以此方式,至少对于各种装置操作,响应于用户在闹钟被配置成响起的时间之前与自动化助理交互,可以发生“多米诺效应”。此类效应可以减少用户需要提供的输入数量,以便使自动化助理执行相同的活动量。此外,减少诸如要在助理接口226处接收的口头话语之类的输入数量可以保存计算资源和网络资源。

当处理自然语言输入时,可以将计算资源花费在将语音转换成文本以及解析文本以确定文本内容上。此外,处理自然语言输入可能通常需要通过网络传输音频数据和/或其他数据以进行额外处理,从而消耗带宽。因此,通过将某些用户调用的活动推断为对装置的特定操作进行初始化或取消的意愿或意图,可以在用户意图的可预测性不是特别高的时候保存此类资源。具体地,根据一个或多个用户活动抢先取消闹钟可以是一个合理的指示,表明用户将更喜欢取决于要执行的闹钟的任何动作或常规事务,尽管该闹钟实际上没有在设置的时间响起。

图3示出一种系统300,用于使用户能够抢先取消排程操作和/或响应于被抢先取消的排程操作,使自动化助理306执行一个或多个动作。自动化助理306可以作为在一个或多个计算装置处提供的助理应用的一部分来操作,该计算装置诸如第一客户端装置326、第二客户端装置334和/或远程计算装置302,诸如服务器计算装置304。用户可以经由一个或多个助理接口328与自动化助理330交互,该助理接口可以包括麦克风、摄像机、触摸屏显示器、用户接口和/或能够提供用户和应用之间的接口的任何其他设备中的一个或多个。例如,用户可以通过向助理接口提供口头、文本或图形输入来初始化自动化助理330,以使自动化助理330执行功能(例如,提供数据、控制外围装置、访问代理等)。第一客户端装置326可以包括显示装置,该显示装置可以是包括触摸接口的显示面板,该触摸接口用于接收触摸输入和/或手势,以允许用户经由触摸接口控制第一客户端装置326的应用。在一些实施方式中,第二客户端装置334可能没有显示装置,从而提供听觉用户接口输出,而不提供图形用户接口输出。此外,第二客户端装置334可以提供用户接口,诸如麦克风,用于接收来自用户的口头自然语言输入。

第一客户端装置326和第二客户端装置334可以通过网络(诸如因特网)与远程计算装置302通信。第一客户端装置326和第二客户端装置334可以将计算任务卸载到远程计算装置302,以便在第一客户端装置326和第二客户端装置334中的每一个处保存计算资源。例如,远程计算装置302可以托管自动化助理306,并且第一客户端装置326和第二客户端装置334可以将在一个或多个助理接口处接收的输入传输到远程计算装置302。然而,在一些实施方式中,自动化助理306可以托管在第一客户端装置326或第二客户端装置334处。在各种实施方式中,自动化助理306的全部或少于全部方面可以实现在服务器计算装置304、第一客户端装置326和/或第二客户端装置334上。在那些实施方式中的一些实施方式中,自动化助理306的各方面经由第一客户端装置326或第二客户端装置334的本地助理应用来实现,并且与远程计算装置302对接,该远程计算装置可以实现自动化助理306的其他方面。远程计算装置302可以任选地经由多个线程为多个用户及其相关联的助理应用服务。在自动化助理306的全部或少于全部方面经由第一客户端装置326或第二客户端装置334的本地助理应用来实现的实施方式中,本地助理应用可以是与第一客户端装置326或第二客户端装置334的操作系统分离的应用(例如,安装在操作系统的“顶部”)—或者可以替代地直接由第一客户端装置326或第二客户端装置334的操作系统实现(例如,被认为是操作系统的应用,但是与操作系统集成)。

在一些实施方式中,自动化助理306、自动化助理330和/或自动化助理336可以包括输入处理引擎308,其可以采用多个不同的模块来处理第一客户端装置326和/或第二客户端装置334的输入和/或输出。例如,输入处理引擎308可以包括语音处理模块310,其可以处理在助理接口328和/或助理接口336处接收的音频数据,以识别体现在音频数据中的文本。音频数据可以从例如第一客户端装置326传输到服务器计算装置304,以便保存在第一客户端装置326处的计算资源。

用于将音频数据转换成文本的过程可以包括语音辨识算法,该算法可以采用神经网络、word2vec算法和/或统计模型来识别对应于单词或短语的音频数据组。从音频数据转换的文本可以由数据解析模块312解析,并作为可以用于生成和/或识别来自用户的命令短语的文本数据提供给自动化助理。在一些实施方式中,由数据解析模块312提供的输出数据可以被提供给参数模块314,以确定用户是否已经提供了对应于能够由自动化助理和/或能够由自动化助理访问的应用或代理执行的特定动作和/或常规事务的输入。例如,助理数据324可以作为客户端数据332存储在服务器计算装置304和/或第一客户端装置326处,并且可以包括定义能够由自动化助理306执行的一个或多个动作的数据,以及执行该动作所需的参数。

当输入处理引擎308已经确定用户已经请求执行特定动作或常规事务时,参数模块314可以确定特定动作或常规事务的一个或多个参数,然后输出生成引擎316可以基于特定动作、常规事务和/或一个或多个参数向用户提供输出。例如,在一些实施方式中,响应于用户输入,诸如指向第一客户端装置326的手势,自动化助理330可以使得表征手势的数据被传输到服务器计算装置304,用于确定用户想要自动化助理330和/或自动化助理306执行的动作。

在一些实施方式中,自动化助理330、第一客户端装置326、第二客户端装置334和/或服务器计算装置304可以响应于指向第一客户端装置326的一个或多个不同类型的手势。例如,当第一客户端装置326包括扬声器时,可以用于控制音量的手势类型可以是二维手势(例如,在直接接触或不直接接触计算装置的情况下,滑动触摸屏显示器或以其他方式在至少二维方向上移动用户的肢体)或三维手势(例如,在直接接触或不直接接触计算装置的情况下,在触摸屏显示器上旋转两个手指或以其他方式在至少三维方向移动用户的肢体)。

在一些实施方式中,当自动化助理330确定用户醒来时,用户可以请求自动化助理330执行常规事务。例如,用户可以向助理接口328提供口头话语,诸如“助理,当我醒来时,请执行我的工作常规事务”。第一客户端装置326可以接收口头话语并将口头话语转换成客户端数据332,该客户端数据可以被传输到服务器计算装置304用于进一步处理。服务器计算装置304的输入处理引擎308可以参数化接收到的客户端数据,并确定响应于接收到客户端数据而生成的设置。例如,常规事务引擎322可以识别当自动化助理确定用户醒来时用户特别请求执行的常规事务。可以使用从基于口头话语的音频数据生成的数据来识别常规事务。当常规事务已被识别时,服务器计算装置304可以生成设置,当自动化助理330确定用户醒来时,该设置将使得工作常规事务被执行。该设置可以作为助理数据324存储在服务器计算装置304处,并且可以本地存储在第一客户端装置326和/或第二客户端装置334处。

“工作常规事务”可以包括由自动化助理306、自动化助理330、自动化助理338和/或能够与计算装置交互的任何其他应用或代理执行的一个或多个不同动作。例如,工作常规事务可以包括初始化物联网(iot)装置342的显示面板344以图形方式呈现早间新闻的动作,以及使得第二客户端装置334从诸如音频扬声器的助理接口336向用户可听地呈现当天日程的动作。

为了有效地使用响应于用户醒来而调用“工作常规事务”的设置,自动化助理还应该能够至少在特定程度上确定用户是否醒来。确定用户是否醒来可以基于表征装置状态318的数据,诸如第一客户端装置326、第二客户端装置334、iot装置342、服务器计算装置304和/或能够与用户交互的任何其他装置或模块的操作状态。例如,装置状态从发出警报到由用户取消闹钟的变化可以是用户醒来的指示。可替代地或另外地,如果用户在紧接醒来指示之前的阈值时间段内被确定为处于睡眠状态,则第二客户端装置334从睡眠状态到开启状态的改变以及提供口头话语的用户都可以指示用户是醒来的。可替代地或另外地,装置状态318和场境数据320可以被用于确定用户是否醒来。例如,装置状态的改变和来自场境数据320的用户正在他们家里走来走去的指示都可以向自动化助理指示用户是醒来的。响应于确定用户是醒来的,自动化助理可以初始化工作常规事务的执行。

在一些实施方式中,在诸如闹钟的排程操作之前访问的装置状态318和/或场境数据320可以指示用户是醒来的,并且作为响应,使得自动化助理执行工作常规事务。例如,在闹钟排程响起的时间之前,iot装置342可以检测到用户的存在,并且第二客户端装置334可以接收来自用户的口头话语,诸如“助理,开灯”。响应于检测到用户的存在、接收到口头话语和/或打开灯,服务器计算装置304和/或第一客户端装置326可以确定用户是醒来的。在一些实施方式中,响应于确定用户在排程操作之前醒来,自动化助理可以使得排程的操作在最初排程时间之前执行,和/或使得排程的操作在排程时间被忽视。此外,响应于确定用户是醒来的并且根据用户所请求的设置,自动化助理可以初始化一个或多个动作或一个或多个常规事务的执行。以此方式,当排程操作是闹钟时,用户可以初始化常规事务的执行,并且以比原本所需的更少的输入来取消他们的闹钟。这可以减少需要由图3的一个或多个装置处理的输入的数量,并且可以保存网络带宽,因为需要在装置之间传输较少的对应于口头话语的音频数据来进行处理。

在一些实施方式中,关于排程操作是否应被取消和/或在执行时间上进行调整的确定可以基于用户和/或能够与自动化助理交互的任何其他人的学习行为。例如,用户可以与第一客户端装置326交互以便正好在他们的闹钟排程响起之前重置它。虽然在该情况下用户可能是醒来的,但是在此类情况下初始化自动化助理常规事务的执行可能是浪费资源,因为用户可能正在调整他们的闹钟以便睡得更久。因此,为了确定用户是否醒来,且因此愿意执行常规事务,可以访问场境数据320和/或装置状态318,以确定用户是否醒来并且更愿意常规事务被初始化。

例如,自动化助理可访问的数据可以指示,在用户的闹钟响起之后,用户通常请求自动化助理330打开他们厨房中的灯,并且用户也通常打开他们的iot装置342。因此,自动化助理可以使得生成助理数据324,用于将此类交互表征为用户醒来的指示。因此,如果用户在他们的闹钟响起之前或期间执行此类动作,则此类交互可以使得闹钟被取消(或抢先取消),并且使得自动化助理常规事务被初始化。在一些实施方式中,条件引擎346可以处理助理数据324、场境数据320、装置状态318和/或任何其他数据,以确定是否已经满足一个或多个条件来影响由自动化助理执行的排程操作和/或一个或多个动作。条件引擎346可以处理此类数据,以确定用于满足特定条件的参数,诸如但不限于用户输入条件、情境条件和/或事件条件,如本文所述。当满足对应于用户请求的特定设置的一个或多个条件时,与该特定设置相关联的一个或多个动作、常规事务和/或操作可能会受到一个或多个条件的满足的影响。

图4a和图4b示出了当满足一个或多个条件时,用于抢先取消即将到来的和/或预期的排程操作的方法400和方法414。方法400和方法414可以各自由一个或多个计算装置、应用和/或能够存储或访问排程的任何其他设备或模块来执行。方法400可以包括确定用户已经提供了第一用户输入的操作402,该第一用户输入请求生成用于在满足一个或多个条件时执行操作的设置。例如,用户可以经由自动化助理提供第一输入,用于建立将在第二天早上响起的闹钟。第一个输入可以是,例如,诸如“助理,请设置明天早上6点的闹钟”之类的口头话语。可以在计算装置的自动化助理接口(诸如计算装置的麦克风)处接收口头话语。响应于计算装置接收到口头话语,可以生成用于表征所述口头话语的音频数据。音频数据可以在计算装置处被处理和/或传输到单独的计算装置进行处理。基于该处理,计算装置可以建立设置,用于在第二天早上发生时钟时间(例如,早上6点)的时间到达时,使得从计算装置的扬声器发出可听声音。时钟时间的时间到达可以被表征为事件条件,当满足所述事件条件时,使得计算装置发出闹钟声音。

在一些实施方式中,响应于用户请求生成设置,计算装置和/或自动化助理可以建立一个或多个其他条件,当满足该条件时,使得计算装置执行或忽视所请求的操作。例如,自动化助理可以使得建立用户输入条件,使得当在事件之前接收到对应于事件条件的一个或多个用户输入时,则事件发生时可以执行或忽视所请求的操作。另外地或替代地,计算装置和/或自动化助理可以建立另外一个或多个条件,当满足这些条件时,使得计算装置执行或忽视所请求的操作。例如,自动化助理可以使得建立情境条件,使得当自动化助理可访问的数据指示在对应于事件条件的事件之前特定情境和/或场境是明显的时,则事件发生时可以执行或忽视所请求的操作。在一些实施方式中,诸如针对自动化助理的口头话语的用户输入可以满足用户输入条件。可替代地或另外地,可以满足情境条件的情境或场境可以包括用户打开他们的家里的灯。

方法400可以还包括确定用户已经提供了第二用户输入的可选操作404,该第二用户输入请求生成另一设置。具体地,第二用户输入可以对应于使得自动化助理在满足一个或多个条件时执行常规事务的请求。例如,用户可以提供诸如“助理,当我取消我的闹钟时,请执行我的‘准备工作’常规事务”之类的口头话语。响应于接收到口头话语,计算装置和/或自动化助理可以生成用于当满足一个或多个条件时执行“准备工作”常规事务的设置。一个或多个条件可以包括选自用户输入条件、情境条件和/或事件条件的至少一个条件。在一些实施方式中,当用户采取与所请求的设置相关联的特定动作时,随着时间的推移,自动化助理可以在得到用户许可的情况下了解情境条件。例如,尽管当用户取消他们的闹钟时,用户请求执行“准备工作”常规事务,但是当他们执行指示愿意或有兴趣取消他们的闹钟的某些动作时,仍然可以执行所述常规事务。例如,最初,当用户进行上述请求时,他们家中可能没有咖啡机。然而,如果用户购买了咖啡机并在每天早上工作前使用咖啡机制作咖啡,自动化助理可以确认此类行为。此外,自动化助理可以生成数据,该数据将行为表征为用户醒来和/或以其他方式表示愿意取消他们的闹钟的指示。因此,在自动化助理生成数据之后,当用户早上在为他们的闹钟设置的时间之前制作咖啡时,此类动作可以被自动化助理确认,并且满足取消闹钟的情境条件,并且任选地,调用自动化助理来执行“准备工作”常规事务。

可以为调用自动化助理来执行常规事务而建立的用户输入条件可以是,例如,当闹钟响起时用户明确地取消闹钟的动作。可以为调用自动化助理来执行常规事务而建立的事件条件可以是,例如,对应于用户请求闹钟响起的时间的时钟时间的时间到达。以此方式,为了使自动化助理和/或任何其他计算装置执行各种动作,重复的用户输入不一定需要由用户提供。

方法400还可以包括访问数据的操作406,该操作提供是否已经满足一个或多个条件的指示。数据可以由计算装置、自动化助理、与计算装置和/或自动化助理通信的服务器装置、和/或能够与自动化助理交互的任何其他应用或装置生成和/或提供。例如,数据可以由一个或多个物联网(iot)装置提供,诸如连接到因特网的家电。因此,数据可以表征用户和家电之间的一个或多个交互。例如,当家电是用户家中厨房中的复印机时,数据可以指示用户是否已经在咖啡机上执行了咖啡制作过程。

方法400还可以包括基于数据确定事件是否已经发生的操作408。该事件可以是对应于或由与事件条件相关联的数据识别的任何事件。具体地,事件条件可以被存储为包括识别如何满足事件条件的参数的数据。当事件条件对应于闹钟时,参数可以识别闹钟被设置响起的时钟时间。因此,当数据指示时钟时间的时间到达已经发生时,方法400可以进行到继续元素“a”,其指示方法400从图4a的继续元素“a”继续进行,并且在图4b的继续元素“a”继续到方法414。

当数据指示事件尚未发生时,方法400可以进行到操作410,其可以包括确定是否已经满足用户输入条件。用户输入条件可以指代在一个或多个特定装置处接收的直接或间接用户输入。例如,用户输入条件可以由表征一个或多个用户输入的数据来定义,当在事件发生之前由用户提供时,该数据将满足用户输入条件。当要执行的操作是由用户设置的闹钟时,用户输入条件可以是用户特别请求在闹钟应响起的时间之前取消闹钟。

可替代地或另外地,用户输入条件可以对应于用户与自动化助理交互。例如,如果用户在闹钟应该响起之前的阈值时间段内与自动化助理交互,则可以认为满足用户输入条件。例如,用户可以向特定装置提供口头话语,以调用自动化助理来在自动化助理的指导下执行网络搜索。如果这发生在事件发生之前,这种交互可以指示用户在他们的闹钟响起之前醒来,并且因此自动化助理可以假设不再需要闹钟。当满足用户输入条件时,方法400可以经由继续元素“b”进行到方法414。具体地,继续元素“b”可以表示方法400和方法414之间的继续点,方法414也包括继续元素“b”。

当在操作410尚未满足用户输入条件时,方法400可以进行到操作412。操作412可以包括确定是否已满足情境条件。在用户许可的情况下,可以响应于一个或多个装置检测到用户的活动而满足情境条件。在一些实施方式中,当检测到用户的运动时,可以满足情境条件,从而指示用户在事件发生之前醒来或者处于运动中。另外地或替代地,当在一个或多个不同装置处接收到来自用户的输入时,诸如当用户打开灯、调节他们家的温度、被家中的一个或多个传感器(例如,麦克风或接近传感器)检测到时,和/或当与用户相关联的情境中的任何其他变化已经发生时,可以满足情境条件。当已经满足情境条件时,方法400可以经由继续元素“c”进行到方法414,这在图4a和图4b中示出。当还没有满足情境条件时,方法400可以返回到操作406,在所述操作中可以访问其他数据以确定是否已经满足一个或多个条件来执行先前关于操作402论述的操作。

方法414可以从继续元素“a”进行到操作416,该操作可以包括使得操作的执行,使得响应于事件发生而提供来自计算机装置的输出。当事件涉及时间的时间到达时,当该特定时间发生时,可以提供计算装置的输出。当操作涉及具有音频和/或视频输出的闹钟时,当闹钟时间的时间到达发生时,可以提供音频和/或视频输出。

方法414可以从继续元素“b”和继续元素“c”进行到操作418,该操作可以包括使得操作的执行被取消,使得当事件随后发生时,来自计算装置的输出被省略。当操作涉及闹钟时,输出可以涉及由计算装置提供的音频和/或视觉输出。因此,当操作的执行被取消时,则事件发生时计算装置将不提供来自计算装置的音频和/或视觉输出,而是,考虑到用户指示他们在闹钟响起之前是醒着的,计算装置可以忽视提供此类输出。

方法414可以任选地包括操作420,该操作使得自动化助理初始化常规事务的执行。取决于是否已经满足一个或多个特定条件,操作420可以任选地跟随操作416或操作418。使得自动化助理响应于正在执行的操作(例如,闹钟)或正在取消的操作来执行常规事务,可以提供减少在一个或多个计算装置的生命周期内需要处理的用户输入的数量的益处。例如,如果每次用户希望自动化助理执行常规事务时,都要求用户向自动化助理接口提供口头话语,则必然需要执行一定量的语音处理。此外,可以保存网络带宽,因为用户输入不一定需要传输到远程服务器进行处理。相反,考虑到用户希望在特定事件发生之前取消操作(例如,闹钟),可以忽视对用户输入的处理。

图5是示例性计算机系统510的框图。计算机系统510通常包括经由总线子系统512与多个外围装置通信的至少一个处理器514。这些外围装置可以包括存储子系统524(包括例如,存储器525和文件存储子系统526)、用户接口输出装置520、用户接口输入装置522和网络接口子系统516。输入和输出装置允许用户与计算机系统510交互。网络接口子系统516提供到外部网络的接口,并且耦合到其他计算机系统中的相应接口装置。

用户接口输入装置522可以包括键盘、指点装置(诸如鼠标、轨迹球、触摸板或图形输入板)、扫描仪、并入到显示器中的触摸屏、音频输入装置(诸如语音辨识系统、麦克风和/或其他类型的输入装置)。通常,使用术语“输入装置”旨在包括将信息输入到计算机系统510中或通信网络上的所有可能类型的装置和方式。

用户接口输出装置520可以包括显示器子系统、打印机、传真机或非视觉显示器(诸如音频输出装置)。显示器子系统可以包括阴极射线管(crt)、诸如液晶显示器(lcd)的平板装置、投影装置或用于创建可视图像的某一其他机构。显示器子系统还可以诸如经由音频输出装置提供非视觉显示器。通常,使用术语“输出装置”旨在包括从计算机系统510输出信息到用户或到另一机器或计算机系统的所有可能类型的装置和方式。

存储子系统524存储提供本文描述的一些或所有模块的功能性的编程和数据结构。例如,存储子系统524可以包括执行方法400、方法414的选定方面和/或实现自动化助理、自动化助理110、独立扬声器102、助理装置110、客户端自动化助理124、助理装置210、客户端自动化助理212、助理装置222、客户端自动化助理224、服务器计算装置304、第一客户端装置326、第二客户端装置334、iot装置342和/或任何其他装置、设备、模块、操作和/或本文论述的应用中的一个或多个的逻辑。

这些软件模块通常由处理器514单独或者结合其他处理器来执行。存储子系统524中使用的存储器525可以包括多个存储器,包括用于在程序执行期间存储指令和数据的主随机存取存储器(ram)530和其中存储固定指令的只读存储器(rom)532。文件存储子系统526可以为程序和数据文件提供持久性存储,并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、cd-rom驱动器、光驱或可移除介质盒。实现某些实施方式的功能性的模块可以由文件存储子系统526存储在存储子系统524中,或者(多个)处理器514可访问的其他机器中。

总线子系统512提供用于让计算机系统510的各种部件和子系统按照预期相互通信的机构。尽管总线子系统512示意性展示为单个总线,但总线子系统的替代性实施方式可以使用多个总线。

计算机系统510可以是不同类型的,包括工作站、服务器、计算集群、刀片服务器、服务器农场或任何其他数据处理系统或计算装置。由于计算机和网络的不断变化的性质,图5中描绘的计算机系统510的描述仅旨在作为用于说明一些实施方式的目的的特定示例。计算机系统510的许多其他配置可能具有比图5中所描绘的计算机系统更多或更少的部件。

在本文所描述的系统收集关于用户(或者本文经常提到的“参与者”)的个人信息或可以利用个人信息的情况下,可以向用户提供用以控制程序或特征是否收集用户信息的机会(例如,关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前地理位置的信息),或者用以控制是否和/或如何从内容服务器接收可能与用户更相关的内容的机会。而且,某些数据可以在存储或使用之前以一种或多种方式处理,以便移除个人身份信息。例如,可以处理用户的身份,使得不能为用户确定个人身份信息,或者可以在获得地理位置信息的地方概括化用户的地理位置(诸如城市、邮政编码或州级),使得不能确定用户的特定地理位置。因此,用户可以控制如何收集和/或使用关于用户的信息。

虽然本文已描述和示出了若干实施方式,但是可以利用用于执行功能和/或获得结果和/或本文描述的一个或多个优点的各种其他手段和/或结构,并且这些变化和/或修改中的每一个都被认为在本文描述的实施方式的范围内。更一般地,本文描述的所有参数、尺寸、材料和配置都意图是示例性的,并且实际的参数、尺寸、材料和/或配置将取决于使用教示的特定应用。本领域技术人员将认识到或者能够仅使用常规实验来确定,本文所描述的具体实施方式的许多等同物。因此将理解,前述实施方式仅通过示例方式给出,并且在所附权利要求及其等同物的范围内,实施方式可以按不同于具体描述和权利要求的方式实践。本公开的实施方式涉及本文描述的每一个别的特征、系统、物品、材料、套件和/或方法。另外,如果两个或两个以上此类特征、系统、物品、材料、套件和/或方法不是相互矛盾的,则此类两个或两个以上特征、系统、物品、材料、套件和/或方法的任何组合都包括在本公开的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1