用于提供与厨房电器相关联的行为推荐的方法和系统与流程

相关申请的交叉引用

本申请要求于2018年3月19日提交的美国专利申请no.15/924，604的优先权，该美国专利申请的公开内容通过引入全部合并到本文中。

本公开涉及智能电器以及基于语音的数字助手领域，并特别地，涉及与厨房电器相关联的行为推荐。

背景技术：

随着智能装置越来越普及，用户可以使用安装在他们的智能装置上的各种应用程序来记录他们生活中的各种事件、他们的目标和愿望，并在他们的智能装置上接收智能提醒和建议以实现这些目标和愿望。例如，一些应用程序与全天监测用户的活动水平锻炼装置或可穿戴装置相连，并为用户提供关于他/她的活动的提醒和总结。类似地，一些生活方式的应用程序允许用户记录他/她一整天的食物摄入、以及他/她的情绪和健康数据，以满足某些健康目标和/或饮食目标。然而，这些应用程序仍然很大程度上依赖于用户手动输入他们希望设置的目标和约束，并依赖于用户自己去查看他们关于各种目标和约束做的怎么样并在他们的行动中做出任何调整。由于用户必须在智能装置上驱动健康和生活方式应用程序的使用，除了一小部分特别有积极性的用户，大多数用户可能会下载应用程序，但可能在一小段时间后就无法坚持下去。

如今，基于语音的人工智能(例如，聊天机器人或基于语音的数字助手)开始被集成到智能装置和一些最先进的家用电器中。最先进的基于语音的人工智能仍然专注于理解在控制智能装置和/或智能家电的功能中的用户的意图(例如，通过对用户语音命令的自然语言处理)。用户仍然是装置与用户之间的对话的驱动者，而对话的重点是以解放双手的方式控制装置的功能。即使智能装置基于各种触发器(例如，时间、地点、日程、电池寿命等)提供提醒和告警，这些提醒和告警通常也是由用户预先设置的。因此，基于机器智能为用户提供真正的主动的行为推荐仍然是缺乏的，特别是在健康和生活方式管理领域。

基于这些原因，需要为用户提供主动的、及时的和适当的行为推荐，以改善健康和生活方式目的的更好的行为推荐系统。

技术实现要素：

如背景部分所述，存在针对用户的主动的、及时的和适当的行为推荐以改善健康和生活方式目的的需要。因此，本公开提供用于基于各种信息和事件触发的类型来提供与厨房电器相关联的行为推荐的方法和系统。该行为推荐以与厨房电器相关联的行为为中心，与厨房电器相关联的行为包括例如冰箱和食品储藏室补充库存推荐、食品食材推荐、食谱推荐、份量控制推荐、烹饪方法推荐、健康目标和约束调整推荐等。与健康和生活方式有关的行为推荐特别地与在厨房环境相关的原因是，通常人们是在厨房里时进行食物的选择(例如，食品杂货店补充库存、为餐食选择食材、就餐准备、分量控制等)，以及当他们在厨房环境中时他们更有可能遵循食品相关的行为推荐。此外，人们在准备餐食、清洁和/或吃饭时通常处于放松的状态，以及他们更有可能与基于语音的数字助手进行互动，并更有可能提供有关他们的健康和生活方式偏好、需求和挑战的相关反馈和信息。基于这些实时的用户行为、需求和反馈信息，可以向用户提供有利于用户长期的健康和生活方式目标的更好的行为建议。

在一些实施例中，一种方法，包括：在具有存储器和一个或多个处理器的计算装置处：为第一用户生成在第一时间段内实施的第一营养计划，其中，第一营养计划包括第一组营养目标和约束；监测与第一用户实际实施第一营养计划有关的事件；通过第一厨房电器检测与第一厨房电器相关联的第一用户行为；确定第一营养计划与预计营养结果之间的第一偏差，该预计营养结果是基于所监测到的事件而获得的，所监测到的事件发生在第一时间段的、直到检测到第一用户行为的第一部分期间；根据所述第一偏差，修改所述第一营养计划获得要在第一时间段的剩余部分期间实施的第二营养计划，其中，第二营养计划包括第二组营养目标和约束，第二组营养目标和约束与第一组营养目标和约束不同；基于第二营养计划，生成关于与第一厨房电器相关联的第二用户行为的第一建议；以及通过第一厨房电器输出第一建议。

根据一些实施例，一种系统包括：一个或多个处理器，以及存储一个或多个程序的存储器；一个或多个程序被配置为被一个或多个处理器来执行，以及一个或多个程序包括用于执行或引起本文描述的任意方法的操作的性能。根据一些实施例，非暂态计算机可读存储介质存储有指令，这些指令在由电子装置执行时，引起该装置执行或引起本文描述的任意方法的操作的性能。

根据下面的描述，目前所公开的技术的各种优点是显而易见的。

附图说明

在下文中，在结合附图进行优选实施例的详细描述后，将更清楚地理解所公开技术的上述特征和优点及其附加特征和优点。

为了更清楚地描述本公开技术的实施例或现有技术中的技术方案，以下简要介绍用于描述实施例或现有技术的附图。显然，下列描述中的附图仅仅显示了本公开技术的一些实施例，并且本领域的普通技术人员无需创造性努力，仍然可以从这些附图中导出其他附图。

图1是示出根据一些实施例的用于提供与厨房电器相关联的行为推荐的数字助手的操作环境的框图。

图2是示出根据一些实施例的用于提供与厨房电器相关联的行为推荐的数字助手服务器的框图。

图3示出了根据一些实施例的在智能厨房环境中提供行为推荐的使用场景。

图4示出了根据一些实施例的处理各种类型的信息以随着时间的推移改善行为推荐的示例。

图5是根据一些实施例的用于提供与厨房电器相关联的行为推荐的方法的流程图。

图6是根据一些实施例的用于提供与厨房电器相关联的行为推荐的服务器系统的框图。

类似的附图标记指代附图的多个视图中相应的部件。

具体实施方式

现在将详细参考实施例，实施例的示例在附图中示出。在下面的详细描述中，提出了许多具体的细节，以提供对在这里提出的主题的全面理解。但是很明显对于本领域的技术人员而言，可以在没有这些具体的细节的情况下实现本主题。在其他情况下，没有详细描述已知的方法、过程、组件和电路，以免不必要地模糊了实施例的各个方面。

参考本申请实施例中的附图，以下清晰而完整地描述了本申请实施例中的技术解决方案。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部实施例。本领域的普通技术人员在没有创造性努力的情况下，基于本申请的实施例获得的所有其他实施例均将落入本申请的保护范围。

图1是根据一些实施例的用于提供与厨房电器相关联的行为推荐的基于语音的数字助手的操作环境100的框图。

操作环境100是根据客户端-服务器模型实现的。操作环境100包括智能厨房环境122和服务器系统108，该服务器系统通过云网络110与智能厨房环境122可通信地耦接。在一些实施例中，智能厨房环境122包括一个或多个智能厨房电器124。智能厨房电器124的示例包括冰箱124(c)、冷柜、微波炉124(b)、炉灶124(d)、烤面包机、对流烤箱124(a)、电饭锅、烤盘、智能储物柜124(e)等等。在一些实施例中，客户端环境100进一步包括用户装置104(例如，智能手机、平板电脑、个人电脑或中央通信集线器)。

在一些实施例中，一个或多个厨房电器124的相应的厨房电器包括输入/输出用户界面。该输入/输出用户界面可选地包括能够呈现多媒体内容的一个或多个输出装置，包括一个或多个扬声器和/或一个或多个可视化显示器。输入/输出用户界面还可选地包括一个或多个输入装置，包括便于用户输入的用户界面组件，如小键盘、语音命令输入单元或麦克风、触摸屏显示器、触控输入板、手势捕获相机或其他输入按钮或控件。

在一些实施例中，相应的厨房电器进一步包括传感器，该传感器感测相应的厨房电器的操作环境信息。传感器包括但不限于一个或多个光传感器、摄像机(也称为图像传感器)、湿度传感器、温度传感器、运动传感器、重量传感器、光谱仪和其他传感器。在一些实施例中，与各种厨房电器相关联的传感器用于提供用户存在信息(例如，用户在厨房里的位置，以及用户当前正在与哪个或哪些电器进行交互等等)、食品类库存信息、食品准备状态信息等。在一些实施例中，传感器还提供有关室内环境的信息，例如房屋中各房间的温度和湿度。

在一些实施例中，在客户端侧厨房区域中的一个或多个装置和/或电器包括相应的数字助手(da)客户端，并且da服务器在服务器系统108上被执行。包括音频输入接口(例如，麦克风)的每个装置124都可以作为数字助手的语音输入端点装置，并捕获用户发出的语音输入。用户可以在智能厨房环境122中移动，而位于用户附近的多台装置124可以捕获相同的语音输入，并通过它们自己的到数字助手服务器的通信信道将语音输入独立地传输到服务器系统108。da客户端提供客户端侧功能，例如面向用户的输入和输出处理以及与da服务器106的通信。da服务器106为分别驻留相应的用户装置104(例如，为家庭账户注册的用户装置)和/或相应的厨房电器124上的任意数量的da客户端提供了服务器侧功能。用户可以直接与相应的用户装置或厨房电器上的da客户端对话，以与服务器系统108上的数字助手进行交互。

在一些实施例中，服务器系统108包括一个或多个处理模块114、数据和模型116、到客户端112的输入/输出(i/o)接口和到外部服务118的i/o接口。面向客户端的i/o接口112方便了针对服务器系统108的面向客户端的输入和输出处理。例如，当通过来自具有语音输入接口的多个厨房电器的多个独立的通信信道将相同的语音输入传输到服务器系统108时，面向客户端的i/o接口112基于输入质量来选择从多个通信信道中的一个通信信道接收到的输入流，或整合来自多个通信信道的输入流以获得更好质量的输入流。然后，面向客户端的i/o接口112向处理模块114提供已获得的最佳质量的语音输入，以用于自然语言处理和意图推断。类似地，当数字助手服务器108向用户提供行为推荐或向厨房电器或外部服务发送相关的机器命令(例如，用于改变烹饪温度、烹饪风格、或执行补货订单的推荐或机器命令等)，数字助手还选择在这个情况下(例如，基于用户当前的动作(例如，烹饪还是在吃)和用户在厨房的位置(例如，在炉灶前面还是在冰箱附近等))最合适的输出通道。

数据库和模型116包括每个用户和/或用户家庭的各种用户数据，如个人用户的账户数据、健康数据、饮食偏好和限制、活动数据、健康目标、生活方式、日程约束等。一个或多个处理模块114利用数据和模型116来监测与用户的健康和生活方式目标和约束相关的事件，以基于过去的事件来确定某个营养计划的依从度，以生成和更新关于用户行为的营养计划和推荐策略，所述用户行为与一个或多个厨房电器相关联。

在一些实施例中，服务器系统108还通过一个或多个网络110与外部服务120(例如，一个或多个导航服务、一个或多个消息传递服务、一个或多个信息服务、日历服务、一个或多个家电控制服务、一个或多个社交网络服务、食谱服务、营养信息服务、采购服务等)进行通信，以完成任务或获取信息。到外部服务118的i/o接口促进了这样的通信。

在一些实施例中，服务器系统108可以在至少一个数据处理装置和/或计算机分布式网络上实施。在一些实施例中，服务器系统108还使用第三方服务提供商(例如，第三方云服务提供商)的各种虚拟装置和/或服务来提供服务器系统108的底层计算资源和/或基础架构资源。

一个(多个)通信网络110的例子包括局域网(lan)和广域网(wan)，例如因特网。一个(多个)通信网络110年可以使用任何已知的网络协议来实现，已知的网络协议包括各种有线或无线协议，如以太网、通用串行总线(usb)、火线、全球移动通信系统(gsm)、增强数据gsm环境(edge)，码分多址(cdma)、时分多址(tdma)、蓝牙、wi-fi、互联网协议电话(voip)、wi-max或任何其他合适的通信协议。

在一些实施例中，存在有网络路由器，该网络路由器将智能厨房环境122中的不同装置和电器连接到网络110，并将通信从数字助手服务器路由到智能厨房环境并从智能厨房环境路由到数字助手服务器。网络路由器不智能地处理进入到智能厨房环境和从智能厨房环境出来的通信是为了除数据通信以外的目的(例如，基于通信中指定的地址将消息路由到它们的目的地)以及网络路由器被认为是网络110的一部分，而不是所控制的装置或数字助手客户端或服务器的一部分。

在一些实施例中，智能厨房环境122具有针对每个家庭的集中式的云账户，该集中式的云账户管理与该家庭的智能厨房环境相关联的并且可通过网络110可达到的/可控制的所有已注册的厨房电器124。厨房电器124需要服从api以与服务器系统108通信。一旦服务器系统108接收到输入(例如，触发事件如与厨房电器相关联的用户行为或用户语音输入)，无论哪一个特定的厨房电器向服务器系统传输输入，服务器系统将分析该输入并确定该输入的意图以及向厨房电器发送命令和/或音频反馈，其中，该厨房电器根据命令回放音频输出或执行所请求的任务。只要有具有输入接口并启用了网络的厨房电器124中之一捕获到输入(例如，用户不需要靠近任何需要控制的特定的装置，或靠近中央通信枢纽)，数字助手(da)就可以被激活并基于输入来控制任意厨房电器124。

图2是根据一些实施例的示例性的数字助手服务器系统108的框图。应该指出的是，数字助手系统108只是数字助手系统的一个示例，并且数字助手系统108可以具有比所示出的组件更多或更少的组件，可以组合两个或更多个组件，或者可以具有组件的不同配置或布置。图2中所示的各种组件可以在以下中实现：硬件、软件、固件，包括一个或多个信号处理和/或专用集成电路，或它们的组合。数字助手系统108包括存储器、一个或多个处理器、一个或多个输入/输出(i/o)接口和网络通信接口。这些组件通过一个或多个通信总线或信号线相互通信。

如图2所示，数字助手服务器108包括i/o处理模块228、说话者识别模块240、语音转文本处理模块230、自然语言处理模块232、任务流处理模块236、对话处理模块234、服务处理模块238、和行为推荐模块242(例如，图1中处理模块114的所有部分)。这些处理模块直接或间接地利用各种数据库和模型116(包括，例如，词汇表244、用户数据248、命名实体数据250、食材营养数据246、食物库存数据252、食谱/份量/食材推荐策略254、营养计划258等)来理解用户的意图，以获得关于用户的健康和生活方式的需求、偏好和目标的有用信息，从而提供合适的推荐和所需要的信息，并执行所请求的任务。

如图2所示，在一些实施例中，i/o处理模块228通过用户装置(例如，图1中的用户装置104)和/或其他装置(例如，图1中的厨房电器124)与用户进行交互。i/o处理模块228利用网络通信接口来获取用户输入(例如，语音输入)、向用户提供响应、获取与用户健康和生活方式以及用户营养计划的实施相关的事件信息，并提供与厨房电器124相关联的行为推荐。在一些实施例中，i/o处理模块228还与用户交互(例如，后续的)，来通过多次基于语音的交流引出信息并请求澄清。

在一些实施例中，在检测到触发事件和/或接收到用户输入的同时或之后不久，i/o处理模块228可选地获得与触发事件和/或用户输入相关联的信息。这些信息包括针对特定用户的数据、活动数据、健康数据、来自其他家庭成员的反馈数据、用户专用词汇表和/或与用户输入以及用户健康和生活方式相关的用户偏好。触发事件包括，例如，检测到用户在厨房中或在厨房电器前，用户打开或操作厨房电器，和/或用户与厨房电器进行交互(例如，清洁厨房电器)。触发事件还可以包括装置124的特定的软件和硬件状态，例如食品库存状态(例如，库存低，或营养失衡)、食物消耗数据、电器使用状态、门开/关状态、电器开/关状态等。在一些实施例中，在接收到用户请求时接收到触发事件信息。也可以接收到在用户请求时与用户周围环境相关的信息。在一些实施例中，可以与事件信息和/或上下文信息一起或独立于事件信息和/或上下文信息从用户处接收语音输入。

在一些实施例中，i/o处理模块228向用户发送后续问题并从用户接收关于用户请求、用户偏好、用户健康和生活方式以及用户活动等回答。在一些实施例中，当i/o处理模块228接收到用户请求或反馈并且该用户请求或反馈包含语音输入时，i/o处理模块228将语音输入转发到说话者识别模块240以进行说话者识别，并随后转发到语音转文本(stt)处理模块230的以进行语音到文本的转换。

在一些实施例中，基于说话者识别结果来选择针对特定人的语音转文本模型来执行语音到文本的转换。在一些实施例中，家庭中的人的身份信息和关系存储在用户数据数据库248中。基于身份信息和关系信息，数字助手108可以恰当的将从一个家庭成员接收到的关于另一家庭成员的健康、活动、偏好和目的与该另一家庭成员关联起来，并使用该信息来提供和该另一家庭成员相关的行为推荐。在一些实施例中，当使用昵称来指称自己或家庭的其他成员时，使用命名实体数据250来识别人。

在一些实施例中，语音转文本处理模块230通过i/o处理模块228或说话者识别模块240接收语音输入(例如，在语音记录中捕获的用户话语)。在一些实施例中，语音转文本处理模块230使用各种声学和语言模型来将语音输入识别为音素序列，并最终识别为用一种或多种语言编写的单词或标记序列。语音转文本处理模块230是使用任意合适的语音识别技术、声学模型和语言模型(如隐马尔科夫模型、基于动态时间扭曲(dtw)的语音识别以及其他统计和/或分析技术)来实现的。在一些实施例中，语音转文本处理可以至少部分地由第三方服务执行或在用户的装置上执行。一旦语音转文本处理模块230获得语音转文本处理的结果(例如，单词或标记序列)，它就将结果传递给自然语言处理模块232进行意图推断或信息项提取。

在一些实施例中，数字助手108的自然语言处理模块232获得由语音转文本处理模块230生成的单词或标记的序列(“标记序列”)，并试图把标记序列与数字助手识别到的一个或多个“可操作意图”相关联，或与同用户的健康和生活方式的需求、偏好和行动有关的一个或多个信息项相关联。这里使用的“可操作意图”表示可以由数字助手108和/或由数字助手控制的装置执行的任务，以及具有在任务流模型354中实现的相关联的任务流的任务。该相关联的任务流是数字助手系统为执行任务而采取的一系列程序化行动和步骤。将与用户的健康和生活方式需求、偏好和行动相关的信息项提供给行为推荐模块242。信息项包括，例如，用户对餐食的偏好、用户对推荐的接受或拒绝、用户的营养目标(例如，餐食的卡路里、营养成分等)、用户的健康数据(例如心率、总体健康、情绪等)、用户的活动和日程安排(例如，工作完了、累了、只有20分钟吃午餐等)。

在一些实施例中，将源自自然语言处理的信息项和用户意图发送给行为推荐模块242，其中，行为推荐模块使用信息项和用户意图、连同事件信息、以及存储在食材营养数据库246、食物库存数据库252、食谱推荐策略254以及营养计划数据库258中的信息和策略来为用户生成行为推荐。在一些实施例中，行为推荐模块242提供关于以下的行为推荐：使用哪种类型和多少数量的食物食材来用于餐食准备、用于烹饪餐食的逐步说明、用于烹饪的份量和食材形式推荐(例如，切片、切丁、制成泥状等)、食物吃的顺序建议(例如，水果和蔬菜在第一道菜之前、汤在主菜之前等等)、锻炼建议(例如，“如果你吃餐后甜品的食物a，则你随后需要步行20分钟；如果你吃餐后甜品的食物b，随后你需要步行一个小时。”)、食物补充推荐、食材替代推荐、配方替代推荐、营养计划修改推荐、以及关于整个家庭或家庭的另一个成员的任何上述推荐等。

在一些实施例中，自然语言处理模块232可选地使用已经接收到的上下文信息来明确、补充、和/或进一步定义所推导的意图，并生成提供给任务流处理模块236的结构化查询，该任务流处理模块使用结构化查询选择并执行任务流模型254中的相关任务流。在一些实施例中，所选择的任务流模型包括用于控制电器(例如，打开和关闭、调高温度、调整烹饪时间等)、通过语音输出接口读取食谱和指令、提供所请求的信息和/或执行在线采购、补充食物等的任务流模型。

在一些实施例中，自然语言处理是基于本体260的。本体260是包含多个节点的层级结构，每个节点代表一个“可操作意图”、“信息项”、或与“可操作意图”、“信息项”中的一个或多个“可操作意图”、“信息项”相关的“属性”、或其他“属性”。如上所述，“可操作意图”表示数字助手系统300能够执行的任务(例如，“可操作”的任务或可以被操作的任务)。“属性”表示与可操作意图或另一个属性的子方面相关联的参数。“信息项”包括在数据库中的、由行为推荐模块242用于提供行为推荐一个数据库中所定义的参数。在本体360中，可操作意图节点和属性节点之间的链接限定了属性节点表示的参数如何与可操作意图节点表示的任务相关联。“信息项”可以是意图或属性。

在一些实施例中，图2所示的自然语言处理模块232接收来自语音转文本处理模块330的标记序列(例如文本串)，并确定标记序列中的单词暗含什么节点。在一些实施例中，如果(通过词汇索引244)发现标记序列中的单词或短语与本体260中的一个或多个节点相关联，则该单词或短语将“触发”或“激活”这些节点。当多个节点被“触发”时，根据被激活节点的数量和/或相对重要性，自然语言处理模块232将选择可操作意图之一作为用户希望数字助手执行的任务(或任务类型)，或者作为信息项之一来传递给行为推荐模块242。

在一些实施例中，数字助手系统108将特定实体的名称存储到命名实体数据库250中，使得当在用户请求和/或用户反馈中检测到这些名称中的一个时，自然语言处理模块232将能够识别到该名称是指信息项的特定实例、本体中的属性或者子属性。在一些实施例中，特定实体的名称是企业、餐馆、人物、电影、食品食材、菜谱名称、烹饪方法名称等的名称。在一些实施例中，命名实体数据库250还包括由各个用户在针对不同家庭装置的装置注册期间提供的家用电器装置的别名。在一些实施例中，数字助手系统可以从其他数据源(例如，用户的地址簿或联系人列表、音乐家数据库、菜谱数据库、食物杂货店数据库和/或餐馆数据库等)搜索以及识别特定实体名称。在一些实施例中，将用于唤醒数字助手的触发短语存储为命名实体，以便当它存在于用户的语音输入中时，可以对其进行识别并赋予其特殊意义。

用户数据348包括用户专用信息，例如用户专用词汇表、用户的人口统计数据、用户偏好、用户的地址、用户的默认语言和第二语言、用户的联系人列表以及每个用户的其他短期或长期信息。自然语言处理模块232可以使用用户专用信息来补充用户输入中所包含的信息，以进一步定义用户意图。在一些实施例中，用户数据还包括用于用户身份验证的用户的特定声纹或用于说话者识别的语音样本。

在一些实施例中，当自然语言处理模块232将结构化查询(包括任何已完成的参数)传递给任务流处理模块236(“任务流处理器”)时，任务流处理模块236执行“完成”用户最终请求所需的动作。在一些实施例中，在任务流模型254中提供完成这些任务所需的各种过程。在一些实施例中，任务流模型254包括用于从用户获取额外信息的过程，以及用于执行与可操作意图相关联的操行为的任务流。在一些实施例中，任务流模型254中的任务流描述了用于控制注册到数字助手的各个家用电器装置的步骤，并基于装置名称列表，数字助手进行操作以执行在关于由用户的语音输入中的家用电器装置的别名指定的家用电器装置的合适的任务流中的步骤。在一些实施例中，执行所请求任务的步骤包括要通过网络发送到受控制装置(例如，家用电器)的已编码指令列表，以便受控制装置执行这些已编码指令以完成用户所需的意图。

在一些实施例中，任务流处理器336利用服务处理模块338(“服务处理器”)的辅助来完成用户输入中所请求的任务或提供用户输入中所请求的信息性回答。例如，服务处理模块338可以代表任务流处理模块336发送命令到家用电器、打个电话、设置日程表条目、调用地图搜索、调用安装在用户装置上的其他用户应用或与安装在用户装置上的其他用户应用交互、以及调用第三方服务(例如，餐厅预订门户、社交网站或服务、银行门户、在线购物门户等)或与第三方服务交互。在一些实施例中，每个服务所需的协议和应用程序编程接口(api)可以由服务模型356中的相应服务模型指定。服务处理器338访问服务的适当服务模型，并根据服务模型来生成按照由服务所需要的协议和api的针对服务的请求。

在一些实施例中，行为推荐模块242向用户智能家居中的电器提供指令，以监测用户的语音输入以及与用户的健康、生活方式和用户的营养计划的实施有关的事件。行为推荐模块242可选地提供指令来启动和进行与家庭中的用户的关于用户各自的活动、健康、生活方式、和用户的相应营养计划的实施的对话，和/或关于用户家庭的一个或多个其他成员的相同方面的对话。行为推荐模块242进一步向电器提供指令以监测指示合适机会以启动和执行上述对话的事件，例如，当用户正在在厨房里准备餐食的时候(例如，而不是拿了啤酒然后去客厅看电视或招待客人)，或当用户独自吃饭时(例如，而不是与家人或客人在一起吃饭)。在一些实施例中，行为推荐模块242进一步包括指令以在监测用户实际实施营养计划一段时间后回顾并修改用户的营养计划，使得营养计划中规定的目标和限制更适合用户当前的情况以及对于用户的口味偏好和生活方式来说更现实。在一些实施例中，行为推荐模块242进一步包括以下指令，该指令用于基于用户家里的食物库存、用户的食物偏好、用户最近的饮食成分、用户最近的活动、用户最近的健康和情绪数据、和/或用户的日程安排等来确定用来准备餐食的合适的食品食材、烹饪风格、食谱、和/或份量等以实施用户的营养计划。在一些实施例中，行为推荐模块242包括以下指令，该指令用于基于用户的当前行为和偏好、用户的当前的食物选择和行动、用户家里的食物库存、用户的食物偏好、用户最近的饮食成分、用户最近的活动、用户最近的健康和情绪数据、和/或用户的日程安排等，来提供替代推荐(例如，提供食材替代推荐、烹调方法替代推荐、食谱替代推荐、和/或食物补充或采购替代推荐等)的指令。在一些实施例中，行为推荐模块242可选地主动执行动作，例如向冰箱中补充用户更可能接受的健康的食材，而不是迫使用户自己购买这些物品。

在一些实施例中，共同地并重复地将自然语言处理模块232、对话处理模块234、任务流处理模块236、以及行为推荐模块242用于推测和定义用户的意图，用于获取信息以进一步明确和提炼用户意图和目标，用于获取用户的偏好、准许、约束、健康数据、和/或日程数据等，并用于最终生成响应、执行动作、和/或提供推荐，以满足用户的意图，并帮助用户实施他/她的健康和生活方式目标。

在一些实施例中，为了获取额外的信息、消除潜在的歧义话语并提供行为推荐而和用户进行的额外的对话是由对话处理模块234来执行的。在一些实施例中，对话处理模块234确定如何(和/或何时)向用户询问额外的信息，以及接收和处理用户响应。

在一些实施例中，通过i/o处理模块228向用户询问问题并从用户处接收回答。在一些实施例中，对话处理模块234生成体现问题和/或推荐的音频输出，并将音频输出发送到由数字助手选择的输出端点装置，其中所选择的输出装置将问题和/或推荐呈现给用户。用户的响应由一个或多个输入端点装置捕获并传输到数字助手，其中，数字助手处理从所选择的输入端点装置接收到的语音响应，并从语音响应中获得所需的说明。在数字助手和用户之间的多个交流期间，用户可以在房子里四处走动，并从不同的输出端点装置124听取数字助手的输出，以及使他/她的回答被一个或多个输入端点装置124的不同集合获得，当将这些输出发送给用户以及当用户提供他/她的回答给数字助手时取决于用户的位置。一旦从用户处接收到回答，对话处理模块334用缺少的信息填充结构化查询，或者将信息传递给行为推荐模块242来完成行为推荐过程。

图3示出了根据一些实施例的在智能厨房环境中提供行为推荐(例如饮食推荐)的使用场景。在一些实施例中，服务器系统108基于用户的目标(例如，减肥、增强肌肉、获得更多的能量、变得更加柔韧、降低胆固醇、降低血糖等等)和偏好(例如，在的生活方式改变最少的情况下缓慢而稳步地、快捷而迅速的结果、使用以饮食为主的方法对比以运动为主的方法、对不好的关节影响小，、不要沙拉、保持甜品等)，以及用户的健康数据(如年龄、性别、体重、身高、体脂指数、心脏状况、胆固醇、血糖、长期残疾、短期残疾、慢性病、当前疾病等)生成营养计划。营养计划是针对预定义的一段时间内的(例如，一个月或一年)并具有相应的目标(例如，减掉20磅、降低10个单位的血糖水平、血压降低到正常范围、降低x数量的bmi等)和限制(例如，每周减重不超过5磅、维持均衡的饮食(如没有低碳水化合物的饮食)、没有无关的运动等)而建立的。营养计划的目标可以包括用户每天可以摄入的卡路里量、在用户的饮食里的营养成分的平衡(例如脂肪、碳水化合物、蛋白质和各种维生素和矿物质等之间的比率)，和/或(例如，来自餐食、零食和饮料的)卡路里摄入量和卡路里消耗(例如，基准身体功能、运动、日常活动等)的相对比例。

在一些实施例中，服务器系统108不断地监测与由用户实施营养计划有关的用户数据和事件。例如，服务器系统108从用户装置104收集用户的更新的健康数据(如体重、血压、血糖、体重指数、运动记录等)。服务器系统108还可以从一个或多个厨房电器收集用户的饮食数据。例如，根据从冰箱取出的食物和在炉灶或微波炉上烹饪的食物，服务器系统108可以基于所检测到的食材获取卡路里信息和/或营养信息。服务器系统108可以进一步检测库存数据，例如什么食材储存在冰箱和/或食物储藏柜中。在一些实施例中，服务器系统108基于用户的位置监测并记录用户的通常用餐时间，以及在餐厅和厨房中花费的时间。在一些实施例中，服务器系统108基于厨房中的烹饪电器上使用的状态和设置来监测并记录用户的烹饪方法。

服务器系统108基于来自针对计划的时间段的较早部分的所监测的数据和用户反馈来评估之前形成的营养计划的效能(例如，计划的有效性、用户有多喜欢这个计划、用户对这个计划实施的怎么样等)。在一些实施例中，服务器系统108生成总结以评估用户在过去两天或一周内遵从营养计划的情况。例如，服务器系统108比较已被用户摄入的食物的卡路里和营养计划中为那些餐食提供的目标卡路里，并评估用户是否摄入比他/她应该摄入的更多的餐食。服务器系统108还监测用户是否多次拒绝基于当前营养计划所生成的餐食推荐，以及用户或其家庭成员是否为用户拒绝那些推荐提供了任何理由。在一些实施例中，如果服务器系统检测到基于当前实施趋势，实施的结果将很大程度地偏离营养计划，或者如果已用户表示，基于当前情况(例如，时间限制、缺乏动力、客人到访、健康问题等)实施当前的营养计划有一定的困难，则服务器系统修改营养计划的至少一个方面(例如，卡路里要求、健康目标、营养平衡和/或约束)以及用于实施营养计划的策略(例如，以饮食为主对比以运动为主的策略)。然后服务器系统108基于偏差和偏差原因更新营养计划。服务器系统108将更新后的营养计划保存为要在该时间段的后续部分中实施的第二营养计划。服务器系统应该基于对表现的中间评估和对最初的营养计划的实际实施来修改营养计划的原因是：在用户一开始未能成功地实施最初的营养计划之后还持续推进同一营养计划(例如，在用户已经超过了早期的卡路里量后，通过强加进一步的卡路里限制以满足早期的目标)，会使其更难实施，用户更可能会完全放弃，而致使原来的计划变得毫无意义。通过修改剩余时间段内的营养计划，使得对用户完成营养计划来说可以使其更现实可行，它将更有利于用户的健康和生活方式目标(例如，小的改进总比彻底失败好)。此外，通过与用户通过对话进行交互以及监测用户的当前营养计划的实际实施中的失败的点(例如，食材选择不当、烹饪方法选择不当、份量选择不当、不规律的用餐时间等)，数字助手服务器能够以使得实施修改后的计划更现实可行、以及有时更有效的方式来修改营养计划，最终使用户受益，并使用户更接近他/她的健康目标。

如图3中的示例场景所示，位于冰箱门上或冰箱隔间内的存在传感器(例如，图像传感器、光传感器、和/或运动传感器)检测到用户的存在以及在冰箱前的行为(例如，用户只是打开冰箱并拿出了一些食材)。冰箱内的传感器(例如，图像传感器和重量传感器)确定用户从冰箱中拿出的是哪些食材以及食材的数量。基于食材、当前时间和当前营养计划(例如，在尚未满足要修改营养计划的标准的情况下当前营养计划会是未修改的计划，或在已满足要修改计划的标准的情况下当前营养计划会是已修改的计划)，数字助手生成与冰箱相关联的一个或多个行为推荐。行为推荐可选地包括从冰箱中取出食材(例如，“对于午餐准备，请拿出一棵莴苣、一个番茄、一块豆腐。”)。在一些实施例中，数字助手会考虑用户已经从冰箱里拿出了什么，并提供如下推荐：补充用户现有的食材并仍然满足当前营养计划的营养需求(例如，“看来，你已经从冰箱拿了一些切片奶酪出来，你可以增加一些烤鸡肉和白面包来做三明治。”)。在一些实施例中，数字助手还基于当前的营养计划和/或用户已经拿出的食材做出替代推荐(“我看到你拿了一些切片奶酪和一些烤鸡肉出来，你这周的日常摄入量有点高。我建议你做不加奶酪的三明治。”)。数字助手提供的推荐通过冰箱上的语音输出接口或用户附近的其他电器可选地输出。在一些实施例中，当用户在冰箱前面时，数字助手也可以基于冰箱的库存和用户最近餐食的成分做出推荐(例如，“冰箱里有一些新鲜的蔬菜，你可能想要用一小份沙拉来补充你的三明治。”)。在一些实施例中，数字助手也可以基于冰箱的库存和用户最近的餐食选择来做出推荐(例如，“你最近吃了很多冰淇淋，你想买一些低卡路里的类似的冷冻的零食吗？”)。在一些实施例中，数字助手还可以针对餐食准备提供关于要从冰箱中拿出的食材的量的推荐(例如，“看起来您从冰箱中拿出了三个西红柿。三个西红柿可以和两个鸡蛋搭配，以做出一道营养均衡的主菜。”)。

在数字助手提供与冰箱相关联的一个或多个行为推荐后，数字助手检测用户的行为和/或口头反馈，这些行为和/或口头反馈指示用户的实际行为和对推荐的意见。例如，用户可能忽视关于食材的推荐，并拿出不在推荐中的食物。用户可能会忽视数量推荐，并拿出不在所推荐的数量的数量的物品。用户可能会因为各种原因(例如，“不，我不喜欢玉米粉饼。”、“不，我喜欢全脂冰淇淋。”、“不，我现在没有时间做热饭。”或者“不，今晚妈妈想为我们的客人们保留蔬菜。”)而拒绝该推荐。数字助手基于用户的行为和反馈可选地修改推荐并提供替代推荐。数字助手将记录用户的行为和反馈，并在提供的关于与其他厨房电器相关联的其他行为的随后推荐中将这些行为和反馈考虑在内。

继续上面的示例，当用户从冰箱中拿出一些食材后，数字助手服务器通过智能炉灶检测到用户现在正站在炉灶前并拿着一些食材。响应检测到用户的存在和/或行动(即打开炉灶)，服务器系统108提供关于烹饪方法的推荐。例如，可选地，数字助手服务器可以基于推荐的食谱提供逐步烹饪指令(例如，“将2盎司油加热到中高温……拌入烤鸡肉条……”)。或者，数字助手提供食谱替代推荐(例如，“基于您拿出的食材，您可以做添加黄油的烤三明治，或者您可以用烤面包做单片三明治以减少卡路里和脂肪的摄入。”)或者，数字助手可以提供一种烹饪方法替代(例如，“降低温度以及减少烹饪时间，以保存更多的营养，并使食物易使人饱。”或者“这些食材可以用极少量的食用油来蒸或烤。”)。

在该示例中，当用户在炉灶上做饭时，数字助手检测到用户已经移动到智能食品储藏室，以及位于智能食品储藏室的存储柜处的图像传感器或运动传感器检测到用户打开了橱柜门拿饮料。基于烹饪方法和食材，数字助手既会考虑饮料如何配合烹饪方法和食材，也会考虑饮料如何符合用户的偏好和当前的营养计划来做出对饮料的推荐。例如，如果用户违背了对于烹饪方法的数字助手推荐，并正在用炸鸡条做烤三明治，则数字助手可选地做出对减肥饮料而不是普通的含糖饮料的推荐。

图4是以下的重复过程的示意图：(1)收集与实施当前营养计划相关的信息，例如从冰箱中的摄像头收集食物信息，以及从用户配置文件收集用户的健康信息；(2)基于用户的行为在合适的时间做出行为推荐以实施当前营养计划，例如当用户从冰箱拿东西时通过数字助手提供食材推荐(例如，推荐健康的食物并对不健康食物选择进行警告)，或当用户在炉灶或微波炉前准备餐食时做出烹饪方法推荐(例如，提供健康的可选烹饪方法来替换用户即将使用的不健康的烹饪方法)；(3)从用户的行为(例如，对比所推荐的，哪些食材和烹饪方法是实际使用的)和语言输入、准备和摄入的实际餐食收集反馈，并确定他们在哪些方面偏离了推荐，以及他们在哪些方面影响了营养计划的后续实施；(4)基于目前收集的数据(包括从其他装置和/或用户的反馈收集的餐食信息、日常锻炼数据和健康数据)预计与当前营养计划相应的结果，并确定所预计的营养结果和当前营养计划之间的偏差(例如，为当前营养计划推导表现分数，或为与实施当前营养计划相关联的用户推导表现分数)；以及(5)将所有数据存储在用户配置文件中，并基于过去的表现数据和来自当前营养计划的偏差度，针对与营养计划相关联的时间段的剩余时间段修改当前营养计划。

正如前面提出的，不断重新评估当前的营养计划并监测用户的意见和对营养计划的实际实施，有助于数字助手提供更好地符合用户偏好、动机和来自用户的生活的其他方面的约束的更好的行为推荐和更现实可行的目标。行为推荐是为响应触发事件以及在促进用户依从性的情况下提供的。例如，当用户对听到与食物相关的推荐感兴趣，并且有机会、时间和食材遵从这些推荐时，就会提供推荐。

图5是根据一些实施例的用于提供与厨房电器相关联的行为推荐(例如，补货推荐、食谱推荐、份量推荐、食材推荐等)的方法500的流程图。该方法在计算系统(例如，图1的服务器系统108)上执行，该计算系统与一个或多个厨房电器(例如，图1的厨房电器124)通信上耦接。

在一些实施例中，方法500包括：为第一用户(例如，多个成员的家庭中的第一成员)生成(502)要在第一时间段内(例如一个月)实施的第一营养计划(例如，第一饮食计划、各种营养物的第一营养成分)，其中，所述第一营养计划包括第一组营养目标和约束(例如，减肥目标、bmi目标、血糖调整目标、对糖的摄入的限制、关于维他命a摄入的限制等)。

在一些实施例中，基于用户的健康数据和与用户健康状况相近的普通人的标准营养指南生成第一营养计划。在一些实施例中，第一组营养目标和约束包括在即将到来的一段时间(例如即将到来的一个月、即将到来的一个星期或第二天)的卡路里约束、营养物布置等。在一些实施例中，用户的健康数据包括用户的身高、体重、年龄、性别和/或其他类型的健康相关的数据。健康数据可以进一步包括用户的医疗数据，例如心率、血压、葡萄糖水平、过敏反应等。在一些实施例中，用户的健康数据(例如身高、体重、年龄和/或性别)由用户在使用服务器系统108创建用户账户并注册时输入。在一些实施例中，通过手动输入或语音输入从用户接收用户的医疗数据。在一些实施例中，例如通过运行在用户的移动装置上的健康相关的应用程序从用户的电子医疗记录获取用户的医疗数据。在一些实施例中，从与用户相关联的可穿戴装置(例如智能手表、智能计步器等)接收用户的健康数据。

在一些实施例中，对于健康状况与用户类似的普通人的标准营养指南包括普通人每天摄入多少卡路里、普通人每天需要什么类型的营养物，和/或如何安排一天的营养膳食等。

在一些实施例中，基于用户的偏好数据进一步生成第一营养计划。在一些实施例中，偏好数据包括用户偏好的菜式(例如，中国菜、意大利菜、日本菜等)、偏好的食物类别(例如，海鲜、蔬菜、肉类、乳制品等)和/或偏好的食物口味(例如，辣、甜、酸等)。在一些实施例中，偏好数据是通过用户的语音和/或手动输入、用户经常光顾的餐厅和/或从用户在社交网络平台上的评论识别出的与用户喜欢的食物相关的数据来获得的。

在一些实施例中，在生成第一营养计划后，服务器系统根据与一个或多个厨房电器相关联的第一营养计划和库存数据进一步生成第一组饮食菜单。在一些实施例中，库存数据是通过位于用户的厨房电器例如冰箱中和/或厨房区域(例如，智能厨房环境122)中的橱柜、炉灶、工作台面附近的具有覆盖食品存储或准备区域的视场的一个或多个图像传感器来获得的。在一些实施例中，库存数据包括与可在厨房区域中检测到的肉类、蔬菜、水果、大米、面包、调味品等相关的信息。在一些实施例中，库存数据包括食品类别信息(例如，关于某一物品是否为水果或蔬菜的标签)、数量信息(例如，剩下或使用了多少物品)。在一些实施例中，通过位于厨房区域中的一个或多个其他类型的传感器如称重秤来获取库存数据，以提供食品的重量信息。在一些实施例中，第一组饮食菜单包括与为即将到来的时间段分别安排的多顿餐食相关联的第一组食谱。例如，如果针对用户的第一营养计划包括摄取更多的蔬菜并且控制每天的热量在2000卡路里以内的推荐，并且服务器系统知道用户的冰箱和橱柜包含混合蔬菜、豆腐、橄榄油和醋，则服务器系统可以推荐用户下一顿吃加油和醋的沙拉。

在一个示例中，一开始，成年男性用户可以使用语音输入(例如，“我想在接下来的两周减肥5磅)创建营养目标。然后，根据用户的健康数据和普通成年男性的标准营养指南，服务器系统生成营养计划，该营养计划包括这个成年男性用户每天可以摄入多少卡路里，以及他每天需要什么类型的营养物质。服务器系统可以进一步生成针对未来两周每天三餐的菜品和食谱的推荐。

方法500进一步包括：监测(504)与第一用户实际实施第一营养计划有关的事件。在一些实施例中，在生成第一营养计划后，数字助手系统不断地监测并从一个或多个厨房电器收集数据(例如，已经拿了和烹饪了什么食物，已经将什么食品补充进冰箱和橱柜存储区)。数字助手系统还监测用户的健康数据、活动数据和饮食数据。在一些实施例中，用户的健康数据包括用户最近的体重和bmi变化，以及用户最近的医疗记录。用户的活动数据包括用户的运动数据以及消耗了多少卡路里。可以从运行在用户移动装置或可穿戴装置上的运动跟踪应用程序来跟踪和检索活动数据。在一些实施例中，饮食数据包括用户摄入的餐食的热量和食物成分/营养数据。在一些实施例中，饮食数据由与厨房电器相关联的传感器来跟踪，例如已从冰箱和/或储藏柜中取出并使用炉灶和/或烤箱烹饪的食品杂货。饮食数据还可以在数字助手与用户之间、或数字助手与同一家庭中的另一个用户之间进行对话时通过用户的语音输入(例如，“我/妈妈午餐吃了什锦蔬菜沙拉、橙皮鸡和米饭。”)来获得。

在一些实施例中，数字助手还监测用户对所推荐的饮食计划、食材选择、食谱、份量和/或烹饪方法等的遵守情况如何。数字助手保持跟踪哪些推荐被用户执行以及哪些推荐被用户拒绝。在一些实施例中，数字助手发起与用户或家庭的其他成员的对话，以询问用户接受和/或拒绝特定的所推荐的饮食计划、食材选择、食谱、份量和/或烹饪方法等的原因。

方法500还包括：通过第一厨房电器(如智能冰箱)检测(506)与所述第一厨房电器相关联的第一用户行为(例如，站在冰箱前、经过冰箱、打开冰箱、从冰箱里取出物品、将物品放入冰箱等等)。例如，数字助手服务器通过用户厨房中的网络使能厨房电器检测到在第一时间段的第一部分后(例如，在第一周的开始实施第一营养计划之后的中间、或者实施第一营养计划的一周后)，第一厨房电器相关联的第一用户行为。在一些实施例中，第一厨房电器与食物储存或餐食准备有关，例如炉灶、微波炉、冰箱、烤箱、烤面包机烤箱或冰柜等。在一些实施例中，第一用户行为可以被位于第一厨房电器附近的传感器检测到。例如，图像传感器、光传感器或运动传感器检测到用户刚刚打开了冰箱，或走到储物柜附近。

方法500还包括：确定(508)第一营养计划与所预计的营养结果之间的第一偏差，所述所预计的营养结果是基于在第一时间段的、直到检测到第一用户行为的第一部分期间发生的所监测的事件而获得的。例如，从开始实施第一营养计划的、第一周的前半周期间，数字助手确定用户遵循用于实施第一营养计划的推荐的情况如何，以及用户以符合第一营养计划的方式独立地执行的情况如何。基于在从开始实施第一营养计划的第一周的前半周期间发生的实际事件和行为，以及实施的实际效果，数字助手预计在用户继续当前的行为的情况下会达到的营养结果。数字助手确定第一营养计划与基于第一营养计划的早期实施而得到的预计营养结果之间的一个或多个偏差的数量和/或方面。

在一些实施例中，数字助手持续监测用户关于第一营养计划的表现。在一些实施例中，数字助手响应于预定义的触发事件或标准对用户的关于第一营养计划的表现进行评估。例如，当数字助手检测到与第一厨房电器相关联的第一用户行为时，数字助手可选地进行评估。在一些实施例中，评估第一表现包括生成在第一时间段的第一部分期间过去的表现的总结。总结可以包括基于所监测的数据的总卡路里摄入量、用户在第一时间段的第一部分期间吃了的各种食材(例如，生菜、番茄、鲑鱼、鸡肉等)和营养物(如蛋白质、糖、碳水化合物等)的记录。在一些实施例中，数字助手系统进一步评估通过日常活动和锻炼消耗的卡路里是大于还是小于卡路里的摄入量。在一些实施例中，基于在第一时间段的第一部分期间餐食所消耗的食材，数字助手系统计算第一时间段的第一部分的卡路里摄入量。然后，数字助手系统将所计算出的卡路里摄入量和与针对第一时间段的第一步分的第一营养计划相关联的目标卡路里摄入量进行比较，以得出两者之间的差异。数字助手系统还将摄入卡路里与在各种用户活动和锻炼上消耗的卡路里进行比较。例如，如果用户正在进行节食减重和/或减肥，数字助手系统将计算出通过各种活动和锻炼消耗的卡路里与每天摄入的卡路里之间的差值。在一些实施例中，当第一营养计划包括针对每顿饭的营养成分(例如，纤维素、蛋白质、碳水化合物、维生素、矿物质、脂肪等的平衡)的目标和约束时，数字助手系统评估和确定用户在过去的餐食中已经吃了的营养物质和/或食材的类型是否满足这些目标和约束。

在一些实施例中，对第一营养计划的执行情况的评估被安排为要周期性地进行，例如，在每天开始准备晚餐之前的下午4：30，使得可以向用户提供准备晚餐的最新推荐。在一些实施例中，在周期性评估第一营养计划的表现后，当检测到表现低于预定阈值时，生成警告并发送给用户。例如，当数字助手系统检测到，早餐和午餐摄入的卡路里已经超过了第一营养计划中针对这两餐的目标卡路里500卡路里，当用户进入厨房区域开始准备晚餐时，数字助手系统生成警告，并向用户发送文本消息或音频输出。在一些实施例中，对第一营养计划的表现的评估是由用户的语音输入来触发的，例如，用户可以问“我今晚晚餐应该吃什么？”。

方法500还包括：根据第一偏差修改(510)第一营养计划以获得要在第一时间段的剩余部分期间实施的第二营养计划，所述第二营养计划是的，其中，第二营养计划包括第二组营养目标和约束，所述第二组营养目标和约束与第一组营养目标和约束不同。可选地，基于缩短的持续时间，调整第一营养计划的总体目标，并基于用户过去的行为来调整多个目标和多个约束中至少一个的平均时间，以使其更容易被用户实施。或者，第二营养计划的总体目标设定在从当前时间延长同一时段内(例如一个月)。在一些实施例中，基于在第一时间段的第一部分期间用户的关于第一营养计划的第一表现，数字助手更新第一营养计划以获得针对第一时间段的第二部分的第二营养计划，其中，第二营养计划包括第二组营养目标和约束。在一些实施例中，第二营养计划包括基于所监测的数据从第一营养计划里修改的卡路里约束和营养成分约束。在一些实施例中，第二营养计划还包括与为即将到来的第一时间段第二部分分别安排的多顿餐食相关联的食谱。在一些实施例中，如果第一表现显示用户在时间周期的第一部分时期吃了太多的热量，第二营养计划可以放宽一点整体热量的限制(例如，由于用户的好胃口这样更容易使用户实施)，而改变食物组成以在饮食中包含更多的蛋白质和/或更多的纤维(例如，使食物更易使人饱，并使得用户在两餐之间更不容易饿)，而不是包含过多的糖和简单的碳水化合物。在一些实施例中，将针对遵循营养计划的各种问题的这些调整策略存储在替代数据库中，数字助手可以基于这些策略和用户面临的实际问题智能地生成所修改的计划。如果第一表现示出，用户饮食不平衡，例如，过多的蛋白质，但没有足够的纤维素，则第二营养计划略微放松限制蛋白质的摄入，但在所推荐的餐食食谱中，提升对与蛋白质很好匹配的的食材的推荐并调整推荐的餐食食谱中含有膳食纤维的食材对蛋白质的相对比例。

方法500包括：基于所述第二营养计划，生成(512)关于与第一厨房电器相关联的第二用户行为的第一建议，以及通过第一厨房电器输出(514)第一建议。例如，在数字助手系统检测到用户打开了冰箱后，数字助手系统评估对第一营养计划的用户表现。如果数字助手系统判决用户在第一时间段的第一部分期间摄入了比所计划的更少的纤维素，并且倾向和行为在继续的情况下将导致在第一时间段结束时第一营养计划的实施失败，则数字助手系统在一个或多个方面修改第一营养计划，使得更有可能会成功实施以与如果正确地实施第一营养计划将实施的相同或相似的方式(例如，效果稍差或稍好一点)提升用户的健康。基于第二营养计划生成的第一建议更有可能被用户遵从，并且仍然有益于用户的健康。例如，数字助手可以通过音频输出装置提供建议：“从绿色隔间取出绿色蔬菜。”或者“午餐来份沙拉和汤怎么样？是用醋油沙司调味的什锦蔬菜沙拉配上蛤蜊浓汤，还是用鸡丝拌的玉米沙拉配上番茄汤？”。

在一些实施例中，该方法还包括：通过与第一厨房电器(例如冰箱)不同的第二厨房电器(例如，智能食物储藏柜、炉灶等)检测与第二厨房电器相关联的第三用户行为(例如，打开智能食物储藏柜，或站在炉灶前)；基于第三用户行为和第二营养计划，生成关于用户的预期行为的第二建议(例如，该建议将以前的对第一营养计划的用户实施的失败纳入考虑，并帮助用户对第二营养计划做的更好)；以及通过第二厨房电器向第一用户提供第二建议。例如，在向用户提供第一建议后，数字助手检测到用户已经从冰箱移动到食品储藏柜。数字助手系统预期用户将从食品储藏柜中拿出一些食品，以补充他/她刚刚从冰箱中取出的食品。因此，基于用户在第一厨房电器处的实际的用户行为(例如，用户从冰箱实际拿出的物品，以及用户已经接受的第一建议的方面和/或用户已经拒绝的第一建议的方面)以及基于第二营养计划，数字助手系统确定与第二厨房电器相关联的第二行为推荐。例如，数字助手系统检测到用户从冰箱里拿了蔬菜，但没有拿鸡肉条，确定用户可能要采纳建议，做绿色沙拉配蛤蜊浓汤，而不是做玉米沙拉配番茄汤。基于第二营养计划和用户关于第一建议的行为，数字助手系统针对与第二厨房电器相关联的用户的预期的行为提供第二建议，并通过第二厨房电器提供该建议。例如，数字助手系统检测到用户在调味料储存区附近的动作，然后向用户发送音频输出：“拿橄榄油和醋来做醋油沙司”和“从食品柜拿罐头蛤蜊浓汤”。

在另一示例中，数字助手系统可以根据第一时间段的第一部分中的第一营养计划针对早餐推荐牛奶和麦片，但是用户在第一时间段的第一部分期间针对早餐持续烹饪煎蛋。当数字助手系统检测到用户从冰箱拿了两个鸡蛋时，数字助手系统确定用户在过去两天吃了几顿含鸡蛋的大餐，并且如果当前行为的趋势仍继续则用户将无法达到第一营养计划的卡路里和胆固醇目标。数字助手调整第一营养计划，以为用户设定更宽松、更现实可行的卡路里和胆固醇目标。数字助手还为修改后的营养计划调整推荐策略。例如，该策略能减少对谷类和牛奶的推荐，但增加对胆固醇含量较低的丰富的食物、或含鸡蛋的瘦肉食品的推荐。当数字助手检测到用户已经从冰箱处移动到炉灶处时，数字助手生成第二建议：“来个煮鸡蛋怎么样？这比煎鸡蛋好多了。”。

在一些实施例中，数字助手通过以下方式确定第一营养计划与预计营养结果之间的第一偏差：基于在第一时间段的第一部分期间发生的所监测的事件，确定多个目标和约束中的每个目标和约束的相应的依从度，识别第一营养计划中的第一约束，其中，第一约束的相应的依从度在第一时间段的第一部分期间低于预定义的依从阈值；以及基于在第一时间段的第一部分期间的第一约束的相应的依从度来设置第二营养计划中的第一约束。例如，如果数字助手确定用户一直未能遵循指向用户摄入较低总卡路里以及摄入较低糖和胆固醇的推荐，并且在第一时间段的第一部分期间对于所有三个目标(例如，卡路里摄入目标、糖摄入目标、胆固醇摄入目标)的依从度都在相应的阈值水平以下，则数字助手通过将目标调整上升10％来重置这三个目标。或者，数字助手确定用户在第一时间段的第一部分期间遵循了低糖、低胆固醇食材和食谱的推荐中的至少一些推荐。基于这样的确定，数字助手选择利用更多具有更高脂肪含量或卡路里的低糖和低胆固醇选项的推荐策略，使得相比于用户继续忽视基于第一营养计划和相应的推荐策略所生成的推荐的情形，用户更可能会接受那些推荐，而且依然能实施对卡路里摄入的总体减少。

在一些实施例中，数字助手系统通过确定约束因素来评估用户进行的与第一营养计划相关的表现，如在同一段时间段内用户的实际摄入量和营养计划中的目标热量之间的卡路里差异。然后，数字辅助系统更新第一营养计划以通过调整(如增加或减少与第二营养计划相关联的约束因素)获得第二营养计划。例如，如果在过去两天用户晚餐总是摄入比第一营养计划中推荐的热量多100卡路里，则在接下来的两天，数字助手系统推荐具有比第一营养计划中的晚餐多80卡路里的晚餐，使得用户能更容易形成坚持营养计划的习惯。在一些实施例中，当用户在过去两餐中遵循营养计划时，数字助手系统还会给予奖励(例如，推荐餐后甜点)。

在一些实施例中，第一厨房电器是食物存储电器，以及数字助手基于第二营养计划通过以下方法生成关于与第一厨房电器相关联的第二用户行为的第一建议：确定当前储存在第一厨房电器中的物品的库存；以及根据当前存储在第一厨房电器中的物品的库存和所述第二营养计划，生成关于要在第一厨房电器中补充的一项或多项物品的补货建议。例如，与纯粹基于针对第一营养计划的卡路里限制的策略相比，第二营养计划可以要求增加食材中的纤维含量，并减少对卡路里的限制的策略。数字助手系统检查冰箱里的库存，以确定是否需要补充纤维含量更高的食材(例如，红薯、鳄梨、全麦面包，而不是生菜和黄瓜)。在一些实施例中，关于与第一厨房电器相关联的第二用户行为的第一建议包括音频通知用户向第一厨房电器(如冰箱)中补充一个或多个食品食材(例如，根据新策略和当前库存数据识别的食材)。在一些实施例中，数字助手系统为用户创建采购清单并将其发送到用户的移动装置。在一些实施例中，数字助手请求用户的针对通过数字助手进行在线购买的确认。

在一些实施例中，数字助手系统基于用户关于第一营养计划的反馈更新第一营养计划。例如，数字助手系统可以在用户遵从营养计划一天后征求用户的评论，例如使用音频输出：“您觉得今天的餐食怎么样？”在收到用户的反馈(例如“我喜欢更辣的东西”)后，可以更新第一营养计划和相应的推荐策略，并且第二营养计划可以包括更多辣的菜(例如，宫保鸡丁以取代第一营养计划中的橙皮鸡)。

在一些实施例中，数字助手设置组账号，该组账号包括家庭中的多个用户，该家庭包括至少所述第一用户和第二用户，以及数字助手基于关于家庭内多个用户中的每个用户的数据来生成第二营养计划。例如，在许多家庭中，因为每个人都在同一张桌子上吃饭，因此餐食准备会影响到家庭中的多个成员。在一些实施例中，当数字助手为整个家庭准备餐食推荐策略时，会考虑个人的健康需求。在很多情况下，当数字助手向准备餐食的家庭成员之一推荐食材、食谱、烹饪方法和份量时，数字助手会考虑多个成员的偏好和约束。在一些实施例中，数字助手提供关于家庭中的每个成员应从所准备的餐食中摄入的相应份量的推荐。在一些实施例中，数字助手将份量推荐输出给坐在桌边的人。在一些实施例中，当每个家庭成员都在餐桌边坐下时，数字助手为每个家庭成员输出份量推荐。

在一些实施例中，数字助手请求关于第一营养计划和第一用户实际实施第一营养计划的用户反馈，包括：通过聊天机器人，从家庭的至少第二用户处请求由第一用户对第一营养计划的实际实施的用户反馈。例如，如果家庭中的第一成员经常在厨房准备餐食，并且该餐食是由第一成员和该家庭中的第二成员两者来吃的，则数字助手可选地与第一成员交流并询问第一成员关于过去的食物推荐的意见和行为。类似地，如果第二成员经常在饭后洗碗，则数字助手也会与第二成员交谈，并且询问第二成员对过去的食物推荐的意见和行为。

在一些实施例中，与第一厨房电器相关联的第一用户行为由与第一用户不同的第二用户执行，以及关于第二用户行为的第一建议要由第二用户执行。例如，第一用户是吃由第二用户准备的餐食的家庭成员，并且第二用户接收基于第一用户的第二营养计划的推荐，并为第一用户准备餐食。

在一些实施例中，在接收到关于生成家庭晚餐计划的用户语音命令后，数字助手系统分析家庭中所有用户的营养计划和相应的所监测的数据。在一些实施例中，数字助手系统基于相应用户的生物特征数据(例如，声纹、人脸识别等)为家庭中的每个用户账户管理用户数据。

在一些实施例中，数字助手系统在为用户生成推荐时可以咨询家庭中的另一用户。例如，数字助手系统可以检测到第一用户打开冰箱，盯着冰箱内部20秒，看起来不确定要从冰箱里拿什么食材来准备晚餐。数字助手系统可以自动生成通知(例如，文本消息或音频输出)给另一用户来询问晚餐的想法。另一用户可以通过文本消息或语音输入向数字助手系统推荐晚餐吃烤鲑鱼。然后数字助手系统基于第二用户的输入生成推荐(例如，“今晚来点烤鲑鱼怎么样？”)以输出给第一个用户。

在本公开的其他部分中描述了的方法和食物准备系统的其他细节，为简洁起见，此处不再赘述。应当理解的是，图5中的操作的特定顺序仅仅是示例性地描述，并不意味着指示所描述的顺序是可以执行操作的唯一顺序。本领域的普通技术人员将认识到各种方法来对本文描述的操作重新排序。此外，需要注意的是，相对于其他方法和/或过程，本文所描述的其他过程的细节也以类似的方式适用于上述方法500。

图6是是根据一些实施例的用于提供与厨房电器相关的行为推荐的服务器系统108的框图。服务器系统108包括一个或多个处理单元(cpu)602、一个或多个网络接口604、存储器606、一个或多个输入/输出(i/o)接口610、以及一个或多个通信总线608用于相互连接这些组件(有时称为芯片组)。

在一些实施例中，网络通信接口604包括有线通信端口和/或无线发射和接收电路。有线通信端口通过一个或多个有线接口(例如，以太网、通用串行总线(usb)、火线等)来接收和发送通信信号。无线电路通常从通信网络和其他通信装置接收射频信号和/或光学信号，以及将射频信号和/或光学信号发送至通信网络和其他通信装置。无线通信可以使用多个通信标准、协议和技术，例如gsm、edge、cdma、tdma、蓝牙、wi-fi、voip、wi-max、或任意其他适当的通信协议中的任一个。网络通信接口404使数字助手系统108能够使用网络和其他装置进行通信，该网络为例如，因特网、内联网和/或无线网，如蜂窝电话网、无线本地局域网(lan)和/或城域网(man)。

在一些实施例中，i/o接口610将输入/输出装置612例如，显示器、键盘、触摸屏、扬声器和麦克风耦接到用户接口模块624。i/o接口610与用户接口模块624一起接收来自厨房电器和/或用户移动装置的用户输入(例如，语音输入、键盘输入、触摸输入等)，并相应地处理这些用户输入。

在一些实施例中，存储器606包括非易失性存储器，例如，一个或多个磁盘存储装置、一个或多个光学存储装置、一个或多个闪存装置、和/或一个或多个其他非易失性固态存储装置。可选地，存储器406包括距离一个或多个处理单元602很远的一个或多个存储装置。存储器606，或存储器606中的非易失性存储器，包括非暂态计算机可读存储介质。在一些实施例中，存储器606或存储器606的非暂态计算机可读存储介质存储下列程序、模块和数据结构、或它们的子集或超集：

·操作系统616，包括用于处理各种基础系统服务和用于执行硬件相关任务的程序；

·网络通信模块618，用于通过一个或多个网络接口604(有线或无线)连接到外部服务；

·用户接口模块624，用于使得进行对信息的呈现和接收输入；

·数字助手服务器端626，在各种用户装置和家用电器上与数字助手客户端接合；

·i/o处理模块228，用于发送和接收事件数据、语音输入、上下文数据、后续对话、行为推荐等；

·说话者识别模块240，用于基于生物特征数据、声纹等识别用户身份；

·stt处理模块230，用于将用户的语音输入转换为文本串；

·自然语言处理模块232，用于识别在用户的语音输入中披露的用户的意图和信息项；

·任务流处理模块236，用于根据用户意图生成用于执行任务的指令；

·对话处理模块234，用于生成对话和语音输出，以引出额外的信息、明确现存的输入，并请求用户反馈当前营养计划和推荐等；

·服务处理模块238，用于根据用户意图和/或数字助手的推荐，利用外部服务来执行任务；以及

·行为推荐模块242，用于监测事件、用户数据和营养计划，并修改营养计划和推荐策略，以及为实施营养计划提供行为推荐。

上述所标识的元件的每个都可以存储在前面提及的存储装置中的一个或多个中，并对应于用于执行上述功能的一组指令。以上所识别的模块或程序(即指令集)不需要作为单独的软件程序、过程、模块或数据结构来实现，因此这些模块的各种子集可以被组合或在各种实现中被另外重新布置。在一些实现方式中，存储器606可选地存储以上标识的模块和数据结构的子集。此外，存储器606可选地存储上述未描述的其他模块和数据结构。

为了便于解释，上述描述是参照具体实施例来描述的。然而，上述的说明性讨论并不是详尽无遗的，也不是为了将所公开的实施例限定为所公开的精确形式。鉴于以上的教导，是可能有许多修改和变化的。所选择和描述的实施例是为了最好地解释所公开的想法的原理和实际应用，从而使本领域的其他技术人员能够通过各种修改来充分地利用它们以适用于其所设想的特定用途。

需要理解的是，在本文中尽管术语“第一”、“第二”等可以用于描述各种元素，但这些元素不应受这些术语的限制。这些术语只是用来将一个元素和另一个元素区分开。

本文中使用的术语仅用于描述特定实施例，并不用于限制权利要求。如在实施例的描述和所附权利要求中所使用的单数形式“一、一个和该”(a、an、the)也旨在于包括多数形式，除非上下文中清楚表明了其他情况。还应理解，本文中使用的术语“和/或”指的指代或者包括多个相关联的所列项目中的一个或多个的任何和所有可能的组合。进一步地还应理解，术语“包括”和/或“包含”在用于本申请文件中时，列举说明的特征、整体、步骤、操作、元素、和/或组件的存在，但不排除存在或增加一个或多个其他特征、整体、步骤、操作、元素、组件和/或其组合。

取决于上下文，本文中使用的术语“如果”可以被解释为“当”或“一旦”或“响应于确定”或“根据确定”或“响应于检测到”所陈述的条件前提为真时。同样，取决于上下文，短语“如果确定[所陈述的条件前提为真]”或“如果[所陈述的条件前提为真]”或“当[所陈述的条件前提为真]时”可以被解释为“一经确定”或“一经确定就”或“响应于确定”或“根据确定”或“一经检测到”或“响应于检测到”所陈述的条件前提为真。