一种冰箱内食材采买提示方法、存储介质和冰箱与流程

本发明涉及家电领域，尤其涉及一种冰箱内食材采买提示方法、存储介质和冰箱。

背景技术：

在现有技术中，市面上存在的冰箱仅能储存食物并达到保鲜目的，功能非常单一。同时，用户由于饮食习惯几乎是固定的，那么他们总有一些惯用的食材。这样一些食材是需要持续购买的。但随着现在生活节奏的加快，人们越来越忙碌，下班时经常会忘记补充食材。这样，导致烹饪时才发现缺少食材这样的状况时有发生。另外，就算用户记得进行食材补充，也偶尔会发生忘记购买某些食材的情况。遇到这些情况，用户就需要多次前往超市，费时费力。

技术实现要素：

本发明要解决的技术问题是：现有实时获取冰箱内食材情况，根据食材情况进行采买提示的技术问题。

为解决上述技术问题，本发明提供了一种冰箱内食材采买提示方法、存储介质和冰箱。

本申请的第一各方面，提供了一种冰箱内食材采买提示方法，其包括：

获取冰箱内各个类型区域的食材图像；

将每个类型区域的食材图像输入至预先建立的第一神经网络模型中，以确定出各个类型区域中的食材信息，其中所述食材信息包括食材品种和食材剩余数量；

判断类型区域是否为预设常备区域；

当类型区域为预设常备区域时，根据该类型区域的食材信息确定出需要补充的食材品种，基于需要补充的食材品种向用户发送食材采买提示，以使用户采买相应品种的食材；

当类型区域不为预设常备区域时，根据该类型区域的食材信息确定是否需要对该类型区域补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示，以使用户采买属于相应类型的食材。

优选的，当类型区域为预设常备区域时，根据该类型区域的食材信息确定出需要补充的食材品种，基于需要补充的食材品种向用户发送食材采买提示，包括：

当类型区域为预设常备区域时，将该类型区域的食材信息中的食材品种与历史存储数据中的食材品种进行对比；

根据对比结果确定出该类型区域中需要补充的食材品种；

基于需要补充的食材品种向用户发送食材采买提示。

优选的，当类型区域不为预设常备区域时，根据该类型区域的食材信息确定是否需要对该类型区域补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示，包括：

当类型区域不为预设常备区域时，根据该类型区域的食材信息中的食材剩余数量，计算所述类型区域中所有食材品种的食材剩余数量总和；

判断该类型区域中所有食材品种的食材剩余数量总和是否小于预设数量；

当该类型区域中所有食材品种的食材剩余数量总和小于预设数量时，确定出需要对该类型区域补充食材；

基于该类型区域的食材类型向用户发送食材采买提示。

优选的，当类型区域不为预设常备区域时，根据该类型区域的食材信息确定是否需要对该类型区域补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示之后，还包括：

获取所述冰箱的地域信息、该类型区域中食材的历史存储数据和日期中的任意一种信息；

基于所述冰箱的地域信息、该类型区域中食材的历史存储数据和日期中的任意一种信息，通过预先建立的第二神经网络模型获取属于该类型区域的食材品种；

向用户推荐利用所述第二神经网络模型获取到的属于该类型区域的食材品种。

优选的，所述历史存储数据包括食材品种、历史数量、历史购买次数和历史消耗速度。

优选的，所述方法还包括：将确定出的各个类型区域中的食材信息保存，以更新历史存储数据，并基于更新后的历史存储数据更新所述第一神经网络模型和所述第二神经网络模型。

优选的，所述第一神经网络模型是基于yolo算法构建的。

优选的，向用户发送食材采买提示包括：向用户的移动终端发送包含食材采买提示的信息。

本申请的第二各方面，提供了一种存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器执行时能够实现如上任一项所述的冰箱内食材采买提示方法。

本申请的第三各方面，提供了一种冰箱，其包括存储器以及与所述存储器连接的控制器，其中，所述控制器用于执行所述存储器中的计算机程序，所述计算机程序被所述控制器执行时能够实现如上任一项所述的冰箱内食材采买提示方法。

优选的，所述冰箱还包括：图像采集装置和通信装置，其中，所述图像采集装置和通信装置分别与所述控制器连接，

所述图像采集装置用于获取冰箱内各个类型区域的食材图像；

所述通信装置用于向移动终端发送包含食材采买提示的信息，以实现所述冰箱与所述移动终端的交互。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

应用本发明的冰箱内食材采买提示方法，通过获取冰箱内各个类型区域的食材图像，将每个类型区域的食材图像输入至预先建立的第一神经网络模型中，以利用第一神经网络模型确定出各个类型区域中的食材信息，通过判断类型区域是否为预设常备区域，当类型区域为预设常备区域时，根据该类型区域的食材信息确定出需要补充的食材品种，直接向用户发送购买需要补充的食材品种的采买提示，以使用户采买相应品种的食材；当类型区域不为预设常备区域时，根据该类型区域的食材信息确定出是否需要补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示，以使用户采买属于相应类型的食材。该方案通过实时、高效的识别冰箱内的食材信息，并针对使用频率高的常备区域和非常备区域采用不同的采买提示策略，避免了用户遗忘或不确定采买种类的情况，并能够结合用户习惯进行提示和推荐，提高了用户的使用体验。

附图说明

通过结合附图阅读下文示例性实施例的详细描述可更好地理解本公开的范围。其中所包括的附图是：

图1示出了本申请实施例提供的一种冰箱内食材采买提示方法的流程示意图。

图2示出了本申请实施例中当类型区域为预设常备区域时，基于需要补充的食材品种向用户发送食材采买提示的流程示意图。

图3示出了本申请实施例中当类型区域不为预设常备区域时，基于该类型区域的食材类型向用户发送食材采买提示的流程示意图。

图4示出了本申请具体示例提供的一种冰箱内食材采买提示方法的流程示意图。

图5示出了本申请实施例提供的一种冰箱的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下将结合附图及实施例来详细说明本发明的实施方法，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

在现有技术中，市面上存在的冰箱仅能储存食物并达到保鲜目的，功能非常单一。同时，用户由于饮食习惯几乎是固定的，那么他们总有一些惯用的食材。这样一些食材是需要持续购买的。但随着现在生活节奏的加快，人们越来越忙碌，下班时经常会忘记补充食材。这样，导致烹饪时才发现缺少食材这样的状况时有发生。另外，就算用户记得进行食材补充，也偶尔会发生忘记购买某些食材的情况。遇到这些情况，用户就需要多次前往超市，费时费力。

有鉴于此，本申请提供了一种冰箱内食材采买提示方法、存储介质和冰箱。通过获取冰箱内各个类型区域的食材图像，将每个类型区域的食材图像输入至预先建立的第一神经网络模型中，以利用第一神经网络模型确定出各个类型区域中的食材信息，通过判断类型区域是否为预设常备区域，当类型区域为预设常备区域时，根据该类型区域的食材信息确定出需要补充的食材品种，直接向用户发送购买需要补充的食材品种的采买提示，以使用户采买相应品种的食材；当类型区域不为预设常备区域时，根据该类型区域的食材信息确定出是否需要补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示，以使用户采买属于相应类型的食材。该方案通过实时、高效的识别冰箱内的食材信息，并针对使用频率高的常备区域和非常备区域采用不同的采买提示策略，避免了用户遗忘或不确定采买种类的情况，并能够结合用户习惯进行提示和推荐，提高了用户的使用体验。

实施例一

参见图1所示，图1示出了本申请实施例提供的一种冰箱内食材采买提示方法，其包括步骤s101至步骤s105。

在步骤s101中，获取冰箱内各个类型区域的食材图像。

该步骤可以具体为，通过冰箱内设置的图像采集装置，例如摄像头，获取冰箱内各个类型区域的食材图像；也可以是通过移动终端拍摄后上传至云端，该冰箱通过读取云端存储的数据，获取到该冰箱内各个类型区域的食材图像。

其中，各个类型区域可以为依据食材的使用频率或食材品种所属的类型划分，以便于食材的识别，作为一具体示例，根据食材品种所属类型划分冰箱内区域，食材品种所属类型可以分为包括葱、蒜等的配料类，包括苹果、香蕉等的水果类，肉类以及奶制品类等，则冰箱内区域可以相应划分为配料区域、水果区域、肉类区域以及奶制品区域等。

在步骤s102中，将每个类型区域的食材图像输入至预先建立的第一神经网络模型中，以确定出各个类型区域中的食材信息，其中食材信息包括食材品种和食材剩余数量。

在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别尤其重要。

在本申请实施例中，作为一优选示例，基于yolo算法构建第一神经网络模型，yolo算法构建的第一神经网络模型包括输入层、多个卷积层、多个池化层、连接层和输出层。

利用基于yolo算法构建的第一神经网络模型确定每个类型区域中的食材信息的过程如下：

将输入的图像划分为n×n个网格；

在每个网格预测多个边界框，以及每个边界框对应的信任值和类别概率值；

基于每个边界框对应的信任值和类别概率值，计算各个边界框的置信度；

分别判断各个边界框的置信度是否小于预设阈值，并将置信度小于预设阈值的边界框滤除；

对保留的所有边界框分别进行非极大值抑制，并输出所述目标边界框的结果。

基于yolo算法可以获取快速、实时的识别出食材的种类和数量。在利用基于yolo算法的第一网络模型获取到食材信息之后，可以将冰箱内的食材信息按食材品种所属类型进行分类保存，以更新该冰箱的历史存储数据。其中，历史存储数据包括食材品种、历史数量、历史购买次数和历史消耗速度。

在步骤s103中，判断类型区域是否为预设常备区域。

该步骤可以具体为，将使用频率较高的某一类型区域设置为预设常备区域，例如，将用于存放葱、蒜等的配料区域作为预设常备区域，水果区域、肉类区域和奶制品区域为普通区域，则针对预设常备区域和普通区域，可以采用不同的采买提示策略，从而可以根据用户习惯灵活的进行采买提示。当类型区域为预设常备区域时，执行步骤s104；当类型区域不为预设常备区域时，执行步骤s105。

在步骤s104中，当类型区域为预设常备区域时，根据该类型区域中的食材信息确定出需要补充的食材品种，基于需要补充的食材品种向用户发送食材采买提示，以使用户采买相应品种的食材。

参见图2所示，该步骤可以通过以下步骤s1041至步骤s1043实现：

s1041：当类型区域为预设常备区域时，将该类型区域的食材信息中的食材品种与历史存储数据中的食材品种进行对比；

s1042：根据对比结果确定该类型区域中需要补充的食材品种；

s1043：基于需要补充的食材品种向用户发送食材采买提示。

作为一具体示例，当预设常备区域中的食材品种只有蒜，历史存储数据中预设常备区域中的食材品种有蒜、葱、姜，则通过将确定出的预设常备区域中的食材品种与历史存储数据中的食材品种进行对比，可以确定出缺少的食材品种为葱和姜，此时，可以向用户发送采买葱和姜的提示。

进行食材采买提示可以为利用冰箱上的显示屏或语音播报功能，提示用户进行采买，也可以为通过向用户的手持终端发送文字或语音的方式进行采买提示。

在步骤s105中，当类型区域不为预设常备区域时，根据该类型区域的食材信息确定是否需要对该类型区域补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示，以使用户采买属于相应类型的食材。

参见图3所示，该步骤可以通过以下步骤s1051至步骤s1054实现：

s1051：当类型区域不为预设常备区域时，根据该类型区域的食材信息中的食材剩余数量，计算类型区域中所有食材品种的食材剩余数量总和。

s1052：判断该类型区域中所有食材品种的食材剩余数量总和是否小于预设数量。

s1053：当该类型区域中所有食材品种的食材剩余数量总和小于预设数量时，确定出需要对该类型区域补充食材。

s1054：基于该类型区域的食材类型向用户发送食材采买提示。

其中，预设数量可以为根据用户根据饮食习惯或购买习惯设置的预设数量，可以为非预设常备区域的各个类型区域设置各自对应的预设数量，也可以设置相同的预设数量，针对每个类型区域，当该区域类型中所有食材品种的食材剩余数量总和小于预设数量时，则确定该类型区域需要补充食材，因类型区域是根据食材品种所属的食材类型进行划分的，所以可以根据该类型区域确定需要补充的食材类型，进而可以基于该类型区域的食材类型向用户发送食材采买提示。

作为一具体示例，当判断出非预设常备区域有水果区域和奶制品区域，上述两个类型区域的预设数量均为3，通过识别水果区域的图像，确定出水果区域包括1个苹果、1个橘子和3个香蕉；通过识别奶制品区域的图像，确定出奶制品区域包括1瓶牛奶。可以分别计算出水果区域中各种水果剩余数量总和为5，奶制品区域剩余数量为1，则奶制品区域的食材剩余数量总和小于预设数量，由此可以确定出需要补充奶制品类的食材，可以通过利用冰箱上的显示屏或语音播报功能向提示用户采买奶制品类的食材，也可以通过向用户的手持终端，例如手机或平板电脑等，以文字或语音的方法发送提示信息。

另外，当类型区域不为预设常备区域时，根据该类型区域的食材信息确定是否需要对该类型区域补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示之后，还可以包括：

获取冰箱的地域信息、该类型区域中食材的历史存储数据和日期中的至少一种信息；

基于所述冰箱的地域信息、该类型区域中食材的历史存储数据和日期中的至少一种信息，通过预先建立的第二神经网络模型获取属于该类型区域的食材品种；

向用户推荐利用所述第二神经网络模型获取到的属于该类型区域的食材品种。

其中，第二神经网络模型可以为bp神经网络模型、卷积神经网络模型或递归神经网络模型，根据类型区域中食材的历史存储数据进行统计，可以确定出用户口味、历史购买次数和历史消耗速度等。通过结合日期和地域信息在联网的情况下还可以获取到当季的时令蔬菜、水果等。

作为示例，通过第二神经网络模型获取属于需要补充的类型区域的食材品种可以为，选择历史数据中包含冰箱的地域信息、用户口味、历史购买次数、历史消耗速度和日期的第一样品数据训练bp神经网络模型。利用训练好的bp神经网络模型，将冰箱的地域信息、用户口味、历史购买次数、历史消耗速度和日期中作为bp神经网络模型的输入层，根据获取的上述属性的数量确定输入层神经元的数量，输出层可以为推荐的食材品种，bp神经网络模型的具体预测过程可以采用现有技术中的方法，在本申请实施例中不再具体描述。该方法可以实现根据用户的购买习惯和用户的口味进行智能推荐，有利于提高用户的使用体验。

需要说明的是，在本申请实施例中并不对步骤s104和步骤s105的执行顺序进行限制，可以先执行步骤s104再执行步骤s105，也可以先执行步骤s105再执行步骤s104，还可以同时执行步骤s104和步骤s105。

以上为本申请实施例提供的一种冰箱内食材采买提示方法，该方法通过获取冰箱内各个类型区域的食材图像，将每个类型区域的食材图像输入至预先建立的第一神经网络模型中，以利用第一神经网络模型确定出各个类型区域中的食材信息，通过判断类型区域是否为预设常备区域，当类型区域为预设常备区域时，根据该类型区域的食材信息确定出需要补充的食材品种，直接向用户发送购买需要补充的食材品种的采买提示，以使用户采买相应品种的食材；当类型区域不为预设常备区域时，根据该类型区域的食材信息确定出是否需要补充的食材类型，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示，以使用户采买属于相应类型的食材。该方案通过实时、高效的识别冰箱内的食材信息，并针对使用频率高的常备区域和非常备区域采用不同的采买提示策略，避免了用户遗忘或不确定采买种类的情况，并能够结合用户习惯进行提示和推荐，提高了用户的使用体验。

具体示例

以下将以用户通过移动终端获取采买提示的具体应用场景为例，说明上述实施例一提供的冰箱内食材采买提示方法。参见图4所示，该方法包括步骤s201至步骤s207：

在步骤s201中，用户从移动终端输入下班时刻。

在步骤s202中，在下班时间之前的预设时间内，通过冰箱内的图像采集装置获取冰箱内各个类型区域的食材图像。

因利用yolo算法可以快速识别出食材的种类和数量，因此，此时的预设时间可以基于图像采集装置的性能、处理速度等相应的设置。

在步骤s203中，将每个类型区域的食材图像输入至基于yolo算法预先建立的第一神经网络模型中，以确定出各个类型区域中的食材信息，其中食材信息包括食材品种和食材剩余数量。

在步骤s204中，判断类型区域是否为预设常备区域。

其中，当判断出类型区域为预设常备区域时，执行步骤s205；当判断出类型区域不为预设常备区域时，执行步骤s206。

在步骤s205中，当类型区域为预设常备区域时，根据该类型区域的食材信息确定出需要补充的食材品种，基于需要补充的食材品种，在到达下班时刻时向用户的移动终端发送包含食材采买提示的信息，以使用户采买相应品种的食材。

在步骤s206中，当类型区域不为预设常备区域时，根据该类型区域的食材信息确定是否需要对该类型区域补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型，在到达下班时刻时向用户的移动终端发送包含食材采买提示的信息，以使用户采买属于相应类型的食材。

在步骤s207中，用户通过移动终端接收包含食材采买提示。

其中，移动终端还可以以文字或语音播报的形式提示用户进行食材采买，另外，用户也可以将接收到的食材采买提示推送给家人，以提醒家人进行食材的采买。

通过将冰箱和用户的移动终端进行联动，可以实现实时获取冰箱内的食材信息，并通过设置时间，实现定点采集和提示的效果，解决了用户因忙碌或遗忘冰箱内食材的剩余情况，而忘记购买食材的问题。

本申请的另一个方面，还提供了一种存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器执行时能够实现以下的冰箱内食材采买提示方法，其包括：

获取冰箱内各个类型区域的食材图像；

将每个类型区域的食材图像输入至预先建立的第一神经网络模型中，以确定出各个类型区域中的食材信息，其中食材信息包括食材品种和食材剩余数量；

判断类型区域是否为预设常备区域；

当类型区域为预设常备区域时，根据该类型区域的食材信息确定出需要补充的食材品种，基于需要补充的食材品种向用户发送食材采买提示，以使用户采买相应品种的食材；

当类型区域不为预设常备区域时，根据该类型区域的食材信息确定是否需要对该类型区域补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示，以使用户采买属于相应类型的食材。

以上描述的处理、功能、方法和/或软件可被记录、存储或固定在一个或多个计算机可读存储介质中，所述计算机可读存储介质包括程序指令，所述程序指令将被计算机实现，以使处理器执行所述程序指令。所述介质还可单独包括程序指令、数据文件、数据结构等，或者包括其组合。所述介质或程序指令可被计算机软件领域的技术人员具体设计和理解，或所述介质或指令对计算机软件领域的技术人员而言可以是公知和可用的。计算机可读介质的示例包括：磁性介质，例如硬盘、软盘和磁带；光学介质，例如，cdrom盘和dvd；磁光介质，例如，光盘；和硬件装置，具体被配置以存储和执行程序指令，例如，只读存储器(rom)、随机存取存储器(ram)、闪存等。程序指令的示例包括机器代码(例如，由编译器产生的代码)和包含高级代码的文件，可由计算机通过使用解释器来执行所述高级代码。所描述的硬件装置可被配置为用作一个或多个软件模块，以执行以上描述的操作和方法，反之亦然。另外，计算机可读存储介质可分布在联网的计算机系统中，可以分散的方式存储和执行计算机可读代码或程序指令。

参见图5所示，本申请的另一个方面，还提供了一种冰箱，其包括存储器51以及与存储器51连接的控制器52，其中，控制器52用于执行存储器51中的计算机程序，该计算机程序被控制器52执行时能够实现以下的冰箱内食材采买提示方法，其包括：

获取冰箱内各个类型区域的食材图像；

将每个类型区域的食材图像输入至预先建立的第一神经网络模型中，以确定出各个类型区域中的食材信息，其中食材信息包括食材品种和食材剩余数量；

判断类型区域是否为预设常备区域；

当类型区域为预设常备区域时，根据该类型区域的食材信息确定出需要补充的食材品种，基于需要补充的食材品种向用户发送食材采买提示，以使用户采买相应品种的食材；

当类型区域不为预设常备区域时，根据该类型区域的食材信息确定是否需要对该类型区域补充食材，当确定需要对该类型区域补充食材时，基于该类型区域的食材类型向用户发送食材采买提示，以使用户采买属于相应类型的食材。

所述冰箱还包括：图像采集装置53和通信装置54，其中，图像采集装置53和通信装置54分别与控制器52连接，

图像采集装置53用于获取冰箱内各个类型区域的食材图像；

通信装置54用于向移动终端发送包含食材采买提示的信息，以实现冰箱与移动终端的交互。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。