一种智能冰箱食物管理方法及智能冰箱与流程

本发明涉及智能家电技术领域，特别涉及一种智能冰箱食物管理方法及智能冰箱。

背景技术：

随着家电智能化的发展，冰箱也开始智能化，日益繁忙的人们经常去超市购物时想不起来家里冰箱有什么食品，因而造成重复购买或者漏买食品。因而，目前市场上出现了带有食材录入和过期提醒功能的冰箱。但是现有的智能冰箱在管理食品方面一般采用手动、或条码等方式手动录入食物信息。这些方式都需要用户手动操作录入信息，在根据录入信息生成食品列表，操作繁琐。特别地，用户每次放入或者取出食品是都需要手动修改食品列表，这样不但改变了用户的使用习惯，并且在实际使用终端也十分不便。

因而现有技术还有待改进和提高。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的不足，提供一种智能冰箱食物管理方法及智能冰箱，以解决现有冰箱食物的控制方法存在的操作繁琐并给用户的使用带来不便的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种智能冰箱食物管理方法，其包括：

在智能冰箱开门时，通过设于智能冰箱内的摄像头拍摄用户执行存取操作的图像；

对所述图像进行识别以获取所述存取操作的类型以及相应的食物名称；

当识别失败时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称，其中，所述存取操作的类型包括存操作和取操作；

监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新预设的食物列表。

所述智能冰箱食物管理方法，其中，所述当识别失败时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称，其中，所述存取操作的类型包括存操作和取操作包括：

当识别失败时，所述智能冰箱将所述图像发送至远程服务器；

所述远程服务器对所述图像进行识别以获取所述存取操作的类型以及相应的食物名称；

当所述远程服务器识别失败时，将所述识别失败的信息反馈至所述智能冰箱；

所述智能冰箱提示用户通过语音输入所述存取操作的类型以及相应的食物名称，其中，所述存取操作的类型包括存操作和取操作。

所述智能冰箱食物管理方法，其还包括：

当识别成功时，根据识别得到的所述存取操作的类型以及食物名称更新预设的食物列表。

所述智能冰箱食物管理方法，其中，所述在智能冰箱开门时，通过设于智能冰箱内的摄像头拍摄用户执行存取操作的图像具体包括：

当智能冰箱开门时，获取智能冰箱开启的储藏室的类型，其中，所述储藏室的类型包括冷藏室和冷冻室；

当智能冰箱开启冷藏室时，通过设于智能冰箱内的摄像头拍摄智能冰箱开门至关门过程中用户执行存取操作的图像。

所述智能冰箱食物管理方法，其中，所述在智能冰箱开门时，通过设于智能冰箱内的摄像头拍摄用户执行存取操作的图像还包括：

当智能冰箱开启冷冻室时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称；以及

监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新所述预设的食物列表，结束操作。

所述所述智能冰箱食物管理方法，其中，所述监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新预设的食物列表之后还包括：

所述智能冰箱通过网络与外部设备连接，并接收外部设备推送的食品信息；以及将冰箱内部设备状态信息和食品需求信息反馈至外部设备，其中，所述外部设备包括运营商服务器和用户终端。

一种智能冰箱，其包括：

摄像头，用于在智能冰箱开门时，拍摄用户执行存取操作的图像；

麦克风，用于接收用户输入的语音信息；

控制装置，用于对所述图像进行识别，并当识别失败时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称，其中，所述存取操作的类型包括存操作和取操作；以及

监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新预设的食物列表。

所述智能冰箱，其中，所述更新模块还用于：

当识别成功时，根据识别得到的所述存取操作的类型以及相应的食物名称更新预设的食物列表。

所述所述智能冰箱，其中，所述控制装置还包括：

获取模块，用于当智能冰箱开门时，获取智能冰箱开启的储藏室的类型，其中，所述储藏室的类型包括冷藏室和冷冻室；

第一控制模块，用于当智能冰箱开启冷藏室时，控制设于智能冰箱内的摄像头拍摄智能冰箱开门至关门过程中用户执行存取操作的图像。

所述所述智能冰箱，其中，所述控制装置还包括：

提示模块，用于当智能冰箱开启冷冻室时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称；

所述更新模块还用于：

监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新所述预设的食物列表，结束操作。

有益效果：与现有技术相比，本发明提供了一种智能冰箱食物管理方法及智能冰箱，所述方法包括：在智能冰箱开门至关门过程中，通过设于智能冰箱内的摄像头拍摄所述过程中用户执行存取操作的图像；对所述图像进行识别，并当识别失败时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称；监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新预设的食物列表。本发明通过将摄像头采集用户对食物进行的存放操作过程的图像，并将图像识别与语音输入相结合，以得到所述存放操作涉及的食物信息，根据所述食物信息对食物列表进行更新，避免了用户手动输入食物信息的操作，给用户的使用带来方便。

附图说明

图1为本发明提供的智能冰箱食物管理方法较佳实施的流程图。

图2为本发明提供的智能冰箱的结构示意图。

图3为本发明提供的智能冰箱的控制装置的结构原理图。

具体实施方式

本发明提供一种智能冰箱食物管理方法及智能冰箱，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，模块”、“部件”或“单元”可以混合地使用。

此外，在说明书和权利要求书中，术语“第一”、“第二”等用于在类似元素之间进行区分，而未必描述时间顺序、空间顺序、等级顺序或者任何其他方式的顺序、应当理解，如果使用的这些术语在适当的环境下可互换，并且此处描述的本发明的实施例能够以本文描述或示出以外的其他顺序来操作。

应当注意，在权利要求书中使用的术语“包括”不应被解释为限于下文所列出的手段，它并不排除其他元件或步骤。由此，它应当被解释为指定如涉及的所述特征、数字、步骤或部件的存在，但是并不排除一个或多个其他特征、数字、步骤或部件、或者其组合的存在或添加。因此，措词“包括装置A和B的设备”的范围不应当仅限于仅由组件A和B构成的装置。这意味着相对于本发明而言，设备的相关组件是A和B。

在本说明书通篇中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。由此，在说明书的各处出现的短语“在一个实施例中”或者“在实施例中”不一定都指同一实施例，但是可能如此。此外，根据本发明公开对本领域技术人员而言显而易见的是，在一个或多个实施例中，特定特征、结构或特性可以任何合适的方式组合。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

请参照图1和图2，图1为本发明提供的智能冰箱食物管理方法的较佳实施例的流程图。所述方法包括：

S100、在智能冰箱开门时，通过设于智能冰箱内的摄像头拍摄用户执行存取操作的图像。

具体地，所述智能冰箱开门至关门过程指的是从智能冰箱门被打开至智能冰箱门被关闭的操作，即用户对所述智能冰箱进行操作的过程。如图2所示，所述智能冰箱至少设置一个摄像头1，所述摄像头1用于拍摄智能冰箱开门至关门过程终端用户执行存取操作的图像。也就是说，所述摄像头在冰箱门6开启时启动，在所述智能冰箱门6关闭时关闭。

示例性的，所述在智能冰箱开门至关门过程中，通过设于智能冰箱内的摄像头拍摄所述过程中用户执行存取操作的图像具体可以包括：

S10、监听到智能冰箱开门时，控制设置于智能冰箱内的摄像头启动；

S20、所述摄像头拍摄其拍摄范围内的图像，并实时检测智能冰箱关门的控制信息；

S30、当检测到智能冰箱关门的控制信息时，所述摄像头关闭以获取所述智能冰箱开门至关门过程用户执行存取操作的图像。

具体地，所述智能冰箱的冰箱门6的开关可以在所述智能冰箱上设置有冰箱门的限位开关5，通过所述限位开关5来检测冰箱门的开/关，并检测到的开/关信号发送至摄像头1，以使得所述摄像头1根据所述开/关信号控制其自身的启动/关闭。在本实施例中，所述摄像头1为1个，安装于冷藏室上方的正中间。相应的，所述冰箱门6指的是智能冰箱冷藏室的门，并且所述摄像头1两侧的还可以分别设置有两排LED光源，对所述摄像头1进行补光，以保证所述摄像头拍摄照片的清晰度。所述限位开关5也是可以设置于冷藏上方。当然，由于一个摄像头的监控范围一定，为了能够全方位监控冰箱内的食材，冰箱内可以安装多个摄像头。所述摄像头可以安装于需要监控的冷藏室的顶部或者侧壁，以摄像头能够监控到目标监测空间的俯瞰画面为宜。

在实施例的变形实施例中，所述启动摄像头还可以其他方式控制，例如，当控制装置检测到有人体靠近冰箱时，启动所述摄像头。具体的，在冰箱外壳上安装人体感应器，当该人体感应器感应到有人体靠近冰箱时，向控制装置发送一个指示信号，控制装置在接收到该指示信号后启动摄像头。

在本发明的另一个实施例中，由于所述摄像头1设置于冷藏室内，从而所述在智能冰箱开门至关门过程中，通过设于智能冰箱内的摄像头拍摄所述过程中用户执行存取操作的图像还具体可以包括：

S101、当智能冰箱开门时，获取智能冰箱开启的储藏室的类型，其中，所述储藏室的类型包括冷藏室和冷冻室；

S102、当智能冰箱开启冷藏室时，通过设于智能冰箱内的摄像头拍摄智能冰箱开门至关门过程中用户执行存取操作的图像；

S103、当智能冰箱开启冷冻室时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称；

S104、监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新所述预设的食物列表，结束操作。

具体地，所述获取智能冰箱开启的储藏室的类型可以通过判断智能冰箱开启的冰箱门来确定。在实际应用中，所述智能冰箱于智能冰箱体相接触的位置可以分别设置限位开关，根据限位开关产生的控制信号来确定开启的冰箱门的类型，所述冰箱门的类型包括冷藏室门和冷冻室门，进而获取智能冰箱开启的储藏室的类型为冷藏室或冷冻室。当为冷藏室时，控制摄像头启动并获取图像，当为冷冻室时，则直接提示用户语音输入所述存入的类型以及相应的食物名称。这样可以同时对智能冰箱冷藏室和冷冻室内的食物进行控制，提高了对食物控制的全面性。同时，所述摄像头只在冰箱冷藏室的门打开期间在冷藏室区域内对用户放进、拿出食品的动作进行拍照，这样可以减少拍摄图片的数量以及降低处理器图像识别分析的运算数据量，降低对处理器性能的较高需求，从而减低了智能冰箱的成本。

所述智能冰箱上可以设置扬声器4，所述提示用户语音输入的提示音可以通过所述扬声器4播放。并且，所述智能冰箱上还设置有麦克风，所述麦克风为全向麦克风，并可以设置于智能冰箱的门面上，方便用户通过所述麦克风输入语音信息。

所述智能冰箱还可以包括存储器，例如嵌入式多媒体卡 (英文全称：embedded Multi Media Card，英文简称：eMMC)、安全数码卡(英文全称：Secure Digital Memory Card，英文简称：SD)等存储器件。摄像头新拍摄得到的照片可以存储在本地，由冰箱控制器根据本地存储的照片所记录的用户存取过程设置食材保质期标签。当然，所述存储器还可以包括预设设置的食物列表，以用于后续根据图像进行识别时起到比较参考的作用。

S200、对所述图像进行识别以获取所述存取操作的类型以及相应的食物名称。

具体地，所述对所述图像进行识别可以通过图像识别软件对所述图像进行识别，若识别成功，则首先判断出用户是存入还是取出食品，即所述存取操作的类型，再判断所存入或取出食物的类型，即所述食物的名称。所述判断所存入或取出食物的类型可以将获得的识别结果分别与预设的食物图像数据库中的数据进行一一比对，并筛选出相似度大于90％的识别结果作为所表示的食品的名称。若识别失败，则将识别失败的食物图像发送到远程服务器进行辅助识别；辅助识别可以包括图像识别软件进一步识别和/或人工辅助识别；远程服务器所配备的人工服务，可以是专业人员进行辅助识别，也可以是用户进行人工识别，所述远程服务器将所述辅助识别的结果反馈至智能冰箱。所述智能冰箱对所述辅助识别结果进行分析，若辅助识别结果为成功，则获取所述识别结果携带的存取操作的类型以及食物名称；若辅助识别结果为识别，则确定图像识别的结果为失败。

示例性的，所述对所述图像进行识别以获取所述存取操作的类型以及相应的食物名称具体可以包括：

S201、所述智能冰箱对所述图像进行识别，并以获取所述存取操作的类型以及相应的食物名称；

S202、当识别失败时，当所述远程服务器识别失败时，将所述识别失败的信息反馈至所述智能冰箱；

S203、所述智能冰箱提示用户通过语音输入所述存取操作的类型以及相应的食物名称，其中，所述存取操作的类型包括存操作和取操作。

具体地，所述远程服务器反馈的识别结果携带识别状态以及识别得到的信息。也就是说，当远程服务器识别成功时，其反馈的识别结果中处理携带识别成功的信息外，还携带所述图像对应的存取操作的类型以及食物名称。

S300、当识别失败时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称，其中，所述存取操作的类型包括存操作和取操作。

具体地，所述识别结果为失败说明根据摄像头采集的图像无法确定所述存取操作的类型以及相应的食物名称。这时为了准确的管理冰箱的食物，则通过设置于冰箱上的扬声器4播放提示音以提示用户通过语音输入所述存取操作的类型以及相应的食物名称的类型。所述提示音可以间隔固定时间的重复播放，直至用户输入语音信息为止。在实际应用中，所述提示音也可以直接询问用户所述存取操作为存入操作或取出操作，并进一步询问存入/取出食物的名称。这样可以使得用户快速准确的输入需要的语音信息。

S400、监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新预设的食物列表。

具体地，当接收到麦克风输入的语音相信时，对所述语音信息进行识别，并将所述识别的内容与所述图像进行关联记录。这样当在智能冰箱门关闭后，可以根据语音信息及图像关联信息，对所述图像对应的存入操作的信息进行归类记录，以更新预设的食物列表。

进一步，为了便于用户快速了解冰箱内食物的信息，还可以将所述食物列表显示于冰箱的显示界面上，并且根据存入操作对显示界面显示的食物列表进行同步更新，这样可以保证用户实时获取最新的食物列表信息，更加准确的对食物进行控制。

在本实施例，所述智能冰箱可以通过其自带的控制系统对摄像头采集的图像进行识别以及接收语音输入，并根据图像识别结果/语音输入信息更新预设食物列表。在本实施例的变形实施例中，所述智能冰箱可以设置以智能设备，如PAD装置。将所述PAD终端配置于智能冰箱的门面上，所述PAD与所述USB摄像头连接，所述摄像头将拍摄的图像发送至所述PAD终端，所述PAD终端，并将冰箱食品信息显示在PAD终端上，使得用户通过PAD终端显示界面或与所述PAD终端相连接的手机的APP客户端可以获取所有相关信息。同时，还可以通过PAD终端连接网络能够获取销售商或运营商的信息推送、进行线上食品订购、故障保修等。

本发明还提供了一种智能冰箱，如图2所示，所述智能冰箱包括：

摄像头1，用于在智能冰箱开门时，拍摄用户执行存取操作的图像；

麦克风2，用于接收用户输入的语音信息；

控制装置3，用于对所述图像进行识别，并当识别失败时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称，其中，所述存取操作的类型包括存操作和取操作；以及

监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新预设的食物列表。

所述智能冰箱，其中，如图3所示，所述控制装置3包括：

识别模块301，用于对所述图像进行识别；

第一执行模块302，用于当识别失败时，将所述图像发送至远程服务器以使得所述远程服务器对所述图像进行识别；

更新模块303，用于当远程服务器反馈识别失败时，监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新预设的食物列表。

所述智能冰箱，其中，所述所述更新模块还用于：

用于当识别成功时，根据识别得到的所述存取操作的类型以及食物名称更新预设的食物列表。

所述所述智能冰箱食物管理系统，其中，控制装置还包括：

获取模块，用于当智能冰箱开门时，获取智能冰箱开启的储藏室的类型，其中，所述储藏室的类型包括冷藏室和冷冻室；

第一控制模块，用于当智能冰箱开启冷藏室时，控制设于智能冰箱内的摄像头拍摄智能冰箱开门至关门过程中用户执行存取操作的图像。

所述所述智能冰，其中，所述控制装置还包括：

提示模块，用于当智能冰箱开启冷冻室时，提示用户通过语音输入所述存取操作的类型以及相应的食物名称；

所述更新模块还用于：

监听设置于冰箱上的麦克风输入的语音信息，并根据所述语音信息更新所述预设的食物列表，结束操作。

上述智能冰箱的各个模块在上述方法中已经详细说明，在这里就不再一一陈述。

在本发明所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。