食材管理装置及方法与流程

本申请涉及嵌入式领域，具体而言，涉及一种食材管理装置及方法。

背景技术：

智能冰箱是将微处理器、传感器技术、网络通信技术引入冰箱设备后形成的家电产品。在家电产品中的智能家电基本采用内嵌式系统，即自带食材的识别和管理功能。但是对于普通冰箱产品中缺少食材管理功能。

针对相关技术中冰箱产品无法智能管理食材的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请的主要目的在于提供一种食材管理装置，以解决普通冰箱无法智能识别食材问题。

为了实现上述目的，根据本申请的一个方面，提供了一种食材管理装置，其特征在于，所述食材管理装置用于可拆卸式的安装于冰箱上，所述食材管理装置包括：门磁感应器，用于检测冰箱的冰箱门状态；探测器，用于检测所述冰箱的进出动作事件；图像传感器，用于根据所述冰箱门状态采集图像信息；处理器，用于确定所述进出动作事件的动作方向后获得所述冰箱中的食材变化信息；以及识别所述图像信息对应的食材信息。

进一步地，所述处理器包括：第一处理单元、第二处理单元和第三处理单元，所述第一处理单元，用于在本地预处理得到第一图像信息并将所述第一图像信息发送至远端；所述第二处理单元，用于在远端识别所述第一图像信息；所述第三处理单元，用于在本地确定进出动作事件的动作方向。

为了实现上述目的，根据本申请的另一方面，提供了一种食材管理方法，用于实现可拆卸式的安装于冰箱的所述食材管理装置的功能，所述方法包括：检测冰箱的冰箱门状态和所述冰箱的进出动作事件；根据所述冰箱门状态采集图像信息；识别所述图像信息对应的食材信息；确定所述进出动作事件的动作方向；以及根据所述动作方向获得所述冰箱中的食材变化信息；其中，检测所述冰箱的冰箱门状态和所述冰箱的进出动作事件包括：获取所述冰箱的冰箱门第一状态；在所述冰箱门第一状态时检测运动物体；获取所述冰箱的冰箱门第二状态；以及在所述冰箱门第二状态时结束检测。

进一步地，根据所述图像信息识别所述图像信息对应的食材信息包括：判断所述图像信息中是否有目标物；如果所述图像信息中有目标物，则检测所述目标物的坐标位置；判断所述坐标位置是否在所述图像信息的预设范围内；以及如果所述坐标位置在所述图像信息的预设范围内，则匹配与所述目标物的对应的食材信息。

进一步地，根据所述进出动作事件，确定动作方向；根据所述动作方向获得所述冰箱中的食材变化信息包括：判断所述进出动作事件是否为进入所述冰箱的第一动作事件；根据所述第一动作事件得到第一动作方向；通过第一动作方向确定进入所述冰箱的第一食材变化信息；判断所述进出动作事件是否为从所述冰箱拿出的第二动作事件；根据所述第二动作事件得到第二动作方向；以及通过第二作方向确定从所述冰箱拿出的第二食材变化信息；其中，第一食材变化信息和第二食材变化信息包括：检测所述第一食材变化信息中的食材增加数量；所述食材增加数量为第一食材变化信息；检测所述第二食材变化信息的中食材减少数量；所述食材减少数量为第二食材变化信息。

进一步地，根据所述动作方向获得所述冰箱中的食材变化信息后，还包括：判断所述食材是否在预设的保质期限内；如果所述食材临近预设的保质期限，则发送第一提示信息；如果所述食材超出预设的保质期限内，则发送第二提示信息；根据所述提示信息判断是否向所述冰箱中增加食材；以及如果判断为向所述冰箱中增加食材，则重新配置所述食材的保质期限。

进一步地，根据所述图像信息识别所述图像信息对应的食材信息前，还包括：判断所述图像信息对应的第一食材信息是否可识别；如果所述图像信息对应的第一食材信息不可识别，则增加第二食材信息；根据所述第二食材信息校正所述第一食材信息；其中，第一食材信息为图像信息，第二食材信息为语音信息。

为了实现上述目的，根据本申请的另一方面，提供了一种食材管理装置，其特征在于，包括：检测模块、识别模块、状态管理模块，所述检测模块，用于检测所述冰箱的冰箱门状态和所述冰箱的进出动作事件，其中，检测所述冰箱门状态和所述冰箱的进出动作事件包括：获取所述冰箱门第一状态；在所述冰箱门第一状态时检测运动物体；获取所述冰箱门第二状态；以及在所述冰箱门第二状态时结束检测；所述识别模块，用于根据所述冰箱门状态采集图像信息；以及确定所述进出动作事件的动作方向；所述状态管理模块，用于根据所述图像信息识别所述图像信息对应的食材信息；以及根据所述动作方向获得所述冰箱中的食材变化信息。

进一步地，所述状态管理模块还用于，判断所述图像信息中是否有目标物；如果所述图像信息中有目标物，则检测所述目标物的坐标位置；判断所述坐标位置是否在所述图像信息的预设范围内；以及如果所述坐标位置在所述图像信息的预设范围内，则匹配与所述目标物的对应的食材信息。

进一步地，所述状态管理模块还用于，判断所述进出动作事件是否为进入所述冰箱的第一动作事件；根据所述第一动作事件得到第一动作方向；通过第一动作方向确定进入所述冰箱的第一食材变化信息；判断所述进出动作事件是否为从所述冰箱拿出的第二动作事件；根据所述第二动作事件得到第二动作方向；以及通过第二作方向确定从所述冰箱拿出的第二食材变化信息；其中，第一食材变化信息和第二食材变化信息包括：检测所述第一食材变化信息中的食材增加数量；所述食材增加数量为第一食材变化信息；检测所述第二食材变化信息的中食材减少数量；所述食材减少数量为第二食材变化信息。

在本申请实施例中，采用可拆卸式的方式从而对具体的安装位置没有限制，通过门磁感应器、探测器、图像传感器，达到了检测和采集的目的，从而实现了冰箱中的食材变化信息获取和食材信息识别的技术效果，进而解决了普通冰箱无法智能管理食材的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的食材管理装置硬件结构示意图；

图2是根据本申请实施例的处理器的优选结构示意图；

图3是根据本申请实施例的食材管理方法流程示意图；

图4是根据本申请实施例的一优选食材管理方法流程示意图；

图5是根据本申请实施例的又一优选食材管理方法流程示意图；

图6是根据本申请实施例的再一优选食材管理方法流程示意图；

图7是根据本申请实施例的另一优选食材管理方法流程示意图；以及

图8是根据本申请实施例的食材管理装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本申请实施例主要应用于冰箱，还可在烤箱、微波炉等需要进行食材管理的相关家电上进行应用。以下实施例中以冰箱为例，并参考附图并结合实施例来详细说明本申请。在本申请中最大程度得保证食材管理装置的独立和完整性，设计了一种应用在传统家电上的食材管理装置。食材管理装置安装方便，模块独立性强，能灵活移动。图像的抓拍的模式新颖，能使普通家电变为一台智能家电。

此外，食材管理装置可抓拍并识别出运功中的图像信息，并判断食材是进还是出，进而实现对食材的管理。

如图1所示，该食材管理装置包括如下的组成：门磁感应器12，用于检测冰箱的冰箱门状态；探测器11，用于检测所述冰箱的进出动作事件；图像传感器21，用于根据所述冰箱门状态采集图像信息；处理器31，用于确定所述进出动作事件的动作方向后获得所述冰箱中的食材变化信息；以及识别所述图像信息对应的食材信息。所述冰箱门状态为打开或者关闭。所述进出动作事件可以是手部进入冰箱或者拿出冰箱的运动事件。图像传感器21能够在探测器11检测出手部进入冰箱或者拿出冰箱的运动事件时开始采集图像信息。图像传感器21用于抓拍食材的图像，处理器31用于拍照逻辑控制、图像预处理和传输。

例如，食材管理装置并不受限于具体的安装位置。优选地，用户可将食材管理装置可拆卸地安放于冰箱顶部的位置。

具体地，探测器11或者门磁感应器12包括但不限于，采用超声波或者红外感应或者其他可以实现感应的装置做成阵列的方式，并根据不同位置信号的时间差对手部运动的方向进行感知。

具体地，图像传感器21包括但不限于，相机、摄像头等具有图像采集功能的装置。还可以包括：无线路由器，用于将图像和识别信息传递至外网。探测器11可替换为烧录基于视频帧的运动物体检测算法的图像传感器，用于检测手部的移动，以及配合目标检测算法确定手部运动的方向，从而获取合适的图片，之后上传至后台服务器。

具体地，管理过程包括：

步骤S1，等待门磁感应器12传递的信号；

步骤S2，探测器11是否感应到运动物体；如果没有则继续等待门磁感应器12传递的信号；

步骤S3，如果接收到门磁感应器12传递的信号，则触发图像传感器21 开始采集图像；

步骤S4，处理器31接收到图像传感器21采集的图像和探测器11感应到运动物体事件；

步骤S5，通过无线路由上传至后台服务器或者云端服务器，继续等待门磁感应器12传递的信号。

例如，后台服务器端与用户手机上的客户端交互，后台服务器端在接收到图像后，调度分配资源，对图像进行快速识别。然后将识别后的结果发送至用户手机上的客户端。用户手机上的客户端可以实时查看最新上传的图片的状态，并可管理和查询一段时间内的食材的保质期限等。

作为本实施例中优选地，如图2所示，所述处理器21包括：第一处理单元311、第二处理单元312和第三处理单元313，所述第一处理单元311，用于在本地预处理得到第一图像信息并将所述第一图像信息发送至远端；所述第二处理单元312，用于在远端识别所述第一图像信息；所述第三处理单元313，用于在本地确定进出动作事件的动作方向。将所述第一图像信息发送至远端的方法可以是通过路由器，所述路由器为无线路由器，作为数据的中转站。远端可以是在云端、后台服务器。后端服务器或者云端用于运行实现放入的食材/ 手部运动识别的软件应用程序。

作为本实施例中的优选，所述第二处理单元还用于识别结果的存储、分析、及快速检索功能。同时，在所述第二处理单元的处理能力允许的情况下，能够在本地完成结果的存储、分析、及快速检索功能。同时检索结果会同步至预安装有应用程序的终端上。

具体地，当门磁感应器12检测冰箱门开启，接通工作电路，当手部或者其他运动物体经过探测器11的范围时，探测器11感应运动物体后触发图像传感器21连续拍照。当手离开图像传感器21视野后，探测器11感应运动物体离开，相机停止拍照。序列图像送到食材管理装中，处理器31经过分析和计算挑选出最优的图片。比如，图片清晰不模糊，对比度较高可为最优的图片。又比如，食材的纹理颜色特征明显，食材目标在图片中间位置也可为最优的图片。优选地，获得的图片数据经由无线网关传至外网或者远端的后台服务器设备上。

例如，以冰箱为例，食材管理装置安装固定于冰箱的顶部位置处，当门磁感应器12检测家冰箱门开启，接通工作电路，当手部或者其他运动物体经过探测器11的范围时，探测器11感应运动物体后触发图像传感器21连续拍照。当手离开图像传感器21视野后，探测器11感应运动物体离开，相机停止拍照。序列图像送到食材管理装置中，处理器31经过分析和计算挑选出最优的图片。比如，图片清晰不模糊，对比度较高可为最优的图片。又比如，食材的纹理颜色特征明显，食材目标在图片中间位置也可为最优的图片。优选地，获得的图片数据经由无线网关传至外网或者远端的后台服务器设备上。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用可拆卸式的方式，通过门磁感应器12、探测器 11、图像传感器21，达到了检测和采集的目的，从而实现了冰箱中的食材变化信息获取和食材信息识别的技术效果，进而解决了普通冰箱无法智能管理食材的技术问题。本申请抛开冰箱本身的机构设计，最大程度得保证系统的独立和完整性，采用可拆卸式的方式安装方便，食材管理装置的模块独立性强。探测器11和图像传感器21配合，并在处理器31处理运功中的图像信息，同时还可以判断出食材的进出，从而对食材管理，能使普通冰箱变为一台智能冰箱。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述所述食材管理装置的功能方法，如图3所示，该方法包括：

步骤S100，检测冰箱的冰箱门状态和所述冰箱的进出动作事件；

检测冰箱的冰箱门状态，可以是门磁感应器，检测冰箱的进出动作事件，可以是探测器。

例如，检测冰箱的冰箱门状态为由关闭-打开，则认为是触发了冰箱门。检测冰箱的冰箱门状态为打开-关闭，则认为也是触发了冰箱门。检测冰箱门状态由关闭-打开或者打开-关闭状态下时，是否有从外部进入、从内容拿出的手部动作。

步骤S101，根据所述冰箱门状态采集图像信息；

图像信息可以是任一角度拍摄的图像信息，并会采集序列图像进行后续的识别。

例如，当手部或者其他运动物体经过并触发采集图像信息的操作后，当手部或者其他运动物体进入预设范围时，可以通过感应运动物体后触发连续拍照。当手离开预设范围后，感应运动物体离开，相机停止拍照。

步骤S102，识别所述图像信息对应的食材信息；

识别食材信息包括但不限于，食材的名称、食材的种类、食材的颜色、食材的数量等。其中最主要的是识别是什么食材，即将图像信息中的食材与预存的食材信息进行比对后，得到食材的名称。

例如，通过识别图像信息，可以在打开冰箱门的间隙，快速查找出对应食材名称。

步骤S103，确定所述进出动作事件的动作方向；

动作事件可以是手部运动的事件检测或者是其他触发红外检测的动作事件。在判断进出动作事件的动作方向时可以是通过预设的感应器位置和角度。在判断进出动作事件的动作方向时还可以是通过预设的目标识别算法，识别出方向。动作方向可以是模糊方向的判断或者是精准方向的判断。

例如，首先检测是否有进入冰箱的手部运动，当有进入冰箱的手部运动，则通过图像识别算法计算出具体的手部运动的意图，并选择出置信度最大的一组图像最为最后判断的依据。

步骤S104，根据所述动作方向获得所述冰箱中的食材变化信息；

食材变化信息可以是食材的数量在减少或者增加。也可以是食材的种类在新增或者添加。还可以是当前的冰箱贮藏空间与食材的相对位置变化。

其中，以冰箱为例，所述步骤S100中，检测所述冰箱的冰箱门状态和所述冰箱的进出动作事件包括：获取所述冰箱的冰箱门第一状态；在所述冰箱门第一状态时检测运动物体；获取所述冰箱的冰箱门第二状态；以及在所述冰箱门第二状态时结束检测。

作为本实施例中的优选，所述步骤S103确定所述进出动作事件的动作方向，对于手部运动的感应，手部运动的感应可以由红外、超声波等传感器实现，如果处理器接收到探测器返回的信号，则立刻启动图像传感器进行拍照。优选地，可以将图像传感器的快门时间设得相对较短，快门时间单位在ms以内，可以有效地防止图像传感器采集的图像出现运动模糊的情况。优选地，图像传感器中的镜头光圈设得相对较大从而保证进光量的同时，保证采集的图像亮度不至于太暗。此外，可通过连续图像连续采集好几帧图像，集多帧图像组合成一组序列图作为输入。

作为本实施例中的优选，关于食材进出的判断，优选地，可以将超声波或者红外感应或者其他可以实现感应的装置做成阵列的方式，并根据不同位置信号的时间差对手部运动的方向进行感知。

根据本发明实施例，如图4所示，根据所述图像信息识别所述图像信息对应的食材信息包括：

步骤S200，判断所述图像信息中是否有目标物；

目标物的选择可以通过设定目标框跟踪来确定。

步骤S201，如果所述图像信息中有目标物，则检测所述目标物的坐标位置；

坐标位置可以是中心位置坐标。

步骤S202，判断所述坐标位置是否在所述图像信息的预设范围内；

若超出预设范围，则可以不继续对图像信息进行处理。

步骤S203，如果所述坐标位置在所述图像信息的预设范围内，则匹配与所述目标物的对应的食材信息。

匹配的方式可以是与本地数据库比对，或者接入网络与云端数据库中实时更新的数据信息对比。

作为上述实施例中的优选，假设n张序列图片编号为I1,I2,I3...In，遍历这n 张图片，使用目标检测的算法检测图片里的食材；假设算法计算所得的图片 I1,I2,I3...In中食材的目标中心点的坐标分别是(x1,y1),(x2,y2),(x3,y3)...(xn,yn)，且对应的置信度分别是c1,c2,c3...cn(0<c1,c2,c3...cn<1)，则只需找出图片Ii(1<i<n)，使得

其中α是常数，w，h分别是图片的宽高。

根据本发明实施例，如图5所示，根据所述进出动作事件，确定动作方向；根据所述动作方向获得所述冰箱中的食材变化信息包括：

步骤S300，判断所述进出动作事件是否为进入所述冰箱的第一动作事件；

步骤S301，根据所述第一动作事件得到第一动作方向；通过第一动作方向确定进入所述冰箱的第一食材变化信息；

步骤S302，判断所述进出动作事件是否为从所述冰箱拿出的第二动作事件；

步骤S303，根据所述第二动作事件得到第二动作方向；通过第二作方向确定从所述冰箱拿出的第二食材变化信息；

在所述步骤S301和步骤S303中，所述第一食材变化信息和所述第二食材变化信息包括：检测所述第一食材变化信息中的食材增加数量；所述食材增加数量为第一食材变化信息；检测所述第二食材变化信息的中食材减少数量；所述食材减少数量为第二食材变化信息。

例如，以冰箱为例，第一动作方向可以是进入所述冰箱的第一动作事件产生，是第二动作方向可以是从所述冰箱拿出的第二动作事件产生。所述食材增加数量可以是食材数量增加、食材类型的增加或者食材密度的增加。所述食材减少数量可以是食材数量减少、食材类型的减少或者食材密度的减少。

从以上的描述中，可以看出，本实施例实现了如下技术效果：

在本申请实施例中，通过第一动作方向和第二动作方向与食材增加数量、食材减少数量进行关联，从而通过第一食材变化信息和第二食材变化信息，实现食材的动态管理。

根据本发明实施例，如图6所示，根据所述动作方向获得所述冰箱中的食材变化信息后，还包括：

步骤S400，判断所述食材是否在预设的保质期限内；

步骤S401，如果所述食材临近预设的保质期限，则发送第一提示信息；

通过判断食材是否临近预设的保质期限，可以提前提醒用户，防止由于错过了食材的保持器而影响食用口感和营养吸收。第一提示信息的方式包括但不限于，短信通知、推送消息、声音提醒等。

例如，根据所述动作方向获得所述冰箱中的苹果从2个增加到3个，还新增加了3个梨子后，可以进一步判断出冰箱中的苹果或者梨子是否临近预设的 5天保质期限，如果苹果已经存放了4天，即将达到保质期限，则可以通过在终端消息推送的方式，提醒用户4天前放入冰箱中的苹果即将过期。

步骤S402，如果所述食材超出预设的保质期限内，则发送第二提示信息；

通过所述食材超出预设的保质期限内，可以在食材已经过了保持期限是提醒用户，防止由于过期而影响食用。第二提示信息的方式包括但不限于，短信通知、推送消息、声音提醒等。

例如，根据所述动作方向获得所述冰箱中的苹果从2个增加到3个，还减少了1个梨子后，可以进一步判断出从冰箱中拿出的梨子是否临近预设的7 天保质期限，如果从冰箱拿出的梨子已经存放了8天，已经超过了保质期限，则可以通过在终端消息推送的方式，提醒用户梨子已经放入冰箱中存放了8 天，已经过了预设的保持期限。

步骤S403，根据所述提示信息判断是否向所述冰箱中增加食材；

增加食材包括但不限于，增加食材的数量、食材的种类、食材的空间密度等。

步骤S404，如果判断为向所述冰箱中增加食材，则重新配置所述食材的保质期限。

每当判断出向冰箱中新增食材时，需要提醒用户重新设置该食材对应的保持期限。此外，每当判断出从冰箱中拿出食材时，也要判断食材储放的保质期限是否超出了预设的保质期限。

作为上述实施例中的优选，对于食材的过期提醒，依据根据后台服务器的数据查询结果判断所述食材是否在预置的保质期限内，同时还可以和与食材管理装置连接的智能移动终端上同步显示所述食材是否在预置的保质期限内。优选地，当用户靠近冰箱或者用户触发安装在食材管理装置上的语音提醒开关时，前端装置上的语音播放模块给出食材的过期语音提醒。此外，如果判断为向所述冰箱中增加食材，则可以通过食材管理装置重新设置食材的保质期限。

根据本发明实施例，如图7所示，根据所述图像信息识别所述图像信息对应的食材信息前，还包括：

步骤S500，判断所述图像信息对应的第一食材信息是否可识别；

根据图像信息如果不能够直接判断出对应的第一食材信息，则需要进行辅助识别。不能够判断出对应的第一食材信息可能是采集的图像无法识别、采集的图像中没有目标识别物或者采集的图像中由于像素等影响，导致目标识别率降低。第一食材信息可以是图像信息。

步骤S501，如果所述图像信息对应的第一食材信息不可识别，则增加第二食材信息；

如果图像信息无法识别，则增加第二食材信息，第二食材信息可以语音信息。

步骤S502，根据所述第二食材信息校正所述第一食材信息。

通过语音信息对图像信息进行校正，从而提高食材识别的准确率。例如，以冰箱为例，当用户向冰箱中放入食材后，食材管理装置或者与其相连的后台服务器无法识别时，则由用户语音输入食材类别，判断所述食材信息与所述用户语音输入是否匹配，后台服务器的识别结果将以此为准，通过所述用户语音输入食材语音信息校正所述食材的图像信息，从而对原有的人工智能识别食材的技术进行补充校正。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

如图8所示，是根据本申请实施例的食材管理装置结构示意图，食材管理装置包括：检测模块10、识别模块20、状态管理模块30，所述检测模块10，用于检测所述冰箱的冰箱门状态和所述冰箱的进出动作事件，其中，检测所述冰箱的冰箱门状态和所述冰箱的进出动作事件包括：获取所述冰箱的冰箱门第一状态；在所述冰箱门第一状态时检测运动物体；获取所述冰箱的冰箱门第二状态；以及在所述冰箱门第二状态时结束检测；所述识别模块20，用于根据所述冰箱门状态采集图像信息；以及确定所述进出动作事件的动作方向；所述状态管理模块30，用于根据所述图像信息识别所述图像信息对应的食材信息；以及根据所述动作方向获得所述冰箱中的食材变化信息。

在本申请实施例的检测模块10中，检测冰箱的冰箱门状态，可以是门磁感应器，检测冰箱的进出动作事件，可以是探测器。

例如，检测冰箱的冰箱门状态为由关闭-打开，则认为是触发了冰箱门。检测冰箱的冰箱门状态为打开-关闭，则认为也是触发了冰箱门。检测冰箱门状态由关闭-打开或者打开-关闭状态下时，是否有从外部进入、从内容拿出的手部动作。

在本申请实施例的所述识别模块20中，图像信息可以是任一角度拍摄的图像信息，并会采集序列图像进行后续的识别。

例如，当手部或者其他运动物体经过并触发采集图像信息的操作后，当手部或者其他运动物体进入预设范围时，可以通过感应运动物体后触发连续拍照。当手离开预设范围后，感应运动物体离开，相机停止拍照。

在本申请实施例的所述识别模块20中识别食材信息包括但不限于，食材的名称、食材的种类、食材的颜色、食材的数量等。其中最主要的是识别是什么食材，即将图像信息中的食材与预存的食材信息进行比对后，得到食材的名称。

例如，通过识别图像信息，可以在打开冰箱门的间隙，快速查找出对应食材名称。

在本申请实施例的所述识别模块20中动作事件可以是手部运动的事件检测或者是其他触发红外检测的动作事件。在判断进出动作事件的动作方向时可以是通过预设的感应器位置和角度。在判断进出动作事件的动作方向时还可以是通过预设的目标识别算法，识别出方向。动作方向可以是模糊方向的判断或者是精准方向的判断。

例如，首先检测是否有进入冰箱的手部运动，当有进入冰箱的手部运动，则通过图像识别算法计算出具体的手部运动的意图，并选择出置信度最大的一组图像最为最后判断的依据。

在本申请实施例的所述状态管理模块30中食材变化信息可以是食材的数量在减少或者增加。也可以是食材的种类在新增或者添加。还可以是当前的冰箱贮藏空间与食材的相对位置变化。

其中，以冰箱为例，所述步骤S100中，检测所述冰箱的冰箱门状态和所述冰箱的进出动作事件包括：获取所述冰箱的冰箱门第一状态；在所述冰箱门第一状态时检测运动物体；获取所述冰箱的冰箱门第二状态；以及在所述冰箱门第二状态时结束检测。

作为本实施例中的优选，所述步骤S103确定所述进出动作事件的动作方向，对于手部运动的感应，手部运动的感应可以由红外、超声波等传感器实现，如果处理器接收到探测器返回的信号，则立刻启动图像传感器进行拍照。优选地，可以将图像传感器的快门时间设得相对较短，快门时间单位在ms以内，可以有效地防止图像传感器采集的图像出现运动模糊的情况。优选地，图像传感器中的镜头光圈设得相对较大从而保证进光量的同时，保证采集的图像亮度不至于太暗。此外，可通过连续图像连续采集好几帧图像，集多帧图像组合成一组序列图作为输入。

作为本实施例中的优选，关于食材进出的判断，优选地，可以将超声波或者红外感应或者其他可以实现感应的装置做成阵列的方式，并根据不同位置信号的时间差对手部运动的方向进行感知。

所述食材管理装置用于可拆卸式的安装于冰箱上，解决了普通冰箱无法智能管理食材的技术问题。本申请抛开冰箱本身的机构设计，最大程度得保证系统的独立和完整性，采用可拆卸式的方式安装方便，食材管理装置的模块独立性强。检测模块10、识别模块20配合，并在状态管理模块30处理运功中的图像信息，同时还可以判断出食材的进出，从而对食材管理，能使普通冰箱变为一台智能冰箱。

优选地，所述状态管理模块30还用于判断所述图像信息中是否有目标物；如果所述图像信息中有目标物，则检测所述目标物的坐标位置；判断所述坐标位置是否在所述图像信息的预设范围内；以及如果所述坐标位置在所述图像信息的预设范围内，则匹配与所述目标物的对应的食材信息。

作为上述实施例中的优选，假设n张序列图片编号为I1,I2,I3...In，遍历这n 张图片，使用目标检测的算法检测图片里的食材；假设算法计算所得的图片 I1,I2,I3...In中食材的目标中心点的坐标分别是(x1,y1),(x2,y2),(x3,y3)...(xn,yn)，且对应的置信度分别是c1,c2,c3...cn(0<c1,c2,c3...cn<1)，则只需找出图片Ii(1<i<n)，使得

其中α是常数，w，h分别是图片的宽高。

优选地，所述状态管理模块30还用于判断所述进出动作事件是否为进入所述冰箱的第一动作事件；根据所述第一动作事件得到第一动作方向；通过第一动作方向确定进入所述冰箱的第一食材变化信息；判断所述进出动作事件是否为从所述冰箱拿出的第二动作事件；根据所述第二动作事件得到第二动作方向；以及通过第二作方向确定从所述冰箱拿出的第二食材变化信息；其中，第一食材变化信息和第二食材变化信息包括：检测所述第一食材变化信息中的食材增加数量；所述食材增加数量为第一食材变化信息；检测所述第二食材变化信息的中食材减少数量；所述食材减少数量为第二食材变化信息。

例如，以冰箱为例，第一动作方向可以是进入所述冰箱的第一动作事件产生，是第二动作方向可以是从所述冰箱拿出的第二动作事件产生。所述食材增加数量可以是食材数量增加、食材类型的增加或者食材密度的增加。所述食材减少数量可以是食材数量减少、食材类型的减少或者食材密度的减少。

从以上的描述中，可以看出，本实施例实现了如下技术效果：

在本申请实施例中，通过第一动作方向和第二动作方向与食材增加数量、食材减少数量进行关联，从而通过第一食材变化信息和第二食材变化信息，实现食材的动态管理。

在本申请实施例的状态管理模块30，还用于判断所述食材是否在预设的保质期限内；如果所述食材临近预设的保质期限，则发送第一提示信息；

通过判断食材是否临近预设的保质期限，可以提前提醒用户，防止由于错过了食材的保持器而影响食用口感和营养吸收。第一提示信息的方式包括但不限于，短信通知、推送消息、声音提醒等。

例如，根据所述动作方向获得所述冰箱中的苹果从2个增加到3个，还新增加了3个梨子后，可以进一步判断出冰箱中的苹果或者梨子是否临近预设的 5天保质期限，如果苹果已经存放了4天，即将达到保质期限，则可以通过在终端消息推送的方式，提醒用户4天前放入冰箱中的苹果即将过期。

在本申请实施例的状态管理模块30，还用于如果所述食材超出预设的保质期限内，则发送第二提示信息；

通过所述食材超出预设的保质期限内，可以在食材已经过了保持期限是提醒用户，防止由于过期而影响食用。第二提示信息的方式包括但不限于，短信通知、推送消息、声音提醒等。

例如，根据所述动作方向获得所述冰箱中的苹果从2个增加到3个，还减少了1个梨子后，可以进一步判断出从冰箱中拿出的梨子是否临近预设的7 天保质期限，如果从冰箱拿出的梨子已经存放了8天，已经超过了保质期限，则可以通过在终端消息推送的方式，提醒用户梨子已经放入冰箱中存放了8 天，已经过了预设的保持期限。

在本申请实施例的状态管理模块30，还用于根据所述提示信息判断是否向所述冰箱中增加食材；

增加食材包括但不限于，增加食材的数量、食材的种类、食材的空间密度等。

在本申请实施例的状态管理模块30，还用于如果判断为向所述冰箱中增加食材，则重新配置所述食材的保质期限。

每当判断出向冰箱中新增食材时，需要提醒用户重新设置该食材对应的保持期限。此外，每当判断出从冰箱中拿出食材时，也要判断食材储放的保质期限是否超出了预设的保质期限。

作为上述实施例中的优选，对于食材的过期提醒，依据根据后台服务器的数据查询结果判断所述食材是否在预置的保质期限内，同时还可以和与食材管理装置连接的智能移动终端上同步显示所述食材是否在预置的保质期限内。优选地，当用户靠近冰箱或者用户触发安装在食材管理装置上的语音提醒开关时，前端装置上的语音播放模块给出食材的过期语音提醒。此外，如果判断为向所述冰箱中增加食材，则可以通过食材管理装置重新设置食材的保质期限。

食材管理装置还包括：语音辅助模块，如果识别模块20判断所述图像信息对应的第一食材信息是否可识别；如果所述图像信息对应的第一食材信息不可识别，则增加第二食材信息。根据图像信息如果不能够直接判断出对应的第一食材信息，则需要进行辅助识别。不能够判断出对应的第一食材信息可能是采集的图像无法识别、采集的图像中没有目标识别物或者采集的图像中由于像素等影响，导致目标识别率降低。第一食材信息可以是图像信息。

所述语音辅助模块，用于如果图像信息无法识别，则增加第二食材信息，第二食材信息可以语音信息。并且根据语音辅助模块中的所述第二食材信息校正所述第一食材信息。

通过语音信息对图像信息进行校正，从而提高食材识别的准确率。例如，以冰箱为例，当用户向冰箱中放入食材后，食材管理装置或者与其相连的后台服务器无法识别时，则由用户语音输入食材类别，判断所述食材信息与所述用户语音输入是否匹配，后台服务器的识别结果将以此为准，通过所述用户语音输入食材语音信息校正所述食材的图像信息，从而对原有的人工智能识别食材的技术进行补充校正。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。