一种智能冰箱的食品管理方法及系统与流程

本发明属于家电技术领域，尤其涉及一种智能冰箱的食品管理方法及系统。

背景技术：

随着人们生活水平的不断提高，智能冰箱已经成了各个家庭必不可少的电器设备，人们对智能冰箱功能的要求越来越高，而如何有效的对冰箱内的食品进行管理是智能冰箱的核心功能，也是用户非常关注的问题。目前，在智能冰箱的食品管理进行研究的过程中，智能冰箱已经具有了多摄像头进行拍照、远程查看进行食品管理等功能，还配备了射频电子标签、触摸操作等方式进行食品添加和食品删除等功能。尽管这功能解决了智能冰箱食品管理的部分问题，但是依然没有从根本上解决冰箱内食品管理操作繁琐的问题，仍然需要用户通过手动操作来记录智能冰箱内食品的入库和出库，其操作步骤仍然比较繁琐。

技术实现要素：

本发明实施例的目的在于提供一种智能冰箱的食品管理方法及，旨在解决上述现有的智能冰箱仍然需要用户通过手动操作来记录食品的入库和出库，其操作步骤仍然比较繁琐的问题。

本发明实施例是这样实现的，一种智能冰箱的食品管理方法，包括：

当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；

对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；

记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。

在上述技术方案的基础上，对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别具体包括：

采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；

将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；

对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；

识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；

通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。

在上述技术方案的基础上，所述对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分之前还包括：

对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。

在上述技术方案的基础上，所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型之前还包括：

判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。

在上述技术方案的基础上，所述通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别具体包括：

通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。

本发明实施例的另一目的在于提供一种智能冰箱的食品管理系统，包括：

控制模块，用于当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；

图像分析处理模块，用于对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；

记录模块，用于记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。

在上述技术方案的基础上，所述图像分析处理模块具体包括：

背景建模单元，用于采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；

运动前景图像获取单元，用于将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；

连通域提取单元，用于对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；

动作类型判断单元，用于识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；

食品类别获取单元，用于通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。

在上述技术方案的基础上，所述图像分析处理模块还包括：

噪声像素处理单元，用于对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。

在上述技术方案的基础上，所述图像分析处理模块还包括：

图像成分判断单元，用于判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。

在上述技术方案的基础上，食品类别获取单元具体用于：

通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。

实施本发明实施例提供的一种智能冰箱的食品管理方法及系统具有以下有益效果：

本发明实施例由于通过当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，从而能够在智能冰箱被打开时自动识别并记录用户从智能冰箱中放入或取出食品的动作以及与该动作对应的食品类别，简化了用户操作步骤，提升了用户体验。

附图说明

图1是本发明实施例提供的一种智能冰箱的食品管理方法的具体实现流程图；

图2是本发明实施例提供的一种智能冰箱的食品管理方法中步骤S102的具体实现流程图；

图3a是本发明实施例提供的一种智能冰箱的食品管理方法中摄像头拍摄所获取的图像的示意图；

图3b是本发明实施例中图3a所示的图像经过图像处理后得到的运动前景图像的示意图；

图4是本发明另一实施例提供的一种智能冰箱的食品管理方法中步骤S102的具体实现流程图；

图5是本发明实施例提供的一种智能冰箱的食品管理系统的示意性框图；

图6是本发明实施例提供的一种智能冰箱的食品管理系统中图像分析处理单元的示意性框图；

图7是本发明另一实施例提供的一种智能冰箱的食品管理系统中图像分析处理单元的示意性框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明实施例提供的一种智能冰箱的食品管理方法的示意流程图。参见图1所示，本实施例提供的一种智能冰箱的食品管理方法可以包括以下步骤：

在S101中，当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列。

在本实施例中，所述摄像头安装在所述智能冰箱保鲜层内上壁，并朝下拍摄，所述检测区域为所述摄像头的视场范围。当所述智能冰箱的门被打开时，所述智能冰箱会自动启动所述摄像头，并使所述摄像头按照预设的频率连续采集所述检测区域内的图像，以生成可能包含有用户放入或取出食品动作图像的图像序列。

在S102中，对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品。

图2示出了本实施例中步骤S102的具体实现流程图。参见图2所示，本实施例中，步骤S102可以包括以下步骤：

在S201中，采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型。

在S202中，将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列。

在本实施例中，摄像头获取的图像中用户的手部及食品区域的像素会被识别为前景像素，其余部分为背景像素，这样就可以根据识别结果进行二值化处理以获取二值化的运动前景图像。参见图3a和图3b，分别示出了摄像头拍摄所获取的图像和该图像经过处理后的运动前景图像。

在S203中，对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分。

在S204中，识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型。

在本实施例中，通过建立坐标系的方式识别所述图像成分在所述运动前景图像中的运动方向，具体的：

令运动前景图像左上角顶点为坐标系原点，x轴水平向右，y轴垂直向下(x轴“正方向”水平向右，y轴“正方向”垂直向下，且y轴正方向为远离冰箱的方向，y轴负方向为靠近冰箱的方向)，设最大连通域所对应的图像成分最上端的像素在当前帧运动前景图像的坐标系中的y轴坐标为y_t，则上一帧运动前景图像中所述最大连通域所对应的图像成分最上端的像素的y轴坐标为y_t-1，依次类推，y_t-n，y_t-n+1…….y_t-1，y_t记录了从前n帧到当前帧图像中最大连通域所对应的图像成分的最上端的像素的y轴坐标，这样我们根据最大连通域所对应的图像成分的最上端的像素的y轴坐标的变化趋势即可获取所述图像成分在运动前景图像中的运动方向。

进一步的，在本实施例中，若最大连通域所对应的图像成分的最上端的像素的y轴坐标的从y_t-n，y_t-n+1…….y_t-1，y_t越来越小，则用户执行的动作类型为放入食品；反之，若最大连通域所对应的图像成分的最上端的像素的y轴坐标的从y_t-n，y_t-n+1…….y_t-1，y_t越来越大，则说明用户执行的动作类型为拿出食品。

在S205中，通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。

在本实施例中，步骤S205具体包括：

通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。

可选的，参见图4所示，在另一实施例中，步骤S203之前还可以包括：

在S202-1中，对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。

在本实施例中，由于步骤S203中得到的运动前景图像中会包含一些噪声像素，因此，为了除去这些噪声像素的影响，在获取到运动前景图像后通过对所述运动前景图像进行二值形态闭运算处理后在对其进行二值形态学开运算，从而可以消除运动前景图像中的噪声像素，便于后续最大连通域的提取。

可选的，参见图4所示，在另一实施例中，步骤S204之前还可以包括：

在S203-1中，判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。

在本实施例中，若所述最大连通域所对应的图像成分中的像素大于或等于预设阈值，则说明该帧图像中包含有用户放入食品或拿出食品的动作的图像，此时进入步骤S204进行用户动作类型的识别；相反，若检测到所述最大连通域所对应的图像成分中的像素小于预设阈值，则说明该帧图像中没有检测到用户放入或拿出食品的动作，此时，无需进行动作类型的判断，结束对该帧图像进行分析处理的流程即可。

在S103中，记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。

在本实施例中，智能冰箱记录用户执行的动作类型以及所述动作类型相应的食品类别后还可以将记录的信息上传至云端，使云端根据智能冰箱记录的食品的出库和入库的情况向用户推荐用户可能需要购买的食品或者当食品快过期时对用户进行提醒等便捷服务。

以上可以看出，本实施例提供的一种智能冰箱的食品管理方法由于通过当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，从而能够在智能冰箱被打开时自动识别并记录用户从智能冰箱中放入或取出食品的动作以及与该动作对应的食品类别，简化了用户操作步骤，提升了用户体验。

图5是本发明实施例提供的一种智能冰箱的食品管理系统的示意性框图，该系统用于运行图1所示实施例提供的方法。为了便于说明仅仅示出了与本实施例相关的部分。

参见图5所示，本实施例提供的一种智能冰箱的食品管理系统，包括：

控制模块1，用于当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；

图像分析处理模块2，用于对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；

记录模块3，用于记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。

参见图6所示，在本实施例中，所述图像分析处理模块具体包括：

背景建模单元21，用于采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；

运动前景图像获取单元22，用于将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；

连通域提取单元23，用于对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；

动作类型判断单元24，用于识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；

食品类别获取单元25，用于通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。

其中，所述食品类别获取单元25具体用于：

通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。

可选的，参见图7所示，在另一实施例中，所述图像分析处理模块还包括：

噪声像素处理单元26，用于对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。

可选的，参见图7所示，在另一实施例中，所述图像分析处理模块还包括：

图像成分判断单元27，用于判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。

需要说明的是，本发明实施例提供的上述系统中各个模块，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

以上可以看出，本实施例提供的一种智能冰箱的食品管理系统同样能够在智能冰箱被打开时自动识别并记录用户从智能冰箱中放入或取出食品的动作以及与该动作对应的食品类别，简化了用户操作步骤，提升了用户体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。