利用影像识别的冰箱的保管品目管理方法及其冰箱的制作方法
【技术领域】
[0001]本发明涉及利用影像识别的冰箱的保管品目管理方法及其冰箱，详细而言，在该利用影像识别的冰箱的保管品目管理方法及其冰箱中，在冰箱上安装摄像头，通过对该摄像头所获取的影像利用影像识别技术来识别并管理针对冰箱的保管物品的存取。
【背景技术】
[0002]冰箱是以低温保管食品来防止食品的腐烂的手段，但是在低温下细菌的繁殖活动不会完全停止，因此若将食品保管在冰箱中，则与未保管的情况相比保存期间变长，但是无法完全抑制腐烂。
[0003]在现有的冰箱中保管食品时，保管的时机根据食品类别而不同，难以准确地掌握所保管的很多食品的位置，因此存在食品的保管期间增加或存储后难以掌握经过日期的问题。
[0004]并且，还有以下功能:用户在将任意的食品容纳在冰箱中时利用键盘/触摸屏等来制作所拥有的冰箱品目以及流通期限等，提供以此为基础的信息，或者仅仅从冰箱外部监控内部。
[0005]但是，这在用户的方便性方面存在很多缺点。并且，在没有进行输入以及修正而存储食品的情况下，有可能频繁产生实际容纳在冰箱中的冰箱保管品目与所提供的信息相互不同的情况。
【发明内容】
[0006]技术课题
[0007]本发明要解决的技术课题是提供一种利用影像识别的冰箱的保管品目管理方法及其冰箱，其能够在用户将包括各种食品的保管品目在冰箱中存取时对此进行自动识别来对数据库进行登录/删除/修正，对于没有识别出哪种品目的情况，能够使用户利用声音、触摸屏、键盘等登录，从而能够提供准确的信息，并且能够提高用户的方便性。
[0008]课题解决手段
[0009]根据本发明的一个方案，提供一种冰箱，其包括:拍摄部，其将在冰箱中存取的保管物品拍摄成视频来生成物品存取视频；数据存储部，其存储上述物品存取视频、能够保管于冰箱的物品信息以及保管品目信息；控制部，其基于对上述物品存取视频进行视觉识别来检测出的光流，来识别物品的存取，并且基于通过对上述物品的存取的视觉识别来生成的识别信息以及存储在上述数据存储部的上述物品信息，来更新上述冰箱的保管品目信息；以及显示部，其基于更新后的上述保管品目信息来将保管品目的管理现状向用户显示。
[0010]上述冰箱还可以包括声音输入部，其获取在上述冰箱中存取物品时产生的声音信息以及为进行物品管理而由用户产生的声音信息。
[0011]上述控制部还可以包括:存取识别部，其通过对由上述拍摄部生成的视频进行视觉识别来检测光流，并且基于所检测出的上述光流来识别物品的存取；物体区域检测部，其从上述物品存取视频检测出物体区域；特征提取部，其从所检测出的上述物体区域中提取该物体的特征点；以及保管品目管理部，其基于针对上述物品的存取的识别信息、针对所提取的上述特征点的特征点信息以及所存储的上述物品信息，来对上述冰箱的保管品目信息进行更新并管理。
[0012]上述存取识别部能够基于所检测出的上述光流来从视频中检测出针对物品的运动矢量，并且基于所检测出的上述运动矢量来识别该物品的存取。
[0013]上述物体区域检测部能够在识别出上述物品的存取的情况下，捕获上述存取视频，并对所捕获的帧和已存储的背景影像的差异进行计算，从而分离检测出用户的手臂和物体所占的区域。
[0014]上述物体区域检测部能够将由上述拍摄部获取的影像的每个帧利用高斯模型进行累积，从而获取平均背景影像并生成上述已存储的背景影像。
[0015]上述特征提取部能够在从自上述存取视频捕获的影像分离的区域中提取物品的特征，并基于所提取的物品的特征，检索存储在上述冰箱内部的本地数据库或者由上述冰箱外部提供的全局数据库，由此执行物品识别。
[0016]上述保管物品管理部能够基于通过检索存储在上述冰箱内部的本地数据库和由上述冰箱外部提供的全局数据库而识别成功的物品信息、以及由用户输入的物品信息，来更新保管品目。
[0017]上述保管物品管理部能够对于影像识别失败的上述物品，通过接受用户的输入，来确定该物品信息，并更新上述保管品目。
[0018]上述保管物品管理部能够基于已存储的影像补丁的方向模型来检索物品影像的特征所属的类型，并且存储该物品所具有的特征的类型以及几何学位置关系。
[0019]根据本发明的另一方案，提供一种利用影像识别的冰箱的保管品目管理方法，其包括:将在冰箱中存取的保管物品拍摄成视频来生成物品存取视频的步骤；通过对上述物品存取视频进行视觉识别来识别物品的存取，基于针对上述物品的存取的利用视觉识别生成的识别信息以及已存储的上述物品信息，来更新已存储的冰箱的保管品目信息的步骤；以及基于更新后的上述保管品目信息来将保管品目的管理现状向用户显示的步骤。
[0020]上述利用影像识别的冰箱的保管品目管理方法还可以包括:将上述生成的视频累积并存储的步骤；以及基于累积并存储的上述视频来执行视频的背景模型化的步骤。
[0021]在执行上述视频的背景模型化的步骤中，能够根据所存储的上述视频来确定上述冰箱的除了保管物品和手之外的背景区域。
[0022]在上述背景模型化中，能够基于累积存储于上述数据存储部的视频信息，通过比较每个影像帧来确定背景区域。
[0023]更新上述品目信息的步骤可以包括:通过对上述物品存取视频进行视觉识别来识别物品的存取并生成识别信息的步骤；基于所生成的识别信息来从上述物品存取视频中分离物体区域的步骤；基于所存储的上述物品信息来从上述分离的物体区域中提取该物品的特征点的步骤；以及基于针对上述物品的存取的识别信息、针对所提取的上述特征点的特征点信息、以及所存储的上述物品信息，对上述冰箱的保管品目信息进行更新并管理的步骤。
[0024]生成上述识别信息的步骤可以包括:通过对由上述拍摄部生成的视频进行视觉识别来检测光流的步骤；基于检测出的上述光流来从视频中检测出针对物品的运动矢量的步骤；以及基于检测出的上述运动矢量来识别该物品的存取的步骤。
[0025]在提取上述物品的特征点的步骤中，能够在检索物品时从物体中提取已存储的物品的特征，并根据具有多少类似的类型的特征来提取候补组之后，利用各特征的几何学位置关系来确定识别的结果。
[0026]上述利用影像识别的冰箱的保管品目管理方法还可以包括:将针对存储在上述冰箱内的保管品目以及数量的信息、用于供用户确认存储了一定期间以上的物品的变质与否的通知信息，提供给冰箱外部装置、便携式设备、或者电子邮箱的步骤。
[0027]上述利用影像识别的冰箱的保管品目管理方法还可以包括:按照保管品目类别将用户的利用统计以及冰箱内物品的位置信息向用户显示的步骤。
[0028]上述利用影像识别的冰箱的保管品目管理方法还可以包括:将上述冰箱内的物品的库存信息向用于用户的购物的外部装置提供的步骤。
[0029]发明效果
[0030]根据本发明，通过对在冰箱中存取的包括各种食品的保管品目进行视频拍摄及视觉识别，能够识别保管品目的存取。
[0031]随之，不需要为了冰箱的保管品目的存取管理而由用户执行追加作业。S卩，省略了由用户将物品逐一接触条形码阅读器或者登录的以往的繁杂的步骤，能够提高用户的方便性。
[0032]并且，在冰箱中针对任意的保管品目的储存或取出的判断与否不是由用户的登录来进行，而是通过视觉识别来自动实现，因此能够准确地管理冰箱的保管物品。
[0033]根据本发明，能够确认关于在冰箱中管理的包括食品的各种保管品目的信息，根据确认的内容有效地进行食品管理。
[0034]并且，根据本发明，能够利用本地数据库来执行包括食品的各种保管品目的管理。虽然能够容纳在冰箱中的食品的种类非常多，但是一台能够存储的食品是100多个左右，根据这一点，由于利用本地数据库，在存取时能够提高食品识别的速度以及准确性。
【附图说明】
[0035]图1是执行根据本发明的一个实施例的利用影像识别的冰箱保管品目管理方法的冰箱的结构框图。
[0036]图2是用于说明根据本发明的一个实施例的冰箱的控制部的结构框图。
[0037]图3是用于说明根据本发明的一个实施例的利用影像识别的冰箱的物品管理方法的流程图。