r>[0038]图4是用于说明根据本发明的一个实施例的利用影像识别的冰箱的物品管理方法的流程图。
[0039]图5是用于说明根据本发明的一个实施例的利用影像识别的冰箱的物品管理方法的流程图。
【具体实施方式】
[0040]以下，参照附图对本发明的各实施例进行详细说明。后面介绍的各实施例是为了向本领域技术人员充分地传递本发明的思想而提供的例子。因此，本发明不限于以下说明的各实施例，而能够以其他形式来具体实现。而且，在各附图中，为了便于表示而将结构要素的宽度、长度、厚度等夸张表现。在整个说明书中相同的附图标记表示相同的结构要素。以下的说明中所使用的针对结构要素的后缀“模块”以及“部”是仅考虑说明书制作的容易性而附加或混用，其自身并不具有相互区别的意思或作用。
[0041]图1是执行根据本发明的一个实施例的利用影像识别的冰箱的保管品目管理方法的冰箱的结构框图。
[0042]参照图1，根据本发明的一个实施例的冰箱100包括输入部110、显示部120、数据存储部130、拍摄部140、声音输入部150、控制部160、声音输出部170、通信部180而构成。
[0043]输入部110是为了管理冰箱的保管品目而用于接受所输入的用户的命令的输入装置。例如，输入部130包括触摸面板、键盘。
[0044]显示部120能够显示关于保管品目的信息。显示部120能够显示储藏在冰箱中的各种物品的信息、物品管理信息。显示部120能够向用户显示物品的识别内容/识别确认质疑/用户输入内容/拥有物品信息/数据库内容等。
[0045]数据存储部130能够存储物品信息。物品信息包括关于物品自身的信息(物品自身信息)以及关于物品管理的信息(物品管理信息)。
[0046]物品自身信息作为一例包括物品种类、物品名称、物品形状或者物品重量信息，物品管理信息包括物品的保管位置、保管量、保管期间或者存取履历之类的信息。
[0047]数据存储部130由全局数据库以及本地数据库构成。全局数据库能够存储市场中流通的工业品以及水果/蔬菜等的影像以及针对影像特征的数据。
[0048]本地数据库能够存储对储存在冰箱中的物品进行拍摄得到的影像以及包括该影像的特征的数据，或者存储拍摄冰箱内部得到的影像以及物品的目录。并且，本地数据库在对于该物品的数据已经存在于全局数据库中的情况下。也将该物品的数据进行重复存储。
[0049]拍摄部140将在冰箱100中存取的物品拍摄成视频来获取物品的影像。拍摄部140为了获取视频及静止影像，还可以具备安装在冰箱内部或者外部的一个以上的摄像头。
[0050]拍摄部140所拍摄的区域包括冰箱内部的保鲜间(水果/蔬菜)、普通间、门内侧间、冷冻室以及冰箱外部。由拍摄部140获取的影像能够用于对在冰箱中储存或取出任意的物品的情况进彳丁识别。
[0051]声音输入部150能够获取在冰箱100的物品存取时有可能产生的声音信息以及为了进行物品管理而由用户产生的声音信息。
[0052]声音输入部150为了在品目的储存/取出时设定针对物品的信息而能够获取由用户输入的声音命令。例如，声音输入部150具备安装在冰箱的方向性麦克风。
[0053]通过声音输入部150获取的用户的声音信息能够用于用户确认和修正由拍摄部140识别出的物品。
[0054]并且，由声音输入部150获取的用户的声音信息能够用于输入不包含在服务器数据库以及本地数据库中的针对物品的信息。
[0055]控制部160从拍摄部110所获取的影像中提取物品的区域，并从所提取的物品的区域中提取物品的特征。
[0056]控制部160通过将所提取的影像与数据存储部130的物品信息进行比较来执行对物品的识别。
[0057]并且，控制部160对在冰箱门打开前后的冰箱内获取的影像进行比较，从冰箱的影像中检索产生变化的区域，从而还能够检测物品的存取或者位置变化。并且，控制部160对从声音输入部120输入的用户声音命令进行识别并将其转换成文字。
[0058]通信部180在由用户利用外部设备检索数据的情况下，或者将针对储藏在冰箱100内一定期间以上而需要确认变质与否的物品的品目的通知信息传输给外部设备时，执行所需的数据的传输作业。
[0059]在如此构成的冰箱中利用冰箱的影像识别的物品管理方法如下所述。
[0060]右打开冰箱门，则由拍摄部120开始拍摄视频。拍摄部120继续累积视频而构成背景。该视频在以后能够用于分离物体区域。
[0061]控制部160可从拍摄部120所获取的视频中通过光流(optical flow)来连续扫描运动的像素的方向。
[0062]控制部160可通过扫描结果来识别出用户的手臂进入冰箱内后再退出的情况。
[0063]控制部160在产生了存取事件的情况下，能够利用该场面的视频和之前构成的背景模型来分离物品以及用户手臂的区域。控制部160从所分离的区域中提取特征并存储到本地数据库中，或者从本地数据库或者全局数据库中进行检索。
[0064]在冰箱中储存或者取出的物品的名称能够利用针对由声音输入部150获取的声音的声音识别或者由输入部110输入的用户输入来指定。
[0065]控制部160能够在视频中检测运动矢量(mot1n vector)来识别物品的储存或者取出。控制部160在视频中存在物品的运动时，通过光流(optical flow)而能够检测运动矢量。
[0066]控制部160能够利用在为了在冰箱100中储存物品或者从冰箱取出物品而用户的手臂进入冰箱内或者退出时的主要(dominant)运动矢量的方向相互相反的情况。
[0067]为此，控制部160对运动矢量的方向和整个画面对比运动矢量的量进行模拟，基于其模拟结果来设定临界值。控制部160基于已设定的临界值来获知物品的存取与否。
[0068]控制部160能够从影像中分离检测出物体区域。
[0069]物体区域的分离利用在继续累积视频的各帧时能够将变化少的部分划分为背景的技术。
[0070]SM空制部160将由拍摄部110获取的影像的每个帧利用高斯模型来累积，从而能够获取平均背景影像。
[0071]然后，控制部160对所捕获的识别出物品的存取的帧与所获取的背景影像的差异进行计算，从而大致获取用户的手臂和物体所占的区域。
[0072]控制部160在此基础上，利用边缘(edge)影像来大致获取手臂的位置，从而能够分离出物品的区域。
[0073]控制部160能够从所分离出的物品的区域中提取物品的特征。
[0074]在冰箱100中存取的物品经常产生变形，因此控制部160在物品识别中要利用物品的坚硬(不容易变形)的特征。
[0075]作为对物品的变形坚硬的基准点的提取方法，例如能够使用拐角点、SIFT、SURE、MSER等。这些基准点提取方法是对高斯的检测拉普拉斯算子不变的位置的方法进行变形得到的方法。
[0076]控制部160在为了影像识别而检测出该位置时要存储其周边区域的特征(descriptor)，能够使用影像补丁、边缘直方图(edge histogram)、颜色(color)、质感图案(texture pattern)、最大区域模型(extremal reg1n shape)等。
[0077]在此，控制部160使用影像补丁的方向模型作为特征，能够将在日常生活中有可能存在的大部分特征训练成K-D tree形式。
[0078]并且，控制部160通过这种训练过程迅速检索物品影像的特征属于哪种类型，并存储该物品所具有的特征的类型以及几何学位置关系，从而能够构筑数据库。
[0079]控制部160在检索物品时从物体中提取存储在数据存储部130的物品的特征，并根据具有多少类似的类型的特征而在数据库中提取候补组之后，利用各特征的几何学位置关系来确定识别的结果。
[0080]此时，在冰箱100中物品管理功能能够以独立(stand alone)形来实现，能够以服务器基础形来实现。
[0081]独立方式是如下方式，在输入部110、显示部120、数据存储部130、拍摄部140、声音输入部150、控制部160、声音输