商品登记装置及商品识别方法与流程

本申请主张申请日为2016年01月06日、申请号为us14/989265的美国申请为优先权，并引用上述申请的内容。

本发明的实施例涉及一种商品登记装置及商品识别方法。

背景技术：

识别图像所映入的商品(对象物)的商品登记装置被广泛应用。商品登记装置通过摄像头取得商品的图像，并通过将取得的图像和预先登记的对应每个商品的图像进行比较从而识别图像所映入的商品。

为了运用商品登记装置，需要预先登记识别商品的图像。因此，存在登记多数的商品上需要时间的问题。

技术实现要素：

鉴于上述问题，本发明所要解决的技术问题是，提供一种商品登记装置及商品识别方法，其能够容易地进行商品图像的登记。

为解决上述问题，本发明提供了一种商品登记装置，包括：图像取得部、图像解析部、警告处理部、以及词库登记部。图像取得部取得映入有商品的图像；图像解析部提取在图像中作为人体的部位的图像区域的手腕区域；警告处理部在通过所述图像解析部提取有所述手腕区域时，输出警告；词库登记部在通过所述图像解析部未提取有所述手腕区域时，将通过所述图像取得部取得的图像登记为词库。

根据这样的构成，通过设置图像取得部、图像解析部、警告处理部、以及词库登记部，能够容易地进行商品图像的登记。

对于商品登记装置，在一种可能的实施方式中，所述图像取得部周期地取得图像，所述图像解析部对通过所述图像取得部取得的图像和通过所述图像取得部过去取得的图像进行比较，判定有无变化，所述警告处理部在通过所述图像解析部判定为有变化时，输出警告，所述词库登记部在通过所述图像解析部判定为没有变化且不存在手腕区域时，将通过所述图像取得部取得的图像登记为词库。

根据这样的构成，能够准确地进行商品图像的登记。

对于商品登记装置，在一种可能的实施方式中，所述图像取得部，周期地取得图像，所述词库登记部在通过所述图像解析部所述手腕区域从被提取的状态变成未被提取的状态时，将通过所述图像取得部取得的图像登记为词库。

根据这样的构成，能够根据判定所述手腕区域被提取状态的变化，进行商品图像的登记。

对于商品登记装置，在一种可能的实施方式中，所述图像解析部对通过所述图像取得部取得的图像和通过所述图像取得部过去取得的图像进行比较，判定有无变化，所述警告处理部在通过所述图像解析部判定为有变化时，输出警告，所述词库登记部在从所述手腕区域被提取的状态成为未被提取的状态、且判定为所述图像取得部取得的图像没有变化时，将通过所述图像取得部取得的图像登记为词库。

根据这样的构成，能够根据比较图像有无变化，进行商品图像的登记。

对于商品登记装置，在一种可能的实施方式中，所述图像取得部从周期地摄像放置在台上的商品的摄像头取得图像，所述图像解析部从图像提取所述手腕区域和摄像有所述台的背景区域，基于所述手腕区域的位置和所述背景区域的位置，识别手进行规定动作的情况，所述商品登记装置还包括屏蔽处理部，用于从通过所述图像取得部取得的图像除去通过所述图像解析部提取的所述手腕区域及所述背景区域，所述词库登记部在识别出手进行了规定动作时，将除去所述手腕区域及所述背景区域的图像登记为词库。

根据这样的构成，通过设置屏蔽处理部，能够通过屏蔽处理容易地进行商品图像的登记。

对于商品登记装置，在一种可能的实施方式中，所述图像解析部基于所述手腕区域的位置和所述背景区域的位置，识别手持有所述商品的状态和手离开所述商品的状态，所述词库登记部在从手持有所述商品的状态成为手离开所述商品的状态时，将除去所述手腕区域及所述背景区域的图像登记为词库。

根据这样的构成，能够根据识别的位置关系进行商品图像的登记。

对于商品登记装置，在一种可能的实施方式中，所述图像解析部对通过所述图像取得部取得的图像和通过所述图像取得部过去取得的图像进行比较，判断有无变化，所述警告处理部在通过所述图像解析部判定为有变化时，输出警告，所述词库登记部在从手持有所述商品的状态成为手离开所述商品的状态时，且通过所述图像解析部判定为没有变化时，将除去所述手腕区域及所述背景区域的图像登记为词库。

根据这样的构成，能够屏蔽去除词库登记所不需要的区域。

本发明的第二实施例，提供一种商品登记装置，包括：图像取得部，从摄像放置在台上的商品的摄像头取得图像；图像解析部，从图像提取作为人体的部位的图像区域的手腕区域和所述台所映入的背景区域；屏蔽处理部，从通过所述图像取得部取得的图像除去通过所述图像解析部提取的所述手腕区域及所述背景区域；词库登记部，将除去所述手腕区域及所述背景区域的图像登记为词库。

根据这样的构成，能够容易地进行商品图像的登记。

对于商品登记装置，在一种可能的实施方式中，所述图像取得部周期地取得图像，所述图像解析部对通过所述图像取得部取得的图像和通过所述图像取得部过去取得的图像进行比较，判定有无变化，所述词库登记部在通过所述图像解析部判定为没有变化时，将从通过图像取得部取得的图像除去通过所述图像解析部提取的所述手腕区域及所述背景区域的图像登记为词库。

根据这样的构成，能够在图像没有变化时屏蔽词库不需要的区域进行商品图像的登记。

本发明的第三实施例，提供一种商品识别方法，包括以下步骤：取得映入有商品的图像；在取得的图像中提取作为人体的部位的图像区域的手腕区域；在提取有所述手腕区域时，输出警告；以及在未提取有所述手腕区域时，将图像登记作为词库。

根据这样的方法，能够容易地进行商品图像的登记。

附图说明

下面，参照附图对商品登记装置，及商品识别方法的实施例进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是对一实施例所涉及的商品登记装置的构成例和各构成的配置进行说明的说明图；

图2是对一实施例所涉及的商品登记装置的构成例进行说明的说明图；

图3是对第一实施例所涉及的商品登记装置1的动作进行说明的说明图；

图4是对第二实施例所涉及的商品登记装置1的动作进行说明的说明图；

图5是对第三实施例所涉及的商品登记装置1的动作进行说明的说明图；

图6是对第四实施例所涉及的商品登记装置1的动作进行说明的说明图；

图7是对第五实施例所涉及的商品登记装置1的动作进行说明的说明图。

附图标记说明

1商品登记装置2台

3框架4摄像头

6信息处理装置11显示部

12操作部13接口

14接口15处理器

16rom17ram

18存储器19计时部

20总线

具体实施方式

下面，参照附图对实施例进行说明。

首先，参照图1及图2，对商品登记装置的构成进行说明。

图1是用于对商品登记装置1的构成和各构成的配置进行说明的说明图。图2是用于对商品登记装置1的构成例进行说明的说明图。

商品登记装置1摄像商品取得图像，并通过将取得的图像和预先登记的对应每个商品的图像进行比较，识别摄像图像的商品。如图1所示，商品登记装置1包括台2、框架3、摄像头4、距离传感器5、以及信息处理装置6。

台2是放置有作为识别的对象的商品7的商品配置用的平面。台2以规定的颜色(例如黑色)被涂装。

框架3是支撑摄像头4及距离传感器5的支撑部件。框架3以在台2对置的位置上可安装摄像头4及距离传感器5的方式被构成。

摄像头4是取得图像的摄像装置。摄像头4包括由chargecoupleddevices(ccd：电荷耦合器件)图像传感器、complementarymetaloxidesemiconductor(cmos：互补金属氧化物半导体)图像传感器、或其他摄像元件构成的摄像元件和使摄像元件成像的镜头。摄像头4以镜头的摄像光轴与台2对置的方式安装在框架3上。通过这样构成，摄像头4取得被放置在台2上的商品7的外观的图像(商品的各面的包装的图像)。摄像头4根据信息处理装置6的控制，定时取得图像。此外，摄像头4也可以是周期地取得图像、即取得视频的构成。

距离传感器5是取得距离图像的传感器。距离图像是对应坐标具备对象物和距离传感器5的距离的二维图像。距离传感器5包括诸如立体图像式的传感器、图形光照射式的传感器、或tof(timeofflight：飞行时间)式的传感器等中的任意一个。距离传感器5无论以任意方式的传感器被构成，都具备摄像元件和使摄像元件成像来自比摄像头4的视角宽的范围的光的镜头。距离传感器5以镜头的摄像光轴与台2对置的方式安装在框架3上。通过这样构成，距离传感器5取得表示到台2上的对象物的距离的距离图像。

另外，摄像头4和距离传感器5也可以是一体构成。例如，摄像头4和距离传感器5既可以是共有镜头的构成，又可以是共有镜头和摄像元件的构成。

信息处理装置6基于通过摄像头4取得的图像，进行识别放置在台2上的商品的商品识别处理。此外，信息处理装置6基于通过摄像头4取得的图像，进行预先登记用于商品识别处理的对应每个商品的图像的商品登记处理。如图2所示，信息处理装置6包括显示部11、操作部12、接口13、接口14、处理器15、rom16、ram17、存储器18、以及计时部19。显示部11、操作部12、接口13、接口14、处理器15、rom16、ram17、存储器18、以及计时部19通过总线20以相互可通信状态被连接。

显示部11基于处理器15的控制显示画面。显示部11包括显示面板和使显示面板显示画面的驱动电路。显示面板诸如是液晶显示器、有机el显示器、或用于显示其他的画面的显示装置。

操作部12包括用户用于进行商品登记装置1的各种操作的多个操作部件。操作部件诸如是触摸传感器、键盘以及置数键(数字键)等。触摸传感器诸如是电阻式薄膜触摸传感器或静电电容式触摸传感器等。即，触摸传感器取得表示在某区域内被指定的位置的信息。触摸传感器也可以是通过与上述的显示部11的显示面板一体构成触摸屏，将表示显示面板上的被触摸的位置的信号输入给处理器15的构成。

接口13包括与摄像头4可通信构成的端子。接口13中转处理器15和摄像头4之间的数据的输入输出。

接口14包括与距离传感器5可通信构成的端子。接口14中转处理器15和距离传感器5之间的数据的输入输出。

处理器15是具有执行运算处理的电路的运算元件。处理器15诸如是cpu。处理器15基于rom16、或存储器18所存储的程序及在程序中使用的数据，进行各种处理。

rom16是读取专用的非易失性内存(非易失性存储器)。rom16存储程序及程序所需的数据等。rom16以预先存储有与商品登记装置1的规格对应的程序及程序所需数据的状态安装在信息处理装置6中。

ram17是具有工作内存功能的易失性内存(易失性存储器)。ram17暂时的存储处理器15的处理中的数据等。此外，ram17暂时的存储处理器15所执行的程序。

存储器18是可存储各种信息的存储介质。存储器18存储程序及程序所需的数据等。存储器18诸如是固态硬盘(ssd)、硬盘驱动器(hdd)、或其他的存储装置。此外，存储器18也可以是可插入内存卡等的存储介质的卡插槽等的内存i/f的构成。

计时部19是计时时间经过的时钟。

处理器15通过读出诸如rom16或存储器18所存储的程序及程序所需的数据并执行，从而具有进行用于执行商品识别处理及商品登记处理的各种控制的处理部的功能。例如，处理器15具有图像取得部、定时判定部、图像解析部、词库登记部、警告处理部、标记切换部、屏蔽处理部、以及识别处理部的功能。

图像取得部执行摄像头4的图像的取得。图像取得部通过向摄像头4发送执行摄像的控制信号，控制摄像头4的图像的取得。此外，图像取得部执行距离传感器5的距离图像的取得。图像取得部通过对距离传感器5发送执行摄像的控制信号，控制距离传感器5的距离图像的取得。

定时控制部根据通过计时部19计时的经过时间，控制图像取得部的图像取得的定时。具体地说，定时控制部以图像取得部每隔预先规定的规定时间取得图像的方式控制图像取得部。

图像解析部进行取得的图像的解析。例如，图像解析部对应每个通过摄像头4取得的图像所映入的物体提取区域。图像解析部从摄像头4取得的图像提取推定为映入有商品的区域。

例如，图像解析部对通过摄像头4取得的图像中是否包含有不是台2的区域进行判定。具体地说，图像解析部通过从摄像头4取得的图像除去与台2的颜色(黑色)相同颜色的区域，判断是否映入有台2以外的物体。即，图像解析部从摄像头4取得的图像提取映入有台2的区域作为背景区域，判断图像是否包含有背景区域以外的区域。并且，图像解析部也可以是基于通过距离传感器5取得的距离图像和通过摄像头4取得的图像，提取通过摄像头4取得的图像中的背景区域的构成。这时，图像解析部基于距离图像，识别通过摄像头4取得的图像上的对应各坐标的高度。由于台2的高度是已知，图像解析部将台2的高度作为基准(例如0)，从摄像头4取得的图像中提取没有高度的区域作为背景区域。

此外，例如，图像解析部从通过摄像头4取得的图像提取人体的部位的图像区域。具体地说，图像解析部从通过摄像头4取得的图像提取映入有人的手或腕等的区域(手腕区域)。例如，图像解析部判断在通过摄像头4取得的图像中是否包含有肤色等的区域。具体地说，图像解析部提取是肤色、且从摄像头4取得的图像的边缘伸过来的肤色的区域作为手腕区域。并且，图像解析部也可以是基于通过距离传感器5取得的距离图像和通过摄像头4取得的图像，提取通过摄像头4取得的图像中的手腕区域的构成。这时，图像解析部基于距离图像，对应通过摄像头4取得的图像上的各坐标识别高度。图像解析部通过在图像附近的像素彼此比较高度，对应高度差未满预先设定的阈值的像素识别作为一个区域。图像解析部提取从通过摄像头4取得的图像的边缘伸过来的高度的某区域作为手腕区域。另外，图像解析部也可以是提取除手、腕之外不适于商品的图像登记的物体所映入的区域的构成。这时，图像解析部提取从通过摄像头4取得的图像的边缘伸过来的高度的某区域作为不适于商品的图像登记的物体所映入的区域。

此外，图像取得部也可通过摄像头4周期地取得图像作为视频。这时，图像取得部依次将取得的图像保存到ram17等的缓冲内存中。通过这样，图像解析部能够在摄像头4取得图像时与过去摄像头4取得的图像进行比较。通过这样，图像解析部比较摄像头前一帧图像(第一图像)和本次帧(第二图像)进行比较，判断是否有变化。具体地说，图像解析部在第一图像和第二图像之间计算出相似度，在计算出的相似度不足预先设定的阈值时，判定为第一图像和第二图像有变化。另外，第一图像也可以是合成过去取得的多个帧的图像的图像。此外，图像解析部的第一图像和第二图像的比较既可以是诸如将图像分割成多个块(区域)并以块单位检测出动矢量的构成，也可以是进行特征点匹配的构成。

此外，图像解析部分别将表示图像上的背景区域的范围的信息(背景区域信息)及表示手腕区域的范围的信息(手腕区域信息)保存到ram17等的缓冲内存中。通过这样，图像解析部能够识别过去的手腕区域的范围。图像解析部基于ram17所保存的背景区域信息及手腕区域信息，对从手持有商品的状态向手离开商品的状态变化的情况进行识别。例如，图像解析部基于通过上述的处理识别的手腕区域的位置和不是台2的区域的位置之间的关系，识别持有商品的状态和离开的状态。具体地说，图像解析部在手腕区域和不是台2的区域邻接时识别为持有商品，在手腕区域和不是台2的区域分离时识别为手离开商品。即，图像解析部在手腕区域和不是台2的区域从邻接状态成为分离状态时，判定为手离开了商品。

词库登记部将通过图像解析部推定为映入有商品的图像登记作为词库。此外，词库登记部也可以将推定为映入有商品的区域的图像登记作为词库。词库诸如是商品名称及价格等的商品信息和图像对应的信息。另外，词库诸如对应每个商品具有商品的六面的图像。词库登记部诸如将词库存储到存储器18中。另外，词库登记部也可以是不是登记图像其本身作为词库，而是从图像计算出特征量、并登记计算出的特征量作为词库的构成。另外，商品登记装置1既可以是基于操作部12的操作输入生成商品信息的构成，也可以是通过用于与外部设备进行通信的未图示的通信部从外部设备接受商品信息的构成，又可以是通过连接有内存卡等的存储介质的未图示的内存i/f从存储介质读出商品信息的构成。

警告处理部在通过摄像头4取得的图像是不适于用于登记作为词库的图像时，通过显示部11进行警告显示。另外，在商品登记装置1具备扬声器时，也可以是通过扬声器输出警告音的构成。

标志切换部切换表示是否执行通过摄像头4取得的图像的词库登记的标志的on/off。标志诸如被存储在ram17等中。标志切换部基于图像解析部的解析结果，切换标志的on/off。

屏蔽处理部对通过摄像头4取得的图像，进行设定不作为词库登记的对象的区域(排除区域)的屏蔽处理。屏蔽处理部基于图像解析部的解析结果，将通过摄像头4取得的图像中台2所映入的背景区域及手腕区域设定作为排除区域。这时，词库登记部词库登记通过摄像头4取得的图像中的未设定有排除区域的区域的图像。

识别处理部通过比较通过摄像头4取得的图像和作为词库被登记的图像，识别放置在台2上的商品。具体地说，识别处理部计算出通过摄像头4取得的图像和被登记作为词库的图像的相似度。识别处理部通过从词库提取计算出相似度最高的商品的商品信息，识别商品。通过具备这样的识别处理部，商品登记装置1作为商品识别装置进行动作。

接着，对各个实施例的商品登记装置1的商品登记处理进行说明。

(第一实施例)

图3是用于对第一实施例所涉及的商品登记装置1的商品登记处理进行说明的流程图。

如上所述，在进行制成词库的商品登记处理时，需要取得商品的六个面的图像。在本实施例中，商品登记装置1为了效率的取得商品的多个面的图像，通过每规定时间间隔(例如间隔五秒)进行摄像头4的图像的取得，取得可登记作为词库的图像。根据这样的构成，商品登记装置1的操作者(用户)在摄影的期间边改变商品的方向边每隔规定时间进行摄影。但是，设想为图像中映入有用户的手及腕等或商品的配置没赶上摄影时，商品登记装置1判断通过摄像头4取得的图像是否是可登记作为词库的图像。

处理器15判定是否结束处理(act11)。例如，处理器15在登记预先设定的多枚图像作为词库时、或通过操作部12等输入有结束的指示时，判定为结束处理。处理器15在判定了结束处理时(act11的yes)，结束商品登记处理。

处理器15在判定了未结束处理时(act11的no)，判定是否处于被指定的时刻(act12)。处理器15在判定了不是被指定的时刻时(act12的no)，返回到act11的处理。处理器15在判定了是被指定的时刻时(act12的yes)，取得图像(act13)。通过这样，商品登记装置1每隔规定时间进行摄像头4的图像的取得。

处理器15判定图像是否包含有不是台2的区域(act14)。例如，处理器15从图像提取背景区域，并判定图像是否包含有背景区域以外的区域。

处理器15在判定了图像包含有不是台2的区域时(act14的yes)，从图像提取手腕区域(act15)，并判定图像是否包含有手腕区域(act16)。

处理器15在判定了图像不包含有手腕区域时(act16的no)，词库登记在act13中取得的图像(act17)，并返回到act11的处理。

此外，处理器15在act14中判定了图像不包含有不是台2的区域时(act14的no)、或在act16中判定了图像包含有手腕区域时(act16的yes)，进行警告显示(act15)，并返回到act11的处理。例如，处理器15进行促使重新摄影的警告显示。

根据上述的第一实施例，商品登记装置1以规定时间间隔执行摄影，在取得的图像不包含手腕区域、且图像包含背景区域以外的区域时，登记图像作为词库。通过这样的构成，商品登记装置1防止包含有手腕区域、或未映入有商品的图像被登记作为词库的情况，且能够效率的将商品的多个面的图像登记作为词库。

(第二实施例)

图4是用于对第二实施例所涉及的商品登记装置1的商品登记处理进行说明的流程图。第二实施例所涉及的商品登记装置1通过摄像头4周期地摄像图像、并在比较以前的帧(第一图像)和本次的帧(第二图像)没有变化时，判定为通过摄像头4取得的图像是可登记作为词库的图像。

处理器15判定是否结束处理(act21)。处理器15在判定了结束处理时(act21的yes)，结束商品登记处理。

处理器15在判定了未结束处理时(act21的no)，取得第一图像(act22)。

处理器15判定是否是被指定的时刻(act23)。

处理器12在判定了不是被指定的时刻时(act23的no)，将在act22中取得的第一图像保存到诸如ram17等的缓冲内存中(act24)并返回到act21的处理。处理器15通过反复进行act1至act24的处理，周期地取得第一图像。

处理器15在act23中判定了是被指定的时刻时(act23的yes)，取得第二图像(act25)。

处理器15判定第二图像是否包含有不是台2的区域(act26)。

处理器15在判定了第二图像包含有不是台2的区域时(act26的yes)，比较第二图像和第一图像，并判定在第二图像和第一图像中是否有变化(差异)(act27)。

处理器15判定了在第二图像和第一图像中没有变化(act27的no)，词库登记第二图像(act28)、并返回到act21的处理。

此外，处理器15在判定了在act26中不包含有不是台2的区域时(act26的no)、或在act27中判定了在第一图像和第二图像中有变化时(act27的yes)，进行警告显示(act29)、并返回到act21的处理。例如，处理器15在判定了在第一图像和第二图像中有变化时，警告显示促使重新摄像商品的信息。

根据上述的第二实施例，商品登记装置1在依次取得第一图像的同时，以规定时间间隔取得第二图像，并在取得的第一图像和第一图像没有变化、且第二图像中包含有背景区域以外的区域时，将第二图像登记作为词库。通过这样的构成，商品登记装置1能够将商品处于静止状态下获得的第二图像登记作为词库。即，商品登记装置1防止商品处于非静止状态下获得的图像被登记作为词库、且能够有效的将商品的多个画面的图像登记作为词库。

另外，商品登记装置1也可以是将是否提取有第一实施例中所示的手腕区域的判定结果用于是否将图像登记作为词库的判定的构成。

(第三实施例)

图5是用于对第三实施例所涉及的商品登记装置1的商品登记处理进行说明的流程图。第三实施例所涉及的商品登记装置1通过摄像头4周期地摄像图像，并将进行规定的动作作为触发进行图像的词库登记。具体地说，商品登记装置1在检测出支撑商品的手从视角消除时通过摄像头4取得图像，并词库登记取得的图像。因此，商品登记装置1通过基于图像切换上述的标记，控制商品登记处理。

处理器15将标记为on(act31)。

处理器15取得图像(act32)。

处理器15判定在act32中取得的图像中是否包含有不是台2的区域(act33)。

处理器15在判定了图像中包含有不是台2的区域时(act33的yes)，从图像提取手腕区域(act34)，并判定图像中是否包含有手腕区域(act35)。

处理器15在判定了图像中不包含有手腕区域时(act35的no)，判定标记是否是on(act36)。

处理器15在判定了标记是on时(act36的yes)，词库登记在act32中取得的图像(act37)。

处理器15将标记为off(act38)。

处理器15判定是否结束处理(act39)。处理器15在判定了结束处理时(act39的yes)，结束商品登记处理。

处理器15在判定了未结束处理时(act39的no)，返回到act32的处理。

此外，处理器15在判定了在act36中标记不是on时(act36的no)，过渡到act39的处理。

此外，处理器15在判定了在act33中图像中不包含有不是台2的区域时(act33的no)、或在act35中图像包含有手腕区域时(act35的yes)，将标记为on(act40)，并过渡到act39的处理。

根据上述的第三实施例，商品登记装置1在图像中不包含有不是台2的区域时、或在图像中包含有手腕区域时，推定为改变商品的方向，将标记为on或维持。商品登记装置1在检测出标记为on状态下图像包含有不是台2的区域、且图像不包含有手腕区域时，推定为商品的方向改变结束了，词库登记图像。通过这样的构成，商品登记装置1防止包含有手腕区域、商品的方向的改变未结束或未映入有商品状态的图像被登记作为词库，且能够有效的将商品的多个面的图像登记作为词库。此外，商品登记装置1为了在词库登记图像之后将标记为off的构成，能够防止相同状态的多个图像被登记作为词库。

另外，商品登记装置1也可以是将在第二实施例中所示的过去的帧的图像和本次帧的图像的比较结果用于判定是否执行act37的处理的构成。

(第四实施例)

图6是用于对第四实施例所涉及的商品登记装置1的商品登记处理进行说明的流程图。第四实施例所涉及的商品登记装置1通过摄像头4周期地摄像图像，从取得的图像检测出背景区域及手腕区域，将除去检测出的背景区域及手腕区域外的图像登记作为词库。

处理器15判定是否结束处理(act41)。处理器15在判定了结束处理时(act41的yes)，结束商品登记处理。

处理器15在判定了未结束处理时(act41的no)，判定是否是被指定的时刻(act42)。

处理器15在判定了不是被指定的时刻时(act42的no)，返回到act41的处理。

处理器15在判定了是被指定的时刻时(act42的yes)，取得图像(act43)。

处理器15从图像提取背景区域(act44)。

处理器15从图像提取手腕区域(act45)。

处理器15对图像中的背景区域及手腕区域实施屏蔽处理(act46)。屏蔽处理是具体的选择区域的处理。即，处理器15选择在act43中取得的图像中将除去背景区域及手腕区域的区域登记为词库的区域。

处理器15判定在被实施了屏蔽处理的图像中是否包含有背景区域及手腕区域以外的区域(act47)。在判定了不包含有背景区域及手腕区域以外的区域时(act47的no)，返回到act41的处理。

处理器15在判定了包含有背景区域及手腕区域以外的区域时(act47的yes)，词库登记被实施屏蔽处理的图像(act48)，并返回到act41的处理。

根据上述的第四实施例，商品登记装置1从通过摄像头4取得的图像提取背景区域及手腕区域，并将提取的背景区域及手腕区域设定作为排出区域。商品登记装置1在判定了通过摄像头4取得的图像中有排出区域以外的区域时，词库登记从通过摄像头4取得的图像除去背景区域及手腕区域的图像。通过这样的构成，商品登记装置1防止包含有手腕区域或未映入有商品的状态的图像被登记作为词库，且能够有效的登记商品的多个面的图像作为词库。此外，根据这样的构成，商品登记装置1由于即使手处于摄像头4的视角内时也能够进行词库登记，所以能够减少用户用于词库登记的时间。

另外，商品登记装置1也可以是将在第二实施例中所示的过去帧的图像和本次帧的图像的比较结果用于判断是否执行act48的处理的构成。

另外，在上述的实施例中，虽然对基于通过摄像头4提取的图像及/或通过距离传感器5取得的距离图像提取手腕区域的构成进行了说明，但不限于该构成。商品登记装置1也可以是具备诸如感知温度的热敏传感器，基于热敏传感器的检测结果，提取通过摄像头4取得的图像中的手腕区域的构成。

(第五实施例)

图7是用于对第五实施例所涉及的商品登记装置1的商品登记处理进行说明的流程图。第五实施例所涉及的商品登记装置1通过摄像头4周期地摄像图像，以进行规定动作作为触发对图像进行屏蔽处理，并词库登记实施了屏蔽处理的图像。具体地说，商品登记装置1在从用手拿着商品的状态切换到离开的状态时，进行设定图像上的背景区域及手腕区域作为排出区域的屏蔽处理，词库登记除去排出区域的图像。

处理器15判断是否结束处理(act51)。处理器15在判定了结束处理时(act51的yes)，结束商品登记处理。

处理器15在判定了未结束处理时(act51的no)，取得图像(act52)。

处理器15从图像提取背景区域(act53)。

处理器15从图像提取手腕区域(act54)。

处理器15将背景区域信息及手腕区域信息保存到缓冲区(act55)。

处理器15对图像中的背景区域及手腕区域实施屏蔽处理(act56)。

处理器15判定在被实施屏蔽处理的图像中是否包含有背景区域及手腕区域以外的区域(act57)。

处理器15在判定了包含有背景区域及手腕区域以外的区域时(act57的yes)，判定手是否离开了商品(act58)。

处理器15在判定了手离开了商品时(act58的yes)，词库登记被实施了屏蔽处理的图像(act59)，并返回到act51的处理。

处理器15在act57中判定了不包含有背景区域及手腕区域以外的区域时(act57的no)、或在act58中判定了手未离开商品时(act58的no)，返回到act51的处理。

根据上述的第五实施例，商品登记装置1将背景区域信息及手腕区域信息保持到ram17等中，通过识别推定为图像的映入有商品的区域和手腕区域的位置关系，识别手持有商品的状态和手从商品离开的状态。商品登记装置1在手持有商品的状态和手从商品离开的状态切换时，词库登记实施了屏蔽处理的图像。通过这样的构成，商品登记装置1防止包含有手腕区域或商品未映入状态的图像被登记作为词库，且能够有效的将商品的多个面的图像登记作为词库。此外，根据这样的构成，商品登记装置1即使在手处于摄像头4的视角内时也能够进行词库登记，能够减少用户用于词库登记的时间。

另外，商品登记装置1也可以是将在第二实施例中所示的过去的帧的图像和本次帧的图像的比较结果用于判定是否执行act59的处理的构成。

另外，在上述的图3至图7中，虽然对商品登记装置1进行商品登记处理时的处理进行了说明，但商品登记装置1也可以是在进行商品识别处理时进行图3至图7中所示的处理的构成。即，商品登记装置1是基于图3至图7所示的处理结果，判定是否进行词库登记的构成，不限于已说明的该构成。也可以是基于图3至图7所示的处理结果判定进行商品识别处理的构成。

此外，虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

在本发明中，提供了一种商品登记装置，包括：图像取得部、图像解析部、警告处理部、以及词库登记部。图像取得部取得映入有商品的图像；图像解析部提取在图像中作为人体的部位的图像区域的手腕区域；警告处理部在通过所述图像解析部提取有所述手腕区域时，输出警告；词库登记部在通过所述图像解析部未提取有所述手腕区域时，登记通过所述图像取得部取得的图像作为词库。通过这样，能够容易地进行商品图像的登记。

在本发明中，所述图像取得部周期地取得图像，所述图像解析部对通过所述图像取得部取得的图像和通过所述图像取得部过去取得的图像进行比较，判定有无变化，所述警告处理部在通过所述图像解析部判定为有变化时，输出警告，所述词库登记部在通过所述图像解析部判定为没有变化且不存在手腕区域时，登记通过所述图像取得部取得的图像作为词库。通过这样，能够准确地进行商品图像的登记。

在本发明中，所述图像取得部，周期地取得图像，所述词库登记部在通过所述图像解析部所述手腕区域从被提取有的状态变成未被提取有的状态时，登记通过所述图像取得部取得的图像作为词库。通过这样的构成，能够根据判定所述手腕区域被提取状态的变化，进行商品图像的登记。

在本发明中，所述图像解析部对通过所述图像取得部取得的图像和通过所述图像取得部过去取得的图像进行比较，判定有无变化，所述警告处理部在通过所述图像解析部判定为有变化时，输出警告，所述词库登记部在从所述手腕区域被提取的状态成为未提取状态、且判定为所述图像取得部取得的图像没有变化时，登记通过所述图像取得部取得的图像作为词库。通过这样，能够根据比较图像有无变化，进行商品图像的登记。

在本发明中，所述图像取得部从周期地摄像放置在台上的商品的摄像头取得图像，所述图像解析部从图像提取所述手腕区域和摄像有所述台的背景区域，基于所述手腕区域的位置和所述背景区域的位置，识别手进行规定动作的情况，所述商品登记装置还包括屏蔽处理部，用于从通过所述图像取得部取得的图像除去通过所述图像解析部提取的所述手腕区域及所述背景区域，所述词库登记部在识别手进行了规定动作时，登记除去所述手腕区域及所述背景区域的图像作为词库。通过这样，通过设置屏蔽处理部，能够通过屏蔽处理容易地进行商品图像的登记。

在本发明中，所述图像解析部基于所述手腕区域的位置和所述背景区域的位置，识别手抓所述商品的状态和手离开所述商品的状态，所述词库登记部在从手抓所述商品的状态成为手离开所述商品的状态时、且通过所述图像解析部判定为没有变化时，将除去所述手腕区域及所述背景区域的图像登记作为词库。通过这样，能够根据识别的位置关系进行商品图像的登记。

在本发明中，所述图像解析部对通过所述图像取得部取得的图像和通过所述图像取得部过去取得的图像进行比较，判断有无变化，所述警告处理部在通过所述图像解析部判定为有变化时，输出警告，所述词库登记部在从手抓所述商品的状态成为手离开所述商品的状态时，且通过所述图像解析部判定为没有变化时，将除去所述手腕区域及所述背景区域的图像登记作为词库。通过这样，能够屏蔽去除词库登记所不需要的区域。

此外，本发明中，提供一种商品登记装置，包括：从摄像放置在台上的商品的摄像头取得图像的所述图像取得部；图像解析部，从图像提取作为人体的部位的图像区域的手腕区域和所述台所映入的背景区域；屏蔽处理部，从通过所述图像取得部取得的图像除去通过所述图像解析部提取的所述手腕区域及所述背景区域；词库登记部，将除去所述手腕区域及所述背景区域的图像登记作为词库。通过这样，能够容易地进行商品图像的登记。

在本发明中，所述图像取得部周期地取得图像，所述图像解析部对通过所述图像取得部取得的图像和通过所述图像取得部过去取得的图像进行比较，判定有无变化，所述词库登记部在通过所述图像解析部判定为没有变化时，将从通过图像取得部取得的图像除去通过所述图像解析部提取的所述手腕区域及所述背景区域的图像登记作为词库。通过这样，能够在图像没有变化时屏蔽词库不需要的区域进行商品图像的登记。

此外，在本发明中，提供一种商品识别方法，包括以下步骤：取得映入有商品的图像；在取得的图像中提取作为人体的部位的图像区域的手腕区域；在提取有所述手腕区域时，输出警告；以及在未提取有所述手腕区域时，将图像登记作为词库。通过这样，能够容易地进行商品图像的登记。