商品ID，将与该商品ID对应的商品的商品分类、商品名、单价等的销量登记的相关信息记录于销量主文件(未图示)并进行销量登记。POS终端2具有:微型计算机21、显示器22、触摸屏23、键盘24、顾客用显示器25、接口26、HDD27(Hard Disk Drive)、抽屉 28、打印机 29 和电源 30。
[0044]微型计算机21用于控制P0S终端2具有的各设备，并包含CPU211、R0M212和RAM213。CPU21UR0M212和RAM213由总线连接，读取存储于R0M212的程序，并在RAM213展开，使CPU211执行各种处理。
[0045]另外，在CPU211，显示器22、触摸屏23、键盘24、顾客用显示器25、接口 26、HDD27、抽屉28、打印机29和电源30利用内部总线及输入输出电路(未图示)连接。
[0046]显示器22根据CPU211的指令，将有关商品的信息向操作员显示。触摸屏23接受关于显示器22显示的信息的操作。
[0047]键盘24具有:在进行销量登记的临时合计(临时会计)时，按下的临时合计键241 ;进行销量登记的总计(会计)时，按下的合计键242 ;含有数字键?各种运算符的键的小键盘243。
[0048]顾客用显示器25根据CPU211的指令，将规定的信息向顾客提示。
[0049]接口 26用于在P0S终端2和商品识别装置1之间输入输出数据。接口 26与P0S终端2具备的总线连接，而且，与商品识别装置1具备的接口 13连接。
[0050]在HDD27 (存储单元)存储程序及各种文件。存储于HDD27的程序及各种文件在P0S终端2启动时，其全部或一部分复制至RAM213，并由CPU211执行复制至RAM213的程序。在HDD27，存储有关各商品的特征量文件文件271。特征量文件271是对陈列于店铺并出售的各商品的关于商品的销量登记的信息和该商品的基准图像信息之间关联设定的商品文件。
[0051]抽屉28收装现金等，并利用键盘24按规定的操作打开。
[0052]打印机29根据CPU211的指令，将有关商品的交易内容打印在收据上。
[0053]电源30是P0S终端2具有的各设备的电源，并与所述的各设备连接。
[0054]图3是商品识别装置1含有微型计算机11的功能框图。微型计算机11具有:图像信息取得部11a、对象物检测部11b、识别处理部11c、相似度计算部lld、相似度判定部lie、显示控制部Ilf、输入信息取得部llg、追加登记部llh和信息输出部lli。所述的各结构的功能，例如通过商品识别装置1的CPU111(参照图2)执行存储于R0M112(参照图2)的程序具体化。
[0055]图像信息取得部11a向相机14输出拍摄开启信号，使相机14执行摄像，并依次获取利用拍摄对象物得到的帧图像(图像数据)。
[0056]由图像信息取得部11a获取的帧图像，按顺序将该帧图像保存于RAM113(参照图
2) ο
[0057]对象物检测部lib根据模式匹配等检出包含由图像信息取得部11a取得的帧图像的对象物的全部或一部分。例如，对象物检测部lib将由相机14拍摄对象物获取的帧图像二值化并抽出轮廓线，根据该轮廓线检测出对象物。
[0058]识别处理部1 lc在由相机14拍摄对象物取得的帧图像中，根据物体识别进行识别处理。即，识别处理部11c具有从如上述那样对象物检出的帧图像抽出作为图像信息的，对象物的色调、形状(含有表面的凹凸)、大小等的特征量的识别对象物的功能。
[0059]这样，识别图像中含有的对象物称为一般物体识别(generic objectrecognit1n)。在柳井启司著的“一般物体识别的现状和未来”中，除了一般物体识别的研究调查手法外，还进行数据组、评价基准，而且对其今后的展望。
[0060]柳井启司“一般物体识别的现状和未来”，“online”、信息处理学会论文志，2007年11月15日，Vol.48，N0.SIG16、1-24页，(平成26年9月8日检索)，互联网
[0061]另外，在下述的文献中记载有，将图像按每个目标物进行区域分割，由此进行一般物体识别的技术。
[0062](Jamie Shotton 等，“Semantic Texton Forests for Image Categorizat1nand Segmentat1n，，，Computer Vis1n and Pattern Recognit1n, 2008.CVPR 2008.1EEEConference on，(2014年9月8日检索)，互联网)
[0063]相似度计算部lid将作为由识别处理部11c识别的结果的抽出的特征量等的图像信息与存储于HDD27的各商品的基准图像信息进行比较参照，计算对象物和各商品之间的相似度。这里，“相似度”为以图像数据表示对象物相对于商品具有何种程度的相似度的值。即，对象物的图像与商品的图像完全一致时，相似度为100%。另外，对象物的图像与商品的图像存在较大不同时，相似度为较低。
[0064]相似度判定部lie判定由相似度计算部lid计算的相似度是否包含在规定范围内。
[0065]S卩，相似度判定部lie判定，在特征量文件271中存储基准图像信息的商品中基准图像信息与由相机14拍摄的对象物的图像信息相比相似度最高的商品与基准图像信息的相似度是否包含在第1范围(例如，70%以上)内。第1范围设定为，使与对象物对应的商品的候选中该相似度最高的商品集中为1个，仅由操作员确认对象物是否符合该商品即可。
[0066]S卩，与对象物的相似度包含在第1范围的商品存在时，相似度判定部lie将相似度最尚的商品的商品ID等向显不控制部1 If输出。
[0067]另外，相似度判定部lie判定对象物的图像信息和各商品的基准图像信息之间的相似度是否包含在第2范围(例如，50%?70% )中。第2范围为设定，虽然具有符合对象物可能性的商品存在1个或多个，但不能确定是符合哪个商品的范围。
[0068]在不存在与对象物的相似度包含在第1范围的商品，且包含在第2范围的商品存在1个或多个时，相似度判定部lie，将该商品的商品ID等向显示控制部Ilf输出。
[0069]另外，相似度判定部lie判定对象物的图像与商品的图像的相似度是否在第3范围(例如，小于50% )。第3范围设定为未查询到与对象物类似的商品的范围。
[0070]仅存在与对象物的相似度包含在第3范围的商品(也就是，不存在包含于第1范围、第2范围的商品)时，相似度判定部lie将其主旨的信息向显示控制部Ilf输出。
[0071]显示控制部Ilf根据相似度判定部lie的判定结果，在显示器121显示规定的画面。
[0072]具体地，存在与对象物的相似度包含于第1范围(例如，70%以上)的商品时，显示控制部Ilf将有关该商品的确认画面(参照图5A)在显示器121显示。
[0073]另外，在存在与对象物的相似度包含在第2范围(例如50%?70% )的商品时，显示控制部Ilf将为商品候选的该商品相关的选择画面(图5B)在显示器121显示。
[0074]另外，在不存在与对象物的相似度包含在第3范围(例如，小于50%)的商品时，显示控制部Ilf将未查询到与对象物类似的商品的主旨的错误信息向显示器121显示。
[0075]输入信息取得部llg具有接受操作员利用触摸屏122操作的功能。具体地，输入信息取得部llg在前述的确认画面(图5A)显示于显示器121的情况下，接受显示的商品是否符合对象物的确认输入。
[0076]另外，输入信息取得部llg在前述的选择画面(图5B)显示于显示器121时，接受商品的候选中的选择输入。
[0077]追加登记部llh利用对触摸屏122的操作，指定商品的候选中符合对象物的商品时，使对象物的图像信息作为该商品的基准图像信息进行追加登记，以使对象物包含于该商品。具体地，在与对象物的相似度包含于第2范围(例如，50%以上而小于70%)的商品中选择一的商品时，追加登记部llh将该对象物从下次进行追加登记以包含于该商品(也就是，判定相似度为70%以上)。另外，追加登记部llh将与追加登记相关的信息存储于特征量文件271。后面对有关追加登记的处理进行详细说明。
[0078]信息输出部lli具有将由输入信息取得部llg取得的信息向P0S终端2输出的功能。具体的，信息输出部lli将操作员利用触摸屏122确认或选择的商品的商品ID等向P0S终端2的销量登记部21a输出。另外，利用键盘123(参照图2)等从商品表中选择商品时，信息输出部lli将该商品的商品ID等向P0S终端2输出。
[0079]P0S终端2的销量登记部21a具有对由操作员确认或选择的商品进行销量登记的功能。由销量登记部21a进行销量登记的结果存储于HDD27，而且由打印机29(参照图2)打印在收据上。
[0080]商品登记装置的动作
[0081 ] 图4是表示商品登记装置S根据执行的物体识别进行商品登记处理的流程图。图4中表示的一系列的处理，是在通过操作员的操作进行收纳于筐Kl(参照图1)的对象物(商品)的精算的状况下执行。
[0082]在步骤S101中，商品登记装置S利用对象物检测部li