55]显示器221根据CPU211的指示来显示面向操作人员的信息。触摸面板222接受针对由显示器221显示的信息的操作的输入。顾客用显示器24根据CPU211的指示来显示面向顾客的信息。
[0056]键盘23由多个操作键构成，受理操作人员的操作输入。
[0057]接口 25与P0S终端3的接口 35连接，使得能够与P0S终端3之间进行数据收发。
[0058]左光电传感器26L和右光电传感器26R例如是扩散反射型的光电传感器，投光器和受光器被一体地形成。若从该投光部发出的光命中检测对象的物体(商品)，则从该物体反射的光入射到受光部从而光量增加，能够进行该物体的检测。
[0059]照相机27是彩色(XD图像传感器、彩色CMOS图像传感器等，是在CPU211的控制下，从读取窗52(图1参照)进行摄像的摄像单元。照相机27进行例如30[fps]的运动图像的摄像。照相机27以给定帧速率依次摄像得到的帧图像(摄像图像)被保存在RAM213中。
[0060]扬声器28产生预先设定的警告音等。扬声器28在CPU211的控制下进行基于警告音或声音的通知。
[0061]电源29向该商品辨别装置2的各部供给电力。
[0062]接口 25与P0S终端3的接口 35连接，使得能够与P0S终端3之间进行数据收发。
[0063]P0S终端3包含微型计算机31、显示器321、触摸面板322、键盘33、顾客用显示器34、接口 35、HDD36、抽屉37、打印机38、和电源39而构成。
[0064]微型计算机31执行信息处理。该微型计算机31将R0M312和RAM313总线连接于执行各种运算处理并对各部进行控制的CPU311而构成。抽屉37、键盘33、显示器321、触摸面板322、顾客用显示器34、和HDD36 (Hard Disk Drive，硬盘驱动器)经由内部总线、各输入输出电路而连接于CPU311。它们受到CPU311的控制。
[0065]显示器321根据CPU311的指示来显示面向操作人员的信息。触摸面板322接受针对由显示器321显示的信息的操作的输入。顾客用显示器34根据CPU311的指示来显示面向顾客的信息。
[0066]键盘33包含临时关闭键331、关闭键332、和数字小键盘333而构成，受理操作人员的操作输入。数字小键盘333由0?9的数字键和各种运算符键构成。
[0067]在HDD36中存储有程序、各种文件。存储在HDD36中的程序、各种文件的全部或一部分在P0S终端3起动时被复制到RAM313中并由CPU311来执行。在HDD36中，例如记录特征量文件361，但也可以记录商品销售数据处理用的程序。特征量文件361是针对陈列于店铺来销售的每一个经营商品设定了与商品的销售额登录相关的信息、和与该商品的图像的关联的商品文件，作为经营商品的辞典而发挥作用。
[0068]接口 35与商品辨别装置2连接，使得能够与商品辨别装置2之间进行数据收发。
[0069]打印机38在收据等上进行打印。P0S终端3在CPU311的控制下将各交易的交易内容打印在收据上。
[0070]电源39向该P0S终端3的各部供给电力。
[0071]图3是表示第1实施方式中的商品登录装置1的概略的功能框图。在以下的说明中，适当参照图1和图2。
[0072]商品辨别装置2的CPU211通过执行保存在R0M212中的程序，来实现图像取得部90、物体检测部91、时间序列判断部92、类似度运算部93、类似度判断部94、确定通知部95、候补商品提示部96、输入取得部97、信息输出部98的各部。此外，同样地，P0S终端3的CPU311通过执行保存在HDD36中的程序，来实现销售额登录部991、销售额取消部992的各部。在P0S终端3的HDD36中还保存特征量文件361。
[0073]图像取得部90向照相机27输出摄像开启(0N)信号，使该照相机27开始摄像动作。进而图像取得部90依次取入由照相机27摄像而保存在RAM213中的帧图像。图像取得部90所进行的帧图像的取入按照保存到RAM213中的顺序来进行。
[0074]物体检测部91利用模式匹配(pattern matching)技术等来检测由图像取得部90取入的帧图像中包含的物体的全部或一部分。
[0075]具体来说，若操作人员为了销售额登录而使商品朝向读取窗52，则图像取得部90通过照相机27对该商品的图像进行拍摄。物体检测部91将所取入的帧图像二值化来提取轮廓线。接着物体检测部91对从上次的帧图像中提取的轮廓线和从本次的帧图像中提取的轮廓线进行比较，来检测作为该商品的物体。
[0076]以下示出另外的具体方法。若操作人员为了销售额登录而用手把持商品朝向读取窗52，则图像取得部90通过照相机27对该商品以及手的图像进行拍摄。物体检测部91从所取入的帧图像中检测肤色区域的有无。在检测到肤色区域的情况下，即在检测到店员的手的情况下，物体检测部91在该肤色区域的附近检测轮廓线。由此，提取被认为由操作人员的手所把持的商品的轮廓。物体检测部91在检测到表示手的形状的轮廓、且在手的轮廓的附近进一步检测到除此以外的物体的轮廓的情况下，根据该物体的轮廓来检测商品。
[0077]时间序列判断部92根据右光电传感器26R的物体的探测结果、基于照相机27的拍摄图像的物体的探测结果、和左光电传感器26L的物体的探测结果的时间序列，来判断对应的处理。
[0078]类似度运算部93从由照相机27摄像得到的商品的图像中，读取该商品的配色、表面的凹凸状况等表面状态作为特征量。类似度运算部93不考虑该商品的轮廓、大小。由此类似度运算部93能够缩短处理时间。
[0079]类似度运算部93进一步从记录在特征量文件361中的各商品(以下，称作经营商品)的商品图像中读取该经营商品的配色、表面的凹凸状况等表面状态作为特征量，并与所拍摄到的商品的特征量分别进行比较，由此计算所拍摄到的商品和记录在特征量文件361中的经营商品的类似度。在此所谓类似度，表示在将记录在特征量文件361中的各商品所设想的商品图像设为100%的类似度的情况下，商品的全部或一部分图像类似到何种程度。另外，类似度运算部93例如也可以改变配色和表面的凹凸状况的权重来计算类似度。
[0080]像这样，对图像中包含的物体进行识别被称作一般物体识别(generic objectrecognit1n)。在柳井启司著的“一般物体识别的现状与未来”中，将一般物体识别的研究的调查加入到方法中，进行数据集、评价基准，并进一步对其未来进行了展望。
[0081]柳井启司，“一般物体识别的现状与未来”，[online]，信息处理学会论文杂志，2007年11月15日，Vol.48,N0.SIG16，1-24页，[平成26年9月8日检索]，因特网〈URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf>
[0082]此外，通过按照每个对象对图像进行区域分割来进行一般物体识别的技术在下述文献中进行了解说。
[0083]Jamie Shotton 等，“Semantic Texton Forests for Image Categorizat1nand Segmentat1n，，，Computer Vis1n and Pattern Recognit1n、2008.CVPR2008.1EEEConference on，[平成 26 年 9 月 8 日检索]，因特网〈URL:http://citeseerx.1st.psu.edu/viewdoc/download ? doi = 10.1.1.145.3036&re p = rep l&type = pdf>
[0084]另外，摄像得到的商品的图像与记录在特征量文件361中的经营商品的商品图像的类似度的计算方法并没有特别的限制。例如，既可以将摄像得到的商品的图像与记录在特征量文件361中的各经营商品的类似度作为绝对评价来进行计算，也可以作为相对评价来进行计算。
[0085]在将类似度作为绝对评价来进行计算的情况下，将摄像得到的商品的图像与记录在特征量文件361中的各经营商品1对1地进行比较，并直接采用该比较的结果所导出的类似度即可。此外，在将类似度作为相对评价来进行计算的情况下，使得与各经营商品的类似度的总和为1.0(100% )地进行计算。例如，设为在特征量文件361中记录了 4个商品#1?#4。此时摄像得到的商品例如被计算为相对于商品#1的类似度为0.65，相对于商品#2的类似度为0.2，相对于商品#3的类似度为0.1，相对于商品#4的类似度为0.05等。
[0086]类似度判断部94按照图像取得部90所取入的每个帧图像，对商品的图像与记录在特征量文件361中的商品图像的类似度进行比较。在本实施方式中，关于经营商品的商品图像与商品的拍摄图像的类似度设置有多个条件。类似度判断部94根据这些被满足的条件来进行经营商品的确定或选定商品的候补。与类似度有关的条件虽然没有特别限定，但以下对使用条件X、Y、Z的情况进行说明。
[0087]在此，条件X以及条件Y是用于将帧图像上的物体确定为在特征量文件361中记录的经营商品的其中之一的条件。此外，条件Z是用于根据帧图像上的物体来提取记录在特征量文件361中的经营商品的候补的条件。
[0088]类似度判断部94例如将满足条件X或者/以及条件Y的经营商品判定为与帧图像上的物体一对一地对应的商品。此外，类似度判断部94将满足条件Z的经营商品判定为照相机27所摄像的商品的候补而并非确定商品。而且，类似度判断部94通过从记录在特征量文件361中的多个经营商品中提取满足条件Z的经营商品，来提取针对所拍摄到的商品的经营商品的候补。
[0089]条件X?Z只要根据类似度来阶段性地设定则其详情并无特别限定，但作为一例，可以通过预先设定的多个阈值来设置条件X?Z。在此，对通过阈值Tx?Τζ来设定条件X?Ζ的情况进行说明。另外，设为按照阈值Tx?Τζ的顺序减小。
[0090]类似度判断部94对与经营商品的类似度成为预先决定的阈值Tx以上的次数进行计数，在该次数成为给定次数以上的情况下判定为满足条件X。
[0091]此外，类似度判断部94在与经营商品的类似度不足阈值Tx、并且成为阈值Ty以上的情况下，判定为满足条件Y。然后，将满足条件Y的经营商品判定为虽然是确定商品但需要操作人员所进行的确认操作。
[0092]进而，类似度判断部94在与经营商品的类似度不足阈值Ty、并且为阈值Τζ以上的情况下，判定为满足条件Ζ。
[0093]另外，各条件X?Ζ能够根据类似度的大小等来适当设定，并不限定于所述的例子。
[0094]确定通知部95通过图像输出、声音输出等来向操作人员、顾客通知由照相机27摄像的商品被唯一地确定为满足条件X或者/以及条件Υ的经营商品。
[0095]更详细来说，确定通知部95使显示器221显示表示满足了条件X的经营商品被唯一地确定为由照相机27摄像的商品(确定商品)的确定画面，并将与确定商品有关的?目息输出到扬声器28。扬声器28通过对所输入的信息进行输出，来将表示确定商品的信息通知给操作人员、顾客。
[0096]此外，确定通知部95在显示器221上显示对满足了条件Υ的经营商品(确定商品)是否为由照相