专利名称：信息处理装置、店铺系统及信息处理方法
技术领域：
本发明涉及一种信息处理装置、店铺系统及信息处理方法。
背景技术：
近年来，有一种一般物体识别所涉及的技术，从图像传感器装置摄像了成为对象的物品(目的物)的图像数据中抽取所述对象物品的特征量，通过与预先准备的在词库中的核对用数据(特征量)进行比较从而计算出相似度，并按照计算出的相似度识别(检测出)所述物品的种类等。此外，提案有一种店铺系统，将该一般物体识别所涉及的技术用于蔬菜和水果等的商品的识别从而对识别出的商品进行销售登记。不过，在上述的一般物体识别所涉及的技术中，不仅要识别(检测出)物品的类别(商品)，还要连品种也要识别(检测出)。不过，当在将相似度作为相对评价进行计算的情况下识别(检测出)到品种时，则物品的类别(商品)所包含的品种越多各品种的相似度就会变得越低，其结果，作为成为对象物的候补的商品，往往有多个品种和其他商品混在一起被识别的情况，从而存在有反而妨碍商品的选定的可能性。
发明内容
鉴于上述问题，本发明的目的在于提供一种信息处理装置、店铺系统以及信息处理方法，其在不增加部件的前提下能够提高物品的识别率。本发明涉及的信息处理装置，包括:采集部，采集摄像部摄像的图像；相似度计算部，用于计算出相似度，该相似度表示通过所述摄像部摄像的物体的图像和与表示关于登记在词库中的各登记商品的信息的上位分类同时登记的所述各登记商品的基准图像相似哪种程度；判定部，比较所述采集部采集到的每个图像与基准图像的相似度，判定合计了属于相同的所述上位分类的多个品种的相似度的所述上位分类的相似度是否满足规定条件；以及告知部，当在所述判定部中满足了所述规定条件时，告知关于与满足了所述规定条件的所述多个品种对应的商品的信息，作为所述摄像的商品的候补。
图1是表示实施例的结账系统的一例立体图。图2是表示POS终端及商品读取装置的硬件构成的框图。图3是例示PLU文件的数据构成的概念图。图4是表示POS终端及商品读取装置的功能构成的框图。图5是表示帧图像的一例图。
图6是表不确定画面的一例图。图7是表不确定画面的一例图。图8是表不显不有商品候补的实例图像的画面例的图。图9是表示商品候补的品种选择画面例的图。图10是表示商品识别处理的顺序的流程图。图11是表示销售登记处理的顺序的流程图。图12是表示自助POS的构成的外观立体图。图13是表示自助POS的硬件构成的框图。
具体实施例方式下面，参照附图，以结账系统为例对本实施例所涉及的信息处理装置、店铺系统及程序进行说明。店铺系统是具有进行一交易所涉及的商品的登记、对账的POS终端的结账系统(P0S系统)等。本实施例是向引进到超市等店铺中的结账系统的应用例。图1是表不结账系统I的一例立体图。如图1所不，结账系统I具有读取与商品有关的信息的商品读取装置101、以及进行一交易所涉及的商品的登记、对账的POS终端11。以下，对将商品读取装置101作为本实施例所涉及的信息处理装置进行应用的例子，进行说明。POS终端11被载置在结账台41上的拉出装置21上面。POS终端11控制拉出装置21的开放动作。在POS终端11的上表面上配置有由操作员(店员)进行按下操作的键盘22。从操作键盘22的操作员角度看，在键盘22的里侧设置有朝向操作员显示信息的显示器23。显示器23在其显示面23a上显示信息。显示面23a层压有触摸面板26。在位于显示器23的更里侧可旋转地立着设置有顾客用显示器24。顾客用显示器24在其显示面24a上显示信息。另外，虽然图1所示的顾客用显示器24将显示面24a朝向图1中的跟前侧，但是通过以显示面24a朝向图1中的里侧的方式使顾客用显示器24旋转，顾客用显示器24向顾客显示信息。长条桌子状的柜台151以与载置有POS终端11的结账台41形成为L字的方式来配置。在柜台151的上表面上形成有负荷接受面152。负荷接受面152载置有收纳商品G的购物筐153。购物筐153可以考虑划分为通过顾客带来的第一购物筐153a和被载置在与第一购物筐153a隔着商品读取装置101的位置的第二购物筐153b。另外，购物筐153 (第一购物筐153a)并不限定于所谓的筐形状，也可以是托盘等。此外，购物筐153 (第二购物筐153b)并不限定于所谓的筐形状，也可以是箱状或袋状等。在柜台151的负荷接受面152上设置有可与POS终端11数据发送接收地连接的商品读取装置101。商品读取装置101具有薄的长方形形状的外壳102。在外壳102的正面配置有读取窗103。在外壳102的上部安装有显示/操作部104。显示/操作部104设置有作为在表面上层压有触摸面板105的显示部的显示器106。在显示器106的右边设置有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员的角度看，在显示/操作部104的背面靠左侧设置有用于向顾客提供信息的顾客用显示器109。这样的商品读取装置101具有商品读取部110 (参照图2)。商品读取部110在读取窗103的里侧配置有摄像部164 (参照图2)。
顾客带来的第一购物筐153a收纳有一交易所涉及的商品G。第一购物筐153a内的商品G通过操作商品读取装置101的操作员被移动到第二购物筐153b。在该移动过程中，商品G被朝向商品读取装置101的读取窗103。这时，配置在读取窗103内的摄像部164(参照图2)摄像商品G。商品读取装置101在显示/操作部104上显示用于指定通过摄像部164摄像的图像所包含的商品G与后述的PLU文件Fl (参照图3)所登记的哪个商品对应的画面，并将指定了的商品的商品ID通知给POS终端11。POS终端11基于来自商品读取装置101通知的商品ID，将与该商品ID对应的商品的商品分类、商品名称、单价等销售登记所涉及的信息登记到销售主文件(未图示)等中，从而进行销售登记。图2是POS终端11及商品读取装置101的硬件构成的框图。POS终端11具有作为执行信息处理的信息处理部的微机60。微机60由在执行各种运算处理并控制各部的CPU(Central ProcessingUnit:中央处理器)61 上总线连接有 ROM (Read Only Memory:只读存储器)62和RAM (Random Access Memory:随机存取存储器)63而构成。上述的拉出装置21、键盘22、显示器23、触摸面板26以及顾客用显示器24均通过各种输入输出电路(均未 图示)与POS终端11的CPU61连接，并接受CPU61的控制。键盘22包括在上面显示有“1”、“2”、“3”……等的数字、“ X ”的乘法的算符的数字键22d、临时合计键22e及合计键22f。POS 终端 11 的 CPU 61 连接有 HDD 64 (Hard Disk Drive:硬盘驱动器)。HDD 64存储有程序、各种文件。HDD 64所存储的程序、各种文件在POS终端11起动时，其全部或一部分被复制到RAM63并通过CPU 61执行。HDD 64所存储的程序的一例是商品销售数据处理用的程序PR。HDD 64所存储的文件的一例是从存储计算机SC分配存储的PLU文件Fl。PLU文件Fl是作为词库使用的文件，其是对陈列在店铺中并进行销售的商品G的各个商品，设定有商品G的销售登记所涉及的信息和该商品G的图像的关联的商品文件。图3是例示出PLU文件Fl的数据构成的概念图。如图3所示，PLU文件Fl是将对应每个商品G单独地分配的商品ID、商品G所属的商品分类、商品名称、单价等的与商品有关的信息、摄像该商品的商品图像(基准图像)、表示该商品的实例图像、以及从已摄像的商品图像或基准图像中读取的色彩和表面的凹凸状况等的特征量，作为该商品G的商品信息进行存储的文件。此外，特征量用于后述的相似度的判定。另外，PLU文件Fl具有商品读取装置101通过后述的连接接口 65可读出的构成。另外，当不仅需要识别(检测出)物品的类别(商品)还需要识别(检测出)到品种时，如图3所示，PLU文件Fl对应每个品种对商品名和单价等的关于商品的信息、摄像该商品的商品图像(基准图像)、表示该商品的实例图像以及特征量进行管理。例如，当物品的类别(商品)为“ 'J ” 3'' (苹果)”时，对应象I；(富士)”、“ ''/ 3 f 3'' - A F (乔纳金)”、“o if h(津轻)”、“紅玉(红玉)”那样的每个品种，对商品名和单价等的关于商品的信息、摄像该商品的商品图像(基准图像)、表示该商品的实例图像以及特征量进行管理。返回到图2，POS终端11的CPU 61通过输入输出电路(未图示)连接有用于与存储计算机SC执行数据通信的通信接口 25。存储计算机SC设置在店铺的后院等。存储计算机SC的HDD (未图示)存储有向POS终端11发送的PLU文件F1。而且，POS终端11的CPU 61连接有在与商品读取装置101之间可数据发送接收的连接接口 65。连接接口 65连接有商品读取装置101。此外，POS终端11的CPU 61连接有在票据等上进行打字的打印机66。POS终端11在CPU 61的控制下，将一交易的交易内容打印在票据上。商品读取装置101也具有微机160。微机160由CPU 161总线连接有ROM 162和RAM 163而构成。ROM 162存储有通过CPU 161来执行的程序。CPU 161通过各种输入输出电路(均未图示)连接有摄像部164、声音输出部165。摄像部164、声音输出部165由CPU161控制动作。显示/操作部104通过连接接口 176与商品读取部110及POS终端11连接。显示/操作部104由商品读取部110的CPU161、P0S终端11的CPU 61来控制动作。摄像部164是彩色CXD图像传感器或彩色CMOS图像传感器等，并是在CPU 161的控制下从读取窗103进行摄像的摄像部。例如，在摄像部164中进行30fps的视频的摄像。摄像部164以规定的帧频率依次摄像的帧图像(摄像图像)被保存到RAM 163中。声音输出部165是用于产生预先设定的警报音等的声音电路和扬声器等。声音输出部165在CPU 161的控制下进行警报音或语音的告知。而且，CPU 161连接有与POS终端11的连接接口 65连接、并与POS终端11之间可数据接收发送的连接接口 175。此外，CPU 161通过连接接口 175，与显示/操作部104之间进行数据发送接收。接着，参照图4，对CPU161、CPU 61通过执行程序实现的CPU161、CPU 61的功能构成进行说明。图4是表示POS终端11及商品读取装置101的功能构成的框图。如图4所示，商品读取装置101的CPU 161通过执行R0M162所存储的程序，具有作为图像采集部51、商品检测部52、相似度计算部53、相似度判定部54、确定告知部55、商品候补提示部56、输入接受部57以及信息输出部58的功能。此外，同样，POS终端11的CPU 61通过执行程序PR，具有作为销售登记处理部的销售登记部611的功能。图像采集部51具有作为采集单元的功能，其向摄像部164输出摄像导通信号从而使摄像部164开始摄像动作。图像米集部51在摄像动作开始后，依次米集摄像部164摄像、并保存在RAM 163中的帧图像。图像采集部51的帧图像的采集按照RAM 163所保存的顺序来进行。图5是表示通过图像采集部51采集到的巾贞图像的一例图。如图5所示，当操作员将商品G向读取窗103举起照売时，则在摄像部164的读取区域R中摄像有商品G的全部或一部分并被显示在商品读取装置101的显示器106上。商品检测部52采用模式匹配技术等检测出通过图像采集部51采集到的帧图像所包含的商品G的全部或一部分。具体地说，从将采集到的帧图像进行二值化的图像中抽取轮廓线等。接着，将从上次的帧图像中抽取的轮廓线和从此次的帧图像中抽取的轮廓线进行比较，检测出为了销售登记而朝向读取窗103的商品。另外，作为检测出商品的其他方法，从采集到的帧图像中检测出有无皮肤区域。接着，当检测出皮肤区域时，也就是说，当检测出店员的手时，通过在该皮肤区域的附近进行上述的轮廓线的检测，对假想店员的手正把持的商品的轮廓抽取进行尝试。这时，当检测出表示手的形状的轮廓和在手的轮廓附近除此之外的物体的轮廓时，从该物体的轮廓检测出商品。
相似度计算部53具有作为相似度计算单元的功能，其从通过摄像部164摄像的商品G的全部或一部分的图像中读取商品G的色彩和表面的凹凸状况等的表面状态作为特征量。另外，相似度计算部53由于谋求处理时间的缩短，所以不考虑商品G的轮廓、大小。此外，相似度计算部53通过将作为PLU文件Fl所登记的各商品(以下，称为登记商品)的商品图像的色彩和表面的凹凸状况等的表面状态的特征量与商品G的特征量分别进行比较，从而计算出商品G和PLU文件Fl所登记的登记商品的相似度。在这里，相似度是当将存储在PLU文件Fl中的各商品的在登记商品时的商品图像视为100%= “相似度:
1.0”时，表示商品G的全部或一部分的图像相似哪种程度的数据。另外，诸如也可以在色彩和表面的凹凸状况中，改变加权来计算出相似度。这样，识别图像中所包含的物体的对象识别被称为一般物体识别(gener i cobject recognition:一般物体识别)。关于这样的一般物体识别在下述的文献中各种识别技术被说明。柳井啓司，“一般物体認識A現状i今後”，情報処理学会論文誌，Vol.48，N0.SIG16 [平成 22 年 8 月 10 日検索]，彳乂 夕-木义卜〈URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf> (柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48, N0.SIG16 “平成 22 年 8 月 10 日检索”，互联网 < URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf >)此外，通过对应每个目的物对图像进行区域分割，进行一般物体识别的技术在下述的文献中被说明。 Jamie Shotton “Semantic Texton Forests forlmage Categorization andSegmentation，，，[平成 22 年 8 月 10 日検索]，4 乂夕-才、'义卜 <URL:http://citeseerx.1st.psu.edu/viewdoc/download doi = 10.1.1.145.3036&rep=repl&type=pdf> (JamieShotton h (杰米肖顿等人)，“Semantic Texton Forests for Image CategorizationandSegmentation: ”, “平成 22 年 8 月 10 日检索，，,互联网 < URL:http://citeseerx.1st.psu.edu/viewdoc/download doi = 10.1.1.145.3036 &rep = rep I &type = pdf >)另外，所摄像的商品G的图像和PLU文件Fl所登记的登记商品的图像的相似度的计算方法尤其不限。例如，既可以将所摄像的商品G的图像和PLU文件Fl所登记的各登记商品的相似度作为绝对评价进行计算出，又可以将其作为相对评价进行计算出。当将相似度作为绝对评价进行计算出时，只要将所摄像的商品G的图像和PLU文件Fl所登记的各登记商品一对一进行比较，并直接采用该比较的结果导出的相似度就可以。此外，当将相似度作为相对评价进行计算出时，如果在PLU文件Fl中登记有5个登记商品(商品GA、GB、GC、⑶、GE)，则只要以所摄像的商品G诸如对于商品GA相似度为0.6、对于商品GB相似度为0.1、对于商品GC相似度为0.1、对于商品GD相似度为0.1、对于商品GE相似度为0.1等，与各登记商品的相似度的总和为1.0 (100%)的方式计算出就可以。相似度判定部54具有作为判定单元的功能，其对应图像采集部51采集到的每个帧图像，将商品G的图像和PLU文件Fl所登记的登记商品的相似度进行比较。在本实施例中，关于登记商品的商品图像和商品G的图像的相似度，被阶段地设置有多个条件，相似度判定部54按照满足的条件进行登记商品的确定或商品的候补的选定。与相似度有关的条件虽然并未被特别地限定，但是在以下中对采用条件a d的情况进行说明。
在这里，条件a及条件b是本实施例所涉及的第一条件，并是用于将摄像部164所摄像的商品G确定作为在PLU文件Fl所登记的登记商品中的一个商品的条件。此外，条件c是本实施例所涉及的第二条件，并是当在PLU文件Fl所登记的登记商品中未包含有多个属于相同类别(商品)的不同品种的物品时，用于抽取摄像部164所摄像的商品G的候补的条件。而且，条件d是本实施例所涉及的第三条件，并是当在满足了条件c的商品的候补中包含有多个属于相同类别(商品)的不同品种的物品时，用于抽取摄像部164所摄像的商品G的候补的条件。相似度判定部54将满足条件a或条件b的登记商品判定(确定)为是与摄像部164所摄像的商品G —对一对应的商品(以下，称为确定商品)。此外，相似度判定部54对满足了条件c的登记商品，判定为不是确定商品，而是摄像部164所摄像的商品G的候补(以下，称为商品候补)。而且，通过从PLU文件Fl所登记的多个登记商品中抽取满足条件c的登记商品，从而抽取关于商品G的商品候补。此外，相似度判定部54对满足条件d的登记商品(属于相同类别(商品)的不同品种的物品)，也判定为不是确定商品，而是摄像部164所摄像的商品G的候补。而且，通过从PLU文件Fl所登记的多个登记商品抽取满足条件d的登记商品，从而抽取关于商品G的商品候补。只要条件a c按照相似度被阶段地设定，则其详细情况并不被特别限定，但作为一例，能够通过预先设定的多个阈值来设定条件a C。在这里,对通过第一阈值 第三阈值来设定条件a c的情况进行说明。另外，第一阈值 第三阈值的大小关系是第一阈值
>第二阈值〉第三阈值。相似度判定部54计数与登记商品的相似度为大于等于预先设定的第一阈值(例如，90%)的次数，并当该次数为大于等于规定次数时，判定满足了条件a。此外，当以无误判定的方式更高地设定第一阈值时，也可以将规定次数作为一次来判定条件a。此外，相似度判定部54当与登记商品的相似度为小于第一阈值(例如，90%)且大于等于与第一阈值相比小的第二阈值(例如，75%)时，判定为满足了条件b。而且，满足了条件b的登记商品判定为虽然是确定商品，但是需要由操作员的确认操作。另外，也可以计数与登记商品的相似度为小于第一阈值(例如，90%)且大于等于与第一阈值相比小的第二阈值(例如，75%)的次数，并当该次数为大于等于规定次数时，判定为满足了条件b。而且，相似度判定部54当与登记商品的相似度为小于第二阈值(例如，75%)且大于等于与第二阈值相比小的第三阈值(例如，10%)时，判定为满足了条件C。另外，进一步也可以计数与登记商品的相似度为小于第二阈值(例如，75%)且大于等于与第二阈值相比小的第三阈值(例如，10%)的次数，并当该次数为大于等于规定次数时，判定为满足了条件
Co另外，各条件a c按照相似度的大小、判定次数可适当设定，并不限定于上述的例子。此外，用于条件a c的判断的规定次数也可分别对应各个条件设定不同的次数。而且，相似度判定部54当在满足了条件c的登记商品中包含多个属于相同类别(商品)的不同品种时，合计所述多个品种的相似度，并当合计了多个品种的相似度的类别(商品)的相似度为大于等于预先设定的第二阈值(例如，75%)时，判定为满足了条件d。确定告知部55具有作为告知单兀的功能,其通过图像输出、声音输出等,将通过摄像部164摄像的商品被唯一地确定作为是满足了条件a或条件b的登记商品的情况告知给操作员、顾客。更详细地说，确定告知部55使表示满足了条件a的登记商品被唯一地确定作为通过摄像部164摄像的商品(确定商品)的情况的确定画面71 (参照图6)，显示在显示器106上。图6是表示确定画面71的一例图。当有满足条件a的登记商品时，确定告知部55停止读取区域R (参照图5)的摄像图像的显示，从PLU文件Fl中读出与确定商品对应的实例图像Gl及商品名“(二 & I； & (胡萝卜)”，并显示在确定画面71上。此外，确定告知部55将从PLU文件Fl中读出的确定商品的商品名、商品价格(单价)分别显示在商品名显示区域81、价格显示区域82上。此外，确定告知部55也可以显示从PLU文件Fl中读出的商品图像(照片)代替实例图像Gl。此外，确定告知部55与该确定画面71的显示定时一致，将从PLU文件Fl中读出的商品名等的与确定商品有关的信息输出给声音输出部165。声音输出部165通过输出已输入的信息来向操作员、顾客告知表不确定商品的信息。此外，确定告知部55使接受满足了条件b的登记商品(确定商品)是否是通过摄像部164摄像的商品G的最终确认f呆作的确认画面72 (参照图7)，显不在显不器106上。图7是表示确认画面72的一例图。当有满足条件b的登记商品时，确定告知部55从PLU文件Fl中读出与确定商品对应的实例图像G1，并显示在确认画面72上。此外，确定告知部55用从PLU文件Fl中读出的确定商品的商品名，将征询所读取的商品G是否是实例图像Gl的商品的信息显示为“d I； & 分？(是不是胡萝卜)”等。此外，在确定画面72上通过对触摸面板105的触摸操作可选择操作地设置有“ (S P / ^ ^ A (是/不是)”等的按钮。这样,在确认 画面72中，作为相似度判定的结果,不出有对于一个商品G被唯一挑选出的登记商品(确定商品)的商品名、商品图像，并示出商品G和登记商品具有一对一的关系。因此，确认画面72是告知满足了条件b的登记商品作为通过摄像部164摄像的商品G被唯一地确定的画面。在本实施例中，当这样摄像的商品被唯一地确定了时，显示确定商品的实例图像代替摄像图像。因此，操作员能够直观地看到商品的识别确定了的情况，且能够一目了然地看到被识别出的商品是哪个商品。另外，确定告知部55既可以与显不确定画面72的定时一致,使声音输出部165声音输出关于确定商品的信息，又可以在确认画面72中不进行声音输出。在确定画面71、确定画面72中的声音输出的有无可适当设定。商品候补提示部56使显示器106显示关于满足了条件c的登记商品的信息作为商品候补。更详细地说，商品候补提示部56从PLU文件Fl中读出满足了条件c的登记商品的实例图像及商品名，按照相似度计算部53计算出的相似度从高到低的顺序，依次输出给显示器106。显示器106在商品候补提示区域83 (参照图8)中，按照相似度从高到低的顺序显不商品候补的实例图像及商品名。图8是表示显示有商品候补的实例图像G1、G2、G3的画面例的图。如图8所示，在商品候补提示区域83中，按照从相似度高的登记商品开始的顺序显示有商品候补的实例图像Gl、G2、G3及各商品名。这些实例图像Gl、G2、G3可根据对触摸面板105的选择操作来选择。此外，在商品候补提示区域83的下部设置有用于从商品清单中选择商品的选择按钮84，从商品清单中选择出的商品作为上述的确定商品被处理。此外，在图8中，虽然示出了显不有与实例图像Gl G3对应的二个商品候补的例子，但是商品候补的数量和显不方法并不特别地被限定。此外，也可以显示商品图像(照片)代替实例图像。另外，即使在显示器106中显示有商品候补的实例图像Gl G3，当未接受对这些商品候补的选择操作时，仍继续由图像采集部51的图像采集处理、由商品检测部52的检测处理及由相似度计算部53的相似度计算处理。因此，在未选择商品候补的期间，在显示器106的画面上显示有读取区域R的摄像图像。而且，商品候补提示部56使关于作为满足了条件d的属于相同类别(商品)的不同品种的物品的登记商品的信息，作为商品候补显示在显示器106上。更详细地说，商品候补提示部56从PLU文件Fl中读出满足了条件d的登记商品(属于相同类别(商品)的不同品种的物品)的实例图像及商品名，按照相似度计算部53计算出的相似度从高到低的顺序，依次输出给显示器106。显示器106在品种选择画面85 (参照图9)中，按照相似度从高到低的顺序显不商品候补的实例图像及商品名。另外，商品候补提示部56也可以从PLU文件Fl中读出满足了条件d的登记商品(属于相同类别(商品)的不同品种的物品)的实例图像及商品名，以预先计数在显示器106的品种选择画面85中的商品的选择次数作为条件，按照选择次数从多到少的顺序，依次输出给显示器106。图9是表示商品候补的品种选择画面例的图。如图9所示，在重叠显示在作为实际识别出的图像的帧图像上的品种选择画面85中，按照从相似度高的登记商品(属于相同类别(商品)的不同品种的物品)开始的顺序，显不有商品候补的实例图像G4、G5、G6及各品种名。另外，也可以在商品候补的实例图像G4、G5、G6中显不相似度。这些实例图像G4、G5、G6可根据对触摸面板105的选择操作来选择。此外，在图9中，虽然示出了显示有作为属于实例图像Gl的类别(商品)的不同品种的物品的商品候补的实例图像G4、G5、G6的三个商品候补的例子，但是商品候补的数量和显示方法并不特别地被限定。当商品候补数较多时，也可以设定“他O品種選択(选择其他品种)”的按钮或滚动按钮，从而通过操作按钮按顺序显示商品候补的实例图像。此外，也可以显示商品图像(照片)代替实例图像。输入接受部57具有作为接受单元的功能，其通过触摸面板105或键盘107，接受与显示器106的显示对应的各种输入操作。例如，输入接受部57基于对确认画面72(参照图7)的选择操作，接受最终确认了所显示的实例图像Gl的商品是确定商品的情况的旨意的输入操作(确认操作)。此外，确定告知部55当输入接受部57接受了确认操作时，将上述的确定画面71显示在显示器106上。输入接受部57接受从显示器106所显示的商品候补的实例图像Gl G3(参照图8)中对任一个的实例图像的选择操作。输入接受部57接受已选择的实例图像的登记商品，作为是与商品G对应的确定商品。此外，当商品检测部52可检测出多个商品G时，输入接受部57也可以从商品候补中，接受多个商品候补的选择操作。此外，确定告知部55当输入接受部57接受了选择操作时，使将已接受的商品候补作为确定商品进行显示的确定画面71显示在显示器106上。
此外，输入接受部57接受从显示器106所显示的品种选择画面85的实例图像G4 G6 (参照图9)中对任一个的实例图像的选择操作。此外，确定告知部55当输入接受部57接受了选择操作时，使将已接受的商品候补作为确定商品进行显示的确定画面71显示在显示器106上。信息输出部58对如上所述那样的已确定的确定商品，通过连接接口 175将表示该商品的信息(例如，商品ID和商品名等)输出给POS终端11。此外，信息输出部58也可以将通过触摸面板105或键盘107另外输入的销售个数与商品ID等同时输出给POS终端11。此外，作为信息输出部58输出给POS终端11的信息，信息输出部58既可以将从PLU文件Fl读出的商品ID直接通知给POS终端11，又可以将可指定商品ID的商品名或商品图像、实例图像的文件名通知给POS终端11，还可以将该商品ID的存储位置(在PLU文件Fl中的存储地址)通知给POS终端11。POS终端11的销售登记部611基于从信息输出部58输出的商品ID和销售个数，进行对应的商品的销售登记。具体地说，销售登记部611参照PLU文件Fl，将所通知的商品ID及与所述商品ID对应的商品分类、商品名、单价等与销售个数同时记录在销售主文件等上，从而进行销售登记。接着，对结账系统I的动作进行详细地说明。首先，对商品读取装置101的动作进行说明。图10是表示商品读取装置101所执行的商品识别处理的顺序的流程图。在图10中，虽然对将第一阈值设定为相似度90% (0.90)、将第二阈值设定为相似度75% (0.75)、将第三阈值设定为相似度10% (0.10)的情况，进行了说明，但是各阈值并不限定于这些。当按照POS终端11的商品登记 的开始等而开始处理时，则图像采集部51向摄像部164输出摄像导通信号从而开始由摄像部164的摄像(步骤S11)。图像米集部51米集摄像部164摄像、并保存在RAM 163中的巾贞图像(摄像图像)(步骤S12)。接着，商品检测部52从图像采集部51采集到的帧图像中进行商品G的全部或一部分的检测(步骤S13)。接着，相似度计算部53从商品G的全部或一部分的图像中读取商品G的特征量，通过与PLU文件Fl所登记的各商品图像的特征量进行比较，从而计算出与登记商品的相似度(步骤S14)。相似度判定部54判定是否有相似度为大于等于90%的登记商品(步骤S15)。当没有为大于等于90%的登记商品时(步骤S15的否)，过渡到步骤S17。当有为大于等于90%的登记商品时(步骤S15的是)，判定对相同登记商品的相似度为大于等于90%的次数是否为规定次数(例如，3次)(步骤S16)。当未满足规定次数时(步骤S16的否)，返回到步骤S12，图像采集部51采集通过摄像部164摄像的新的帧图像。当为规定次数时(步骤S16的是)，确定告知部55显示包含确定商品的实例图像的确定画面71 (参照图6),而且,通过声音通知确定商品的商品名来告知确定商品(步骤S23)。此外，信息输出部58将被视为确定商品的登记商品的商品ID等与通过键盘107另外输入的销售个数同时输出给POS终端11 (步骤S24)，之后，过渡到步骤S25的处理。当步骤S 15的否时，相似度判定部54判定是否有相似度为大于等于75%小于90%的登记商品(步骤S17)。当有相似度在该范围内的登记商品时(步骤S17的是)，将该登记商品判定为是需要操作员的确认的确定商品，并使显示器106显示确认画面72 (步骤S18)。输入接受部57判定是否在确认画面72 (参照图7)中选择了 “ (S ^ (是)”(步骤S19)。当选择了 “iiP (是)”时(步骤S19的是)，过渡到步骤S23，确定告知部55显示确定画面71。另一方面，当选择了 ^ λ (不是)”时(步骤S19的否)，返回到步骤S12。另一方面，当没有相似度为大于等于75%小于90%的登记商品时(步骤S17的否)，相似度判定部54判定是否有相似度为大于等于10%小于75%的登记商品，并抽取相似度在该范围内的登记商品作为商品G的商品候补(步骤S20)。当没有该范围内的登记商品时(步骤S20的否)，返回到步骤S12。当有相似度为大于等于10%小于75%的登记商品时(步骤S20的是)，相似度判定部54判定是否有多个属于相同类别的不同品种的物品(步骤S27)。当没有多个属于相同类别的不同品种的物品时(步骤S27的否)，相似度判定部54将符合的登记商品判定为商品G的商品候补。而且，商品候补提示部56按照相似度从高到低的顺序将被判定作为商品候补的登记商品的实例图像及商品名进行排序，并显示在商品候补提示区域83中(步骤S21)。输入接受部57判定是否接受了对登记商品的商品图像的选择操作(步骤S22)。当接受了选择时(步骤S22的是)，过渡到步骤S23，确定告知部55显示确定画面71。另一方面，当未接受选择时(步骤S22的否)，过渡到步骤S12。
另一方面，当有多个属于相同类别的不同品种的物品时(步骤S27的是)，合计所述多个品种的相似度(步骤28)，当已合计的相似度为大于等于预先规定的第二阈值(例如，75%)时(步骤S29的是)，相似度判定部54将属于相同类别的不同品种的多个物品判定为是商品G的商品候补。而且，商品候补提不部56将被判定作为商品候补的登记商品(属于相同类别(商品)的不同品种的物品)的实例图像及商品名按照相似度从高到低的顺序进行排序，并在商品候补提示区域83中显示品种选择画面85 (步骤S30)。输入接受部57判定是否接受了对登记商品(属于相同类别(商品)的不同品种的物品)的商品图像的选择操作(步骤S31)。当接受了选择时(步骤S31的是)，过渡到步骤S23，确定告知部55显示确定画面71。另一方面，当未接受选择时(步骤S31的否)，过渡到步骤S12。在步骤S25中，CPU 161判定从POS终端11有无商品登记的结束通知等的工作结束。当继续工作时(步骤S25的否)，CPU161返回到步骤S12的处理继续处理。当结束工作时(步骤S25的是)，图像采集部51向摄像部164输出摄像截止信号从而结束由摄像部164的摄像(步骤S26)，并结束处理。接着，对POS终端11的动作进行说明。图11是表示POS终端11所执行的销售登记处理的顺序的流程图。首先，当按照由键盘22的操作指示的商品登记的开始等而开始处理时，则CPU 61接收商品读取装置101在图10的步骤S24中输出的确定商品的商品ID及其销售个数(步骤S41)。接着，CPU61 (销售登记部611)基于在步骤S41中接收到的商品ID及销售个数，从PLU文件Fl读出商品种类、单价等，从而将在商品读取装置101中读取的商品G的销售额，登记在销售主文件中(步骤S42)。接着，CPU61判定有无由键盘22的操作指示的销售登记的结束等的工作结束(步骤S43)。当继续工作时(步骤S43的否)，CPU61再返回到步骤S41继续处理。当结束工作时(步骤S43的是)，CPU61结束处理。如上所述，根据本实施例，当在满足了抽取已摄像的商品的候补的第二条件的商品的候补中包含有多个属于相同上位分类的不同品种的物品时，判定合计所述多个品种的相似度的上位分类的相似度是否满足从多个品种中抽取已摄像的商品的候补的第三条件，当满足了第三条件时，告知关于与满足了所述第三条件的基准图像对应的商品的信息，作为已摄像的商品的候补。因此，当满足了第三条件时，将属于相同上位分类的不同品种的物品作为一个物品，当识别出了哪个品种时，也能够识别其上位分类，所以能够提高物品的识别率。以上，虽然对本发明的实施例进行了说明，但是上述实施例是作为例子提出的，并不意图限定发明的范围。上述实施例可以用其他各种形式来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更、追加等。此外，上述实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。例如，在上述实施例中，虽然对商品读取装置101 —个一个摄像商品G的形式进行了说明，但是同时进行摄像的商品G的个数并不特别地被限定，也可以是多个。当同时摄像多个商品G时，只要分别计算出多个商品G和登记商品的图像(Gl、G2、G3、……)的相似度，并通过将计算结果和上述阈值进行比较来挑选确定商品、候补商品就可以。此外，上述的各显示画面的构成并不限定于图5 图9的例子，也可以设置用于显示其他要素的显示区域、操作按钮。此外，在上述实施例中，虽然是POS终端11具有PLU文件Fl的形式，但是不限定于此，既可以是商品读取装置101具有PLU文件Fl的形式，又可以是POS终端11及商品读取装置101可访问外部装置具有PLU文件Fl的形式。此外，在上述实施例中，虽然应用了商品读取装置101，作为具有相似度计算部53、相似度判定部54的功能的信息处理装置，但是不限定于此，也可以应用POS终端11，作为具有相似度计算部53、 相似度判定部54的功能并将计算结果和判定结果输出给商品读取装置101的信息处理装置。另外，在上述的实施例中，虽然列举作为多个阈值通过第一阈值 第三阈值的三个阈值对相似度进行四阶段地判定的例子进行了说明，但是实施例并不限定于此。既可以采用大于等于三个阈值来进行更多阶段地判定，又可以采用小于等于两个阈值来进行判定。此外，各阈值也可以通过用户可变更地设定。此外，在上述的实施例中，虽然列举了所有商品都通用第一阈值 第三阈值及条件a d的例子，但是并不限定于此，也可以对应每个登记商品分别设定各阈值及条件。此外，在上述的实施例中，虽然是将第一条件划分为显示确认画面72的情况(条件b)和不显示确认画面72的情况(条件a)的两阶段的实施形式，但是也可以不将这样的第一条件划分成多阶段。也就是说，当按照上述的例子来表示其他例子时，则也可以是无论满足了条件a、b的哪个条件时，都不显示确认画面72而确定商品的形式，此外，也可以是设定是否显示确认画面72的形式。此外，在上述实施例中，虽然作为店铺系统，应用了由POS终端11和商品读取装置101构成的结账系统1，但是并不限定于此，也可以应用具有POS终端11及商品读取装置101的功能的一台构成的装置。作为具有POS终端11及商品读取装置101的功能的一台构成的装置，列举有设置在超市等的店铺中使用的自助结账装置(以后，仅称为自助P0S)。在这里，图12是表示自助P0S200的构成的外观立体图，图13是表示自助P0S200的硬件构成的框图。此外，在以下中，对图1及图2所示的同样构成附加相同符号来表示，并省略其重复的说明。如图12及图13所示，自助P0S200的本体202具有在表面配设有触摸面板105的显示器106、为了识别(检测出)商品的种类等而读取商品图像的商品读取部110。作为显示器106诸如采用有液晶显示器。显示器106显示用于让顾客知道自助P0S200的操作方法的引导画面、各种输入画面、显示通过商品读取部110读取的商品信息的登记画面、以及显示商品的合计金额、预存金额、找零金额等并进行支付方法的选择的结账画面等。商品读取部101是通过顾客将附在商品上的码符号举到商品读取部110的读取窗103从而通过摄像部164读取商品图像的部。此外，在本体202的右侧设置有用于放置已装到筐中的未结账的商品的商品载置台203，在本体202的左侧设置有用于放置已结账的商品的商品载置台204，并设置有用于挂装入已结账的商品用的袋的袋挂钩205、用于在装袋前临时地放置已结账的商品的临时放置台206。在商品载置台203及204中分别设置有计量器207、208，并具有确认在结账前后商品的重量是相同的情况的功能。
此外，自助P0S200的本体202设置有用于进行投入结账用的纸币和接受找零纸币的找零器201。当将这样的构成的自助P0S200应用于店铺系统时，自助P0S200能够具有作为信息处理装置的功能。此外，在上述实施例的各装置中所执行的程序虽然预先安装在各装置所具有的存储介质(ROM或存储部)中而提供，但是并不限定于此，也可以以可安装的形式或可执行的形式的文件，记录在CD-ROM、软磁盘(FD)、CD-R、DVD (Digital Versatile Disk:数字多功能磁盘)等的计算机可读存储介质中而提供。而且，存储介质不限定于与计算机或嵌入式系统独立的介质，也包含有下载通过LAN或互联网等传输的程序而存储或临时存储的存储介质。也可以将在上述实施例的各装置中所执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载而提供，也可以经由互联网等的网络提供或配置。附图标记说明I店铺系统51采集部53相似度计算部 54判定部55告知部57接受部101信息处理装置 106显示部164摄像部611销售登记处理部Fl 词库
权利要求
1.一种信息处理装置，包括: 采集部，采集摄像部摄像的图像； 相似度计算部，用于计算出相似度，该相似度表示通过所述摄像部摄像的物体的图像和与表示关于登记在词库中的各登记商品的信息的上位分类同时登记的所述各登记商品的基准图像相似哪种程度； 判定部，比较所述采集部采集到的每个图像与基准图像的相似度，判定合计了属于相同的所述上位分类的多个品种的相似度的所述上位分类的相似度是否满足规定条件；以及 告知部，当在所述判定部中满足了所述规定条件时，告知关于与满足了所述规定条件的所述多个品种对应的商品的信息，作为所述摄像的商品的候补。
2.根据权利要求1所述的信息处理装置，其中， 所述判定部比较所述采集部采集到的每个图像与基准图像的相似度，判定所述相似度是否满足将所述摄像的物体作为与所述基准图像对应的一个商品进行确定的第一条件， 所述告知部当在所述判定部中满足了所述第一条件时，告知所述摄像的商品被确定作为与满足了所述第一条件的所述基准图像对应的商品的情况。
3.根据权利要求1或2所述的信息处理装置，其中， 所述告知部将关于作为满足了所述规定条件的属于相同所述上位分类的不同品种的物品的登记商品的信息作为商品候补，显示在显示部上。
4.根据权利要求1至3中任一项所述的信息处理装置，其中， 所述告知部按照相似度从高到低的顺序显示作为所述商品候补的与登记商品有关的信息。
5.根据权利要求1至3中任一项所述的信息处理装置，其中， 所述告知部按照选择次数从多到少的顺序显示作为所述商品候补的与登记商品有关的信息。
6.一种店铺系统，包括: 根据权利要求1至5中任一项所述的信息处理装置； 接受部，当从所述商品的候补中至少选择操作一个时，接受将所述商品的候补作为通过所述摄像部摄像的商品进行确定的操作；以及 销售登记处理部，对通过所述判定部或所述接受部确定的通过所述摄像部摄像的商品进行销售登记处理。
7.—种信息处理方法,包括: 采集步骤，采集摄像部摄像的图像； 相似度计算步骤，用于计算出相似度，该相似度表示通过所述摄像部摄像的物体的图像和与表示关于登记在词库中的各登记商品的信息的上位分类同时登记的所述各登记商品的基准图像相似哪种程度； 判定步骤，比较所述采集步骤采集到的每个图像与基准图像的相似度，判定合计了属于相同的所述上位分类的多个品种的相似度的所述上位分类的相似度是否满足规定条件；以及 告知步骤，当在所述判定步骤中满足了所述规定条件时，告知关于与满足了所述规定条件的所述多个品种对应的商品的信息，作为所述摄像的商品的候补。
8.根据权利要求7所述的信息处理方法，其中， 在所述判定步骤中，比较通过所述采集步骤采集到的每个图像与基准图像的相似度，判定所述相似度是否满足将所述摄像的物体作为与所述基准图像对应的一个商品进行确定的第一条件， 在所述告知步骤中，当在所述判定步骤中满足了所述第一条件时，告知所述摄像的商品被确定作为与满足了所述第一条件的所述基准图像对应的商品的情况。
9.根据权利要求7或8所述的信息处理方法，其中， 在所述告知步骤中，将关于作为满足了所述规定条件的属于相同所述上位分类的不同品种的物品的登记商品的信息作为商品候补，显示在显示部上。
10.根据权利要求7至9中任一项所述的信息处理方法，其中， 在所述告知步骤中， 按照相似度从高到低的顺序显示作为所述商品候补的与登记商品有关的信息。
全文摘要
本发明公开一种信息处理装置、店铺系统以及信息处理方法，能够提高物品的识别率，该信息处理装置包括采集部，采集摄像部摄像的图像；相似度计算部，用于计算出相似度，该相似度表示通过所述摄像部摄像的物体的图像和与表示关于登记在词库中的各登记商品的信息的上位分类同时登记的所述各登记商品的基准图像相似哪种程度；判定部，比较所述采集部采集到的每个图像与基准图像的相似度，判定合计了属于相同的所述上位分类的多个品种的相似度的所述上位分类的相似度是否满足规定条件；以及告知部，当在所述判定部中满足了所述规定条件时，告知关于与满足了所述规定条件的所述多个品种对应的商品的信息，作为所述摄像的商品的候补。
文档编号G07G1/00GK103208154SQ20121050721
公开日2013年7月17日 申请日期2012年11月30日 优先权日2012年1月16日
发明者内藤英浩, 菅澤広志, 飯坂仁志 申请人:东芝泰格有限公司