信息处理装置及其控制方法
【专利摘要】本发明公开一种信息处理装置及其控制方法，其能够有效地进行商品的识别所涉及的处理，该信息处理装置，包括：采集部，采集摄像部已摄像的图像；抽出部，从所述摄像部已摄像的商品的图像中抽出特征量；计算部，对关联有指示执行或非执行自动确定的指示信息的基准商品的各个商品的特征量和所述抽出部已抽出的特征量进行比较，并计算出其相似度；识别部，将所述相似度大于等于阈值的基准商品识别为商品候选；判别部，对与所述相似度最大的商品候选关联的所述指示信息进行判别；以及显示控制部，当判别出为对应有指示所述非执行自动确定的指示信息时，能够选择地显示所述识别部已识别的各商品候选。
【专利说明】信息处理装置及其控制方法
[0001]本申请主张申请日为2013年7月16日、申请号为JP2013-147991的日本申请为优先权，并引用上述申请的内容。
【技术领域】
[0002]本发明涉及一种信息处理装置及其控制方法。
【背景技术】
[0003]近年来，存在有一种这样的技术，通过从摄像了物品的图像数据中抽出所述物品的特征量，并与表示预先准备的核对用物品的特征量的数据进行比较，对该物品的种类等进行识别。此外，提案有一种店铺系统，通过将该技术应用于蔬菜和水果等的识别中，对已识别出的商品进行销售登记。在所涉及的店铺系统中，将与商品的相似度大于等于阈值的数据(核对用商品)识别为所述商品的候选。此外，例如，当大于等于阈值的数据为一个时，自动地确定为与商品相符的数据。
[0004]不过，在各种商品中，存在有因其特性等不同而容易发生误识别的商品。这时，如果已被误识别的数据是一个，则由于能够自动地确定已被误识别的商品，所以有成为妨碍处理的可能性。
【发明内容】
[0005]鉴于上述问题，本发明的目的在于提供一种信息处理装置及其控制方法，其能够有效地进行商品的识别所涉及的处理。
[0006]为解决上述问题，本发明第一方面涉及的信息处理装置，包括:采集部、抽出部、计算部、识别部、判别部及显示控制部。采集部采集摄像部已摄像的图像。抽出部从所述摄像部已摄像的商品的图像中抽出特征量。计算部对关联有指示自动确定的执行或非执行的指示信息的基准商品的各个商品的特征量和所述抽出部已抽出的特征量进行比较，并计算出其相似度。识别部将所述相似度大于等于阈值的基准商品识别为商品候选。判别部对与所述相似度最大的商品候选关联的所述指示信息进行判别。显示控制部当判别出为对应有指示所述自动确定的非执行的指示信息时，能够选择地显示所述识别部已识别的各商品候选。
[0007]本发明第二方面涉及的信息处理装置的控制方法，包括以下步骤:采集步骤，采集摄像部已摄像的图像；抽出步骤，从所述摄像部已摄像的商品的图像中抽出特征量；计算步骤，对关联有指示自动确定的执行或非执行的指示信息的基准商品的各个商品的特征量和通过所述抽出步骤已抽出的特征量进行比较，并计算出其相似度；识别步骤，将所述相似度大于等于阈值的基准商品，识别为商品候选；判别步骤，对与所述相似度最大的商品候选关联的所述指示信息进行判别；以及显示控制步骤，当判别出为对应有指示所述自动确定的非执行的指示信息时，能够选择地显示通过所述识别步骤已识别的各商品候选。
【专利附图】
【附图说明】
[0008]下面，参照附图对本发明所涉及信息处理装置及其控制方法进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中:
[0009]图1是表示实施例所涉及的结账系统的外观构成的立体图；
[0010]图2是表示图1所示的POS终端及商品读取装置的硬件构成的框图；
[0011]图3是示意地表示图2所示的PLU文件的数据构成的一例图；
[0012]图4是示意地表示图2所示的组设定文件的数据构成的一例图；
[0013]图5是表示图1所示的POS终端及商品读取装置的功能构成的框图；
[0014]图6是表示确认画面的显示例的示意图；
[0015]图7是表示商品候选画面的显示例的示意图；
[0016]图8是表示商品读取装置执行的商品识别处理的次序的流程图；
[0017]图9是表示POS终端执行的销售登记处理的次序的流程图；
[0018]图10是表示实施例所涉及的自助POS的构成的立体图；以及
[0019]图11是表示图10所示的自助POS的硬件构成的框图。
[0020]附图标记说明
[0021]I结账系统11POS终端
[0022]611销售登记部 101商品读取装置
[0023]1611图像采集部 1612 商品检测部
[0024]1613特征量抽出部 1614 相似度判定部
[0025]1615商品候选提示部1616 输入接受部
[0026]1617信息输出部 FlPLU文件
[0027]F2组设定文件 SC存储计算机
【具体实施方式】
[0028]下面，参照附图，以结账系统为例，对本实施例所涉及的信息处理装置及其控制方法进行说明。店铺系统是具有进行一交易所涉及的商品的登记、结账的POS终端的结账系统(P0S系统)等。本实施例是向引进到超市等的店铺的结账系统的应用例。
[0029]图1是表示结账系统I的外观构成的立体图。如图1所示，结账系统I具有POS终端11、作为信息处理装置的商品读取装置101。
[0030]POS终端11载置在结账台51上的拉出装置21上表面上。拉出装置21通过POS终端11控制开放动作。通过操作员(店员等)进行按下操作的键盘22，配置在POS终端11的上表面上。从操作键盘22的操作员角度看，在键盘22的里侧具有朝向操作员显示信息的显示设备23。显示设备23在其显示面23a上显示信息。触摸面板26层压配置在显示面23a上。顾客用显示设备24旋转自如地竖直设置在显示设备23的更里侧。顾客用显示设备24在其显示面24a上显示信息。
[0031]另外，图1所示的顾客用显示设备24虽然处于将显示面24a朝向图1中跟前侧的状态，但是通过以显示面24a朝向图1中里侧的方式旋转顾客用显示设备24，顾客用显示设备24朝向顾客显不彳曰息。
[0032]长方形桌子状的柜台151以与载置有POS终端11的结账台51形成L字的方式被配置。在柜台151的上表面上形成有负荷接受面152。负荷接受面152载置有收纳商品G的购物筐153。购物筐153可以考虑划分成由顾客带来的第一购物筐153a、载置在与第一购物筐153a隔着商品读取装置101的位置上的第二购物筐153b。
[0033]柜台151的负荷接受面152设置有可与POS终端11数据发送接收地连接的商品读取装置101。商品读取装置101具有薄的矩形形状的外壳102。
[0034]在外壳102的正面配置有读取窗103。在外壳102的上部安装有显示、操作部104。显示、操作部104设置有在表面上层压配置有触摸面板105的液晶显示器等的显示设备106。在显示设备106的右边配设有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽108。从操作员角度看，在显示、操作部104的里面靠左侧设置有用于向顾客提供信息的顾客用显示设备109。
[0035]顾客带来的第一购物筐153a收纳有一交易所涉及的商品G。第一购物筐153a内的商品G通过操作商品读取装置101的操作员被移动到第二购物筐153b。在该移动过程中，商品G被朝向商品读取装置101的读取窗103。这时，配置在读取窗103内的摄像部164 (参照图2)摄像商品G。
[0036]图2是表示POS终端11及商品读取装置101的硬件构成的框图。
[0037]POS终端11具有作为执行信息处理的信息处理部的微机60。微机60具有执行各种运算处理并控制各部的CPU (Central Processing Unit:中央处理器)61、R0M(Read OnlyMemory:只读存储器)62及RAM (Random Access Memory:随机存取存储器)63。R0M62存储CPU61所执行的程序。
[0038]拉出装置21、键盘22、显示设备23、顾客用显示设备24、通信接口 25、触摸面板26,HDD (Hard Disk Drive:硬盘驱动器)64、连接接口 65及打印机66均通过各种输入输出电路(均未图示)与POS终端11的CPU61连接。
[0039]键盘22包括在上面中显示有“1”、“2”、“3”……等数字、“ X ”的乘法的运算符的置数键22d、临时合计键22e及合计键22f。
[0040]HDD64存储各种程序、各种文件。CPU61在POS终端11的起动等时，将HDD64所存储的程序的全部或一部分复制到RAM63中并进行执行。
[0041]此外，HDD64存储PLU文件Fl、组设定文件F2等的数据文件。PLU文件Fl及组设定文件F2通过连接接口 65，可由商品读取装置101读出。
[0042]PLU文件Fl是设定有店铺内销售的商品G和与其商品G的销售登记等相关的信息的关联的数据文件。图3是示意地表示PLU文件Fl的数据构成的一例图。如图3所示，PLU文件Fl对应每个商品，关联登记有被唯一分配的商品ID、商品名、单价等的与商品有关的信息及摄像了该商品G的商品图像。此外，PLU文件Fl对应每个商品G关联登记有该商品G的特征量(基准商品的特征量数据)。而且，PLU文件Fl对应每个商品G，关联登记有作为指示是否进行识别的自动确定的指示信息的第一标志。
[0043]商品图像是在后述的相似度判定时摄像了被作为比较对象的基准商品的各个商品的图像。商品图像在后述的商品候选的提示时，作为表示其商品候选的图像被提示。此夕卜，从各商品G的摄像图像(例如，商品图像)中预先抽出的该商品G的特征量与对应的商品ID关联登记。在这里，特征量就是商品G的表面的色彩、图案、凹凸状况、形状等表示了商品G的特征的信息。
[0044]另外，在本实施例中，虽然是将各商品G的特征量预先登记在PLU文件Fl中的形式，但是不限定于此，也可以是不登记特征量的形式。这时，也可以是通过后述的特征量抽出部1613从各商品图像中抽出特征量，随时取得特征量的形式。此外，也可以是替代商品图像，登记提示用的图像的形式。以下，将PLU文件Fl所登记的商品称为“登记商品”。
[0045]第一标志是对应每个商品G设定的、关于商品G的各个商品单独制定是否进行识别的自动确定用的信息。“识别的自动确定”，意思为在后述的相似度判定部1614的相似度判定中，当大于等于阈值的登记商品为一个时，将所述基准商品自动地确定为确定商品。在第一标志中，能够诸如用“0N”及“OFF”等的二值的设定值设定是否通过该相似度判定部1614进行识别的自动确定。另外，对识别的成功率大于等于规定值的登记商品，最好将自动确定设定为执行(ON)。在这里，识别的成功率所涉及的阈值虽然并不特别限定，但是最好诸如是大于等于8成(80% )等表不闻准确度的值。
[0046]组设定文件F2是用于将具有规定的关系性的登记商品，作为属于同一组的一份子(成员)进行管理的数据文件。图4是示意地表示组设定文件F2的数据构成的一例图。如图4所示，组设定文件F2对应每个组关联登记有唯一分配的组ID、属于该组的各登记商品的商品ID。此外，在组设定文件F2中，对应每个组，关联登记有作为指示是否进行识别的自动确定的指示信息的第二标志。
[0047]在该组设定文件F2中，视为相同组的登记商品的组合尤其不限。例如，关于相同商品，当存在有多个销售形式时，也可以将分配给各销售形式的商品ID作为相同组。这时，例如，能够使以I棵单位、被分割成1/2或1/4的状态销售的相同商品属于相同组。此外，也可以将属于相同类别或种类的登记商品的商品ID作为相同组。这时，诸如能够使种类名“苹果”所包含的各品种属于相同组。此外，即使是相互不同的登记商品，也可以将其外观的特征相似的登记商品作为相同组。这时，诸如能够使在后述的商品候选的识别时有发生误识别的可能性的登记商品属于相同组。
[0048]第二标志是对应每个组设定的、关于属于该组的登记商品的各个商品总括地制定是否进行识别的自动确定用的信息。另外，关于由识别的成功率大于等于规定值(例如大于等于8成(80%))的登记商品构成的组，最好将自动确定设定为执行(0N)。
[0049]返回到图2，POS终端11的CPU61通过输入输出电路(未图示)连接有用于与存储计算机SC执行数据通信的通信接口 25。存储计算机SC设置在店铺的后院等。存储计算机SC的HDD (未图示)，存储发送给POS终端11的PLU文件Fl、组设定文件F2及用于管理PLU文件Fl所登记的各登记商品的库存状态的库存管理文件等。
[0050]连接接口 65可在与商品读取装置101之间发送接收数据。连接接口 65连接有商品读取装置101。此外，打印机66在票据等上进行打字。POS终端11在CPU61的控制下，通过打印机66在票据上打印一交易的交易内容。
[0051]商品读取装置101具有商品读取部110及显示、操作部104。商品读取部110具有微机160。微机160具有CPU161、R0M162及RAM163。R0M162存储CPU161所执行的程序。
[0052]CPU161通过各种输入输出电路(均未图示)连接有摄像部164、声音输出部165及连接接口 175。摄像部164、声音输出部165及连接接口 175通过CPU161来控制动作。
[0053]摄像部164是彩色CXD传感器或彩色CMOS传感器等，并是从读取窗103进行摄像的摄像部。例如，摄像部164进行30fps的视频摄像。摄像部164以规定巾贞频依次摄像了的帧图像(摄像图像)被保存到RAM163中。声音输出部165是用于发出预设的警告音等的声音电路、扬声器等。声音输出部165在CPU161的控制下，通过警告音等声音来进行告知。
[0054]显示、操作部104具有触摸面板105、显示设备106、键盘107、顾客用显示设备109及连接接口 176。商品读取部110的连接接口 175，与POS终端11的连接接口 65连接，并可与POS终端11之间发送接收数据。连接接口 175通过连接接口 176与显示、操作部104连接，CPU161通过连接接口 175在商品读取部110和显示、操作部104之间进行数据发送接收。
[0055]接着，参照图5，对通过CPU161、CPU61执行程序来实现的CPU161、CPU61的功能构成进行说明。
[0056]图5是表示POS终端11及商品读取装置101的功能构成的框图。如图5所示，商品读取装置101的CPU161通过依次执行程序，具有作为图像采集部1611、商品检测部1612、特征量抽出部1613、相似度判定部1614、商品候选提示部1615、输入接受部1616及信息输出部1617的功能。
[0057]图像采集部1611是与采集部对应的功能部。图像采集部1611向摄像部164输出摄像导通信号从而使摄像部164开始摄像动作。图像采集部1611，在摄像动作开始后依次米集摄像部164摄像并保存在RAM163中的摄像图像。基于图像米集部1611的摄像图像的采集按照被保存到RAM163中的顺序进行。
[0058]商品检测部1612，采用公知的模式匹配(图案匹配)技术检测出通过图像采集部1611采集到的摄像图像所包含的商品G的全部或一部分的轮廓线。接着，将从前次的摄像图像(帧图像)中抽出的轮廓线和从本次的帧图像中抽出的轮廓线进行比较，检测出有变化的部分、即朝向读取窗103的商品G的映入区域。
[0059]作为检测出商品G的另外方法，判定是否从摄像图像中检测出有皮肤区域，并当检测出有皮肤区域时，就是说当检测出有店员的手的映入时，通过在该皮肤区域的附近进行上述的轮廓线的检测，从而对假想店员的手正把持的商品G的轮廓抽出进行尝试。这时，当检测出有表示手的形状的轮廓和在手的轮廓附近除此之外的物体的轮廓时，从该物体的轮廓中检测出商品G。
[0060]特征量抽出部1613是与抽出部对应的功能部。特征量抽出部1613从图像采集部1611采集到的摄像图像中，抽出在商品检测部1612中检测出的商品G的表面状态(表面的色彩、图案、凹凸状况、形状等)，作为特征量。
[0061]相似度判定部1614是与计算部、识别部及判别部对应的功能部。相似度判定部1614对POS终端11的PLU文件Fl所登记的各登记商品的特征量和通过特征量抽出部1613抽出的特征量进行比较，并分别计算出其相似度。此外，相似度判定部1614在计算出的相似度中将其值大于等于规定阈值的登记商品(商品ID)，识别为通过摄像部164所摄像的商品G的候选(商品候选)。
[0062]在这里，相似度只要是对商品G的特征量和PLU文件Fl所登记的商品的基准的特征量进行比较，并表示两特征量相似哪种程度的值(相似度)就行。另外，相似度的概念不限定于该例子，也可以是表示与PLU文件Fl所登记的各登记商品的特征量的一致度的值、表示商品G的特征量和PLU文件Fl所登记的各登记商品的特征量相关哪种程度的值。
[0063]对在如上所述那样的图像中所包含的物体进行识别，被称为一般物体识别(generic object recognit1n:一般物体识别)。关于这样的一般物体识别在下述的文献中各种识别技术被说明。
[0064]柳井啓司，“一般物体認識O現状i今後”，情報処理学会論文誌，Vol.48,N0.SIG16[平成 22年 8 月 10 日検索]，^ > 夕一才、卜〈URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf> (柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48, N0.SIG16 “平成 22 年 8 月 10 日检索”，互联网 < URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf > )
[0065]此外，通过对应每个物品(目的物)对图像进行区域分割，进行一般物体识别的技术在下列的文献中被说明。
[0066]Jamie Shotton “Semantic Texton Forests for Image Categorizat1nand Segmentat1n，，，[平成 22 年 8 月 10 日検索],?1、y 夕一才、'7 卜 <URL:http://citeseerx.1st.psu.edu/viewdoc/download? doi = 10.1.1.145.3036&rep = repl&type=pdf> (Jamie Shotton h (杰米肖顿等人)，“Semantic Texton Forests for ImageCategorizat1n and Segmentat1n: ”，“平成 22 年 8 月 10 日检索”，互联网 < URL:http://citeseerx.1st.psu.edu/viewdoc/download? doi = 10.1.1.145.3036&rep = repl&type=pdf > )
[0067]另外，相似度的计算方法尤其不限定。例如，既可以将相似度作为绝对评价进行计算出，又可以作为相对评价进行计算出。当将相似度作为绝对评价计算出时，只要将已摄像的商品G的图像和登记商品以一对一方式进行比较，并直接采用该比较的结果导出的相似度就行。此外，当将相似度作为相对评价进行计算出时，只要以已摄像的商品G和各登记商品的相似度的总和作为1.0(100% )的方式进行计算出就行。
[0068]此外，相似度判定部1614对在已识别的商品候选中相似度最大的商品候选，参照PLU文件Fl判别所述商品候选的第一标志。在这里，当第一标志设定有执行(ON)自动确定(自动确定的执行(ON))时，相似度判定部1614将相似度最大的商品候选确定为与商品G对应的商品(确定商品)。此外，当设定有非执行(OFF)自动确定(自动确定的非执行(OFF))时，相似度判定部1614参照组设定文件F2，判别相似度最大的商品候选所属的组的第二标志。在这里，当第二标志设定有执行(ON)自动确定时，相似度判定部1614将相似度最大的商品候选确定为与商品G对应的商品(确定商品)。
[0069]在本实施例中，“相似度最大的商品候选”不限定于已识别的多个商品候选中的一个商品候选，假想有当识别有一个商品候选时的所述商品候选。另外，也可以是当存在有多个相似度最大的商品候选时，既可以将任意一个商品候选作为确定商品，又可以通过将已识别的所有商品候选通知给商品候选提示部1615，从而不进行自动识别的形式。
[0070]此外，在本实施例中，虽然是对相似度最大的商品候选，判别第一标志及第二标志的形式，但是并不限定于此。例如，也可以是以相似度最大的商品候选和除所述商品候选之外的其他商品候选的相似度之差大于等于规定值为条件，进行判别第一标志及第二标志的形式。
[0071]相似度判定部1614当确定确定商品时,则将用于向操作员通知其确定商品的确认画面显示在显示设备106上。在这里，图6是表示确认画面的显示例的图。如图6所示，确认画面Al包含用于显示确定商品的商品名等的确定商品提示区域AU。此外,确认画面Al包含用于确认许诺确定商品的确认按钮BH、用于指示再识别的再识别按钮B12。
[0072]在这里,操作员确认确定商品提示区域All所显示的确定商品，当其内容正确时，通过操作确认按钮Bll从而通知认证成功。相似度判定部1614当接受确认按钮Bll的操作时，则记录关于其确定商品(商品ID)识别已成功的情况。
[0073]此外，操作员当在确认商品提示区域All所显示的确定商品有错误时，通过操作再识别按钮B12从而通知发生误识别。相似度判定部1614当接受再识别按钮B12的操作时，则记录关于其确定商品(商品ID)发生了误识别的情况。而且，相似度判定部1614通过再开始相似度判定从而进行商品候选的再识别。另外，也可以是在再识别时，在第一标志及第二标志中设定有非执行自动确定而进行处理的形式。此外，也可以是当确认了读入新的商品G时或当经过了规定时间(例如2秒等)时，操作有确认按钮Bll而进行处理的形式。
[0074]另外，当在第一标志及第二标志中设定有自动确定的非执行(OFF)时，相似度判定部1614不进行确定处理，而向商品候选提示部1615通知已识别的所有商品候选。
[0075]商品候选提示部1615是与显示控制部对应的功能部。商品候选提示部1615，将与从相似度判定部1614通知为商品候选的登记商品有关的信息显示在显示设备106上。更详细地说，商品候选提示部1615，从POS终端11的PLU文件Fl中读出与商品候选对应的登记商品的记录，并显示在显示设备106上。
[0076]图7是表示商品候选画面的显示例的图。如图7所示,商品候选画面A2包括摄像图像区域A21、商品候选提不区域A22。
[0077]摄像图像区域A21是用于显示图像采集部1611采集到的摄像图像的区域。商品候选提示区域A22是用于显示被识别为商品候选的各登记商品的商品图像、商品名等的区域。在该商品候选提示区域A22中，通过相似度判定部1614识别出的商品候选的商品图像(Gl?G3)与商品名等同时被显示。另外，也可以在商品候选提示区域A22中，不显示通过相似度判定部1614识别出的商品候选的商品图像,而显示商品名。
[0078]在摄像图像区域A21的下部，设置有用于从分类代码、商品明细等中手动选择(确定)商品的手动确定按钮B21。CPU161根据手动确定按钮B21的操作，将用于手动进行确定商品的手动确定画面(未图不)显不在显不设备106上。从手动确定画面中已选择的商品(登记商品)，被作为确定商品进行处理。
[0079]另外，商品候选提示区域A22所显示的商品候选，不限定于从相似度判定部1614通知的商品候选。例如，也可以当从相似度判定部1614通知的商品候选属于任意一个组时，将属于该组的其他登记商品作为商品候选显示在商品候选提示区域A22中。这时，商品候选提示部1615从组设定文件F2中指定已通知的商品候选的商品ID所属的组。而且，商品候选提示部1615从PLU文件Fl中读出属于已指定的组的登记商品的记录，并作为商品候选显示在商品候选提示区域A22中。
[0080]返回到图5，输入接受部1616通过触摸面板105或键盘107接受与显示设备106的显不对应的各种输入操作。例如，输入接受部1616,从显不设备106所显不的商品候选中接受对任意一个商品候选的选择操作。输入接受部1616将已选择的商品候选，确定为与商品G对应的商品(确定商品)。另外，当商品检测部1612可检测出多个商品G时，输入接受部1616也可以从商品候选中接受多个商品候选的选择操作。
[0081]信息输出部1617对上述那样已被确定的确定商品，将表示该商品的信息(例如，商品ID、商品名等)通过连接接口 175输出给POS终端11。
[0082]另外，信息输出部1617也可以将通过触摸面板105或键盘107另外输入的销售个数与商品ID等同时输出给POS终端11。此外，作为信息输出部1617输出给POS终端11的信息，信息输出部1617既可以直接通知从PLU文件Fl读出的商品ID，又可以通知可指定商品ID的商品名、商品图像的文件名，还可以通知其商品ID的存储位置(在PLU文件Fl中的存储地址)。
[0083]另一方面，POS终端11的CPU61通过执行程序，具有作为销售登记部611的功能。销售登记部611，基于从商品读取装置101的信息输出部1617中输出的商品ID和销售个数，进行对应的商品的销售登记。具体地说，销售登记部611通过参照PLU文件F1，将已通知的商品ID及与所述商品ID对应的商品分类、商品名、单价等与销售个数同时记录在销售主文件等中，从而进行销售登记。
[0084]以下，对结账系统I的动作进行说明。首先，参照图8，对商品读取装置101的动作进行说明。在这里，图8是表示商品读取装置101所执行的商品识别处理的次序的流程图。
[0085]当根据POS终端11开始商品登记等而开始本处理时，则图像采集部1611向摄像部164输出摄像导通信号从而开始由摄像部164的摄像。(步骤Sll)。
[0086]图像米集部1611，米集摄像部164摄像并保存在RAM163中的巾贞图像(摄像图像)(步骤S12)。接着，商品检测部1612从在步骤S12中采集到的摄像图像中进行商品G的全部或一部分的检测(步骤S13)。在这里，当未检测出商品G时(步骤S13的否)，返回到步骤 S12。
[0087]当在步骤S13中检测出有商品G时(步骤S13的是)，特征量抽出部1613从在步骤S12中采集到的摄像图像中，抽出在步骤S13中检测出的商品G的特征量(步骤S14)。接着，相似度判定部1614对在步骤S14中已抽出的特征量和PLU文件Fl所登记的各登记商品的特征量进行比较，分别计算出其相似度(步骤S15)。
[0088]相似度判定部1614将计算出的相似度大于等于规定阈值的登记商品的商品ID识别为商品候选(步骤S16)。此外，当商品候选的个数为O个时，返回到步骤S12。
[0089]接着，相似度判定部1614对与在已识别的商品候选中相似度最大的商品候选关联的第一标志的设定值进行判别(步骤S17)。当第一标志中设定有执行(ON)自动确定时(步骤S17的是)，相似度判定部1614将相似度最大的商品候选确定为确定商品(步骤S19)，并过渡到步骤S20。另外，当在第一标志中设定有执行(ON)自动确定时(步骤S17的是)，相似度判定部1614不限定于将相似度最大的商品候选确定为确定商品。当在第一标志中设定有执行(ON)自动确定时(步骤S17的是)，相似度判定部1614也可以根据相似度的阈值，进行自动确定或显示商品候选。例如，如果相似度为大于等于90%，则视为自动确定，如果相似度小于90%，则显示商品候选。
[0090]此外，当在第一标志中设定有非执行(OFF)时(步骤S17的否)，相似度判定部1614判别与该商品候选所属的组关联的第二标志的设定值(步骤S18)。
[0091]当在第二标志中设定有执行(ON)自动确定时(步骤S18的是)，相似度判定部1614将其商品候选确定为确定商品(步骤S19)，并过渡到步骤S20。此外，当在第二标志中设定有自动确定的非执行(OFF)时(步骤S18的否)，相似度判定部1614向商品候选提示部1615通知该商品候选，并过渡到步骤S22。
[0092]在步骤S20中，相似度判定部1614显示确定商品的确认画面(步骤S20)。在这里，当确认按钮Bll被操作了时(步骤S21的是)，相似度判定部1614记录识别已成功的情况，并过渡到步骤S24。此外，当再识别按钮B12被操作了时(步骤S21的否)，相似度判定部1614记录已发生了误识别的情况，并返回到步骤S12。
[0093]在步骤S22中，商品候选提示部1615从PLU文件Fl中读出已通知的商品候选的记录，并显示在显示设备106上。也可以在将第二标志被设定为OFF的商品作为商品候选而显示在显示设备106上时，变更候选的商品图像(例如，图7的Gl?G3)的背景色。例如，以能区别的方式，将第二标志已被设定为OFF的商品的商品图像的背景色作为蓝色、将第二标志未被设定为OFF的商品的商品图像的背景色作为白色来进行显示。
[0094]接着，输入接受部1616判定是否通过触摸面板105或键盘107接受了商品候选的选择(步骤S23)。当进行有选择操作时(步骤S23的是)，则输入接受部1616将已选择的商品候选接受为与商品G对应的确定商品，并过渡到步骤S24。此外，当在步骤S23中未接受商品候选的选择时(步骤S23的否)，再返回到步骤S12。
[0095]在步骤S24中，信息输出部1617将表示确定商品的商品ID等的信息，输出给POS终端11 (步骤S24)，并过渡到步骤S25。在这里，当通过触摸面板105等另外输入有销售个数时，在步骤S24中，将其销售个数与表示确定商品的信息同时输出给POS终端11。另外，也可以是当未进行有销售个数的输入时，输出销售个数“ I ”作为默认值的形式。
[0096]在接着的步骤S25中，CPU161判定有无根据从POS终端11通知结束商品登记的工作结束(步骤S25)。当继续工作时(步骤S25的否)，CPU161返回到步骤S12的处理并继续处理。此外，当结束工作时(步骤S25的是)，图像采集部1611通过向摄像部164输出摄像截至信号，从而结束由摄像部164的摄像(步骤S26)，并结束商品识别处理。
[0097]接着，对POS终端11的处理动作进行说明。图9是表示POS终端11执行的销售登记处理的次序的流程图。
[0098]首先，当根据键盘22的操作指示开始商品登记等而开始处理时，则CPU61接收商品读取装置101在图8的步骤S24中已输出的确定商品的商品ID和其销售个数(步骤S31)。接着，销售登记部611基于在步骤S31中接收到的商品ID及销售个数，从PLU文件Fl中读出商品种类、单价等，从而将通过商品读取装置101已读取的商品G的销售，登记在销售主文件中(步骤S32)。
[0099]接着，CPU61判定有无根据通过键盘22的操作指示结束销售登记等的工作结束(步骤S33)。当继续工作时(步骤S33的否)，CPU61返回到步骤S31并继续处理。当结束工作时(步骤S33的是)，CPU61结束销售登记处理。
[0100]如以上那样，根据本实施例，基于根据识别率等设定的第一标志及第二标志的设定值，执行与商品G对应的登记商品(确定商品)的自动确定。通过这样，当识别了指示有执行自动确定的登记商品时，能够自动进行确定确定商品，所以能够有效地进行商品的识别所涉及的处理。此外，例如，通过将识别的误识别的发生率高的登记商品视为非执行自动确定、将除此之外的登记商品视为执行自动识别，能够使自动确定的准确度提高。
[0101]以上，虽然对本发明的实施例进行了说明，但是上述实施例是作为例子提出的，并不意图限定发明的范围。上述实施例可以用其他各种形式来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更、追加等。此外，上述实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。
[0102]例如，第一标志及第二标志的设定值既可以为固定值，又可以动态地进行变更。当采用后者的构成时，CPU161或CPU61具有作为设定变更部的功能，基于相似度判定部1614的识别率，对第一标志及第二标志的设定值进行变更。具体地说，设定变更部基于在步骤S21中获得的商品候选(确定商品)各个商品的识别成功及误识别的记录(历史)，计算出关于各商品候选的误识别的发生率。而且，设定变更部将识别的成功率大于等于规定值(例如大于等于8成(80% ))的商品候选(登记商品)所涉及的第一标志或第二标志设定(变更)为0N。此外，设定变更部将识别的成功率小于规定值(例如，小于8成(80%))的商品候选(登记商品)所涉及的第一标志或第二标志设定(变更)为OFF。
[0103]此外，在上述实施例中，虽然是设置第一标志及第二标志的两方的形式，但是也可以是只设置任意一方的形式。
[0104]此外，在上述实施例中，虽然是POS终端11具有PLU文件Fl及组设定文件F2的形式，但是不限定于此，也可以是商品读取装置101具有PLU文件Fl及组设定文件F2的一部分或全部的形式。
[0105]此外，在上述实施例中，虽然是在商品读取装置101中进行商品候选的识别的形式，但是也可以是POS终端11具有商品读取装置101所具有的功能部的一部分或全部的形式。
[0106]例如，也可以是POS终端11具有特征量抽出部1613及相似度判定部1614，商品读取装置101具有图像采集部1611、商品检测部1612、商品候选提示部1615、输入接受部1616及信息输出部1617的形式。这时，在商品读取装置101侧中，将通过图像采集部1611采集、并在商品检测部1612中检测出商品的摄像图像发送给POS终端11。此外，商品读取装置101接收在POS终端11侧识别出的商品(登记商品)的结果，商品候选提示部1615将该接收到的结果作为商品候选进行提示。此外，当POS终端11具有商品读取装置101的全部功能部时，商品读取装置101具有作为摄像装置的功能，在POS终端11中，基于从商品读取装置101发送出的摄像图像，进行商品候选的显示和选择。
[0107]此外，在上述实施例中，虽然对采用了固定式的扫描器装置(商品读取装置101)的例子进行了说明，但是不限定于此，也可以是将所谓的手持式扫描装置与POS终端11连接的形式。
[0108]此外，在上述实施例中，虽然在由POS终端11和商品读取装置101构成的结账系统I中，将本发明的实施例应用于商品读取装置101中，但是并不限定于此，也可以应用于具有POS终端11及商品读取装置101的功能的一体构成的装置、或诸如将图1所示的商品读取装置101及POS终端11通过有线或无线地连接而构成的结账系统。作为具有POS终端11及商品读取装置101的功能的一体构成的装置，列举有设置在超市等店铺中而使用的自助结账装置(以后，仅称为自助P0S)。
[0109]在这里，图10是表示自助P0S200的外观构成的立体图，图11是表示自助P0S200的硬件构成的框图。另外，以下，对图1及图2所示的同样构成，附加相同符号进行示出，并省略其重复的说明。
[0110]如图10及图11所示，自助P0S200的主体202具有在表面上配设有触摸面板105的显示装置106、为了识别(检测)商品的种类等而读取商品图像的商品读取部110。
[0111]显示装置106显示用于向顾客告知自助P0S200的操作方法的引导画面、各种的输入画面、显示在商品读取部110中已读取的商品信息的登记画面、显示商品的合计金额、预付金额、找零金额等并进行选择支付方法的对账(结账)画面等。
[0112]商品读取部110是通过顾客将附在商品上的码符号对准商品读取部110的读取窗103，从而通过摄像部164读取商品图像的装置。
[0113]此外，在主体202的右侧设置有用于放置已装入筐中的未结算的商品的商品载置台203，在主体202的左侧设置有用于放置已结算的商品的商品载置台204。此外，设置用于挂装入已结算的商品用的袋的袋挂钩205、用于将已结算的商品在装入袋之前临时放置的临时放置台206。商品载置台203及204分别设置有计量器207、208，并具有确认在结算前后商品的重量为相同的情况的功能。
[0114]此外，自助P0S200的主体202设置有用于进行存入结算用纸币和接受找零纸币的找零机201。
[0115]当在这样构成的自助P0S200中应用了本发明的实施例时，自助P0S200具有作为信息处理装置的功能。另外，具有POS终端11和商品读取装置101的功能的一体构成的装置，不限定于上述构成的自助P0S200，也可以是去除计量器207及208而构成的装置。
[0116]此外，在上述实施例的各装置中执行的程序，虽然被预先安装在各装置所具有的存储介质(ROM或存储部)中而提供，但是并不限定于此，诸如也可以用可安装的形式或可执行的形式的文件记录在CD-ROM、软磁盘(FD)、CD-R、DVD (Digital Versatile Disk:数字多功能光盘)等计算机可读的存储介质中而提供。而且，存储介质不限定于与计算机或嵌入系统独立的介质，也包含有下载通过LAN、互联网等传输来的程序而存储或临时存储的存储介质。
[0117]此外，也可以将在上述实施例的各装置中执行的程序存储在与互联网等的网络连接的计算机上，并通过经由网络下载来提供。此外，也可以将在上述实施例的各装置中执行的程序经由互联网等的网络进行配置。
[0118]此外，也可以是将上述实施例的程序安装在具有通信功能的移动电话、智能电话、PDA (Personal Digital Assistant:个人数字助理)等的便携信息终端中而实现其功能的形式。
【权利要求】
1.一种信息处理装置，包括: 采集部，采集摄像部已摄像的图像； 抽出部，从所述摄像部已摄像的商品的图像中抽出特征量； 计算部，对关联有指示自动确定的执行或非执行的指示信息的基准商品的各个商品的特征量和所述抽出部已抽出的特征量进行比较，并计算出其相似度； 识别部，将所述相似度大于等于阈值的基准商品，识别为商品候选； 判别部，对与所述商品候选关联的所述指示信息进行判别；以及显示控制部，当判别出为对应有指示所述自动确定的非执行的指示信息时，能够选择地显示所述识别部已识别的各商品候选。
2.根据权利要求1所述的信息处理装置，其中， 所述指示信息与将具有规定的关系性的多个基准商品进行了组化的各组关联， 所述判别部对与所述相似度最大的商品候选所属的组关联的所述指示信息进行判别。
3.根据权利要求1或2所述的信息处理装置，其中， 指示所述自动确定的执行的指示信息，与基于所述识别部的识别的成功率大于等于规定值的基准商品或由所述基准商品构成的组关联。
4.根据权利要求1至3中任一项所述的信息处理装置，其中， 所述判别部当所述相似度最大的商品候选和除所述商品候选之外的其他商品候选的相似度之差大于等于规定值时，对所述指示信息进行判别， 所述显示控制部当所述相似度之差小于所述规定值时，能够选择地显示所述识别部已识别的各商品候选。
5.根据权利要求1至4中任一项所述的信息处理装置，还包括: 设定变更部，基于所述识别部的所述商品候选的识别率，变更与和所述商品候选对应的所述基准商品关联的所述指示信息的指示内容。
6.一种信息处理装置的控制方法，包括以下步骤: 采集步骤，采集摄像部已摄像的图像； 抽出步骤，从所述摄像部已摄像的商品的图像中抽出特征量； 计算步骤，对关联有指示自动确定的执行或非执行的指示信息的基准商品的各个商品的特征量和通过所述抽出步骤已抽出的特征量进行比较，并计算出其相似度； 识别步骤，将所述相似度大于等于阈值的基准商品，识别为商品候选； 判别步骤，对与所述相似度最大的商品候选关联的所述指示信息进行判别；以及显示控制步骤，当判别出为对应有指示所述自动确定的非执行的指示信息时，能够选择地显示通过所述识别步骤已识别的各商品候选。
7.根据权利要求6所述的控制方法，其中， 所述指示信息与将具有规定的关系性的多个基准商品进行了组化的各组关联， 在所述判别步骤中，对与所述相似度最大的商品候选所属的组关联的所述指示信息进行判别。
8.根据权利要求6或7所述的控制方法，其中， 指示所述自动确定的执行的指示信息，与基于所述识别步骤的识别的成功率大于等于规定值的基准商品或由所述基准商品构成的组关联。
9.根据权利要求6至8中任一项所述的控制方法，其中， 在所述判别步骤中，当所述相似度最大的商品候选和除所述商品候选之外的其他商品候选的相似度之差大于等于规定值时，对所述指示信息进行判别， 在所述显示控制步骤中，当所述相似度之差小于所述规定值时，能够选择地显示通过所述识别步骤已识别的各商品候选。
10.根据权利要求6至9中任一项所述的控制方法，还包括: 设定变更步骤，基于所述识别步骤的所述商品候选的识别率，变更与和所述商品候选对应的所述基准商品关联的所述指不彳目息的指不内容。
【文档编号】G06K9/46GK104299337SQ201410250322
【公开日】2015年1月21日 申请日期:2014年6月6日 优先权日:2013年7月16日
【发明者】二宮茂樹, 澁谷高志, 角田洋二, 福田正嗣 申请人:东芝泰格有限公司