商品识别装置及商品识别方法

商品识别装置及商品识别方法
【专利摘要】本发明提供一种能够提高外观相似的商品的识别率的商品识别装置及基于商品识别装置的商品识别方法，所述商品识别装置包括特征量提取部、商品识别部及输出部。特征量提取部从通过摄像部摄像的图像，提取其图像所包含的商品的外观特征量。商品识别部将通过特征量提取部提取的外观特征量的数据与对应作为识别对象的商品保存有按部位表示其商品的表面信息的按部位特征量数据的识别词库文件的所述按部位特征量数据进行核对，识别所述图像所包含的商品。输出部输出商品识别部的识别结果。
【专利说明】商品识别装置及商品识别方法
[0001]本申请主张申请日为2012年5月31日、申请号为JP2012-124917的日本申请为优先权，并引用上述申请的内容。
【技术领域】
[0002]本发明的实施例涉及一种用摄像部的商品识别装置及基于商品识别装置的商品识别方法。
【背景技术】
[0003]目前，有从通过摄像部摄像成为对象的物品(目的物)的图像数据，提取该物品的特征量，与识别词库所登记的特征量数据进行核对计算出相似度，并根据该相似度对该物品的类别等进行识别的技术。识别这样的图像中所包含的物品的技术被称为一般物体识别(generic object recognition:—般物体识别)。关于这样的一般物体识别的技术在下述的文献中说明有各种识别技术。
[0004]柳井啓司，“一般物体認識現状今後”，情報処理学会論文誌，V ο 1.48, N0.S I G16 [平成 22 年8 月 10 日検索],?1 > 夕一才、'7 卜 <URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf> (柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，Vol.48, N0.SIG16 “2010 年 8 月 10 日检索”，互联网 < URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf >)
[0005]此外，通过对应每个目的物对图像进行区域分割，进行一般物体识别的技术在下述的文献中被说明。
[0006]Jamie Shotton h ,“Semantic Texton Forests for Image Categorization andSegmentation，，，[平成 22 年 8 月 10 日検索]，> 夕一才、'7 卜 <URL:http://citeseerx.1st.psu.edu/viewdoc/download?doi = 10.1.1.145.3036&rep=repl&type=pdf> (JamieShotton h (杰米肖顿等人),“Semantic Texton Forests for Image Categorization andSegmentation: ”，“2010 年 8 月 10 日检索”，互联网 < URL:http://citeseerx.1st.psu.edu/viewdoc/download ? doi = 10.1.1.145.3036&rep = repl&type = pdf >)
[0007]近年来，例如，在零售店的结账系统(P0S系统)中，提案有将一般物体识别的技术适用于顾客购买的商品的识别装置。这时，识别词库保存有以参数表示各商品的外观形状、色彩、图案、凹凸状况等的表面信息的特征量数据。而且，商品识别装置从通过摄像部摄像的商品的图像数据中提取关于该商品的表面信息的特征量，并将该特征量与识别词库所登记的各商品的特征量数据进行核对。其结果，当检测出具有规定的阈值以上的相似度的特征量数据时，输出具有其特征量数据的商品作为识别商品候补。
[0008]有外观大部分相似的商品。例如，由于萝卜和芜菁均是十字花科的根菜，所以叶部相似。此外，根部、形状虽然不同，但色彩、表面的凹凸状况相似。因此，对于通过摄像部摄像的商品的图像来说，存在萝卜和芜菁被误识别的情况。
【发明内容】

[0009]为了解决上述问题，本发明提供一种能够提高与其他商品外观类似的商品的识别率的商品识别装置及基于商品识别装置的商品识别方法。
[0010]本发明一方面所涉及的商品识别装置包括特征量提取部、商品识别部及输出部。特征量提取部从通过摄像部摄像的图像，提取其图像所包含的商品的外观特征量。商品识别部将通过特征量提取部提取的外观特征量的数据与对应作为识别对象的商品保存有按部位表示其商品的表面信息的按部位特征量数据的识别词库文件的所述按部位特征量数据进行核对，识别所述图像所包含的商品。输出部输出商品识别部的识别结果。
[0011]本发明另一方面所涉及的基于商品识别装置的商品识别方法，所述商品识别装置能够访问保存有对应作为识别对象的商品按部位表示其商品的表面信息的按部位特征量数据的识别词库文件，所述商品识别方法包括:特征量提取步骤，从通过摄像部摄像的图像，提取其图像所包含的商品的外观特征量；商品识别步骤，将通过所述特征量提取步骤提取的外观特征量的数据与所述识别词库文件的按部位特征量数据进行核对，识别所述图像所包含的商品；以及输出步骤，输出所述商品识别步骤的识别结果。
【专利附图】

【附图说明】
[0012]图1是作为一实施例的店铺结账系统的外观图。
[0013]图2是表示该店铺结账系统的商品读取装置及POS终端的硬件构成的框图。
[0014]图3是表示在该店铺结账系统中使用的识别词库文件的数据构造的示意图。
[0015]图4是用于说明图3的识别词库文件所设定的按部位区分的特征量数据的部位区分的示意图。
[0016]图5是表示在该店铺结账系统的商品读取装置中选择商品识别模式时，通过该商品读取装置的CPU来实现的功能的框图。
[0017]图6是表示该店铺结账系统中的商品读取装置的CPU按照商品识别程序所执行的信息处理的次序的流程图。
[0018]图7是具体地表示图6中的步骤ST5的识别处理的次序的流程图。
[0019]图8是表示在第二实施例的店铺结账系统中使用的识别词库文件的数据构造的示意图。
[0020]图9是具体地表示在该第二实施例中商品读取装置的CPU按照商品识别程序所执行的信息处理中的识别处理的次序的流程图。
[0021]图10是具体地表示在第三实施例中商品读取装置的CPU按照商品识别程序所执行的信息处理中的识别处理的次序的流程图。
【具体实施方式】
[0022]下面，参照附图对商品识别装置的实施例进行说明。另外，本实施例是使在店铺结账系统(P0S系统)中使用的商品读取装置I具有作为商品识别装置的功能的例子。
[0023](第一实施例)
[0024]首先，参照图1?图7对第一实施例进行说明。
[0025]图1是店铺结账系统的外观图。该系统包括作为登记顾客所购买的商品的登记部的商品读取装置1、以及作为处理顾客的货款支付的结算部的POS (Point Of Sales:销售点)终端2。商品读取装置I安装在结账台3的上面。POS终端2通过拉出装置5被设置在收银台4的上面。商品读取装置I和POS终端2通过未图示的通信电缆电气的连接。
[0026]商品读取装置I包括键盘11、触摸面板12及顾客用显示器13。这些显示、操作设备(键盘11、触摸面板12、顾客用显示器13)安装在构成商品读取装置I的主体的薄壁型矩形形状的壳体IA上。
[0027]壳体IA内置有作为摄像部的摄像部14。此外，矩形形状的读取窗IB形成在壳体IA的正面。摄像部14包括作为区域图像传感器的CCD (Charge Coupled Device:电荷稱合元件)摄像元件及其驱动电路、以及用于使摄像区域的图像在CCD摄像元件中成像的摄像头。摄像区域就是指从读取窗IB通过摄像头在CCD摄像元件的区域所成像的帧图像的区域。摄像部14通过摄像头来输出CCD摄像元件所成像的摄像区域的图像。
[0028]POS终端2作为结算所需的设备，包括键盘21、操作员用显示器22、顾客用显示器23及票据打印机24。
[0029]结账台3沿其里侧的顾客通道呈长条形状。收银台4与结账台3大致垂直地放置在沿结账台3进行移动的顾客的移动方向的下游侧的结账台3的端部跟前侧。而且，该结账台3的跟前侧和收银台4的跟前侧成为负责结账的店员、所谓的收银员的空间。
[0030]在结账台3的大致中央竖着设置有商品读取装置I的壳体1A，所述壳体IA使键盘11、触摸面板12及读取窗IB分别朝向跟前侧的操作员侧。商品读取装置I的顾客用显示器13以朝向顾客通道侧的方式被安装在壳体IA上。
[0031]结账台3的隔着商品读取装置I在顾客移动方向上游侧的负荷接受面成为用于放置装入有购物顾客所购买的未登记的商品M的购物筐6的空间。此外，下游侧的负荷接受面成为用于放置用于装入通过商品读取装置I已登记的商品M的购物筐7的空间。
[0032]图2是表示商品读取装置I和POS终端2的硬件构成的框图。商品读取装置I作为控制主体搭载CPU (Central Processing Unit:中央处理器)101。而且，该CPUlOl通过地址总线、数据总线等的总线102，连接有R0M103和RAM104。R0M103存储有通过CPUlOl执行的程序。
[0033]除此之外，总线102通过输入输出电路(未图示)连接有所述摄像部14。此外，作为显示、操作设备的键盘11、触摸面板12及顾客用显示器13通过连接接口 105及连接接口106与总线102连接。触摸面板12包括诸如使用液晶显示器的面板显示部121、以及重叠配置在该显示部的画面上的触摸面板传感器122。
[0034]POS终端2也作为控制部主体搭载CPU201。而且，该CPU201通过总线202连接有R0M203、RAM204、HDD (Hard Disk Drive:硬盘驱动器)装置205、通信接口 206及连接接口207。此外，总线202通过各个输入输出电路(未图示)连接有所述键盘21、操作员用显示器22、顾客用显示器23、打印机24及拉出装置5的各部。
[0035]通信接口 206通过LAN (Local Area Network:局域网)等的网络与担任店铺的中枢的存储计算机SC连接。通过该连接，POS终端2可与存储服务器SC发送接收数据。例如，POS终端2从存储计算机SC接收商品数据文件(未图示)、识别词库文件81。接收的商品数据文件及识别词库文件81被保存到HDD装置205中。
[0036]连接接口 207通过通信光缆与商品读取装置I的两个连接接口 105、106连接。通过该连接，POS终端2接收在商品读取装置I中读取到的商品信息。此外，商品读取装置I可访问HDD装置205所保存的商品数据文件、识别词库文件81。
[0037]图3是表示识别词库文件81所保存的数据记录的构造的示意图。如图3所示，识别词库文件81对应每个作为识别对象的商品，保存有与识别其商品的商品ID及商品名关联记录了部位区分I-N不同的特征量数据的数据记录。在店铺中销售的各商品分配有固有的商品ID。商品数据文件与各商品的商品ID关联，预置有商品名、单价、分类代码等的商品?目息。
[0038]特征量数据是对应以对应的商品ID识别的商品的部位区分，用参数表示以其部位区分识别的部位的外观形状、色彩、图案、凹凸情况等的表面信息的数据。用图4对商品的部位区分进行说明。
[0039]在图4中，左侧的插图表示商品“萝卜”，右侧的插图表示商品“芜菁”。商品“萝卜”和商品“芜菁”都是十字花科的根菜，广义上说，分为叶部和根部。此外，在是商品“萝卜”时，根部分为靠近叶部的绿顶部和与叶部分开的白根部。在是商品“芜菁”时，根部可以说成是白根部。因此，对于商品“萝卜”来说，对部位区分“101”的叶部、部位区分“102”的绿顶部、以及部位区分“103”的白根部，分别存储有特征量数据。另一方面，对于商品“芜菁”来说，对部位区分“101”的叶部和部位区分“103”的白根部，分别存储有特征量数据。也就是说，部位区分数N因商品而不同。
[0040]商品读取装置I作为业务模式至少具有商品识别模式。商品识别模式是识别顾客所购买的商品，并将其识别结果输出给POS终端2的模式。
[0041]在商品识别模式被 选择了时，CPUlOl实现图5的框图所示的各功能、即特征量提取部51、商品识别部52及输出部53。这些功能全按照作为程序存储部的R0M103所存储的商品识别程序(未图示)来实现。
[0042]特征量提取部51从通过摄像部14摄像的图像，提取关于其图像所包含的商品的外观形状、色彩、图案、凹凸状况等的表面信息的外观特征量。商品识别部52将通过特征量提取部51提取的外观特征量的数据与所述识别词库文件81的按部位区分的特征量数据(按部位特征量数据)进行核对，识别所述图像所包含的商品。详细地说，对应每个识别词库文件81所保存的按部位区分的特征量数据，计算出表示外观特征量与该按部位区分的特征量数据相似到哪种程度的相似度，并基于对应这些按部位区分的特征量数据的相似度对所述图像所包含的商品进行识别。具体地说，对应每个商品合计对应按部位区分的特征量数据的相似度，如其合计相似度比规定的阈值高，则将具有该部位区分特征量数据的商品决定作为识别候补，如比所述阈值低，则将该商品决定为不是识别候补。输出部53输出商品识别部52的识别结果、即作为识别候补被决定的商品的信息。另外，输出包含显示识别结果、或将识别结果发送给外部设备(例如，POS终端2)等。
[0043]图6是表示商品识别模式被选择了时的CPUlOl的主要的信息处理次序的流程图。当商品识别模式被选择时，商品识别程序起动。通过该程序的起动，CPUlOl向摄像部14输出摄像导通信号(ST1)。根据该摄像导通信号，摄像部14开始摄像区域的摄像。通过摄像部14摄像的摄像区域的帧图像被依次保存到RAM104中。
[0044]CPUlOl采集RAM104所保存的帧图像的数据(ST2)。而且，CPUlOl确认在该帧图像中是否摄像有商品(ST3)。具体地说，CPUlOl从二值化帧图像的图像，提取轮廓线等。而且，CPUlOl尝试提取帧图像所映出的物体的轮廓。当提取有物体的轮廓时，CPU41将其轮廓内的图像作为商品。
[0045]在帧图像中未摄像有商品时(ST3中的否)，CPUlOl从RAM104采集下一帧图像(ST2)。针对于此，在帧图像中摄像有商品时(ST3中的是)，CPUlOl从其轮廓内的图像提取商品的形状、表面的色彩、图案、凹凸状况等的外观特征量(ST4:特征量提取部51)。提取的外观特征量的数据暂时的存储到RAM104的工作区中。
[0046]当提取特征量结束时，CPUlOl执行在图7的流程图中具体所示的次序的识别处理(ST5:商品识别部52)。首先，CPUlOl访问通过连接接口 105连接的POS终端2的HDD装置205，检索识别词库文件81 (ST11)。而且，CPUlOl从识别词库文件81读入商品的数据记录(商品ID、商品名、按部位区分的特征量数据)(ST12)。
[0047]如读入了数据记录，则CPUlOl对应每个该记录的按部位区分的特征量，计算出表示在步骤ST4的处理中提取的外观特征量与该按部位区分的特征量数据相似到哪种程度的相似度(ST13)。
[0048]如对各按部位区分的特征量数据分别计算出相似度，则CPUlOl合计对应这些按部位区分的特征量数据的相似度(ST14)。而且，CPUlOl确认该合计相似度是否处于比规定的阈值高的程度(ST15)。
[0049]在合计相似度处于比阈值高的程度时(ST15中的是)，CPUlOl将该数据记录的商品ID和商品名作为登记商品候补存储到RAM104的规定区(ST16)。针对于此，在合计相似度未超过阈值时(ST15中的否)，CPUlOl不执行步骤ST16的处理。
[0050]之后，CPUlOl确认在识别词库文件81中是否存在有未处理的数据记录(ST17)。在存在时(ST17中的是)，CPUlOl返回到步骤ST12的处理。也就是说，CPUlOl从识别词库文件81读入未处理的数据记录，执行所述步骤ST13?ST17的处理。
[0051]这样，当对识别词库文件81所保存的全部的数据记录执行所述步骤ST13?ST17的处理时(ST17中的否)，结束识别处理。
[0052]当结束识别处理时，则CPUlOl确认登记商品候补的有无(ST6)。在RAM104的规定区一个成为登记商品候补的商品的商品ID和商品名都没有存储时，则没有登记商品候补。这时(ST6中的否)，CPUlOl返回到步骤ST2的处理。也就是说，CPUlOl从RAM104采集下一帧图像数据。而且，CPUlOl对该图像数据，执行所述步骤ST3?ST6的处理。
[0053]另一方面，在RAM104的规定区只存储有一个商品ID和商品名时，则有登记商品候补。这时(ST6中的是)，CPUlOl进入下一处理。例如，使触摸面板12显示登记商品候补的目录(输出部53),使用户选择任意一个商品。
[0054]这样，在本实施例中，对应每个作为识别对象的商品，在识别词库文件81中保存有按部位表示其商品的表面信息的按部位区分的特征量数据。而且，商品读取装置I可访问上述识别词库文件81。
[0055]另一方面，负责结账的店员、所谓的收银员从购物筐6逐一取出购物顾客所购买的未登记的商品M，向商品读取装置I的读取窗IB对准。结果，通过摄像部14摄像商品M，并将该商品M的图像数据采集到商品读取装置I中。
[0056]在商品读取装置I中，从商品M的图像数据，提取商品M的形状、表面的色彩、图案、凹凸状况等的外观特征量。而且，该外观特征量的数据与识别词库文件81所保存的各商品的按部位区分的特征量数据进行核对。
[0057]例如，例示“萝卜”作为商品M。对于商品“萝卜”，在识别词库文件81中分别与表示叶部的部位区分“101”、表示绿顶部的部位区分“102”、表示白根部的部位区分“103”关联保存有对应其部位的特征量数据。此外，即使对于与商品“萝卜”相同作为十字花科的根菜的商品“芜菁”，也在识别词库文件81中分别与表示叶部的部位区分“101”和表示白根部的部位区分“103”关联保存有对应其部位的特征量数据。但是，对于商品“芜菁”，不保存表示绿顶部的部位区分“ 102”的特征量数据。
[0058]现在，视为通过摄像部14摄像有商品“罗卜”的整体。这时，在图像中存在有商品“萝卜”的叶部、绿顶部及白根部。因此，从图像中抽取的商品表面信息的特征量和识别词库文件81所存储的商品“萝卜”的按部位区分的特征量数据的相似度即使在叶部、绿顶部及白根部的任一个中都变高。针对于此，该商品表面信息的特征量和商品“芜菁”的按部位区分的特征量数据的相似度因为在图像数据中包含绿顶部，所以即使在叶部及白根部的任一个中都比商品为“萝卜”时降低。因此，即使是象“萝卜”和“芜菁”那样外观的大部分相似的商品，商品读取装置I也能够以高准确率进行识别。
[0059]此外，视为通过摄像部14摄像商品“萝卜”的叶部和绿顶部、并几乎摄像不到白根部。这时，由于图像存在有商品“萝卜”的叶部和绿顶部，所以从图像提取的商品表面信息的特征量和识别词库文件18所存储的商品“萝卜”的按部位区分的特征量数据的相似度在叶部和绿顶部中变高。针对于此，该商品表面信息的特征量和商品“芜菁”的按部位区分的特征量数据的相似度因为图像数据包含有绿顶部，所以比是商品“萝卜”时降低。通过摄像部14摄像商品“萝卜”的绿顶部和白根部时也同样。因此，商品读取装置I即使通过摄像部14不摄像有商品的整体，也能够以高准确率识别商品。
[0060](第二实施例)
[0061]在所述第一实施例中，对应对一个商品的多个按部位区分的特征量数据，计算出与从摄像图像提取的商品表面信息的特征量的相似度，通过各相似度的合计是否超过规定的阈值来识别商品。因此，对于商品的摄像部位来说，存在有外观相似的其他商品被识别作为登记商品候补的可能性。
[0062]例如，假设通过摄像部14摄像有商品“芜菁”。这时，图像存在有商品“芜菁”的叶部和白根部。因此，从图像提取的商品表面信息的特征量和识别词库文件81所存储的商品“芜菁”的按部位区分的特征量数据的相似度在叶部和白根部的任一个中都高。同样，该商品表面信息的特征量和识别词库文件81所存储的商品“萝卜”的按部位区分的特征量数据的相似度比在叶部及白根部的任一个都高。因此，商品读取装置I不能够识别通过摄像部14摄像的商品是“萝卜”还是“芜菁”。
[0063]但是，识别词库文件81所存储的商品“萝卜”的按部位区分的特征量数据存在有作为商品“萝卜”的特别部位的绿顶部的按部位区分的特征量数据。而且，在通过摄像部14摄像的商品是“芜菁”时，与绿顶部的按部位区分的特征量数据的相似度低，成为接近于0%的值。另一方面，在通过摄像部14摄像的商品是“萝卜”时，与绿顶部的按部位区分的特征量数据的相似度不是成为0%。也就是说，商品读取装置I即使在叶部及白根部的相似度大致相同时，也能够识别为如绿顶部的相似度高则是“萝卜”、如相似度为0%则不是“萝卜”。
[0064]接着，参照图8、图9对着眼于商品的特别部位的第二实施例进行说明。另外，第二实施例也与第一实施例同样，使商品读取装置I具有商品识别装置的功能，由于能够利用在第一实施例中说明的图1、2、4、5、6，所以与第一实施例共同的部分附加同一标记并省略详细说明。
[0065]图8是表示在第二实施例中使用的识别词库文件82的数据构造的示意图。当与第一实施例的识别词库文件81 (参照图4)进行比较时，在第二实施例中，对应部位区分附加有用于识别是否有特别性的标志f。该标志f在对应的部位区分中被指定的部位是其商品的特别部分时置位为“I”、在不是特别部分时置位为“O”.例如，在是商品“萝卜”时，由于叶部和白根部不是特别部位所以标志f置位为“0”，但因绿顶部是特别部位所以标志f置位为“I”。
[0066]图9是表示第二实施例中的识别处理(商品识别部52)的次序的流程图。在该处理中，步骤ST21?ST25的处理与第一实施例中的步骤STll?ST15的处理同样。也就是说，CPUlOl检索识别词库文件82(ST21)，从识别词库文件82读入商品的数据记录(商品ID、商品名、标志f、按部位区分的特征量数据)(ST22)。而且，如读入了数据记录，则CPUlOl对应该记录的按部位区分的特征量数据，计算出相似度(ST23)，并且，合计对应各按部位区分的特征量数据的相似度(ST24)。而且，CPUlOl确认该合计相似度是否是比规定的阈值高的程度(ST25)。在合计相似度未超过阈值时(ST25中的否)，CPUlOl进入到步骤ST29的处理。
[0067]在合计相似度处于比阈值高的程度时(ST25中的是)，CPUlOl检验该数据记录，确认是否存在有置位为“I”的标志f、即是否有特别部位(ST26)。在该数据记录的标志f全部置位为“O”时(ST26中的否)，CPUlOl进入到步骤ST28的处理。
[0068]在该数据记录的标志f中即使存在有一个置位为“I”的标志时(步骤ST26中的是)，CPUlOl检验该标志f置位为“I”的按部位区分的特征量数据与从摄像图像提取的商品表面信息的特征量的相似度(ST27)。在这里，在相似度例如不足10%时，则特别部位不相似。这时(ST27中的否)，CPUlOl进入到步骤ST29的处理。
[0069]针对于此，在相似度诸如大于等于10%时，则特别部位相似。这时(ST27中的是)，CPUlOl进入到步骤ST28的处理。也就是说，CPUlOl将所述数据记录的商品ID和商品名作为登记商品候补存储到RAM104的规定区。之后，CPUlOl进入到步骤ST29的处理。
[0070]在步骤ST29中，CPUlOl确认在识别词库文件82中是否存在有未处理的数据记录。在存在时(ST29的是)，CPUlOl返回到步骤ST22的处理。也就是说，CPUlOl从识别词库文件82读入未处理的数据记录。而且，CPUlOl对于该数据记录执行所述步骤ST23?ST29的处理。
[0071]这样，当对识别词库文件81所保存的全部的数据记录执行所述步骤ST22?ST29的处理时(步骤ST29的否)，则结束识别处理。
[0072]这样，即使在第二实施例中，与第一实施例同样，商品读取装置I对应针对一个商品的多个按部位区分的特征量数据，计算出与从摄像图像提取的商品表面信息的特征量的相似度，并通过各相似度的合计是否超过规定阈值来识别商品。但是，即使在各相似度的合计超过阈值时，在处理具有特别部位的商品的按部位区分的特征量数据时，商品读取装置I确认该特别部位的按部位区分的特征量数据的相似度是否大于等于规定值。而且，如相似度大于等于规定值，则商品读取装置I作为登记商品候补将商品ID和商品名存储到规定区，但是在小于规定值时，从登记商品候补去除。[0073]因此，例如，在通过摄像部14摄像商品“萝卜”时，对于“萝卜”的数据代码，由于作为“萝卜”的特别部位的绿顶部的相似度大于等于规定值，所以商品“萝卜”成为登记商品候补。不过，在通过摄像部14摄像商品“芜菁”时，对于商品“萝卜”的数据代码，即使各部位的相似度合计超过阈值，也由于绿顶部的相似度小于规定值，所以商品“萝卜”不成为登记商品候补。因此，商品读取装置I能够以更高精度识别商品。
[0074](第三实施例)
[0075]在所述第二实施例中，在识别词库文件82的数据项中设置用于识别是否是特别部位的标志f (参照图8)。而且，在CPUlOl所执行的处理次序的步骤ST26中，利用该标志f识别特别部位的有无，在有特别部位时，在步骤ST27中，检验该特别部位的按部位区分的特征量数据和从摄像图像提取的商品表面信息的特征量的相似度(参照图9)。不过，未必需要用标志f识别商品是否有特别部位。
[0076]接着，用图10对不使用标志f的第三实施例进行说明。另外，第三实施例也与第一及第二实施例同样，使商品读取装置I具有商品识别装置的功能，由于能够利用在第一实施例中说明的图1、2、4、5、6，所以与第一实施例共同的部分附加同一标记并省略详细说明。此外，由于在第三实施例中使用的识别词库文件的数据构造与第一实施例的识别词库文件81同样，所以用图3并省略其详细说明。
[0077]图10是表示第三实施例中的识别处理(商品识别部52)的次序的流程图。在该处理中，步骤ST31?ST35的处理及步骤ST38、ST39的处理与第二实施例中的步骤ST21?ST25的处理及步骤ST28、ST29的处理同样。也就是说，CPUlOl检索识别词库文件81(ST31)，从识别词库文件81读入商品的数据记录(商品ID、商品名、按部位区分的特征量数据)(ST32)。而且，如读入了 I数据记录，则CPUlOl对应该记录的按部位区分的特征量数据，计算出相似度(ST33)，并且，合计对应各按部位区分的特征量数据的相似度(ST34)。而且，CPUlOl确认该合计相似度是否是比规定的阈值高的程度(ST35)。在合计相似度小于阈值时(ST35中的否)，CPUlOl进入到步骤ST39的处理。
[0078]在合计相似度处于比阈值高的程度时(ST35中的是)，CPUlOl细查对应各按部位区分的特征量数据的相似度(ST36)。而且，CPUlOl确认对至少一个的按部位区分的特征量数据的相似度是否小于等于规定值1(% (ST37)。在这里，规定值1(%是相似度被认定为非常低的值，诸如是3%。
[0079]在对至少一个的按部位区分的特征量数据的相似度是小于等于规定值1(%时(ST37中的否)，CPUlOl进入到步骤ST39的处理。
[0080]在对按部位区分的特征量数据的相似度是超过规定值K%时，CPUlOl进入到步骤ST38的处理。也就是说，CPUlOl将该数据记录的商品ID和商品名作为登记商品候补存储到RAM104的规定区。之后，CPUlOl进入到步骤ST39的处理。
[0081]在步骤ST39中，CPUlOl确认在识别词库文件82中是否存在有未处理的数据记录。在存在时(ST39中的是)，CPUlOl返回到步骤ST32的处理。也就是说，CPUlOl从识别词库文件82读入未处理的数据记录。而且，CPUlOl对该数据记录执行所述步骤ST33?ST39的处理。
[0082]这样，当对识别词库文件81所保存的全部的数据记录执行所述步骤ST32?ST39的处理时(ST39中的否)，结束识别处理。[0083]这样，即使在第三实施例中也与第一及第二实施例同样，商品读取装置I对应对一个商品的多个按部位区分的特征量数据，计算出与从摄像图像提取的商品表面信息的特征量的相似度，并通过各相似度的合计是否超过规定的阈值来识别商品。但是，即使在各相似度的合计超过阈值时，在对至少一个的按部位区分的特征量数据的相似度是小于等于规定值1(%时，也就是说，在判定为该部位的相似度低、不相似时，商品读取装置I从登记商品候补中去除。
[0084]因此，与第二实施例同样，例如，在通过摄像部14摄像商品“萝卜”时，对于“萝卜”的数据代码，由于作为“萝卜”的特别部位的绿顶部的相似度超过规定值K%，所以商品“萝卜”成为登记商品候补。不过，在通过摄像部14摄像商品“芜菁”时，对于商品“萝卜”的数
据代码，即使各部位的相似度合计超过了阈值，也由于绿顶部的相似度是小于等于规定值Κ%，所以商品“萝卜”不成为登记商品候补。因此，即使使识别词库文件81的数据不具有标志f，商品读取装置I也能够以更高精度识别商品。
[0085]另外，本发明不限于上述实施例。
[0086]例如，虽然所述各实施例使与POS终端2分体的商品读取装置I具有商品识别装置的功能，但是也可以是使商品读取装置I被组装入POS终端2而成为一体的装置具有商品识别装置的功能。或者，也可以以分体构成POS终端2和商品读取装置1，使POS终端2侧具有商品识别装置的功能。或者，也可是连接数码相机等的摄像部的计算机设备通过安装所述商品识别程序来具有商品识别装置的功能。这时，识别词库文件81或82既可以保存在该计算机设备的内部存储装置中，又可以保存在与该计算机设备在线连接的外部设备的存储装置中。
[0087]此外，按照商品识别程序执行的CPUlOl的处理次序不限于所述各实施例。例如，在第二实施例中，也可以在步骤ST27的判断处理中被判定为“是”之后，执行步骤ST25的判断处理。同样，在第三实施例中，也可以以在步骤ST37的判断处理中被判定为“否”之后执行步骤ST35的判断处理的方式进行改变。
[0088]此外，在本实施例中，虽然合计按部位区分的相似度(对应按部位特征量数据的相似度)、并在该合计相似度超过阈值时选出作为登记商品候补，但登记商品候补的选出方法不限于此。例如，也可以计算出按部位区分的相似度的平均，在该平均值超出阈值时选出作为登记商品候补。此外，也可使用不是平均的标准偏差等的其他的统计的方法。
[0089]此外，在所述各实施例中，虽然以作为蔬菜和水果的“萝卜”和“芜菁”为例进行了说明，但本发明自然不限于蔬菜和水果。例如，在识别鲜鱼、面包、家常菜等的饮料食品、螺栓、螺母等的工业部件等的商品时，也能够适用本发明。
[0090]此外，在所述各实施例的说明中所使用的数值只不过是一例，本发明自然不限于该数值。
[0091]另外，虽然所述各实施例预先存储有使作为装置内部的程序存储部的R0M103实现发明的功能的商品识别程序，但不限于此，也可以从网络下载同样的程序到装置中。或者，也可以将存储介质所存储的同样的程序安装到装置中。存储介质诸如只要是CD-ROM、内存卡等那样能够存储程序、且装置可读取，其形态不限。此外，也可以通过程序的安装、下载获得的功能与装置内部的OS (操作系统)等协动实现其功能。
[0092]以上，虽然对本发明的几个实施例进行了说明，但是上述实施例是作为例子提出的，并不意图限定发明的范围。该实施例可以用其他各种形式来实施，只要在不脱离发明的要旨的范围内可以进行各种省略、替换、变更。该实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。
[0093]附图标记说明
[0094]I商品读取装置 2 POS终端
[0095]14 摄像部51特征量提取部
[0096]52 商品识别部53输出部
[0097]81,82识别词库文件 ·
【权利要求】
1.一种商品识别装置，其特征在于，包括: 特征量提取部，从通过摄像部摄像的图像，提取其图像所包含的商品的外观特征量； 商品识别部，将通过该特征量提取部提取的外观特征量的数据与对应作为识别对象的商品保存有按部位表示其商品的表面信息的按部位特征量数据的识别词库文件的所述按部位特征量数据进行核对，识别所述图像所包含的商品；以及 输出部，输出该商品识别部的识别结果。
2.根据权利要求1所述的商品识别装置，其中， 所述商品识别部对应所述识别词库文件所保存的所述按部位特征量数据，计算出表示所述外观特征量与该按部位特征量数据相似到哪种程度的相似度，并基于这些对应按部位特征量数据的相似度，识别所述图像所包含的商品。
3.根据权利要求1或2所述的商品识别装置，其中， 所述商品识别部按商品合计对应所述按部位特征量数据的相似度，并基于该合计相似度，识别所述图像所包含的商品。
4.根据权利要求2或3所述的商品识别装置，其中， 所述商品识别部在对应所述按部位特征量数据计算出的相似度中，基于对其他商品所没有的特别部位的特征量数据计算出的相似度，识别所述图像所包含的商品。
5.根据权利要求1或2所述的商品识别装置，其中， 所述商品识别部按商品计算出对应所述按部位特征量数据的相似度的平均值或标准偏差，并基于该计算出的相 似度的平均值或标准偏差，识别所述图像所包含的商品。
6.一种基于商品识别装置的商品识别方法，所述商品识别装置能够访问保存有对应作为识别对象的商品按部位表示其商品的表面信息的按部位特征量数据的识别词库文件，所述商品识别方法包括: 特征量提取步骤，从通过摄像部摄像的图像，提取其图像所包含的商品的外观特征量; 商品识别步骤，将通过所述特征量提取步骤提取的外观特征量的数据与所述识别词库文件的按部位特征量数据进行核对，识别所述图像所包含的商品；以及 输出步骤，输出所述商品识别步骤的识别结果。
7.根据权利要求6所述的商品识别方法，其中， 在所述商品识别步骤中，对应所述识别词库文件所保存的所述按部位特征量数据，计算出表示所述外观特征量与该按部位特征量数据相似到哪种程度的相似度，并基于这些对应按部位特征量数据的相似度，识别所述图像所包含的商品。
8.根据权利要求6或7所述的商品识别方法，其中， 在所述商品识别步骤中，按商品合计对应所述按部位特征量数据的相似度，并基于该合计相似度，识别所述图像所包含的商品。
9.根据权利要求7或8所述的商品识别方法，其中， 在所述商品识别步骤中，在对应所述按部位特征量数据计算出的相似度中，基于对其他商品所没有的特别部位的特征量数据计算出的相似度，识别所述图像所包含的商品。
10.根据权利要求6或7所述的商品识别方法，其中， 在所述商品识别步骤中，按商品计算出对应所述按部位特征量数据的相似度的平均值或标准偏差，并基于该计算出的相 似度的平均值或标准偏差，识别所述图像所包含的商品。
【文档编号】G06K9/00GK103455788SQ201310106174
【公开日】2013年12月18日 申请日期:2013年3月29日 优先权日:2012年5月31日
【发明者】菅澤広志, 飯坂仁志, 内藤英浩 申请人:东芝泰格有限公司