本发明主张申请日为2016年9月7日、申请号为jp2016-174855的日本申请为优先权，并引用上述优先权文件的内容，通过引用将其公开内容全部结合于本申请中。
本发明的实施例涉及一种信息处理装置及控制方法、终端设备。
背景技术：
现有技术中，有打印或贴附有条形码、二维码等符号(以下，称为“附有符号”)的商品(以下，称为“编码商品”)。对于这样的编码商品，拍摄符号并解析该符号后指定为一个商品。符号有时附在装商品的箱子、袋子、塑料瓶等上，有时附在巻着商品的贴纸上。
另外，有没附有条形码、二维码等符号的商品(非编码商品)。对于这样的非编码商品，存在有一般物体识别技术，该一般物体识别技术是从拍摄到的图像数据中提取该非编码商品的特征量，通过与预先存储的表示核对用商品的特征量的数据进行比较，从而识别该非编码商品。另外，有这样的结账系统被提案：通过将一般物体识别技术利用于识别在店铺中贩卖的商品，从而将被识别的商品进行销售登记的结账系统。所涉及的结账系统，从由拍摄到的商品的图像数据中得到的商品的特征量和核对用商品特征量数据中，提取一个或多个非编码商品。
但是，关于编码商品，有这样的可能性：当拍摄到符号之外的地方时，却利用上述的一般物体识别技术，基于拍摄到的图像进行了商品的识别。例如，将商品包装上印刷的图形、照片(例如，在包装上印刷有蔬菜、水果等的图形或照片)错误地识别为该商品。
技术实现要素：
鉴于上述问题，本发明所要解决的技术问题是，提供了一种信息处理装置及控制方法、终端设备，其对于附有符号的物品，即使拍摄到符号之外的地方，也不会错误地识别物品。
为解决上述问题，本发明的一实施例，提供了一种信息处理装置，该信息处理装置具有：检出部，从拍摄到的物品的图像中检出符号；提取部，从所述图像提取表示所述物品的特征的特征量；指定部，在检出所述符号的条件下，基于该符号中所包含的信息指定所述物品；判断部，在所述符号没有被检出的条件下，将所述物品的特征量与表示附有符号的编码物品的特征的第一特征量进行比较，基于其类似度，判断所述物品是否是所述编码物品；识别部，将所述物品的特征量和表示没有附有所述符号的非编码物品的特征的第二特征量进行比较，基于其类似度，识别与所述物品对应的非编码物品；以及控制部，根据所述判断部的判断结果，更改所述识别部的控制处理。
根据这样的构成，能够对于附有符号的物品即使拍摄到符号之外的地方，也不会错误地识别物品。
对于信息处理装置，在一种可能的实施方式中，所述第一特征量是多个所述编码物品所共通的特征。
对于信息处理装置，在一种可能的实施方式中，所述控制部，在所述判断部判断所述物品为所述编码物品的条件下，进行控制以使所述识别部对该物品不执行识别处理。
对于信息处理装置，在一种可能的实施方式，所述控制部在所述判断部判断所述物品是所述编码物品的条件下，对于该物品，通过所述识别部基于所述特征量和所述第二特征量进行物体的识别，不将该物品自动确定为一个所述非编码物品而是识别为成为候选的所述非编码物品并以在显示部上能够进行选择的方式显示。
对于信息处理装置，在一种可能的实施方式中，优选还包括计时时间的计时器，所述控制部，在所述判断部判断为是所述编码物品的条件下，对于该物品，通过所述识别部基于所述特征量和所述第二特征量进行物体的识别，即使在能够将该物品自动确定为一个非编码物品的情况下也不将该物品自动确定为一个所述非编码物品而是识别为成为候选的所述非编码物品并以在显示部上能够进行选择的方式显示，而且，拍摄所述物品后在所述计时器计时到预定时间的条件下，将该物品自动确定为所述显示的能够自动确定的所述非编码物品。
根据上述的各个构成，能够更加准确地识别物品。
本发明的另一实施例，提供了一种信息处理装置的控制方法，所述控制方法包括以下步骤：检出步骤，从拍摄到的物品的图像中检出符号；提取步骤，从所述图像中提取表示所述物品的特征的特征量；指定步骤，在检出所述符号的条件下，基于该符号中所包含的信息，指定所述物品；判断步骤，在所述符号没有被检出的条件下，将所述物品的特征量和表示附有符号的编码物品的特征的第一特征量进行比较，基于其类似度，判断所述物品是否是所述编码物品；识别步骤，将所述物品的特征量和表示没有被附有所述符号的非编码物品的特征的第二特征量进行比较，基于其类似度，识别与所述物品对应的非编码物品；以及控制步骤，根据所述判断步骤的判断结果，更改所述识别步骤的控制处理。
能够对于附有符号的物品即使拍摄到符号之外的地方，也不会错误地识别物品。
对于控制方法，在一种可能的实施方式中，在所述控制步骤中，在通过所述判断步骤判断出所述物品为所述编码物品的条件下，进行控制以使对该物品不执行所述识别步骤。
对于控制方法，在一种可能的实施方式中，在所述控制步骤中，在通过所述判断步骤判断出所述物品是所述编码物品的条件下，对于该物品，通过所述识别步骤基于所述特征量和所述第二特征量进行物体的识别，不将该物品自动确定为一个所述非编码物品而是识别为成为候选的所述非编码物品并以在显示部上能够进行选择的方式显示。
对于控制方法，在一种可能的实施方式中，所述信息处理装置还包括计时时间的计时器，在所述控制步骤中，在通过所述判断步骤判断出所述物品是所述编码物品的条件下，对于该物品，通过所述识别步骤基于所述特征量和所述第二特征量进行物体的识别，即使在能够将该物品自动确定为一个非编码物品的情况下也不将该物品自动确定为一个所述非编码物品而是识别为成为候选的所述非编码物品并以在显示部上能够进行选择的方式显示，而且，拍摄所述物品后在所述计时器计时到预定时间的条件下，将该物品自动确定为所述显示的能够自动确定的所述非编码物品。
根据上述的各个构成，能够更加准确地识别物品。
本发明的另一实施例，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，其中，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如上所述的控制方法所对应的操作。
根据这样的构成，能够对于附有符号的物品即使拍摄到符号之外的地方，也不会错误地识别物品。
附图说明
下面，参照附图对本发明所涉及的信息处理装置进行说明，其中：
图1是表示实施例所涉及的包括商品读取装置的结账系统的外观结构的立体图；
图2是表示图1所示的商品读取装置的硬件构成的框图；
图3是表示图2所示的商品读取装置具有的商品文件的数据构成的一个例子的模式图；
图4是表示图2所示的商品读取装置所具有的辞典b的数据构成的一个例子的模式图；
图5是表示图1所示的pos终端的硬件构成的框图；
图6是表示商品读取装置的功能构成的功能框图；
图7是表示商品读取装置的控制处理的流程的流程图；
图8是表示商品读取装置的控制处理的流程的流程图；
图9是表示商品读取装置所显示的画面的一个例子的图；
图10是表示pos终端的控制处理的流程的流程图；
图11是第一变形例中所涉及的商品读取装置的控制处理的流程的流程图；
图12是第二变形例中所涉及的商品读取装置的控制处理的流程的流程图；
图13是表示其他的实施例所涉及的自助pos构成的立体图；以及
图14是表示图13所示的自助pos的硬件构成的框图。
附图标记说明
1结账系统10商品读取装置
11cpu12rom
13ram14存储器部
22操作员用显示部24摄像部
30pos终端31cpu
32rom33ram
34存储器部100控制部
101检出部102提取部
103指定部104判断部
105识别部106控制部
131图像存储部132商品检测标记部
133一般物体识别部142商品文件
143辞典a144辞典b
具体实施方式
下面，参照图1～图14，对实施例所涉及的信息处理装置及程序进行详细地说明。在实施例中，将商品读取装置作为信息处理装置的一个例子进行说明。另外，在实施例中，将商品作为物品的一个例子进行说明。此外，以下说明的实施例不是对本发明的限定。
图1是表示实施例所涉及的结账系统1的外观构成的立体图。结账系统1是设置于超市等商场、便利店等处，输入出售商品的商品信息后进行商品的销售登记、结算处理等的系统。如图1所示，结账系统1包括商品读取装置10和pos终端30。
在横向长的桌子形状的柜台151上，设置有可以与pos终端30可接发数据地连接的商品读取装置10。商品读取装置10形成于薄型且矩形形状的壳体29中。
在壳体29的正面，设置有摄像部24的读取窗24a。在壳体29的上部，设置有操作员用显示部22(显示部)、客用显示部23、操作部21、以及具有槽27a的读卡器27。操作员用显示部22上，设置有触摸面板25。操作部21具有宣告商品读取装置10中的处理结束的临时合计键211(参照图2)。
在柜台151的上面，形成收货面152。在收货面152上，载放收纳商品p的购物筐153。购物筐153包括由顾客拿入的第一购物筐153a、及与第一购物筐153a夹着商品读取装置的位置上载放的第二购物筐153b。
在第一购物筐153a中，收纳顾客购入的商品p。操作商品读取装置10的操作员，取出第一购物筐153a内的商品p后将其移动到第二购物筐153b。操作员对第一购物筐153a中收纳的全部商品p重复这个操作后操作临时合计键211。移动了的商品p所放入的第二购物筐153b，被移动到没有图示的顾客装袋的地方。顾客在装袋的地方，将放在第二购物筐153b中的商品p移到购物袋中。
在从第一购物筐153a向第二购物筐153b的商品p的移动过程中，商品p通过商品读取装置10的读取窗24a的前面。这时，商品读取装置10利用读取窗24a内所配置的摄像部24(参照图2)拍摄包含商品p的图像。
这里，作为代表的商品，包括附有条形码、二维码等的附有符号的商品(编码商品)和没有附有符号的商品(例如叶类等的蔬菜、水果、非编码商品等)。另外，在编码商品中，包括收纳在箱中的商品、装饮料水的塑料瓶等的包装商品。这样的商品在箱或塑料瓶上附有符号。另外，在编码商品中，有像例如叶类蔬菜这样的商品，其上卷着带状的贴纸(以下称为“卷绕商品”)。这样的商品，在贴纸上印有符号。
当拍摄到的商品是编码商品时，基于读取的符号取得指定(特定)商品的商品id后，指定一个编码商品。另一方面，当拍摄到的商品不是编码商品(非编码商品)时，商品读取装置10从拍摄到的摄像图像中提取表示拍摄到的非编码商品的特征的特征量。然后，商品读取装置10将提取的特征量与辞典b144(参照图4)中存储的多个非编码商品的特征量进行比较后算出类似度(相似程度)，将与拍摄到的商品相当的一个或多个非编码商品作为候选提取。这一系列的处理称为一般物体识别(genericobjectrecognition)处理。关于这种一般物体识别，在下面的文献中就各种识别技术进行了解说。
柳井启司，“一般物体识别的现状和未来”，信息处理学会论文杂志，vo1.48，no.sig16(平成25年1月24日检索)，互联网url:http://mm.cs.uec.ac.jp/ipsj-tcvim-yanai.pdf
商品读取装置10将与拍摄到的商品类似度在预定值(例如95％)以上的一个非编码商品自动确定为拍摄到的商品。所谓自动确定就是不经过操作员的选择，将拍摄到的商品作为指定的一个非编码商品自动地识别。然后，商品读取装置10从商品文件142(参照图2)中读出指定自动确定的非编码商品的商品id(指定信息)。然后商品读取装置10将读出的商品id发送到pos终端30。
一方面，当不存在类似度高到能自动确定程度的非编码商品时，商品读取装置10在操作员用显示部22上，将用一般物体识别算出的类似度在临界值以上(例如50％以上)的，并且按从高到低的顺序的预定数目(例如按类似度从高到低的顺序的前4个)的非编码商品作为候选而显示。操作员操作触摸面板25后，从作为候选显示的非编码商品中选择相当的非编码商品。商品读取装置10将指定选择的非编码商品的商品id从商品文件142中读出。然后商品读取装置10将读出的商品id发送到pos终端30。
pos终端30载放在与柜台151成l字形配置的结帐台51上的抽屉41的上面。抽屉41将从顾客那里收到的钱(纸币和硬币)收纳到钱箱。抽屉41将找给顾客的零钱收纳到钱箱。当抽屉41从pos终端30接受到打开动作的控制，则打开钱箱。
pos终端30，在其上面配置有由操作员操作的操作部42。从操作操作部42的操作员角度看，在比操作部42更后侧，面向操作员，配置有显示信息的操作员用显示部43。操作员用显示部43对操作员显示信息。触摸面板46层叠设置在操作员用显示部43的显示面43a上。客用显示部44可旋转自由地直立设置在比操作员用显示部43更后侧的位置。客用显示部44对顾客显示信息。
pos终端30，基于从商品读取装置10接收的商品id，从自身持有的商品文件342(参照图5)读出商品信息，并执行该商品的销售登记处理。所谓销售登记处理是基于商品id显示该商品的商品名、价格(总称为“商品信息”)等的同时，将商品信息存储在商品信息部331(参照图5)中的处理。
临时合计键211被操作后，在pos终端30中合计键421(参照图5)被操作后，pos终端30对进行了销售登记处理的商品执行结算处理。所谓结算处理是，计算要找的零钱并显示的处理、指示找零钱机进行找给零钱的处理、发行打印有商品信息、结算信息(合计金额、收到金额、找零金额等)的发票的处理等。另外，销售登记处理和结算处理的合并处理称为交易处理。此外，进行了交易处理的信息称为销售信息。
接着，利用图2的框图，关于商品读取装置10的硬件构成进行说明。如图2所示，商品读取装置10包括作为控制主体的cpu(centralprocessingunit)11。另外，商品读取装置10包括存储各种程序的rom(readonlymemory)12。另外，商品读取装置10包括作为cpu11的工作区发挥功能的ram(randomaccessmemory)13。而且，商品读取装置10包括由存储各种程序的hdd、闪存等构成的存储部14等。cpu11、rom12、ram13、及存储部14，相互间通过数据总线15连接。
cpu11、rom12、ram13构成控制部100。控制部100，通过cpu11按照存储于存储部14的控制程序部141中的、在ram13中展开的控制程序动作，进而执行后述的控制处理。
ram13也存储各种数据。ram13包括图像存储部131、商品检测标记部132、一般物体识别部133。图像存储部131存储后述摄像部24拍摄到包含商品的图像。商品检测标记部132存储表示是否从拍摄到的图像中检测到商品的商品检测标记。当从拍摄到的图像检测到商品时，商品检测标记部132存储商品检测标记“1”。当从拍摄到的图像没有检测到商品时，商品检测标记部132存储商品检测标记“0”。一般物体识别部133存储表示是否对检测到的商品执行一般物体识别处理的一般物体识别标记。当执行了一般物体识别处理时，一般物体识别部133存储一般物体识别标记“1”。当不执行一般物体识别处理时，一般物体识别部133存储一般物体识别标记“0”。另外，在后述第一变形例和第二变形例中，ram13进一步包括编码商品标记部(无图示)。在判断拍摄到的商品为编码商品时，编码商品标记部存储编码商品标记“1”。在判断拍摄到的商品不是编码商品时，编码商品标记部存储编码商品标记“0”。
存储部14包括控制程序部141、商品文件142、辞典a(第一存储部)143、辞典b(第二存储部)144。控制程序部141存储控制商品读取装置10的程序。商品文件142(在后面图3中叙述)，存储每个非编码商品对应的各种商品的信息。辞典b在后面利用图4进行叙述。
辞典a143是存储编码商品的特征的辞典。即，辞典a143是存储一般物体识别的非目标商品的特征的辞典。
辞典a143存储表示编码商品所共通的特征(例如，表示包装商品的箱、膜的质感、凹凸状态等的特征量、表示塑料瓶的包装膜的质感、凹凸状态等的特征量、表示捆束商品的贴纸的质感、凹凸状态等的特征量)的共通特征量(第一特征量)。例如，即使在包装上印有蔬菜、水果等图像，其图像是表示包装特有的特征量(表示色彩、图案、凹凸状况、形状等的数据)的东西。这种图像的特征量与实物的蔬菜、水果等的特征量不同。另外，所谓特征量，是明显地表示商品表面的色彩、图案、凹凸状况、形状等的该商品的特征的信息。
控制部100通过数据总线15及控制器16，与操作部21、操作员用显示部22、客用显示部23、摄像部24、触摸面板25、声音输出部26、读卡器27连接。另外，控制部100通过数据总线15，与通信i/f(interface：接口)28连接。通信i/f28通过通信线路l与pos终端30连接。
摄像部24包括照相机ccd传感器、彩色cmos传感器等。摄像部24进行包含通过读取窗24a前的商品的拍摄。声音输出部26是用于发出预先设定的警告音等的声音回路和扬声器等。声音输出部26在控制部100的控制下，通过警告音等声音进行通知。读卡器27从经过槽27a被扫描的卡读取卡信息。
下面，利用图3，说明商品文件142的数据构成。商品文件142存储与指定编码商品及非编码商品的商品id对应的，该商品的商品名、单价、及商品图像。如图3所示，商品文件142包括商品id部1421、商品分类部1422、商品名部1423、单价部1424、商品图像部1425。
商品id部1421存储有指定商品的商品id。商品分类部1422存储将商品id所指定的商品按类别不同进行分类得到的分类编码。商品名部1423存储商品id所指定的商品的商品名。单价部1424存储商品id所指定的商品的单价，图3中的单价元，也可以是日元、美元等。商品图像部1425存储表示商品id所指定的商品的特征的代表的图像。
图4是表示辞典b144的数据构造的存储器映射。辞典b144是存储没有附有符号的非编码商品的特征量的辞典。即，辞典b144是存储作为一般物体识别的目标的商品的特征的辞典。在图4中，辞典b144对于不能附着符号的商品(例如青果、生鲜食材等)的非编码商品，与商品id对应着存储各个商品的特征量。辞典b144包括商品id部1441和基准特征量部1442。商品id部1441存储有将商品分别指定的商品id。基准特征量部1442将明显表示非编码商品的特征的图像的基准特征量(第二特征量)与商品id对应着存储。控制部100是将拍摄到的商品的特征量与存储于基准特征量部1442中的非编码商品的基准特征量进行比较后，执行一般物体识别处理，算出拍摄到的商品和非编码商品的类似度。
接着，利用图5的框图，关于pos终端30的硬件结构进行说明。如图5所示，pos终端30包括作为控制主体的cpu31。另外，pos终端30包括存储各种程序的rom32。而且pos终端30包括作为cpu31的工作区发挥功能的ram33。而且pos终端30包括由存储各种程序的hdd、闪存等构成的存储部34等。cpu31、rom32、ram33、存储部34相互之间通过数据总线35连接。
cpu31、rom32、ram33构成控制部300。控制部300，通过cpu31按照存储部34的控制程序部341中存储的、在ram33中展开的控制程序进行动作，来执行后述的控制处理。
ram33也存储各种数据。ram33包括图像信息部331。商品信息部331存储pos终端30中进行了销售登记处理的商品的商品信息。
存储部34包括控制程序部341、商品文件342。控制程序部341存储控制pos终端30的程序。商品文件342与商品读取装置10的商品文件142构成相同。pos终端30因为执行追加的商品的销售登记处理、取消处理等，所以其自身也存储有商品文件342。另外，虽没有图示，但存储部34具有与辞典a143、辞典b144相同构成的辞典。
控制部300通过数据总线35及控制器36，与具备合计键421及取消键422的操作部42、操作员用显示部43、客用显示部44、触摸面板46、抽屉41、及打印部47连接。合计键421在执行交易的结算处理时操作。取消键422是从商品信息部331删除前面的进行了销售登记处理的商品的商品信息时操作的键。如果操作取消键422，则前面的进行了销售登记处理的商品的商品信息将被删除，该商品所涉及的销售登记处理从开始都没有了。此外，控制部300通过数据总线35，将通信i/f45与控制部300连接，通信i/f45通过通信线路l与商品读取装置10连接。
以下，关于商品读取装置10及pos终端30的控制处理进行说明。图6是表示商品读取装置10的功能构成的功能框图。控制部100按照存储于存储部14的控制程序部141中的控制程序进行控制，作为检出部(检出步骤)101、提取部(提取步骤)102、指定部(指定步骤)103、判断部(判断步骤)104、识别部(识别步骤)105、及控制部(控制步骤)106发挥功能。
检出部101具有从拍摄到的商品图像中检出符号的功能。
提取部102具有从图像中提取表示商品特征的特征量的功能。
指定部103，具有在检出符号的条件下，基于该符号中所包含的商品id指定商品的功能。
判断部104具有这样的功能：在没有检出符号的条件下，将拍摄到的商品的特征量与表示附有符号的编码商品的特征的第一特征量进行比较，基于其类似度，判断拍摄到的商品是否是编码商品。
识别部105具有这样的功能：将拍摄到的商品的特征量与表示没有附有符号的非编码商品的特征的第二特征量进行比较，基于其类似度，识别与拍摄到的商品对应的非编码商品。
控制部106具有根据判断部104的判断结果，更改识别部105的控制处理的功能。
图7和图8是表示商品读取装置10的控制处理的流程的流程图。如图7所示，控制部100执行商品读取装置10的初始化(s11)。s11中的初始化包括，在商品检测标记部132中存储商品检测标记“0”的处理、在一般物体识别部133中存储一般物体识别标记“0”的处理、及复位无图示的计时器的处理。
接着，控制器100控制摄像部24，拍摄包含从读取窗24a前面通过的商品的图像，并存储在图像存储部131中(s12)。然后，控制部100判断有否从存储在图像存储部131中的图像中检测到商品(s13)。当可以从拍摄到的图像中切取到商品时，控制部100判断检测到商品。当判断没有检测到商品时(s13的no)，控制部100返回到s12，在检测到商品时(s13的yes)时，控制部100判断在商品检测标记部132中存储的商品检测标记是否是“1”(s14)。
如判断商品检测标记不是“1”(即是“0”)时(s14的no)，控制部100对s13中检测到的商品开始读取符号(s15)。在s15中开始读取符号，例如利用模式识别技术，当商品上附有符号时，解析该符号。而且，控制部100(提取部102)对检测到的商品开始进行提取特征量的一般物体识别处理(s16)。另外，控制部100，使没有图示的计时器开始计时(s17)。控制部100将商品检测标记部132中存储的商品检测标记置位为“1”(s18)。
以下，转到图8的说明。在进行了s18的处理后，控制部100(检出部101)判断作为s15的处理结果，是否检出符号(s21)。而且，即使在s14中，判断商品检测标记为“1”时(s14的yes)，也判断是否检测出符号(s21)。当判断检出符号时(s21的yes)，控制部100基于指定检出的符号中所包含的商品的商品id，指定一个商品(s22)。然后，控制部100将指定的商品的商品id发送到pos终端30(s23)。然后控制部100执行和s11同样的初始化(s24)。然后控制部100返回到s12。此外，符号也可以不包含商品id。此时，控制部100在s22中，将基于包含在符号中的信息取得的商品id发送到pos终端30。
另一方面，在s21中，当判断没有检测出符号时(s21的no)，控制部100将拍摄到的商品的特征量和存储在辞典a143中的作为编码商品的非编码商品的基准特征量进行比较并算出类似度。然后控制部100(判断部104)基于算出的类似度，判断拍摄到的商品是否是编码商品(s31)。控制部100在算出的类似度在预定值(例如类似度80％以上)以上时，判断拍摄到的商品为编码商品。在是包装商品的情况，控制部100基于拍摄到的箱子、膜的质感、凹凸，判断类似度为预定值以上。而且，对于卷绕商品，控制部100基于拍摄到的贴纸的质感、凹凸判断类似度为预定值以上。
当判断拍摄到的商品是编码商品时(s31的yes)，控制部100返回到s12。或者，当判断拍摄到的商品不是编码商品时(s31的no)，控制部100，对该商品基于s16中开始了的一般物体识别处理，判断是否是非编码商品(s41)。当判断为没有识别为非编码商品时(s41的no)时，控制部100返回到s12。此外，当识别为非编码商品时(s41的yes)，控制部100判断是否可将拍摄到的商品自动确定为一个非编码商品(s42)。当基于拍摄到的商品的特征量和非编码商品的特征量算出的类似度在预定值(例如95％)以上时，控制部100判断可将拍摄到的商品自动确定为一个非编码商品。
当判断拍摄到的商品可以自动确定为一个非编码商品时(s42的yes)，控制部100将拍摄到的商品确定为一个非编码商品(s49)。然后控制部100从商品id部1441读出指定确定的商品的商品id后，发送到pos终端30(s50)。同时，基于读出的商品id，从商品文件142中读出该商品的商品信息(商品名、价格等)，并显示在操作员用显示部22和客用显示部23上。然后控制部100执行s24中的处理。
另一方面，在s42中，当判断不能将拍摄到的商品自动确定为一个非编码商品时(s42的no)，控制部100(识别部105)识别对于拍摄到的商品为候选的一个或多个非编码商品，并显示在操作员用显示部22上(s43)。控制部100，在算出的类似度在临界值(例如50％)以上的非编码商品中，将类似度高的非编码商品作为拍摄到的商品的候选，显示在操作员用显示部22上。接着，控制部100将表示执行了一般物体识别处理的一般物体识别标记置位为“1”(s44)。
接着，控制部100判断是否从显示在操作员显示部22上的非编码商品中选择了一个非编码商品(s45)。操作员通过操作与显示在操作员用显示部22上的非编码商品对应位置的触摸面板25，选择一个非编码商品。当判断选择了一个非编码商品时(s45的yes)，控制部100执行s49的处理。或者，当判断没有选择一个非编码商品时(s45的no)时，控制部100判断在s17中开始计时的计时器是否计数了预定值(例如5秒)(s46)。当判断计数了预定值时(s46的yes)，控制部100判断在一般物体识别部133中存储的一般物体识别标记是否是“1”(s47)。当一般物体识别标记是“1”时(s47的yes)时，控制部100显示催促操作员的消息，催促操作员从在s43中显示的非编码商品中选择一个非编码商品(s48)。然后控制部100返回到s12。此外，当计时器没有计数到预定值时(s46的no)，或一般物体识别标记不是“1”时(s47的no)，控制部100返回到s12。
图9是表示操作员用显示部22上显示的画面的一例的图，该画面是控制部100在s48中催促操作员从作为候选显示的非编码商品中选择一个非编码商品的通知的画面。在图9中，控制部100在操作员用显示部22上显示图像显示部221、候选商品部222。图像显示部221显示摄像部24拍摄到的摄像图像。候选商品部222将在s43中作为候选的非编码商品的商品信息(商品名、价格、商品的图像等)从商品文件142中取得后显示。在图9的例子中，显示商品a、商品b、c、商品d的4个非编码商品的商品信息。操作员从显示的非编码商品中，触摸判断为与拍摄到的商品相当的非编码商品后，选择一个非编码商品。另外，控制部100进行s48的处理，显示通知223，该通知223是对操作员的通知，催促操作员从显示的非编码商品中选择一个非编码商品。
以下，关于pos终端30的控制处理进行说明。图10是表示pos终端30的控制处理的流程的流程图。在图10中，控制部300判断是否从商品读取装置10接收了商品id(s51)。当判断为接收了商品id时(s51的yes)，控制部100基于接收的商品id检索商品文件342，并取得该商品所涉及的商品信息。然后控制部300基于取得的商品信息执行该商品的商品登记处理(s52)。即pos终端30基于接收的商品id，自动地执行销售登记处理。然后控制部300返回到s51。
此外，当判断为没有接收到商品id时(s51的no)，控制部300判断是否从商品装置10接收了临时合计信号(s53)。当判断从商品读取装置10接收了临时合计信号时(s53的yes)，控制部300判断有否操作合计键421(s54)。当判断操作了合计键421时(s54的yes)，控制部300基于存储在商品信息部331中的商品信息，执行该交易所涉及的结算处理(s55)。然后控制部300返回到s51。此外，当判断没有操作合计键时(s54的no)，控制部300返回到s51。
此外，当判断从商品读取装置10没有接收到临时合计信号时(s53的no)，控制部300判断有否操作了取消键422(s56)。当判断操作了取消键422时(s56的yes)，控制部300执行取消处理(s57)，从存储在商品信息部331中的商品信息中，删除之前进行了销售登记处理的商品的商品信息。这样一来，控制部300取消了之前进行了销售登记处理的商品的销售登记处理。然后，控制部300返回到s51。此外，当判断没有操作取消键422时(s56的no)，控制部300返回到s51。
在这样的实施例中，当判断拍摄到的商品是编码商品时，控制部100不执行s41～s50所涉及的处理。即控制部100在判断拍摄到的商品为编码商品时，不进行一般物体识别的处理。
以下，关于实施例的第一变形例进行说明。图11是表示第一变形例的流程图。第一变形例与图8所示的实施例的处理相比较，不同的点在于当判断拍摄到的商品为编码商品时，对于该编码商品执行一般物体识别处理。此外，在图11中，对于与图8相同的处理附有相同的符号，并省略说明。
在第一变形例中，ram13除了包括图像存储部131、商品检测标记部132、一般物体识别部133以外，还包括编码商品标记部。编码商品标记部在拍摄到的商品被判断为是编码商品时，存储编码商品标记“1”。编码商品标记部在拍摄到的商品被判断为不是编码商品时，存储编码商品标记“0”。另外，在第一变形例中，在s11的处理中，除了在商品检测标记部132中存储商品检测标记“0”、在一般物体识别部133中存储一般物体识别标记“0”、及复位无图示的计时器外，还在编码商品标记部存储编码商品标记“0”。
在图11中，判断编码商品判定标记是否置位为“1”(s61)。当判断编码商品判定标记没有置位为“1”(即设定为“0”)时(s61的no)，执行s31中的处理。然后当判断拍摄到的商品是编码商品(包装商品和卷绕商品)时(s31的yes)，控制部100将存储在编码商品标记部的商品标记置位为“1”(s62)。然后控制部100返回到s12。当判断编码商品判定标记置位为“1”时(s61的yes)，控制部100执行s41中的处理，在s42中，判断可否自动确定拍摄到的商品为一个非编码商品。即在s42中，判断可否对非编码商品进行自动确定。另外，在s42中，判断可否对编码商品进行自动确定。
对于非编码商品有判断为可以自动确定的情况。另外，对于编码商品中的包装商品不判断为可自动确定。但是，对于编码商品中的卷绕商品有判断为可自动确定的情况。原因是，有这样的情况：当辞典b144中存储有没有贴贴纸的同种叶类菜的非编码商品的特征量时，有时基于为卷绕商品的叶类蔬菜的叶子部分执行一般物体识别的处理，其结果是判断为对该卷绕商品可以自动确定。
控制部100判断是否可以自动确定。当判断为可以自动确定时(s42的yes)，控制部100判断存储在编码商品标记部的编码商品标记是否为“1”(s63)。当判断编码商品标记是“1”(即判断为对卷绕商品可以自动确定)时(s63的yes)，控制部100执行s43的处理。控制部100在进行s43的处理中，将作为候选的非编码商品显示在操作员用显示部22上，该作为候选的非编码商品包含在s42中判断为可以自动确定的编码商品所对应的非编码商品。另一方面，当判断编码商品标记不是“1”(即是非编码商品)时(s63的no)，控制部100执行s49的处理。
在这样的第一变形例中，对于拍摄到的编码商品，控制部100执行一般物体识别的处理。然后，即使该商品是类似度超过预定值的可以自动确定的商品，也不自动确定该商品，而是将对于该编码商品自动确定的非编码商品作为一个候选，将多个作为候选的非编码商品显示在操作员用显示部22上。即，第一变形例，对于编码商品中没能拍摄到符号的商品，不将其自动确定为一个非编码商品。此外，在显示非编码商品过程中，当再次拍摄到的商品的图像中包含符号时，则可基于该符号识别商品，因此可以更正确地确定商品。
接下来，关于实施例的第二变形例进行说明。图12是表示第二变形例的流程图。第二变形例中，即使是可以自动确定的商品也不自动确定，而是作为候选，显示包含该商品所对应的非编码商品的多个非编码商品，这和第一变形例是相同的。第二变形例，进一步在没有选择一个非编码商品而经过了预定时间时，将可以自动确定的非编码商品自动确定为该商品所对应的非编码商品。在图12中，对与图8、图11相同的处理附上相同的符号，并省略说明。
在图12中，当判断编码商品标记部中存储的编码商品标记是“1”时(s63的yes)，控制部100在ram13中存储与该商品对应的非编码商品的商品id(s64)。然后，当判断为计时器计数了预定值时(s46的yes)，控制部100判断ram13中是否存储有在s64中存储的商品id(s65)。当判断存储有商品id时(s65的yes)，则控制部100对该商品id所对应的商品执行s49的处理。此外，当判断没有存储有商品id时(s65的no)，控制部100执行s47的处理。
在这样的第二变形例中，对于拍摄到的编码商品，控制部100执行一般物体识别处理。然后，当存在有该商品的类似度超过预定值的可以自动确定的商品时，存储与该商品对应的非编码商品的商品id。然后，不自动确定为该非编码商品，而是将与该商品相当的非编码商品作为一个候选，将多个作为候选的非编码商品显示在操作员用显示部22上。因此，第二变形例对附有符号的商品中没有拍摄到符号的商品，不将其暂时自动确定为一个非编码商品。
此外，在第二变形例中，控制部100在计时器计数了预到定时间的条件下，自动确定存储了商品id的非编码商品。另外，在计时器计数到预定时间之前，如果再次拍摄到的商品的图像中包含有符号时，则基于该符号可以指定为编码商品，从而更正确地确定商品。
以上，对本发明的实施例进行了说明，但本实施例是作为例子提出的，并没有要限定发明的范围的意图。该实施例可以以其他各种形态实施，在不脱离发明的宗旨的范围内可以有各种省略、置换、更改、重组。本实施例及其变形包含在发明的范围和宗旨内，同时包含在与权利要求的范围内记载的发明均等的范围内。
例如在实施例中，将商品读取装置10作为信息处理装置的一个例子进行了说明，但不限于此，也可以将pos终端30作为信息处理装置。此时，pos终端30接收商品读取装置10拍摄到的摄像图像的信息并执行类似度的计算处理。pos终端30向商品读取装置10发送显示的指示和作为候选的非编码商品所涉及的商品信息(例如商品id)，以使作为候选的非编码商品显示在商品读取装置10上。商品读取装置10在显示的非编码商品被选择后，将选择的非编码商品的商品信息(例如商品id)发送到pos终端30。
此外，在实施例中，虽然商品读取装置10和pos终端30双方都设置成包括商品文件，但也可以是商品读取装置10或pos终端30的任一方包括商品文件。
在实施例中，在商品读取装置10中执行通过一般物体识别处理而计算类似度的处理，但这类处理的全部或一部分也可在pos终端30中进行。
另外，在实施例中，辞典a143和辞典b144是分别不同的辞典，但辞典a143和辞典b144也可以是设置于同一辞典中的分开的区域。另外，在实施例中，对商品文件142和辞典a143及辞典b144作为分别的构造进行说明，但是例如，在商品文件142内，也可以包含辞典a143和辞典b144的任一方或双方。
此外，在实施例中，辞典a143存储表示编码商品所共通的特征的特征量，但也可以对编码商品各个商品，存储表示该编码商品的特征的特征量。这时，拍摄到的商品的特征量与存储在辞典a143中任一个编码商品的特征量进行比较后，判断拍摄到的商品是否是编码商品。
另外，在实施例中，将商品作为物品的一个例子进行了说明。但是，物品也可以是商品以外的东西。
另外，在实施例中，由pos终端30和商品读取装置10所构成的结账系统1中，将商品读取装置10作为信息处理装置进行了说明，但并不限于此，也可以将具有pos终端30及商品读取装置10的功能的一体构成的装置作为信息处理装置。作为具有pos终端30及商品读取装置10的功能的一体构成的装置，例如，超市等店铺中设置的可利用的自助结账装置(以下，简单称为自助pos)。
这里，图13是表示自助pos200的外观构成的立体图，图14是表示自助pos200的硬件构成的框图。此外，以下，对于图1～图12中所示的相同的构成，将附有相同的符号来表示，并省略其重复的说明。
如图13及图14所示，自助pos200的主体202，包括配置在触摸面板209表面的显示部210、为识别(提取)商品而读取商品图像的商品读取部212等。
作为显示部210可以使用例如液晶显示器。显示部210可以显示以下画面：用于让顾客了解自助pos200的操作方法的介绍画面、各种输入画面、显示在商品读取部212读入的商品信息的登记画面、及显示商品的合计金额、保管金额、找零额等并选择支付方法的结算画面等。
商品读取部212是通过顾客用附着在商品上的编码符号遮住商品读取部212的读取窗212a，由摄像部164读取商品图像的设备。
另外，在主体202的右侧，设置有用于放置装在筐中的未结算商品的商品载放台203，在主体202的左侧，设置有用于放置结算完毕的商品的商品载放台204。而且，还设置有用于悬挂装结算完毕的商品的袋子的挂袋钩205、用于将结算完毕的商品放入袋子前临时放置的临时放置台206。商品载放台203及204分别包括计量器207、208，具有确认结算前后商品的重量相同的功能。
而且，自助pos200的主体202上设置有用于放入结算用的纸币或接收找回的纸币的找零钱器201。
当在这种结构的自助pos200中运用本发明的实施例时，自助pos200作为信息处理装置发挥功能。此外，具有pos终端30和商品读取装置10的功能的一体构成的装置，不限于上述结构的自助pos200，也可以是不使用计量器207及208而构成的装置。
此外，在实施例的商品读取装置10中执行的程序，以可以安装的形式或以可以执行的形式的文件存储在cd-rom、软盘(fd)、cd-r、dvd(digitalversatiledisk)等的计算机可读取的存储介质上后被提供的。
另外，在实施例的商品读取装置10中执行的程序，也可以是以存储在与互联网等网络连接的计算机上，经网络下载后提供的形式构成。在实施例的商品读取装置10中执行的程序，也可以是以经由互联网等的网络提供或分发的形式构成。
此外，实施例的商品读取装置10中执行的程序，也可以是以预先并入rom等后提供的形式构成。
本发明的一个或多个实施例可以被实施为计算机可读记录媒体，可以将由计算机执行的诸如程序模块之类的命令或指令记录在该计算机可读记录媒体上。计算机可读记录媒体可以为能够由计算机访问的任何介质，如易失性介质等。此外，计算机可读记录介质可以为计算机存储介质或可以为任何信息传输媒介的通信介质。
例如，本发明的实施例的计算机可读记录媒体，存储有使计算机具有以下功能的程序：检出部，从拍摄到的物品的图像中检出符号；提取部，从所述图像中提取表示所述物品的特征的特征量；指定部，在检出所述符号的条件下，基于该符号中所包含的信息，指定所述物品；判断部，在所述符号没有被检出的条件下，将所述物品的特征量和表示附有符号的编码物品的特征的第一特征量进行比较，基于其类似度，判断所述物品是否是所述编码物品；识别部，将所述物品的特征量和表示没有被附有所述符号的非编码物品的特征的第二特征量进行比较，基于其类似度，识别与所述物品对应的非编码物品；以及控制部，根据所述判断部的判断结果，更改所述识别部的控制处理。