物品管理系统、信息处理设备及其控制方法和控制程序的制作方法
【技术领域】
[0001]本发明涉及一种管理陈列的物品的技术。
【背景技术】
[0002]在以上技术领域中，专利文献I公开了一种在移动多个相机之时捕获在货物架上陈列的商业物品并且基于个别物品的轮廓特征数据来对它们的数量进行计数的技术。专利文献2公开了一种基于对来自RFID读取器的询问信号的响应信号的RF能量的量来确定物品的存在/不存在的技术。
[0003]引用列表
[0004]专利文献
[0005]专利文献1:日本专利公开号2001-088912
[0006]专利文献2:日本PCT国家公开号2010-504598
【发明内容】
[0007]技术问题
[0008]然而，在专利文献I中描述的技术，有必要使用多个昂贵的相机并且控制相机的移动。如果在深度方向上陈列了多个商业物品，并且隐藏或者仅部分地看见它们中的一些商业物品，则难以标识物品。在另一方面，在专利文献2中描述的技术可以确定物品的存在/不存在，但是除非物品的类型已知否则不能指定它。
[0009]本发明能够实现提供一种解决以上描述的问题的技术。
[0010]对问题的解决方案
[0011]本发明的一个方面提供一种了信息处理装置，该信息处理装置包括:
[0012]陈列计数获取器，该陈列计数获取器使用在物品被放置在其上的陈列架上提供的物品存在/不存在传感器来获取物品的陈列计数信息；
[0013]物品标识器，该物品标识器基于通过捕获陈列架而获取的图像来获取能够标识物品的类型的物品标识信息；以及
[0014]陈列识别器，该陈列识别器基于陈列计数信息和物品标识信息来识别物品的每个类型的陈列计数。
[0015]本发明的另一方面提供了一种信息处理方法，该信息处理方法包括:
[0016]使用在物品被放置在其上的陈列架上提供的物品存在/不存在传感器来获取物品的陈列计数信息；
[0017]基于通过捕获陈列架而获取的图像来获取能够标识物品的类型的物品标识信息；以及
[0018]基于陈列计数信息和物品标识信息来识别物品的每个类型的陈列计数。
[0019]本发明的又一方面提供了一种用于使得计算机执行方法的信息处理装置控制程序，该方法包括:
[0020]使用在物品被放置在其上的陈列架上提供的物品存在/不存在传感器来获取物品的陈列计数信息；
[0021]基于通过捕获陈列架而获取的图像来获取能够标识物品的类型的物品标识信息；以及
[0022]基于陈列计数信息和物品标识信息来识别物品的每个类型的陈列计数。
[0023]本发明的又一方面提供了一种信息处理系统，该信息处理系统包括:
[0024]物品存在/不存在传感器，该物品存在/不存在传感器被提供在物品被放置在其上的陈列架上；
[0025]陈列计数获取器，该陈列计数获取器使用物品存在/不存在传感器来获取物品的陈列计数信息；
[0026]图像捕获器，该图像捕获器捕获陈列架；
[0027]物品标识器，该物品标识器基于由图像捕获器获取的图像来获取能够标识物品的类型的物品标识信息；以及
[0028]陈列识别器，该陈列识别器基于陈列计数信息和物品标识信息来识别物品的每个类型的陈列计数。
[0029]本发明的有利效果
[0030]根据本发明，有可能在类型基础上有效地对在陈列架上陈列的多个类型的物品进行计数。
【附图说明】
[0031]图1是示出了根据本发明的第一实施例的信息处理装置的布置的框图；
[0032]图2A是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的概况的视图；
[0033]图2B是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的布置的框图；
[0034]图3A是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的操作过程的序列图；
[0035]图3B是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的操作时序的不例的时序图；
[0036]图3C是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的操作时序的另一不例的时序图；
[0037]图3D是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的操作时序的又一示例的时序图；
[0038]图4是示出了根据本发明的第二实施例的信息处理装置的功能布置的框图；
[0039]图5A是示出了根据本发明的第二实施例的局部特征数据库的布置的视图；
[0040]图5B是示出了根据本发明的第二实施例的传感器数据库的布置的视图；
[0041]图5C是示出了根据本发明的第二实施例的物品类型阵列表的布置的视图；
[0042]图f5D是示出了根据本发明的第二实施例的物品存在/不存在阵列表的布置的视图；
[0043]图5E是示出了根据本发明的第二实施例的架分配和陈列计数表的布置的视图；
[0044]图6A是示出了根据本发明的第二实施例的物品标识器的布置的框图；
[0045]图6B是示出了根据本发明的第二实施例的图6A中所示的物品标识器中的区域划分器的布置的框图；
[0046]图6C是示出了根据本发明的第二实施例的物品标识器的另一布置的框图；
[0047]图6D是示出了根据本发明的第二实施例的图6C中所示的物品标识器中的区域划分器的布置的框图；
[0048]图6E是示出了根据本发明的第二实施例的物品标识器的又一布置的框图；
[0049]图6F是示出了根据本发明的第二实施例的图6E中所示的物品标识器中的区域划分器的布置的框图；
[0050]图6G是示出了根据本发明的第二实施例的图6E中所示的物品标识器中的区域划分器的另一布置的框图；
[0051]图7A是示出了根据本发明的第二实施例的局部特征生成器的布置的框图；
[0052]图7B是用于说明根据本发明的第二实施例的局部特征生成的过程的视图；
[0053]图7C是用于说明根据本发明的第二实施例的局部特征生成的过程的视图；
[0054]图7D是示出了根据本发明的第二实施例的局部特征生成器中的子区域选择顺序的视图；
[0055]图7E是示出了根据本发明的第二实施例的局部特征生成器中的特征矢量选择顺序的视图；
[0056]图7F是示出了根据本发明的第二实施例的局部特征生成器中的特征矢量的分级的视图；
[0057]图8A是示出了根据本发明的第二实施例的物品阵列生成器的布置的框图；
[0058]图SB是示出了根据本发明的第二实施例的物品存在/不存在数据获取的操作过程的序列图；
[0059]图SC是示出了根据本发明的第二实施例的在物品存在/不存在数据获取时的通信过程的序列图；
[0060]图8D是示出了根据本发明的第二实施例的传感器数据库的布置的视图；
[0061]图SE是示出了根据本发明的第二实施例的传感器数据库的另一布置的视图；
[0062]图9A是示出了根据本发明的第二实施例的物品存在/不存在传感器的布置的视图；
[0063]图9B是示出了根据本发明的第二实施例的物品存在/不存在传感器的读取器天线的布置的视图；
[0064]图9C是示出了根据本发明的第二实施例的物品存在/不存在传感器上的物品的布置的视图；
[0065]图9D是示出了根据本发明的第二实施例的物品存在/不存在传感器中的RFID标签的布置的视图；
[0066]图9E是示出了根据本发明的第二实施例的物品存在/不存在传感器中的位置关系的视图；
[0067]图1OA是示出了根据本发明的第二实施例的信息处理装置的硬件布置的框图；
[0068]图1OB是示出了根据本发明的第二实施例的信息处理装置的处理结果输出的视图；
[0069]图1lA是示出了根据本发明的第二实施例的信息处理装置的处理过程的流程图；
[0070]图1lB是示出了根据本发明的第二实施例的架表面物品阵列识别处理的过程的流程图；
[0071]图1lC是示出了根据本发明的第二实施例的物品存在/不存在检测处理的过程的流程图；
[0072]图1lD是示出了根据本发明的第二实施例的物品布置和陈列计数确定处理的过程的流程图；
[0073]图12是示出了包括根据本发明的第二实施例的信息处理装置的物品管理系统的概况的视图；
[0074]图13是示出了包括根据本发明的第三实施例的信息处理装置的物品管理系统的操作过程的序列图；
[0075]图14是示出了根据本发明的第三实施例的信息处理装置的功能布置的框图；
[0076]图15A是示出了根据本发明的第三实施例的局部特征数据库的布置的视图；
[0077]图15B是示出了根据本发明的第三实施例的片管理数据库的布置的视图；
[0078]图15C是示出了根据本发明的第三实施例的物品类型阵列表的布置的视图；
[0079]图16A是示出了根据本发明的第三实施例的信息处理装置的处理过程的流程图；
[0080]图16B是示出了根据本发明的第三实施例的片标记标识处理的过程的流程图；
[0081]图17是示出了包括根据本发明的第四实施例的信息处理装置的物品管理系统的概况的视图；
[0082]图18是示出了包括根据本发明的第四实施例的信息处理装置的物品管理系统的操作过程的序列图；
[0083]图19是示出了根据本发明的第四实施例的信息处理装置的功能布置的框图；
[0084]图20A是示出了根据本发明的第四实施例的局部特征数据库的布置的视图；
[0085]图20B是示出了根据本发明的第四实施例的架管理数据库的布置的视图；
[0086]图20C是示出了根据本发明的第四实施例的物品类型阵列表的布置的视图；
[0087]图21A是示出了根据本发明的第四实施例的信息处理装置的处理过程的流程图；
[0088]图21B是示出了根据本发明的第四实施例的架标记标识处理的过程的流程图；
[0089]图22是示出了包括根据本发明的第五实施例的信息处理装置的物品管理系统的概况的视图；
[0090]图23是示出了包括根据本发明的第五实施例的信息处理装置的物品管理系统的操作过程的序列图；
[0091]图24是示出了根据本发明的第五实施例的信息处理装置的功能布置的框图；
[0092]图25是示出了根据本发明的第五实施例的物品列管理数据库的布置的视图；
[0093]图26A是示出了根据本发明的第五实施例的信息处理装置的处理过程的流程图；
[0094]图26B是示出了根据本发明的第五实施例的物品列标识处理的过程的流程图；
[0095]图27A是示出了包括根据本发明的第六实施例的信息处理装置的物品管理系统的概况的视图；
[0096]图27B是示出了包括根据本发明的第六实施例的信息处理装置的物品管理系统的概况的视图；
[0097]图28是示出了根据本发明的第六实施例的信息处理装置的功能布置的框图；
[0098]图29是用于说明根据本发明的第六实施例的物品陈列确定处理的视图；
[0099]图30A是示出了根据本发明的第六实施例的信息处理装置的处理过程的流程图；
[0100]图30B是示出了根据本发明的第六实施例的物品陈列确定处理的过程的流程图；
[0101]图31是示出了包括根据本发明的第七实施例的信息处理装置的物品管理系统的概况的视图；
[0102]图32是示出了根据本发明的第七实施例的信息处理装置的功能布置的框图；
[0103]图33A是示出了根据本发明的第七实施例的信息处理装置的处理过程的流程图；
[0104]图33B是不出了根据本发明的第七实施例的物品存在/不存在检测和物品标识调整处理的过程的流程图；
[0105]图34是示出了包括根据本发明的第八实施例的信息处理装置的物品管理系统的概况的视图；
[0106]图35是示出了包括根据本发明的第八实施例的信息处理装置的物品管理系统的操作过程的序列图；
[0107]图36是示出了根据本发明的第八实施例的信息处理装置的功能布置的框图；
[0108]图37是用于说明根据本发明的第八实施例的物品存在/不存在列核对的视图；
[0109]图38A是示出了根据本发明的第八实施例的信息处理装置的处理过程的流程图；以及
[0110]图38B是示出了根据本发明的第八实施例的存在/不存在列核对处理的过程的流程图。
【具体实施方式】
[0111]现在将参照附图具体地描述本发明的优选实施例。应当注意，在这些实施例中阐述的部件的相对布置、数值表达式和数值除非另有具体地陈述否则并未限制本发明的范围。
[0112][第一实施例]
[0113]将参照图1描述根据本发明的第一实施例的信息处理装置100。信息处理装置100是用于管理陈列的物品的装置。
[0114]如图1中所示，信息处理装置100包括陈列计数获取器101、物品标识器103和陈列识别器104。陈列计数获取器101使用在物品110被放置在其上的陈列架上提供的物品存在/不存在传感器130来获取物品的陈列计数信息。物品标识器103基于通过使用图像捕获器120捕获陈列架而获取的图像来获取能够标识物品的类型的物品标识信息。基于由陈列计数获取器101获取的陈列计数信息和由物品标识器103获取的物品标识信息，陈列识别器104识别物品的每个类型的陈列计数。
[0115]根据这一实施例，有可能基于由物品存在/不存在传感器获取的图像和陈列计数信息、基于物品标识信息在类型基础上有效地对在陈列架上陈列的多个类型的物品进行计数。
[0116][第二实施例]
[0117]接着将描述包括根据本发明的第二实施例的信息处理装置的物品管理系统。在这一实施例中，基于来自捕获的图像的局部特征来标识物品并且链接物品与来自在物品陈列架上设置的物品存在/不存在传感器的物品存在/不存在信息，借此在类型基础上高速度地对在陈列架上、在深度方向上陈列的多个类型的大量物品进行计数。
[0118]〈〈物品管理系统》
[0119]将参照图2A至图3D描述根据这一实施例的物品管理系统200的布置和操作。
[0120](系统概况)
[0121]图2A是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的概况的视图。参照图2A，将举例说明商店中的物品陈列架。然而，陈列架不限于此并且可以是在其上、在深度方向上陈列多个物品的任何类型。
[0122]物品管理系统200包括信息处理装置210、图像捕获器22 (即相机)以及物品存在/不存在传感器230。图像捕获器220捕获陈列架201和202的前排的图像。在另一方面，在陈列架201和202中的每个陈列架的每层的底部上布置的物品存在/不存在传感器230确定在传感器230上存在/不存在物品。
[0123]信息处理装置210包括物品标识器211、陈列计数获取器212和陈列识别器213。物品标识器211从图像捕获器220接收陈列架201和202的前排的图像，并且标识陈列的物品的类型和阵列。注意，物品标识器211标识物品的类型、标记符和名称。陈列计数获取器212从物品存在/不存在传感器230获取代表在传感器上布置了多少物品的信息。陈列识别器213将来自物品标识器211的陈列架201和202的前排的物品阵列与来自陈列计数获取器212的陈列计数信息链接，并且识别陈列架201和202上的陈列的物品的数目
[0124]例如，在显示单元214上显示由信息处理装置210识别的陈列的物品的数目。这实现对陈列架201和202的库存管理，并且允许办事员补充小陈列数量的物品。
[0125](系统布置)
[0126]图2B是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的布置的框图。图2B示出了根据这一实施例的物品管理系统200的示意布置。注意，与图2中相同的标号表示与图2B中相同的构成单元。
[0127]为了由陈列识别器213识别陈列架201和202上的陈列的物品的数目。来自物品标识器211的陈列架201和202中的每个陈列架的前排的物品阵列与来自陈列计数器获取器212的陈列计数信息需要被相互连接。这是因为来自陈列计数获取器212的陈列计数信息并未包括代表在陈列架上陈列的物品的位置和类型的存在/不存在信息。因此，在来自物品标识器211的每个物品标识信息与来自陈列计数获取器212的陈列计数信息相互链接时，可以确定陈列架上的陈列的物品的数目。
[0128]图2中所示的图像中的物品存在/不存在传感器的位置信息215在概念上示出了将来自物品标识器211的每条物品标识信息与来自陈列计数获取器212的陈列计数信息链接的信息。以下将在第二至第五实施例中描述不同的链接方法。然而，本发明不限于此。在第二实施例中，将描述其中信息处理装置210具有物品存在/不存在传感器的位置信息215的情况。
[0129](操作过程)
[0130]图3A是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的操作过程的序列图。
[0131]图像获取器220在步骤S301中获取陈列架的前视图像，并且在步骤S303中向信息处理装置210传输前视图像。在另一方面，由检测传感器组形成的物品存在/不存在传感器230在步骤S305中检测每个传感器上的物品的存在/不存在，并且在步骤S307中向信息处理装置210传输物品存在/不存在信息。
[0132]在步骤S309中，信息处理装置210基于陈列架的前视图像标识每个物品。接着，在步骤S311中，信息处理装置210将物品标识信息与来自物品存在/不存在传感器的物品存在/不存在信息链接，并且指定陈列架上的物品存在/不存在传感器的位置。在步骤S313中，信息处理装置210指定在深度方向上的标识的物品的位置和物品的数目。因此对陈列架上的陈列的物品的数目进行计数。在步骤S315中，信息处理装置210基于陈列架上的陈列的物品的数目执行库存管理处理。注意，库存管理处理未被限制。
[0133](操作时序)
[0134]图3B是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的操作时序的示例310的时序图。
[0135]使用根据这一实施例的物品标识方法在例如10秒中实施从由图像捕获器220拍摄的陈列架的前视图像标识陈列的物品的物品标识处理311。在另一方面，使用根据这一实施例的物品存在/不存在检测方法在例如I秒中实施从物品存在/不存在传感器230收集物品存在/不存在?目息并且对物品存在/不存在?目息进行排序的物品存在/不存在处理312。
[0136]图3Β示出了在如下情况下的时序，在该情况下，物品标识处理311和物品存在/不存在处理312被独立地执行而未被关联，并且接近在物品存在/不存在处理312结束时执行指定陈列架上的陈列的物品的阵列和数目的物品陈列计数决定处理313。
[0137]图3C是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的操作时序的另一示例320的时序图。在图3C中，调整时序以便与用于完成需要例如约10秒的处理时间的物品标识处理311的时序同步地结束每个物品存在/不存在处理322。图3C示出了在如下情况下的时序，在该情况下，在物品标识处理311完成物品识别和物品存在/不存在处理322完成物品存在/不存在检测之后执行物品陈列计数决定处理323。根据图3C中所示的时序，有可能将物品存在/不存在处理322的次数减少至物品标识处理311的次数，并且有效地执行物品陈列计数决定处理323。
[0138]图3D是示出了包括根据这一实施例的信息处理装置210的物品管理系统200的操作时序的更多另一示例330的时序图。在图3D中，如果在物品存在/不存在处理312中获得的物品存在/不存在信息已经改变(335)，则物品标识处理331开始。图3D示出了在如下情况下的时序，在该情况下，在物品标识处理331完成物品识别之后执行物品陈列计数决定处理333。根据图3D中所示的时序，由于仅在物品数目在物品存在/不存在处理312中改变(由客户取出或者由办事员补充)时执行物品标识处理331，所以有可能减少物品标识处理331的次数并且有效地执行物