品陈列计数决定处理333。
[0139]注意，可以控制时序以在从陈列架的前视图像识别物品改变时开始物品存在/不存在处理。处理时序不限于这些。
[0140]〈〈信息处理装置的功能布置》
[0141]图4是示出了根据这一实施例的信息处理装置210的功能布置的框图。注意，与图2A和图2B中相同的标号表示与图4中相同的构成单元。
[0142]信息处理装置210包括经由WAN(广域网)或者LAN(局域网)通信的通信控制器401。图像接收器402经由通信控制器401接收由图像捕获器220拍摄的陈列架的前视图像。物品标识器211核对从在局部特征数据库403中存储的物品图像生成的局部特征与从陈列架的前视图像生成的局部特征，并且标识陈列架的前视图像中的匹配物品。在另一方面，物品存在/不存在信息接收器305经由通信控制器401从物品存在/不存在传感器230接收物品存在/不存在信息。
[0143]物品阵列生成器407参考在用作架分配存储装置的传感器数据库406中存储的陈列架中的物品存在/不存在传感器230的布置信息，并且从物品存在/不存在信息生成代表陈列架上的物品阵列的物品存在/不存在阵列表。陈列识别器213将由物品标识器211标识的物品标识信息与由物品阵列生成器407生成的物品存在/不存在信息链接，并且确定陈列架的架分配，而且也计算陈列架上的陈列计数。通过合成与具有相同物品标识信息的物品列链接的当前物品的数目来计算陈列计数。
[0144]基于来自陈列识别器213的陈列计数，商店库存管理器410参考保持商店的库存信息的库存管理数据库409，并且执行对将例如在商店中的陈列架上陈列的物品的库存管理处理。在显示单元214(比如显示器)上显示或者经由通信控制器401从陈列信息传输器411向外部通知库存管理的结果。每个功能单元根据从操作单元接收的或者由操作信息接收器412经由通信控制器401接收的操作指令操作。
[0145](局部特征数据库)
[0146]图5A是示出了根据这一实施例的局部特征数据库403的布置的视图。局部特征数据库403用来存储从每个物品的图像生成的局部特征，并且在与从输入图像生成的局部特征比较时标识物品。注意，局部特征数据库403的布置不限于图5A中所示的布置。
[0147]局部特征数据库403与物品ID 511关联地存储从物品生成的物品名称/类型512和局部特征组513。
[0148](传感器数据库)
[0149]图5B是示出了根据这一实施例的传感器数据库406a的布置的视图。传感器数据库406a指示图4中所示的传感器数据库406的部分，并且用来存储在陈列架上布置的物品存在/不存在传感器在陈列架中的位置，并且将陈列架的前排的物品阵列与来自物品存在/不存在传感器的物品存在/不存在信息链接。注意，传感器数据库406a的布置不限于图5B中所示的布置，只要信息将物品存在/不存在传感器与在陈列架上的位置关联。
[0150]传感器数据库406与陈列架的架ID 521关联地存储架位置522和多个层523。与每个层523关联地存储在层上布置的列的总数524、物品的总数525和多个物品存在/不存在检测片的片ID 526。与每个片ID 526关联地存储片配置527。物品存在/不存在检测片是如下片，该片具有至少一列并且在每列中包括与深度方向位置的数目一样多的多个物品存在/不存在传感器(见图9A至图9E)。片配置527包括片上的传感器的列数、列宽度、深度方向位置的数目、深度宽度和物品的数目。
[0151](物品类型阵列表)
[0152]图5C是示出了根据这一实施例的物品类型阵列表530的布置的视图。物品类型阵列表530是存储物品标识器211已经从陈列架的前视图像标识的物品的表。
[0153]物品类型阵列表530与架ID 531关联地存储架位置532和多个层533。与每个层533关联地存储标识的物品IC 534、物品名称/类型535和物品图像536。注意，物品图像536可以是局部特征。
[0154](物品存在/不存在阵列表)
[0155]图f5D是不出了根据这一实施例的物品存在/不存在阵列表540的布置的视图。物品存在/不存在阵列表540是存储物品阵列生成器407已经从物品存在/不存在传感器接收的物品存在/不存在结果的表。
[0156]物品存在/不存在阵列表540与片ID 541关联地存储在片上提供的列542、列的陈列计数543和物品布置544。注意，物品布置544存储深度方向位置的总数和物品在列上的存在/不存在。在图f5D中，物品存在由籲指示，并且物品不存在由O指示。这一存储形式支持检测在物品存在之间夹入的物品不存在的错误。
[0157](架分配和陈列计数表)
[0158]图5E是示出了根据这一实施例的架分配和陈列计数表550的布置的视图。架分配和陈列计数表550是如下表，该表存储在陈列识别器213链接物品类型阵列表530与物品存在/不存在阵列表540之后计算的物品陈列位置和陈列计数。注意，与图5C和图f5D中相同的标号表不与图5E中相同的项目。
[0159]架分配和陈列计数表550与架ID 531关联地存储架位置532和多个层533。与每个层533关联地从层的左侧到右侧依次地存储列551。与每列551关联地存储列的物品IC534、物品名称/类型535、物品图像536、陈列计数543和物品布置544。
[0160]基于每列的陈列计数543存储补充必需标志552。在图5E中，“〇”指示“补充必需”，“Λ”指示“注意补充”，并且“ X ”指示“补充非必需”。此外，基于每列的物品布置544存储报警必需标志553。在图5E中，“〇”指示“报警必需”，并且“ X ”指示“报警非必需”。注意，在图5E中，如图f5D中那样，在第五列中区分在物品存在之间夹入的物品不存在的错误。
[0161 ] ?物品标识器>>
[0162]以下将参照图6A至图6G描述物品标识器211的布置的示例。注意，根据这一实施例的物品标识器211不限于图6A至图6G中所示的物品标识器。
[0163](布置示例)
[0164]图6A是示出了根据这一实施例的物品标识器211a的布置的框图。物品标识器211a是图4中所示的物品标识器211的示例，并且包括捕获的图像局部特征生成器601、区域划分器602和核对器603。
[0165]捕获的图像局部特征生成器601从陈列架的拍摄的前视图像检测多个特征点，并且向区域划分器602输出由大量的特征点的坐标位置形成的捕获的图像的坐标位置信息组。捕获的图像局部特征生成器601也基于特征点的坐标位置向核对器603输出由包括特征点的外围区域(邻近区域)的局部特征形成的捕获的图像的局部特征组。
[0166]区域划分器602使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组来对捕获的图像的特征点进行聚类，并且也向核对器603输出由与包括一个或者多个特征点的多个聚类关联的多条聚类信息形成的聚类信息组。
[0167]核对器603使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组、在局部特征数据库403中存储的物品图像的局部特征组和从区域划分器602输出的群集信息组。核对器603在聚类基础上核对捕获的图像的局部特征组与物品图像的局部特征组，由此确定每个特征点的标识或者与每个特征点的相似度。作为结果，核对器603标识在捕获的图像与物品图像之间的相同或者相似对象，并且输出物品ID作为标识结果(核对结果)。关于被确定为相同或者相似的特征点，核对器603可以基于属于聚类的特征点的坐标位置信息输出被确定为相同或者相似的捕获的图像的区域的信息。
[0168]图6B是示出了根据这一实施例的图6A中所示的物品标识器211a中的区域划分器602的布置的框图。区域划分器602包括相似度计算器611和特征点聚类单元612。
[0169]相似度计算器611计算在从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组中的两个任意局部特征之间的相似度，并且向特征点聚类单元612输出多个计算出的相似度作为相似度信息组。假设一种计算在局部特征之间的相似度的方法例如计算在两个任意局部特征之间的特征距离(例如，欧几里得距离)并且基于该距离计算相似度。这时，如果距离值为小，则使相似度为高，并且如果距离值为大，则使相似度为低。也假设使用一种通过预定值来归一化特征距离并且从归一化的值计算相似度的方法。
[0170]特征点聚类单元612使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组和从相似度计算器611输出的相似度信息组来对捕获的图像的特征点进行聚类，并且向核对器603输出代表聚类结果的聚类信息组。特征点聚类单元612执行聚类以例如将具有高相似度(小距离值)的局部特征分类到不同聚类。为了对特征点进行聚类，例如假设使用一种计算在捕获的图像的任意特征点与每个聚类重心之间的距离、并且将特征点分类到其中计算的距离被最小化的聚类的方法。这时，如果在任意聚类中包括相似度等于或者大于阈值的特征点，则从聚类排除其与聚类重心的距离为长的特征点，并且将该特征点分类到另一聚类中。作为在每个特征点与聚类重心之间的距离，例如可以使用欧几里得距离、马氏距离或者城市街区距离(曼哈顿距离)。
[0171]可以使用图形切割方法来完成聚类。例如，可以向通过使用特征点作为节点、基于在特征点之间的距离和在局部特征之间的相似度而获得的图形(例如，如果在特征点之间的距离为短并且在局部特征之间的相似度为高，则使在两个节点之间的边缘值为大)提供图形切割。作为图形切割，例如可以使用归一化的切割或者马尔科夫聚类算法。
[0172](另一布置示例)
[0173]图6C是示出了根据这一实施例的物品标识器211b的布置的框图。物品标识器211b是图4中所示的物品标识器211的另一示例，并且包括捕获的图像局部特征生成器601、区域划分器622和核对器603。捕获的图像局部特征生成器601和核对器603的操作与图6A中相同，并且这里将省略其描述。以下将主要地描述区域划分器622的操作。
[0174]区域划分器622使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组和捕获的图像的坐标位置信息组以及从局部特征数据库403输出的物品图像的局部特征组。区域划分器622对捕获的图像的特征点进行聚类，并且向核对器603输出与聚类结果关联的聚类信息组。
[0175]图6D是示出了根据这一实施例的图6C中所示的物品标识器211b中的区域划分器622的布置的框图。区域划分器622包括对应点搜索器631和特征点聚类单元632。
[0176]对应点搜索器631使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组和从局部特征数据库403输出的物品图像的局部特征组。对应点搜索器631生成对应信息，该对应信息是代表物品图像的局部特征组的哪个局部特征匹配在捕获的图像的局部特征组中包括的任意局部特征(也就是说，物品图像的哪个特征点对应于捕获的图像的任意特征点)的信息。对应点搜索器631也向特征点聚类单元632输出多条生成的对应信息作为对应信息组。
[0177]为了生成对应信息，例如假设使用与图6A中所示的核对器603的方法相同的方法。作为对应关系，物品图像的给定的特征点可以对应于捕获的图像的多个特征点。此外，捕获的图像的特征点可以在一对一对应中对应于物品图像的特征点。
[0178]特征点聚类单元632使用从捕获的图像局部特征生成器601输出的坐标位置信息组和从对应点搜索器631输出的对应信息组。特征点聚类单元632从捕获的图像的特征点之中选择具有与物品图像的特征点的对应关系的特征点，并且基于捕获的图像的选择的特征点的坐标位置对选择的特征点进行聚类。特征点聚类单元632也向核对器603输出代表聚类结果的聚类信息组。为了对特征点进行聚类，假设使用一种已知方法。
[0179]如果物品图像的特征点对应于捕获的图像的多个特征点，则特征点聚类单元632可以将捕获的图像的特征点聚类到不同聚类。为了这样做，假设特征点聚类单元632使用通过图形切割的聚类。在这一情况下，如果物品图像的特征点对应于捕获的图像的多个特征点，则假设使用捕获的图像的多个特征点作为节点来生成图形，从而使得在节点之间的边缘值变小，并且应用图形切割以划分具有小边缘值的节点。作为图形切割，例如可以使用归一化的切割或者马尔科夫聚类算法。
[0180]如果在第一图像的两个任意特征点之间的距离为短(例如，距离值小于阈值)，并且物品图像中的与特征点对应的特征点距离为长(例如，距离值大于另一阈值)，则特征点聚类单元632可以将捕获的图像的两个特征点分类到不同聚类。为了这样做，如在以上描述的情况下那样假设使用通过图形切割的聚类。
[0181]特征点聚类单元632可以例如使用一种对于具有任意大小的每个分析区域对在该区域中包括的特征点进行计数、并且如果计数值等于或者大于预定阈值则将在该区域中包括的特征点分类到相同聚类的方法。在以这一方式对特征点进行聚类时，可以在更高速度执行处理。
[0182](又一布置示例)
[0183]图6E是示出了根据这一实施例的物品标识器211c的布置的框图。物品标识器211c是图4中所示的物品标识器211的又一示例，并且包括捕获的图像局部特征生成器601、区域划分器642和核对器603。捕获的图像局部特征生成器601和核对器603的操作与图6A和图6C中相同，并且这里将省略其描述。
[0184]区域划分器642使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组和捕获的图像的坐标位置信息组以及从局部特征数据库403输出的物品图像的局部特征组和物品图像的坐标位置信息组。区域划分器642对捕获的图像的特征点进行聚类，并且向核对器603输出代表聚类结果的聚类信息组。
[0185]图6F是示出了根据这一实施例的图6E中所示的物品标识器211c中的区域划分器642a的布置的框图。区域划分器642a是图6E中所示的区域划分器642的示例，并且包括对应点搜索器631、比率计算器652和特征点聚类单元653。
[0186]对应点搜索器631通过与图6D中相同的操作生成对应信息组，并且向比率计算器652和特征点聚类单元653输出生成的对应信息组。
[0187]比率计算器652使用从捕获的图像局部特征生成器601输出的捕获的图像的局部特征组、从局部特征数据库403输出的物品图像的局部特征组和从对应点搜索器631输出的对应信息组。比率计算器652计算在捕获的图像的两个任意特征点之间的距离(下文被称为特征点距离)与在第二图像中的与特征点对应的特征点距离的比率，并且向特征点聚类单元653输出多个计算的比率作为比率信息组。作为特征点距离，例如假设使用欧几里得距离、马氏距离或者城市街区距离。
[0188]特征点聚类单元653使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组、从对应点搜索器631输出的对应信息组和从比率计算器652输出的比率信息组。特征点聚类单元653对捕获的图像的特征点进行聚类，并且向核对器603输出代表聚类结果的聚类信息组。假设执行聚类以便例如将其计算的比率差值为小的特征点分类到相同聚类(将其比率差值为大的特征点分类到不同聚类)。这时，使用图形切割来执行聚类。更具体而言，例如假设将图形切割应用于通过使用特征点作为节点、基于在特征点之间的距离和比率差值使在节点之间的边缘值为大而获得的图形。作为图形切割，例如可以使用归一化的切割或者马尔科夫聚类算法。
[0189]也假设特征点聚类单元653以例如使用坐标位置信息组、对应信息组和比率信息组用以下方式对捕获的图像的特征点进行聚类。在这一情况下，使用在给定的特征点与多个外围特征点之间的比率信息组来计算特征点属于任意聚类的属于概率。在这一情况下，特征点聚类单元653基于特征点的计算出的属于概率和坐标位置信息执行聚类。为了对特征点进行聚类，例如假设使用一种基于对应信息组选择与物品图像的任意特征点对应的捕获图像的特征点、基于坐标位置信息和属于概率计算在特征点与每个聚类重心之间的距离并且将特征点分类到其中计算出的距离被最小化的聚类的方法。
[0190]图6G是示出了根据这一实施例的图6E中所示的物品标识器211c中的区域划分器642b的布置的框图。区域划分器642b是图6E中所示的区域划分器642的另一示例，并且包括对应点搜索器631、比率计算器652、旋转量计算器661和特征点聚类单元662。比率计算器652的操作与图6F中相同，并且这里将省略其描述。
[0191]对应点搜索器631通过与图6D中相同的操作生成对应信息组，并且向比率计算器652、旋转量计算器661和特征点聚类单元662输出生成的对应信息组。
[0192]旋转量计算器661使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组、从对应点搜索器631输出的对应信息组和从局部特征数据库403输出的物品图像的坐标位置信息组。旋转量计算器661计算由捕获的图像的两个特征点形成的矢量的方向和由物品图像的两个特征点形成的矢量的方向。旋转量计算器661也从计算出的矢量方向计算捕获的图像的对象的旋转量，并且向特征点聚类单元662输出多个计算出的旋转量作为旋转量信息组。
[0193]特征点聚类单元662使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组、从对应点搜索器631输出的对应信息组、从比率计算器652输出的比率信息组和从旋转量计算器661输出的旋转量信息组。特征点聚类单元662对捕获的图像的特征点进行聚类。此外，特征点聚类单元662向核对器603输出与作为聚类结果而获得的每个聚类关联的聚类信息组。
[0194]例如，其计算出的比率差值和旋转量差值为小的特征点可以被分类到相同聚类(其比率差值和旋转量差值为大的特征点可以被分类到不同聚类)。假设使用例如图形切割来执行聚类。例如，可以向通过使用特征点作为节点、基于在特征点之间的距离、比率差值和旋转量差值计算边缘值而获得的图形(例如，如果在特征点之间的距离值为短并且比率差值和旋转量差值为小，则使在两个节点之间的边缘值为大)提供图形切割。作为图形切割，例如假设使用归一化的切割或者马尔科夫聚类算法。
[0195]参照图6G，可以提供相对坐标位置数据库，该相对坐标位置数据库包括代表物品图像的参考点(例如，对象中心)和物品图像的特征点的相对坐标位置的表。参考点是在第二图像上的预定坐标位置。如以上描述的那样，参考点可以是对象中心或者物品图像的左上角的坐标位置。以下将假设参考点指示对象中心来进行描述。
[0196]特征点聚类单元662使用从捕获的图像局部特征生成器601输出的捕获的图像的坐标位置信息组、从对应点搜索器631输出的对应信息组、从比率计算器652输出的比率信息组、从旋转量计算器661输出的旋转量信息组和在相对坐标位置数据库中存储的相对坐标位置。特征点聚类单元662对捕获的图像的特征点进行聚类。此外，特征点聚类单元662向核对器603输出代表聚类结果的聚类信息组。
[0197]为了对特征点进行聚类，例如一种在捕获的图像的特征点之中基于对应信息组选择与物品图像的任意特征点对应的多个特征点、基于选择的特征点的坐标位置估计捕获的图像的对象中心点并且基于估计的对象中心点的坐标位置对估计的对象中心点进行聚类的方法是可使用的。为了对对象中心点进行聚类，例如可以使用一种对于具有任意大小的每个分析区域对在该区域中包括的对象中心点进行计数并且如果计数值等于或者大于预定阈值则将在该区域中包括的对象中心点分类到相同聚类的方法。在以这一方式对对象中心点进行聚类时，可以在更高速度执行处理。
[0198]〈〈局部特征生成器》
[0199]图7A是示出了根据这一实施例的局部特征生成器601的布置的框图。局部特征生成器601包括特征点检测器711、局部区域获取器712、子区域划分器713、子区域特征矢量生成器714和维度选择器715。
[0200]特征点检测器711从图像数据检测多个特性点(特征点)，并且输出每个特征点的坐标位置、比例(大小)和角度。局部区域获取器712获取局部区域以完成从每个检测到的特征点的坐标位置、比例和角度的特征提取。子区域划分器713将局部区域划分成子区域。例如，子区域划分器713可以将局部区域划分成16个块(4X4个块)或者25个块(5X5个块)。注意，划分的数目未被限制。在这一实施例中，以下将有代表性地假设其中局部区域被划分成25个块(5X5个块)的情况来进行描述。
[0201]子区域特征矢量生成器714生成用于局部区域的每个子区域的特征矢量。作为子区域的特征矢量，例如可以使用梯度方向直方