图像处理装置、显示控制装置、图像处理方法和记录介质与流程

本发明涉及一种图像处理装置、显示控制装置、图像处理方法和记录介质。

背景技术：

已知商品的销售依赖于如何在销售商品的商店中陈列商品。因此，已经存在对于用于高效地获得陈列的商品的状态的方法的需求。

ptl1描述了一种从示出正被显示的不同类型的商品的状态的捕获的图像来识别陈列的商品的商品管理装置。

ptl2描述了一种用于通过从示出在商品陈列架上陈列的商品的捕获的图像提取商品的图像来识别商品的方法。

引用列表

专利文献

ptl1：日本待审专利申请公开号2012-126532

ptl2：日本待审专利申请公开号2013-250647

技术实现要素：

技术问题

在其上陈列商品的架的捕获的图像在各种环境的影响之下，比如灯的位置、照相视角和在图像正被捕获时使用的屏蔽。假设例如出于防止错误识别的目的，向识别阈值给予较高值，该较高值是用于确定识别对象商品是否被识别为具体产品的边界值，并且在将要对这样的捕获的图像执行识别时是与具体商品的相似度值。然后，由于捕获的图像在环境的影响之下，所以图像可以呈现更低相似度，从而可能地造成识别商品更频繁失败，即，图像中的商品没有被识别为产品。在另一方面，如果出于防止识别商品失败的目的而向识别阈值给予较低值，则错误识别(即，商品被识别为另一不同商品)的出现率可能较高。

在以上提到的ptl1和ptl2中描述的技术没有对环境的这样的影响给予考虑。因此，根据在ptl1和ptl2中描述的技术，如果设置识别阈值以便防止错误识别，则识别商品失败可能在较大数目的区域中出现。因而，在这样的情况下，在ptl1和ptl2中描述的技术将使商品在识别商品失败已经出现的区域中未被识别，从而产生较不准确的识别结果。

已经鉴于以上描述的问题而实现了本发明，并且本发明的目的是提供一种实现对具有识别商品失败已经出现的高概率的区域的较高精确度的检测的技术。

对问题的解决方案

为了解决以上描述的问题，根据本发明的一个方面的一种图像处理装置包括：识别装置，其用于从通过捕获陈列的产品的图像而被获得的捕获的图像识别产品；以及检测装置，其用于基于与产品被陈列于其中的商店固定物有关的商店固定物信息来检测被包括在捕获的图像中但是未被识别装置识别的产品的区域。

根据本发明的一个方面的一种显示控制装置在屏幕上显示产品未在其中被识别但是产品可能地被陈列的区域作为产品未在其中被识别的区域，该区域被包括在通过捕获陈列的产品的图像而被获得的捕获的图像中。

根据本发明的一个方面的一种图像处理方法包括：从通过捕获陈列的产品的图像而被获得的捕获的图像识别产品；以及基于与产品被陈丽在其中的商店固定物有关的商店固定物信息来检测被包括在捕获的图像中但是未被识别的产品的区域。

一种用计算机实施以上提到的个别装置和方法的计算机程序以及存储这样的计算机程序的计算机可读存储介质也被包括在在本发明的范围中。

本发明的有利效果

本发明实现了对具有识别商品失败已经出现的高概率的区域的较高精确度的检测。

附图说明

图1是图示了根据本发明的第一示例实施例的图像处理装置的示例功能配置的功能框图。

图2是图示了根据本发明的第二示例实施例的图像处理装置的示例功能配置的功能框图。

图3是用于说明根据第二示例实施例的图像处理装置的识别单元的操作的示图。

图4是用于说明由根据第二示例实施例的图像处理装置的识别单元提供的识别结果的示图。

图5是用于说明由根据第二示例实施例的图像处理装置的检测单元输出的检测结果的示图。

图6是图示了用于根据本发明的第二示例实施例的图像处理装置的示例操作流程的流程图。

图7是图示了包括根据本发明的第三示例实施例的图像处理装置的系统的示例配置的示图。

图8是图示了根据本发明的第三示例实施例的图像处理装置的示例功能配置的功能框图。

图9是图示了由根据本发明的第三示例实施例的图像处理装置的显示控制单元在显示单元上显示的图像的示例的示图。

图10是图示了由根据本发明的第三示例实施例的图像处理装置的显示控制单元在显示单元上显示的图像的另一示例的示图。

图11是图示了由根据本发明的第三示例实施例的图像处理装置的显示控制单元在显示单元上显示的图像的又一示例的示图。

图12是图示了用于根据本发明的第三示例实施例的图像处理装置的示例操作流程的流程图。

图13是举例说明了可以实施本发明的每个个别示例实施例的计算机(信息处理装置)的硬件配置的说明图。

具体实施方式

(第一示例实施例)

现在将参照附图描述本发明的第一示例实施例。本示例实施例描述了用于解决将由本发明解决的问题的基本配置。图1是图示了根据本示例实施例的图像处理装置100的示例功能配置的功能框图。如图1中所示，根据本示例实施例的图像处理装置100包括识别单元110和检测单元120。由图中的箭头指示的方向仅代表示例，并且它没有限制在块之间的信号的方向。同样地，在以下参照的其它框图中，由图中的箭头指示的方向仅代表示例，并且它没有限制在块之间的信号的方向。

从通过捕获陈列的产品(商品)的图像而被获得的捕获的图像，识别单元110识别被包括在捕获的图像中的产品。由识别单元110使用的识别方法不限于任何具体方法，并且因此任何一般识别技术可以被用来识别产品。识别单元110将捕获的图像与指示从捕获的图像识别的产品的信息一起输出给检测单元120。

检测单元120从识别单元110接收捕获的图像连同指示由识别单元110从捕获的图像识别的产品的信息。然后，检测单元120基于关于产品被陈列于其中的商店固定物的商店固定物信息来检测被包括在接收的捕获的图像中但是尚未被识别单元110识别的产品的区域。

如以上所见，在本示例实施例的图像处理装置100中，检测单元120检测识别单元110已经从捕获的图像识别失败的产品的区域。检测单元120基于商店固定物信息来从捕获的图像检测产品尚未在其中被识别的区域。这使信息处理装置100能够用较高程度的精确度来检测具有产品识别失败已经出现的高概率的区域。

(第二示例实施例)

现在将参照附图描述基于以上描述的第一示例实施例的本发明的第二示例实施例。图2是图了示根据本示例实施例的图像处理装置200的示例功能配置的功能框图。为了便于说明，向具有与被包括在被描述在前述第一示例实施例中的附图中的构件的功能相同的功能的构件给予相同标号。

如图2中所示，根据本示例实施例的图像处理装置200包括识别单元110、检测单元120和接收单元210。图像处理装置200可以被配置为还包括存储单元220。

接收单元210是接收通过捕获陈列的产品的图像而被获得的捕获的图像的装置。捕获的图像可以例如是由成像装置(比如非固定的点相机)捕获的图像。

接收单元210从例如成像装置接收这样的捕获的图像。接收单元210如何接收图像不限于任何具体方法。例如，接收单元210可以从用usb(通用串行总线)线缆等被连接到图像处理装置200的成像装置接收捕获的图像。备选地，接收单元210可以从经由例如网络被连接到图像处理装置200的成像装置接收捕获的图像。备选地，接收单元210可以从例如捕获的图像在其中被积累的存储设备等接收捕获的图像。注意，接收单元210将捕获的图像与指示捕获的图像被捕获的位置和/或成像的商店固定物的位置的位置信息(这样的信息以下被称为捕获的图像信息)一起接收。

接收单元210然后将接收的捕获图像和与捕获的图像关联的捕获的图像信息一起供应给识别单元110。

存储单元220存储用于识别被包括在捕获的图像中的产品的信息。具体而言，存储单元220存储产品图像和/或被包括在产品图像中的特征，该产品图像和/或该特征与标识产品的信息(例如，用于标识产品的标识符或者产品名称)关联。存储单元220可以存储为了标识产品而必需的任何信息。用于标识产品的信息也与代表产品的类型(类别)的信息关联。

此外，存储单元220存储关于产品被陈列在其中的商店固定物的商店固定物信息。商店固定物信息对于商店固定物中的每个商店固定物包括关于代表商店固定物被安装于其中的地方的安装位置的信息。商店固定物信息还包括与关于安装位置的前述信息关联的以下项目(a)至(e)：

(a)由识别单元110关于捕获的图像而提供的识别结果，获得的捕获的图像通过在比在已经捕获商店固定物时的捕获时间更早的时间捕获商店固定物的图像而被获得(这一识别结果以下被称为先前的陈列结果)；

(b)为商店固定物而推荐的x线断层照片信息；

(c)商店固定物中的行数；

(d)商店固定物中的每行中可放置的产品的数目；以及

(e)指示用于显示被陈列在商店固定物中的产品的条件的信息。

在商店固定物中的每行中可放置的产品的以上提到的数目可以被重新表述为商店固定物中的每行中的可以容纳产品的槽数目。

以上项目(a)由识别单元110存储到存储单元220中。以上项目(b)至(e)被预先存储到存储单元220中。存储单元220也可以存储商店固定物的大小作为商店固定物信息。

以上项目(e)包括指示例如产品应当被放置在每个槽中的条件的信息。项目(e)也可以例如包括相同产品名称的产品应当被串联排列的条件，以及相同类型的产品应当被相互近邻地陈列的条件。

此外，存储单元220存储指示产品的订单(或者购买)的信息(以下被称为订单信息)和指示由销售点(pos)系统等管理的销售信息。

可以在单个存储设备(例如，存储单元220)中存储或者可以在不同存储设备中分离地存储用于识别产品的信息、商店固定物信息、订单信息和销售信息。

可以在图像处理装置200中并入或者可以在从图像处理装置200分离的存储设备中实施存储单元220。

识别单元110从接收单元210接收捕获的图像。识别单元110通过参考如被存储在存储单元220中的用于标识产品的信息来从接收的捕获的图像识别被包括在捕获的图像中的产品。与根据第一示例实施例的图像处理装置100的识别单元110一样，由识别单元110使用的用于识别产品的识别方法不限于任何具体方法，并且因此可以使用任何一般识别技术。识别单元110将捕获的图像与指示已经从捕获的图像识别的任何产品的信息(识别结果)一起输出给检测单元120。

下文参照图3和图4进一步描述识别单元110的操作。图3是用于说明根据第二示例实施例的图像处理装置200的识别单元110的操作的示图，该示图示出了作为示例的捕获的图像。图4是用于说明由识别单元110提供的识别结果的示图。

如图3中所示，捕获的图像包括多个产品31的图像。本示例实施例假设捕获的图像通过捕获如图3中所示的整个单个商店固定物的图像而被获得，但是捕获的图像不限于这样的图像。捕获的图像可以通过捕获多个商店固定物的图像而被获得。捕获的图像也可以通过捕获单个商店固定物的部分的图像而被获得。在图3中，在每个产品31中出现的字母代表产品名称。

图3中的示例示出了产品被陈列在其中的商店固定物由三行组成。以下被称为第一行的最高行陈列名称为“小吃a”的三个产品和名称为“小吃b”的两个产品。第二行陈列名称为“糖果a”、“糖果b”和“糖果c”的产品，各自为两个产品。第三行陈列名称为“巧克力a”至“巧克力h”的产品，各自为一个产品。

在图3中，绕着产品31的虚线框(产品图像区域32)代表已经由识别单元110识别的产品31的图像区域。因此，图3代表名称为“巧克力c”的产品和名称为“糖果b”的两个产品尚未被识别单元110识别。

识别单元110向检测单元120输出识别结果，该识别结果包括指示识别的产品的信息(例如，产品名称)、指示产品31的产品图像区域32的图像区域信息和指示关于产品31的识别结果的确信度水平的识别分数。图4图示了识别结果的示例。前述图像区域信息是指示捕获的图像中的产品31的产品图像区域32的位置的位置信息。

如图4中所示，识别结果对于每个产品包括指示识别的产品的产品名称、用于产品31的识别分数和关于产品31的产品图像区域32的位置信息(图像区域信息)。产品名称、产品分数和图像区域信息相互关联。在图4中，单条线包括关于已经被识别的单个产品31的信息。

假设识别单元110已经识别了名称为“小吃a”的产品。也假设产品的产品图像区域32的四个拐角的坐标分别是(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)并且识别分数是“0.80”。

然后，识别单元110输出如图4中所示的用于“小吃a”的识别结果，即，“小吃a，0.80，x1，y1，x2，y2，x3，y3，x4，y4”。

产品图像区域32优选地是绕着由识别单元110识别的产品而被形成的定界矩形，但是不限于这样的形状。产品图像区域32可以是按照与产品的形状匹配的形状。

识别结果不限于以上描述的识别结果；例如，除了产品名称之外或者取代产品名称，可以包括用于标识产品31的标识符。也就是说，识别单元110可以在识别结果中包括指示识别的产品31的任何信息。取代基本上矩形的产品图像区域32的四个拐角的坐标，在识别结果中包括的图像区域信息可以由例如四个拐角之一的坐标以及产品的宽度和高度代表。也就是说，识别单元110可以在识别结果中包括指示已经识别的产品31的产品图像区域32的任何信息。

前述识别分数具有上限1.0，这指示与1.0较近的值代表较高可靠度水平，但是这仅是一种表达识别分数的方式。

识别单元110也可以例如在识别结果中包括指示产品类型的日文编号(jan)或者信息(例如，产品类型或者类型代码的名称)。

识别单元110可以执行控制以便例如从识别结果排除关于其识别分数小于预定值的产品的信息。

识别单元110将这样的识别结果与已经对其执行了产品识别的捕获的图像和关于捕获的图像的捕获的图像信息一起输出给检测单元120。

图4中所示的识别结果仅为示例，并且识别结果不限于所示格式。

识别单元110从检测单元120接收检测结果，并且然后基于这样的检测结果执行识别。随后将在关于检测单元120的操作的描述之后描述用于这一识别的操作。

检测单元120从识别单元110接收捕获的图像、关于捕获的图像的捕获的图像信息和关于在捕获的图像上识别的产品的识别结果。然后，检测单元120基于关于产品被陈列于其中的商店固定物的商店固定物信息来检测被包括在接收的捕获的图像中但是尚未被识别单元110识别的产品的区域。在这一步骤中所指的商店固定物是与关于与已经接收的捕获的图像信息匹配或者近似的关于安装位置的信息关联的信息。

具体而言，检测单元120检测存在于捕获的图像中但是其对应产品尚未被识别的区域。检测单元120然后从检测到的区域检测用于识别失败已经出现于其中的区域的候选(以下被称为候选区域)。候选区域是产品将高度地可能被放置于其中的区域。

例如，检测单元120计算在产品之间的竖直和水平距离(以下被称为在产品之间的距离)。检测单元120确定计算出的距离是否大于预定阈值，并且在计算出的距离大于预定阈值时，检测单元120检测具有计算的距离的区域作为候选区域。

此外，例如，检测单元120计算在商店固定物的顶沿与由识别单元110识别的产品的产品图像区域32的顶沿之间的距离，该产品图像区域32没有被放置在它的产品上面的其它产品。换而言之，在商店固定物的顶行(即，第一行)由产品填充时，检测单元120计算在第一行中的产品的产品图像区域32中的每个产品图像区域的顶沿与商店固定物的顶沿之间的距离。在第一行中的任何槽没有被放置在其中的产品时，检测单元120计算在直接地在第二行(或者后继行中的任一行)中的槽下面的在该行中放置的产品与商店固定物的顶沿之间的距离。检测单元120确定计算出的距离是否大于预定阈值(第一预定阈值)，并且在计算出的距离大于预定阈值时，检测单元120检测具有计算的距离的区域作为候选区域。

同样地，检测单元120计算在商店固定物的底沿、左沿和右沿中的每个沿与产品之间的距离，并且在计算出的距离大于预定阈值时，检测单元120检测具有计算的距离的区域作为候选区域。注意，图3示出了指示商店固定物的左沿的点划线。以这一方式，检测单元120通过计算在商店固定物的外沿与产品之间的距离来检测候选区域。可以在存储单元220中存储以上提到的预定阈值作为商店固定物信息。

参照图3，检测单元120检测候选区域，这些候选区域包括：包含左和右箭头(33)的区域(34)、名称为“糖果b”的产品的区域和名称为“巧克力c”的产品的区域。

在图3中所示的商店固定物的捕获的图像中，假设第一行中的槽的数目是5，第二行中的槽的数目是6，并且第三行中的槽的数目是8。如以上描述的那样，关于这些槽数目的信息被存储在存储单元220中存储作为商店固定物信息。基于指示每个槽应当具有被放置在其中的产品的条件的商店固定物信息的部分，检测单元120检测无法满足条件的任何区域作为在其中识别产品失败已经高可能出现的区域。

如以上描述的那样，图3中的第三行具有八个槽。检测单元已经接收了关于七个产品的信息作为关于第三行的识别结果。这意味着第三行不满足每个槽应当具有被放置在其中的产品的条件。因而，检测单元120检测识别产品失败已经在第三行中的一个产品上出现。检测单元120然后检测在以上提到的候选区域之中的在第三行中的名称为“巧克力c”的产品的区域作为在其中识别产品失败已经高可能地出现的区域。

下文描述图3中的第二行。与在第三行中的区域一样，检测单元120基于每个槽应当具有被放置在其中的产品来检测识别产品失败已经在两个产品上出现。检测单元120确定区域34的宽度和/或高度是否大于第二预定阈值。在区域34的宽度和/或高度大于第二预定阈值时，检测单元120检测该区域作为在其中识别产品失败已经高可能地出现的区域。在这一示例中，假设区域34的宽度和/或高度等于或者小于第二预定阈值。因而，检测单元120确定区域34不是在其中识别产品失败已经出现的区域。

第二预定阈值可以是被陈列在商店固定物中的产品的平均大小或者可以是固定值。固定值的这样的平均大小可以对于每个商店固定物而被设置或者可以对于商店固定物的每行或者列而被设置。第二预定阈值可以被存储在存储单元220中作为商店固定物信息。平均大小可以从识别结果被获得，识检测单元120从识别单元110接收别结果。这允许检测单元120基于在尚未被识别的产品附近放置的产品的大小来检测在其中识别产品失败已经高可能地出现的区域。

检测单元120可以基于候选区域的图像中的特征点的数量是否大于预定值来在候选区域之中检测在其中识别产品失败已经高可能地出现的区域。例如，区域34没有被放置在其中的产品，并且因此具有更少特征点。在另一方面，名称为“糖果b”的产品的区域具有被放置在其中的产品，并且因此具有比无产品的区域更多的特征点。基于这些结果，检测单元120确定区域34不是在其中识别产品失败已经高可能地出现的区域，同时确定名称为“糖果b”的区域是在其中识别产品失败已经高可能地出现的区域。

如以上所见，检测单元120基于以下各项中的至少一项来检测尚未被识别的产品的区域：在已经识别的产品之间的距离；在识别的产品与商店固定物的外沿之间的距离；识别的产品的大小；以及产品尚未在其中被识别的区域中包括的特征点的数目。这使检测单元120能够用较高程度的精确度来检测具有识别产品失败已经出现的高概率的区域。

检测单元120也可以通过使用先前的陈列结果作为商店固定物信息来检测在其中失败产品识别已经高可能地出现的区域。例如，在先前的陈列结果示出图3中所示的所有产品被识别时，检测单元120比较先前的陈列结果与已经由识别单元110输出的识别结果。检测单元120然后检测通过比较而被获得的有差异的区域作为在其中识别产品失败已经高可能地出现的区域。

检测单元120也可以检测通过比较为成像的商店固定物而推荐的x线断层照片信息而获得的有差异的区域作为在其中识别产品失败已经高可能地出现的区域。

检测单元120向识别单元110输出指示在其中识别产品失败已经高可能地出现的检测到的区域的信息作为检测结果。

虽然根据本发明的本示例实施例的图像处理装置200使用捕获的图像，该捕获的图像示出了如图3中所示的在其中在个别行中水平地排列产品的商店固定物，但是产品排列不限于此。例如，图像处理装置200可以使用通过捕获可以在其中竖直地排列产品的商店固定物的图像而被获得的图像。在这一情况下，商店固定物中的行数代表可以在商店固定物中的列中排列的槽的数目。因此，通过捕获这样的商店固定物的图像而被获得的捕获的图像也允许检测单元120检测在其中识别产品失败已经高可能地出现的区域。

此外，检测单元120优选地检测已经被错误地识别的产品的产品图像区域32。下文描述检测单元120如何检测已经被错误地识别的产品。

以下描述如下情况，如作为商店固定物信息的部分而被存储在存储单元220中的用于在商店固定物中陈列的产品的陈列的条件包括相同产品名称的产品应当被串联排列。相同产品名称的产品经常在相同商店固定物中被串联地排列。因此，检测单元120确定无法满足这一条件的任何识别的产品已经被错误地识别。

下文描述如下情况，如作为商店固定物信息的部分而被存储在存储单元220中的用于在商店固定物中陈列的产品的陈列的条件包括应当相互近邻陈列相同类型的产品。相同类型的产品经常在相同商店固定物中被相互近邻地放置。在情况是这样时，优选的是识别结果包括指示产品类型的信息。检测单元120基于被包括在识别结果中的指示产品类型的信息和产品图像区域信息来确定无法满足这一条件的任何识别的产品已经被错误地识别。

也优选的是检测单元120基于比在获得捕获的图像时的时间更早创建的订单信息来确定产品已经被错误地识别。具体而言，检测单元120比较识别的产品与订购(购买)的产品，并且在没有订购任何识别的产品时，检测单元120确定产品已经被错误地识别。

也优选的是检测单元120基于比在获得捕获的图像时的时间更早创建的销售信息确定产品已经被错误地识别。具体而言，检测单元120检查关于识别的产品的销售信息，并且在任何识别的产品是全部销售的产品的部分时，检测单元120确定产品已经被错误地识别。

检测单元120也可以基于任何其它商店固定物信息来确定产品已经被错误地识别。例如，在被包括在先前的陈列结果中的产品显著地不同于识别的产品时(例如，在产品为不同类别时)，检测单元120可以确定产品已经被错误地识别。同样地，在为对于其执行产品识别的商店固定物而推荐的x线断层照片信息与识别的产品显著地不一致时(例如，在产品类别不一致时)，检测单元120可以确定产品已经被错误地识别。检测单元120也可以确定已经错误地识别了被包括在其识别分数小于预定值的接收的识别结果中的任何产品。

检测单元120然后向识别单元110输出指示被确定为已经被错误地识别的产品的产品图像区域32的信息作为检测结果。以这一方式，检测单元120可以检测已经被错误地识别的产品的产品图像区域32。

以下参照图5描述由检测单元120输出的检测结果。图5是用于说明由检测单元120输出的检测结果的示图。

这里假设检测单元120已经检测到代表识别产品失败的基本上矩形的区域，该区域具有由坐标(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)表达的四个拐角。还假设检测单元120已经检测到代表已经错误地识别的产品的产品图像区域32的基本上矩形的区域，该区域具有由坐标(x’1，y’1)、(x’2，y’2)、(x’3，y’3)和(x’4，y’4)表达的四个拐角。然后，检测单元120输出如下检测结果作为如图5中所示的关于识别产品失败的检测结果，该检测结果包括表达尚未被识别的产品的字符串“产品识别失败”和指示在其中已经检测到识别产品失败的区域的信息，即，“产品识别失败，x1，y1，x2，y2，x3，y3，x4，y4”。此外，检测单元120输出如下检测结果作为关于错误识别的检测结果，该检测结果包括表达产品已经被错误地识别的字符串“错误识别”和指示已经被错误地识别的产品的产品图像区域32的信息(位置信息)，即，“错误识别，x’1，y’1，x’2，y’2，x’3，y’3，x’4，y’4”。如图5中所见，单条线包括关于单个检测的区域的信息。

由检测单元120检测的区域可以未必是矩形，而是可以按照任何形状。如被包括在由检测单元120输出的检测结果中的关于区域的信息可以未必是四个拐角的坐标，而是可以是表达由检测单元120检测的区域的任何信息。图5中所示的检测结果仅为示例，并且检测结果不限于所示格式。

以下描述了识别单元110在从检测单元120接收检测结果之后如何基于检测结果来执行对产品的识别。

在从检测单元120接收检测结果时，识别单元110关于在接收的检测结果中指示的区域对捕获的图像再次执行对产品的识别。识别单元110通过基于以下(a)至(c)改变识别参数来执行对产品的识别，该识别参数在产品识别之前被指定。

(a)由识别单元110提供的识别结果(该识别结果包括关于已经由识别单元110识别的产品的信息)；

(b)先前的陈列结果；以及

(c)为x线断层照片信息而推荐的x线断层照片信息。

在产品识别之前指定的前述识别参数可以例如是在用于识别的信息中指示的产品的可能性，该信息被存储在存储单元220中。关于在其中识别产品失败已经出现的区域，识别单元110基于以上列举的(a)至(c)中的至少一项来计算高度地可能尚未识别的产品的可能性。

下文描述了在其中识别单元110例如基于(a)来计算以上提到的可能性计算的情况。例如，参照图3，“巧克力c”尚未在其中被识别的行(即，第三行)具有被陈列在其中的巧克力a、b和d至h。在这一情况下，基于识别结果，识别单元110增加其产品名称与在相同行中陈列的产品的名称相似的产品的可能性，该行具有产品尚未在其中被识别的区域(例如，在这一示例中具有产品名称“巧克力”的产品)。在识别结果包括指示产品的类型的信息时，识别单元110增加与绕着在其中识别产品失败的区域放置的识别的产品相同类型的产品的可能性。

下文例如描述了在其中识别单元110基于(b)来计算以上提到的可能性的情况。在这一情况下，识别单元110增加在先前的陈列结果中包括的和在和/或绕着识别产品失败已经出现于其中的区域放置的产品的可能性。在识别结果包括指示产品的类型的信息时，识别单元110增加被包括在先前的陈列结果中的产品的和与在和/或绕着在其中识别产品失败的区域放置的识别的产品相同类型的产品的可能性。

下文描述了例如其中识别单元110基于(c)来计算以上提到的可能性的情况。在这一情况下，识别单元110增加被包括在推荐的x线断层照片信息中的和在和/或绕着在其中识别产品失败已经出现的区域被放置的产品的可能性。在识别结果包括指示产品的类型的信息时，识别单元110增加被包括在推荐的x线断层照片信息中的和与在和/或绕着在其中识别产品失败已经出现的区域被放置的产品相同类型的可能性。

识别单元110也可以根据对其执行产品识别的区域是否为在其中已经错误地识别了产品的区域或者在其中识别产品失败已经出现的区域来指定以上提到的可能性(识别参数)。例如，在对其执行产品识别的区域是包括已经被错误地识别的产品的产品图像区域32时，识别单元110减少错误地识别的产品的可能性，从而使得该产品将不会再次被识别为错误地识别的产品。

以这一方式，识别单元110可以通过改变识别参数来缩减将用于识别的被存储在存储单元220中的信息。作为结果，识别单元110可以缩短于识别处理的时间段。

基于计算出的可能性，识别单元110对在检测结果中指示的区域执行对产品的识别。作为结果，识别单元110可以减少错误识别。

然后，识别单元110向检测单元120输出识别结果。同时，识别单元110向最后识别结果添加指示已经在其中识别产品失败已经出现的区域中被识别产品的信息。此外，识别单元110从最后识别结果去除指示被确定已经被检测单元120错误地识别的产品的信息，并且向最后识别结果添加指示现在已经在其中曾经确定产品已经被错误地识别的产品图像区域32中识别的产品的信息。作为结果，识别单元110可以输出新识别结果。识别单元110保持向检测单元120输出识别结果，直至识别单元110从检测单元120接收代表没有指示产品识别失败或者错误识别的区域的检测结果。

在从检测单元120接收代表没有指示识别产品失败或者错误识别的区域的检测结果时，识别单元110向存储单元220中存储紧接在接收这一检测结果之前向检测单元120输出的识别结果，作为用于在已经对其执行了产品识别的捕获的图像上的产品的识别结果。识别单元110刚才已经向存储单元220中存储的识别结果充当用于通过捕获相同商店固定物的图像而被获得的后继捕获的图像的、从识别结果看见的先前的陈列结果。因此，识别单元110和检测单元120二者可以基于先前的陈列结果来执行它们的相应处理。

识别单元110可以向存储单元220中存储在从检测单元120接收检测结果预定次数之后被生成的识别结果作为用于捕获的图像的识别结果。识别单元110也可以在向检测单元120发送识别结果时向存储单元220中存储识别结果。

(用于图像处理装置200的操作流程)

现在将参照图6来描述用于图像处理装置200的操作流程。图6是图示了用于根据本示例实施例的图像处理装置200的示例操作流程的流程图。

首先，接收单元210接收捕获的图像(步骤s1)。识别单元110对在步骤s1中由接收单元210接收的捕获的图像执行对产品的识别(步骤s2)。

接着，检测单元120基于商店固定物来检测产品尚未在其中被识别但是产品高度地可能被包括的区域(即，识别产品失败已经出现于其中的区域)(步骤s3)。此外，检测单元120确定已经被识别的但是高度地可能已经错误地识别的产品并且检测产品的产品图像区域32(步骤s4)。备选地，可以同时地或者按照相反顺序执行步骤s3和步骤s4。

然后，识别单元110确认是否已经检测到识别产品失败和/或错误识别的任何区域。具体而言，识别单元110确认从检测单元120接收的检测结果是否指示识别产品失败和/或错误识别的任何区域(步骤s5)。在检测结果指示识别产品失败和/或错误识别的任何区域(在步骤s5中为是)时，识别单元110对在由检测单元120提供的检测结果中指示的区域再次执行对产品的识别(步骤s6)。接着，检测单元120再次执行步骤s3以检测识别产品失败的任何区域。

在检测结果指示没有识别产品失败和/或错误识别的区域(在步骤s5中为否)时，识别单元110向存储单元220中存储识别结果并且从处理退出(步骤s7)。

(效果)

根据本示例实施例的图像处理装置200实现了对具有识别产品失败已经出现的高概率的区域的较高精确度的检测。这是因为检测单元120基于商店固定物信息来检测识别单元110已经从捕获的图像识别失败的产品的区域。

一般而言，在识别处理中，识别阈值被设置并且识别结果基于识别阈值被输出。然而，由识别单元110设置的较低识别阈值将造成错误识别的更高出现率。因此，根据本示例实施例的识别单元110设置识别阈值以便更有效地降低错误识别的出现率。然而一般而言，如果设置较高识别阈值，则高度地可能的是识别产品失败将在更多区域中出现。根据本示例实施例的图像处理装置200使检测单元120能够基于商店固定物来检测别产品失败已经出现于其中的这样的区域。

因此，识别单元110可以通过改变识别参数来仅对识别产品失败已经出现于其中的这样的检测到的区域再次执行对产品的识别。这可以进一步防止识别产品失败和错误识别。

因此，根据本示例实施例的图像处理装置200可以从捕获的图像获得指示x线断层照片信息的较高精确度的信息。

(第三示例实施例)

现在将描述本发明的第三示例实施例。与第二示例实施例一样，第三示例实施例基于以上描述的第一示例实施例。图7是图示了根据本示例实施例的图像处理装置300的示例功能配置的功能框图。为了便于说明，向具有与在前述第一和第二示例实施例中描述的附图中包括的构件的功能相同的功能的构件给予相同标号，并且省略对这些构件的描述。本示例实施例的图像处理装置300除了以上描述的第二示例实施例的图像处理装置200之外还包括显示控制单元和修改单元。

作为开始，以下参照图7来描述包括本示例实施例的图像处理装置300的系统的示例配置。图7是图示了包括根据本示例实施例的图像处理装置300的系统的示例配置的示图。如图7中所示，系统包括图像处理装置300、成像装置400和显示操作装置500。

图像处理装置300被通信地连接到成像装置400。成像装置400捕获陈列的产品的图像。成像装置400然后向图像处理装置300发送它已经捕获的图像(捕获的图像)。成像装置400由例如非固定点相机实施。

显示操作装置500被通信地连接到图像处理装置300。显示操作装置500可以通过网络被连接到图像处理装置300或者可以直接地被连接到图像处理装置300。如图7中所示，显示操作装置500包括显示单元510和输入单元520。

虽然在显示操作装置500和图像处理装置300被配置为相互分离的假设下描述了本示例实施例，但是显示操作装置500可以被形成为被集成到图像处理装置300中。

显示操作装置500可以例如是显示单元510和输入单元520被集成到其中的触摸面板。显示单元510是基于从图像处理装置300发送的信号来在屏幕上显示图形用户界面(gui)等以允许用户执行操作的显示设备。

输入单元520是检测由用户给予的指令的设备。输入单元520检测在屏幕上给予的指令的位置(在屏幕上的坐标)。在显示操作装置500例如是触摸面板的情况下，输入单元520检测由在屏幕上/附近的物体执行的输入操作。输入单元520也检测由用户通过例如操作鼠标等而执行的输入操作。输入单元520向图像处理装置300发送检测结果作为输入操作信号。

下文参照图8来描述图像处理装置300。图8是图示了根据本示例实施例的图像处理装置300的示例功能配置的框图。如图8中所示，图像处理装置300包括识别单元110、检测单元120、接收单元210、显示控制单元310和修改单元320。图像处理装置300可以被配置为还包括存储单元220。

接收单元210接收从成像装置400发送的捕获的图像并且向识别单元110输出图像。

除了被存储在第二示例实施例的存储单元220中的信息之外，存储单元220存储将被显示在显示单元510上的产品图像，产品图像与用于识别产品的图像关联。将被显示在显示单元510上的产品图像可以是作为用于识别产品而必需的信息而被存储的确切产品图像或者可以是代表产品的缩略图图像。

与第二示例实施例的识别单元110一样，识别单元110从已经接收的捕获的图像识别被包括在捕获的图像中的产品。然后，识别单元110向检测单元120输出识别结果。

在从检测单元120接收检测结果时，识别单元110基于检测结果来改变识别参数，并且对在检测结果中指示的区域再次执行对产品的识别。然后，识别单元110向检测单元120输出识别结果。

与第二示例实施例的检测单元120一样，检测单元120检测在其中识别产品失败已经高度可能地出现的区域。与第二示例实施例的检测单元120一样，检测单元120还可以包括用于检测已经被错误地识别的产品的产品图像区域32的功能。

此外，检测单元120确认检测单元120是否已经从识别单元110接收识别结果预定次数。在检测单元120已经接收识别结果预定次数时，检测单元120将检测结果与接收的识别结果一起输出给显示控制单元310。

例如，在预定次数为一的情况下，在接收第一识别结果之后，检测单元120检测识别产品失败的区域或者错误识别，并且然后将检测结果与接收的识别结果和已经对其执行了产品识别的捕获的图像一起输出给显示控制单元310。

显示控制单元310将检测结果与识别结果和捕获的图像一起从检测单元120接收。然后，显示控制单元310在显示单元510上显示代表在检测结果中指示的区域的信息。例如，显示控制单元310通过使用接收的捕获的图像来生成代表在检测结果中指示的区域的图像或者从捕获的图像提取代表区域的图像并且在显示单元510上显示生成或者提取的图像。

此外，显示控制单元310基于以下(1)至(3)中的任一项来确定用于可以存在于前述区域中的产品的候选(以下被称为修改候选)。

(1)先前的陈列结果；

(2)为商店固定物而推荐的x线断层照片信息；以及

(3)已经由识别单元110识别的产品(接收的识别结果)。

例如，显示控制单元310从接收的识别结果标识被放置在绕着在检测结果中指示的区域的区域中的产品。显示控制单元310将被放置在周围区域中的产品确定为修改候选。

接着，显示控制单元310从存储单元220获得示出与确定的修改候选对应的产品的产品图像。显示控制单元310然后在显示单元510上显示可由用户选择的获得的产品图像。

显示控制单元310也可以基于接收的识别结果来计算在产品之间的匹配率(相似度水平)，并且基于匹配率来确定修改候选。例如，显示控制单元310可以计算在被陈列在包括在检测结果中指示的区域的行中的产品的类型之间的匹配率，并且将具有较高匹配率的类型的产品确定为修改候选。在这一情况下，确定的修改候选可以是被包括在识别结果中的产品或者可以是没有被包括在识别结果中但是其信息被存储在存储单元220中的产品。

显示控制单元310也可以基于识别结果和以下各项中的至少一项来确定将作为修改候选而由显示单元510陈列的产品的可能性：指示用于被陈列在商店固定物中的产品的陈列的条件的信息、订单信息和销售信息。显示控制单元310然后可以基于确定的可能性来确定修改候选。

代表用于被陈列在商店固定物中的产品的陈列的条件的前述信息例如包括相同产品名称的产品应当被串联排列的条件和相同类型的产品应当相互近邻地被陈列的条件。

以这一方式，显示控制单元310可以缩减将被显示在显示单元510上的修改候选。

优选的是显示控制单元310按照在前述区域中存在的可能性的降序来在显示单元510上显示修改候选。这允许图像处理装置300以较易于理解的方式从修改候选之中向用户显示高度可能地存在于前述区域中的产品。

显示控制单元310可以基于被放置在与区域较近的距离的产品的产品名称和/或产品类型来确定存在于区域中的可能性的降序。

备选地，显示控制单元310可以基于在用于与区域对应的产品的识别结果中包括的识别分数来确定存在于区域中的可能性的降序。然后，显示控制单元310指令识别单元110对区域再次执行对产品的识别，并且接收用于与区域对应的产品的识别结果。优选的是识别结果将具有存在于区域中的高可能性的多个产品与它们的识别分数包括在一起。然后，显示控制单元310将被包括在识别结果中的多个产品的识别分数的降序确定为存在于区域中的可能性的降序。

接着，显示控制单元310在显示单元510上显示可由用户选择的确定的修改候选。对显示控制单元310在显示单元510上显示的修改候选的数目没有施加具体限制。

在由显示单元510显示的修改候选没有包括用户希望的任何产品时，显示控制单元310可以在显示单元510上显示可由用户选择的产品图像，该产品图像被存储在存储单元220中。在存储单元220没有存储用户希望的任何产品图像时，显示单元510可以基于从输入单元520发送的用户指令来向存储单元220注册产品图像。

显示控制单元310将指示在显示单元510上显示的图像的信息与接收的识别结果一起供应给修改单元320。

修改单元320接收指示由输入单元520检测到的输入操作的输入操作信号。此外，修改单元320从显示控制单元310接收指示显示控制单元310在显示单元510上与识别结果一起显示的图像的信息。然后，修改单元320基于如由接收的输入操作信号指示的对在显示单元510上陈列的产品候选做出的选择的结果来修改识别结果。

在显示控制单元310在显示单元510上显示用于识别产品失败的区域的修改候选的情况下，修改单元320向识别结果添加关于由用户选择的修改候选的信息。在显示控制单元310在显示单元510上显示用于错误地识别的产品的区域的修改候选的情况下，修改单元320从识别结果删除关于由检测单元120确定错误地识别的产品的信息。修改单元320然后向识别结果添加关于由用户选择的修改候选的信息。作为结果，识别单元110可以输出新识别结果(修改的识别结果)。

修改单元320向存储单元220中存储修改的识别结果作为对在其中已经执行了产品识别的捕获的图像的产品识别结果。修改单元320刚才已经向存储单元220中存储的识别结果充当用于通过捕获相同商店固定物的图像而被获得的后继捕获的图像的从识别结果看见的先前的陈列结果。因而，识别单元110、检测单元120和显示控制单元310可以基于先前的陈列结果来执行它们的相应处理。

图9至图11各自是图示了由根据本发明的本示例实施例的图像处理装置300的显示控制单元310在显示单元510上显示的图像的示例的示图。如图9中所示，显示控制单元310在显示单元510上显示指示被包括在捕获的图像中的识别产品失败和/或错误识别的区域的信息。在图9中，识别产品失败和/或错误识别的区域由显示控制单元310示出而无基本上矩形粗框(前述产品图像区域32)。

在用户选择(例如，轻敲)识别产品失败和/或错误识别的任何区域时，输入单元520向图像处理装置300发送指示由用户选择的位置的信息作为输入操作信号。修改单元320基于从输入单元520发送的输入操作信号来标识选择的区域，并且然后向显示控制单元310发送指示区域的信息。基于从修改单元320接收的信息，显示控制单元310在显示单元510上显示已经由用户选择的、识别产品失败和/或错误识别的区域的图像。例如，在用户已经选择了图9中所示的“巧克力c”的区域的情况下，显示控制单元310如在图10的左侧上所示的在显示单元510上显示示出了“巧克力c”的区域的图像。图10的左手示出了待修改的区域，该区域可以在以下被称为修改目标区域。

接着，显示控制单元310如在图10的右侧上所示的在显示单元510上显示用于修改目标区域的修改候选以便可选择。

在用户选择在屏幕上显示的修改候选中的任何修改候选时，修改单元320基于选择结果来修改识别结果。

取代图9中所示的屏幕显示，显示控制单元310可以如图11中所示的在显示单元510上显示仅由识别产品失败和/或错误识别的区域构成的图像。

显示控制单元310也可以在单个屏幕上显示图9和图10中的屏幕或者图11和图10中的屏幕。

(用于图像处理装置300的操作流程)

现在将参照图12来描述用于图像处理装置300的操作流程。图12是图示了用于根据本示例实施例的图像处理装置300的示例操作流程的流程图。

从步骤s11到步骤s14的处理与从步骤s1到s4的用于根据第二示例实施例的图像处理装置200的操作的处理相同，并且因此它们的描述被省略。

在完成步骤s14时，检测单元120确认检测单元120是否已经从识别单元110接收识别结果预定次数(步骤s15)。在检测单元120尚未接收识别结果预定次数(在步骤s15中为否)的情况下，识别单元110对在由检测单元120提供的检测结果中指示的区域执行对产品的识别(步骤s16)。接着，检测单元120再次执行步骤s3以检测识别产品失败的任何区域。

在已经接收识别结果预定次数(在步骤s15中为是)时，显示控制单元310控制显示单元510，从而使得在屏幕上显示修改候选。显示单元510在屏幕上显示修改候选(步骤s17)。

在用户选择被显示在屏幕上的修改候选中的任何修改候选时，修改单元320基于选择结果来修改识别结果(步骤s18)。修改单元320向存储单元220中存储识别结果并且从处理退出(步骤s19)。

(效果)

本示例实施例的图像处理装置300提供与由以上描述的第一示例实施例和第二示例实施例的图像处理装置提供的效果相似的效果。

在其中操作者(用户)将修改识别结果的情况下，用户将面临较繁重的修改工作以便识别较大数目的产品原版。然而，本示例实施例的图像处理装置300允许显示控制单元310在屏幕上可选择地显示可以存在于由检测单元120检测到的区域中的产品的候选。因此，本示例实施例的图像处理装置300可以减少对用户施加的用于修改工作的负担。作为结果，图像处理装置300可以从捕获的图像获得指示x线断层照片信息的较高精确度的信息而没有增加给用户的负担。

虽然以上描述的本示例实施例假设在图像处理装置300中并入了显示控制单元310，但是显示控制单元310可以被实施为从图像处理装置300分离的显示控制装置。显示控制装置在显示单元510的屏幕上显示产品尚未在其中被识别但是产品可以被陈列在其中的区域作为产品尚未在其中被识别的区域，该区域是通过捕获陈列的产品的图像而被获得的捕获的图像的部分。作为结果，显示控制装置可以向用户呈现具有识别产品失败已经出现的高概率的区域。

(硬件配置的示例)

现在将描述可以实施根据以上描述的示例实施例的图像处理装置(100、200和300)中的任何图像处理装置的示例硬件配置。以上描述的图像处理装置(100、200和300)各自可以用专用装置的形式被实施或者可以用计算机被实施。

图13是图示了可以实施本发明的个别示例实施例的计算机(信息处理装置)的硬件配置的示图。

图13中所示的信息处理装置(计算机)10的硬件包括以下构件：

-cpu(中央处理单元)11；

-通信接口(i/f)12；

-输入/输出用户接口13；

-rom(只读存储器)14；

-ram(随机存取存储器)15；

-存储设备17；以及

-用于计算机可读记录介质19的驱动设备18。

这些构件经由总线16相互连接。输入/输出用户接口13是用于输入设备(例如，键盘)和输出设备(例如，显示器)的人机接口。通信接口12是允许根据以上描述的示例实施例的装置(图1、图2和图8)中的每个装置来经由通信网络20与外部设备通信的一般通信装置。在这样的硬件配置中，cpu11负责信息处理装置10的全部操作，信息处理装置10实施根据相应示例实施例的图像处理装置(100、200和300)中的任何图像处理装置。

通过例如向图13中所示的信息处理装置10供应可以实施在以上描述的相应示例实施例中描述的处理的程序(计算机程序)并且然后向cpu11中加载程序并且执行它来实施以上描述的示例实施例中的每个示例实施例。这样的程序可以是如下程序，这些程序可以例如实施在已经参照其而分别描述以上示例实施例的流程图中描述的各种处理或者在图1、图2和图8中的每幅图中图示的框图中的装置中包括的个别单元(块)。

可以在可读和可写非瞬态存储装置存储器(15)中或者在非易失性存储设备(17)(比如硬盘驱动)中存储向信息处理装置10中供应的程序。也就是说，存储设备17中的程序17a可以例如实施在根据以上描述的示例实施例的图像处理装置(100、200和300)中的每个图像处理装置中图示的个别单元的功能。各种存储的信息17b可以例如包括以上描述的相应示例实施例中的捕获的图像、用于识别产品的信息、识别结果、检测结果、存储的固定物信息、销售信息、订单信息和产品图像。注意，当在信息处理装置10上实施程序时，每个个别程序模块的组成单元可以未必对应于被图示在框图(图1、图2和图8)中的个别块的段，而是可以在实施之前由本领域技术人员适当地选择。

此外，在以上描述的情况下，如以下列举的至今广泛地可用的处理可以用来向装置提供程序：

-经由各种计算机记录介质(19)(比如cd(紧致盘)-rom或者闪存设备)向装置中安装程序；以及

-经由通信线路(20)(比如因特网)从外源下载程序。

在这样的情况下，本发明的示例实施例中的每个示例实施例可以被视为由构成计算机程序(程序17a)的代码组成或者由存储这样的代码的记录介质(19)组成。

本发明已经被描述为为其中本发明可以应用于以上描述的示例实施例及其示例的示例。然而，本发明的技术范围不限于在前述相应示例实施例和示例中描述的范围。本领域技术人员清楚的是可，以向这样的示例实施例添加各种修改和改进。如果情况是这样，则可以在本发明的技术范围中包括并入这样的修改或者改进的任何新示例实施例。这从在所附权利要求中的陈述是清楚的。

本申请要求基于将全部公开内容结合于此、提交于2014年10月23日的第2014-216117号日本专利申请的优先权。

标号列表

100图像处理装置

110识别单元

120检测单元

200图像处理装置

210接收单元

220存储单元

300图像处理装置

310显示控制单元(显示控制装置)

320修改单元

400成像装置

500显示操作装置

510显示单元

520输入单元

31产品

32产品图像区域