基于多摄像头的商品识别处理方法和装置与流程

本发明涉及自动零售技术领域，尤其涉及一种基于多摄像头的商品识别处理方法和装置。

背景技术

在零售智能化发展的进程中，无人零售是指没有人工干预结算，当用户对货架上的商品进行诸如取、放操作时，能够正确的检测出用户操作的内容，并自动结算的解决方案。

为了识别用户的操作，通常在货架上安装多个摄像头。通过对多个摄像头采集到的视频或者图像采用图像处理方法进行进一步的检测，确定用户在某一时刻取、放了哪种商品，以及商品的数量。多个摄像头的视角之间往往存在重叠区域。当一个操作发生在重叠区域时，需要对重叠区域内的操作去重，以免造成重复统计。目前，对于单个摄像头采集到的视频或者图像采用图像处理方法识别出不同的商品，基于特征点比对确定不同摄像头视角内的商品是否是同一个。

但是，基于特征点比对的方法确定商品是否为相同商品，计算复杂，而且比对结果存在误差，导致无人零售过程中易出现商品的重复统计。

技术实现要素：

本发明提供一种基于多摄像头的商品识别处理方法和装置，降低了确定不同摄像头相同视野范围内的商品是否为同一商品的复杂度，提高了商品去重统计的准确性。

第一方面，本发明提供一种基于多摄像头的商品识别处理方法，包括：

确定第一摄像头的视野范围和第二摄像头的视野范围之间的像素重叠区域，其中，所述第一摄像头和所述第二摄像头相邻设置于陈列商品的货架上；

通过所述第一摄像头采集到的第一商品的图像确定所述第一商品在所述像素重叠区域中的第一覆盖区域；

通过所述第二摄像头采集到的第二商品的图像确定所述第二商品在所述像素重叠区域中的第二覆盖区域；

根据所述第一覆盖区域和所述第二覆盖区域，确定所述第一商品和所述第二商品是否为同一商品。

第二方面，本发明提供一种基于多摄像头的商品识别处理装置，包括：

第一处理模块，用于确定第一摄像头的视野范围和第二摄像头的视野范围之间的像素重叠区域，其中，所述第一摄像头和所述第二摄像头相邻设置于陈列商品的货架上；

第二处理模块，用于通过所述第一摄像头采集到的第一商品的图像确定所述第一商品在所述像素重叠区域中的第一覆盖区域；

第三处理模块，用于通过所述第二摄像头采集到的第二商品的图像确定所述第二商品在所述像素重叠区域中的第二覆盖区域；

第四处理模块，用于根据所述第一覆盖区域和所述第二覆盖区域，确定所述第一商品和所述第二商品是否为同一商品。

第三方面，本发明提供一种基于多摄像头的商品识别处理设备，包括存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用所述存储器中存储的所述程序指令以实现第一方面的方法。

第四方面，本发明提供一种存储介质，包括可读存储介质和计算机程序，所述计算机程序用于实现第一方面的方法。

本发明提供一种基于多摄像头的商品识别处理方法和装置。通过确定两个相邻的摄像头的视野范围之间的像素重叠区域，确定两个摄像头分别拍摄的商品在像素重叠区域中的覆盖区域，仅根据覆盖区域就可以确定商品是否为同一商品，降低了确定不同摄像头相同视野范围内的商品是否为同一商品的复杂度，提高了商品去重统计的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明涉及的商品零售场景中货架的正视图；

图2为图1中货架的侧视图；

图3为本发明实施例提供的基于多摄像头的商品识别处理方法的流程图；

图4a为本发明实施例提供的摄像头视野范围的示意图；

图4b为本发明实施例提供的商品在摄像头重叠区域的示意图；

图4c为本发明实施例提供的像素重叠区域和子区域的示意图；

图5为本发明实施例提供的基于多摄像头的商品识别处理装置的结构示意图；

图6为本发明实施例提供的基于多摄像头的商品识别处理设备的结构示意图。

具体实施方式

本发明提供的基于多摄像头的商品识别处理方法和装置，可以应用于自动零售场景中。示例性的，图1为本发明涉及的商品零售场景中货架的正视图，图2为图1中货架的侧视图。如图1和图2所示，每层货架100用于放置商品101。每层货架100的外边缘处可以设置有一排摄像头102。所述摄像头102的拍摄角度可以为从货架100的外边缘指向货架100的内部且向下。相邻的两个摄像头102的视野范围存在重叠部分。例如，设置在货架a外边缘处的摄像头c和摄像头d，可以对放置在货架b上的商品进行拍摄。摄像头c和摄像头d的视野范围(参见虚线示出的范围)存在重叠。需要说明的是，本实施例对于摄像头102的数量，相邻的两个摄像头102之间的距离，摄像头102的拍摄方向不做限定。

如图1和图2所示，由于相邻的两个摄像头的视野范围存在重叠，因此，对于重叠区域中的商品需要避免重复统计。本发明提供的基于多摄像头的商品识别处理方法和装置，用于解决现有技术中摄像头视野重复区域中商品重复统计的技术问题。需要说明的是，本发明提供的基于多摄像头的商品识别处理方法和装置，不限定仅应用于图1所示场景，只要针对两个具有重复视野范围的摄像头拍摄的物体是否为同一个物体均适用。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换。

图3为本发明实施例提供的基于多摄像头的商品识别处理方法的流程图。本实施例提供的基于多摄像头的商品识别处理方法，执行主体可以为基于多摄像头的商品识别处理装置。如图3所示，本实施例提供的基于多摄像头的商品识别处理方法，可以包括：

s301、确定第一摄像头的视野范围和第二摄像头的视野范围之间的像素重叠区域。

其中，第一摄像头和第二摄像头相邻设置于陈列商品的货架上。

s302、通过第一摄像头采集到的第一商品的图像确定第一商品在像素重叠区域中的第一覆盖区域。

s303、通过第二摄像头采集到的第二商品的图像确定第二商品在像素重叠区域中的第二覆盖区域。

s304、根据第一覆盖区域和第二覆盖区域，确定第一商品和第二商品是否为同一商品。

具体的，每个摄像头具有一定的视野范围。所述视野范围可以映射到摄像头进行拍摄后获得的图像中。对于货架上相邻设置的第一摄像头和第二摄像头，视野范围存在重叠区域。相似的，所述重叠区域也可以映射到摄像头进行拍摄后获得的图像中。需要说明，对于摄像头的视野范围与拍摄图像之间的映射关系可以采用现有的方法，本实施例不做限定。第一摄像头对货架上的商品进行拍摄可以获得图像。采用视频处理技术可以识别出第一商品，并且确定第一商品在像素重叠区域中的第一覆盖区域。相似的，通过第二摄像头采集到的第二商品的图像可以确定第二商品在像素重叠区域中的第二覆盖区域。根据第一覆盖区域和第二覆盖区域可以确定第一商品和第二商品是否为同一商品。如果第一覆盖区域和第二覆盖区域的重叠度越高，说明第一商品和第二商品在像素重叠区域的重复度越大，第一商品和第二商品为同一商品的可能性越大。相反的，如果第一覆盖区域和第二覆盖区域的重叠度越低，说明第一商品和第二商品为同一商品的可能性越小。

下面结合示例进行详细说明。

图4a为本发明实施例提供的摄像头视野范围的示意图。图4b为本发明实施例提供的商品在摄像头重叠区域的示意图。如图4a所示，第一摄像头和第二摄像头的视野范围建模为梯形。第一摄像头和第二摄像头的视野范围之间具有像素重叠区域(用竖线表示)。如图4b所示，通过第一摄像头采集到的第一商品110的图像确定第一商品110在像素重叠区域中的第一覆盖区域(用左斜线表示)。通过第二摄像头采集到的第二商品120的图像确定第二商品120在像素重叠区域中的第二覆盖区域(用右斜线表示)。在本示例中，第一覆盖区域和第二覆盖区域具有重叠区域(用交叉斜线表示)。可以根据第一覆盖区域和第二覆盖区域，确定第一商品110和第二商品120是否为同一商品。

可见，本实施例提供的基于多摄像头的商品识别处理方法，通过确定两个相邻的摄像头的视野范围之间的像素重叠区域，通过确定两个摄像头分别拍摄的商品在像素重叠区域中的覆盖区域，仅根据覆盖区域就可以确定商品是否为同一商品。相比于现有技术中利用复杂的图像处理技术通过比对特征确定是否为同一商品，本实施例提供的基于多摄像头的商品识别处理方法，降低了计算复杂度，方法简单易行，避免了不同摄像头相同视野范围内商品的重复统计，进而可以在自动零售领域提升商品去重统计的准确性。

需要说明的是，本实施例对于第一摄像头和第二摄像头的视野范围不做限定。例如，根据摄像头的视野(fieldofview，fov)、分辨率等参数，确定摄像头的视野范围。本实施例对于视野范围的模型不做限定，例如，可以为矩形、梯形等。

需要说明的是，本实施例对于s302和s303的执行顺序不做限定。例如，可以顺序执行s302和s303。或者，可以顺序执行s303和s302。或者，可以同时执行s302和s303。

需要说明的是，本实施例对于s302和s303的实现方式不做限定，可以采用现有的图像识别方法或者图像处理方法。

可选的，s101中，确定第一摄像头的视野范围和第二摄像头的视野范围之间的像素重叠区域之后，还可以包括：

对像素重叠区域进行均匀区域划分，得到至少两个子区域，并对每个子区域进行索引标定。

相应的，s302中，通过第一摄像头采集到的第一商品的图像确定第一商品在像素重叠区域中的第一覆盖区域，可以包括：

通过第一摄像头采集到的第一商品的图像确定第一商品在像素重叠区域中所覆盖的子区域的第一索引集合。

s303中，通过第二摄像头采集到的第二商品的图像确定第二商品在像素重叠区域中的第二覆盖区域，可以包括：

通过第二摄像头采集到的第二商品的图像确定第二商品在像素重叠区域中所覆盖的子区域的第二索引集合。

s304中，根据第一覆盖区域和第二覆盖区域，确定第一商品和第二商品是否为同一商品，可以包括：

根据第一索引集合和第二索引集合之间的索引重叠度，确定第一商品和第二商品是否为同一商品。

具体的，通过对像素重叠区域进行均匀区域划分，可以得到多个像素范围更小的子区域，并且对每个子区域进行索引标定。获取第一商品在像素重叠区域中所覆盖的子区域的第一索引集合，获取第二商品在像素重叠区域中所覆盖的子区域的第二索引集合，根据第一索引集合和第二索引集合之间的索引重叠度，确定第一商品和第二商品是否为同一商品。索引重叠度越高，说明第一商品和第二商品在像素重叠区域的重复度越大，第一商品和第二商品为同一商品的可能性越大。相反的，索引重叠度越低，说明第一商品和第二商品为同一商品的可能性越小。

下面通过具体示例进行说明。

例如，对像素重叠区域进行均匀区域划分，得到8个子区域。8个子区域的索引标定分别为0～7。通过第一摄像头采集到的第一商品的图像确定第一商品在像素重叠区域中所覆盖的子区域的第一索引集合可以为{0,1,2,3}，通过第二摄像头采集到的第二商品的图像确定第二商品在像素重叠区域中所覆盖的子区域的第二索引集合可以为{2,3,5}。根据第一索引集合{0,1,2,3}和第二索引集合{2,3,4,5}可以确定第一商品和第二商品是否为同一商品。

需要说明的是，本实施例对于如何对像素重叠区域进行均匀区域划分不做限定。可选的，像素重叠区域中的每个像素单位均作为一个子区域。可选的，每个子区域可以包括n*n个像素，n为大于1的整数。可以理解，子区域中包括的像素越少，子区域的数目越多，确定第一商品和第二商品是否为同一商品的准确性越高。子区域中包括的像素越多，子区域的数目越少，确定第一商品和第二商品是否为同一商品的速度越快。

可选的，对像素重叠区域进行均匀区域划分，得到至少两个子区域，可以包括：

根据货架上所陈列的一类商品的形状和/或大小，对像素重叠区域进行均匀区域划分，得到至少两个子区域。

具体的，货架上摆放商品，通常一类商品摆放在一起，而每一类商品通常具有一定的形状/大小。例如，饮料类商品和方便面类商品会分别集中摆放。饮料类商品的高度较高，底面积较小。方便面类商品的高度较矮，底面积较大。因此，可以根据不同类商品的形状和/或大小，对像素重叠区域进行均匀区域划分得到至少两个子区域。例如，对于饮料类商品，子区域高度方向上的像素数目可以大于宽度方向上的像素数目。对于方便面类商品，子区域的高度和宽度可以包括相同数目的像素。

通过根据商品的形状和/或大小对像素重叠区域进行均匀区域划分，提升了区域划分的灵活性和适应性，进一步提升了确定两个商品是否为同一商品的准确性。

可选的，对像素重叠区域进行均匀区域划分，得到至少两个子区域之前，还可以包括：

将像素重叠区域扩展为包含像素重叠区域的矩形区域。

相应的，对像素重叠区域进行均匀区域划分，得到至少两个子区域，包括：

对矩形区域进行均匀区域划分，得到至少两个子区域。

下面通过示例进行说明。

图4c为本发明实施例提供的像素重叠区域和子区域的示意图。如图4a和图4c所示，像素重叠区域为梯形。可以根据像素重叠区域的下底边将像素重叠区域扩展为包含像素重叠区域的矩形区域。对矩形区域进行均匀区域划分，可以得到8子区域。8个子区域的索引标定分别为0～7。

通过将像素重叠区域扩展为包含像素重叠区域的矩形区域，便于对像素重叠区域进行均匀区域划分，提升了划分效率。

可选的，根据第一索引集合和第二索引集合之间的索引重叠度，确定第一商品和第二商品是否为同一商品，可以包括：

获取第一索引集合和第二索引集合中相同索引标定的数目。

若相同索引标定的数目超过预设数目，则确定第一商品和第二商品为同一商品。

具体的，第一索引集合和第二索引集合中相同索引标定的数目越多，说明第一商品和第二商品在像素重叠区域的重复度越大，第一商品和第二商品为同一商品的可能性越大。如果相同索引标定的数目超过预设数目，则确定第一商品和第二商品为同一商品。

需要说明的是，本实施例对于预设数目的具体取值不做限定。

可选的，根据第一索引集合和第二索引集合之间的索引重叠度，确定第一商品和第二商品是否为同一商品，可以包括：

计算第一索引集合和第二索引集合的交并比。

若交并比超过预设阈值，则确定第一商品和第二商品为同一商品。

具体的，第一索引集合p和第二索引集合q的交并比为iou＝(p∩q)/(p∪q)。iou越大，说明第一商品和第二商品在像素重叠区域的重复度越大，第一商品和第二商品为同一商品的可能性越大。如果iou超过预设阈值，则确定第一商品和第二商品为同一商品。

需要说明的是，本实施例对于预设阈值的具体取值不做限定。

本实施例提供了一种基于多摄像头的商品识别处理方法，包括：确定第一摄像头的视野范围和第二摄像头的视野范围之间的像素重叠区域，通过第一摄像头采集到的第一商品的图像确定第一商品在像素重叠区域中的第一覆盖区域，通过第二摄像头采集到的第二商品的图像确定第二商品在像素重叠区域中的第二覆盖区域，根据第一覆盖区域和第二覆盖区域，确定第一商品和第二商品是否为同一商品。本实施例提供的基于多摄像头的商品识别处理方法，可以确定在相邻的摄像头的重叠视野范围内的不同商品是否为同一商品，降低了计算复杂度，避免了不同摄像头相同视野范围内商品的重复统计，进而可以在自动零售领域提升商品去重统计的准确性。

图5为本发明实施例提供的基于多摄像头的商品识别处理装置的结构示意图。本实施例提供的基于多摄像头的商品识别处理装置，用于执行图3-图4c所示实施例提供的基于多摄像头的商品识别处理方法。如图5所示，本实施例提供的基于多摄像头的商品识别处理装置，可以包括：

第一处理模块11，用于确定第一摄像头的视野范围和第二摄像头的视野范围之间的像素重叠区域，其中，第一摄像头和第二摄像头相邻设置于陈列商品的货架上。

第二处理模块12，用于通过第一摄像头采集到的第一商品的图像确定第一商品在像素重叠区域中的第一覆盖区域。

第三处理模块13，用于通过第二摄像头采集到的第二商品的图像确定第二商品在像素重叠区域中的第二覆盖区域。

第四处理模块14，用于根据第一覆盖区域和第二覆盖区域，确定第一商品和第二商品是否为同一商品。

可选的，还包括划分模块15，划分模块15用于：

对像素重叠区域进行均匀区域划分，得到至少两个子区域，并对每个子区域进行索引标定。

相应的，第二处理模块12具体用于：

通过第一摄像头采集到的第一商品的图像确定第一商品在像素重叠区域中所覆盖的子区域的第一索引集合。

第三处理模块13具体用于：

通过第二摄像头采集到的第二商品的图像确定第二商品在像素重叠区域中所覆盖的子区域的第二索引集合。

第四处理模块14具体用于：

根据第一索引集合和第二索引集合之间的索引重叠度，确定第一商品和第二商品是否为同一商品。

可选的，第四处理模块14具体用于：

计算第一索引集合和第二索引集合的交并比。

若交并比超过预设阈值，则确定第一商品和第二商品为同一商品。

可选的，划分模块15具体用于：

根据货架上所陈列的一类商品的形状和/或大小，对像素重叠区域进行均匀区域划分，得到至少两个子区域。

可选的，还包括扩展模块16，扩展模块16还用于：

将像素重叠区域扩展为包含像素重叠区域的矩形区域。

相应的，划分模块15具体用于：

对矩形区域进行均匀区域划分，得到至少两个子区域。

本实施例提供的基于多摄像头的商品识别处理装置，用于执行图3-图4c所示实施例提供的基于多摄像头的商品识别处理方法，其技术原理和技术效果类似，此处不再赘述。

图6为本发明实施例提供的基于多摄像头的商品识别处理设备的结构示意图。如图6所示，该设备包括处理器21和存储器22，所述存储器22用于存储指令，所述处理器21用于执行所述存储器22中存储的指令，以使所述设备执行图3-图4c所示实施例提供的基于多摄像头的商品识别处理方法，具体实现方式和技术效果类似，这里不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。