货架空置信息确定方法、计算机设备及存储装置与流程

1.本技术涉及监控技术领域，特别是涉及一种货架空置信息确定方法、计算机设备及存储装置。


背景技术：

2.在很多应用场景，都需要使用货架对物品或商品进行陈列，例如超市、店铺、商场等使用货架对物品进行摆放。通常需要根据货架上物品的情况来确定是否需要补货，目前，对货架陈列的物品管理主要依赖于定期由工作人员巡查货架，巡查过程中工作人员进行人工纪录或拍照反馈缺货物品信息。当发现货架空置空间较多时进行补货，此过程需要消耗大量的人力，并且存在延迟补货的现象。


技术实现要素：

3.本技术主要解决的技术问题是提供一种货架空置信息确定方法、计算机设备及存储装置，能够提高目标货架物品空置信息的准确度。
4.为了解决上述问题，本技术第一方面提供了一种货架空置信息确定方法，该方法包括：获取在不同视角对目标货架拍摄得到的至少两张目标图像；基于至少两张目标图像，确定货架的物品货区；基于至少两张目标图像，获取物品货区的第一物品存放深度；利用第一物品存放深度，确定物品货区的空置信息。
5.为了解决上述问题，本技术第二方面提供了一种计算机设备，该计算机设备包括相互耦接的存储器和处理器，存储器中存储有程序数据，处理器用于执行程序数据以实现上述货架空置信息确定方法中的任一步骤。
6.为了解决上述问题，本技术第三方面提供了一种存储装置，该存储装置存储有能够被处理器运行的程序数据，程序数据用于实现上述货架空置信息确定方法中任一步骤。
7.上述方案，通过获取在不同视角对目标货架拍摄得到的至少两张目标图像，并基于目标图像确定货架的物品货区及物品货区的第一物品存放深度，从而利用第一物品存放深度，确定物品货区的空置信息，可以从目标货架上物品货区中物品存放的立体角度进行分析，确定目标货架的空置信息，可以提高目标货架物品空置信息的准确度。
附图说明
8.为了更清楚地说明本技术中的技术方案，下面将对实施例描述中所需要的附图作简单的介绍，显而易见地，下面描述的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
9.图1是本技术货架空置信息确定方法一实施例的流程示意图；
10.图2是本技术图1中步骤s12一实施例的流程示意图；
11.图3是本技术目标图像中预测物品区域一实施例的图例示意图；
12.图4是本技术目标图像中物品货区一实施例的图例示意图；
13.图5是本技术图2中步骤s122一实施例的流程示意图；
14.图6是本技术目标图像中图像块相似度一实施例的图例示意图；
15.图7是本技术图1中步骤s13一实施例的流程示意图；
16.图8是本技术图7中步骤s131一实施例的流程示意图；
17.图9是本技术拍摄装置对目标货架成像一实施例的原理示意图；
18.图10是本技术拍摄装置下第二距离与视差一实施例的关系示意图；
19.图11是本技术拍摄装置的成像平面一实施例的图例示意图；
20.图12是本技术图1中步骤s14一实施例的流程示意图；
21.图13是本技术货架空置信息确定装置一实施例的结构示意图；
22.图14是本技术电子设备一实施例的结构示意图；
23.图15是本技术存储装置一实施例的结构示意图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.本技术中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
27.通过本技术发明人长期研究发现，随着计算机智能视觉的兴起与应用，可以安装摄像头拍摄货架，摄像头采集货架图像后，利用图像检测识别技术判断货架物品信息及其空置信息。目前，该方式只能分析出物品货架外立面的空缺情况，并且确定物品获取需要依赖于物品标签，但实际上，并不是每个货区都会设置物品标签，同时，某些货区的物品可能与物品标签并不匹配，使得无法准确地判断货架物品的空置信息。
28.为了解决上述问题，本技术提供以下实施例，下面对各实施例进行具体说明。
29.请参阅图1，图1是本技术货架空置信息确定方法一实施例的流程示意图。该方法可以包括以下步骤：
30.s11：获取在不同视角对目标货架拍摄得到的至少两张目标图像。
31.在超市、商场、商铺、自动货柜机、仓库等场景中，可以用货架对各物品进行陈列，需要确定这些场景的货架中各物品货区的物品空置信息，可便于确定物品是否缺货，从而
及时补充缺货物品，其中，物品可以是进行售卖的物品。当然，本技术的应用场景不限于上述场景。
32.可以在目标货架的不同视角的位置安装拍摄装置，以利用拍摄装置在不同视角对目标货架拍摄得到至少两张目标图像，其中，至少两张目标图像可以分别是在左视角、右视角对目标货架拍摄得到的左视图、右视图。本技术以至少两张目标图像为左视图、右视图为例进行说明，本技术不限于此。
33.s12：基于至少两张目标图像，确定货架的物品货区。
34.货架的物品货区可以表示在货架中用于存放特定物品的空间，通常，一个物品货区中的物品相同且陈列空间位置靠近。例如在物品货区1存放物品a，物品货区2存放物品b等。
35.其中，可以利用至少两张目标图像中的部分目标图像，确定货架的物品货区。例如可以利用至少两张目标图像中的任一张目标图像，例如可以利用左视图或右视图对图像中的物品区域进行分割，以确定目标货架的物品货区。另外，在确定左视图中目标货架的物品货区后，还可以采用对右视图中的物品区域进行分割。
36.s13：基于至少两张目标图像，获取物品货区的第一物品存放深度。
37.基于至少两张目标图像，其中，至少两张目标图像中可以包括左视图和右视图，可以计算左视图与右视图的视差，从而利用视差获取物品货区的第一物品的存放深度。
38.s14：利用第一物品存放深度，确定物品货区的空置信息。
39.货架具有存放物品的存放深度，通常是从货架的外层向内依次取物品，当货架上的物品减少或缺货时，货架上物品的存放深度会减小。利用物品货区的第一物品存放深度，可以确定物品货区的空置信息。其中，空置信息可以表示物品货区中物品的空置情况，空置信息可以是物品的空置率表示。
40.本实施例中，通过获取在不同视角对目标货架拍摄得到的至少两张目标图像，并基于目标图像确定货架的物品货区及物品货区的第一物品存放深度，从而利用物品货区的第一物品存放深度，确定物品货区的空置信息，可以从目标货架上物品货区中物品存放的立体角度进行分析，确定目标货架的空置信息，可以提高目标货架物品空置信息的准确度。
41.在一些实施中，请参阅图2，上述步骤s12可以包括以下步骤：
42.s121：对第一目标图像中的目标货架进行分层，得到若干物品层区。
43.第一目标图像为至少两张目标图像中的目标图像，也即是至少两张目标图像可以包括第一目标图像，若至少两张目标图像包括对货架拍摄的左视图和右视图，可以将左视图或右视图作为第一目标图像。本技术以右视图作为第一目标图像为例进行说明，本技术不限于此。对第一目标图像中的目标货架中的物品区域进行分割，以对第一目标图像中的目标货架进行分层，得到若干物品层区。
44.具体地，获取第一目标图像中各第一像素的属性信息，其中，第一像素的属性信息表示第一像素是否属于物品，例如第一像素的属性信息可以是各第一像素的掩膜。
45.对第一目标图像进行物品区域分割，得到第一目标图像中的预测物品区域。可以利用预先训练好的分割模型对第一目标图像进行物品区域分割，分割得到第一目标图像中的预测物品区域。其中，分割模型可以是基于深度神经网络的模型。此外，可以提取预测物品区域的外接轮廓，轮廓内的像素区域可以作为预测物品区域。
46.将预测物品区域内的第一像素的属性信息确定为表示属于物品的第一属性，也即是物品的第一属性对应第一目标图像中预测物品区域；将预测物品区域外的第一像素的属性信息确定为表示不属于物品的第二属性，也即是物品的第二属性对应第一目标图像中的预测物品区域外的区域，例如对应第一目标图像中的背景。对宽度为w、高度为h的第一目标图像分割出第一像素的属性信息，可以用如下方式对第一像素的属性信息进行表示：
[0047][0048]
其中，s
i,j
表示第一像素的属性信息，例如第一像素的属性信息为第一像素的掩膜；数字1表示属于物品的第一属性；数字0表示不属于物品的第二属性。
[0049]
获取第一目标图像中各第一像素的第一属性信息，以基于各第一像素的第一属性信息，确定若干物品层区。具体地，基于各第一像素的属性信息，统计第一目标图像中各行属于物品的第一像素的数量占比，基于各行对应的数量占比，确定各行是否为物品行。其中，第j行的属于物品的第一像素的数量占比可以表示为：若属于物品的第一像素的数量占比大于预设占比阈值，则确定为物品行；否则，则确定为非物品行，例如为标签行。可以利用连续的多行物品行，组成物品层区。从而对货架进行分层。另外，也可以利用确定的非物品行，也即是标签行，利用连续的多行标签行组成标签层区，利用标签层区及上下与物品行的边界行，对货架进行分层，以得到标签层区、物品层区。
[0050]
请参阅图3，图3是本技术目标图像中预测物品区域一实施例的图例示意图。第一目标图像100中的目标货架上可以陈列不同的物品，例如物品a、物品b、
…
、物品i等。可以对第一目标图像100中的目标货架进行分层，可以分别得到3层的物品层区101，另外，还可以对目标货架进行分层，分别得到3层的标签层区102。
[0051]
s122：基于第一目标图像中若干物品层区中各个物品层区的特征，确定各个物品层区的物品货区。
[0052]
基于第一目标图像中若干物品层区中各个物品层区的特征，对每个物品层区的物品进行不同物品区域的划分，将不同的物品所属的区域划分为一个物品货区，从而确定各个物品层区的物品货区。
[0053]
请参阅图4，图4是本技术目标图像中物品货区一实施例的图例示意图。可以将第一目标图像100中每个物品层区101陈列的不同物品进行区域划分，例如物品层区101陈列物品a、物品b和物品c，则可以基于物品层区101中物品a、物品b和物品c区域中像素的特征，将物品层区101分别划分为物品a、物品b和物品c的物品货区103。基于此，基于每层物品层区101的特征，分别对每层物品层区划分物品货区103，从而，确定各物品层区的物品货区103。
[0054]
在一些实施中，请参阅图5，上述步骤s122可以包括以下步骤：
[0055]
s1221：沿着各个物品层区的预设排列方向，将第一目标图像中的各个物品层区划分为若干图像块。
[0056]
沿着各个物品层区的预设排列方向，将第一目标图像中的各个物品层区划分为若干图像块。例如可以将一个物品层区横向划分为多个物品货区，则可以将第一目标图像中
的此单个物品层区的图像横向均分为若干图像块。例如物品层区的排列方向为纵向，则也可以将第一目标图像的物品层区的纵向划分为若干各图像块。可以根据具体应用场景预先设置图像块的大小，本技术对划分的图像块的大小不做限制。
[0057]
s1222：对于每个图像块，获取图像块与图像块的参考区域之间的第一特征相似度，其中，图像块的参考区域为物品层区中与图像块存在预设位置关系的区域。
[0058]
其中，图像块的参考区域为物品层区中与图像块存在预设位置关系的区域，预设位置关系可以是水平方向在图像块之前。图像块的参考区域为在图像块预设方向且与图像块最近的预设数量个其他图像块所在的区域。例如图像块的参考区域可以为水平方向上在图像块之前且与图像块最近的预设数量个其他图像块所在的区域。可以根据具体应用场景预先设置预设数量的数值，本技术对划分的预设数量不做限制。
[0059]
对于每个图像块，获取每个图像块的特征值，其中，可以将每个图像块的像素值作为特征值，从而获取图像块分别与预设数量个其他图像块之间的第二特征相似度。其中，第二特征相似度的可以用下述公式表达：
[0060][0061]
其中，p
j
表示第j个图像块的第二特征相似度；f
j
表示第j个图像块的特征值；f
x
表示预设数量t个图像块中的任一个图像块。
[0062]
将第二特征相似度的预设统计参数，作为图像块的第一特征相似度。其中，预设统计参数可以是平均值、最大值等，本技术以预设统计参数为平均值为例进行说明，本技术对此不做限制。可以用下述公式对第一特征相似度进行表示：
[0063][0064]
其中，表示第j个图像块的第一特征相似度；f
j
表示第j个图像块的特征值；f
x
表示预设数量t个图像块中的任一个图像块。
[0065]
请参阅图6，图6是本技术目标图像中图像块相似度一实施例的图例示意图。分别将第一目标图像中的物品层区划分为若干图像块。对于每个图像块，获取图像块与图像块的参考区域之间的第一特征相似度。例如在包括物品a、物品b、物品c的物品层区中，或包括物品d、物品e、物品f的物品层区中，可以通过将物品层区划分为若干个图像块，从而得到每个图像块与图像块的参考区域之间的第一特征相似度。
[0066]
s1223：基于每个图像块对应的第一特征相似度，将各个物品层区划分为至少一个物品货区。
[0067]
基于获取每个图像块对应的第一特征相似度，可以将物品层区划分为至少一个物品货区。具体地，基于相邻图像块之间的第一特征相似度的变化，确定各个物品层区中不同物品货区之间的分界处。其中，可以根据相邻图像块之间第一特征相似度的变化，确定相似度的突变点，若突变点在预设步长内的突变量大于预设突变阈值，则可以将突变点作为物品层区中不同物品的分界处，也即是确定为物品层区中不同物品货区之间的分界处，从分界处可以将物品层区划分为左右两个物品货区。若未存在分界处，可将物品层区划分为一
个物品货区。
[0068]
本实施例中，通过对物品所在的区域分割物品层区，并基于物品层区中每个图像块的与图像块的参考区域之间的第一特征相似度，将物品层区划分为至少一个物品货区，使得可以不依赖于物品标签，通过图像块的相似度划分物品区域，使得对目标货架中物品货区的划分更准确。
[0069]
在一些实施中，请参阅图7，上述步骤s13可以包括以下步骤：
[0070]
s131：基于至少两张目标图像，确定目标货架的拍摄深度。
[0071]
获得拍摄装置在不同视角对目标货架拍摄得到的至少两张目标图像后，可以基于至少两张目标图像之间的拍摄视角关系等，确定目标货架的拍摄深度。
[0072]
在一些实施中，请参阅图8，上述步骤s131可以包括以下步骤：
[0073]
s1311：将至少两张目标图像进行图像配准，并获取经配准的至少两张目标图像之间的视差。
[0074]
将至少两张目标图像进行图像配准，例如将左视图和右视图进行图像配准，可以将左视图与右视图调整到同一平面，获取经配准的左视图与右视图之间的视差。
[0075]
具体地，可以分别获取两张目标图像的显著性特征以及获取特征描述子。其中，可以采用角点、局部极值点等作为两张目标图中的显著的特征点，从而采用orb(oriented fast and rotated brief，特征提取算法)方法分别获取两张目标图像的显著性特征以及获取特征描述子。对两张目标图像的特征描述子进行匹配，以获取匹配的特征点对集合。并采用ransac(random sample consensus，随机抽样一致算法)算法计算两张目标之间的转换矩阵，从而根据转换矩阵将左视图与右视图调整到同一平面，例如可以根据转换矩阵将左视图调整到与右视图同一平面。
[0076]
将两张目标图像调整到同一平面后，可以获取两张图像中相同点的距离，也即是计算视差，其中，相同点可以是匹配的特征点对集合中的特征点。例如可以通过逐窗口滑动计算右视图在左视图调整后的图的对应匹配点，计算视差。其中，可以采用双目视觉匹配中的sgbm(semi
‑
global block matching，半全局匹配)算法获得两张目标图像的视差图，视差图中视差值的空洞区域可以用均值滤波进行填充。
[0077]
s1312：基于视差，确定目标货架的各空间点对应的第二距离，其中，第二距离为空间点到至少两个拍摄装置的连线之间的垂直距离。
[0078]
以一拍摄装置为目标拍摄装置，利用第三距离和目标拍摄装置的焦距，确定空间点对应的第二距离所在直线与拍摄深度所在直线之间的夹角，其中，第三距离为目标拍摄装置的成像中心与垂直交点之间的距离，垂直交点为经过目标拍摄装置的第一直线与目标摄像装置的成像平面之间的交点，第一直线平行于第二距离所在的直线；利用空间点对应的视差、夹角、目标拍摄装置的焦距以及至少两个拍摄装置之间的第四距离，得到空间点对应的第二距离。
[0079]
例如，请参阅图9至图11，可以将两个拍摄装置安装在平行于目标货架的同一平面，同一高度，两个拍摄装置的安装距离为l，也即是两个拍摄装置之间的第四距离为l。两个拍摄装置的焦距相同，且焦距同为f0，安装角度即拍摄装置的相机视角相对于水平面的夹角为θ0，目标货架与拍摄装置之间的第一距离为d0，目标货架的的深度为d
shelf
。物体p在拍摄装置1的成像平面上的成像点为p1，成像平面上的成像中心为o，其中，过成像中心o与
拍摄装置1连接的直线垂直成像平面，也即是拍摄装置1到成像中点的距离为f0。物体p在拍摄装置2的成像平面上的成像点为p2。
[0080]
以一拍摄装置为目标拍摄装置，本实施例以将拍摄装置1作为目标拍摄装置为例进行说明，本技术不限于此。第三距离δh为拍摄装置1的成像中心o与垂直交点o1之间的距离，其中，垂直交点o1为经过拍摄装置1的第一直线d1′
与摄像装置1的成像平面之间的交点，第一直线d1′
平行于第二距离d
′
所在的直线，在本实施例中，第一直线d1′
与第二距离d
′
所在的直线重合。(d1′
)
[0081]
在一些实施例中，可以将物品或商品所在的点作为空间点p，空间点p在拍摄装置1上成像点p1到成像平面的垂直中心线oo1的距离为l
left
，空间点在拍摄装置2上成像点p2到成像平面的垂直中心线oo2的距离为l
right
。其中，空间点p在两个摄像装置拍摄的目标图像中的视差可以表示为|l
left
‑
l
right
|。
[0082]
请参阅图10，基于三角形性质，可以得到以下对应的关系：
[0083][0084]
其中，f1表示垂直交点o1到拍摄装置1的相距或垂直交点o2到拍摄装置2的相距；l1表示物体p到对应拍摄装置1的第二距离d
′
所在的直线的距离；l2表示物体p到对应拍摄装置2的第二距离d
′
所在的直线的距离，o1′
表示l1所在直线与第二距离d
′
所在的直线的交点；l表示拍摄装置1与拍摄装置2之间的第四距离。
[0085]
联立上述公式(4)，可以得到物体p到拍摄装置1或拍摄装置2的连线之间的垂直距离，即空间点对应的第二距离d
′
为：
[0086][0087]
请参阅图11，第三距离为δh，拍摄装置1的焦距为f0，成像中心o、垂直交点o1与拍摄装置1之间的夹角表示为θ1，由勾股定理可以得到：
[0088][0089]
将公式(6)代入上述公式(5)，可以得到空间点p对应的第二距离d
′
为：
[0090][0091]
s1313：基于目标货架的各空间点对应的第二距离，确定目标货架的各空间点对应的拍摄深度。
[0092]
请参阅图9至图11，利用第三距离δh和目标拍摄装置的焦距f0，确定空间点p对应的第二距离d
′
所在直线与拍摄深度d所在直线之间的夹角θ，其中，可用o1′
o1″
连接的直线表示拍摄深度d。由三角形性质可以得到夹角θ可以用夹角θ0与夹角θ1的求和表示。利用空间点p对应的第二距离d
′
以及夹角θ，可以确定空间点p对应的拍摄深度d为：
[0093][0094]
在一些实施例中，当目标拍摄装置处于平视时，也即是目标拍摄装置拍摄角度处于水平线时，夹角θ0为0，此时，可以空间点p对应的拍摄深度d为：
[0095][0096]
s132：利用目标货架与至少两张目标图像的拍摄装置之间的第一距离、目标货架的深度和拍摄深度，确定物品货区的第一物品存放深度。
[0097]
在一些实施例中，对于目标货架的各空间点对应的拍摄深度，将大于第五距离的拍摄深度调整为第五距离，以及将小于第一距离的拍摄深度调整为第一距离，其中，第五距离为第一距离与目标货架的深度之和。例如可以对目标货架的拍摄深度进行规范化，其中，可以用下述公式对目标货架的各空间点对应的拍摄深度进行调整：
[0098]
d＝max(min(d
t
,d),d0)
ꢀꢀ
(9)
[0099]
其中，d表示目标货架的各空间点对应的拍摄深度，d0表示第一距离；d
t
表示第五距离，也即是为第一距离d0与目标货架的深度d
shelf
之和。
[0100]
对于目标货架的各空间点，将第五距离d
t
与空间点的拍摄深度d之间的差值，作为空间点对应的第一物品存放深度d
goods
，其第一物品存放深度d
goods
可以用下述公式表示：
[0101]
d
goods
＝d
t
‑
d
ꢀꢀ
(10)
[0102]
其中，基于上述公式(1)至公式(9)，得到第一物品存放深度d
goods
可以表示为：
[0103][0104]
基于上述计算方式，利用目标货架与至少两张目标图像的拍摄装置之间的第一距离、目标货架的深度和拍摄深度，可以确定物品货区的各空间点对应的第一物品存放深度。
[0105]
在本实施例中，通过对目标货架上第一物品的拍摄深度，结合图像块的相似度对目标货架中物品货区，从立体角度对目标货架的空置信息进行分析，可以提高对目标货架的空置信息计算的准确性；另外，对于具有多层多排的物品的目标货架，本技术也可以提高对目标货架的空置信息计算的准确性。
[0106]
在一些实施中，请参阅图12，上述步骤s14可以包括以下步骤：
[0107]
s141：利用物品货区中的各空间点对应的第一物品存放深度，得到物品货区的当前总体存放深度。
[0108]
对于物品货区的各空间点，将空间点的第一物品存放深度与各目标图像中空间点对应的第二像素的属性信息进行第一运算，得到空间点对应的第二物品存放深度，其中，第二像素的属性信息表示第二像素是否属于物品。其中，第一运算可以是乘积运算。统计物品
货区的各空间点对应的第二物品存放深度，得到物品货区的当前总体存放深度。
[0109]
s142：利用物品货区的当前总体存放深度，确定物品货区的空置信息。
[0110]
对于物品货区的各空间点，将目标货架的深度与其中一目标图像中空间点对应的第二像素的属性信息进行第二运算，得到空间点对应的最大存放深度。其中，第二运算可以是乘积运算。统计物品货区的各空间点对应的最大存放深度，得到物品货区的最大总体存放深度。利用当前总体存放深度与最大总体存放深度之间的比值，得到物品货区的空置信息。其中，物品货区的空置信息可以为物品货区物品的空置率，空置率可以用下述公式表示：
[0111][0112]
其中，r
k
表示第k个物品货区中物品的空置率；s
i,j
、分别表示两张目标图像中空间点对应的第二像素的属性信息，其中，属性信息例如是第二像素的掩膜；表示物品货区中位于空间点i，j对应的第一物品存放深度，表示物品货区中位于空间点i，j对应的目标货架的深度。其中，可以表示物品货区的当前总体存放深度；可以表示物品货区的最大总体存放深度。
[0113]
对于上述实施例，本技术提供一种货架空置信息确定装置，请参阅图13，图13是本技术货架空置信息确定装置一实施例的结构示意图。该货架空置信息确定装置200包括拍摄模块201、货区获取模块202、深度获取模块203、空置信息确定模块204。
[0114]
拍摄模块201用于获取在不同视角对目标货架拍摄得到的至少两张目标图像。
[0115]
货区获取模块202用于基于至少两张目标图像，确定货架的物品货区。
[0116]
深度获取模块203用于基于至少两张目标图像，获取物品货区的第一物品存放深度；
[0117]
空置信息确定模块204用于利用第一物品存放深度，确定物品货区的空置信息。
[0118]
在一些实施例中，第一目标图像为至少两张目标图像中的目标图像，货区获取模块202用于基于至少两张目标图像，确定货架的物品货区，包括：对第一目标图像中的目标货架进行分层，得到若干物品层区；基于第一目标图像中若干物品层区中各个物品层区的特征，确定各个物品层区的物品货区。
[0119]
其中，基于第一目标图像中若干物品层区中各个物品层区的特征，确定各个物品层区的物品货区，包括：沿着各个物品层区的预设排列方向，将第一目标图像中的各个物品层区划分为若干图像块；对于每个图像块，获取图像块与图像块的参考区域之间的第一特征相似度，其中，图像块的参考区域为物品层区中与图像块存在预设位置关系的区域；基于每个图像块对应的第一特征相似度，将各个物品层区划分为至少一个物品货区。可选地，图像块的参考区域为在图像块预设方向且与图像块最近的预设数量个其他图像块所在的区
域。
[0120]
可选地，获取图像块与图像块的参考区域之间的第一特征相似度，包括：获取图像块分别与预设数量个其他图像块之间的第二特征相似度；将第二特征相似度的预设统计参数，作为图像块的第一特征相似度；
[0121]
可选地，基于第一特征相似度，将各个物品层区划分为至少一个物品货区，包括：基于相邻图像块之间的第一特征相似度的变化，确定各个物品层区中不同物品货区之间的分界处。
[0122]
其中，对第一目标图像中的目标货架进行分层，得到若干物品层区，包括：获取第一目标图像中各第一像素的属性信息，其中，第一像素的属性信息表示第一像素是否属于物品；基于各第一像素的第一属性信息，确定若干物品层区。具体地，对第一目标图像进行区域分割，得到第一目标图像中的预测物品区域；将预测物品区域内的第一像素的属性信息确定为表示属于物品的第一属性，将预测物品区域外的第一像素的属性信息确定为表示不属于物品的第二属性；基于各第一像素的属性信息，统计第一目标图像中各行属于物品的第一像素的数量占比；基于各行对应的数量占比，确定各行是否为物品行；利用连续的多行物品行，组成物品层区。
[0123]
在一些实施例中，深度获取模块203用于基于至少两张目标图像，获取物品货区的第一物品存放深度包括：基于至少两张目标图像，确定目标货架的拍摄深度；利用目标货架与至少两张目标图像的拍摄装置之间的第一距离、目标货架的深度和拍摄深度，确定物品货区的第一物品存放深度。
[0124]
可选地，基于至少两张目标图像，确定目标货架的拍摄深度，包括：将至少两张目标图像进行图像配准，并获取经配准的至少两张目标图像之间的视差；基于视差，确定目标货架的各空间点对应的第二距离，其中，第二距离为空间点到至少两个拍摄装置的连线之间的垂直距离；基于目标货架的各空间点对应的第二距离，对应确定目标货架的各空间点对应的拍摄深度。
[0125]
具体地，以一拍摄装置为目标拍摄装置；利用第三距离和目标拍摄装置的焦距，确定空间点对应的第二距离所在直线与拍摄深度所在直线之间的夹角，其中，第三距离为目标拍摄装置的成像中心与垂直交点之间的距离，垂直交点为经过目标拍摄装置的第一直线与目标摄像装置的成像平面之间的交点，第一直线平行于第二距离所在的直线；利用空间点对应的视差、夹角、目标拍摄装置的焦距以及至少两个拍摄装置之间的第四距离，得到空间点对应的第二距离。利用空间点对应的第二距离以及夹角，确定空间点对应的拍摄深度。
[0126]
在一些实施例中，深度获取模块203还用于对于目标货架的各空间点对应的拍摄深度，将大于第五距离的拍摄深度调整为第五距离，将小于第一距离的拍摄深度调整为第一距离，其中，第五距离为第一距离与目标货架的深度之和。对于目标货架的各空间点，将第五距离与空间点的拍摄深度之间的差值，作为空间点对应的第一物品存放深度。
[0127]
在一些实施例中，空置信息确定模块204用于利用第一物品存放深度，确定物品货区的空置信息，包括：利用物品货区中的各空间点对应的第一物品存放深度，得到物品货区的当前总体存放深度；利用物品货区的当前总体存放深度，确定物品货区的空置信息。
[0128]
具体地，对于物品货区的各空间点，将空间点的第一物品存放深度与各目标图像中空间点对应的第二像素的属性信息进行第一运算，得到空间点对应的第二物品存放深
度，其中，第二像素的属性信息表示第二像素是否属于物品；统计物品货区的各空间点对应的第二物品存放深度，得到物品货区的当前总体存放深度。
[0129]
对于物品货区的各空间点，将目标货架的深度与其中一目标图像中空间点对应的第二像素的属性信息进行第二运算，得到空间点对应的最大存放深度；统计物品货区的各空间点对应的最大存放深度，得到物品货区的最大总体存放深度；利用当前总体存放深度与最大总体存放深度之间的比值，得到物品货区的空置信息。
[0130]
该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。
[0131]
对于上述实施例，本技术提供一种计算机设备，请参阅图14，图14是本技术计算机设备一实施例的结构示意图。该计算机设备300包括存储器301和处理器302，其中，存储器301和处理器302相互耦接，存储器301中存储有程序数据，处理器302用于执行程序数据以实现上述方法任一实施例中的步骤。
[0132]
在本实施例中，处理器302还可以称为cpu(central processing unit，中央处理单元)。处理器302可能是一种集成电路芯片，具有信号的处理能力。处理器302还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等。
[0133]
该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。
[0134]
对于上述实施例的方法，其可以采用计算机程序的形式实现，因而本技术提出一种存储装置，请参阅图15，图15是本技术存储装置一实施例的结构示意图。该存储装置400中存储有能够被处理器运行的程序数据401，程序数据可被处理器执行以实现上述方法任一实施例的步骤。
[0135]
该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。
[0136]
本实施例存储装置400可以是u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等可以存储程序数据的介质，或者也可以为存储有该程序数据的服务器，该服务器可将存储的程序数据发送给其他设备运行，或者也可以自运行该存储的程序数据。
[0137]
在本技术所提供的几个实施例中，应该理解的，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0138]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0139]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0140]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储装置中，该存储装置是一种计算机可读取存储介质。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。
[0141]
显然，本领域的技术人员应该明白，上述的本技术的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术不限制于任何特定的硬件和软件结合。
[0142]
以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。