容积测量方法、装置、系统和计算机可读存储介质与流程

1.本发明涉及物流技术领域，特别涉及一种容积测量方法、装置、系统和计算机可读存储介质。


背景技术：

2.基于三维(3d)信息的体积测量在物流场景中有很多应用，比如装车、装箱优化，以及车厢容积率评测等。基于3d的深度相机有许多成熟的产品。综合考虑设备的性价比、视场范围、观测精度，基于3d的深度相机非常适合月台场景下货运卡车车厢容积量测估算的规模化应用。


技术实现要素：

3.目前，基于深度相机所进行的容积测量存在测量结果不准确的问题。
4.本发明实施例所要解决的一个技术问题是：如何提高容积估计的准确性。
5.根据本发明一些实施例的第一个方面，提供一种容积测量方法，包括：根据摄像机与容器的底部之间距离的最大值，确定基准深度，其中，容器的底部与容器入口相对，摄像机的拍摄方向朝向底部，基准深度大于或等于最大值；在容器的入口的外接区域内，对基准深度进行积分，获得初始参考容积；在容器装载货物后，获取摄像机拍摄的深度图；根据深度图中货物区域的深度、以及外接区域中非货物区域和基准深度，确定当前参考容积；根据初始参考容积和当前参考容积之差，确定货物的占用容积；根据货物的占用容积，确定容器的可用容积。
6.在一些实施例中，根据深度图中货物区域的深度、以及外接区域中非货物区域和基准深度，确定当前参考容积包括：根据深度图中货物区域的深度，确定第一体积；根据在外接区域中的非货物区域和基准深度，确定第二体积；将第一体积和第二体积之和，确定为当前参考容积。
7.在一些实施例中，容积测量方法还包括：在外接区域中，确定容器的底部区域和侧壁区域；并且根据在外接区域中的非货物区域和基准深度，确定第二体积包括：在容器的侧壁未被货物遮挡的情况下，在外接区域中的非货物区域对基准深度进行积分，以确定第二体积；在容器的侧壁被货物遮挡的情况下，在底部区域中的非货物区域、以及侧壁区域对基准深度进行积分，以确定第二体积。
8.在一些实施例中，根据深度图中货物区域的深度，确定第一体积包括：判断当前是否符合投影误差条件；如果不符合，在货物区域对深度进行积分，获得第一体积；如果符合，对货物区域进行校正，并在校正的货物区域对深度进行积分，获得第一体积。
9.在一些实施例中，判断当前是否符合投影误差条件包括：确定深度图中所包括的货物的表面；在货物正面与相机的距离沿着远离摄像机的中轴线的方向上减小、并且货物的侧面位于正面的靠近中轴线的方向情况下，确定当前符合投影误差条件。
10.在一些实施例中，对货物区域进行校正包括：根据正面和侧面，对位于侧面对侧的
隐藏面所在区域和深度进行还原；使用正面和隐藏面所在的区域作为校正的货物区域。
11.在一些实施例中，确定深度图中所包括的货物的表面包括：将深度图的货物区域中，深度的变化值小于预设值的区域确定为货物的正面，将深度的变化值不小于预设值的区域确定为货物的侧面。
12.在一些实施例中，容积测量方法还包括：在容器空置的情况下，获取摄像机拍摄的深度图；在容器的入口的外接区域内，检测最大的深度值，作为摄像机与容器的底部之间距离的最大值。
13.在一些实施例中，摄像机为3d摄像机。
14.在一些实施例中，容器为车厢。
15.根据本发明一些实施例的第二个方面，提供一种容积测量装置，包括：基准深度确定模块，被配置为根据摄像机与容器的底部之间距离的最大值，确定基准深度，其中，容器的底部与容器入口相对，摄像机的拍摄方向朝向底部，基准深度大于或等于最大值；初始参考容积确定模块，被配置为在容器的入口的外接区域内，对基准深度进行积分，获得初始参考容积；深度图获取模块，被配置为在容器装载货物后，获取摄像机拍摄的深度图；当前参考容积确定模块，被配置为根据深度图中货物区域的深度、以及外接区域中非货物区域和基准深度，确定当前参考容积；货物占用容积确定模块，被配置为根据初始参考容积和当前参考容积之差，确定货物的占用容积；可用容积确定模块，被配置为根据货物的占用容积，确定容器的可用容积。
16.根据本发明一些实施例的第三个方面，提供一种数据处理装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种容积测量方法。
17.根据本发明一些实施例的第四个方面，提供一种容积测量系统，包括：前述任意一种容积测量装置；以及，摄像机，位于容器的入口处，并且朝向容器的底部拍摄。
18.根据本发明一些实施例的第五个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意一种容积测量方法方法。
19.上述发明中的一些实施例能够提高容积估计的准确性。
20.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1示出了根据本发明一些实施例的容积测量方法的流程示意图。
23.图2示例性地示出了容积测量场景的示意图。
24.图3示出了根据本发明一些实施例的当前参考容积确定方法的流程示意图。
25.图4a～4c示出了中心投影误差场景的示意图。
26.图5示出了根据本发明一些实施例的货物对应的第一体积的确定方法的流程示意
图。
27.图6示出了根据本发明一些实施例的容积测量装置的结构示意图。
28.图7示出了根据本发明一些实施例的容积测量系统的结构示意图。
29.图8示出了根据本发明另一些实施例的容积测量装置的结构示意图。
30.图9示出了根据本发明又一些实施例的容积测量装置的结构示意图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
33.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
34.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
35.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
36.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
37.发明人经过分析后发现，3d摄相机使用双相机视差和深度的关系构建深度图像。总体来看，整个设备为中心投影，所输出的深度图上也就存在有“近大远小”的情况。即，相同大小、姿态的目标，在距离3d摄像机近时占据了更大的面积，在更远处的会更小。此现象在车厢容积估计场景中会引发如下的问题。
38.首先，车厢的停放位置有随机的偏差。在深度图像上，车厢壁会与3d摄像机的径向有一定的夹角。这给基于深度图进行车厢的容积估算增加了难度。
39.其次，中心投影导致货箱壁不能如实的反映径向上的关系。当3d摄像机径向方向和车厢箱体完全重合时，由3d摄像机估算出的深度也有一定的误差。这表现为相对正摆放的立方体货箱箱壁在深度图上变成有倾角的锥体，让本应在底平面投影是一条线的立方体侧面变成投影为连续的区域。
40.因此，基于深度图像估计容积时，会产生较多的误差。
41.图1示出了根据本发明一些实施例的容积测量方法的流程示意图。如图1所示，该实施例的容积测量方法包括步骤s102～s112。
42.在步骤s102中，根据摄像机与容器的底部之间距离的最大值，确定基准深度。基准深度大于或等于该最大值。
43.容器的底部与容器入口相对，并且摄像机的拍摄方向朝向容器的底部。
44.图2示例性地示出了容积测量场景的示意图。如图2所示，容器20装载有货物200，
摄像机21位于容器20的入口201处，并且朝向容器20的底部202拍摄。
45.在一些实施例中，容器为车厢。车厢的入口为车厢的车门处。
46.在一些实施例中，在容器空置的情况下，获取摄像机拍摄的深度图；在容器的入口的外接区域内，检测最大的深度值，作为摄像机与容器的底部之间距离的最大值。
47.在步骤s104中，在容器的入口的外接区域内，对基准深度进行积分，获得初始参考容积。
48.由于一些3d相机仍存在近大远小的透视原理，当摄像机朝向容器底部拍摄时，所获得的深度图中除了容器底部以外，还包括侧壁。本发明的实施例在计算初始参考体积时，将底部和侧壁视为同一平面上的区域，并且认为该平面到摄像机的距离均为基准深度。基于这一假设，确定初始参考体积。
49.在步骤s106中，在容器装载货物后，获取摄像机拍摄的深度图。
50.在步骤s108中，根据深度图中货物区域的深度、以及外接区域中非货物区域和基准深度，确定当前参考容积。
51.在一些实施例中，根据深度图中货物区域的深度，确定第一体积；根据在外接区域中的非货物区域和基准深度，确定第二体积；将第一体积和第二体积之和，确定为当前参考容积。
52.在货物区域，由于货物的遮挡，因此该区域在垂直于投影平面的方向上的容积产生了变化，该变化信息参考深度图中的深度信息进行计算；而非货物区域没有被遮挡，因此深度不变，仍使用基准深度进行计算。
53.在步骤s110中，根据初始参考容积和当前参考容积之差，确定货物的占用容积。
54.在计算容器底部和侧壁对应的体积时，使用了基准深度，该基准深度并非是实际的深度，使得计算结果存在误差。然而，由于在确定初始参考容积和当前参考容积时存在相同的误差，因此二者相减后将该误差消除，类似于称重时的“去皮”操作，使得获得的容积变化值、即估计的货物的占用容积是相对准确的。
55.在步骤s112中，根据货物的占用容积，确定容器的可用容积。
56.例如，将容器的实际容积减去货物的占用容积，获得可用容积。
57.考虑到货物装载场景中，当某一货物装载后，即使该货物后面是空置的，一般在继续装货时也不会将新的货物放在已装载货物后面。因此，货物朝向摄像机的表面到容器底部之间的空间都可以视为已被占用的空间，这些空间不属于容器的可用容积。
58.上述实施例对于深度图和需要测量的容器设置基准深度，例如摄像机与容器底部最远点之间的距离值、或者更大的距离值。基于该基准深度对深度图上容器范围内的所有点计算深度的积分值，作为当前相机前物体的体积的估算值，此值反映了相机前物体的体积的相对情况。
59.当由于货物的摆放位置等原因导致深度信息的相对位置关系反映有偏差时，在放置货物前后，偏差的相对关系是保持一致的。导致这种偏差有两个主要原因，一是物体在相机切向方向上的投影距离，二是物体在径向深度上与相机的距离，这两个变量的导致此类偏差变化关系是可通过设置深度点对应的面积来反映出来的。基于此固定关系，直接对目标在深度上进行积分，即可估算出和目标真实体积正相关的值。
60.通过实验表明，不论容器的放置是否倾斜，上述实施例的方法都可以得到比较准
确的测量结果。
61.因此，本发明的实施例能够提高容积估计的准确性。
62.发明人经过进一步分析后发现，当货物靠近容器侧壁时，因为中心投影现象，导致部分侧壁被遮挡。为了解决该问题，本发明的一些实施例提出恢复被遮挡侧壁的深度的方法。
63.图3示出了根据本发明一些实施例的当前参考容积确定方法的流程示意图。如图3所示，该实施例的当前参考容积确定方法包括步骤s302～s312。
64.在步骤s302中，在容器入口的外接区域中，确定容器的底部区域和侧壁区域。
65.在步骤s304中，根据深度图中货物区域的深度，确定第一体积。
66.在步骤s306中，判断容器的侧壁是否被货物遮挡。如果否，执行步骤s308；如果是，执行步骤s310。
67.在步骤s308中，在容器入口的外接区域中的非货物区域对基准深度进行积分，以确定第二体积。
68.在步骤s310中，在容器的底部区域中的非货物区域、以及侧壁区域对基准深度进行积分，以确定第二体积。从而，将被遮挡的侧壁部分进行还原，以使得在装载货物前后，侧壁部分对应的容积相同，进而可以消除误差。
69.在步骤s312中，将第一体积和第二体积之和，确定为当前参考容积。
70.通过上述实施例，在拍摄的深度图中侧壁被货物遮挡的情况下，可以将侧壁进行还原，提高了容积估计的准确性。
71.发明人经过分析后发现，中心投影还会导致第一体积的计算误差。图4a～4c示出了中心投影误差场景的示意图。
72.图4a示出了一个测量场景的示意图。在图4a中，长方形的货物靠近容器的左侧壁放置，并且货物的正面41略微倾斜，其左侧更靠近摄像机40的投影平面。由于3d摄像机的中心投影效应，实际拍摄的图像中呈现的是货物的正面41和右侧面43，如图4b所示。然而，在平行投影的情况下，拍摄的图像中应当呈现货物的正面41和左侧面42，如图4c所示。在计算货物占用的容积时，由于41和42更靠近摄像机，因此应当以41和42为基准计算。此时，需要对3d摄像机拍摄的深度图中的货物区域进行校正。
73.图5示出了根据本发明一些实施例的货物对应的第一体积的确定方法的流程示意图。如图5所示，该实施例的第一体积的确定方法包括步骤s502～s506。
74.在步骤s502中，判断当前是否符合投影误差条件。如果否，执行步骤s504；如果是，执行步骤s506。
75.一般地，在货物靠近容器的侧壁时，会产生投影误差。在一些实施例中，对于因为物体摆放等原因导致不可见的面在基准深度面上的投影增加的情况，新增相应的条件，并将这一条件作为投影误差条件。
76.在一些实施例中，确定深度图中所包括的货物的表面，例如，将深度图的货物区域中，深度的变化值小于预设值的区域确定为货物的正面，将深度的变化值不小于预设值的区域确定为货物的侧面；在货物正面与相机的距离沿着远离摄像机的中轴线的方向上减小、并且货物的侧面位于正面的靠近中轴线的方向情况下，确定当前符合投影误差条件。
77.在步骤s504中，在货物区域对深度进行积分，获得第一体积。
78.在步骤s506中，对货物区域进行校正，并在校正的货物区域对深度进行积分，获得第一体积。
79.在一些实施例中，根据正面和侧面，对位于侧面对侧的隐藏面所在区域和深度进行还原，例如根据正面和侧面的尺寸信息计算货物的倾斜角度，进而计算隐藏面的区域大小，并根据深度图中侧面的深度换算隐藏面的深度；使用正面和隐藏面所在的区域作为校正的货物区域。
80.通过上述实施例，能够校正中心投影误差，进一步提高了容积估计的准确性。
81.下面参考图6描述本发明容积测量装置的实施例。
82.图6示出了根据本发明一些实施例的容积测量装置的结构示意图。如图6所示，该实施例的容积测量装置600包括：基准深度确定模块6100，被配置为根据摄像机与容器的底部之间距离的最大值，确定基准深度，其中，容器的底部与容器入口相对，摄像机的拍摄方向朝向底部，基准深度大于或等于最大值；初始参考容积确定模块6200，被配置为在容器的入口的外接区域内，对基准深度进行积分，获得初始参考容积；深度图获取模块6300，被配置为在容器装载货物后，获取摄像机拍摄的深度图；当前参考容积确定模块6400，被配置为根据深度图中货物区域的深度、以及外接区域中非货物区域和基准深度，确定当前参考容积；货物占用容积确定模块6500，被配置为根据初始参考容积和当前参考容积之差，确定货物的占用容积；可用容积确定模块6600，被配置为根据货物的占用容积，确定容器的可用容积。
83.在一些实施例中，当前参考容积确定模块6400进一步被配置为根据深度图中货物区域的深度，确定第一体积；根据在外接区域中的非货物区域和基准深度，确定第二体积；将第一体积和第二体积之和，确定为当前参考容积。
84.在一些实施例中，容积测量方法还包括区域确定模块6700，被配置为在外接区域中，确定容器的底部区域和侧壁区域；并且当前参考容积确定模块6400进一步被配置为在容器的侧壁未被货物遮挡的情况下，在外接区域中的非货物区域对基准深度进行积分，以确定第二体积；在容器的侧壁被货物遮挡的情况下，在底部区域中的非货物区域、以及侧壁区域对基准深度进行积分，以确定第二体积。
85.在一些实施例中，当前参考容积确定模块6400进一步被配置为判断当前是否符合投影误差条件；如果不符合，在货物区域对深度进行积分，获得第一体积；如果符合，对货物区域进行校正，并在校正的货物区域对深度进行积分，获得第一体积。
86.在一些实施例中，当前参考容积确定模块6400进一步被配置为确定深度图中所包括的货物的表面；在货物正面与相机的距离沿着远离摄像机的中轴线的方向上减小、并且货物的侧面位于正面的靠近中轴线的方向情况下，确定当前符合投影误差条件。
87.在一些实施例中，当前参考容积确定模块6400进一步被配置为根据正面和侧面，对位于侧面对侧的隐藏面所在区域和深度进行还原；使用正面和隐藏面所在的区域作为校正的货物区域。
88.在一些实施例中，当前参考容积确定模块6400进一步被配置为将深度图的货物区域中，深度的变化值小于预设值的区域确定为货物的正面，将深度的变化值不小于预设值的区域确定为货物的侧面。
89.在一些实施例中，基准深度确定模块6100进一步被配置为在容器空置的情况下，
获取摄像机拍摄的深度图；在容器的入口的外接区域内，检测最大的深度值，作为摄像机与容器的底部之间距离的最大值。
90.在一些实施例中，容器为车厢。
91.图7示出了根据本发明一些实施例的容积测量系统的结构示意图。如图7所示，该实施例的容积测量系统70包括容积测量装置600和摄像机700，摄像机700位于容器的入口处，并且朝向容器的底部拍摄。
92.在一些实施例中，摄像机700为3d摄像机。
93.图8示出了根据本发明另一些实施例的容积测量装置的结构示意图。如图8所示，该实施例的容积测量装置80包括：存储器810以及耦接至该存储器810的处理器820，处理器820被配置为基于存储在存储器810中的指令，执行前述任意一个实施例中的容积测量方法。
94.其中，存储器810例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)以及其他程序等。
95.图9示出了根据本发明又一些实施例的容积测量装置的结构示意图。如图9所示，该实施例的容积测量装置90包括：存储器910以及处理器920，还可以包括输入输出接口930、网络接口940、存储接口950等。这些接口930，940，950以及存储器910和处理器920之间例如可以通过总线960连接。其中，输入输出接口930为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口940为各种联网设备提供连接接口。存储接口950为sd卡、u盘等外置存储设备提供连接接口。
96.本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种容积测量方法。
97.本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
98.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
99.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
100.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
101.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。