基于移动行李的三维建模方法、设备及存储介质与流程

1.本技术涉及目标检测技术领域，尤其涉及一种基于移动行李的三维建模方法、设备及存储介质。


背景技术：

2.在行李托运过程中，通常需要对行李的状态进行跟踪检测，以便可以将软硬不同的行李进行分区托运，以及实时稽查行李是否发生破损，进而保证行李的安全运达。
3.目前，检测行李是否发生破损的方式通常是采用三维建模技术，通过对实时稽查行李进行三维建模，从而可以利用建成后的三维模型判断行李是否发生破损。
4.然而，现有的三维建模通常要求行李静止不动，通过移动深度相机来采集行李的深度图片，并通过计算相机位姿实现点云聚合，进而实现三维建模。在行李托运场景下，传统的三维建模已无法满足对移动行李进行三维建模的需求。


技术实现要素：

5.本技术的主要目的在于提供一种基于移动行李的三维建模方法、设备及存储介质，旨在实现对移动行李进行快速的三维建模。
6.第一方面，本技术提供一种基于移动行李的三维建模方法，包括：
7.在目标行李移动的过程中，采集所述目标行李在多个角度的多张深度图片；
8.确定采集时间最早的所述深度图片为初始深度图片，并确定采集时间在所述初始深度图片的采集时间之后的所述深度图片为待聚合深度图片；
9.从所述初始深度图片中获取所述目标行李对应的点云作为初始点云，并从所述待聚合深度图片中获取所述目标行李对应的点云作为待聚合点云；
10.确定所述初始点云对应的世界坐标系作为对齐坐标系，并获取所述初始点云的体素作为初始体素集；
11.根据所述待聚合深度图片以及所述初始深度图片计算所述目标行李的水平位移，并根据所述待聚合深度图片计算所述目标行李所处平面的法向量；
12.利用所述水平位移以及所述法向量将所述待聚合点云转换为对应所述对齐坐标系的转换点云，并获取所述转换点云的体素作为待聚合体素集；
13.根据所述初始体素集以及各个所述待聚合体素集构建三维网格模型，并对所述三维网格模型进行贴图处理，得到所述目标行李对应的目标三维模型。
14.第二方面，本技术还提供一种终端设备，所述终端设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上所述的基于移动行李的三维建模方法的步骤。
15.第三方面，本技术还提供一种存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的基于移动行李的三维建模方法的步骤。
16.本技术提供一种基于移动行李的三维建模方法、设备及存储介质，本技术中，在目标行李移动的过程中采集多个角度的多张深度图片，对深度图片进行聚合处理的过程中，计算目标行李的水平位移以及法向量，以在对深度图片转换坐标系时结合水平位移以及法向量实现点云重叠，从而构建目标三维模型。通过本技术所提供的技术方案，结合深度图片之间目标行李的水平位移以及法向量，将其作为约束条件应用到深度相机的位姿计算中，减少了深度相机和目标物体相对位姿估计的误差，实现了多张深度图片之间的精准聚合；另外，本技术在目标行李移动的过程中，一边采集深度图片，一边利用采集到的深度图片进行聚合，三维模型构建时间短，实现了对移动行李的快速三维建模。
附图说明
17.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本技术实施例提供的一种基于移动行李的三维建模方法的步骤流程示意图；
19.图2为本技术实施例提供的基于移动行李的三维建模方法的一应用场景示意图；
20.图3为本技术实施例提供的一种终端设备的结构示意性框图。
21.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，虽然在装置示意图中进行了功能模块的划分，但是在某些情况下，可以以不同于装置示意图中的模块划分。
24.本技术实施例提供一种基于移动行李的三维建模方法、设备及存储介质。
25.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
26.请参照图1，图1为本技术实施例提供的一种基于移动行李的三维建模方法的步骤流程示意图。
27.如图1所示，该基于移动行李的三维建模方法包括步骤s10至步骤s16。
28.步骤s10、在目标行李移动的过程中，采集所述目标行李在多个角度的多张深度图片。
29.可以理解，深度图片(depth images)为由深度相机采集到的图片，也被称为距离影像(range images)。
30.本技术应用于行李的三维建模系统，当目标行李放上传送带时，传送带带动目标
行李往预设方向移动，在目标行李移动的过程中，设置于传送带上方的多个深度相机不断的采集目标行李的多个角度的多张深度图片。
31.在一些实施方式中，所述多个角度包括第一角度、第二角度以及第三角度；
32.与所述第一角度对应的所述深度图片至少包括所述目标行李的第一侧面以及第二侧面的图片信息；
33.与所述第二角度对应的所述深度图片至少包括所述目标行李的与所述第一侧面相对的第三侧面，以及与所述第二侧面相对的第四侧面的图片信息；
34.与所述第三角度对应的所述深度图片至少包括所述目标行李的上表面的图片信息，其中，所述上表面与所述第一侧面、所述第二侧面、所述第三侧面以及所述第四侧面连接。
35.可以理解，第一角度，第二角度以及第三角度对应的图像采集区域不同。
36.如图2所示，本技术所提供的基于移动行李的三维建模方法应用于行李传输系统，由行李传输系统的终端设备内的处理器执行。
37.具体地，行李传输系统包括终端设备20、传送装置21、图像采集装置22。
38.传送装置包括传送带210、驱动机构211、第一护栏212以及第二护栏213。其中，第一护栏212以及第二护栏213分别安装于传送带210两侧的驱动机构211上。
39.图像采集装置22包括第一竖杆220、第二竖杆221、横杆222、第一深度相机223、第二深度相机224以及第三深度相机225。其中，第一竖杆220安装于靠近第一护栏212一侧的驱动机构211上，第二竖杆221安装于靠近第二护栏213一侧的驱动机构211上，横杆222的第一端部与第一竖杆220远离驱动机构211的一端连接，横杆222的远离第一端部的第二端部与第二竖杆221远离驱动机构211的一端连接。
40.第一深度相机223安装于横杆222靠近第一端部的第一横杆侧面，且第一深度相机223的图像采集角度对应第一角度2230，用于采集传送带210的起始传送区域的深度图片。
41.第二深度相机224安装于横杆222靠近第二端部且与第一横杆侧面相对的第二横杆侧面，且第二深度相机224的图像采集角度对应第二角度2240，用于采集传送带210的末尾传送区域的深度图片。
42.第三深度相机225安装于横杆222靠近传送带210的第三横杆侧面的中部位置，且第三深度相机225的图像采集角度对应第三角度2250，用于采集传送带210的中部传送区域的深度图片。
43.终端设备20分别与第一深度相机223、第二深度相机224以及第三深度相机225电连接，用于接收并处理第一深度相机223、第二深度相机224以及第三深度相机225采集回来的深度图片。
44.当目标行李23在传送带210的起始传送区域移动时，通过第一深度相机223可以采集到包含目标行李23的第一侧面230以及第二侧面231的深度图片信息；当目标行李23在传送带210的中部传送区域移动时，通过第三深度相机225可以采集到包含目标行李23的顶部区域的深度图片信息，也即目标行李23的上表面232的图片信息；当目标行李23在传送带210的末尾传送区域移动时，通过第二深度相机可以采集到包含目标行李23的与第一侧面230相对的第三侧面，以及与第二侧面231相对的第四侧面的深度图片信息。
45.结合采集角度对应第一角度2230、第二角度2240以及第三角度2250的多个深度图
片，可以获得目标行李23的第一侧面230、第二侧面231、第三侧面、第四侧面以及上表面232的图片信息，进而构建目标行李23的三维模型。
46.步骤s11、确定采集时间最早的所述深度图片为初始深度图片，并确定采集时间在所述初始深度图片的采集时间之后的所述深度图片为待聚合深度图片。
47.可以理解，所采集到的对应目标行李23的多张深度图片中，每一张深度图片都有其对应的图片采集时间。采集时间最早的深度图片即为初始深度图片，除初始深度图片以外的其他深度图片，也即采集时间在初始深度图片的采集时间之后的深度图片皆为待聚合深度图片。
48.在一些实施方式中，当目标行李23放上传送带210后，传送带210带动目标行李23从起始传送区域移动到末尾传送区域，目标行李23在起始传送区域被采集到的第一张深度图片即为初始深度图片，后续移动过程中采集到的深度图片则为待聚合深度图片。
49.步骤s12、从所述初始深度图片中获取所述目标行李对应的点云作为初始点云，并从所述待聚合深度图片中获取所述目标行李对应的点云作为待聚合点云。
50.可以理解，根据采集初始深度图片的深度相机的属性参数可以将初始深度图片转换成第一整体点云数据，其中，第一整体点云数据中不仅包含了目标行李23的点云，也包括了除目标行李23以外的背景部分的点云，从第一整体点云数据中将目标行李23对应的点云分割出来，即得到初始点云。
51.同理，根据采集待聚合深度图片的深度相机的属性参数可以将待聚合深度图片转换成第二整体点云数据，并从第二整体点云数据中提取目标行李23对应的点云数据，即得到待聚合点云。
52.在一些实施方式中，所述从所述初始深度图片中获取所述目标行李对应的点云作为初始点云，包括：
53.根据所述初始深度图片对应的采集角度确定目标水平区域范围以及目标深度范围；
54.获取所述初始深度图片的点云作为第一点云；
55.从所述第一点云中提取投影区域处于所述目标水平区域范围内的点云，得到第二点云；
56.从所述第二点云中提取深度数值处于所述目标深度范围内的点云，得到所述目标行李对应的初始点云。
57.可以理解，在本技术中，负责采集深度图片的深度相机与负责承载并移动目标行李23的传送带210之间的距离是固定的，并且，深度相机是固定安装在传送带210上方的横杆222上的，在这个基础上，深度相机的图像采集区域范围也是固定的。
58.另外，深度相机的图像采集区域范围也是比目标行李23要大的，深度相机所采集到的深度图片中，不仅会包括目标行李23的图像元素，也会包括除目标行李23以外的如传送带210，第一护栏212以及第二护栏213之类的图像元素。并且，目标行李23与深度相机之间距离必然会比传送带210与深度相机之间距离近。
59.因此，可以根据采集深度图片的深度相机对应的采集角度，预先设定对应的目标水平区域范围以及目标深度范围，以从第一点云中提取目标行李23的投影区域处于目标水平区域范围之内，并且深度数值处于目标深度范围之内的点云，以得到目标行李23的初始
点云，其中，深度数值对应点云的三维坐标中的z轴坐标数值。
60.在一些实施方式中，所述从所述初始深度图片中获取所述目标行李对应的点云作为初始点云，包括：
61.根据所述初始深度图片对应的采集角度获取比对深度图片，其中，所述比对深度图片为摄像角度对应所述采集角度，且图片元素不包含所述目标行李的空载深度图片；
62.获取所述初始深度图片的点云作为第一点云，并获取所述比对深度图片的点云作为比对点云；
63.去除所述第一点云中与所述比对点云匹配的点云，得到所述目标行李对应的初始点云。
64.可以理解，深度相机是固定安装在传送带210上方的空中区域的，根据初始深度图片对应的采集角度可以确定采集该初始深度图片的深度相机。当传送带210上没有任何行李时，传送带210处于空载状态，此时，利用该深度相机采集到的不包含目标行李23的图片元素的深度图片为比对深度图片。从比对深度图片中提取到的点云，即为比对点云。
65.去除掉第一点云中与比对点云的三维坐标以及颜色数值相同或相近的点云，即得到初始深度图片中目标行李23对应的初始点云。
66.步骤s13、确定所述初始点云对应的世界坐标系作为对齐坐标系，并获取所述初始点云的体素作为初始体素集。
67.可以理解，初始点云对应的世界坐标系即为对齐坐标系，确定对齐坐标系后，可以将其他待聚合点云转换到该对齐坐标系下，以实现与初始点云进行聚合，进而构建三维网格模型。此时，利用初始点云所提取到的体素即为初始体素集。
68.步骤s14、根据所述待聚合深度图片以及所述初始深度图片计算所述目标行李的水平位移，并根据所述待聚合深度图片计算所述目标行李所处平面的法向量。
69.可以理解，初始深度图片以及待聚合深度图片是深度相机在目标行李23移动的过程中拍摄得到，也即，初始深度图片以及待聚合深度图片的采集时间是不同的，并且，初始深度图片以及待聚合深度图片中目标行李23的位置也是不同的。根据初始深度图片以及待聚合深度图片中目标行李23所处的位置，可以计算目标行李23自初始深度图片中所处的位置移动到待聚合深度图片中所处的位置时的水平位移。
70.另外，负责承载并且移动目标行李23的传送带210所在的平面，为目标行李23所处平面，垂直于传送带210所在平面的直线所表示的向量为该平面的法向量。在一些实施方式中，法向量可以采用ransac(random sample consensus)算法作用于待聚合深度图片计算得到，法向量也可以采用最小二乘法作用于待聚合深度图片计算获得，在此不做限制。
71.在一些实施方式中，所述根据所述待聚合深度图片以及所述初始深度图片计算所述目标行李的水平位移，包括：
72.获取所述目标行李的水平移动速度，并获取所述待聚合点云与所述初始点云的采集时间间隔；
73.根据所述水平移动速度与所述采集时间间隔的乘积，得到所述目标行李的水平位移。
74.可以理解，目标行李23放置于传送带210上，由传送带210带动目标行李23均速移动，获取目标行李23的水平移动速度。在这个基础上，还可以根据待聚合点云与初始点云的
采集时间差确定采集时间间隔。进而计算水平移动速度与采集时间间隔的乘积，即得到目标行李23的水平位移。
75.步骤s15、利用所述水平位移以及所述法向量将所述待聚合点云转换为对应所述对齐坐标系的转换点云，并获取所述转换点云的体素作为待聚合体素集。
76.可以理解，在将待聚合点云聚合到初始点云中，以构建三维网格模型之前，需要先将待聚合点云转换到对齐坐标系下。
77.现有技术中，通常采用目标行李23静止不动，然后通过深度相机围绕目标行李23转动以采集深度图片，并通过icp(iterative closest point，迭代最近点)算法将各个深度图片转换到同一坐标系下，以实现点云聚合，并构建三维网格模型。
78.但是，在本技术中，目标行李23放置于传送带210上，深度图片为传送带210带动目标行李23移动的过程中采集得到，采集深度图片的摄像头处于静止状态。也即，在每个采集到的深度图片中，目标行李23都处于移动状态，在这种情况下，使用传统的icp算法对多个深度图片转换坐标系的过程中，会出现不收敛从而导致计算失败的情况。这是因为运动物体的周围环境是变化的，这会导致帧与帧之间点云形状并不一致，不管传统的icp算法怎么计算，其计算得到的平移矩阵以及旋转矩阵都无法让点云重叠，这将导致多张深度图片无法聚合，使得三维网络模型构建失败。
79.本技术中，利用目标行李23是在平面上运动的特性，将水平位移以及法向量作为约束条件，以实现将待聚合点云转换为对应对齐坐标系下的转换点云，进而从转换点云中提取体素以得到待聚合体素集。
80.通过本技术所提供的技术方案，即可实现将目标行李23的线性运动转换为深度相机的相对运动，保持目标行李23的坐标系不变，达到了简化后续三维网格模型构建的过程，进而实现了仅采用简单的深度图片采集装置即可对移动行李实现快速三维建模的技术效果。
81.在一些实施方式中，所述利用所述水平位移以及所述法向量将所述待聚合点云转换为对应所述对齐坐标系的转换点云，包括：
82.确定所述初始点云中点的数量为第一数量，并确定所述待聚合点云中点的数量为第二数量；
83.从所述第一数量以及所述第二数量中筛选最小值作为匹配数量，并根据所述匹配数量从所述初始点云中筛选第一点集；
84.根据所述第一点集从所述待聚合点云中筛选最邻近点，得到第二点集；
85.根据所述水平位移构建第一矩阵；
86.构建旋转矩阵，并根据所述旋转矩阵以及所述第一矩阵构建第二矩阵；
87.根据所述第二矩阵对所述第一点集中的各个点进行矩阵变换，得到第三点集；
88.计算所述第三点集与所述第二点集在预设偏差函数的结果值最小时对应的平移矩阵以及所述旋转矩阵，其中，所述预设偏差函数与所述第二点集、所述第三点集、所述法向量、所述平移矩阵以及所述旋转矩阵相关；
89.利用所述旋转矩阵对所述第二点集进行旋转变换，得到第四点集，并利用所述平移矩阵对所述第四点集进行平移变换，得到第五点集；
90.利用所述旋转矩阵对所述待聚合点云进行旋转变换，得到第一临时点云，并利用
所述平移矩阵对所述第一临时点云进行平移变换，得到第二临时点云；
91.计算所述第五点集与所述第一点集的平均距离，当所述平均距离小于预设距离时，确定所述第二临时点云为转换点云。
92.可以理解，初始点云以及待聚合点云分别为从初始深度图片以及待聚合深度图片中提取到的对应目标行李23的点云，初始点云中点的数量即为第一数量，待聚合点云中点的数量即为第二数量。当第一数量比第二数量小时，确定第一数量为匹配数量；当第一数量大于或等于第二数量时，则确定第二数量为匹配数量。
93.第一点集为从初始点云中筛选出来的点组成的集合，第一点集中点的数量与匹配数量相同。确定好第一点集后，即可从待聚合点云中逐个获取第一点集中各个点的最邻近点，得到第二点集，同理，第二点集中点的数量也与匹配数量相同，并且与第一点集中的各个点一一对应。
94.在本实施方式中，假设水平位移为d，根据水平位移构建得到的第一矩阵为t
prior
＝[d,0,0]
t
。
[0095]
假设构建的旋转矩阵为r，则根据旋转矩阵r以及第一矩阵构建得到的第二矩阵为：其中，r为待确定的3
×
3的旋转矩阵。
[0096]
假设第一点集为：x＝{xl,x2,
…
,xi}，并假设第二点集为：p＝{pl,p2,
…
,pi}。
[0097]
则根据第二矩阵对第一点集中的各个点进行矩阵变换，所得到第三点集为：y＝{yl,y2,
…
,yi}。
[0098]
假设法向量为n，并假设匹配数量为n
p
，本技术所构建的预设偏差函数为：
[0099]
计算出最优匹配的旋转矩阵r以及平移矩阵t，使得预设偏差函数的结果值最小后，即可分别利用旋转矩阵r以及平移矩阵t对第二点集进行旋转变换以及平移变换，得到第五点集；并再次分别利用旋转矩阵r以及平移矩阵t对待聚合点云进行旋转变换以及平移变换，得到第二临时点云。
[0100]
此时，如果第五点集与第一点集的平均距离小于预设距离，则说明同样使用旋转矩阵r以及平移矩阵t处理得到的第二临时点云已经转换到与初始点云相同的对齐坐标系下了，此时，可以直接确定第二临时点云为转换点云。
[0101]
在一些实施方式中，所述方法还包括：
[0102]
当所述平均距离大于或等于所述预设距离时，使用所述临时点云作为所述待聚合点云，并重新执行所述根据所述第一点集从所述待聚合点云中筛选最邻近点的步骤。
[0103]
可以理解，如果第五点集与第一点集的平均距离大于或等于预设距离，则说明第二临时点云尚未转换到对齐坐标系下，此时，可以使用临时点云作为待聚合点云，并重新执行根据第一点集从待聚合点云中筛选最邻近点的步骤，直至匹配出合适的旋转矩阵以及平移矩阵t，使得第五点集与第一点集的平均距离小于预设距离。
[0104]
步骤s16、根据所述初始体素集以及各个所述待聚合体素集构建三维网格模型，并对所述三维网格模型进行贴图处理，得到所述目标行李对应的目标三维模型。
[0105]
可以理解，获取到各个待聚合点云在对齐坐标系下的待聚合体素集后，即可对初始体素集以及各个待聚合体素集进行聚合处理以构建三维网格模型，对三维网格模型进行贴图处理后，即得到目标三维模型。
[0106]
在一些实施方式中，可以使用mvs(multi-view stereo)算法来实现对三维网格模型的贴图处理，也可以根据需要选用其他方法来实现三维网格模型的贴图处理，在此不做限制。
[0107]
在一些实施方式中，所述根据所述初始体素集以及各个所述待聚合体素集构建三维网格模型，包括：
[0108]
计算所述初始体素集以及各个所述待聚合体素集中各个体素的tsdf值以及权重值；
[0109]
根据所述tsdf值以及所述权重值将各个所述待聚合体素集聚合到所述初始体素集中，得到聚合结果体素集；
[0110]
识别所述聚合结果体素集的等值面，并根据所述等值面构建三维网格模型。
[0111]
在一些实施方式中，可以使用tsdf(truncated signed distance function，基于截断的带符号距离函数)算法来计算初始体素集以及各个待聚合体素集中各个体素对应的tsdf值以及权重值。并根据各个体素对应的tsdf值以及权重值，将各个待聚合体素集聚合到初始体素集中，以得到聚合结果体素集。
[0112]
得到聚合结果体素集后，即可根据mc(marching cube)算法识别体素集的等值面，以构建三维网格模型。
[0113]
本技术中，在目标行李23移动的过程中采集多个角度的多张深度图片，对深度图片进行聚合处理的过程中，计算目标行李23的水平位移以及法向量，以在对深度图片转换坐标系时结合水平位移以及法向量实现点云重叠，从而构建目标三维模型。通过本技术所提供的技术方案，结合深度图片之间目标行李23的水平位移以及法向量，实现了多张深度图片之间的精准聚合，实现了对移动行李的快速三维建模。
[0114]
如图3所示，该终端设备301包括通过系统总线连接的处理器3011、存储器和网络接口，其中，存储器可以包括存储介质3012和内存储器3015，存储介质3012可以是非易失性的，也可以是易失性的。
[0115]
存储介质3012可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器3011执行任意一种基于移动行李的三维建模方法。
[0116]
处理器3011用于提供计算和控制能力，支撑整个终端设备的运行。
[0117]
内存储器3015为存储介质3012中的计算机程序的运行提供环境，该计算机程序被处理器3011执行时，可使得处理器3011执行任意一种基于移动行李的三维建模方法。
[0118]
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0119]
应当理解的是，处理器3011可以是中央处理单元(central processing unit，cpu)，该处理器3011还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现
场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0120]
其中，在一些实施方式中，所述处理器3011用于运行存储在存储器中的计算机程序，以实现如下步骤：
[0121]
在目标行李移动的过程中，采集所述目标行李在多个角度的多张深度图片；
[0122]
确定采集时间最早的所述深度图片为初始深度图片，并确定采集时间在所述初始深度图片的采集时间之后的所述深度图片为待聚合深度图片；
[0123]
从所述初始深度图片中获取所述目标行李对应的点云作为初始点云，并从所述待聚合深度图片中获取所述目标行李对应的点云作为待聚合点云；
[0124]
确定所述初始点云对应的世界坐标系作为对齐坐标系，并获取所述初始点云的体素作为初始体素集；
[0125]
根据所述待聚合深度图片以及所述初始深度图片计算所述目标行李的水平位移，并根据所述待聚合深度图片计算所述目标行李所处平面的法向量；
[0126]
利用所述水平位移以及所述法向量将所述待聚合点云转换为对应所述对齐坐标系的转换点云，并获取所述转换点云的体素作为待聚合体素集；
[0127]
根据所述初始体素集以及各个所述待聚合体素集构建三维网格模型，并对所述三维网格模型进行贴图处理，得到所述目标行李对应的目标三维模型。
[0128]
在一些实施方式中，所述处理器3011在从所述初始深度图片中获取所述目标行李对应的点云作为初始点云时，用于实现：
[0129]
根据所述初始深度图片对应的采集角度确定目标水平区域范围以及目标深度范围；
[0130]
获取所述初始深度图片的点云作为第一点云；
[0131]
从所述第一点云中提取投影区域处于所述目标水平区域范围内的点云，得到第二点云；
[0132]
从所述第二点云中提取深度数值处于所述目标深度范围内的点云，得到所述目标行李对应的初始点云。
[0133]
在一些实施方式中，所述处理器3011在从所述初始深度图片中获取所述目标行李对应的点云作为初始点云时，用于实现：
[0134]
根据所述初始深度图片对应的采集角度获取比对深度图片，其中，所述比对深度图片为摄像角度对应所述采集角度，且图片元素不包含所述目标行李的空载深度图片；
[0135]
获取所述初始深度图片的点云作为第一点云，并获取所述比对深度图片的点云作为比对点云；
[0136]
去除所述第一点云中与所述比对点云匹配的点云，得到所述目标行李对应的初始点云。
[0137]
在一些实施方式中，所述处理器3011在根据所述待聚合深度图片以及所述初始深度图片计算所述目标行李的水平位移时，用于实现：
[0138]
获取所述目标行李的水平移动速度，并获取所述待聚合点云与所述初始点云的采集时间间隔；
[0139]
根据所述水平移动速度与所述采集时间间隔的乘积，得到所述目标行李的水平位移。
[0140]
在一些实施方式中，所述处理器3011在利用所述水平位移以及所述法向量将所述待聚合点云转换为对应所述对齐坐标系的转换点云时，用于实现：
[0141]
确定所述初始点云中点的数量为第一数量，并确定所述待聚合点云中点的数量为第二数量；
[0142]
从所述第一数量以及所述第二数量中筛选最小值作为匹配数量，并根据所述匹配数量从所述初始点云中筛选第一点集；
[0143]
根据所述第一点集从所述待聚合点云中筛选最邻近点，得到第二点集；
[0144]
根据所述水平位移构建第一矩阵；
[0145]
构建旋转矩阵，并根据所述旋转矩阵以及所述第一矩阵构建第二矩阵；
[0146]
根据所述第二矩阵对所述第一点集中的各个点进行矩阵变换，得到第三点集；
[0147]
计算所述第三点集与所述第二点集在预设偏差函数的结果值最小时对应的平移矩阵以及所述旋转矩阵，其中，所述预设偏差函数与所述第二点集、所述第三点集、所述法向量、所述平移矩阵以及所述旋转矩阵相关；
[0148]
利用所述旋转矩阵对所述第二点集进行旋转变换，得到第四点集，并利用所述平移矩阵对所述第四点集进行平移变换，得到第五点集；
[0149]
利用所述旋转矩阵对所述待聚合点云进行旋转变换，得到第一临时点云，并利用所述平移矩阵对所述第一临时点云进行平移变换，得到第二临时点云；
[0150]
计算所述第五点集与所述第一点集的平均距离，当所述平均距离小于预设距离时，确定所述第二临时点云为转换点云。
[0151]
在一些实施方式中，所述处理器3011还用于实现：
[0152]
当所述平均距离大于或等于所述预设距离时，使用所述临时点云作为所述待聚合点云，并重新执行所述根据所述第一点集从所述待聚合点云中筛选最邻近点的步骤。
[0153]
在一些实施方式中，所述处理器3011在根据所述初始体素集以及各个所述待聚合体素集构建三维网格模型时，用于实现：
[0154]
计算所述初始体素集以及各个所述待聚合体素集中各个体素的tsdf值以及权重值；
[0155]
根据所述tsdf值以及所述权重值将各个所述待聚合体素集聚合到所述初始体素集中，得到聚合结果体素集；
[0156]
识别所述聚合结果体素集的等值面，并根据所述等值面构建三维网格模型。
[0157]
在一些实施方式中，所述处理器3011在采集所述目标行李在多个角度的多张深度图片时，所述多个角度包括第一角度、第二角度以及第三角度；
[0158]
与所述第一角度对应的所述深度图片至少包括所述目标行李的第一侧面以及第二侧面的图片信息；
[0159]
与所述第二角度对应的所述深度图片至少包括所述目标行李的与所述第一侧面相对的第三侧面，以及与所述第二侧面相对的第四侧面的图片信息；
[0160]
与所述第三角度对应的所述深度图片至少包括所述目标行李的上表面的图片信息，其中，所述上表面与所述第一侧面、所述第二侧面、所述第三侧面以及所述第四侧面连
接。
[0161]
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述终端设备的具体工作过程，可以参考前述基于移动行李的三维建模方法实施例中的对应过程，在此不再赘述。
[0162]
本技术实施例还提供一种存储介质，该存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本技术基于移动行李的三维建模方法的各个实施例。
[0163]
其中，所述计算机可读存储介质可以是前述实施例所述的终端设备的内部存储单元，例如所述终端设备的硬盘或内存。所述计算机可读存储介质也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
[0164]
应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0165]
还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0166]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。