一种基于AR技术的物资堆叠方式的预估方法及装置与流程

本发明属于ar技术领域，涉及一种基于ar技术的物资堆叠方式的预估方法及装置。

背景技术：

增强现实旨在将要呈现的信息直接注册到物理环境中。ar超越了移动计算，因为它在空间和认知上都弥合了虚拟世界和现实世界之间的鸿沟。有了ar，数字信息似乎成为了现实世界的一部分。azuma在1997年在其调查论文中提出了最广泛接受的ar的定义，ar必须有三个特征：1，结合虚拟和现实2，与现实实时互动3，3d注册。这个定义并没有制定特定的输出设备，例如头戴式现实器(hmd)，也不会将ar限制在具体的媒体上。一个ar系统至少需要三个组件：跟踪组件、注册组件、可视化组件。在开发上具体的实现方式，主要是一下几点：

1、跟踪支持：当设备在现实世界中移动时，可以使用单目slam、双目slam、或结构光来确定设备相对于周围世界的位置。通过检测捕获的摄像头图像的视觉差异特征(称为特征点)，并使用这些点来计算其位置变化。这些视觉信息将于设备的传感器信息结果结合，一起用于估测摄像头随着时间推移而相对于周围世界的姿态(位置和方向)。通过将渲染3d内容的虚拟摄像头的姿态与真实的设备摄像头的姿态对齐，开发者能够从正确的透视角度渲染虚拟内容。渲染的虚拟图像可以叠加到从设备摄像头获取的图像上，让虚拟内容看起来就像现实世界的一部分一样。

2、环境理解：通过检测特征点和平面来不断改进它对现实世界环境的理解。ar通过环境理解可以查找多种类型的空间，可以确定每个空间的边界，并将该信息提供给用户，用户可以使用此信息将虚拟物体置于识别到的空间中。

3、光估计：通过结合光照传感器，可以检测其环境光线的相关信息，并为应用提供给定摄像头图像平均光照强度和色彩校正，提升虚拟物体的真实感。

物资堆叠方式问题，实质是一个数学上的装箱问题。从20世纪70年代初开始，装箱问题就引起了广泛的探讨和研究。然而装箱问题可以追溯到1831年高斯开始研究布局问题，因为装箱问题和布局问题本质上是一样的，到现在已有百余年的历史。装箱问题广泛存在于工业生产，包括服装行业的面料剪裁、运输行业的集装箱货物装载、加工行业的板材型材下料、印刷行业的排样和现实生活中包装、整理物件等。

通过市场调研发现，目前市面上的装箱软件国内的有装箱大师loadmaster、国外的有topspro和cube-iq，这些装箱软件所构建的场景是在虚拟的3d空间中。用户通过输入一批货物和需要装入货物的箱体的长宽高，通过运行装箱过程将立方体所代表的货物将绘制在虚拟的货箱空间中。目前装箱软件将场景设置在虚拟的空间中的设计方式，限制了软件使用者真实的参与到装箱过程中。由于装箱过程是在虚拟的空间中，用户无法将虚拟货物尺寸和真实要装箱空间的尺寸进行对比，即不能模拟虚拟的货物在真实箱体内的装箱过程，使得用户体验下降，由于大部分软件无法支持透视内部货物的方式，可能导致误装的现象的产生。

技术实现要素：

本发明的目的在于克服上述现有技术的缺点，提供了一种基于ar技术的物资堆叠方式的预估方法及装置，该方法及装置能够模拟虚拟货物在真实箱体内的装箱过程。

为达到上述目的，本发明所述的基于ar技术的物资堆叠方式的预估方法包括以下步骤：

1)确定用户需要进行装箱的各货物的长宽高信息；

2)开启ar堆叠呈现界面；

3)使用ar的环境感知识别装箱空间的基平面，然后在ar堆叠呈现界面中构建真实世界三维坐标系；

4)获取装箱空间底面三个顶点在真实世界三维坐标系下的三维坐标；

5)通过三维空间向量运算计算装箱空间底面第四个顶点在真实世界三维坐标系下的三维坐标，然后根据装箱的高度确定装箱空间顶面四个顶点在真实世界三维坐标系下的三维坐标；

6)根据装箱空间底面四个顶点及顶面四个顶点在真实世界三维坐标系下的三维坐标绘制装箱空间的3d包围盒；

7)以货物左侧后下方顶点作为三维空间坐标系的原点，调用装箱算法，构建算法坐标系下，获取所有货物左侧后下顶点在算法坐标系下的三维坐标；

8)将步骤7)得到所有货物左侧后下顶点在算法坐标系下的三维坐标转换到真实三维空间坐标系下，得所有货物左侧后下顶点在真实世界三维坐标系下的三维坐标；

9)绘制货物的3d包围盒，然后根据各货物在真实世界三维坐标系下的三维坐标将各货物的3d包围盒装入到装箱空间内，以实现基于ar技术的物资堆叠方式的预估。

步骤1)中，采用手动式测量或者视觉算法测量货物的长宽高信息，并将测量得到的货物的长宽高信息存储到数据库中，同时利用起始界面展示数据库中存储的货物的长宽高信息。

步骤2)中的ar堆叠呈现界面为ar与真实世界交互的窗口，用于实现虚拟世界与真实世界的联通，ar堆叠呈现界面的顶部显示有用户提示语，ar堆叠呈现界面的中间位置处设置有定位标志，ar堆叠呈现界面的底部设置有点击按钮，用户点击该点击按钮后，可以在ar堆叠呈现界面所看到的真实世界中放置虚拟物体。

步骤3)中，通过单目slam、双目slam或结构光识别装箱空间的基平面，再根据运动跟踪的收集设备在三维空间中的运动信息，并结合slam算法构建真实世界三维坐标系。

步骤7)的具体操作为：以货物左侧后下方顶点作为原点，调用装箱算法，构建算法坐标系下，将货物的左侧后下方顶点置于该算法坐标系下的坐标原点处，并将整个装箱空间分割成三个空余的空间，然后将第二个货物和三个分割出来的空间进行比较，并将第二个货物装入合适的空间内，得所有货物左侧后下顶点在算法坐标系下的三维坐标。

步骤7)中采用空间选取策略将第二个货物装入合适的空间内，其中，装入时，优先选择高度坐标较低的空间进行装入。

以动画的形式绘制各货物的3d包围盒，其中，设置两次绘制的帧间隔，每当帧计数达到帧计数起后即可绘制一个货物的3d包围盒，直至所有货物的3d包围盒绘制完毕为止。

还包括：对各货物的3d包围盒标注货物的id，在装入时，根据货物的id将货物装入装箱空间内。

本发明所述的基于ar技术的物资堆叠方式的预估装置包括：

第一采集模块，用于确定用户需要进行装箱的各货物的长宽高信息；

操作面板，用于开启ar堆叠呈现界面；

三维坐标构建模块，用于使用ar的环境感知识别装箱空间的基平面，然后在ar堆叠呈现界面中构建真实世界三维坐标系；

第二获取模块，用于获取装箱空间底面三个顶点在真实世界三维坐标系下的三维坐标；

第三获取模块，用于通过三维空间向量运算计算装箱空间底面第四个顶点在真实世界三维坐标系下的三维坐标，然后根据装箱的高度确定装箱空间顶面四个顶点在真实世界三维坐标系下的三维坐标；

绘制模块，用于根据装箱空间底面四个顶点及顶面四个顶点在真实世界三维坐标系下的三维坐标绘制装箱空间的3d包围盒；

第四获取模块，用于以货物左侧后下方顶点作为原点，调用装箱算法，构建算法坐标系下，获取所有货物左侧后下顶点在算法坐标系下的三维坐标；

第四获取模块，用于将所有货物左侧后下顶点在算法坐标系下的三维坐标转换到真实三维空间坐标系下，得所有货物左侧后下顶点在真实世界三维坐标系下的三维坐标；

图像处理模块，用于绘制货物的3d包围盒，然后根据各货物在真实世界三维坐标系下的三维坐标将各货物的3d包围盒装入到装箱空间内，以实现基于ar技术的物资堆叠方式的预估。

本发明具有以下有益效果：

本发明所述的基于ar技术的物资堆叠方式的预估方法及装置在具体操作时，利用ar技术，在ar堆叠呈现界面中构建真实世界三维坐标系，再在真实世界三维坐标系下的三维坐标绘制装箱空间的3d包围盒，然后调用装箱算法，计算所有货物左侧后下顶点在算法坐标系下的三维坐标，并将其转换到真实三维空间坐标系下，得所有货物左侧后下顶点在真实世界三维坐标系下的三维坐标，最后绘制货物的3d包围盒，然后根据各货物在真实世界三维坐标系下的三维坐标将各货物的3d包围盒装入到装箱空间内，以实现模拟虚拟货物在真实箱体内的装箱过程的目的，提高用户的体验。减少误装现象的产生，提高装箱效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明中装箱的空间图；

图2为本发明中货物左侧后下顶点的位置图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

先对本发明所涉及的名字进行解释：

增强现实(augmentedreality)：增强现实技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感器多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的增强。

物资堆叠：物资堆叠也称为装箱问题。装箱问题是复杂的离散组合最优化问题。所谓组合优化，是指在离散的、有限的数学结构上，寻找一个满足给定条件，并使其目标函数值达到最大或最小的解。一般来说，组合优化问题通常带有大量的局部极值点，往往是不可微的、不连续的、多维的、有约束条件的、高度非线性的np完全问题。经典的装箱问题要求把一定数量的物品放入容量相同的一些箱子中，使得每个箱子中的物品大小之和不超过箱子容量并使使用的箱子数量最小。

存储空间：存储空间可能是一个仓库、货架或货车车厢。

本发明所述的基于ar技术的物资堆叠方式的预估方法，其特征在于，包括以下步骤：

1)确定用户需要进行装箱的各货物的长宽高信息；

步骤1)中，采用手动式测量或者视觉算法测量货物的长宽高信息，并将测量得到的货物的长宽高信息存储到数据库中，同时利用起始界面展示数据库中存储的货物的长宽高信息，在起始界面中，用户可以点击界面上的货物类别，填写需要装载货物的数量，确定要装箱货物的序列，并输入装箱空间的限制高度数据。

2)开启ar堆叠呈现界面；

步骤2)中的ar堆叠呈现界面为ar与真实世界交互的窗口，用于实现虚拟世界与真实世界的联通，在使用时，需要打开拥有计算存储能力的终端设备(至少一个摄像头或图像获取软件，包括单目摄像头、双目摄像头、多目摄像头、结构光)的摄像头，整个ar堆叠呈现界面呈现的是真实世界在显示器屏幕中的二维映像，ar堆叠呈现界面的顶部显示有用户提示语，ar堆叠呈现界面的中间位置处设置有定位标志，ar堆叠呈现界面的底部设置有点击按钮，用户点击该点击按钮后，可以在ar堆叠呈现界面所看到的真实世界中放置虚拟物体。

3)使用ar的环境感知识别装箱空间的基平面，然后在ar堆叠呈现界面中构建真实世界三维坐标系；

步骤3)中，通过单目slam、双目slam或结构光识别装箱空间的基平面，再根据运动跟踪的收集设备在三维空间中的运动信息，并结合slam算法构建真实世界三维坐标系。本发明在确定了真实世界三维坐标系后，使用ar环境理解功能，识别出用户扫描的基平面，并在终端设备上绘制检测到的基平面，绘制的形式(网格型，点状型)和颜色用户可以选择。

4)获取装箱空间底面三个顶点在真实世界三维坐标系下的三维坐标；

参考图1，ar堆叠呈现界面的中心标注有定位图标，在获取到定位坐标在屏幕上的2d坐标后，通过使用空间几何运算实现2d到3d的转化，实现在所扫描出的虚拟平面上放置虚拟的物体，并标注采集顶点信息。本发明为了确定放置空间的长宽高数据信息，需要收集到装箱空间底面上三个点的在真实世界中的三维坐标数据。实现收集的方式是用户扫描装箱空间的基平面，将定位图标瞄准箱体地面的三个顶点，通过点击按钮，在箱体的底部以放置虚拟的球体形式将三个顶点标注出来。用户可以根据相应的选项来选择要标记顶点的平面：1，水平下方平面；2，垂直平面；3，水平上方平面。当用户在虚拟平面上放置了虚拟的点，来标注测量空间的顶点后，第一个标注的顶点将作为其他虚拟组件的一个父节点，当用户再标注第二个顶点和第三个顶点后，后两个虚拟物体将作为第一个标注的顶点的子节点，这样做的好处就是在第一个顶点发生一定的平移后，其他顶点也会跟着第一个顶点做相对的平移，这样就不会因基平面平移造成三个顶点的视觉错位。

5)通过三维空间向量运算计算装箱空间底面第四个顶点在真实世界三维坐标系下的三维坐标，然后根据装箱的高度确定装箱空间顶面四个顶点在真实世界三维坐标系下的三维坐标；

本发明在收集到装箱空间底部的三个顶点的三维坐标后，通过三维空间向量运算推算出第四个顶点的三维坐标信息，本发明在得到基平面上装箱空间底部的四个顶点后，还需要确定其顶部的四个顶点。计算方式为获取平面的中心点处的法向量(单位长度为1米)，根据用户输入的货箱的高度信息，对法向量进行相应的比例变化。用户实际装箱过程中，考虑到存储空间的开口方向的不同，其方向可能是垂直于所处空间的平面，也有可能平行于所处空间的平面。当存储空间的开口方向垂直于所处空间时，本发明扫描水平基平面，将货物的堆叠方向设置为由下向上，以降低货物的堆叠高度；当存储空间的开口方向是平行于放置平面时，本发明可以扫描垂直平面或放置存储空间的水平平面，来进行堆叠货物。当采用水平平面将降低货物的整体堆叠高度，如果采用垂直平面将利用开箱取货，在得到货箱开口方向的法向量后，可以将的底面四个顶点加上相应的法向量，得到货箱空间顶部的四个顶点。

6)根据装箱空间底面四个顶点及顶面四个顶点在真实世界三维坐标系下的三维坐标绘制装箱空间的3d包围盒，用于模拟实际的装箱空间

7)以货物左侧后下方顶点作为三维空间坐标系的原点，调用装箱算法，构建算法坐标系下，获取所有货物左侧后下顶点在算法坐标系下的三维坐标；

参考图2，步骤7)的具体操作为：以货物左侧后下方顶点作为原点，调用装箱算法，构建算法坐标系下，将货物的左侧后下方顶点置于该算法坐标系下的坐标原点处，并将整个装箱空间分割成三个空余的空间，然后将第二个货物和三个分割出来的空间进行比较，并将第二个货物装入合适的空间内，得所有货物左侧后下顶点在算法坐标系下的三维坐标。

需要说明的是，采用空间选取策略将第二个货物装入合适的空间内，其中，装入时，优先选择高度坐标较低的空间进行装入，根据这个规则，依次将所有货物摆放到装箱空间中，如果装箱空间不足时，则提示空间已满。

8)将步骤7)得到所有货物左侧后下顶点在算法坐标系下的三维坐标转换到真实三维空间坐标系下，得所有货物左侧后下顶点在真实世界三维坐标系下的三维坐标；

在获取到每个货物的左侧后下顶点在真实世界三维坐标系下的三维坐标后，需要将计算坐标系坐标原点和ar所理解的真实世界中的摆放空间中的左后下顶点进行合并。本发明将实际装箱空间的左后下顶点作为坐标原点，并对在算法得出的货物的左后下顶点进行平移变换，得以实际装箱空间的左后下作为坐标原点下的每个货物的左后下顶点坐标。本发明通过得到的每个货物的长宽高信息和实际装箱坐标系上每个轴的方向向量推算出每个货物的8个顶点的在真实世界三维坐标系中的三维坐标。

9)绘制货物的3d包围盒，然后根据各货物在真实世界三维坐标系下的三维坐标将各货物的3d包围盒装入到装箱空间内，以实现基于ar技术的物资堆叠方式的预估。

为了更好的展示绘制方式设置为动画展示，本发明内部设置帧计数器，用户可以调节动画播放速度，动画的实现方式是在帧循环中，以动画的形式绘制各货物的3d包围盒，其中，设置两次绘制的帧间隔，每当帧计数达到帧计数起后即可绘制一个货物的3d包围盒，直至所有货物的3d包围盒绘制完毕为止，用户在进行装箱时可以通过虚拟装箱空间的滑动条来调节动画播放的速度，即改变帧计数器的大小，来做到和实际装箱过程的同步，另外，本发明还包括：对各货物的3d包围盒标注货物的id，在装入时，根据货物的id将货物装入装箱空间内。

本发明所述的基于ar技术的物资堆叠方式的预估装置包括：

第一采集模块，用于确定用户需要进行装箱的各货物的长宽高信息；

操作面板，用于开启ar堆叠呈现界面；

三维坐标构建模块，用于使用ar的环境感知识别装箱空间的基平面，然后在ar堆叠呈现界面中构建真实世界三维坐标系；

第二获取模块，用于获取装箱空间底面三个顶点在真实世界三维坐标系下的三维坐标；

第三获取模块，用于通过三维空间向量运算计算装箱空间底面第四个顶点在真实世界三维坐标系下的三维坐标，然后根据装箱的高度确定装箱空间顶面四个顶点在真实世界三维坐标系下的三维坐标；

绘制模块，用于根据装箱空间底面四个顶点及顶面四个顶点在真实世界三维坐标系下的三维坐标绘制装箱空间的3d包围盒；

第四获取模块，用于以货物左侧后下方顶点作为原点，调用装箱算法，构建算法坐标系下，获取所有货物左侧后下顶点在算法坐标系下的三维坐标；

第四获取模块，用于将所有货物左侧后下顶点在算法坐标系下的三维坐标转换到真实三维空间坐标系下，得所有货物左侧后下顶点在真实世界三维坐标系下的三维坐标；

图像处理模块，用于绘制货物的3d包围盒，然后根据各货物在真实世界三维坐标系下的三维坐标将各货物的3d包围盒装入到装箱空间内，以实现基于ar技术的物资堆叠方式的预估。

各模块的具体工作过程上述已经介绍，在此不再重复说明。

本发明使用了增强现实技术，实现了虚拟装箱过程和真实装箱空间的结合。通过使用单目slam算法、双目slam算法及结构光并结合设备传感器的相关信息，实现了感知装箱空间。感知到的数据可以为开发人员或用户提供：1)装箱空间在真实世界中位置的三维信息；2)装箱空间的尺寸信息；3)三维空间的向量计算。本发明获取尺寸的方式可以为手工输入、ar手动标点的方式测量输入、智能算法识别的方式测量输入，在获得装箱空间和所装箱货物的尺寸后，将相关数据传递给相应的装箱算法。装箱算法将给出货物在装箱空间中的三维坐标，在获得具体的货物在真实世界中的三维坐标后，实现对其对应的虚拟物体的实时渲染。基于实时定位和渲染的功能，本发明可以为用户提供更好的沉浸式体验。

实施例一

本实施例将发明中的基于ar技术的堆叠方式的app应用到android手机中，基于的是单目摄像头的slam算法，实现了一个基于ar技术的物资堆叠方式的预估方法及装置。本实施例使用android作为app的开发平台，arcore作为ar开发工具，sceneform来实现实时渲染绘图的功能。sceneform3d渲染框架的渲染过程为：先建立一个父的虚拟空间，用户在空间中放置虚拟物体后，虚拟物体将属于父空间。其结构就是一个树形的结构，每一个虚拟物体都与其父节点中的虚拟物体进行绑定，父空间和子空间的同步变化。本发明使用arcore的运动跟踪，收集跟踪手机的运动状态，建立真实世界三维坐标系。在识别了真实世界的空间后，选择了水平向下的基平面，使用arcore的环境理解功能识别出存储空间的基平面；点击标注按钮，确定存储空间底面的三个顶点并绘制出存储空间的3d包围盒；经过算法计算得出每个货物的坐标位置，设置150帧为间隔，绘制出每个货物的3d包围盒，并在每个包围盒中标注货物的id信息；最后将3d包围盒中的id和所要装箱的货物id进行对应完成装箱。

需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必需的。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。