机器人3D地图的对齐方法、装置及计算机相关产品与流程

机器人3d地图的对齐方法、装置及计算机相关产品
【技术领域】
1.本发明涉及机器人技术领域，尤其涉及一种机器人3d地图的对齐方法、装置及计算机相关产品。


背景技术：

2.通常，机器人在执行巡检任务需要识别物品，现有机器人识别到异常后直接将异常上报，并不是直观的展示出来；为此发明人发明了一种机器人在3d场景下执行安防任务的方法，将识别结果显示在3d地图上，即物品识别结果坐标用的是3d地图，然而现有机器人巡检时是按照2d地图行进的，所以必须要求2d地图和3d地图对齐，否则会出现物品显示位置错误的情况，错乱的坐标使机器人检测到的异常信息不能准确的显示在三维地图中，导致安防巡检无法正常开展。
3.目前，机器人扫图时，2d地图和3d地图是分开扫描的，2d地图和3d地图初始并未对齐，是存在偏差的，因此需要根据偏差量进行3d模型转换，达到和2d地图对齐的目的。3d地图与2d地图的对齐可以手动对齐的方式，但手动对齐由于操作有误差，会出现并未真正对齐的问题，如此获取的地图会直接造成3d地图中的坐标会存在误差，出现物品资产定位不准的问题，直接造成机器人安防中输出错误的提示。
4.鉴于此，实有必要提供一种新型的机器人3d地图的对齐方法、装置及计算机相关产品以克服上述缺陷。


技术实现要素：

5.本发明的目的是提供一种机器人3d地图的对齐方法、装置及计算机相关产品，消除了人为对齐存在的误差，使得3d和2d地图对齐更加准确，提高了机器人执行巡检任务时资产标定的准确度。
6.为了实现上述目的，第一方面，本发明提供一种机器人3d地图的对齐方法，包括如下步骤：步骤s10：获取机器人运行环境的2d地图；步骤s20：获取与所述2d地图预对齐的3d地图；步骤s30：旋转预对齐的3d地图以将预对齐的3d地图的地面恢复至水平，得到点云地图；步骤s40：对照所述2d地图并恢复所述点云地图和所述2d地图之间的旋转平移，得到与所述2d地图完全对齐的3d地图。
7.在一个优选实施方式中，所述步骤s20之后，还包括：检验预对齐的3d地图是否合格；若是，则执行步骤s30；若否，则返回步骤s20。
8.在一个优选实施方式中，所述检验预对齐的3d地图是否合格的步骤，包括：通过ransac算法平面分割出最大的点云平面，点云平面可表示为ax+by+cz+d＝0，其中，x、y、z为三维坐标，a、b、c分别为x、y、z轴的法向量，d为法向量方向上的位移量；绘制预对齐的3d地图中落在分割的点云平面上的点；判断是否存在超过预设值的点分布在3d地图的地面以下；若不存在，则判定预对齐的3d地图合格；若存在，则判定预对齐的3d地图不合格。
9.在一个优选实施方式中，所述步骤s30，包括：获取平面法向量与垂直法向量的夹
角，所述夹角包括预对齐的3d地图在俯仰方向和横滚方向上需要旋转的角度；将法向量方向上的位移量d归0以保证z轴代表垂直高度；按照在俯仰方向和横滚方向上需要旋转的角度将预对齐的3d地图的点云整体进行旋转，按法向量方向上的位移量d对点云整体进行平移，得到地面水平且地面上的点的垂直坐标z均为0的点云地图。
10.在一个优选实施方式中，所述步骤s40，包括：截取所述点云地图内z轴高度处于预设范围的区间；将所有处于所述区间内的点云压缩在同一个平面上并绘制在图片中；将压缩获得的图片与所述2d地图进行匹配以找出旋转平移量；将所述旋转平移量从所述点云地图上进行恢复，得到与所述2d地图完全对齐的3d地图。
11.在一个优选实施方式中，所述将压缩获得的图片与所述2d地图进行匹配以找出旋转平移量的步骤，包括：使用icp迭代最近点点云配准方法，计算出压缩获得的图片与所述2d地图相差的平移量和航向方向上的旋转量。
12.在一个优选实施方式中，所述预设范围为激光安装高度的误差范围值，例如0.23m-0.27m。
13.第二方面，本发明提供一种机器人3d地图的对齐装置，包括：第一获取模块，用于获取机器人运行环境内的2d地图；第二获取模块，用于获取与所述2d地图预对齐的3d地图；旋转模块，用于旋转预对齐的3d地图以将预对齐的3d地图的地面恢复至水平，得到点云地图；恢复模块，用于对照所述2d地图并恢复所述点云地图和所述2d地图之间的旋转平移，得到与所述2d地图完全对齐的3d地图。
14.本发明第二方面提供的机器人3d地图的对齐装置在实施时，可以采用本发明第一方面任一实施例中所述的机器人3d地图的对齐方法实现3d地图与2d地图对齐。
15.第三方面，本发明还提供一种计算机设备，包括：存储器及一个或多个处理器；所述存储器，用于存储一个或多个计算机程序；当所述一个或多个计算机程序被所述一个或多个处理器执行时，实现本发明第一方面任一实施例所述的机器人3d地图的对齐方法。
16.第四方面，本发明还提供一种计算机存储介质，计算机存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现本发明第一方面任一实施例所述的机器人3d地图的对齐方法。
17.第五方面，本发明还提供一种计算机程序产品，包括计算机程序或者指令，所述计算机程序或者指令被处理器执行时实现本发明第一方面任一实施例所述的机器人3d地图的对齐方法。
18.相比于现有技术，本发明提供的机器人3d地图的对齐方法、装置及计算机相关产品，先获取机器人运行环境的2d地图，并获取与所述2d地图预对齐的3d地图，再旋转预对齐的3d地图以将预对齐的3d地图的地面恢复至水平，得到点云地图，最后对照所述2d地图并恢复所述点云地图和所述2d地图之间的旋转平移，得到与所述2d地图完全对齐的3d地图，消除了人为对齐存在的误差，使得3d和2d地图对齐更加准确，提高了机器人执行巡检任务时资产标定的准确度。
【附图说明】
19.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对
范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
20.图1为本发明提供的机器人3d地图的对齐装置的原理框图；
21.图2为本发明提供的机器人3d地图的对齐方法的流程图；
22.图3为本发明提供的计算机设备的原理框图。
【具体实施方式】
23.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.请参阅图1，其为本发明提供的机器人3d地图的对齐装置的原理框图。本发明提供的机器人3d地图的对齐装置100，可以应用于机器人中，机器人3d地图的对齐装置包括第一获取模块10、第二获取模块20、旋转模块30及恢复模块40。
25.具体的，第一获取模块10用于获取机器人运行环境内的2d地图；第二获取模块20用于获取与所述2d地图预对齐的3d地图；旋转模块30用于旋转预对齐的3d地图以将预对齐的3d地图的地面恢复至水平，得到点云地图；恢复模块40用于对照所述2d地图并恢复所述点云地图和所述2d地图之间的旋转平移，得到与所述2d地图完全对齐的3d地图。
26.进一步地，第二获取模块20获取与所述2d地图预对齐的3d地图之后，还检验预对齐的3d地图是否合格，具体包括：通过ransac算法平面分割出最大的点云平面，点云平面可以表示为：ax+by+cz+d＝0，其中，x、y、z为三维坐标，a、b、c分别为x、y、z轴的法向量，d为法向量方向上的位移量；绘制预对齐的3d地图中落在分割的点云平面上的点；判断是否存在超过预设值的点分布在3d地图的地面以下；若不存在，则判定预对齐的3d地图合格；若存在，则判定预对齐的3d地图不合格，需要重新获取3d地图。
27.进一步地，旋转模块30旋转预对齐的3d地图以将预对齐的3d地图的地面恢复至水平，得到点云地图，具体包括：获取平面法向量(a,b,c)与垂直法向量(0,0,1)的夹角，所述夹角包括预对齐的3d地图在俯仰方向和横滚方向上需要旋转的角度；将法向量方向上的位移量d归0以保证z轴代表垂直高度；按照在俯仰方向和横滚方向上需要旋转的角度将预对齐的3d地图的点云整体进行旋转，按法向量方向上的位移量d对点云整体进行平移，得到地面水平且地面上的点的垂直坐标z均为0的点云地图。
28.进一步地，恢复模块40对照所述2d地图并恢复所述点云地图和所述2d地图之间的旋转平移，得到与所述2d地图完全对齐的3d地图，具体包括：截取所述点云地图内z轴高度处于预设范围的区间；将所有处于所述区间内的点云压缩在同一个平面上并绘制在图片中；将压缩获得的图片与所述2d地图进行匹配以找出旋转平移量；将所述旋转平移量从所述点云地图上进行恢复，得到与所述2d地图完全对齐的3d地图。其中，将压缩获得的图片与所述2d地图进行匹配以找出旋转平移量具体为：使用icp迭代最近点点云配准方法，计算出压缩获得的图片与所述2d地图相差的平移量和航向方向上的旋转量。本实施方式中，所述
预设范围为激光安装调度的误差范围值，例如0.23m-0.27m，如激光安装高度为0.25m则截取的点云地图内z轴调度为0.25m，当然根据激光安装高度位置的不同，预设范围值也不同。
29.可以理解地，上述各功能模块可以软件程序的形式存储于存储器中，并由处理器执行。替代实施例中，上述各功能模块也可为具有特定功能的硬件，例如，烧录有特定软件程序的芯片。
30.下面结合图2对上述各功能模块进行详细的介绍。
31.如图2所示，其为本发明提供的机器人3d地图的对齐方法的流程图。所应说明的是，本发明的方法并不受限于下述步骤的顺序，且其他实施例中，本发明的方法可以只包括以下所述步骤的其中一部分，或者其中的部分步骤可以被删除。在实施时，所述机器人3d地图的对齐方法可以通过上述机器人3d地图的对齐装置来实现，所述机器人3d地图的对齐装置采用本实施例描述的机器人3d地图的对齐方法中的一个或者多个具体实施方法可以实现3d地图与2d地图对齐。
32.本发明提供的机器人3d地图的对齐方法，应用于机器人，所述方法包括如下步骤：
33.步骤s10：获取机器人运行环境的2d地图。具体的，机器人运行环境即机器人执行任务所处的场景，例如为某一楼层。2d地图可以为机器人巡检行进时所应用的二维地图，二维地图通过机器人预先扫图并存储在机器人内，第一获取模块10能够获取机器人运行环境的2d地图。
34.步骤s20：获取与所述2d地图预对齐的3d地图。具体的，3d地图可以为机器人巡检进行物品识别时所应用的三维地图，三维地图通过机器人预先扫图并存储在机器人内，先人为手动将3d地图参照2d地图进行旋转和平移，将3d地图和2d地图大致对齐，得到预对齐的3d地图，第二获取模块20能够获取与所述2d地图预对齐的3d地图。
35.步骤s30：旋转预对齐的3d地图以将预对齐的3d地图的地面恢复至水平，得到点云地图。具体的，预对齐的3d地图必然会引入依靠人力无法完美对齐导致的误差，故在获取人力预对齐后的地图后，旋转模块30旋转预对齐的3d地图以将预对齐的3d地图的地面恢复至水平，得到点云地图，点云地图具体为一个地面水平且地面平面上的点z均为0的点云地图。
36.步骤s40：对照所述2d地图并恢复所述点云地图和所述2d地图之间的旋转平移，得到与所述2d地图完全对齐的3d地图。具体的，截面对照2d地图，恢复模块40恢复3d和2d地图之间的旋转平移，即可获得和2d地图完全对齐后的3d地图，使得3d和2d地图对齐更加准确。
37.因此，本发明提供的机器人3d地图的对齐方法，先获取机器人运行环境的2d地图，并获取与所述2d地图预对齐的3d地图，再旋转预对齐的3d地图以将预对齐的3d地图的地面恢复至水平，得到点云地图，最后对照所述2d地图并恢复所述点云地图和所述2d地图之间的旋转平移，得到与所述2d地图完全对齐的3d地图，消除了人为对齐存在的误差，使得3d和2d地图对齐更加准确，提高了机器人执行巡检任务时资产标定的准确度。
38.可以理解地，3d点云地图建成是对所有激光点之间进行几何约束，其世界坐标系仍然是独立于所有参照体系之外的，本发明提供的机器人3d地图的对齐方法用于将3d地图进行旋转平移，将其坐标系对标2d地图的坐标系，使每个点的xy坐标调整到和2d地图中该点位的xy坐标一致，将每个点的z轴坐标调整到真实世界的高度。
39.进一步地，所述步骤s20之后，还包括：
40.检验预对齐的3d地图是否合格；若是，则执行步骤s30；若否，则返回步骤s20，重新
获取3d地图。
41.具体的，所述检验预对齐的3d地图是否合格的步骤，包括：
42.通过ransac算法平面分割出最大的点云平面，点云平面可用公式表示为：ax+by+cz+d＝0，其中，x、y、z为三维坐标，a、b、c分别为x、y、z轴的法向量，d为法向量方向上的位移量；
43.绘制预对齐的3d地图中落在分割的点云平面上的点；
44.判断是否存在超过预设值的点分布在3d地图的地面以下；
45.若不存在，则判定预对齐的3d地图合格；若存在，则判定预对齐的3d地图不合格。
46.可以理解地，ransac是“random sample consensus(随机抽样一致)”的缩写，它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。通过ransac算法平面分割出最大的点云平面(ax+by+cz+d＝0)，其中，x、y、z为三维坐标，a、b、c分别为x、y、z轴的法向量，d为法向量方向上的位移量，将3d地图中落在分割平面上的点绘制出来，观测是否水平，以及是否有大量点分布在3d地面以下。如果存在大量点分布在3d地面以下，则重新获取3d地图，则判定预对齐的3d地图不合格，需要重新获取3d地图；如果不存在大量点分布在3d地面以下，则判定预对齐的3d地图合格，执行下一步。
47.进一步地，所述步骤s30，包括：
48.获取平面法向量(a,b,c)与垂直法向量(0,0,1)的夹角，所述夹角包括预对齐的3d地图在俯仰方向和横滚方向上需要旋转的角度；
49.将法向量方向上的位移量d归0以保证z轴代表垂直高度；
50.按照在俯仰方向和横滚方向上需要旋转的角度将预对齐的3d地图的点云整体进行旋转，按法向量方向上的位移量d对点云整体进行平移，得到地面水平且地面上的点的垂直坐标z均为0的点云地图。
51.可以理解地，步骤s30即旋转3d地图将地面恢复至水平。具体的，平面的法向量(a,b,c)与垂直法向量(0,0,1)的夹角，其夹角包含的两个分量即为pitch(俯仰，将物体绕x轴旋转)和roll(横滚，将物体绕z轴旋转)方向上需要旋转的角度，并将d归0以保证z轴代表垂直高度，按照该pitch和roll分量上的角度对点云整体进行旋转，按d对点云整体进行平移后，就可以得到一个地面水平且地面平面上的点z均为0的点云地图。
52.进一步地，所述步骤s40，包括：
53.截取所述点云地图内z轴高度处于预设范围的区间；
54.将所有处于所述区间内的点云压缩在同一个平面上并绘制在图片中；
55.将压缩获得的图片与所述2d地图进行匹配以找出旋转平移量；
56.将所述旋转平移量从所述点云地图上进行恢复，得到与所述2d地图完全对齐的3d地图。
57.本实施方式中，所述将压缩获得的图片与所述2d地图进行匹配以找出旋转平移量的步骤，包括：
58.使用icp迭代最近点点云配准方法，计算出压缩获得的图片与所述2d地图相差的平移量和航向方向上的旋转量。
59.可以理解地，步骤s40即截面对照2d地图，恢复3d和2d地图之间的旋转平移。此处的2d地图是平面激光扫图的结果，激光硬件安装高度为0.23m-0.27m，即所述预设范围为
0.23m-0.27m。在这个环节找到并去除3d地图和2d地图对齐之间相差的yaw(航向，将物体绕y轴旋转)角，先将已经恢复了pitch，roll角和z轴高度的3d地图取z轴高度0.23m-0.27m的区间，该范围即为3d激光扫图结果和2d激光扫图结果相重叠的部分。再将所有在该区间内的点云压在同一个平面上，绘制在图片中。具体的，2d地图无z轴，将3d地图在0.23-0.27区间内的所有点去除z轴变为2d点再绘制到图像中，此时再将压缩获得的图像和2d地图进行匹配，找出旋转平移量。最后，使用icp迭代最近点点云配准方法，计算出两图相差的平移量和yaw方向上的旋转量，将该旋转平移量从3d地图上进行恢复，即可获得和2d地图完全对齐后的3d地图。
60.icp(iterative closest point)算法即迭代最近点算法，该算法一般多用于三维空间内点云配准，不仅适用于平面场景，还适用于曲线和曲面等场景。当点云配准的结果未满足理想精度的要求，通过icp算法，在不断地迭代中降低误差，从而实现理想的精度值，初始的粗略匹配为之后的精准匹配提供了较好的初始位置，而icp算法的作用是把误差进一步的缩小，以无限接近理想精度值。本发明使用icp迭代最近点点云配准方法，计算出两图相差的平移量和yaw方向上的旋转量，将该旋转平移量从3d地图上进行恢复，即可获得和2d地图完全对齐后的3d地图，提高了3d和2d地图的对齐精度，进而提高了机器人执行巡检任务时资产标定的准确度。
61.请参阅图3，本发明还提供一种计算机设备，包括：存储器210及一个或多个处理器220。
62.具体的，存储器210用于存储一个或多个计算机程序；当所述一个或多个计算机程序被一个或多个处理器220执行时，实现上述任意一项实施方式所述的机器人3d地图的对齐方法。
63.其中，所述存储器210可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。其中，存储器210用于存储程序，所述处理器220在接收到执行指令后运行所述程序，实现上述任一实施例所述的机器人3d地图的对齐方法。可以理解，所述处理器220以及其他可能的组件对所述存储器210的访问可在存储控制器的控制下进行。
64.所述处理器220可能是一种集成电路芯片，具有信号的处理能力。处理器220可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等，还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，能够实现或者执行本发明任一实施例中的公开的各方法、步骤。
65.本发明还提供一种计算机存储介质，计算机存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现前述任一实施例所述的机器人3d地图的对齐方法。
66.本发明还提供一种计算机程序产品，包括计算机程序或者指令，所述计算机程序或者指令被处理器执行时，实现前述任一实施例所述的机器人3d地图的对齐方法。
67.需要说明的是，本发明提供的机器人3d地图的对齐方法的所有实施例均适用于本发明提供的机器人3d地图的对齐装置100、计算机设备及计算机存储介质、计算机程序产
品，且均能够达到相同或相似的有益效果。
68.综上，本发明提供的机器人3d地图的对齐方法、装置、计算机设备及计算机存储介质、计算机程序产品，先获取机器人运行环境的2d地图，并获取与所述2d地图预对齐的3d地图，再旋转预对齐的3d地图以将预对齐的3d地图的地面恢复至水平，得到点云地图，最后对照所述2d地图并恢复所述点云地图和所述2d地图之间的旋转平移，得到与所述2d地图完全对齐的3d地图，消除了人为对齐存在的误差，使得3d和2d地图对齐更加准确，提高了机器人执行巡检任务时资产标定的准确度。
69.以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。