障碍物的三维重建方法、装置、移动机器人及介质与流程

本申请涉及障碍物检测，具体涉及一种障碍物的三维重建方法、装置、移动机器人及介质。

背景技术：

1、当随着移动机器人智能化的发展，对于其环境感知能力提出了更高的要求。当移动机器人执行任务时，不仅希望能对周围环境中存在的障碍物进行避障，更希望能对这些障碍物的表面轮廓进行三维重建，从而能获得障碍物的形状信息，对其进行精准和流畅避让。

2、传统的三维重建方法需要手持激光扫描仪等移动设备，对待测物体进行360°环绕扫描，在复杂的计算以及长时间的等待后得到三维重建结果，重建效果不理想。

技术实现思路

1、本申请实施例针对上述情况，提出了一种障碍物的三维重建方法、装置、移动机器人及介质，以提供一种成本低、轻量化、计算量小、实时性高、易部署的障碍物的三维重建方法。

2、第一方面，本申请实施例提供了一种障碍物的三维重建方法，包括：

3、获取移动机器人执行平面任务时在不同位置的相机坐标系下的多帧初始三维点云；

4、将各帧所述初始三维点云映射为世界坐标系下的环境三维点云，并将得到的多帧环境三维点云进行融合，得到目标障碍物的观测三维点云；

5、对所述观测三维点云依次进行分割和聚类，得到所述目标障碍物的三维重建表面轮廓。

6、可选的，在上述方法中，所述移动机器人装载有线激光模组，所述获取移动机器人执行平面任务时在不同位置的相机坐标系下的多帧初始三维点云，包括：

7、按照预设的时间周期，通过所述激光模组发射的光射线，获取所述移动机器人执行平面任务时在像素坐标系下的激光线中心的原始点云；

8、基于所述相机坐标系到像素坐标系的映射，根据所述激光线中心的原始点云，建立第一约束；

9、基于所述相机坐标系下的线激光光平面方程，建立第二约束；

10、联合所述第一约束和所述第二约束，确定在相机坐标系下的一帧初始三维点云。

11、可选的，在上述方法中，所述将各帧所述初始三维点云映射为世界坐标系下的环境三维点云，包括：

12、确定所述相机坐标系到所述机器人坐标系的第一变换矩阵；

13、读取并根据所述移动机器人在世界坐标系下的位姿，确定所述机器人坐标系指定轴在所述世界坐标系下的第一坐标；

14、根据所述第一坐标和所述世界坐标系的指定轴单位坐标，确定所述机器人坐标系到所述世界坐标系的第二变换矩阵；

15、根据各帧所述初始三维点云、所述第一变换矩阵、以及所述第二变换矩阵，确定各帧所述初始三维点云在所述世界坐标系下的环境三维点云。

16、可选的，在上述方法中，所述对所述观测三维点云依次进行分割和聚类，得到所述目标障碍物的三维重建表面轮廓，包括：

17、基于地面点云过滤条件，对所述观测三维点云进行过滤，得到第一中间点云；

18、基于墙面点云过滤条件，对所述第一中间点云进行过滤，得到第二中间点云；

19、对第二中间点云进行聚类，得到至少一个点云集合；

20、根据预设的障碍物体积阈值，确定所述点云集合是否为所述目标障碍物的三维重建表面轮廓。

21、可选的，在上述方法中，所述基于地面点云过滤条件，对所述观测三维点云进行过滤，得到第一中间点云，包括：

22、确定所述观测三维点云中的各点云的高度值是否大于预设的地面高度阈值，若是，则将对应的点云归属于所述第一中间点云；

23、所述基于墙面点云过滤条件，对所述第一中间点云进行过滤，得到第二中间点云，包括：

24、获取通过装载于所述移动机器人的雷达激光采集的墙面距离；

25、确定所述第一中间点云中的各点云的高度值是否小于所述墙面距离，若是，则将对应的点云归属于所述第二中间点云。

26、可选的，在上述方法中，所述根据预设的障碍物体积阈值，确定所述点云集合是否为所述目标障碍物的三维重建表面轮廓，包括：

27、确定一个点云集合的体积是否小于所述障碍物体积阈值，若是，则确定所述点云集合为目标障碍物，并将所述点云集合确定为所述目标障碍物的三维重建表面轮廓。

28、可选的，上述方法还包括：

29、根据所述目标障碍物的三维重建表面轮廓，提取所述目标障碍物的表面结构特征，所述表面结构特征至少包括：曲率、角点；

30、获取通过装载于所述移动机器人的图像传感器采集的图像信息和纹理信息；

31、联合所述表面结构特征、所述图像信息、以及所述纹理信息，确定所述目标障碍物的类型。

32、第二方面，本申请实施例还提供了一种障碍物的三维重建装置，所述装置包括：

33、获取单元，用于获取移动机器人执行平面任务时在不同位置的相机坐标系下的多帧初始三维点云；

34、映射单元，用于将各帧所述初始三维点云映射为世界坐标系下的环境三维点云，并将得到的多帧环境三维点云进行融合，得到目标障碍物的观测三维点云；

35、重建单元，用于对所述观测三维点云依次进行分割和聚类，得到所述目标障碍物的三维重建表面轮廓。

36、第三方面，本申请实施例还提供了一种移动机器人，包括：处理器；以及存储器，用于存储所述处理器的可执行指令，其中，所述处理器配置为经由可执行指令来执行上述任一的障碍物的三维重建方法。

37、第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上任一所述障碍物的三维重建方法。

38、本申请实施例采用的方法至少能够达到以下有益效果：

39、本申请在移动机器人执行平面任务时，获取其在不同位置的相机坐标系下的多帧初始三维点云，然后将各帧初始三维点云映射为世界坐标系下的环境三维点云，并将得到的多帧环境三维点云进行融合，得到障碍物物体表面及障碍物所在的局部环境的观测三维点云，最后，对观测三维点云依次进行分割过滤，将保留下来的点云进行聚类，即可得到目标障碍物的三维重建表面轮廓。本申请的障碍物的三维重建方法具有成本低、轻量化、计算量小、实时性高、易部署等特性，主要适用于移动机器人在执行平面任务时对小障碍物的检测，能够精确获取小障碍物的形貌，从而帮助移动机器人执行相应的任务；也可用于小障碍物的辅助识别。

技术特征：

1.一种障碍物的三维重建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述移动机器人装载有线激光模组；

3.根据权利要求1所述的方法，其特征在于，所述将各帧所述初始三维点云映射为世界坐标系下的环境三维点云，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述观测三维点云依次进行分割和聚类，得到所述目标障碍物的三维重建表面轮廓，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于地面点云过滤条件，对所述观测三维点云进行过滤，得到第一中间点云，包括：

6.根据权利要求4所述的方法，其特征在于，所述根据预设的障碍物体积阈值，确定所述点云集合是否为所述目标障碍物的三维重建表面轮廓，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种障碍物的三维重建装置，其特征在于，所述装置包括：

9.一种移动机器人，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7任一项所述的障碍物的三维重建方法。

技术总结
本申请涉及一种障碍物的三维重建方法、装置、移动机器人及介质，其方法包括：获取移动机器人执行平面任务时在不同位置的相机坐标系下的多帧初始三维点云；将各帧所述初始三维点云映射为世界坐标系下的环境三维点云，并将得到的多帧环境三维点云进行融合，得到目标障碍物的观测三维点云；对所述观测三维点云依次进行分割和聚类，得到所述目标障碍物的三维重建表面轮廓。本申请的障碍物的三维重建方法具有成本低、轻量化、计算量小、实时性高、易部署等特性，主要适用于移动机器人在执行平面任务时对小障碍物的检测，能够精确获取小障碍物的形貌，从而帮助移动机器人执行相应的任务；也可用于小障碍物的辅助识别。

技术研发人员：蔡为燕,罗晗
受保护的技术使用者：北京石头创新科技有限公司
技术研发日：
技术公布日：2024/1/13