一种室内外通用的高精度实时测量方法与流程

1.本发明涉及工程测量领域，具体涉及一种室内外通用的高精度实时测量方法。


背景技术：

2.工程施工过程需要测量很多参数，例如在建筑领域需要测量建筑占地面积和楼层高度等参数，传统的测量方式主要依靠人工完成，不仅劳动强度大、测量效率低、还无法保证测量精度和数据监测的实时性。随着无人机技术发展的日益成熟，将无人机引入工程测量领域实现高精度实时测量成为可能。通常在无人机上安装多种传感器进行参数采集，将采集的数据进行处理后可实现场景的构建，对构建出的场景运用相匹配的算法可计算出所求工程参数。
3.无人机测量主要由智能决策、环境感知和运动控制三个模块构成，其中环境感知是一切的基础。无人机感知环境需要一套性能强大的传感器来采集数据，同时需要相应的算法来处理分析数据，在环境感知模块中，视觉传感器是不可或缺的。
4.slam（simultaneous localization and mapping）是指同步定位与地图构建，即：载有特定传感器的主体在没有先验信息的情况下，通过计算特定传感器获取图像帧来估计自身运动的轨迹，并建立周围环境的地图，被广泛应用于机器人、无人机、自动驾驶、增强现实、虚拟现实等领域。slam可分为激光slam和视觉slam，前者理论较为成熟很早就被应用于工程中，其采用激光雷达作为传感器可视范围广，但缺点是激光雷达智能感知的结构信息是二维信息，信息量较少且易丢失大量的环境信息，使其应用场景受到限制；虽然激光雷达点云的精度和范围优于其他深度相机，但纯激光雷达slam系统由于激光雷达不能提供像相机一样高的角度分辨率，因此它容易在隧道或走廊等不太突出的结构环境中出现故障，它还缺乏闭环检测，使得算法只关注局部精度，而没有全局姿态和地图优化；后者的感知信息源为相机图像，根据相机类型可分为单目slam、双目slam和rgb
‑
d slam，因视觉slam图像具有丰富信息，在21世纪得以快速发展。视觉slam有一个典型假设是场景固定，若有动态物体出现不仅影响相机位姿的估计而且在地图中留下残影，进而影响地图构建质量。并且，相机在高速运动情况下所捕捉的照片容易模糊，极大的影响了特征点的提取与匹配。若能将激光slam和视觉slam技术进行结合使用，利用相机的最佳角度分辨率和激光雷达的最佳深度及距离，则可以兼具两者的优点并互补各自的不足。
5.orb
‑
slam是基于特征点的实时单目slam系统，该算法可以实时运行在狭小的室内环境和宽阔的室外环境中，对剧烈运动具有鲁棒性。orb
‑
slam2是在orb
‑
slam算法基础上发展起来的，还支持标定后的双目相机和rgb
‑
d相机，其精度更高，并能在标准cpu上实时工作。orb
‑
slam2虽然支持双目相机和rgb
‑
d相机对深度估计的支持，但这两种相机都有缺点，特别是在估计具有长深度的室外物体时，双目相机需要长基线来进行精确的长深度估计，这在现实测量中通常不容易实现，此外双目相机之间的校准也容易受到机械变化的影响，致使深度估计精度降低；而rgb
‑
d相机在室外通常容易受到太阳光的影响，有效工作范围一般小于10米。
6.orb
‑
slam2能够实现地图重用、回环检测和重新定位，其采用了光束优化法（ba，bundle adjustment），从视觉重建中提取出优化的3d模型和相机参数（内参数和外参数），从每一个特征点反射出来的几束光线，在我们把相机姿态和特征点空间位置做出最优的调整之后，最后收束到相机光心的过程。
7.orb
‑
slam2系统优化在跟踪过程中相机的位姿，优化本地窗口的关键帧和局部地图的特征点，并且在回环检测之后优化所有的关键帧和特征点（全局ba）。orb
‑
slam2系统主要包括四个线程：特征跟踪、局部建图、回环检测、ba优化，“特征跟踪”是通过寻找对局部地图的特征进行匹配，以及只运用ba算法来最小化重投影误差，进行跟踪和定位每帧的相机；“局部建图”是运用局部的ba算法设置局部地图并且优化；“回环检测”是通过执行位姿图的优化来更正累计漂移误差，在位姿优化之后执行全局ba算法，来计算整个系统最优结构和运动的结果；“ba优化”是优化所有的关键帧和特征点，输出优化后的定位结果。
8.本发明将orb
‑
slam2系统引入建筑工程测量中实现室内外高精度的实时测量，但鉴于现有的orb
‑
slam2系统仍存在一切不足，即：在光照突变、室外光照太强或太弱环境下，特征点提取鲁棒性较差；以及在动态环境下，如相机大角度转动时特征点丢失问题，或者在视野中有动态物体运动等复杂环境下对特征点提取存在影响。上述缺陷导致将现有orb
‑
slam2系统用于建筑工程测量会影响测量精度和鲁棒性的问题，因此需要对现有orb
‑
slam2系统进行改进，即解决室内外通用不受光照影响提高鲁棒性。


技术实现要素：

9.本发明公开一种室内外通用的高精度实时测量方法，是将激光slam和视觉slam进行融合，提高测量精度和大规模建图的效率，并且可在室外强光下鲁棒地操作，通用性好。
10.为了实现上述目的，本发明所采用的技术方案为：一种室内外通用的高精度实时测量方法，包括如下内容：捕获安装于同一移动平台的rgb
‑
d相机及激光雷达各自采集的数据，所述移动平台为无人机或机器人，所述相机采集获得rgb图像数据，激光雷达采集获得不同时间戳下的原始数据点云，将不同时间戳下的每个原始数据点云通过惯性测量单元进行失真校正，求得从激光雷达坐标系到相机坐标系的变换矩阵，获得失真校正后激光雷达数据点云与相机rbg图像数据的对应关系，根据相机的外部校准参数投影到深度图像中，然后将rgb图像数据与深度图像组合处理成rgb
‑
d帧输出；将处理后的rgb
‑
d帧作为视觉slam系统的输入进行特征跟踪，特征跟踪输出的关键帧一方面进行局部建图，然后通过回环检测进行姿态图优化，回环检测后进行全局ba，一方面通过点云融合线程获得稠密点云，进而实现全局场景地图的构建；所述视觉slam系统需支持rgb
‑
d相机作为输入且能在cpu上实时运行；根据测量任务选择相应匹配的视觉算法，借助构建出的场景地图计算出所求的工程测量参数。
11.进一步，所述rgb图像数据与深度图像需被格式化为相等尺寸，且在像素方面对应。
12.进一步，所述移动平台处于静止且未触发人机交互状态时，相机和激光雷达的自动校准程序启动。
13.进一步，所述相机和激光雷达的自动校准方式如下：移动平台在静止状态下积累激光雷达一段时间内的扫描点，同时捕获相机采集图像，通过激光雷达点云与相机采集图像的对应关系，在现实场景中基于场景信息进行相机和激光雷达的自动校准，然后对校准结果进行评估并输出。
14.进一步，所述一段时间优选5
‑
10秒。
15.进一步，所述视觉slam系统优选采用orb
‑
slam2系统，或者采用orb
‑
slam3系统，或者采用infinitam v3系统。
16.进一步，所述rgb
‑
d相机优选采用mv
‑
ce060
‑
10uc滚动快门相机。
17.进一步，所述激光雷达优选采用livox地平线激光雷达。
18.进一步，所述视觉算法包括如下其一或者多个：目标检测算法、边缘轮廓提取算法、图像分割算法、图像拼接算法、三维重建算法。
19.进一步，所述视觉算法包括目标检测算法时可以在如下算法中选择：faster r
‑
cnn算法、yolo v3算法、ssd算法、dssd算法；所述视觉算法包括边缘轮廓提取算法时可以在如下算法中选择：roberts算子、prewitt算子、sobel算子、marr
‑
hilderth边缘检测器、canny边缘检测器。
20.本发明将视觉slam系统引入工程测量中实现实时自动测量，在传统视觉slam系统基础上，融合了激光雷达作为深度传感器进行大范围数据点云的采集，不仅提高了工程测量的精度，还拓宽了视觉slam适用场景，使之同时适用于室内外测量使用，具有很好的鲁棒性。
21.本发明通过相机和激光雷达的融合使用，在获取激光雷达精确深度信息的点云的同时，可以利用相机提供的高角度和高颜色信息，使得slam系统可以以更高的精度和效率执行大规模建图，并且可以在大规模室外场景、强日光环境以及动态环境中更加鲁棒地操作，不仅提高了slam系统的远距离探测能力和整体测量精度，也有助于更稳健有效的定位和建图。
附图说明
22.图1为本发明测量方法流程图；图2为本发明方法中对rgb
‑
d帧预处理示意图；图3为本发明方法中采用视觉slam系统的线程示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
24.本实施例公开一种室内外通用的高精度实时测量方法，主要以用于建筑工程测量为例加以介绍，结合图1至图3对具体内容介绍如下：本方法是基于视觉slam系统上实现的，借助安装在移动平台（无人机或机器人）上的相机和激光雷达作为采集测量数据的传感器。考虑到单纯采用传统视觉slam系统中的相机采集数据时，若有动态物体出现不仅影响相机位姿的估计而且在地图中会留下残影，进而影响地图构建质量；并且，相机在高速运动情况下所捕捉的照片容易模糊。因此，本发明同时引入了激光雷达作为深度传感器，因为激光雷
达采集数据点云的精度和范围远优于其他深度相机，且不易受到室外强光干扰，具有较好的鲁棒性。
25.考虑到用于建筑测量上需要较高的测量精度，并且能够实时测量，本发明选用的视觉slam系统需支持rgb
‑
d相机作为输入且能在cpu上实时运行，满足上述要求的视觉slam系统包括但不限于以下列举出的系统：orb
‑
slam2系统，orb
‑
slam3系统，infinitam v3系统。本实施例选用的是orb
‑
slam2系统架构作为基础，在传统特征跟踪、局部建图、回环检测、全局ba四个线程基础上增加了点云融合线程，目的提高测量精度和鲁棒性。本实施例中使用的rgb
‑
d相机为mv
‑
ce060
‑
10uc滚动快门相机，使用的激光雷达为livox地平线激光雷达。
26.整个测量方法大致分为四步：第一步：数据采集前相机和激光雷达的自动校准；为了不影响测试系统在建筑工程测量时的实时性能，相机和激光雷达的自动校准程序仅在非受控场景下启动，所谓的非受控是指移动平台处于静止状态且没有人机交互情况下。其中，相机和激光雷达的自动校准方式如下：移动平台在静止状态下积累激光雷达一段时间（约5
‑
10秒）内的扫描点，同时捕获相机采集图像，通过激光雷达点云与相机采集图像的对应关系，在现实场景中基于场景信息进行相机和激光雷达的自动校准，然后对校准结果进行评估并输出，以消除运动模糊。
27.第二步：采集的数据预处理；相机采集可获得rgb图像数据，激光雷达持续非重复扫描环境，因此获得不同时间戳下的原始数据点云，需要对该数据点云进行校正来实现严格的时间同步，即：将不同时间戳下的每个原始数据点云通过惯性测量单元进行失真校正。失真校正后的数据点云需建立与相机rgb图像数据的对应关系，令两者数据进行融合，即求得从激光雷达坐标系到相机坐标系的变换矩阵（包括旋转矩阵和平移向量等）。根据相机的外部校准参数投影到深度图像中，rgb图像数据与深度图像需被格式化为相等尺寸，且在像素方面对应，然后将rgb图像数据与深度图像组合处理成rgb
‑
d帧输出。
28.第三步：全局地图的构建；在传统orb
‑
slam2系统基础上，本实施例将处理后的rgb
‑
d帧作为视觉slam系统的输入进行特征跟踪，对特征跟踪输出的关键帧进行局部建图，然后通过回环检测进行姿态图优化，回环检测后进行全局ba，此外，改进后的系统增加了“点云融合”线程，传统orb
‑
slam2系统的关键帧建图得到的点云是稀疏点云，本发明增加的点云融合线程可以获得稠密点云，进而实现全局场景地图的构建。新增的点云融合线程是指从稀疏点云到稠密点云的融合过程，该线程包含了点云生成和关键帧插入。
29.第四步：根据具体测量任务来选择相应匹配的视觉算法，借助构建出的场景地图计算出所求的工程测量参数。常用于建筑工程测量的视觉算法有以下几种：目标检测算法、边缘轮廓提取算法、图像分割算法、图像拼接算法、三维重建算法，具体可根据测量需要灵活选择其一或者组合使用。在建筑测量中目标检测算法和边缘轮廓算法较为普遍使用，其中，目标检测算法包括：faster r
‑
cnn算法、yolo v3算法、ssd算法、dssd算法等；边缘轮廓提取算法包括：roberts算子、prewitt算子、sobel算子、marr
‑
hilderth边缘检测器、canny边缘检测器等。
30.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换
和变型，本发明的范围由所附权利要求及其等同物限定。