一种无人机实时地图重建方法
【技术领域】
[0001] 本发明涉及计算机图像处理与地图测绘领域，具体为一种无人机实时地图重建方 法，应用无人机实时地获得其周围环境的三维地图以及实现对自身的定位。
【背景技术】
[0002] 传统的测绘技术将地面的特征点和界线通过测量手段(比如利用遥感、激光、超声 波等)获得反映地面现状的图形和位置信息。传统的测绘技术对于传感器要求较高，虽然其 测绘精度高，但是高成本和从信息采集到得出结果所需的时间长制约了传统测绘在一些场 合(例如对时效性要求比较高）的应用。
[0003] 基于计算机视觉的SLAM(Simultaneous Localization and Mapping)，即同时定 位与地图构建，由于其重要的理论与应用价值，一直以来都是学者研究的热点。但目前视觉 SLAM的三维地图重建，还存在着运行速度较慢，达不到实时进行地图重建要求的问题。
【发明内容】
[0004] 为解决现有技术存在的问题，本发明提出了一种无人机实时地图重建方法，在保 证其鲁棒性（即重建精度）、在对传感器依赖比较少的前提下，最大限度利用获取到的图像 信息，并通过高效的信息处理实现了实时三维环境重建。
[0005] 本发明利用无人飞行器搭载相机，通过对其采集到的数据信息进行处理以实时地 获取自身姿态和三维环境的地图。本文涉及：①基于视觉的SLAMJFMbtruct-from-motion) 即运动中建图 ： 无人飞行器在未知空域飞行，在自身位置不确定的条件下，通过对 环境信息的探测和比较，对环境的特征信息的提取和匹配，来获取自身的定位以及进行三 维地图的构建;②地理信息的融合:包括融入GPS信息;③图像拼接技术:基于特征点和直接 图像对齐;本发明将可以应用于以下场合:战场需求(如无人机自主飞行、攻击）；火灾/地 震/洪水等灾害应急救援;无人机治安管理监控等。
[0006] 本发明的技术方案为：
[0007] 所述一种无人机实时地图重建方法，其特征在于:包括以下步骤：
[0008] 步骤1:对相机获取的第一帧图像进行如下处理：
[0009] 步骤1.1:对第一帧图像进行去畸变处理，得到去畸变后的第一帧图像；
[0010] 步骤1.2:对去畸变后的第一帧图像进行深度初始化:根据设定的灰度梯度阈值， 筛选出去畸变后的第一帧图像中灰度梯度大于灰度梯度阈值的像素点，并赋予所筛选出的 像素点随机深度值；
[0011] 步骤1.3:根据相机参数将步骤1.2中赋予深度值的像素点反投影回三维环境，得 到初始化后的地图；
[0012] 步骤1.4:将去畸变后的第一帧图像设置为关键帧；
[0013] 步骤2:对相机实时获得的第i帧图像进行如下处理，i = 2，3，4……：
[0014]步骤2.1:对第i帧图像进行去畸变处理，得到去畸变后的第i帧图像；
[0015] 步骤2.2:以当前关键帧为基准，进行去畸变后的第i帧图像与基准的图像对齐操 作，得到第i帧到当前关键帧的位姿变化；
[0016] 步骤2.3:根据当前关键帧对应的相机姿态，以及步骤2.2得到的第i帧到当前关键 帧的位姿变化，得到第i帧对应的相机姿态和相机在局部坐标下的位置；
[0017]步骤2.4:根据设定的灰度梯度阈值，筛选出去畸变后的第i帧图像中灰度梯度大 于灰度梯度阈值的像素点，并根据相机参数和步骤2.3得到的第i帧对应的相机姿态，将筛 选出的像素点反投影回三维环境，得到所筛选出的像素点深度值;并将所筛选出的带有深 度值的像素点加入地图中；
[0018] 步骤2.5:若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化 阈值，则用第i帧代替当前关键帧作为新的关键帧。
[0019] 进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于：
[0020] 提取并存储每一个关键帧图像中的特征点；
[0021 ]若步骤2.2中图像对齐操作无法实现，则进行失败重建：
[0022]提取去畸变后的当前帧图像的特征点，将当前帧的特征点与存储的每一个关键帧 图像中的特征点进行匹配，寻找成功匹配特征点个数最多的关键帧，若该关键帧中成功匹 配特征点的个数占该关键帧中特征点总数的比例不大于40%，则以当前帧作为第一帧，返 回步骤1;否则以该关键帧作为为基准，进行去畸变后的当前帧图像与基准的图像对齐操 作，得到当前帧到当前关键帧的位姿变化；
[0023] 根据基准对应的相机姿态，以及当前帧到当前关键帧的位姿变化，得到当前帧对 应的相机姿态；
[0024] 根据设定的灰度梯度阈值，筛选出去畸变后的当前帧图像中灰度梯度大于灰度梯 度阈值的像素点，并根据相机参数和当前帧对应的相机姿态，将筛选出的像素点反投影回 三维环境，得到所筛选出的像素点深度值;并将所筛选出的带有深度值的像素点加入地图 中；而后继续按照步骤2进行。
[0025] 进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于:采用快速角 点检测方法提取特征点。
[0026] 进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于:步骤2.4中， 将所筛选出的带有深度值的像素点加入地图的过程中，若某一像素点反投影后，在地图中 对应的三维点的邻域内，已存在有地图三维点，则将该像素点反投影后在地图中对应的三 维点，以及三维点邻域内的已存在的地图三维点去除，并将该像素点反投影后在地图中对 应的三维点，与三维点邻域内的已存在的地图三维点的加权平均点加入地图中。
[0027] 进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于:步骤2.5中， 若步骤2.2得到的第i帧到当前关键帧的位姿变化大于设定的位姿变化阈值，且第i帧与当 前关键帧的帧数差不小于15帧，则用第i帧代替当前关键帧作为新的关键帧。
[0028] 进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于:步骤2.2中 的图像对齐操作采用以下过程：
[0029]先设定第i帧到当前关键帧的位姿变化的初始值;根据第i帧到当前关键帧的位姿 变化，将当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点反投影到三维环境， 再从三维环境投影到去畸变后的第i帧图像上，得到投影点；并在去畸变后的第i帧图像上 找到，当前关键帧中筛选出的灰度梯度大于灰度梯度阈值的像素点的对应点；计算投影点 与对应点的光度值残差和;迭代变化第i帧到当前关键帧的位姿变化，使光度值残差和最 小。
[0030]进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于:采用第i-1 帧到当前关键帧的位姿变化作为第i帧到当前关键帧的位姿变化的初始值。
[0031 ]进一步的优选方案，所述一种无人机实时地图重建方法，其特征在于:步骤2.4中， 得到所筛选出的像素点深度值后;采用图优化方法对第i帧对应的相机在局部坐标下的位 置，以及