基于无人机的双目视觉三维测绘系统和方法
【专利摘要】本发明涉及一种基于无人机的双目视觉三维测绘系统和方法。该系统以无人机作为载体，利用双目测量装置作为三维测绘的基本单元，通过地面控制无人机在被测物上方飞行，以获得完全覆盖被测物的左右视频图像序列。该方法首先通过对左右视频图像进行特征点提取和特征匹配，并结合左右摄像机参数完成局部三维点云重建；然后，对左摄像机相邻图像进行特征匹配，以确定局部三维点云的对应点，并估计两个三维点云之间坐标变换；最后，将局部三维点云的坐标统一化完成三维测绘。本发明用双目测量替代传统的激光雷达，用软件算法估算无人机的位姿，具有成本低、适用范围广、操控简单的优点。
【专利说明】
基于无人机的双目视觉三维测绘系统和方法
技术领域
[0001] 本发明涉及一种基于无人机的双目视觉三维测绘系统和方法，本发明所属技术领 域为测绘遥感及视觉测量技术领域，尤其适用于对道路、楼宇等大型工程基建的三维信息 提取。
【背景技术】
[0002] 随着我国经济的飞速发展，公路、铁路、房地产等基础建设规模很大，需要对工程 施工开挖的土石方或填埋的土石方进行测绘计算。传统的基于地面人工测绘的方法，测量 效率和测量精度受到很大限制。如何利用现代高技术，快速高效、高精度地确定这些基础工 程的施工量，对于提高工程的进度、缩短施工周期和降低成本有非常重要的意义。本发明 "基于无人机的双目视觉三维测绘系统和方法"，是将双目视觉立体测量系统放置在无人机 平台上，通过无人机飞行，实现对道路等基础工程等快速立体测绘。该方案也可以用于渣土 或者煤渣堆积的监测和管理，以及快速评估某些突发事件的破坏量。
[0003] 由于无人机具有飞行灵活、价格低廉、续航时间长、控制范围大、可重复使用和有 效载荷大等优点，采用无人机挂载摄像机代替人工对大型施工场地、渣土或者煤渣或者进 行巡查成为新的监管手段。但是传统的航空摄影测绘只能得到二维数字图片，针对这一问 题，2015年专利公布号为CN104386249A的中国发明专利"一种快速测绘多旋翼无人机及其 测绘方法"采用MU姿态测量单元和调整支架让摄像机光轴始终保持与地面垂直，然后以比 例换算的方法得到测绘数据。其缺陷在于系统中包含全球定位系统GPS单元、頂U单元、控制 电机和调整云台机构，这些机构的引入在加大无人机的载重和电力供应同时，增加了使用 成本。最为重要的是该发明无法提供高度方向的测绘信息，因此，该发明只能用于二维测 t/h. PZJ 〇
[0004] 目前，对于机载三维测绘的应用主要采用挂载3D激光雷达扫描得到局部三维点 云，然后结合GPS和惯性导航系统（INS)得到的无人机位姿，完成被测物整体的三维测绘功 能。这种三维测绘方法的缺点为：（1)3D激光雷达价格昂贵、重量大，对无人机的载重要求 高，不能应用在目前广泛使用的小型无人机上。（2)需要辅助的无人机位姿测量设备(GPS和 INS)完成最终的测量三维坐标统一化，因此位姿测量精度直接影响最终的三维测绘精度。 (3)这种方法得到的扫描三维点云与无人机的飞行路径和姿态密切相关，为得到均匀致密 的三维测绘点需要对飞行器的飞行路径进行精确控制。
[0005] 经检索，中国专利公布号为CN102313536A，申请公布日为2012年1月11日，发明名 称为:基于机载双目视觉的障碍物感知方法，将双目视觉挂载在无人机上，其发明目的是通 过双目视觉的三维重建功能，对飞行器所处环境进行三维感知和自主避障导航，并不具备 三维测绘功能。
【发明内容】
[0006] 为了解决现有无人机三维测绘系统中存在的经济成本高、需要高精度辅助位姿测 量设备、不能适用于小型无人机及飞行位姿控制复杂等技术问题，提出了基于无人机的双 目视觉三维测绘系统和方法。
[0007] 本发明解决技术问题所采用的技术方案如下：
[0008] 一种基于无人机的双目视觉三维测绘系统，包括无人机、双目测量装置、地面控制 中心。
[0009] 所述的无人机包括供电电池组、机载控制单元和WIFI或无线电传模块。供电电池 组为无人机上的电子通信和图像采集设备提供必要的电力保障;机载控制单元接收WIFI或 无线电传模块从地面控制中心得到的指令;WIFI或无线电传模块除了接收地面控制指令 外，还主动向地面控制中心发送拍摄图像。
[0010] 所述的双目测量装置包括左右摄像机、双目支撑机构、存储SD卡、固定连接机构。 左右摄像机采集无人机飞行过程中的航拍视频图像，右摄像机的视频图像直接存储到对应 的SD卡中，左摄像机的视频图像除了存储在SD卡中，还分出一路给WIFI或无线电传模块，传 输实时采集图片地面控制中心；双目支撑结构保证两个摄像机在飞行过程中，相对位置和 姿态保持恒定，与左右摄像机一起组成双目三维传感器；固定连接机构用于将双目三维传 感器固定在无人机上。
[0011] 所述的地面控制中心与前述WIFI或无线电传模块通信，用于控制无人机的飞行高 度和飞行轨迹，同时具备控制左右摄像机的存储开始和停止功能。
[0012] 更进一步地，所述的左右摄像机为相同型号的摄像机具有相同的焦距和分辨率， 并且采集图像时同步曝光。
[0013] 更进一步地，所述的双目三维传感器为平行配置的双目结构，挂载在无人机的底 部。
[0014] 更进一步地，所述的双目固定机构和固定连接机构都采用碳纤维材料以减轻整体 重量。
[0015] 本发明的基于无人机的双目视觉三维测绘方法，包含以下步骤：
[0016] 步骤1:根据小孔成像模型，确定双目三维传感器的内参数即摄像机焦距.f和外部 结构参数即左右摄像机的基线距离B。
[0017] 步骤2:观察实时传回的左摄像机图像，控制无人机到适当高度，在被测量的大型 渣土或者煤渣上空飞行，以获得完全覆盖被测物的左右视频图像序列。
[0018] 步骤3:将SD卡中的左右摄像机视频导入到电脑中，按时间顺序对视频图像帧进行 编号，形成双目左右图像序列对。
[0019] 步骤4:对每一组左右图像对，先提取特征点，然后匹配特征点，最后以左摄像机为 坐标系重建特征点的局部三维坐标。
[0020] 步骤5:结合左相机序列图像，匹配两个连续序列组的三维点云，解算两个局部坐 标系之间的变换关系。
[0021] 步骤6:将所有的局部三维坐标转化到一个坐标系下，完成局部三维坐标的统一 化，得到三维测绘结果。
[0022]与现有三维测绘技术相比，本发明至少具有如下优点：
[0023] (1)本发明采用双目视觉作为三维测绘传感器，其结构简单、成本低廉、重量轻，可 以挂载在小型无人机上，具有广阔的应用前景。
[0024] (2)本发明采用软件方法估计得到局部坐标系之间的变换关系，无需辅助的无人 机位姿测量硬件设备，这是用于无人机测绘中三维局部点云统一化的一项原理创新。
[0025] (3)本发明只需拍摄视频图像覆盖被测量区域即可，对无人机的飞行路线无特殊 要求，具有操作简单，使用方便的优势。
【附图说明】
[0026]图1为本发明的一种基于无人机的双目视觉三维测绘系统示意图；
[0027] 图2为本发明实施例的一种典型测绘飞行路线；
[0028] 图3为本发明实施例的基于无人机的双目视觉三维测绘方法流程图。
[0029]图4为本发明的平行双目三维传感器原理图；
[0030]附图标记表示为：
[0031 ] 1-无人机;2-电池组;3-机载控制单元;4-WIFI或无线电传模块;5-固定连接机构； 6-带SD卡存储的左摄像机;7-带SD卡存储的右摄像机；8-双目支撑机构；9 .被测渣土或煤 渣。
【具体实施方式】
[0032]本发明的三维测绘方法是一种以双目立体视觉重建为基础并结合软件算法估算 无人机位姿连续变化的方法，下面结合附图详细说明本发明的系统组成结构和三维测绘实 施过程。
[0033]附图1为一种基于无人机的双目视觉三维测绘系统组成原理图，系统包括：无人 机，电池组，机载控制单元，WIFI或无线电传模块，固定连接机构，带SD卡的左右摄像机和双 目支撑机构，左右摄像机和双目支撑机构组成双目三维传感器，固定连接机构将双目三维 传感器固定在无人机的底部。系统工作时，电池组为无人机上的电子设备提供动力源，地面 控制中心与无人机上的WIFI或无线电传模块连接，接收其传回的左摄像机实时图像，并向 无人机发送控制指令，机载控制单元控制无人机的飞行高度和方向，同时具备控制左右摄 像机的存储开始和停止功能。针对某一次具体测绘任务，操控人员在地面控制中心，首先， 控制无人机到达被测物上方约3_5m并启动视频图像的存储功能;其次，控制无人机以如附 图2所示的飞行路径在被测物上方飞行，当飞行路径完全覆盖被测物后，停止视频图像存 储;最后，控制无人机返回控制中心，处理SD卡中的视频图像得到三维测绘结果。
[0034]如附图3所示，根据本发明实施例的基于无人机的双目视觉三维测绘方法包括以 下步骤：
[0035]步骤1，导入SD卡中的左右摄像机视频图像序列分别编号为ImgLi，ImgRi;下标i为 图像序号；
[0036]步骤2，对所有图像提取Harris图像特征点；
[0037] 步骤3，对每一个左右图像对{ImgLi，ImgRi}中的Harr is特征点进行特征匹配，具体 的匹配方法如下：
[0038] (1)以左图像中的特征点为中心，在图像上截取5X5的子图像区域，组成特征向 量。
[0039] (2)取左图像中的某一特征向量，以向量夹角余弦值作为匹配度量，在右图像中寻 (1) 找匹配向量，匹配度量的公式如下：
[0041] 其中Vl，Vr分别为左右图像的特征向量，C越大，相似度越高。这里取C最大的向量， 作为匹配向量。考虑平行配置双目结构的对极几何约束，在右图像中只计算与特征点具有 相同纵坐标的特征点以提高搜索效率。
[0042] (3)对左图像每一个特征点执行步骤(1)、（2)确定左右图像初始匹配点对，进而应 用随机抽样一致(RANSAC)算法及视差约束剔除误匹配点对。
[0043] 步骤4,计算匹配点在左相机坐标系下的三维坐标，如附图4所示，空间点P 在左右摄像机图像中的投影点，即mjPm2为一对匹配点，则结合双目视觉参数，P点的局部三 维坐标计算公式为： X = B?xl/(xr-xl)
[0044] Y = B?yL /(xR-xL) (2) Z = B^f/(xR-xL)
[0045] 其中（XL，yi)为ml的图像坐标，（XR，yR)为m2的图像坐标，B为左右摄像机的基线距 离，f为摄像机的焦距。
[0046]步骤5,取左图像序列的相邻两幅图像{ImgLi，ImgLi-i}，做与步骤3相同的特征点 匹配。假设匹配的特征点对数目为m，特征点对应的局部三维坐标分别为{X^Xs，…，乂"和 {Y^Ys，…，Ym}，则相邻两个三维点云之间的旋转矩阵Ri和平移矢量ti可以通过如下方法计 算得到：
[0047] (1)计筧点集乂和￥的质心
(3)
[0049] (2)令矩晬
'，对W做SVD分解
[0050] ff=UDVT (4)
[0051 ] (3)Ri 和 ti 分别为
[0052] Ri = UVT ti=yx-Riiiy (5)
[0053]步骤6:局部三维点云的统一化，在实施例中，将采集第一幅图像时左相机的坐标 系作为全局坐标系。则第i(i>l)次局部三维点云的坐标统一化采用如下递推公式得到：
[0054] Xi-i = RiXi+ti (6)
[0055] 显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于 所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变 动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变 动仍处于本发明创造的保护范围之中。
【主权项】
1. 一种基于无人机的双目视觉三维测绘系统，包括:无人机、双目测量装置、地面控制 中心，其特征在于： 无人机（1)包括供电电池组(2 )、机载控制单元(3)和WIFI或无线电传模块(4)。供电电 池组（2)为无人机（1)上的电子通信和图像采集设备提供必要的电力保障；机载控制单元 (3)接收WIFI或无线电传模块(4)从地面控制中心得到的指令;WIFI或无线电传模块(4)除 了接收地面控制指令外，还主动向地面控制中心发送拍摄图像； 双目测量装置包括带SD卡存储的左摄像机(6 )、带SD卡存储的右摄像机(7 )、双目支撑 机构(8)、固定连接机构(5)。左右摄像机采集无人机飞行过程中的航拍视频图像，右摄像机 的视频图像直接存储到对应的SD卡中，左摄像机的视频图像除了存储在SD卡中，还分出一 路给WIFI或无线电传模块，传输实时采集图片地面控制中心;双目支撑结构保证两个摄像 机在飞行过程中，相对位置和姿态保持恒定，与左右摄像机一起组成双目三维传感器;固定 连接机构(5)用于将双目三维传感器固定在无人机上。2. 根据权利要求1所述的三维测绘系统，其特征在于:所述的地面控制中心与WIFI或无 线电传模块通信(4)，用于控制无人机的飞行高度和飞行轨迹，同时具备控制左右摄像机的 存储开始和停止功能。3. 根据权利要求1所述的三维测绘系统，其特征在于:所述的左摄像机(6)和右摄像机 (7)为相同型号的摄像机具有相同的焦距和分辨率，并且采集图像时同步曝光。4. 根据权利要求1所述的三维测绘系统，其特征在于:所述的双目三维传感器为平行配 置的双目结构，挂载在无人机的底部。5. 根据权利要求1所述的三维测绘系统，所述的双目固定机构和固定连接机构都采用 碳纤维材料以减轻整体重量。6. -种基于无人机的双目视觉三维测绘方法，其特征在于，包含以下步骤： 步骤1:根据小孔成像模型，确定双目三维传感器的内参数即摄像机焦距f和外部结构 参数即左右摄像机的基线距离B; 步骤2:观察实时传回的左摄像机图像，控制无人机到适当高度，在被测量的大型渣土 或者煤渣上空飞行，以获得完全覆盖被测物的左右视频图像序列； 步骤3:将SD卡中的左右摄像机视频导入到电脑中，按时间顺序对视频图像帧进行编 号，形成双目左右图像序列对； 步骤4:对每一组左右图像对，先提取特征点，然后匹配特征点，最后以左摄像机为坐标 系重建特征点的局部三维坐标； 步骤5:结合左相机序列图像，匹配两个连续序列组的三维点云，解算两个局部坐标系 之间的变换关系； 步骤6:将所有的局部三维坐标转化到一个坐标系下，完成局部三维坐标的统一化，得 到三维测绘结果。7. 根据权利要求6所述的三维测绘方法，其特征在于:所述的步骤4中的图像特征点为 Harri s角点。选取以特征点为中心，在图像上截取5 X 5的子图像区域，组成特征向量，并以 向量夹角余弦值作为匹配度量，在右图像中寻找匹配向量，匹配度量的公式如下：其中VL，VR分别为左右图像的特征向量，C越大，相似度越高。这里取C最大的向量，作为 匹配向量。考虑平行配置双目结构的对极几何约束，在右图像中只计算与特征点具有相同 纵坐标的特征点以提高搜索效率。8. 根据权利要求6所述的三维测绘方法，其特征在于:所述的步骤4中的特征点的局部 三维坐标，采用如下公式重建： X = B · xl/(xr-xl) Y = B · yL/(XR-XL) Z = B · f/(xr-xl) 其中(x l，y l )为左图像特征点的图像坐标，（xr，y r )为右图像特征点的图像坐标。9. 根据权利要求6所述的三维测绘方法，其特征在于:所述的步骤5中两个连续序列组 的三维点云匹配，采用与权利要求7所述的方法匹配。10. 根据权利要求6所述的三维测绘方法，其特征在于:所述的步骤5中两个局部坐标系 之间变换关系的解算采用如下方法： 假设匹配的特征点对数目为m，特征点对应的局部三维坐标分别为 Y2,···，￥?}，则相邻两个三维点云之间的旋转矩阵心和平移矢量t可以通过如下公式计算得 到： (1)计算点集X和Y的质心ff=UDVT (3)把和。分别为 Ri - UV ti - yx_Riyy〇11. 根据权利要求6所述的三维测绘方法，其特征在于:所述的步骤6中局部三维坐标的 统一化采用第一幅图像采集时的左相机坐标系作为全局坐标系，第i(i>l)次局部三维点 云的坐标统一化采用如下递推公式得到： Xi-Ι 一 RiXi+ti 〇
【文档编号】G01C11/00GK105928493SQ201610200674
【公开日】2016年9月7日
【申请日】2016年4月5日
【发明人】王建立, 吕耀文
【申请人】王建立