一种基于无人机航拍序列影像的边坡三维重建方法
【技术领域】
[0001]本发明涉及一种基于无人机航拍序列影像的边坡三维重建方法，属于地质工程、摄影测量和计算机应用技术领域。
【背景技术】
[0002]在地震、降雨以及人类工程活动的作用下，边坡地质灾害频发，如滑坡、泥石流、崩滑等，已严重制约了城市的可持续发展。快速准确地建立边坡三维模型不仅可为边坡变形监测提供基础数据，而且对边坡失稳后的灾害评估及应急救援具有重要价值。
[0003]目前，边坡三维重建方法主要有三维激光扫描、遥感影像解译。三维激光扫描虽然能得到高精度的边坡三维模型，但激光扫描设备昂贵、灵活性差、携带不方便。高空航拍灵活性差、成本高、飞行手续繁琐、影像受云层影响大。而卫星遥感影像存在获取影像周期长、实时性差、成本高等问题，且遥感影像的发布及获取只能通过特定的渠道及权威部门获取，无法满足边坡灾害应急响应的需求。因此，迫切需要一种成本低、机动灵活、快速准确的边坡三维重建方法。
【发明内容】
[0004]本发明的目的是针对当前边坡灾害频发的现状，以及现有边坡三维建模方法成本高、灵活性差等局限性，提出一种基于无人机航拍序列影像的边坡三维重建方法。
[0005]本发明提出的一种基于无人机航拍序列影像的边坡三维重建方法，具体步骤如下:
(1):针对未标定的无人机多视图航拍序列影像，采用基于特征匹配的算法即基于尺度特征不变换(Scale Invariant Feature Transform, SIFT)算法进行特征区域匹配与特征点对提取；
(1.1)通过将采样点和所有相邻点比较，检测尺度空间极值点，初步确定关键点位置和所在尺度；
(1.2)将精确确定的关键点位置和所在尺度，达到亚像素精度，同时去除对比度低的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；
(1.3)为每个关键点指定方向参数，使算子具备旋转不变性；
(1.4)生成关键点描述子，即生成SIFT特征向量；
(2):基于无序匹配特征点，采用光束法平差方法从运动恢复结构，计算出边坡的几何结构和相机的运动参数，得到稀疏的边坡三维点云模型；
(3):采用基于物方面元的多视图立体视觉(Patch-basedMultiview Stereo, PMVS)算法对稀疏的边坡三维点云模型进行处理，扩散为稠密的边坡三维点云模型；所述多视图立体视觉算法具体为:
(3.1)初始Patch集生成:基于边坡稀疏的三维点云模型，通过特征点提取及匹配生成一系列稀疏的Patch集； (3.2) Patch的扩散:利用相邻面片法向相似和位置相邻的特性对初始面片进行扩散，逐步得到一个稠密的Patch集；
(3.3) Patch的过滤:由于重建过程中可能存在错误面片，采用几何一致性以及灰度一致性约束来剔除外点，并与Patch的扩散操作迭代进行；
(4):采用泊松重建算法重建出边坡的表面网格，并将边坡表面的纹理信息映射到网格模型上，从而建立具有分辨率高和形象逼真的三维边坡模型；
(4.1)边坡模型表面参数化:对整个边坡模型进行分割，建立每个局部的三维空间坐标与贴图坐标的映射关系；
(4.2)优化目标图像:计算面片在图像中的可见性，并指定目标图像，使具有相同目标图像的连续纹理区域尽可能大，减少纹理接缝的数量，从而减少边坡模型中纹理不连续的现象；
(4.3)边坡模型颜色校正:减少光照引起的边坡纹理不连续现象。
[0006]本发明中，步骤(2)的具体过程为，光束法平差方法借助上一步提取的无序匹配特征点信息，解算出各幅图像拍摄时相机的旋转与平移矩阵以及像点与相机之间的对应关系，还原拍摄场景，自动完成相机的标定流程，同时建立稀疏的边坡三维点云模型。
[0007]与现有技术相比，本发明的优点如下:
(1)基于无人机获取边坡影像具有活成本低、机动灵活、携带方便、成像分辨率高、作业周期短等特点，相对于高空航拍和卫星遥感，在小块区域、常规拍摄困难区域、突发边坡灾害等领域具有独特的优势；
(2)本发明提出的基于无人机航拍序列影像的边坡三维重建方法，是基于多视图图像的三维重建方法，通过相机在不同角度、不同位置的拍摄图像序列，恢复边坡的三维模型，其优势在于无需任务地面控制点，无需预先标定相机，且成本低、操作简单、易于实现，适用于各种复杂场景的三维建模。
【附图说明】
[0008]图1为本发明方法流程图。
[0009]图2为基于无人机航拍序列影像的某边坡三维重建模型。
【具体实施方式】
[0010]下面结合附图和具体实施例对本发明一种基于无人机航拍序列影像的边坡三维重建方法的实现过程进行详细说明。
[0011 ] 实施例1:某边坡三维地形重建
选择某边坡，前缘宽约75m，后缘宽约50m，前后缘高差约20m，斜长约40m。边坡表面无植被覆盖。
[0012](I)将拍摄所得的图像经初步的镜头校正之后，选择了 20幅清晰、重叠度高的多视图像采用基于特征匹配的算法是指基于尺度特征不变换(Scale Invariant FeatureTransform, SIFT)算法，进行特征区域匹配与特征点对提取，从每单幅图像中可提取出6000-7000个特征点信息，包括特征像点的RGB信息，具体步骤如下:
通过将采样点和所有相邻点比较，检测尺度空间极值点，初步确定关键点位置和所在尺度；
精确确定关键点的位置和尺度，达到亚像素精度，同时去除对比度低的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；
为每个关键点指定方向参数，使算子具备旋转不变性；
生成关键点描述子，即生成SIFT特征向量。
[0013](2)借助上一步提取的无序匹配特征点信息，采用光束法平差方法从运动恢复结构，不断最小化投影点和观测图像点之间的重投影误差，解算出各幅图像拍摄时相机的旋转与平移矩阵以及像点与相机之间的对应关系，还原拍摄场景，自动完成相机的标定流程，同时建立稀疏的边坡三维点云模型。
[0014](3)采用基于物方面元的多视图立体视觉(Patch-based Multiview Stereo,PMVS)算法对稀疏的边坡三维点云模型进行处理，扩散为稠密的边坡三维点云模型:
基于边坡稀疏的三维点云模型，通过特征点提取及匹配生成一系列初始的Patch集；利用相邻面片法向相似和位置相邻的特性对初始面片进行扩散，逐步得到一个稠密的Patch 集；
由于重建过程中可能存在错误面片，采用几何一致性以及灰度一致性约束来剔除外点，并与Patch的扩散操作迭代进行。
[0015](4)剔除边坡模型中明显的异常点，采用泊松重建算法重建出边坡的表面网格: 对整个边坡模型进行分割，建立每个局部的三维空间坐标与贴图坐标的映射关系； 计算面片在图像中的可见性，并指定目标图像，使具有相同目标图像的连续纹理区域尽可能大，减少纹理接缝的数量，从而减少边坡模型纹理不连续的现象；
进行颜色校正，减少光照引起的纹理不连续现象；
将边坡表面的纹理信息映射到网格模型上，从而建立具有分辨率高和形象逼真的三维边坡模型，如图2边坡三维重建模型所示。
[0016](5)上述(4)中边坡模型表面网格构建的精细程度可选，即重建深度值越大，网格划分越细，模型细部曲率变化越丰富，但同时也会大大增加运算时长。本案例对比重建深度分别为7和9情况下的边坡三角网重建模型发现，当重建深度为9时，可以获得细节部分较为完整的三角网模型，且所需的计算时长不需要太长。
【主权项】
1.一种基于无人机航拍序列影像的边坡三维重建方法，其特征在于具体步骤如下: (1):针对未标定的无人机多视图航拍序列影像，采用基于特征匹配的算法即基于尺度特征不变换算法进行特征区域匹配与特征点对提取； (1.1)通过将采样点和所有相邻点比较，检测尺度空间极值点，初步确定关键点位置和所在尺度； (1.2)将精确确定的关键点位置和所在尺度，达到亚像素精度，同时去除对比度低的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力； (1.3)为每个关键点指定方向参数，使算子具备旋转不变性； (1.4)生成关键点描述子，即生成SIFT特征向量； (2):基于无序匹配特征点，采用光束法平差方法从运动恢复结构，计算出边坡的几何结构和相机的运动参数，得到稀疏的边坡三维点云模型； (3):采用基于物方面元的多视图立体视觉算法对稀疏的边坡三维点云模型进行处理，扩散为稠密的边坡三维点云模型；所述基于物方面元的多视图立体视觉算法具体为: (3.1)初始Patch集生成:基于边坡稀疏的三维点云模型，通过特征点提取及匹配生成一系列稀疏的Patch集； (3.2) Patch的扩散:利用相邻面片法向相似和位置相邻的特性对初始面片进行扩散，逐步得到一个稠密的Patch集； (3.3) Patch的过滤:由于重建过程中可能存在错误面片，采用几何一致性以及灰度一致性约束来剔除外点，并与Patch的扩散操作迭代进行； (4):采用泊松重建算法重建出边坡的表面网格，并将边坡表面的纹理信息映射到网格模型上，从而建立具有分辨率高和形象逼真的三维边坡模型； (4.1)边坡模型表面参数化:对整个边坡模型进行分割，建立每个局部的三维空间坐标与贴图坐标的映射关系； (4.2)优化目标图像:计算面片在图像中的可见性，并指定目标图像，使具有相同目标图像的连续纹理区域尽可能大，减少纹理接缝的数量，从而减少边坡模型中纹理不连续的现象； (4.3)边坡模型颜色校正:减少光照引起的边坡纹理不连续现象。2.根据权利要求1所述的一种基于无人机航拍序列影像的边坡三维重建方法，其特征在于，步骤(2)的具体过程为，光束法平差方法借助上一步提取的无序匹配特征点信息，解算出各幅图像拍摄时相机的旋转与平移矩阵以及像点与相机之间的对应关系，还原拍摄场景，自动完成相机的标定流程，同时建立稀疏的边坡三维点云模型。
【专利摘要】本发明涉及一种基于无人机航拍序列影像的边坡三维重建方法。针对未标定的无人机多视图航拍序列影像，采用基于特征匹配的算法进行特征区域匹配与特征点对提取；基于无序匹配特征点，采用光束法平差方法从运动恢复结构，计算出边坡的几何结构和相机的运动参数，得到稀疏的边坡三维点云模型；采用基于物方面元的多视图立体视觉算法对稀疏的边坡三维点云模型进行处理，扩散为稠密的边坡三维点云模型；采用泊松重建算法重建出边坡的表面网格，并将边坡表面的纹理信息映射到网格模型上，从而建立具有分辨率高和形象逼真的三维边坡模型。本发明具有成本低、机动灵活、携带方便、成像分辨率高、作业周期短、适宜高危地区勘测等特点，有力地推动了低空摄影测量和计算机视觉技术在地质工程防灾减灾领域的应用。
【IPC分类】G06T17/05
【公开号】CN105184863
【申请号】CN201510434193
【发明人】黄雨, 于淼, 周佳敏, 毛丽雅, 王贺
【申请人】同济大学
【公开日】2015年12月23日
【申请日】2015年7月23日