一种无人机序列影像批处理三维重建方法与流程

技术特征：

1.一种无人机序列影像批处理三维重建方法，其特征在于，包括以下步骤：

步骤一、融合低精度GPS/INS信息的影像匹配：

假设一组影像I＝I_i，...，I_n及对应的概略的位置姿态信息G＝G_i，...，G_n，以及一个匹配的视图对集的子集V_i；

㈠位置姿态信息

通过GPS和IMU获得的位置姿态信息G_i＝[R_i|t_i]，其中R_i是一个3×3的旋转矩阵，t_i是一个三维空间向量分别代表相机的位置和姿态角；标准GPS接收机得到的全局位置坐标是以经纬度和高程表示地球某一位置的WGS84坐标系；下一步将GPS数据转换为地心地固坐标系，相机的定向用偏航角、俯仰角和滚转角来表示，其中，偏航角从地磁北起算；此时，外部姿态G_i包括了转换到了地心地固坐标系的GPS坐标和三个旋转角；再加上已知的相机的内方位参数，则可以得到每张影像I_i的完整的投影矩阵

${\hat{P}}_1={\mathrm{KG}}_i=K\[R_i|t_i\];$

㈡视图选择

为识别可能存在共同对应特征点的影像，为每张影像I_i选择相应的具有足够相似度的候选匹配影像集T_i＝T₁…T_k；接下来，影像集将根据影像对应的GPS/IMU信息得到的概略的重叠区域标准剔除影像；若场景的精细三维模型是可见的，影像间的重叠区域可通过视图I_i和I_j之间相互投影的视锥体来得到；若场景的精细三维模型是不可显示的，则通过估计最大景深S_i来限制影像I_i可见的区域；

且，最大景深值S_ij可以通过影像对<I_i，I_j>的基线恢复出来；定义S_ij：

S_ij＝t.d(G_i，G_j)，

其中，d(.，.)表示欧氏距离，t是一个决定重建所需精度的参数；

给定以上约束条件，可以通过影像对<I_i，I_j>的重建计算最大景深值S：

S＝min(S_ij，S_i，S_j)，

并且，该影像有重叠，为计算一个粗略的重叠标准定义一个平行于影像I_i到相机中心点G_i的距离为S的平面πⁱ；R_i和R_j表示视图I_i和I_j投影在平面πⁱ上的图像范围；影像的重叠度可以通过下式计算：

$O_j^i=\frac{a(R_i\&cap;R_i)}{a(R_i\&cup;R_j)},$

其中，a(.)表示投影矩形的面积；

步骤二、建立极线图：

首先，对每幅图像提取尺度不变特征点，采用高效的SIFT提取算子和描述算子，图像对之间的特征点匹配应用基于CUBLAS矩阵运算库的GPU加速的图像匹配方法；

在对每个候选的视图I_i匹配上相关的影像集V_i之后，利用五点算法进行几何验证；

根据特征点描述子的匹配会出现错误的外点，采用RANSAC算法进行剔除；

匹配的输出结果是用极线图表示的结构图，极线图由对应影像的顶点集v＝{I₁...I_N}和边界集ε∈{e_ij|i，j∈v}组成并是成对重建的，即由视图i和j之间的相对定向e_ij＝＜P_i，P_j＞和各自的影像三角化后的点集组成；其中，

P_i＝K_i[I|O]，P_j＝K_j[R|t]；

步骤三、计算全局一致性的旋转集：

给定了极线图接下来确定相机的初始位置和定向信息；

根据两幅图像之间的约束，两个相机的绝对位置姿态(R_i，t_i)和(R_j，t_j)需要满足旋转一致性和平移方向一致性

首先，视图对i和j之间的相对旋转集{R_ij}通过解超定方程组可以升级为全局一致性的旋转集{R_i}，

R_ijR_i＝R_j，

上述以R_i为标准正交为限制条件；

然后利用SVD分解使R_i满足正交约束，得到最终解

通过解出系统初始的近似旋转矩阵，并用Frobenius范数将近似旋转矩阵投影到最接近的旋转矩阵；

通过下面的公式来计算权重：

${\mathrm{\&omega;}}_{ij}=\sqrt{N}min(c_i,c_j)$

其中，N＝|F_ij|是视图i和j之间的内点数量，c_i，c_j是特征覆盖范围值，

其中，α是所需内点的最小数量，表示整个影像的面积，A(F_ij，r)是特征点F_ij覆盖范围经过以为圆半径进行扩张操作后的面积；

结果，具有恰当分布对应点的聚合的视图对会比那些有同样多的对应点但随机分布的视图对所占权重要高；因此，全局一致性的旋转集可以拓展为加了权重的形式：

${\mathrm{\&omega;}}_{ij}(R_{ij}{r}_i^k-r_j^k)=O_{3x1},$

其中，为R_i的列(k＝1，2，3)，上式可以通过稀疏的最小二乘算子解算出来；

步骤四、初始化相机中心点：

为实现相机的中心点在地心地固坐标系下的初始化，需将旋转矩阵R_i转换为适应GPS的方式，可以通过将相对定向v_ij调整为相应的GPS定向

$v_{ij}=R{\hat{v}}_{ij},$

其中，v_ij是全局坐标系中图像I_i和图像I_j之间的相对平移，是GPS坐标系中图像I_i和图像I_j之间的相对平移，可通过奇异值分解法解算R；

步骤五、生成对应特征点轨迹：

极线图存储了一个相对定向集和视图对<I_i，I_j>之间的对应特征点；每张影像I_i都和邻近一定数量的影像匹配，匹配的信息被存储在本地的节点；

是一个单向图，I_i→I_j的匹配并不一定包含I_j←I_i的匹配；然后，对于极线图中的每张图节点I_i，节点被聚合成轨迹(track)其中f＝<x^k，y^k>表示特征点在影像I_k中的坐标位置；

即，根据图像匹配关系，寻找每幅图像中的每个特征点在其他匹配图像中对应的特征点，所有上述特征点，构成一个点轨迹，对应现实世界中的一个3D点；

由于点轨迹是为每张影像而建，并存储在本地，起初，点轨迹集是冗余的，影像I_k的一个特征点f可以属于几个不同的轨迹；

然后，点轨迹应用光束法平差进行整体优化，并使用最小的轨迹集来表达；

确定的一个轨迹的子集，所述子集只包括极线图上每一个匹配的对应特征点一次；

运用贪婪搜索算法来确定轨迹集的最小子集，该最小子集随后被用来初始化稀疏的3D结构；

步骤六、初始化3D结构：

通过前述步骤，可得到相机的方向信息集合和点轨迹

根据每个点轨迹确定3D点的坐标；

若相机的方向信息集总体上达不到像素级的精度且中还有外点，基于的线性三角化将导致随机的大的重建错误，即3D结构初始化错误；

可以发现直接的三角化方法不能保证足够的结构初始化的精度，甚至经常连cheirality约束都不能满足；但是，极线图能提供视图对之间像素级或亚像素级精度的相机方向信息，可以满足两视图三角化的精度；

因此，在每个点轨迹中基于相对定向对具有最长基线的视图对进行两视图三角化，即选取每个点轨迹中特征点所在图像的GPS坐标相差最大的两个特征点做三角化，得到初始3D点；

步骤七、光束法平差：

给定一个量测值集合，光束法平差可以通过最小化重投影误差来优化相机的定向和结构恢复：

其中，x_ij是在未知相机P_i中未知3D点X_j的观测值，v_ij是一个二进制的变量，当点X_j在影像P_i中可见时为1，否则为0；

所述光束法平差是通过最小化非线性实值函数的平方和来调整每个3D点和相机中心点之间的射线束；

当存在高斯噪音的情况下，非线性的最小二乘法可以实现最大似然估计，必要的限制条件是初始值必须足够接近于整体最小值；

在光束法平差的基本实现形式是最小化矢量的平方和Σ_i||∈||²，其中

因此，鲁棒的目标函数可以以重设误差矢量∈′_i＝w_i∈_i的权重值来实现，如下式所示：

$\left|\right|{\&Element;}_i^{\&prime;}|{|}^2=w_i^2|\left|{\&Element;}_i\right||=C\left(\right|\left|{\&Element;}_i\right|\left|\right)$

由此得出，上式满足Σ_iC(||∈_i||)＝Σ_i||∈_i||²的要求，其中，

$w_i=\frac{\sqrt{c\left(\right|\left|{\&Element;}_i\right|\left|\right)}}{\left|\right|{\&Element;}_i\left|\right|}$

权值w_i常被称为衰减因子，用于降低外点的影响；

步骤八、稠密点云重建：

采用PMVS算法进行稠密点云的重建；

步骤九、纹理映射：

对重建的稠密点云基于Poisson算法构建场景或物体的网格表面，并通过遮挡分析，实现纹理自动映射。

2.根据权利要求1所述的无人机序列影像批处理三维重建方法，其特征在于，所述步骤一的㈠位置姿态信息中，所述投影矩阵给出了相机的位置和姿态信息的概略值，所述概略值在用于后续的处理过程之前，需首先进行预处理，剔除明显错误的数据，用前后两张影像的位置姿态数据的平均值来近似代替：

${\hat{P}}_i=({\hat{P}}_{i-1}+{\hat{P}}_{i+1})/2,$

当错误数据出现航带的起始点或终点时，则用前后两条航带起始点或终点影像的位置姿态数据的平均值来代替。

3.根据权利要求1所述的无人机序列影像批处理三维重建方法，其特征在于，所述步骤一的㈡视图选择中，投影矩阵和标准平面πⁱ之间的夹角小于最大旋转角度α，否则就设置为0。

4.根据权利要求1所述的无人机序列影像批处理三维重建方法，其特征在于，所述步骤一的㈡视图选择中，对于每组影像对<I_i，I_j>计算其重叠区域其中I_j∈T_i。

5.根据权利要求1所述的无人机序列影像批处理三维重建方法，其特征在于，所述步骤一的㈡视图选择中，若重叠区域值大于设定的阈值，I_j则被加入到子集V_i以用于后续的精细匹配；即，每一幅图像I_i只与同时满足以下两个条件的图像I_j进行匹配：

$\{\begin{array}{c}\arccos ({\hat{n}}_i,{\hat{n}}_j)\&lt;\frac{\mathrm{\&pi;}}{6}\\ O_j^i\&gt;threshold\end{array},$

其中，表示图像I_i和I_j拍摄时的方向角，threshold为设定的阈值。

6.根据权利要求1所述的无人机序列影像批处理三维重建方法，其特征在于，所述步骤七中光束法平差的目标函数具体包括以下所列：

(a)Squarederror目标函数

C(∈)＝∈²

(b)Huber目标函数

$C(\&Element;)=\left\{\begin{array}{cc}{\&Element;}^2& for|\&Element;|\&lt;b\\ 2b|\&Element;|-b^2& otherwise\end{array}\right.$

(c)Blake-Zisserman目标函数

$C(\&Element;)=\left\{\begin{array}{cc}{\&Element;}^2& for|\&Element;|\&lt;b\\ b^2& otherwise\end{array}\right.$

(d)Sigma目标函数

$C(\&Element;)=\left\{\begin{array}{cc}{\&Element;}^2& for|\&Element;|\&lt;b\\ 2b|\&Element;|-b^2& forb\&lt;|\&Element;|\&lt;\mathrm{\&sigma;}b\\ b^2(2\mathrm{\&sigma;}-1)& otherwise\end{array}\right.$

(e)Cauchy目标函数

C(∈)＝b²log(1+∈²/b²)。