一种基于遥感立体影像的点云重建方法与流程

本发明属于图像处理及遥感影像分析，更具体地，涉及一种基于遥感立体影像的点云重建方法。

背景技术：

1、基于遥感立体影像的点云重建的基本原理是通过测量影像上的二维像素坐标信息，在影像内外方位信息的辅助下，利用共线方程经过一系列的坐标变换恢复出像点在物方空间中的真实三维坐标信息。单幅影像通过基于共线方程的空间后方交会只能恢复出像素点在物方空间的坐标系中的一个方向，立体影像利用在两幅影像上同名点得到的两条方向线的前方交会可以确定像素点在物方空间坐标系中的三维坐标点。通过对立体影像重叠区域的每一个像素点进行空间前方交会得到每一点的三维坐标，将这些三维坐标汇集起来得到的点云数据，就完成了对立体影像的点云重建。

2、基于遥感立体影像的点云重建技术需要获得准确的成像内外参数以建立精确的成像模型，然后基于成像模型进行密集匹配和点云重建。现有的方法大多采用特征匹配以计算立体影像成像模型，容易受到特征匹配方法的精度影像，此外在解算成像模型参数时只能采用数值方法计算成像参数，迭代效率和参数精度受估算的初值影响较大。通过密集匹配建立的深度图的精细程度不够，导致重建点云的精度下降，并受到明显的噪声干扰。

3、综上所述,现有技术中的遥感立体影像点云重建方法存在如下技术问题：

4、1. 成像模型精度较低，成像模型的计算是以特征匹配的稀疏同名点对为基础的，遥感立体影像中存在大量重复模式，容易造成特征匹配的精度降低，从而影像成像模型精度；

5、2. 成像模型解算收敛较慢，通过数值方法计算成像模型参数时，收敛速度受参数初值影像较大，传统方法采用均值、0值的赋初值的方法导致收敛较慢，迭代次数增加；

6、3. 深度图精度不高，利用密集匹配计算的视差值建立的深度图往往存在精度较低，平滑性不足的问题；

7、4. 点云存在噪声，直接利用深度图重建的点云数据通常存在明显的离群点、空洞点等噪声干扰。

技术实现思路

1、针对现有技术的缺陷，本发明旨在提供一种基于遥感立体影像的点云重建方法，本发明在构建三维点云模型中，首先利用局部特征匹配、相机标定和光束法平差建立精确遥感立体影像成像模型，接着利用成像模型将原始影像转换成核线影像，然后对核线影像进行密集匹配，最后利用密集匹配生成的视差图得到深度图，并通过深度图优化、点云生成、点云降噪等步骤完成点云重建。

2、为实现上述目的，本发明采取如下的技术方案：

3、一种基于遥感立体影像的点云重建方法，包括以下步骤：

4、步骤1：成像模型构建：利用局部特征匹配、相机标定和光束法平差建立精确遥感立体影像成像模型；

5、步骤2：核线影像生成：核线影像生成的目的是将原始的影像按照核线方向排列，这样可以将左右影像的视差值由原来的在 x和 y方向两个方向的差异，转换成为在核线方向上的一维差异，包括核线重采样、像素插值；

6、步骤3：密集匹配：从核线影像中逐像素建立遥感立体影像的对应关系，从而估计立体影像间的视差；

7、步骤4：点云重建，根据立体影像的视差值计算出深度图，然后对深度图进行优化，基于优化后的深度图计算出物方点的三维坐标，最后对三维点云进行降噪处理得到最终的点云重建结果。

8、进一步，所述步骤1的具体步骤为：

9、步骤1.1：特征匹配，遥感立体影像特征匹配的目的是建立影像间稀疏的特征点对应关系，主要包括特征点提取、特征点描述、特征点匹配；

10、进一步，所述步骤1.1的具体步骤为：

11、步骤1.1.1：特征点提取，基于立体影像局部信息的提取立体影像的特征点，具体步骤为：一个以像素 p为中心，半径为3的圆形邻域上，有16个像素点（ p1、 p2、...、 p16）；定义一个阈值 t，依次计算从 p1到 p16这16个点与中心像素 p的像素差，如果有至少连续9个超过阈值，则将中心像素 p定义为特征点候选点；以候选点 p为中心的一个5×5的邻域内，如果有多个候选点，依次利用公式计算候选点中超过阈值的像素的差值累加求和，得到所有候选点的 s值，最终保留 s值最大的候选点作为特征点；

12、步骤1.1.2：特征点描述，利用公式计算影像的结构特征图，式中 f表示结构特征图， i表示输入影像， i mean表示均值， m表示模版半径；分别采用0°，45°，90°和135°等4个滤波方向对结构特征图滤波得到方向特征图，然后选择特征点周围的4×4的邻域，对邻域内每一个像素按照0°，45°，90°和135°这4个方向将特征值排列成为一个4维特征向量，然后将16个像素的特征向量进行组合得到64维的特征向量；

13、步骤1.1.3：特征点匹配，以其中一幅立体影像为基准，基准影像中的每一个特征点分别遍历待匹配的影像中所有特征点，计算特征点特征描述子的欧式距离，保留距离最小的值作为匹配点对，采用ransac算法剔除误匹配点，得到最后的特征点匹配结果。

14、步骤1.2：相机标定，利用特征点匹配建立了立体影像的同名对应关系，根据相机成像原理进行相机标定获取成像系统内外参数以估计成像几何模型参数，通过标定获得的参数只是一个初步近似值；

15、步骤1.3：光束法平差，根据特征点匹配建立了立体影像的同名对应关系，相机标定得到的成像模型初步近似参数，利用光束法平差对原始的成像几何模型参数进行调整，达到立体影像之间几何关系的最优状态，光束法平差的误差方程可以用如下公式表示：

16、

17、其中，其中和表示泰勒公式的残差，，，， φ， ω， κ表示外方位元素， x、y、 z表示地面点坐标值，这9个值是待优化的参数， x和 y是立体影像特征点对中观测到的像点坐标值，（ x）和（ y）是根据各待优化参数的近似值计算出的像点坐标近似值。

18、进一步，所述步骤2的具体步骤为：

19、步骤2.1：核线重采样，一般情况下得到的遥感影像的扫描行与核线并不重合，对原始的遥感影像按照核线方向进行重采样，使得重采样后的影像水平行都在一条核线上；

20、步骤2.2：像素插值，重采样后的影像与原来的影像的像素不是一一对应的关系，对原始影像中与核线影像相应像点对应的最近邻的4个像点的像素值采用双线性插值计算得到核线影像上的重采样后的像点位置的像素值。

21、进一步，所述步骤3的具体步骤为：

22、步骤3.1：匹配代价计算，利用互信息计算立体影像之间的匹配代价，匹配代价用来衡量两个像素之间的相似程度；

23、步骤3.2：匹配代价的聚合，利用代价聚合对原始匹配代价进行去噪，消除匹配代价中噪声带来的对结果的不利影响；

24、步骤3.3：视差值计算，通过对相邻或更大范围的视差变化增加惩罚项，将惩罚项和匹配代价项组合成为一个完整优化模型，通过优化能量函数求得对应全局能量最小或近似最小的视差图；

25、步骤3.4：视差值的优化，利用平滑性约束条件，对初始视差图进行优化，以获得更加平滑、一致的视差图（视差图就是影像同名点对应关系的最终结果）。

26、进一步，所述步骤4的具体步骤为：

27、步骤4.1：深度值计算，根据立体密集匹配获得的每个同名点的视差值 d，相机标定确定的相机焦距 f，以及基线长度 b，可以通过公式 z= fb/ d计算影像的深度值；

28、步骤4.2：深度图优化，将每个像点的深度值按照像点位置排列，得到深度图像，利用一致性约束和平滑性约束对初始深度图像进行优化，得到优化后的深度图像；

29、步骤4.3：点云生成，利用优化后深度图，以及先前已经获得的影像的内外方位元素，可以利用立体影像空间前方交会原理计算每一个像点对应的物点的三维坐标，将这些三维坐标组合起来完成点云重建；

30、步骤4.4：点云降噪，利用中值滤波方法对初始生成的点云数据进行降噪处理，剔除点云中的异常点，得到最终点云数据。

31、本发明同现有技术相比，其有益效果表现在：

32、1. 本发明提出一种基于局部结构特征图的特征匹配方法，结构特征图保留遥感立体影像中具有高度一致性的强结构信息，忽略差异较大的影像明暗、色彩等细节，可以极大提升特征匹配的精度和鲁棒性，从而提升成像模型计算的精度；

33、2. 本发明提出一种基于相机标定的成像参数初值计算方法，以特征点匹配建立的立体影像的同名对应关系为输入，根据相机成像原理进行相机标定获取成像系统内外参数以估计成像几何模型的参数初值。这样估计的初值与最终优化后的成像模型参数值差异很小，可以极大提高成像模型参数解算的收敛速度，并提高成像模型精度；

34、3. 本发明提出一种基于平滑性约束的深度图优化方法，利用平滑性先验，对初始计算的深度图建立优化模型，然后通过迭代求解、逐步精化的方法得到更精细的深度图；

35、4. 本发明提出一种基于中值滤波的点云降噪方法，可以有效地去除重建点云中存在的离群点、空洞点等噪声干扰。

36、5.本发明的第一步就是成像模型构建，有两个作用：

37、第一、就是获取成像模型参数，这样本发明可以不依赖外界输入成像模型参数，

38、第二、本发明的步骤里能够得到更加精细准确的参数，可以提高后续密集匹配精度和点云重建精度。最后的深度图优化，点云降噪目的是剔除错误点，提高点云的精度。