一种融合倾斜影像和激光点云的联合平差方法与流程

本发明属于测绘，主要是涉及空中三角测量中对多源数据进行融合的联合平差方法。

背景技术：

1、倾斜摄影测量和三维激光扫描技术是构建三维世界、完成地表可视化表达的基础。无人机倾斜摄影已成为空间数据获取的一种重要方式，被广泛应用于实景三维建设。倾斜摄影技术极大地提高了三维模型重建的效率，降低了人力成本，承载了更为丰富的地表信息，为政府决策、生产调度和和生活规划等提供了有效支撑。

2、与传统三维建模方法不同，倾斜摄影在数据采集过程中存在拍摄死角、遮挡和匹配点位不足等情况，导致模型有孔洞、悬浮物和不完整。同时，多视角影像数据量急剧增加，会造成空三失败或低效、影像匹配难等问题，难以满足精细化实景三维模型的建设需求。与传统测绘技术相比，三维激光扫描设备可以高效获取地物表面点云数据，具有几何精度高、建模速度快等优点。但是，不同的激光雷达也存在缺点，如机载激光雷达很难获取完整的建筑物立面信息，同时也缺乏纹理信息，单独使用激光点云数据也无法完成实景三维模型精细化重建。

3、此外，在直角坐标系下进行空三平差计算也存在缺陷。像点直角坐标化的机器视觉理论在每一个光束法平差单元内需迭代求解3个欧拉角组成的相机外参，相比相机空间位置和连接点的三维坐标，解算欧拉角表示的相机外参在机器视觉中是较为困难的，收敛精度对误差非常敏感。尤其是绕z轴旋转的欧拉角κ，它的值分布在-180°到180°范围内，搜索最优解时非常容易陷入局部最优。计算过程中的参数越多，计算成本越高，解算的稳定性越差，导致解算方程难以收敛。

4、随着城市建设的不断推进，建筑物的密集度和高层建筑不断增加，建筑物底商等地物目标更替频繁、植被遮挡等问题给城市精细化建模带来挑战，如何通过优化空三平差流程，获取高效、精细化的实景三维模型成为新型基础测绘和智慧城市建设必须解决的问题。

技术实现思路

1、为了提高多源数据下空中三角测量的效率和精度，本发明提出了一种联合平差方法，在极坐标视觉系统下将倾斜影像、车载激光点云和机载激光点云进行融合，从而提高了空中三角测量的准确性，并进一步提高了模型的精度。

2、为实现上述目的，本发明提供以下技术方案：

3、一种融合倾斜影像和激光点云的联合平差方法，在极坐标视觉下以激光点云数据为控制点引入视觉模型进行联合平差优化，包括以下步骤：

4、(1)倾斜影像传统空三解算，并对得到的稀疏点云进行加密；

5、(2)将视觉点云和激光点云进行配准。采用改进的空间一致性方法进行点云配准，以视觉点云为基准，将车载激光雷达点云的三维空间极坐标(ρi,τi,ni)和机载激光雷达点云的三维空间极坐标(δi,ηi,mi)分别与视觉点云进行配准；

6、(3)根据视觉点云是否被激光点云观测到，分别进行极坐标视觉平差方案和视觉与激光的联合平差方案；

7、(a)如果连接点只被视觉观测到，则执行极坐标视觉平差方案：在极坐标视觉模型中，对第i个连接点pi，其通过视觉模型计算得到的三维空间坐标为uij，第j张相片的外方位角元素分别为ωj和κj，由此可得极坐标视觉模型的残差方程为：

8、

9、

10、其中和为根据像点极坐标化的成像方程将连接点pi投影到第j张相片上的投影极坐标，θij和φij为连接点pi到第j张相片的相应观测坐标值；通过同时改正m张相片的位姿和n个连接点的三维空间坐标来最小化残差；

11、将残差方程线性化，并写为矩阵形式为：

12、v＝j1t1+j2t2-l

13、其中，j1为相机外方位元素的雅可比矩阵，j2为连接点空间坐标的雅可比矩阵，分别为：

14、

15、

16、t1为相机外方位元素的改正向量，t2为连接点空间坐标的改正向量：

17、t1＝[δαxjδωjδxsjδysjδzsj]t

18、t2＝[δxiδyiδzi]t

19、因此对应的法方程为：

20、

21、利用schur补方法，求解上式相机外参改正量t1的最小二乘解为：

22、[j1tj1-j1tj2(j2tj2)-1j2tj1]5×5＝j1tl-j2tj1t1

23、求解连接点坐标改正量t2的最小二乘解为：

24、(j2tj2)-13×3t2＝j1tl-j2tj1t1

25、将改正向量t1加到初始值上对相机外参进行改正，将改正向量t2加到初始值上对连接点坐标进行改正：

26、

27、进行迭代优化解算出相片组的5个相机外方位元素和连接点的三维空间坐标p2＝(xi,yi,zi),i＝1…n；

28、(b)如果连接点被视觉和激光同时观测到，则执行极坐标视觉与激光的联合平差方案，将激光坐标作为连接点空间坐标的真值；在极坐标视觉模型中，对第j张相片，其外方位线元素分别为和由此可得极坐标视觉模型的残差方程为：

29、

30、其中为根据像点极坐标化的成像方程将第i个连接点pi投影到第j张相片上的投影极坐标，θij为连接点pi在第j张相片上相应的观测坐标值；将n个连接点的激光坐标作为真值，通过同时改正m张相片的位姿来最小化残差；

31、将残差方程线性化，并写为矩阵形式为：

32、v＝j1t1-l

33、其中，j1为相机外方位元素的雅可比矩阵：

34、

35、t1为相机外方位元素的改正向量：

36、t1＝[δαxjδωjδxsjδysjδzsj]t

37、因此最小二乘解为：

38、

39、将改正向量t1加到初始值上对相机外参进行改正：

40、

41、进行迭代优化解算出相片组的5个相机外方位元素由于连接点存在三维坐标真值，因此在迭代过程中直接使用真实值，不进行改变；

42、(4)将两类平差结果进行合并，得到最终的高精度空三结果。

43、进一步的，所述步骤(1)采用光束法平差进行视觉图像的空三计算；以一束由多张像片组成的光线作为平差的基本单元，利用中心投影的共线方程作为平差的基础方程，即：

44、

45、其中(x,y)为像点坐标，ai,bi,ci(i＝1,2,3)为旋转矩阵元素，f为相机焦距，(x,y,z)为像点对应的物点坐标，(xs,ys,zs)为相机中心坐标。通过对每个光线束在空间中进行旋转和平移操作，实现公共点的光线最佳交会，并将整个区域准确地纳入已知的控制点坐标系统中。通过特征匹配确保相邻像片的公共交会点坐标相等，建立匹配点的误差方程式：

46、

47、其中(vx,vy)为像点误差，aij为误差方程系数，lx和ly为真实像点坐标与计算像点坐标的插值。列出所有误差方程后，进行全区域的统一平差计算，从而求解出每张像片的外方位元素和匹配点的模型坐标。

48、然后使用增采样，通过内插点云的方法对目前的稀疏点云数据对进行扩充，保证基本形状不变的情况下增加点云数量。

49、进一步的，所述步骤(2)采用改进的pcr方法进行点云配准，以视觉点云为基准，将车载激光雷达点云的三维空间极坐标(ρi,τi,ni)和机载激光雷达点云的三维空间极坐标(δi,ηi,mi)分别与视觉点云进行配准,具体步骤为：

50、(1)种子点选择：

51、首先使用全局谱分解与非极大值抑制相结合的方法选择可靠的对应点，称为种子点；谱分解是在正在注册的两个点云的配对距离矩阵上执行的；然后将非极大值抑制用于仅选择谱分解中的最高峰，这些峰对应于最可靠的对应点；

52、(2)一致集生成：

53、采用两阶段抽样策略，将种子点扩展成一致集；

54、在第一阶段，随机选择种子点的子集，并用于生成一组候选一致集；在第二阶段，通过添加与现有集合中的点在空间上兼容的其他点来对每个候选一致集进行改进；使用二阶空间兼容性(sc2)度量来衡量空间兼容性，该度量考虑了局部和全局几何信息；

55、(3)局部谱匹配：

56、每个一致集通过局部谱匹配产生一个刚性变换；在一致集中的每个点周围的局部邻域上执行谱分解，得到的特征向量用于估计该点的初始变换矩阵；将一致集中所有点的初始变换组合起来，得到该集合的最终刚性变换；

57、(4)最终结果选择：

58、根据与其他一致集的兼容性和整体质量得分，选择最佳估计作为最终结果；一致集之间的兼容性使用重叠比率进行衡量，该比率考虑了空间和特征信息。

59、进一步的，所述步骤(4)根据得到的相机外方位元素直接计算第6个外方位元素κj欧拉角：

60、κj＝atan2(q2,q3)

61、其中

62、

63、

64、q2＝q1tanφij-q0

65、q3＝q0tanφij+q1

66、将κj带入下列公式：

67、w0＝cosκjq0+sinκjq1

68、

69、

70、w3＝|w0-w2|

71、若w3大于1e-4，则根据κj的正负计算最终的κj：

72、

73、最后将两部分平差结果进行合并，得到最终的空三结果。

74、与现有技术相比，本发明的有益效果是：

75、1.将倾斜影像数据和多源激光点云数据进行融合建模，集成了激光点云数据几何精度高和倾斜影像纹理信息丰富的优点。采用光束法平差进行视觉图像的空三计算，以一束由多张像片组成的光线作为平差的基本单元，利用中心投影的共线方程作为平差的基础方程，对每个光线束在空间中进行旋转和平移操作，实现公共点的光线最佳交会，并将整个区域准确地纳入已知的控制点坐标系统中，通过特征匹配确保相邻像片的公共交会点坐标相等，进行全区域的统一平差计算，从而求解出每张像片的外方位元素和匹配点的模型坐标。然后使用增采样，通过内插点云的方法对目前的稀疏点云数据对进行扩充，保证基本形状不变的情况下增加点云数量。

76、2.采用改进的空间一致性方法进行点云配准，以视觉点云为基准，将车载激光雷达点云的三维空间极坐标和机载激光雷达点云的三维空间极坐标别与视觉点云进行配准；根据视觉点云是否被激光点云观测到，分别进行极坐标视觉平差方案和视觉与激光的联合平差方案；像点极坐标化的机器视觉理论不仅能提升影像的三维几何处理效率，还能提升处理精度，具有重要的理论价值和实际意义。