一种联合光学和SAR图像的高精度场景实时三维重建方法

本申请涉及三维重建领域，具体为一种联合光学和sar图像的高精度场景实时三维重建方法。

背景技术：

1、在现代科技中，高精度场景三维重建对于地理测绘、虚拟现实、智能导航等有广泛应用，以及在应急救援、反恐维稳等场景用于三维坐标快速解算具有重要意义。传统的光学图像和合成孔径雷达(synthetic aperture radar，sar)图像分别具有各自的优势和限制。光学图像可以提供高分辨率和丰富的视觉信息，但受到光照、天气和透射率等因素的影响，无法在一些特定场景下获取准确的数据。sar图像则具有全天候、全天时的观测能力，但其分辨率相对较低，无法提供细节丰富的场景信息。

2、如中国专利cn116125493a，公开日2023年5月16日，基于光学雷达图像投影特征融合的目标三维重建方法，该方法包括：步骤1，通过isar雷达系统采集雷达图像，并对图像进行背景分割及轮廓提取；步骤2，对雷达图像进行目标质心匹配，判定体素位置，获取空间目标的光学图像；步骤3，对光学图像进行目标质心匹配及轮廓提取，对单站观测下正交的雷达图像和光学图像的轮廓进行融合，实现目标三维特征的重建。该发明虽然实现空间目标状态测量，但重建的目标纹理信息不足，重建效果不够好。

3、如中国专利cn104200521b，授权公告日2016年11月30日，基于模型先验的高分辨率sar图像建筑物目标三维重建方法。该方法包括：步骤1，从sar图像中分割出高亮区域集合rh；步骤2，通过高亮区域集合rh与平行四边形相似性来识别sar图像中的建筑物目标集合及其对应的sar图像切片集合；步骤3，从建筑物目标sar图像切片中提取建筑物目标散射特征并完成三维重建，其中，提取建筑物目标散射特征包括提取主墙面图像区域对应的亮平行四边形以及提取侧墙面图像区域对应的二次散射亮线。该发明不适用于小方位角的三维重建，实时性差。

4、现有的方法仍然存在以下缺陷和挑战：光学图像和sar图像的异质性，光学图像和sar图像具有不同的物理特性和数据特点，如亮度、分辨率、噪声等。如何有效处理它们之间的差异性，以获得准确的三维融合结果，仍然是一个挑战。

5、因此，需要一种能够充分利用光学图像和sar图像的优势，以克服现有方法的缺陷，实现高精度场景实时三维重建的方法。该发明利用光学图像和sar图像的互补信息，能够有效处理光学图像和sar图像之间的异质性，以实现准确实时的场景三维重建。

技术实现思路

1、有鉴于克服现有技术中针对光学图像和sar图像的异质性三维融合的难题，本发明提出了一种联合光学和sar图像的高精度场景实时三维重建方法。

2、技术方案：本发明的一种联合光学和sar图像的高精度场景实时三维重建方法，包括步骤如下：

3、s1，分别通过基于针孔模型的逆运算和正侧视sar投影几何运算数学模型建立光学图像和sar图像二维到三维的映射方程组，然后联立方程基于误差的向量修正(vectorcorrection oferrors，vce)的迭代最小二乘求解，解算得到三维空间点的位置信息；

4、s2，基于点云法向量两两配准三维点云，采用delaunay算法构建三维点云模型，同时基于鲁棒主成分分析法从光学图像提取纹理图像，通过调和映射对应图像和模型间坐标，完成高精度三维点云场景重建；

5、进一步，所述步骤s1中，实现空间位置解算的具体步骤如下：

6、s11，根据相机成像原理，得到空间中任意一点p由二维平面到三维空间的映射关系，如下式；

7、

8、其中m为投影矩阵；m1为相机的内部参数矩阵；m2为相机的外部参数矩阵；fx和fy分别为相机在x轴和y轴方向上的归一化焦距。

9、s12，根据正侧视sar投影几何运算，首先解调单方位角sar回波信号，得到基带sar回波信号，通过距离多普勒算法处理单个散射单元的基带回波信号得到二维聚焦结果，再离散化二维聚焦结果得到信号i(i,j)，即sar图像。

10、建立sar定位方程，通过后向投影算法从sar图像中提取地面散射单元的三维空间位置如下式：

11、

12、s13，输入光学图像和sar图像像素坐标，并初始化权值矩阵以减少实际像素分辨率的差异，建立光学图像和sar图像的二维-三维映射方程组，采用基于方差分量估计(variance component estimation，vce)的迭代最小二乘法精确提取三维几何空间信息。

13、进一步，所述步骤s2中，对解算得到的点云数据进行两两匹配，获得稠密的点云数据，并将点云三角网格化，然后提取纹理进行纹理映射，完成纹理贴图，用以更快更精准的重建三维场景，具体步骤如下：

14、s21，通过sift算法从源点云ai和目标点云bi中提取特征点，选取目标点周围的n个点作为样本点，按照下式进行平面拟合；

15、任意点(xi,yi,zi)到拟合平面的距离为di，最小化距离的平方和通过对f极值求解来得到点i在平面中的法向量，同时将其方向调整至相同：

16、di＝|axi+byi+czi-d|

17、

18、两组点云的变换矩阵为a＝rb+t，用最小二乘法构建目标函数如下：

19、

20、将点云集质心作为原点(0，0，0)为基准建立坐标系。用最小二乘法构建目标函数，将源点云和目标点云质心坐标和两组点云去掉质心后坐标信息带入，推导得到最小化目标函数公式如下：

21、

22、当时，该目标函数最小，令bi'tai'＝h，则将黑塞矩阵和svd分解带入，获得旋转矩阵r和平移矩阵t应用于配准。

23、s22，将从光学图像中提取的纹理特征按列排成一个矩阵d，采用鲁棒主成分分析法分解得到低秩矩阵和稀疏矩阵之和的模型，将模型转化成一个的凸函数松弛优化问题以方便求解。

24、利用矩阵核范数最小化问题表示秩的最小化约束，采用增广的lagrange乘子法对上述模型进行求解，使背景纹理图像从光学图像分离出来。

25、s23，首先寻找三个初始点建立初始三角形，在此基础上采用delaunay三角网格生长算法开始遍历边界各个点，根据此规则继续向外扩展，直到所有的散乱点云都遍历结束，完成点云三角网格化。

26、s24，通过调和映射得到二维纹理图像对应原始三维网格模型的纹理坐标，指定原始三维模型上和二维纹理图像上对应点并带入映射方程，经过归一化处理即可获得所需的三维虚拟模型表面各点对应的纹理坐标，实现纹理贴图，完成三维点云场景实时重建。

27、有益效果：

28、本发明能够充分利用光学图像和sar图像的互补信息，提高场景三维重建的精度和效率。对于场景重建领域具有很好的适用性，能够实时提供高精度的三维场景信息，满足地理测绘、虚拟现实、智能导航等应用的需求，在应急救援、反恐维稳等场景用于三维坐标快速解算具有重要意义。

技术特征：

1.一种联合光学和sar图像的高精度场景实时三维重建方法，其特征在于，包括步骤如下：

2.根据权利要求1所述的一种联合光学和sar图像的高精度场景实时三维重建方法，其特征在于，所述步骤s1中，实现二维光学、sar图像到三维点云空间位置解算的具体步骤如下：

3.根据权利要求2所述的一种联合光学和sar图像的高精度场景实时三维重建方法，其特征在于，所述步骤s2中，实现点云场景实时重建的具体步骤如下：

技术总结
本发明公开了一种联合光学和SAR图像的高精度场景实时三维重建方法，包括步骤如下：建立光学图像和SAR图像的二维到三维映射方程组，求解得到三维空间点的位置信息；多帧点云两两配准并三角网格化构建三维点云模型；从光学图像提取纹理图像；最后通过纹理映射实现高精度三维点云场景实时重建。本发明通过联合利用光学图像和SAR图像的互补信息，解决了因两者成像差异性难以融合进行三维重建的问题，能够提供准确的三维场景信息，实现三维坐标快速解算，在场景重建以及三维精准定位等领域具有广泛应用前景。

技术研发人员：张海洋,彭罗曼,赵长明,阎雅璇
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/1/25