基于多视角图像的钢桥构件三维重建方法

本发明涉及一种基于多视角图像的钢桥构件三维重建方法。

背景技术：

1、钢桥构件由工厂加工制作，再运输至施工现场拼装成桥。由于加工误差等原因，钢桥构件在进行拼装前，需要进行构件加工质量检测及实地预拼装,以检验构件的偏差是否符合要求,构件是否能够拼装,以便保证现场作业的工序正常进行。钢构件的加工质量检查及现场预拼装过程繁琐、难度大且成本高,随着计算机技术的发展，利用重建构件的三维模型，进行虚拟拼装，可以辅助甚至代替实体预拼装。但目前用于工钢桥构件三维重建的激光扫描技术和摄影测量技术均存在不足。

2、首先，激光扫描仪成本过高，扫描效率不高、受遮挡问题严重，不利于大规模钢桥构件重建，同时钢桥构件施工环境多为水上作业，部分已吊装构件无法架设激光扫描仪。

3、其次，目前的摄影测量技术又存在数据处理效率低，重建过程对硬件设备要求高，大场景模型重建耗时巨大等问题。

技术实现思路

1、本发明目的在于提供一种基于多视角图像的钢桥构件三维重建方法。

2、基于多视角图像的钢桥构件三维重建方法，其特征在于，包括：

3、s1，在构件表面的多个位置分别布置棋盘格标靶，通过双目相机系统获取棋盘格标靶中的角点对应的左目和右目像素坐标；基于角点对应的左目和右目像素坐标，求解得到棋盘格标靶中的角点在世界坐标系下的三维坐标；

4、s2，规划无人机的航向路线，基于无人机的航向路线，通过无人机的进行多距环绕式采集，以得到包含棋盘格标靶的构件的多视角图像，对所述多视角图像进行预处理，以得到预处理后的多视角图像；

5、s3，以预处理后的多视角图像作为输入，并通过运动恢复技术，计算无人机的相机位姿，并将无人机的相机位姿和无人机的相机参数保存为transform.json文件；

6、s4，基于所述预处理后的多视角图像和transform.json文件中的相机位姿信息和相机参数和预处理的多视角图像，得到构件的稠密点云模型；

7、s5，对所述稠密点云模型进行降噪孔洞修复和二次采样处理，以得到构件的精细化点云模型；获取棋盘格标靶中的角点在精细化点云模型坐标系下的相对三维坐标，结合双目获取的角点在世界坐标系下三维坐标，计算模型比例系数δ，将点云的相对尺寸乘以比例系数δ，获得构件真实尺寸点云模型；

8、s6，基于所述构件真实尺寸点云模型，进行点云三角化曲面拟合，以得到钢桥构件的实体三维模型。

9、进一步的，上述基于多视角图像的钢桥构件三维重建方法中，s2，规划无人机的航向路线，包括：

10、设置无人机航向路线为环绕构件飞行三圈，其中，在每一圈飞行中采集的相邻的两帧图像的像素重叠率大于80％，第一圈和第二圈飞行中所述无人机距离构件的垂直距离为d1,飞行高度分别h1＝d.425hmax、h2＝

11、0.575hmax，第三圈飞行中所述无人机距离构件的垂直距离为d2，飞行高度为h3＝0.5hmax；

12、当垂直距离为d1时，竖向成像为构件竖向最大尺寸hmax的85％，即f为相机焦距；

13、当垂直距离为d2时，竖向成像为构件的竖向最大尺寸hmax，即h为成像面大小。

14、进一步的，上述基于多视角图像的钢桥构件三维重建方法中，对所述多视角图像进行预处理，以得到预处理后的多视角图像，包括：

15、利用via标注软件，在多视角图像中标注构件如拱脚的轮廓，导出json文件，json文件包含了构件的轮廓坐标信息；

16、利用python语言编写解析代码，加载json文件，基于json文件获取多视角图像中前景区域的mask图像，其中，所述mask图像中背景像素为0，前景像素为；将多视角图像中每个图像的每个像素和mask图像对应像素进行运算，提取构件图像，并对提取出的构件图像进行数据增强。

17、进一步的，上述基于多视角图像的钢桥构件三维重建方法中，s1，在构件表面的多个位置分别布置棋盘格标靶，通过双目相机系统获取棋盘格标靶中的角点对应的左目和右目像素坐标；基于角点对应的左目和右目像素坐标，求解得到棋盘格标靶中的角点在世界坐标系下的三维坐标，包括：

18、通过标定后的双目相机系统采集构件上的棋盘格标靶，利用python语言编写角点识别算法，并调用excel算法库openpyxl，进行角点的左目和右目像素坐标的批量化编号及写入，计算结果保存为excel文件；

19、利用投影矩阵建立左目和右目像素坐标与世界坐标关系式；

20、通过python语言编写调用左目和右目像素坐标与世界坐标关系式，及excel文件中的角点的左目和右目像素坐标，并利用最小二乘法计算角点空间三维坐标的算法，实现棋盘格角点左目和右目像素坐标到世界坐标系下三维坐标的批量化求取。

21、进一步的，上述基于多视角图像的钢桥构件三维重建方法中，通过标定后的双目相机系统采集构件上的棋盘格标靶，利用python语言编写角点识别算法，并调用excel算法库openpyxl，进行角点的左目和右目像素坐标的批量化编号及写入，计算结果保存为excel文件，包括：

22、通过双目相机系统采集的标定板在不同角度下的图像，输入标定板的尺寸信息，其中标定板的尺寸信息包括：标定板横纵向角点及标定板的棋盘格尺寸；去除误差大于预设阈值的图像，以得到剩余的图像；基于剩余的图像，获取双目相机的内外参数，基于双目相机的内外参数进行左和右目图像矫正；

23、利用python语言编写角点识别算法，并调用excel算法库openpyxl，进行矫正后的左目和右目像素坐标的编号和批量化写入，将左目和右目像素坐标计算结果保存为excel文件。

24、进一步的，上述基于多视角图像的钢桥构件三维重建方法中，利用投影矩阵建立左目和右目像素坐标与世界坐标关系式，包括：

25、通过双目相机系统的投影矩阵，建立第i号棋盘格标靶的第n个角点像素坐标与世界坐标的四个线性方程:

26、

27、

28、其中，分别为i号棋盘格标靶的第n个角点在像素坐标系下的像素坐标；分别为左右目投影矩阵，由双目标定标定所得的内外参矩阵相乘获得；为i号棋盘格标靶的第n个角点在世界坐标下的三维坐标。

29、进一步的，上述基于多视角图像的钢桥构件三维重建方法中，通过python语言编写调用左目和右目像素坐标与世界坐标关系式，及excel文件中的角点的左目和右目像素坐标，并利用最小二乘法计算角点空间三维坐标的算法，实现棋盘格角点左目和右目像素坐标到世界坐标系下三维坐标的批量化求取，包括：

30、通过python语言编写调用所述四个线性方程和excel文件中的角点的左目和右目像素坐标，并利用最小二乘法计算角点空间三维坐标的算法，进行棋盘格角点左目和右目像素坐标到世界坐标系下三维坐标的批量化求取。

31、进一步的，上述基于多视角图像的钢桥构件三维重建方法中，s4、基于所述预处理后的多视角图像和transform.json文件中的相机位姿信息和相机参数和预处理的多视角图像，得到构件的稠密点云模型，并将稠密点云模型保存为ply点云格式文件，包括：

32、将所述预处理后的多视角图像和transform.json文件中的相机位姿信息和相机参数和预处理的多视角图像作为输入条件，通过基于哈希搜索的编码方法，利用预设深度学习网络模型进行nerf稠密重建的加速，重建构件的稠密点云模型，将稠密点云模型输出为ply点云格式文件。

33、进一步的，上述基于多视角图像的钢桥构件三维重建方法中，所述模型比例系数δ通过如下公式求取：

34、

35、上述公式中，

36、δ为稠密点云模型转变为真实尺寸的比例系数，为双目相机系统测得的i标靶的第n角点三维坐标，为双目相机系统测得的j标靶的第n角点三维坐标，为所述稠密点云模型中的i标靶的第n角点三维坐标，分别为所述稠密点云模型中的j标靶的第n角点三维坐标，k为棋盘格标靶中的角点总数，k≥2。

37、进一步的，上述基于多视角图像的钢桥构件三维重建方法中，对所述稠密点云模型进行降噪孔洞修复和二次采样处理，以得到构件的精细化点云模型，包括：

38、利用统计滤波对构件稠密点云模型进行降噪处理，设置临近点数为b，计算构件稠密点云中的每个点到最临近b个点的平均距离和标准差σ，设置阈值为a为标准差乘数，可去除平均距离大于阈值的离散点，以得到降噪后的构件稠密点云，参数b通过降噪效果不断调试确认，当主体点云被误认为噪点去除，则降低最临近点个数b的值；反复上述操作至噪点去除，且构件主体点云未被去除；

39、提取降噪后的构件稠密点云的孔洞临近c个点的三维坐标，利用c个点的三维坐标拟合曲面，通过离散采样，生成孔洞中的点云，以得到孔洞修复后的构件稠密点云，参数c为孔洞周围与孔洞曲率变化相一致的点的个数；

40、利用几何采样法对孔洞修复后的构件稠密点云进行二次采样，设置采样目标点数为t，采样率为f’，计算点云曲率，设置点云曲率阈值为k，点云曲率阈值大于k时，采样数为t(1-f’),否则为tf’，以得到构件精细化点云模型。

41、本发明通过在钢桥构件关键几何特征点布置标靶，通过双目视觉系统测量标靶在世界坐标系下的三维坐标；通过无人机的相机获取钢桥构件包含标靶的多视角图像，利用图像处理技术处理包含标靶的钢桥构件的多视角图像；基于包含标靶的钢桥构件的多视角图像，并通过运动恢复技术(sfm)恢复无人机的相机位姿；将标靶的多视角图像及相机位姿作为输入条件，生成钢桥构件的稠密点云模型；利用点云处理技术对稠密点云模型进行点云的精细化处理，获取精细化钢桥点云模型；通过标靶在精细化钢桥点云模型中的相对三维坐标和双目相机系统测得的世界坐标系下的三维坐标，计算精细化钢桥点云模型到真实尺寸模型的比例系数，恢复钢桥构件真实模型尺寸点云模型；基于真实模型尺寸点云模型逆向重建钢桥构件的实体三维模型。本发明解决钢桥构件重建效率低，成本高昂的问题，可实现施工现场钢桥构件的大批量三维重构，能够很好重建施工现场的钢桥构件模型，用于检查钢桥构件的制造误差和拼装误差，反馈给施工方，及时采取应对措施，可大幅提高施工效率和成桥质量。