一种基于双目激光扫描的地下管道三维重建方法与流程

本发明涉及一种基于双目激光扫描的地下管道三维重建方法，属于三维重建以及计算机视觉。

背景技术：

1、随着城市基础现代化建设的快速发展，地下管道的建设越来越密集，属于国家基础设施网络的重要组成部分。但是在地下管道的使用过程，管道内部出现异常的问题时有发生，会严重影响设施安全和功能，需要定期对其进行检测。由于地下管道建设的隐蔽性和困难性，工作人员使用常规的方法难以直接处理，所以对其内部进行检测是一项十分具有挑战性的任务。

2、目前，在管道巡检领域，一些常用的方法还存在一定的缺陷。例如，《一种用于城市地下管道检测机器人》中使用装有闭路电视的管道检测机器人，通过人工对采集的管道视频进行判断，耗时耗力且准确度低下，二维的画面缺少了很多空间信息，无法准确地展现内部的真实结构，而且无法将管道内部数据可视化，缺乏直观的观察效果。此外，还有例如《一种支撑式排水管道激光检测机器人及方法》，虽然采用了基于激光扫描的三维建模方式，但是其机器人在管道内不能定位自己的位置，无法将采集的数据与管道位置建立联系，也就不能判断管道异常的位置，从而降低了适用性，限制了机器人作用的发挥。近些年，三维重建的计算机视觉技术发展迅速，在检测领域也得到了运用。因此，如何使用三维重建技术以及结合惯导定位进行地下管道的三维重建成为需要研究的技术问题。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于双目激光扫描的地下管道三维重建方法，解决了现有地下管道三维重建效果不佳和缺乏定位的问题。

2、一种基于双目激光扫描的地下管道三维重建方法，包括以下步骤：

3、步骤s1：利用装配有双目相机、环形激光投射器、惯性测量单元和轮式里程计的管道机器人作为信息采集装置，对管道机器人的双目相机进行预先标定；

4、步骤s2：打开管道机器人携载的环形激光投射器，将环形激光图案投射于管道内壁，同时控制管道机器人在管道中前进，获取并记录惯性测量单元数据、轮式里程计的数据、含有环形激光图案的管道内壁双目图像，并对双目图像进行校正；

5、步骤s3：采用改进的steger算法分别提取双目图像中环形激光图案的中心线；

6、步骤s4：对双目图像中提取的激光中心线进行立体匹配；

7、步骤s5：根据双目相机标定参数，重构当前双目图像帧中激光中心线的三维圆环；

8、步骤s6：重复步骤s2-s5，计算并重构机器人运动过程中每一帧双目图像中三维圆环；

9、步骤s7：利用惯性测量单元和轮式里程计数据，推导机器人在管道内的运动轨迹；

10、步骤s8：根据移动轨迹和位姿数据对重建圆环进行拼接，完成目标管道整体的三维点云重建。

11、具体地，在步骤s1中包括：

12、步骤s1-1：将打印好的棋盘格纸贴在平板上制作成标定板，通过管道机器人上的双目相机拍摄不同角度的标定板图片，得到更多的坐标信息；

13、步骤s1-2：使用张氏标定法对双目相机进行预先标定，获得相机内外参数。

14、具体地，在步骤s2中包括：

15、步骤s2-1：管道机器人在地下管道入口处静待几分钟，北斗定位系统测量管道入口处的位置坐标(xstart,ystart)，然后打开管道机器人携载的环形激光投射器，将环形激光图案投射于管道内壁；

16、步骤s2-2：控制机器人在管道中前进，通过管道机器人内置的惯性测量单元和轮式里程计获取并记录惯性测量单元数据、轮式里程计的数据，并拍摄含有环形激光图案的管道内壁双目图像，并对双目图像进行校正；

17、步骤s2-3：管道机器人到达终点处停止，北斗定位系统测量此时出口位置(xend,yend)，完成管道的导航定位。

18、具体地，在步骤s3中包括：

19、步骤s3-1：对获取的管道环形激光的图像进行灰度化处理，选取三个通道中对比度最高的灰度图像；

20、步骤s3-2：对灰度图像使用基于高斯滤波和中值滤波的图像去噪操作；

21、步骤s3-3：为了减少图像的相似部分以及突出图像的变化，继续进行图像差分操作，具体表示为：

22、g(d)＝g(f)-g(b) (1)

23、其中，g(f)表示包括激光条纹的图像的灰度值，g(b)表示不含激光条纹的图像的灰度值，g(d)表示差分结果的灰度值；

24、步骤s3-4：利用canny边缘检测提取激光的边缘，然后分割以获得感兴趣区域；

25、步骤s3-5：通过联合双边滤波对激光边缘进行平滑操作，去除毛边，提高steger算法的精度；

26、步骤s3-6：使用steger算法分别提取双目图像环形激光中心线。

27、具体地，在步骤s3-5中，提出采用双边滤波平滑边缘，此方法结合了图像领域的像素值相近度和空间邻近度，引入了值域权重和空间域权重，分别具体表示为：

28、

29、

30、其中，gr、gs分别表示像素域核函数和空间域核函数，σr、σs分别表示值域和空间域标准差，sp表示输出图像，表示联合滤波的归一化项，i表示输入图像，ip、iq表示p、q处输入图像的像素值，p、q表示像素坐标(xp,yp)、(xq,yq)，表示引导图像，引导图像即对输入原图进行高斯平滑后的图像，表示p、q处引导图像的像素值。

31、具体地，在步骤s3-6中，steger算法是计算激光条纹中的像素点的hessian矩阵，找出法线的方向，沿此方向对条纹的灰度分布进行泰勒展开，找到函数值最大、一阶零点和二阶极小值处，即为激光中心点。图像某像素点(x,y)的hessian矩阵具体表示为：

32、

33、其中，dxx、dxy、dyy分别表示通过离散二维高斯偏导数核卷积图像d(x,y)的偏导数，具体计算如下：

34、

35、

36、

37、g(x,y)是二维高斯卷积核，具体表示为：

38、

39、其中，σ表示标准差，d(x,y)是以点(x,y)为中心的图像矩阵，等于高斯核g(x,y)的大小。

40、然后，像素点(x0,y0)的法线方向由该点处h(x,y)的最大特征值对应的特征向量(nx,ny)确定。像素点(x0,y0)的法线方向上的灰度分布函数通过二阶泰勒式来展开，具体计算为：

41、

42、法线方向的灰度极值点作为中心点，可以令d(x0+tnx,y0+tny)为零得到此点，所以亚像素中心点即为(x0+tnx,y0+tny)，t具体表示为：

43、

44、其中，dx、dy分别表示为：

45、

46、

47、具体地，在步骤s4中包括：

48、步骤s4-1：将左目和右目提取的激光圆环中心线分别从中间处一分为二，分割为左右两个半圆；

49、步骤s4-2：分别统计四个半圆激光中心线的坐标，记为二维像素点的坐标集；

50、步骤s4-3：对左目图像的左半圆和右目图像的左半圆，从顶端往下进行扫描，统计每一行的激光中心点像素点坐标(xl,yl)、(xr,yr)；

51、步骤s4-4：由于前面已经进行图像校正，所以相同的点在左右图像处于同一行，即纵坐标相同。根据双目图像中激光中心线的像素分布信息，构建立体匹配损失函数，基于损失函数最小化原则逐一搜索并确定双目图像中激光图案中心线上同名点。通过左右一致性检测进行视差优化，若对应的像素点的视差值超过设定的阈值，则为错误的匹配点，需要删除，提高匹配精度，从而完成两个左半圆的匹配，具体表示为：

52、

53、其中，d表示对应点的视差，dthreshold表示设定的阈值，dfalse表示错误的视差；

54、步骤s4-5：对左目图像的右半圆和右目图像的右半圆，重复上述步骤，完成两个右半圆的匹配；

55、步骤s4-6：将左半圆和右半圆的匹配进行拼接融合，完成整体激光圆环中心线立体匹配。

56、具体地，在步骤s7中包括：

57、管道机器人采用微机电系统传感器的微惯性测量单元，机器人系统开始工作时，需要对管道机器人进行快速初始对准，获得初始姿态矩阵，加速度计在静止的几分钟对采集的加速度取平均值具体表示为：

58、

59、其中，n是输出数据量，t表示采样时间，t表示采样时间间隔，a(k)表示k时刻的加速度值。

60、根据加速度数据即可获得机器人的初始俯仰角θ0和横滚角φ0，具体表示为：

61、

62、

63、其中，ax、ay、az分别表示管道机器人静止时三个坐标轴的加速度值，g表示重力加速度。

64、根据北斗定位的管道起始点坐标可以计算近似直线管道的初始航向角具体表示为：

65、

66、根据上述所求的姿态角可以转换成为姿态初始矩阵机器人前进时姿态矩阵更新公式具体表示为：

67、

68、其中，表示每次采样时的姿态矩阵，k表示采样次数，i表示单位矩阵，δt表示采样时间，ωk表示角速度ωk的反对称矩阵。

69、陀螺仪测量的角速度公式具体表示为：

70、

71、其中，b表示右前向上坐标系，ωb表示系统的角速度，表示地球角速度，表示机器人的角速度，ωerror表示陀螺仪的测量误差。

72、管道机器人的速度通过安装的轮式里程计计算，由于里程计安装在轮子上，与微惯性测量单元质心位置不一致，需要进行转换，计算公式具体表示为：

73、

74、其中，v(k)表示最后转换的质心速度，vl(k)、vr(k)分别表示左轮和右轮的速度，r表示横截面车轮到微惯性测量单元质心的距离。

75、根据以上即可计算机器人在管道中的移动位置，计算公式具体表示为：

76、

77、其中，l(k)＝[x(k),y(k),z(k)]，x(k)、y(k)、z(k)分别表示每次采样时管道机器人沿东、北、上方向的位置坐标，表示k时刻沿右前上坐标系的移动速度，默认横向速度和垂直速度为零。

78、利用惯性测量单元和轮式里程计的数据，获得管道机器人的位置和位姿数据，推导出机器人在管道内的运动轨迹。

79、与现有技术相比，本发明所达到的有益效果：本发明提出一种基于双目激光扫描的地下管道三维重建系统。采用双目激光扫描可以采集到管道内部的包含激光条纹强特征的图像，有效地实现特征点的匹配，可以快速获取深度信息，降低干扰，单个圆环的三维重建完成效果较好。在管道机器人中加入惯性测量单元和轮式里程计，可以实现对机器人在管道中的位置进行实时定位，通过移动轨迹和位姿数据对重建圆环进行拼接，完成地下管道的精准定位与三维重建，快速定位异常位置，具有更广泛的适用性。