一种采用采集机器人和深度学习算法的钢箱梁巡检方法与流程

本发明涉及钢箱梁裂缝监测领域，尤其是涉及一种采用采集机器人和深度学习算法的钢箱梁巡检方法。

背景技术：

目前，对桥梁钢箱梁裂缝的检测多依靠人工巡检，通过目测或磁粉法等识别和定位钢箱梁裂缝。这种人工巡检检测周期长，无法及时反应钢箱梁裂缝的情况。并且对裂缝的判定标准较为主观，识别精度较低。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种采用采集机器人和深度学习算法的钢箱梁巡检方法。

本发明的目的可以通过以下技术方案来实现：

一种采用采集机器人和深度学习算法的钢箱梁巡检方法，包括以下步骤：

1)确定采集机器人的巡检路线并进行导航行走；

2)采集机器人在巡检路线上实时采集钢箱梁内部的表观信息；

3)采用裂缝进行识别和定位的深度学习算法进行识别和定位。

所述的步骤1)具体包括以下步骤：

11)根据钢箱设计图纸，根据采集机器人摄像头的视角及精度要求，获取巡检一个标准梁段的最短路径；

12)采集机器人在行走时通过摄像头提取梁段内的视觉特征，用以导航和定位，并且采用步进电机驱动履带进行前进和差速转弯，用以跨越底板U肋非平面，同时结合三轴运动传感器，对自身位置进行精确控制。

所述的步骤3)具体包括以下步骤：

31)采用Faster-RCNN两层检测模型作为深度学习算法的框架，并进行深度学习训练；

32)导出训练好的模型，并根据该模型对实时采集到的图片进行裂缝识别和定位，并集合采集点信息将裂缝映射到全桥的BIM模型中。

所述的步骤31)具体包括以下步骤：

先采用特征提取网络将训练原图提取成高维向量组成的特征图，然后采用区域推荐网络生成不同大小的裂缝候选框，对候选框内可疑的区域确定裂缝的等级和位置，使用标记好的标准化图集训练算法中的参数，并以两者与实际的误差之和作为惩罚函数进行深度学习。

所述的步骤1)中，采集机器人包括主控模块以及分别与主控模块通信的运动模块、导航模块和采集模块，所述的主控模块采用单片机，所述的运动模块包括步进电机和三轴传感器，所述的导航模块包括导航用摄像头和红外线距离传感器，所述的采集模块包括采集云台以及设置在采集云台上的采集传感器和采集辅助设备。

所述的采集传感器为摄像头，所述的采集辅助设备为补光器。

与现有技术相比，本发明具有以下优点：

一、自动化、效率高：经相关调研，现有的箱梁病害采集技术多为人工巡检，或利用高清相机辅助，人工逐节检测，对于单片箱梁节段，由于需要检测部位经常位于人难以到达的地方，若逐孔检测则需要多次架设梯子等辅助工具并上下爬行，效率十分缓慢，该工法能在箱梁需要检测部位一侧放置并调试好相应的机器人后，即可自动进行行走并对相关部位自动拍照，相对于人工，所耗时间减去了相应位置架设设备并进行相应人工操作的时间，因此采集时间能够减少。

二、便于拍摄、精度高：位于钢箱梁U肋上方的钢箱梁裂缝多为宽度不足1mm，长度变化十分巨大(从2mm-300mm)，人工检查时，由于相应操作员的身体抖动、角度拍摄不到等原因，常常无法正常的得到精确的箱梁裂缝图片，在该工法当中，使用的采集机器人能够在拍摄时稳固固定，并能进行多角度的旋转，保证了最佳拍摄的角度与位置，避免了精度上的误差问题。

三、识别精度高：采集到的相片能够利用深度学习算法进行标的，节省了人工识别的时间，基于数据进行识别，避免了人工识别中由于人的主观误差产生的分辨影响，提高了识别精度。

附图说明

图1为采集机器人模块组成图。

图2为采集机器人的采集流程图。

图3为深度学习算法流程图。

图4为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明提供一种采用采集机器人和深度学习算法的钢箱梁巡检方法，具体包括以下步骤：

1、巡检路线规划、导航与行走：根据钢箱设计图纸，结合采集摄像头的视角及精度要求，设计巡检一个标准梁段的最短路径。机器人行走时通过传感器提取梁段内视觉特征(如底板边缘)用以导航和定位。机器人的行走采用步进电机驱动履带进行前进和差速转弯，以实现跨越底板U肋等非平面环境。并结合三轴运动传感器，对其位置进行较精确的控制。

2、对钢箱梁内部的表观信息采集：结合识别算法的需要在机器人上设置高精度摄像头，并设有补光灯以实现采用环境的统一。摄像头放置在三自由度云台上，在沿巡检路径行走时通过控制云台实现对钢梁内部信息采集。

3、对裂缝进行识别和定位的深度学习算法：深度学习的算法框架为Faster-RCNN两层检测模型。先使用特征提取网络将原图提取成高维向量组成的特征图。然后在此基础上，用区域推荐网络生成不同大小的裂缝候选框，对候选框内可疑的区域确定裂缝的等级和定位。并以两者与实际的误差之和作为惩罚函数进行深度学习。在训练阶段，使用标记好的标准化图集训练算法中的参数，并导出训练好的模型。在检测阶段对机器人采集到的图片进行裂缝是识别和定位，并集合采集点信息将裂缝映射到全桥BIM模型中，便于后期处理。

如图1和2所示，采集机器人分为主控、运动模块、导航模块和采集模块四个部分。主控可由单片机承担。运动模块包括步进电机和三轴传感器等。步进电机能精确的控制转子转动的角度，三轴传感器可以感知机器人运动的速度、加速度等。两者形成控制的闭环，从而实现对机器人运动较为精确的控制。

导航模块包括导航用摄像头、红外线距离传感器等。通过采集箱梁内部带有特征的图片(如底板的边缘)及相距距离，检测出当前的位置，并与规划好的路线比对，实现导航的功能。

采集模块包括采集传感器和辅助设备等。采集传感器可使用较高精度的摄像头，并结合补光器等辅助设备实现相对统一的采集环境。并在采集图像时，矫正并记录当时的位置，为后期裂缝确定实际位置的映射提供相关信息。

如图3所示，深度学习的算法框架为Faster-RCNN两层目标检测网络。先使用特征提取网络将原图提取成高维向量组成的特征图。然后再此基础上用区域推荐网络生成不同大小的裂缝候选框，对候选框内可疑的区域确定裂缝的等级和定位。并以两者的误差之和作为惩罚函数进行深度学习。

实施例：

如图4所示，本发明首先根据钢箱梁标准段图纸，设计机器人巡检路线。路线应考虑到机器人行走时图像采集的视角和清晰度要求。

然后将机器人放置在某一梁段中，按照设计好的巡检路线采集信息。巡检时通过导航模块中的摄像头等传感器及对步进电机的步进控制，来精确的感知其运动的时程位置。采集时，调整多自由度云台的角度，通过补光灯等辅助设备保证环境光源保持相对一致，并记录下采集时的位置。采集完一个梁段的信息之后移动到下一个梁段采集。

将图像训练集标准化处理后，输入深度学习网络，根据惩罚函数进行训练模型参数。然后将采集好的图片导入训练好的模型中，对钢箱梁表面的裂缝进行识别和定位。

最后，结合采集点的定位信息，将检测到的裂缝映射到全桥BIM模型，便于日后养护检修使用。