一种桥梁裂缝智能识别与测量方法

本发明属于桥梁结构检测，具体涉及一种桥梁裂缝智能识别与测量方法。

背景技术：

1、桥梁裂缝会降低桥梁结构的抗力，对桥梁的安全性和耐久性构成重大威胁。因此，定期检查桥梁裂缝，包括位置、宽度、发展趋势等，对于了解桥梁损伤状况至关重要。

2、随着无人机、人工智能等新技术的迅猛发展，桥梁检测正朝数字化与智能化方向迈进。利用计算机视觉技术，对桥梁照片进行智能识别，定位裂缝并提取信息，相较于传统的人工检测，具有大幅减轻人力负担、提升精确度与客观性等优势。深度学习的应用使得智能识别能够应对各种裂缝背景与形态，分为目标检测算法和语义分割算法两类。yolov8作为目标检测算法yolo系列最新的算法，能够实现高精度且快速的桥梁裂缝识别定位。然而，其输出结果难以反映裂缝的特征。因此，需要利用语义分割算法对yolov8得到的裂缝图像进行像素标记，提取属于裂缝的像素。然而，多数图像语义分割算法通过跳跃融合低级和高级语义特征，实现较高精度的图像分割，却少有算法对输入图像进行改进。

技术实现思路

1、有鉴于此，本发明提供了一种桥梁裂缝智能识别与测量方法，以解决现有多数图像语义分割算法通过跳跃融合低级和高级语义特征，实现较高精度的图像分割，却少有算法对输入图像进行改进的问题。

2、本发明采用的技术方案如下：

3、一种桥梁裂缝智能识别与测量方法，包括以下步骤：

4、步骤1：将桥梁裂缝数据集输入到yolov8网络中进行迁移学习，得到目标识别定位模型，将待处理的桥梁图像输入到目标识别定位模型中，对图像中的裂缝进行识别定位，输出桥梁裂缝图像；

5、所述步骤1具体包括以下步骤：

6、步骤1.1：将桥梁裂缝数据集划分为训练集和验证集，将训练集和验证集内的桥梁裂缝数据预处理后输入到yolov8网络中进行迁移学习；

7、所述步骤1.1具体包括以下步骤：

8、步骤1.11：获取开源的混凝土表面裂缝图像和裂缝放大仪采集的裂缝图像，得到桥梁裂缝数据集，通过图像缩放、图像归一化对桥梁裂缝数据集进行预处理，并利用图像翻转、图像旋转进行桥梁裂缝数据集增强；

9、步骤1.12：将经过步骤1.11处理后的桥梁裂缝数据集以9：1的比例划分为训练验证集和测试集，随后按照9：1的比例将训练验证集再次划分为训练集和验证集，然后将训练集和验证集输入到yolov8网络中进行迁移学习。

10、步骤1.2：yolov8网络基于骨干网络、颈部网络和预测端对步骤1.1输入的桥梁裂缝数据进行图像特征的提取，并进行目标检测，获取裂缝的识别定位结果，并输出桥梁裂缝图像。

11、骨干网络是特征提取的核心，采用卷积对图像进行下采样，使用c2f模块构建了模型的特征提取结构，以获取图像的关键特征信息。并利用sppf模块实现多尺度特征信息快速提取与拼接。颈部网络利用c2f模块强模型的特征提取能力以实现更好的特征融合。预测端是模型的输出部分，采用了定位与分类解耦的decoupled-head机制，从而更加灵活地处理不同尺度的语义信息。

12、步骤2：建立超清图像分割模型，将步骤1中输出得到的桥梁裂缝图像输入到超清图像分割模型中，得到桥梁裂缝的二值图像；

13、步骤2中所述建立超清图像分割模型，具体包括以下步骤：

14、步骤2.1：构建加强图像特征的超分辨图像网络，所述超分辨图像网络利用3×3卷积对桥梁裂缝图像进行特征提取，通过1×1卷积桥梁裂缝图像进行降维，然后将经过降维后的特征输入到投影单元，通过向上和向下投影不断交替输出高清与低清特征映射。将所有向上投影单元产生的高清特征映射融合起来，通过3×3卷积对其进行重构，得到最终的裂缝高清图像；

15、其中，上投影单元接受前置所有下投影单元输出的低清特征映射，对其进行融合与反卷积得到高清特征映射；下投影单元则接受所有前置所有上投影单元输出的高清特征映射，获取深层次的图像特征，通过卷积输出低清特征映射。在上投影单元中，利用el得到求取低清图像之间的残值，并对其进行反卷积，最后通过图4中“+”，将其与备份的高清特征相加输出最终的高清图像；同理，下投影单元中，eh表示高清图像之间的残值，最终输出低清图像。

16、步骤2.2：构建语义分割网络unet，通过所述unet网络的编码器、解码器及跳跃连接结构对步骤2.1中的裂缝高清图像进行二值分割，得到裂缝二值图像。

17、步骤2.2中，所述编码器由vgg16网络构成，所述编码器的5个卷积层分别采用64、128、256、512、512个卷积核，卷积核大小为3×3，激活函数为relu；

18、所述解码器由5个反卷积层构成，每个反卷积层的卷积核大小为3×3，激活函数为relu；

19、所述跳跃连接结构由编码器的对应层与解码器的对应层进行连接，以融合编码器提取的高层语义信息和解码器提取的低层纹理信息。

20、编码器的5个卷积层分别负责提取图像的不同层次特征。其中，第1层提取图像的边缘和纹理特征；第2层提取图像的局部结构特征；第3层提取图像的语义特征；第4层提取图像的语义细节特征；第5层提取图像的全局语义特征。解码器的5个反卷积层则负责将编码器提取的特征进行重建。

21、步骤2.3：超清图像分割模型由超分辨图像网络和图像语义分割网络通过损失函数联合构成。超清图像分割模型通过损失的反向传播不断改进权重系数，而由于裂缝图像中正负样本极度不平衡，将预测裂缝的边界轮廓与人工标注的标签的边界轮廓的距离作为边界损失，有助于减弱语义分割过程中正负样本不平衡对模型性能的影响。其中预测裂缝边界与标签边界的距离变化可以表示为：

22、

23、式中，与分别表示标签图像与预测图像的轮廓，p是上的点，代表上p点法向方向所对应的上的点。δs表示与所围起来的区域，q表示空间上任意一点，dg(q)为q点与上最近一点的距离，可表示为：

24、

25、根据边界距离变化，φg(q)＝-dg(q)，s(q)与g(q)是轮廓指示函数，当q落在空间域s中时，s(q)为1，否则为0；同理当q落在空间域g中时，g(q)为1，否则为0。据此，可令s＝sθ，s(q)＝sθ(q)以表示像素分类的概率，得到边界损失函数：

26、

27、边界损失可能由于类的不平衡陷入局部最小值，因此引入区域损失广义dice损失(gdl)，联合构成损失函数：

28、

29、上述式中，α的初始值为0.01，但每训练一轮，其值会增加0.01。模型训练时，需要考虑超分辨技术对于裂缝输入图像的影响，这里引入l1损失描述该误差：

30、

31、这里，isr和ihr分别表示用重构的超分辨图像以及原始的高清图像，i是高清图像像素点集。通过权重参数，将语义分割损失函数和超分辨损失函数通过权重系数β∈[0,1]结合起来，得模型的整体损失函数：

32、

33、步骤2.4：收集网络共享的混凝土语义分割裂缝图像及其标签。并将其以9：1的比例将训练验证集划分为训练集和验证集。将训练集与验证集输入到超分辨图像分割模型之中，以峰值信噪比与结构相似性指数评价超分辨图像的质量，由图像交并比评价图像分割结果的精度。

34、步骤3：基于最短距离法与正交骨架法的混合法对步骤2得到的裂缝的二值图像进行像素宽度测量。

35、所述步骤3具体包括以下步骤：

36、步骤3.1：对步骤2所得到的裂缝二值图像进行连通域去噪，消除非裂缝连通域，然后利用中轴变换法对去噪后的裂缝二值图像提取单像素骨架，并进行剪枝，去除错误的骨架信息，最后通过canny算子和形态学中轴变换获取裂缝边缘信息；

37、步骤3.2：基于步骤3.1得到的裂缝边缘与单像素骨架，利用常数核找到单像素骨架的正交向量，并将裂缝边缘的边缘点投影到正交向量上，找到投影系数大于给定阈值的边缘点，并根据方位，将大于给定阈值的边缘点划分为正负两组，筛选候正负两组中距离最小的两点，距离最小的两点的欧式距离即是裂缝的像素宽度。

38、所述步骤3.2具体包括以下步骤：

39、步骤3.21：基于得到裂缝边缘与单像素骨架，得到裂缝边缘与单像素骨架之间的法向量表示为：

40、bn＝b-skel

41、其中，b是局部边界点，skel为相邻骨架点，bn局部边界点相对于该骨架点的向量组；

42、步骤3.32：通过主成分分析法得到裂缝骨架的正交向量y，推得局部边界点在正交向量y上的投影系数：p＝bn·yt，并引入平衡因子γ∈(0,1)将需要的边界点分为正负两个候选组，如下式：

43、

44、步骤3.33：最通过最短距离法，筛选候选组点c1与c2中距离最小的两点，得到裂缝的像素宽度：

45、

46、步骤3.34：在得到裂缝的像素宽度以后，通过像素标定，即获取裂缝的真实宽度信息，图像中每个像素所对应的物理尺寸，由下式得：

47、wpp＝10wd/wfpc

48、其中，wpp为单个像素对应的物理尺寸，wd为相机的拍摄距离，wf为相机焦距，pc为相机感光元件1cm所含的像素数量。

49、综上所述，由于采用了上述技术方案，本发明的有益效果是：

50、1、本发明充分利用yolov8算法能够实现高精度且快速的桥梁裂缝识别定位，并通过超分辨图像分割模型解决了yolov8算法难以反映裂缝的特征，最后基于最短距离法与正交骨架法的混合法对桥梁裂缝的像素宽度进行测量，从而打破了裂缝识别定位、裂缝分割、像素宽度测量三者之间的信息壁垒，实现了桥梁裂缝的全流程智能化识别。

51、2、本发明采用训练好的yolov8模型提取输入图像特征，并进行目标检测获取识别定位结果。

52、3、本发明使用超分辨图像技术对裂缝图像进行特征加强，通过vgg16网络提取裂缝图像的高层语义，利用浅层特征提取网络提取裂缝的位置轮廓信息，再通过跳跃连接融合，降低了模型对复杂背景像素的误判，提高了裂缝语义分割的准确性。此外，本发明改进了损失函数，利用边界损失对模型网络参数进行优化训练，降低了裂缝图像中正负样本不平衡的问题。通过超分辨网络与unet网络的联合训练，从输入端提高了模型的语义分割性能。

53、4、本发明综合最短距离法与正交骨架法两种裂缝像素宽度测量方法，在考虑裂缝扩展方向的同时，避免了边缘点被错误选取至离裂缝较远的位置，从而实现了更精确的裂缝像素宽度测量。