一种基于GA-Unet的机场道面缺陷识别方法

本发明涉及机场道面缺陷检测领域，尤其涉及一种基于ga-unet的机场道面裂缝检测方法。

背景技术：

1、随着机场使用年限以及机场承担的运输量的增加，机场跑道的内部以及表面会出现一些缺陷，导致飞机起降的安全性和舒适性受到影响。其中，机场道面裂缝是机场跑道严重缺陷的最初表现形式，若任由裂缝继续发展，将会导致更加严重的影响，及时发现并处理机场道面裂缝也有利于降低机场的运维成本；同时，随着机场规模及数量的不断增加，人工巡视检测的方式已经难以适应机场发展的需要。如今，机场道面裂缝的自动识别技术已经取得了一定程度的发展，但是距离落地应用还有一定的距离。随着深度学习技术在计算机视觉领域的应用，机场道面裂缝检测技术也逐步走向成熟。

2、现如今，已有多种检测技术被应用于机场道面检测领域，如探地雷达检测技术(邱成,2019,霍东伟,2014)、无人机检测技术(陈凤晨，程岚，韩黎明，徐坤，唐科，焦焕静，杜雯佳，叶青,2019)、fwd检测技术(赵志华，袁捷,2015)等。而在机场道面表观缺陷检测中，主要使用搭载工业相机(线阵相机、面阵相机)的平台实现对机场道面图像数据的采集，图像采集完成后，对道面图像中存在的缺陷进行识别和分析，实现对机场道面具体情况的分析。其中，在图像分析工作中，现已有多种传统的基于数值分析的技术被用于图像中的特征识别，如阈值分割(tang and wu,2011)、形态学分割(meng et al.,2018)等；随着机器学习技术的发展，多种机器学习技术也被应用于图像的特征识别中，如支持向量机、神经网络等(mahadevkar et al.,2022)；现在，深度学习技术在计算机视觉领域也取得了较好的发展，许多基于深度学习的图像检测和识别技术被提出，如yolo(hsu and lin,2021)、frcnn(girshick,2015)、u-net(ronneberger et al.,2015a)等。虽然深度学习技术在机场道面表观缺陷检测领域少有研究，但是在与机场道面缺陷检测相似的领域，如检测混凝土建筑表面裂缝、公路道面裂缝检测等，深度学习技术有着较多的实际应用。yao等人(yao etal.,2022)使用结合了注意力机制的yolo v5实现了道面裂缝的检测，取得了较好的道面裂缝检测效果；同样，frcnn也在道面检测领域有着较好的实际应用效果(kortmann et al.,2020)。yolo和frcnn网络模型在道面裂缝检测中的成功应用证实了目标检测网络模型在道面裂缝检测领域的可行性。在进行裂缝检测时，不仅需要将裂缝区域提取出来，还需要确认裂缝的走向以及裂缝的形态等特征信息，因此，在裂缝检测中，使用语义分割的方式对裂缝进行检测，实现图像像素级别的预测，有利于对裂缝进行进一步的分析。chen等人(chenand jahanshahi,2020)提出了nb-fcn，该模型使用fcn架构与贝叶斯概率结合，实现了核电站水下部件的裂缝的高精度检测。sun等人(sun et al.,2022)提出了dma-net，该模型基于deeplab v3+网络结构，同时在解码器中引入了多尺度注意力模块，最终实现了较好的裂缝检测效果。yang等人(yang and ji,2021)采用unet++网络模型对分类后的裂缝图像进行裂缝检测，实验结果表明，该方法能够实现图像中像素级的裂缝检测。shamsabadi等人(asadishamsabadi et al.,2022)使用vit(vision transformer)方法实现了对沥青路面裂缝的检测，相对于传统cnn方法，该方法有着更好的裂缝检测性能。同样，一些滤波的方法也在裂缝检测领域有着较为成熟的应用，同时，gabor滤波器也实现了较高精度的道面裂纹检测。但是，在实际裂缝检测中，尤其是机场道面裂缝检测领域，由于机场道面裂缝宽度较小且存在积雨、积胶等多种干扰情况，导致机场道面图像裂缝特征不明显，因此，现有的深度学习裂缝检测识别方法在该领域应用效果不佳。

3、针对上述深度学习在机场道面裂缝识别中遇到的问题，本文提出了ga-unet网络模型用于机场道面缺陷检测。该模型主要基于unet编码-解码网路结构(ronneberger etal.,2015a)，在输入端采用gabor对机场道面图像进行滤波处理，初步提取到图像的各向纹理特征，并将特征图像作为网络的输入，使网络的输入更加丰富；在编码器中采用多尺度残差卷积模块提取图像中的不同尺度的特征信息；在解码器过程中采用通道注意力机制，将浅层与深层特征结合，再对融合后的特征进行处理，在不同特征层之间动态分配权重，充分利用不同层级的特征，最后使用反卷积进行上采样，实现图像的语义分割。

技术实现思路

1、本发明主要是克服现有技术中的不足之处，本发明的目的是提供一种基于ga-unet的机场道面缺陷识别的方法。

2、为达到以上技术目的，本发明采用以下技术方案：

3、一种基于ga-unet的机场道面缺陷识别的方法，其特征在于，所述计算方法包括以下步骤：

4、s1：使用机器人平台搭载面阵相机采集机场道面表观图像数据，采集完成后，对图像进行预处理；

5、s2：将采集到的机场道面表观图像数据进行分类，分类完成后，使用基于python语言的labelme标注工具对图像进行像素级标注，构建机场道面缺陷图像数据集，并随机的将数据集分为训练集、验证集和测试集，用于深度学习模型的训练；

6、s3：构建多尺度残差卷积模块(multi-scale residual convolution module,mrcm)；

7、s4：构建gabor滤波变换模块(gabor filter module,gfm)；

8、s5：构建通道注意力模块(channel attention module,cam)；

9、s6：使用搭建好的残差卷积模块、通道注意力模块、gabor滤波变换模块、反卷积模块和图像最大池化降采样实现ga-unet模型的搭建；

10、s7：使用焦点损失函数对模型参数进行优化；

11、s8：设置合适的模型量化评估方式，采用精度、召回率和f1值对模型性能进行量化评估；

12、s9：将实验数据输入模型，使用训练集中的数据进行模型训练，同时在训练的过程中使用验证集和测试集对模型泛化性能进行评估；

13、s10：使用最好的模型参数对实际的机场道面图像进行检测，实现图像像素级分割检测，并从不同图像的检测效果对模型进行评估。

14、进一步的，所述步骤s1中使用机器人平台搭载面阵相机采集机场道面表观图像数据，采集数据是尺寸为1800×900的灰度图像；

15、进一步的，所述步骤s1中图像预处理实现方式如下：

16、机场道面图像光照可以表示为：

17、i(x,y)＝b(x,y)+g(x,y)

18、式中，i(x,y)表示机场道面图像总光照分布，b(x,y)表示机场道面图像中背景光强分布，g(x,y)表示采集机场道面图像时射灯的光强分布。

19、得到机场道面图像像素值分布特征后，再随机选择多张图像，得到多张图像的平均像素值分布，通过这一步骤，能够使机场道面标线、积胶等特征对后续处理的干扰减小，同时也能减小噪声对图像后续识别的干扰。求取图像像素平均值分布的计算方法如下：

20、

21、式中，表示得到的多张图像的像素平均值分布矩阵，n表示选取图像的数量，ii(x,y)表示第i张图像的像素值分布矩阵。

22、计算出平均像素分布矩阵以后，根据平均像素分布设计光照补偿系数矩阵，计算光照补偿系数矩阵的方法如下：

23、

24、式中，mp(x,y)表示得到的光照补偿系数矩阵。

25、求出系数矩阵后，就利用系数矩阵与原始图像矩阵对应位置元素相乘，得到光照补偿后的图像，具体计算流程如下：

26、

27、式中，in(x,y)表示原始图像i(x,y)的光照补偿结果图像，α表示图像光照增益系数，其取值范围通常在0.90～1.20之间，表示矩阵对应位置元素相乘的操作。

28、进一步的，所述步骤s2中labelme标注为人工划线实现像素区域的分割。

29、进一步的，所述步骤s3中多尺度残差卷积模块实现方式为：

30、

31、

32、ymrcm＝y1+y2

33、式中，xin表示模块的输入数据；y1和y2分别表示两条支路的输出；ymrcm表示整个残差卷积模块的输出。

34、进一步的，所述步骤s4中gabor滤波变换模块原理如下：

35、二维gabor函数的复数表达式为：

36、

37、二维gabor函数的实数部分表达式为：

38、

39、二维gabor函数的虚数部分表达式为：

40、

41、其中，x′和y′通过以下方式获取：

42、x′＝xcosθ+ysinθ

43、y′＝-xsinθ+ycosθ

44、上述式子中，λ表示gabor核函数中余弦函数的波长参数；θ表示gabor滤波核中平行条带的方向；ψ表示gabor核函数中的余弦函数的相位参数；γ为滤波核的纵横比参数，决定了gabor滤波核的形状；σ表示gabor函数的高斯因子的标准差。其中λ、σ和带宽b关系如下：

45、

46、

47、进一步的，所述步骤s5中通道注意力模块计算公式：

48、ycam＝l·f(l,h)+h

49、式中，ycam表示通道注意力模块最终的输出结果；l表示编码器中输出的浅层特征图；h表示解码器中输出的与编码器中尺寸相同的深层特征图；f(l,h)表示编码器中输出的浅层特征图与解码器中输出的深层特征图经过级联、全局平均池化、1×1卷积、relu激活函数、1×1卷积和sigmoid激活函数后输出的结果。

50、进一步的，所述步骤s7中采取交叉熵损失函数和焦点损失函数对模型参数进行优化，具体公式如下：

51、首先选用交叉熵(cross entropy,ce)损失函数对模型参数进行优化。

52、ce(pk)＝-lg(pk),

53、式中，pk表示预测样本属于第k类别的概率。

54、对于裂缝图像数据，由于裂缝呈线性分布且只占图像的小部分，图像大多为背景信息。造成了负样本过多，在训练的时候，背景的损失占据总损失的大部分，影响模型的优化方向。针对正负样本不平衡的情况，本文使用焦点损失来平衡样本的权重。

55、fl(pk)＝-α(1-pk)γlg(pk),

56、式中，α为一常数，当γ增加的时候，α需要减小一点，本次实验α＝2.5；γ为注意参数，本次实验γ＝2.0；(1-pk)γ为调制系数，通过该系数减少易分类样本的权重，从而使模型更加专注于难分类样本。

57、进一步的，所述步骤s8中评估方式的计算公式为：

58、

59、

60、

61、式中，tp表示裂缝区域内被正确检出的像素点个数，fp表示非裂缝区域像素点被预测为裂缝像素点的个数，fn表示裂缝区域未被检测出的像素点个数。

62、本发明提出了一种新的图像语义分割模型ga-unet，在unet模型中，输入数据通常采用卷积的方式来实现通道数的扩张，而该模型采用gabor滤波变换模块搭建gfm模块，采用相对固定的方式提取图像中的不同方向纹理等特征，实现初步的特征提取，丰富了模型的输入信息，使模型的可用特征信息增加；然后，该模型使用mrcm和cam模块实现了网络模型中的各层级特征的有效利用，提升了模型的特征识别能力。在模型训练过程中，采用focal损失函数使模型更加关注图像中的裂缝等难分类的小样本的特征，进一步提升模型的裂缝、灌缝和板缝的识别性能。实验结果表明，现有的深度学习图像识别技术很有希望在机场道面图像识别领域落地应用，为机场道面管理人员减少工作量以及对机场道面科学养护与管理提供了理论依据。

63、有益效果：

64、与现有技术相比，本发明具有以下有益效果：

65、本次实验以机器人采集的机场道面数据为基础，分别使用fcn、deeplab v3、unet和ga-unet模型来识别机场道面图像中的特征(裂缝、灌缝、板缝)，实现机场道面缺陷的自动识别，并总结如下：本次实验主要是使用ga-unet模型进行机场道面表观裂缝识别，并与现有的经典语义分割模型进行识别效果对比。对比实验结果表明，在使用相同的实验数据和同样的实验设备以及同样的训练周期的情况下，使用focal损失函数训练出的ga-unet模型有着更好的鲁棒性和泛化能力，ga-unet能在有不同干扰程度的机场道面图像中较为准确的识别出机场道面中存在的裂缝。在进行机场道面裂缝识别的同时，我们也对ga-unet的灌缝和板缝识别性能进行了较为详尽的评估。对比实验结果表明，ga-unet同样能够在不同干扰程度的图像中准确的提取出图像中的灌缝和板缝的特征，实现机场道面中的灌缝和板缝的有效识别。最终所有的对比实验结果表明，ga-unet模型对机场道面中的裂缝、灌缝和板缝识别结果明显优于fcn、deeplab v3和unet。