一种混凝土细小裂缝识别方法

1.本发明涉及图像处理技术领域，尤其涉及一种混凝土细小裂缝识别方法。


背景技术：

2.随着我国交通基础设施使用年限的增长，桥梁与道路的混凝土出现了不同形式病害，其中混凝土裂缝已经成为最主要的病害之一，严重影响桥梁与道路的使用寿命，增加了养护的难度和成本。
3.目前，针对混凝土裂缝检测方法主要有：人工观察，数字图像处理，雷达检测等。然而，随着自动化和智能化水平的提升，数字图像处理方法，尤其是通过机器视觉识别混凝土裂缝成为技术发展的趋势。现有的专利公开号为cn107169953b发明专利公开了一种基于hog特征的桥梁混凝土表面裂缝检测方法，通过训练好的svm分类器对图像提取对应的hog特征进行分类，进而提高了桥梁表面裂缝检测的精度；以及现有公开号为cn106910186b发明专利公开了一种基于cnn深度学习的桥梁裂缝检测定位方法，实现了基于彩色的图像进行桥梁裂缝的检测和定位。虽然上述检测方法可以获取裂缝相关信息，但无法处理具有不均匀尺度分布的混凝土细小裂缝图像，主要是由于图像中混凝土裂缝的像素占整张图片的像素的百分比非常小，造成了正负样品失衡，以及混凝土裂缝的不均匀尺度分布会使得在使用神经网络提取混凝土裂缝特征时，导致混凝土细小裂缝特征的信息丢失，从而导致对混凝土细小裂缝的检测精度出现差错。进而亟需提出一种新的针对混凝土细小裂缝的识别方法。


技术实现要素：

4.本发明的主要目的在于提供一种混凝土细小裂缝的识别方法，旨在解决现有的混凝土细小裂缝检测精度差的技术问题。
5.为实现上述目的，本发明提供一种混凝土细小裂缝的识别方法，所述方法包括以下步骤：
6.获取目标混凝土图片；
7.将目标混凝土图片通过训练好的新的神经网络模型获取目标混凝土图片中的细小缝隙成像，其中新的神经网络模型包括对目标混凝土图片进行多级特征提取处理、注意力模块处理和融合模块处理。
8.可选地，所述将目标混凝土图片通过训练好的新的神经网络模型获取目标混凝土图片中的细小缝隙成像的步骤，包括：
9.将目标混凝土图片进行多级特征提取处理，直至得到最后级别的第一输出特征信息，其中将上一级别的特征提取处理后的第一输出特征信息作为下一级别特征提取处理的输入信息；
10.将各级别的第一输出特征信息分别进行注意力模块处理，得到对应的各级别的第二输出特征信息，并将最后级别的第二输出特征信息进行1
×
1卷积操作得到优化后的最后
级别的第二输出特征信息；
11.将优化后的最后级别的第二输出特征信息与最后级别上一级的第二输出特征信息进行融合模块处理得到最后级别上一级的第三输出特征信息；
12.将余下各级别的第二输出特征信息与其下一级别的第三输出特征信息进行融合模块处理得到对应级别的第三输出特征信息，直至得到第一级别的第三输出特征信息；
13.将第一级别的第三输出特征信息分别进行3
×
3卷积操作、
×
2操作以及1
×
1卷积操作得到目标混凝土图片中的细小缝隙成像。
14.可选地，所述将目标混凝土图片进行多级特征提取处理，直至得到最后级别的第一输出特征信息，其中将上一级别的特征提取处理后的第一输出特征信息作为下一级别特征提取处理的输入信息的步骤，包括：
15.将目标混凝土图片或各输入信息依次进行两次3
×
3卷积操作、最大池化操作和leakrelu激活函数操作得到对应的各级别的第一输出特征信息。
16.可选地，所述将各级别的第一输出特征信息分别进行注意力模块处理，得到对应的各级别的第二输出特征信息的步骤，包括：
17.将各级别的第一输出特征信息依次进行压缩操作和激励操作得到对应的1
×1×
c特征信息；
18.并将各1
×1×
c特征信息对对应的各级别的第一输出特征信息进行scale操作得到对应的各级别的第二输出特征信息。
19.可选地，所述将各级别的第一输出特征信息依次进行压缩操作和激励操作得到对应的1
×1×
c特征信息的步骤，包括：
20.将各级别的第一输出特征信息进行全局平均化处理、两次全连接层处理以及单次全连接处理后进行对应leakrelu激活函数、sigmiod激活函数操作得到对应的1
×1×
c特征信息。
21.可选地，所述将优化后的最后级别的第二输出特征信息与最后级别上一级的第二输出特征信息进行融合模块处理得到最后级别上一级的第三输出特征信息的步骤，包括：
22.将优化后的最后一级别的第二输出特征信息依次进行
×
2操作、leakrelu激活函数操作和归一化处理得到第一处理信息；
23.将最后级别上一级的第二输出特征信息依次进行1
×
1卷积操作、leakrelu激活函数操作和归一化处理得到第二处理信息；
24.将各第一处理信息和对应的第二处理信息进行级联操作得到最后级别上一级的第三输出特征信息。
25.可选地，所述将余下各级别的第二输出特征信息与其下一级别的第三输出特征信息进行融合模块处理得到对应级别的第三输出特征信息，直至得到第一级别的第三输出特征信息的步骤，包括；
26.将余下各级别的第二输出特征信息进行1
×
1卷积操作、leakrelu激活函数操作和归一化处理得到第三处理信息；
27.将余下各级别的下一级别的第三输出特征信息依次进行
×
2操作、leakrelu激活函数操作和归一化处理得到第四处理信息；
28.将各第三处理信息和对应的第四处理信息进行级联操作得到余下各级别的第三
输出特征信息。
29.可选地，所述获取目标混凝土图片之前，还包括：
30.创建混凝土裂缝图片样本集，并标注各图片所对应的裂纹信息，所述样本集包括训练集和测试集；
31.将标记有裂纹信息的训练集和测试集内的图片在pytorch环境中进行unet网络模型训练，得到训练好的新的神经网络模型，其中设置的损失函数为焦点损失函数。
32.可选地，所述损失函数聚焦的数学表达式为：
33.fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)-(1-α
t
)(p
t
)
γ
log(1-p
t
)；
34.其中γ为可聚焦参数，γ≥0，α
t
为引入权重系数，(1-p
t
)
γ
为引入权重。
35.可选地，所述γ为2。
36.本发明提供一种混凝土细小裂缝的识别方法，通过对新的神经网络模型进行训练得到训练好的新的神经网络模型，进而通过对目标混凝土图片进行多级特征提取处理、注意力模块处理和融合模块处理，实现了将目标混凝土图片从上到下逐层融合特征图，并在特征图中保留细小裂缝特征和裂缝边缘信息，提高裂缝检测精度。此外在进行新的神经网络模型训练中，通过增加注意力机制减缓了在训练模型中存在的正负样本失衡问题，进而使模型做出更加准确的判断，同时降低模型的计算时间和存储空间。以及通过焦点损失函数代替传统的交叉熵方法，用以解决样本类别不平衡和样本分类难度不平衡等问题。
附图说明
37.图1为本发明一种混凝土细小裂缝的识别方法的实施例的流程示意图；
38.图2为图1中的所述新的神经网络模型的结构示意图；
39.图3为图1中的所述步骤s200的细化流程示意图；
40.图4为图2中的所述特征提取模块的结构示意图；
41.图5为图2中所述的注意力模块的结构示意图；
42.图6为图2中所述的融合模块的结构示意图；
43.图7为本发明一种混凝土细小裂缝的识别系统的实施例的结构示意图；
44.图8为采集到的混凝土裂缝的原始图片；
45.图9为将图8中的图片进行传统的视觉处理后得到的裂纹效果图；
46.图10为将图8中的图片进行unet网络处理后得到的裂纹效果图；
47.图11为将图8中的图片进行本发明的识别方法处理后得到的裂纹效果图。
48.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
49.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
50.参见图1至图8，本发明提供一种混凝土细小裂缝的识别方法的实施例，所述方法包括以下步骤：
51.步骤s100，获取目标混凝土图片；
52.步骤s200，将目标混凝土图片通过训练好的新的神经网络模型获取目标混凝土图片中的细小缝隙成像，其中新的神经网络模型包括对目标混凝土图片进行多级特征提取处
理、注意力模块处理和融合模块处理。
53.具体地，在步骤s200之前，通过在计算平台(nvidia geforce gtx 1050,2048mib，windows系统，pytorch)上编程训练该神经网络结构，并使用gpu进行加速训练，获取新的神经网络模型。进而将需要检测的混凝土图片通过训练好的神经网络获取目标混凝土图片中的细小缝隙成像。以及在步骤s100之中，获取目标混凝土图片搭建新的数据集。该数据集来自于两个方面，一方面是自身在周边的混凝土道路上采集的裂缝图片，具体是使用任意的相机采集不同路段、不同时间段和不同天气下的混凝土裂缝图片。另一方面合并了互联网上可用的7种不同的裂缝数据集，包括crack500，ael，cfd，crackannotationtool，cracktree200，gaps384和trainedmodel共7种公开的数据集，并从中筛选出符合混凝土道路裂缝的图片。本实施例中，搭建的新的数据集包含3278张图像，在上述3278张图片中随机选择了2978张不同的原始图片用于这些裂缝检测网络的训练和交叉验证，剩余的300张图像作为测试集用来验证网络性能。为了与之后的神经网络结构输入图片尺寸相匹配，还需要对图像进行预处理，本实施例中输入图片大小为256
×
256
×
3，因此在pytorch中可以用transforms容器对图像预处理，将图像的分辨率变成256
×
256。
54.进一步地，在步骤s200之中，提出了一种融合了多级特征提取处理、注意力模块处理和融合模块处理的新的神经网络模型，该模型是以unet模型为基础设计改进的，具体结构如图2所示。其中，为了解决图像中混凝土裂缝的像素百分比非常小，造成的正负样品失衡的问题，在本发明设计的新的神经网络模型中，损失函数采用的是焦点损失函数(focal loss function)，用以解决在训练过程中的样本类别不平衡和样本分类难度不平衡等问题，具体地，focal loss function焦点损失函数是在平衡交叉熵损失基础上增加一个调节因子和可聚焦参数，让损失函数聚焦在困难样本的训练，其数学表达式为：
55.fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)-(1-α
t
)(p
t
)
γ
log(1-p
t
)，
56.其中γ≥0使得减少易分类样本的损失，并使得模型更专注于困难样本。并且调节正负样本不均衡的方法则是引入权重系数α
t
，调节难易样本训练的方法则是引入权重(1-p
t
)
γ
，其中，γ≥0，优选地本实施例中的γ取值为2。并且在训练过程中还引入注意力模块，即se模块，当将注意力机制应用于破解语义分割任务时，神经网络模型通过注意力模块增加了感兴趣区域的信息权重，并抑制了不相关区域的注意力。进而得到的新的神经网络模型包括了对目标混凝土图片进行多级特征提取处理、注意力模块处理和融合模块处理，实现了将目标混凝土图片从上到下逐层融合特征图，并在特征图中保留细小裂缝特征和裂缝边缘信息，提高裂缝检测精度。
57.进一步地，如图3所示，所述将目标混凝土图片通过训练好的新的神经网络模型获取目标混凝土图片中的细小缝隙成像的步骤，包括：
58.步骤s210，将目标混凝土图片进行多级特征提取处理，直至得到最后级别的第一输出特征信息，其中将上一级别的特征提取处理后的第一输出特征信息作为下一级别特征提取处理的输入信息；
59.具体地，本实施例中的特征提取是采用五级特征提取处理，并且第一级的特征提取处理的输入信息是目标混凝土图片，且目标混凝土图片的输入尺寸统一为256
×
256
×
3，将目标混凝土图片依次进行两次3
×
3卷积操作，且输出的特征图尺寸大小为256
×
256
×
8，然后进行一个最大池化操作且输出的特征图尺寸大小为128
×
128
×
8，并且在最大池化操
作后还进行leakrelu激活函数操作，进而得到第一级别的第一输出特征信息。并且，针对第二级别的特征提取，是直接将第一级别的第一输出特征信息作为第二级别的输入信息并持续进行两次3
×
3卷积操作、最大池化操作和leakrelu激活函数操作得到对应的第二级别的第一输出特征信息，其中第二级别的第一输出特征信息的尺寸大小为64
×
64
×
16，依次类推，相继进行第三、第四、第五级别的特征提取并得到对应的第三、第四、第五级别的第一输出特征信息，且对应的尺寸大小分别为32
×
32
×
32，16
×
16
×
64，8
×8×
128。其中leakrelu函数其数学表达式为：
60.y＝max(0，x)+leak*min(0，x)；
61.其中leak是一个非常小的常数，本发明设计取0.1，这能确保激活函数非线性同时避免梯度弥散。
62.同时，本实施例中是针对于混凝土裂缝分布特征少、且裂缝一般为细长的图片，进而不适宜采用大的卷积核进行卷积，以避免错过许多裂缝细微的特征。因此基于裂缝边缘信息与混凝土背景明显不同，本实施例中采用最大池化法对特征图进行下采样，进而在每次缩减采样期间，分辨率都会降低一半，所以在经过五次最大池化，能得到5个分辨率的第一输出特征信息，分别是128
×
128，64
×
64，32
×
32，16
×
16，8
×
8的图像分辨率。
63.步骤s220，将各级别的第一输出特征信息分别进行注意力模块处理，得到对应的各级别的第二输出特征信息，并将最后级别的第二输出特征信息进行1
×
1卷积操作得到优化后的最后级别的第二输出特征信息；
64.具体地，本实施例中，针对步骤s210中得到的各级别的第一输出特征信息分别通过注意力模块处理，其中一个注意力模块，主要包含压缩squeeze和激励excitation两部分，进而注意力模块简称为se模块，如图5所示，w、h表示特征图宽、高，c表示通道数，输入特征图大小为w
×h×
c，压缩squeeze操作就是一个全局平均池化global average pooling，并且经过压缩操作的特征图被压缩为1
×1×
c向量；激励excitation操作是由两个全连接层组成，其中1/r是一个缩放参数，该参数的目的是为了减少通道个数从而降低计算量，进而第一个全连接层有c/r个神经元，输入为1
×1×
c，输出1
×1×
c/r，第二个全连接层有c个神经元，输入为1
×1×
c/r，输出为1
×1×
c，并且在两个全连接层之间增加了leakrelu激活函数操作，以及在第二个全连接层之后加入了sigmiod激活函数操作，并得到尺寸大小为1
×1×
c特征信息，进而将各1
×1×
c特征信息对应的各级别的第一输出特征信息进行scale操作得到对应的各级别的第二输出特征信息，即将原有特征向量为w
×h×
c的各级别的第一输出特征信息的二维矩阵与其通过se模块计算出来的各通道权重值相乘，得出对应的各级别的第二输出特征信息，可见，增加注意力机制，它可以帮助模型对输入的x每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销，进而这种注意力机制让模型可以更加关注信息量最大的通道特征，而抑制那些不重要的通道特征，进而增加了目标区域的信息权重。同时，针对最后一级别的第二输出特征信息即第五级别的第二输出特征信息还进行1
×
1卷积操作得到优化后的第五级别的第二输出特征信息。
65.步骤s230，将优化后的最后级别的第二输出特征信息与最后级别上一级的第二输出特征信息进行融合模块处理得到最后级别上一级的第三输出特征信息；
66.具体地，将步骤s220中获取的各优化后的最后级别的第二输出特征信息与最后级
别上一级的第二输出特征信息进行融合模块处理，其中针对融合处理的步骤如图6所示，即将优化后的最后一级别的第二输出特征信息依次进行
×
2操作、leakrelu激活函数操作和归一化处理得到第一处理信息，以及将最后级别上一级的第二输出特征信息依次进行1
×
1卷积操作、leakrelu激活函数操作和归一化处理得到第二处理信息；进而将第一处理信息和对应的第二处理信息进行级联操作得到最后级别上一级的第三输出特征信息，即得到第四级别的第三输出特征信息。
67.步骤s240，将余下各级别的第二输出特征信息与其下一级别的第三输出特征信息进行融合模块处理得到对应级别的第三输出特征信息，直至得到第一级别的第三输出特征信息；
68.具体地，通过在步骤s230中获得的第四级别的第三输出特征信息与第三级别的第二输出特征信息进行融合操作，即将第三级别的第二输出特征信息进行1
×
1卷积操作、leakrelu激活函数操作和归一化处理得到第三处理信息，以及将第四级别的第三输出特征信息依次进行
×
2操作、leakrelu激活函数操作和归一化处理得到第四处理信息；并将第三处理信息和第四处理信息进行级联操作得到第三级别的第三输出特征信息。同理，获取第二级别的第三输出特征信息则是根据第三级别的第三输出特征信息与第二级别的第二输出特征信息进行融合模块处理获取，以及获取第一级别的第三输出特征信息则是根据第二级别的第三输出特征信息与第一级别的第二输出特征信息进行融合模块处理获取。进而最后一级别进行融合模块处理的方式与其他级别的融合模块处理方式不同，其他级别的融合模块处理的一个输入是来源于se模块后得到的特征图，而另一个输入来源于其下一级已经通过融合模块处理的特征图。同时，在进行改进unet模型训练时，基于输入的两个特征图的分辨率相差刚好为一倍，所以采用上采样来提高分辨率，以及由于特征提取的特征图的维度与融合上层的特征图的维度不同，通过采用1
×
1卷积来统一特征图的维度，使两个方向的特征图具有相同的维度特征。并且基于高分辨率的底层特征图与低分辨率的高层特征图之间差异较大，会使得模型在训练时难以学习，因此还增加了bn层(批量归一化层)对不同方向的特征图进行归一化，bn层的使用可以在很大程度上缓解这个问题，还可以改善流经网络的梯度，允许更大的学习率，大幅提高训练速度，并且也不再需要使用局部响应归一化层了，甚至还能把训练数据彻底打乱，进而缩短了新的神经网络模型训练的时间。
69.步骤s250，将第一级别的第三输出特征信息分别进行3
×
3卷积操作、
×
2操作以及1
×
1卷积操作得到目标混凝土图片中的细小缝隙成像。
70.具体地，根据步骤s240中获得第一级别的第三输出特征信息的尺寸大小为128
×
128
×
1024，进而通过3
×
3卷积操作得到尺寸大小为128
×
128
×
16信息，并进行
×
2操作得到尺寸大小为256
×
256
×
16信息，以及通过1
×
1卷积操作得到尺寸大小为256
×
256
×
1的细小缝隙成像，基于本发明采用的主体神经网络为unet网络，最后输出的图像为一个二进制图像，值为“0”或“1”，“1”表示裂缝，“0”表示背景，所以本发明对unet模型进行改进设置可以大大减小运算量，并且该结构可以使用更少的训练图片的同时分割的准确度也不会差。
71.参照图7，图7为本发明混凝土细小裂缝的识别系统第一实施例的结构框图，其中所述系统包括：
72.数据获取模块10，用于目标混凝土图片，以搭建数据集；
73.多级特征提取处理模块20，用于数据集图片进行多级特征提取处理，直至得到最后级别的第一输出特征信息，其中将上一级别的特征提取处理后的第一输出特征信息作为下一级别特征提取处理的输入信息；
74.注意力处理模块30，用于将各级别的第一输出特征信息分别进行注意力模块处理，得到对应的各级别的第二输出特征信息，并将最后级别的第二输出特征信息进行1
×
1卷积操作得到优化后的最后级别的第二输出特征信息；
75.融合处理模块40，用于将优化后的最后级别的第二输出特征信息与最后级别上一级的第二输出特征信息进行融合模块处理得到最后级别上一级的第三输出特征信息；将余下各级别的第二输出特征信息与其下一级别的第三输出特征信息进行融合模块处理得到对应级别的第三输出特征信息，直至得到第一级别的第三输出特征信息；
76.输出模块50，用于将第一级别的第三输出特征信息分别进行3
×
3卷积操作、
×
2操作以及1
×
1卷积操作得到目标混凝土图片中的细小缝隙成像。
77.本实施例中，获取目标混凝土图片进行多级特征提取处理、注意力模块处理和融合模块处理，实现了将目标混凝土图片从上到下逐层融合特征图，并在特征图中保留细小裂缝特征和裂缝边缘信息，提高裂缝检测精度。
78.为了进一步评价本发明方法的性能，本次采用了三种不同的裂缝检测方法进行对比实验，如图8-11所示，其中图8为混凝土图片原始图片，图9为分别为传统的视觉处理后得到的图片，图10为unet网络处理后得到的图片和图11为采用本方法后得到的图片。从图9-11的图示中可以看出通过本发明的识别方法处理，最终得到的成像效果图可以明显看到大裂缝周围的细小裂缝，以及细小裂缝边缘更符合实际情况，并且与其他两种方法相比，本方法在同时引入多级特征提取处理、注意力处理和融合处理三个模块处理后，在生成二进制细小缝隙图像时取得了最优效果。
79.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
80.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。