一种卷积神经网络的像素级混凝土裂缝检测方法

1.本发明涉及视觉图像技术领域，具体涉及一种卷积神经网络的像素级混凝土裂缝检测方法。


背景技术：

2.裂缝是一种混凝土损坏，如果不及时检查和修复，可能会导致灾难性的结构破坏，造成巨大的经济损失。因此，必须进行定期检查，以获得准确的表面损伤信息，从而评估混凝土结构的健康状况。在过去几十年中，依赖专家的目视检查已被广泛采用，但这种方法通常是劳动密集型、主观的，甚至是危险的。
3.因此，设计出一种能够检测出混凝土裂缝检测的技术是很有必要的。但是采用常规技术，无法得到具有更少的参数数量和计算复杂性的检测方法。


技术实现要素：

4.本发明为解决上述问题，本发明提供一种卷积神经网络的像素级混凝土裂缝检测方法，采用改进的前端图像处理算法，以解决上述问题。
5.本发明提供如下的技术方案：
6.一种卷积神经网络的像素级混凝土裂缝检测方法，包括以下步骤：
7.s1、建立sdnet2018数据集；
8.s2、确定mobilenet v3模型的架构；
9.s3、压缩mobilenet v3模型的体系架构；
10.s4、在mobilenet v3模型中添加卷积块；
11.s5、增加扩展过滤器数量；
12.s6、通过基于adam算法的余弦退火方法训练mobilenet v3模型；
13.s7、输入待测图片进入s6训练好的mobilenet v3模型，得到检测结果。
14.优选的，所述s2中，mobilenet v3模型的架构包括1
×
1扩展卷积层、3
×
3深度卷积层和1
×
1投影层。
15.更优的，所述3
×
3卷积深度卷积层的初始阶段的滤波器数量为16个。
16.优选的，所述s3中，将原始图像的时域变换域转换为傅里叶变换域，设置一个截止频率，使用高通滤波器将截止频率以上的信号通过，滤除截止频率以下信号。
17.优选的，所述s4中，卷积块包括dpd块，dpd块包括3
×
3深度卷积块、1
×
1点式的pwc卷积块和3
×
3深度可分离卷积块。
18.优选的，所述s4中，卷积块包括dpd块，dpd块包括3
×
3深度卷积块、1
×
1点式的pwc卷积块和3
×
3深度可分离卷积块。
19.优选的，所述s6中，余弦退火方法中每个批次中的学习率n
t
使用以下等式计算：
20.21.其中，和是学习速率范围。t
cur
是自上次重新启动以来的历元数，i是执行索引，t表示每个批处理迭代。
22.本发明具有如下的有益效果：
23.1、本发明是基于可用于移动系统的轻质高性能mobilenet v3cnn模型主干中的卷积块结构和反向残差块结构提出了一种轻量型的混凝土裂缝检测方法。本发明提出的基于卷积神经网络的方法，来检测更轻、更高性能的混凝土裂缝；本发明的方法采用基于卷积块和反转块的结构进行像素级裂缝检测。在这种方法中，混凝土裂缝图像的每个像素都被视为一个标签。使用所提出的方法，使用sdnet2018数据集执行培训和测试过程。
24.2、本发明使用精度、召回率、骰子系数(dc)和联合交集(iou)等指标来评估实验测试。作为实验测试的结果；精度、召回率、dc和iou值分别为0.8、0.77、0.79和0.65。这些结果表明，与现有技术相比，我们提出的方法取得了更高的成功率。通过这种方式，可以使用移动cnn模型有效地进行混凝土裂缝检测。
25.3、与现有技术相比，该方法采用改进的前端图像处理算法，具有更高的召回率、骰子系数和iou值，同时具有更少的参数数量和计算复杂性。因此，本发明的方法是用于混凝土裂缝检测的最佳移动网络之一。
26.4、本发明方法与mobilenet v3方法最明显的区别是堆栈结构，其中反向块结构用作编码器和解码器，以及使用的超参数。此外，虽然在提出的方法中使用的反向块结构中没有剩余连接，但在该块结构中使用了额外的2x2内核大小。该方法实现了像素级裂缝检测。所提出的方法与其他方法的区别在于，它需要较少的硬件并提供较高的精度。因此，当使用其中一个基准数据集sdnet2018数据集对所提出的方法进行训练和测试时，实验结果表明，该方法优于现有技术。
附图说明
27.利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
28.图1是本发明实施例基于卷积神经网络的像素级混凝土裂缝检测方法流程图；
29.图2是本发明实施例mobilenet v3模型的架构图；
30.图3是本发明一个较好实施例的训练结果精度示意图；
31.图4是本发明一个较好实施例的训练结果损失度示意图；
32.图5是本发明一个较好实施例的训练结果mlou系数图；
33.图6是本发明一个较好实施例的训练结果dice系数图；
34.图7是本发明一个较好实施例的混凝土裂缝原始待测图；
35.图8是本发明一个较好实施例的混凝土裂缝标签图；
36.图9是本发明一个较好实施例的混凝土裂缝结果预测图。
具体实施方式
37.以下结合具体实施例对一种卷积神经网络的像素级混凝土裂缝检测方法作进一步的详细描述，这些实施例只用于比较和解释的目的，本发明不限定于这些实施例中。
38.实施例
39.参见图1，本实施例提供的卷积神经网络的像素级混凝土裂缝检测方法，包括以下步骤：
40.s1、建立sdnet2018数据集；
41.s2、确定mobilenet v3模型的架构；
42.s3、压缩mobilenet v3模型的体系架构；
43.s4、在mobilenet v3模型中添加卷积块；
44.s5、增加扩展过滤器数量；
45.s6、通过基于adam算法的余弦退火方法训练mobilenet v3模型；
46.s7、输入待测图片进入s6训练好的mobilenet v3模型，得到检测结果。
47.优选的，所述s2中，mobilenet v3模型的架构包括1
×
1扩展卷积层、3
×
3深度卷积层和1
×
1投影层。
48.更优的，所述3
×
3卷积深度卷积层的初始阶段的滤波器数量为16个。
49.优选的，所述s3中，将原始图像的时域变换域转换为傅里叶变换域，设置一个截止频率，使用高通滤波器将截止频率以上的信号通过，滤除截止频率以下信号。
50.优选的，所述s4中，卷积块包括dpd块，dpd块包括3
×
3深度卷积块、1
×
1点式的pwc卷积块和3
×
3深度可分离卷积块。
51.优选的，所述s4中，卷积块包括dpd块，dpd块包括3
×
3深度卷积块、1
×
1点式的pwc卷积块和3
×
3深度可分离卷积块。
52.优选的，所述s6中，余弦退火方法中每个批次中的学习率n
t
使用以下等式计算：
[0053][0054]
其中，和是学习速率范围。t
cur
是自上次重新启动以来的历元数，i是执行索引，t表示每个批处理迭代。
[0055]
在一优化的实施例中，具体步骤为：
[0056]
s1、建立sdnet2018数据集；
[0057]
sdnet2018是一个带注释的图像数据集，用于基于人工智能的混凝土裂缝检测算法的训练、验证和基准测试。sdnet2018包含56000多张开裂和未开裂混凝土桥面、墙壁和人行道的图像。数据集包括窄至0.06mm、宽至25mm的裂缝。该数据集还包括具有各种障碍物的图像，包括阴影、表面粗糙度、缩放、边缘、孔洞和背景碎片。批量大小设置为32，而历元设置为300。
[0058]
s2、确定mobilenet v3模型的架构；
[0059]
mobilenet v3结合使用mobilenet v2的反向剩余瓶颈和挤压和激励网络的挤压和激励(se)块。这些瓶颈包括1
×
1扩展卷积层、3
×
3深度卷积(dwc)层，然后是1
×
1投影层。se块的加入有助于绘制有助于分类感兴趣的特征图，并抑制那些没有分类的特征图。mobilenet v3的完整架构如图2所示。h-swish非线性函数是swish的硬对应函数，在嵌入式环境中计算量大。除此之外，mobilenet v2中存在的先前倒置残余结构中的昂贵层已重新设计，以用于此版本。最后一级的1
×
1扩展层已移出池化层。这允许1
×
1层在1
×
1功能图上
操作，而不是在7
×
7上操作，从而减少延迟和计算时间。
[0060]
与其他默认为32个滤波器的mobilenet模型相比，对于3
×
3卷积，初始阶段的滤波器数量减少到16个。
[0061]
s3、压缩mobilenet v3模型的体系架构；
[0062]
以下为mobilenet v3 small所做的修改，以创建压缩mobilenetv3(cmv3)。
[0063]
表1显示了cifar-10数据集的cmv3体系结构。
[0064][0065][0066]
s4、在mobilenet v3模型中添加卷积块；
[0067]
为了实现高效的特征提取，在模型中添加了新的卷积块。深度卷积较多的模型已超过1
×
1卷积较多的模型。这表明，应该更加重视获取空间信息，而不是融合通道信息。因此，为了在降低模型尺寸的同时提高精度，引入了depthwise pointwise depthwise(dpd)块。这些块由3
×
3深度卷积组成，步长为s以扩展输入通道并执行下采样，1
×
1点式卷积(pwc)以合并通道信息并减少通道信息，最后是另一个3
×
3深度可分离卷积。所有卷积块都带有批量规范化和relu。由于反向剩余瓶颈中的扩展层是通过深度可分离卷积而不是逐点卷积来完成的，因此实现了良好的压缩。以下公式说明了pwc和dwc之间的压缩比：
[0068][0069]
其中，(w
×
h)是特征图，c是通道数，m是通道扩展因子，k2表示核大小。
[0070]
s5、增加扩展过滤器数量；
[0071]
反向瓶颈中的扩展滤波器跨越到高维特征空间，以增强非线性单通道变换。利用这一点，cmv3中几层的扩展过滤器已经增加。这一变化有助于将模型精度从84.56％提高到88.14％。
[0072]
s6、通过基于adam算法的余弦退火方法训练mobilenet v3模型；
[0073]
采用基于adam算法的余弦退火方法进行学习速率调度，其中余弦退火方法中每个批次中的学习率n
t
使用以下等式计算：
[0074]
[0075]
其中，nimin和nimax是学习速率范围。tcur是自上次重新启动以来的历元数，i是执行索引，t表示每个批处理迭代。学习率设置为0.1，alpha设置为0.1，衰减步长设置为300，训练持续了300个历元，图3给出了根据这些参数形成的余弦退火学习速率调度方案，随后得到训练好的mobilenet v3模型。
[0076]
使用骰子系数(dc)的统计表达式来衡量各个参考图像对象对的匹配质量，dc是从二元分类任务派生的一组相似性度量函数。dc∈[0，1]，骰子系数值从0变为1。图像分割任务中二值分类的骰子系数由以下公式计算；
[0077][0078]
其中，pi表示预测二进制分割体积，gi表示地面真值二进制体积，n表示样本数，ε是防止出现零分母的最小值。骰子损失方程如下所示。
[0079]
dc
loss
＝1-dc
[0080]
对于混凝土裂缝检测拟议方法的性能分析和评估，精度(acc.)、精度(prec.)，召回(rec.)、f1得分(f1 scr.)，特征(spec)、dice系数(dc)、曲线下面积(auc)和联合平均交集(iou)指标。当使用sdnet2018数据对本文的方法进行训练时，将形成图3-6所示的精度、损失、mlou和dice系数图形。如精度曲线所示，训练和验证集达到约98％。在损失曲线中，可以看到序列和验证集减少到大约0.18。在iou曲线中，iou度量的序列集增加到大约65％，验证集增加到63％。在dice系数曲线中，dice系数度量的训练集和验证集达到82％。
[0081]
另一方面，利用sdnet2018验证集对所提出的方法进行了评估。因此，在评估和分析过程中，对这一组的性能指标进行了比较。表2中给出了使用该数据集和拟议方法获得的混淆矩阵值。由于我们提出的方法是逐像素检测，因此图像中的每个像素都被视为一个标签。因此，tn表示预测为真阴性的像素数量，fp表示预测为假阳性的像素数量，fn表示预测为假阴性的像素数量，tp表示预测为真阳性的像素数量。
[0082]
表2从该方法获得的混淆矩阵值
[0083]
tnfpfntp像素点数1628363318309722547576904317461248
[0084]
其他性能指标对于指示网络相对于其他网络的优势以及在作为输入的数据集中的成功程度非常重要。如表3所示，这些性能指标的准确度值为0.97，准确度值为0.80，召回值为0.77，f1得分值为0.79，特征值为0.98，骰子系数相似度值为0.79，曲线下面积值为0.98，并集交点值为0.65。
[0085]
s7、输入待测图片进入s6训练好的mobilenet v3模型，得到检测结果。
[0086]
当使用sdnet2018数据集对所提出的方法进行测试时，从3通道混凝土裂缝图像中获得预测掩模作为输入。图7-9显示了从该处理的数据集中随机选择的5个图像的比较。此时，原始图像由rgb颜色组成，提出的网络模型可以从这些图像中预测遮罩。当仔细检查由该图中的原始遮罩估计的遮罩时，可以观察到一些不在原始遮罩中的白色像素出现在预测的遮罩中。这是原始遮罩和预测遮罩之间的区别因素。这种差异导致一些重要性能指标(如iou、dc等)的价值降低。
[0087]
另一方面，表3给出了本文方法与其他现有技术方法的比较。该对照表中的所有方
法都使用sdnet2018数据集进行了培训和测试。所提出的方法也已通过sdnet2018数据集的验证集进行了测试。当性能指标的结果与该集合进行比较时，从提出的方法中获得了除精度指标外的所有指标中的最高值。在衡量估计掩码与地面真实掩码相似性的指标中，dice系数和iou在所提出的模型与最接近的模型之间相差约3％。这对于表示所提议的模型比其他模型性能更好很重要。
[0088]
表3使用不同方法的测试结果比较
[0089][0090]
另一个性能比较是指标，例如指示硬件单元使用情况的参数数量和bflop。表4对不同的方法进行了比较。此外，在表4中使用的方法中使用了轻量级网络架构，如mobilenetv1、mobilenetv2。这种比较很重要，因为它显示了所提出方法的轻量级和计算复杂性。在此表中，我们提出的方法中的最小参数数和bflops值分别为3.05和1.62。与其他方法相比，该方法具有较少的参数数目和计算复杂度。
[0091]
表4比较不同方法的性能指标
[0092]
方法参数(百万)bflopsresnet-10158.1681.00mobilenetv111.1514.25mobilenetv24.525.80本文方法3.051.62
[0093]
本发明上述实施例提供的方法，与mobilenet v3方法最明显的区别是堆栈结构，其中反向块结构用作编码器和解码器，以及使用的超参数。此外，虽然在提出的方法中使用的反向块结构中没有剩余连接，但在该块结构中使用了额外的2x2内核大小。该方法实现了像素级裂缝检测。所提出的方法与其他方法的区别在于，它需要较少的硬件并提供较高的精度。因此，当使用其中一个基准数据集sdnet2018数据集对所提出的方法进行训练和测试时，实验结果表明，该方法优于现有技术。
[0094]
因此，与现有技术相比，该方法具有更高的召回率、骰子系数和iou值，同时具有更少的参数数量和计算复杂性。因此，我们提出的方法是用于混凝土裂缝检测的最佳移动网络之一。
[0095]
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。