一种机场道面病害图像的水膜去除方法

1.本发明涉及机场及道路工程病害检测技术领域，特别是一种机场道面病害图像的水膜去除方法。


背景技术：

2.随着道面行车荷载不断增多，在荷载和自然环境的作用下，道面病害日益增加。因此急需自动化的道面检测养护技术，对道面进行高效、大规模的检测检修，以保证道面飞机起降的安全。
3.如今出现基于道面病害图像的深度学习算法，能够实现高精度的道面病害自动化检测。但是这些道面病害检测模型泛化能力较低，表现为在光照均匀，天气良好的条件下的道面病害识别精度高，在复杂的背景环境下道面病害识别精度明显降低，使得雨天潮湿以及存在积水区域的道面的病害自动化检测成为技术难点。由于雨天的道面病害区域存在积水，积水区域形成的道面水膜会使得飞机轮胎打滑，易发生事故。因此提高雨天的道面病害检测精度以及加快相应病害措施的制定尤为重要。由于目前采用大量基于图像的方法进行道面检测，存在雨天积水区域含有水膜道面病害识别精度低，检测效率低的问题。


技术实现要素：

4.本发明所要解决的技术问题是克服现有技术的不足而提供一种机场道面病害图像的水膜去除方法，去除雨天积水对于自动化道面病害检测的影响，进而提高雨天道面病害检测的可靠度，提高雨天基于道面病害图像的自动化检测模型精度，保证雨天飞机起降安全。
5.本发明为解决上述技术问题采用以下技术方案：
6.根据本发明提出的一种机场道面病害图像的水膜去除方法，包括以下步骤：
7.步骤1、构建编码-解码对称的水膜生成结构；
8.步骤2、构建基于全卷积网络的水膜判别结构；
9.步骤3、定义用于训练水膜生成结构及水膜判别结构的对抗损失函数、循环一致性损失函数；
10.步骤4、融合水膜生成结构及水膜判别结构，建立积水道面病害图像水膜去除模型；
11.步骤5、对积水道面病害图像水膜去除模型进行训练，得到训练好的积水道面病害图像水膜去除模型；
12.训练的过程如下：利用水膜判别结构从积水道面病害图像中完成道面病害图像水膜层提取，在提取识别出道面病害图像水膜层后，在积水道面病害图像上减去提取的道面病害图像水膜层即得到积水道面病害图像水膜去除模型；
13.调整积水道面病害图像水膜去除模型的学习率，根据学习率、对抗损失函数、循环一致性损失函数，采用前向传播计算积水道面病害图像水膜去除模型的对抗损失、循环一
致性损失；
14.然后通过反向传播进行对抗损失、循环一致性损失分配，保证积水道面病害图像水膜去除模型生成道面病害无水膜图像；
15.步骤6、利用训练好的积水道面病害图像水膜去除模型，将输入积水道面病害图像水膜图像转换为道面病害无水膜图像，完成积水道面病害图像水膜去除任务。
16.作为本发明所述的一种机场道面病害图像的水膜去除方法进一步优化方案，步骤1中水膜生成结构包括水膜生成编码结构和水膜生成解码结构，通过使用vgg16卷积神经网络的前13个卷积层进行下采样搭建水膜生成编码结构，完成积水道面病害图像水膜层的特征提取，然后通过搭建好的水膜生成解码结构在上采样层完成积水道面病害图像水膜层特征的还原。
17.作为本发明所述的一种机场道面病害图像的水膜去除方法进一步优化方案，积水道面病害图像水膜层特征包括水膜层位置特征及水膜厚度特征。
18.作为本发明所述的一种机场道面病害图像的水膜去除方法进一步优化方案，步骤2中基于全卷积网络的水膜判别结构，通过softmax判别函数对积水道面病害图像进行水膜有无的判定。
19.作为本发明所述的一种机场道面病害图像的水膜去除方法进一步优化方案，步骤5中，积水道面病害图像水膜去除模型停止训练的方法如下：更新积水道面病害图像水膜去除模型的参数并记录积水道面病害图像水膜去除模型的损失值，在积水道面病害图像水膜去除模型训练过程中选取一个训练停止阈值，当积水道面病害图像水膜去除模型的损失值不再变化时即结束训练；反之继续进行训练，直到损失值不再变化。
20.作为本发明所述的一种机场道面病害图像的水膜去除方法进一步优化方案，步骤5中，积水道面病害图像包括多对训练图像，每对训练图像包括积水道面病害水膜图像的样本空间a中的一个积水道面病害水膜图像a1和道面病害无水膜图像样本空间b中的一个道面病害无水膜图像b1，其中，a中包括多个用于训练的积水道面病害水膜图像，b中包括多个用于训练的道面病害无水膜图像，每对训练图像中的a1和b1是随机排列组合的。
21.作为本发明所述的一种机场道面病害图像的水膜去除方法进一步优化方案，采用adam优化算法调整积水道面病害图像水膜去除模型的学习率。
22.本发明采用以上技术方案与现有技术相比，具有以下技术效果：
23.本发明能够通过对雨天道面积水区域含有水膜病害图像进行水膜去除，提高雨天道面自动化检测精度，提高道面病害模型的多场景适应能力，完成多种天气状况下道面病害的自动化识别检测，为雨天的机场道面应急抢险提供依据。
附图说明
24.图1是本发明的流程图。
25.图2是本发明提供的编码-解码对称的水膜生成结构。
26.图3是本发明提供的水膜判别结构。
27.图4是本发明提供的利用积水道面病害图像水膜去除模型进行水膜去除效果图。
具体实施方式
28.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
29.如图1所示，本实施例提供了一种机场道面病害图像的水膜去除方法，具体步骤为：
30.步骤1：构建编码-解码对称的水膜生成结构；
31.步骤2：构建基于全卷积网络的水膜判别结构；
32.步骤3：定义对抗损失、循环一致性损失用于水膜生成及水膜判别结构的训练；
33.步骤3需要通过定义损失函数进行水膜生成结构和水膜判别结构的损失计算。采用对抗损失函数和循环一致损失函数来进行积水道面病害图像水膜去除模型的训练。通过定义对抗损失函数确保水膜生成结构生成足够逼真的道面病害图像。通过定义循环一致损失函数使得“积水道面水膜病害图像-水膜去除道面病害图像-循环生成积水道面水膜病害图像”的整个循环转换结果尽可能接近，即原始输入的积水道面水膜病害图像和循环生成积水道面水膜病害图像的差距较小。
34.步骤4：融合水膜生成及水膜判别结构，建立积水道面病害图像水膜去除模型。
35.步骤5：对积水道面病害图像水膜去除模型进行训练，更新模型参数并记录模型损失值，用于判断模型是否收敛。采用adam优化算法调整学习率，采用前向传播计算对抗损失及循环一致性损失，完成输入积水道面病害水膜图像与道面病害无水膜图像的损失计算。进而采用反向传播方法进行损失分配，保证模型快速收敛并使得梯度能够正确地反向传播，完成道面病害图像水膜特征提取。在提取识别出水膜层后，在原道面病害图上减去水膜层即可得到积水道面病害图像水膜去除模型，完成模型训练。
36.步骤6：利用训练好的积水道面病害图像水膜去除模型，完成雨天积水道面病害图像水膜去除任务。
37.首先基于vgg16网络的前13个卷积层完成水膜生成编码结构的建立，如图2所示。一共可以分为5个卷积块组成，每个卷积块包括卷积操作，批处理归一化操作(bn,batch normalization)和relu激活函数组成。水膜生成编码结构中每个卷积块之间采用最大值池化进行下采样操作，降低道面病害图像的分辨率，提取病害分类信息。然后采用5个卷积块组成水膜生成解码结构，完成信息的还原。但是在水膜生成解码结构中需要恢复被压缩的图像尺寸，生成含有水膜的道面病害图像。在水膜生成解码结构的每一个卷积块之间采用双线性插值进行上采样，将带有水膜的道面病害特征图尺寸扩大一倍。不采用反卷积，避免产生由此带来的棋盘效应。水膜生成编码结构能够很好地判断积水道面病害图像水膜层的位置，水膜生成解码结构能够完成积水道面病害图像水膜层有无的判别工作。仅采用水膜生成解码结构进行水膜层有无的判定，不能获取水膜层的精确位置。因此采用特征融合的方式完成积水道面病害图像水膜层特征的提取及特征还原。在编码结构与解码结构之间采用跳跃连接的形式进行模块特征融合，实现了低阶纹理信息与高阶语义信息的融合，提高水膜和道面病害图像的重合程度，保证生成的道面病害图像处含有水膜区域，进而搭建基于编码-解码对称的水膜生成结构。
38.然后搭建具有全卷积网络的水膜判别结构，如图3所示。水膜判别结构用于判断输入的道面病害图像是否含有水膜，水膜判别结构相当二分类网络结构，但是为了降低模型
计算量，水膜判别结构取消全连接层，采用softmax进行结果判定，输出二分类结果，输出值为0表示无水膜，输出值为1表示含有水膜。全卷积网络水膜判别结构如图3所示，同样采用5个卷积块构成该结构，每个卷积块之间采用最大值池化降低图像维度。但是每一层最后采用leakyrelu函数进行激活操作，保证梯度小于0时依然有部分特性层完成判别工作，防止梯度消失。去除一般卷积神经网络模型中的全连接层，降低模型参数量，从而提高水膜判别模型的运行速度。采用和水膜生成模型编码结构对应的参数，可利用相同的预训练权重进行水膜判别模型的训练，降低水水膜判别模型的参数量及冗余度，从而实现轻量化的水膜判别结构的搭建。
39.在搭建好水膜生成结构及水膜判别结构后，需要通过定义对抗损失、循环一致性损失用于水膜生成及水膜判别结构的训练。首先定义两个样本空间：无水膜的道面病害图像x和含有水膜的道面病害图像y，x∈x表示无水膜图像，y∈y表示含有水膜图像。水膜生成结构gy的目标为学习x到y的映射，水膜生成结构gy的输入为道面病害无水膜图像x，输出结果为含有水膜道面病害图像gy(x)。水膜判别结构dy用于判断输入的图像是真实的含有水膜道面病害图像y还是模型生成的含有水膜道面病害图像gy(x)。因此水膜生成结构gy和水膜判别结构dy的对抗损失按照式(1)计算：
40.l
gan
(gy,dy,x,y)＝log dy(y)+log(1-dy(gy(x)))
ꢀꢀꢀ
(1)
41.类似地，水膜生成结构g
x
的目标为学习y到x的映射，水膜生成结构g
x
的输入为含有水膜道面病害图像y，输出结果为无水膜道面病害图像g
x
(y)。水膜判别结构d
x
用于判断输入的图像是真实的无水膜道面病害图像x还是模型生成的无水膜道面病害图像g
x
(y)。因此水膜生成结构g
x
和水膜判别结构d
x
的对抗损失按照式(2)计算：
42.l
gan
(g
x
,d
x
,x,y)＝log d
x
(x)+log(1-d
x
(g
x
(y)))
ꢀꢀꢀ
(2)
43.因此，水膜生成结构及水膜判别结构的对抗损失按照式(3)计算：
44.l
对抗
(g,d,x,y)＝log d
x
(x)+log(1-d
x
(g
x
(y)))+log dy(y)+log(1-dy(gy(x)))
ꢀꢀꢀ
(3)
45.循环一致性损失是考虑水膜生成结构逆变换操作的评价标准。例如无水膜道面病害图像x，通过g
x
可以将含有水膜道面病害图像gy(x)变为无水膜道面病害图像g
x
[gy(x)]，如果原始无水膜道面病害图像x与生成的无水膜道面病害图像g
x
[gy(x)]之间的差距越小，则两者之间的拟合性最好，因此可以完成“无水膜道面病害图像-含有水膜道面病害图像-无水膜道面病害图像”的循环一致性变换，进而获取性能良好的水膜生成结构及水膜判别结构，通过l1范数进行差距计算，循环一致性损失公式为：
[0046][0047]
综上所述，整个积水道面病害图像水膜去除模型的损失为：
[0048][0049]
在完成损失函数定义后，开始对积水道面病害图像水膜去除模型进行模型训练。训练时需要采用配对的积水道面病害水膜图像和道面病害无水膜图像进行训练。积水道面病害水膜图像的样本空间为a，正常道面病害无水膜图像样本空间为b，随机进行ab样本空间中训练图像的排列组合，保证每一对训练图像中含有a及b中的图片各一张。在这里采用adam进行学习率的更新，用于损失值下降计算。初始学习率选取为0.0001，然后进行梯度反
向传播，通过计算损失下降，可以看出模型是否收敛，当模型损失值不再下降时即可停止训练。
[0050]
最后利用训练好的积水道面病害图像水膜去除模型进行图像测试，测试结果如图4所示。将含有积水的积水道面病害水膜图像进行水膜去除，得到不含水膜的道面病害无水膜图像，相当于在正常光照下采集道面病害图像，因此能被送入道面病害检测模型进行病害分类及定位，从而提高雨天道面检测工作的可靠度，节约人工及机械费用，保证正常的道面检测及维护工作。
[0051]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。