一种机场道面缺陷检测与状态评估方法

1.本发明涉及计算机图像分割技术领域，尤其是涉及一种机场道面缺陷检测与状态评估方法。


背景技术：

2.由于大量的旅客运输和货邮运输，机场道面不可避免地出现各类病害，根据病害的严重程度计算机场道面状况，并由计算出的路面状况指数(pavement condition index，pci)指数提醒并辅助道面的查验，以保障飞机的安全起降等。
3.路面状况指数(pci)是一项评价道路破损程度的指标，该指标综合了道面缺陷的类型、损坏程度、损坏范围或密度三方面的定量状况。道面损坏等级评定标准如表1所示。
4.表1道面结构损坏等级评定标准
5.道面损坏等级差次中良优pci范围[0,40)[40,55)[55,70)[70,85)[85,100)
[0006]
传统的机场道面缺陷检测需要专业人员实地测量，存在以下问题：
[0007]
(1)由于机场道面承载大量的起飞降落，造成道面外观对比度相对较低，因此增加了检测难度，限制了检测效率；
[0008]
(2)由于人工检测期间需暂停飞机的起飞降落活动，因此进一步增加了检测成本。
[0009]
近年来深度学习快速发展，使用基于深度学习的方法代替人工检测，成为机场道面缺陷检测的趋势之一。目前主流方法是采集2d图片数据，通过基于神经网络的语义分割方法，检测机场道面缺陷。但此类方法只能利用表观特征对不同缺陷进行辨别，在针对纹理特征差异小、但深度特征差异大的缺陷时(例如裂缝与划痕)，检测准确度较差。
[0010]
因此，现需要一种有针对性地融合道面2d特征与3d特征的方法，以提高机场道面缺陷检测的效率与准确率。然而，同步采集rgb图像和深度图像极易造成误差，且同时标注两种模态数据需要较高的人工成本。


技术实现要素：

[0011]
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种机场道面缺陷检测与状态评估方法，该发明能够实现对机场道面状况高效且准确的评估。
[0012]
本发明的目的可以通过以下技术方案来实现：
[0013]
本发明提供一种机场道面缺陷检测与状态评估方法，包括以下步骤：
[0014]
s1：确定目标机场道面范围，获取目标机场道面视频，并抽取视频帧，获取视频帧图像；
[0015]
s2：将s1获取的所有视频帧图像依次输入深度估计网络，获取所有视频帧图像各自对应的深度图；
[0016]
s3：将s1获取的所有视频帧图像拼接为全尺寸道面rgb图，将s2获取的深度图拼接成全尺寸道面深度图；
[0017]
s4：将s3获取的全尺寸道面rgb图和全尺寸道面深度图分别处理为局部rgb图和局部灰度图，并输入语义分割网络，获取分割结果掩码图；
[0018]
s5：将s4获取的分割结果掩码图拼接为全尺寸缺陷掩码图，并结合s3获取的全尺寸道面深度图，判断目标机场道面不同缺陷的严重程度，再根据路面状况指数对道面质量状况进行评估。
[0019]
优选地，s2中所述深度估计网络采用基于packnet的单目无监督深度估计网络，所述单目无监督深度估计网络包括用以生成2d图像深度信息的packnet网络分支和用以生成相邻视频帧图像之间位姿信息的pose convnet网络分支。
[0020]
优选地，所述s2包括以下步骤：
[0021]
s2.1：将d时刻的视频帧图像id输入至packnet网络分支，生成id的初始深度图，将s时刻和d时刻的视频帧图像is和id输入到pose convnet网络分支，生成s时刻和d时刻的视频帧图像之间的位姿信息；
[0022]
s2.2：根据s2.1获取的id的初始深度图、s时刻和d时刻的视频帧图像之间的位姿信息以及s时刻的视频帧图像is，获取d时刻的重构图片数据
[0023]
s2.3：根据s2.2获取的d时刻的重构图片数据和d时刻的视频帧图像id计算packnet网络分支的loss函数，根据平移向量t
d-＞s
、单目相机在d时刻的瞬时速度v以及s时刻和d时刻之间的时间差δt
d-＞s
获取pose convnet网络分支的loss函数，使得深度估计网络自行更新迭代，生成d时刻的视频帧图像对应的深度图；
[0024]
s2.4：重复s2.1～s2.3，获取所有视频帧图像对应的深度图。
[0025]
优选地，所述s3包括以下步骤：
[0026]
s3.1：分别提取相邻两个视频帧图像，即第一视频帧图像和第二视频帧图像的特征点，生成特征描述子，并进行快速近似最邻近匹配，获取相邻两张视频帧图像对应的匹配点；
[0027]
s3.2：剔除s3.1中误差较大的匹配点，获取多组可靠匹配点对；
[0028]
s3.3：对s3.1中的两个视频帧图像进行分解，获取两个视频帧图像的单应性矩阵h
12
；
[0029]
s3.4：根据单应性矩阵h
12
，将第二视频帧图像转换到第一视频帧图像的像素平面进行图像拼接，获取拼接视频帧图像，将第二视频帧图像对应的深度图转换到第一视频帧图像对应的深度图的像素平面进行图像拼接，获取拼接深度图；
[0030]
s3.5：将s1获取的所有视频帧图像和s2获取的所有视频帧图像各自对应的深度图均进行s3.1～s3.4的操作，进而获取全尺寸道面rgb图和全尺寸道面深度图。
[0031]
优选地，s4中所述语义分割网络采用特征层融合的u-net语义分割网络。
[0032]
优选地，s4中所述语义分割网络包括编码器和解码器，所述编码器包括rgb编码器和深度编码器，所述rgb编码器和所述深度编码器均包括多个编码层，每个所述编码层均包括卷积层、池化层和激活层，所述解码层包括多个解码层，每个所述解码层均包括卷积层、上采样层和激活层。
[0033]
优选地，所述rgb编码器和所述深度编码器均包括四个编码层，所述解码器包括三个解码层。
[0034]
优选地，所述s4包括以下步骤：
[0035]
s4.1：将s3获取的全尺寸道面rgb图和全尺寸道面深度图分别处理为多个局部rgb图和局部灰度图；
[0036]
s4.2：将所述局部rgb图和局部灰度图分别进行卷积，获取第一rgb特征图和第一深度特征图；
[0037]
s4.3：将所述第一rgb特征图输入所述rgb编码器中，获取第二rgb特征图组，将所述第一深度特征图输入所述深度编码器中，获取第二深度特征图组；
[0038]
s4.4：将s4.3获取的两个特征图组中相同尺寸的特征图进行通道维度的拼接，依次获取对应的拼接特征图；
[0039]
s4.5：将s4.4中尺寸最小的拼接特征图作为解码器的输入，并结合s4.4中其余的拼接特征图，由解码器进行解码并输出，获取第三特征图；
[0040]
s4.6：将s4.4获取的第三特征图进行卷积操作，获取不同种类缺陷分割结果掩码图。
[0041]
优选地，所述s5具体为：
[0042]
将s4获取的分割结果掩码图拼接为全尺寸缺陷掩码图，根据所述全尺寸缺陷掩码图获取不同种类的缺陷面积，根据s3获取的全尺寸道面深度图，计算全尺寸缺陷掩码图的深度和长度，再根据路面状况指数进而判断目标机场道面不同缺陷的损坏严重程度。
[0043]
优选地，所述路面状况指数pci的计算公式具体为：
[0044][0045]
式中，a0和a1均为道面材质系数，dr为路面破损率(％)。
[0046]
与现有技术相比，本发明具有以下优点：
[0047]
1、本发明使用深度估计网络，挖掘了2d视频帧图像中的3d深度信息，解决了现有技术中对同步采集多模态数据技术的高依赖问题，进而解决了现有技术中同时标注多种模态数据需要较高的人工成本的问题；
[0048]
2、本发明使用改进的u-net语义分割网络，将道面的2d纹理数据和3d深度数据，在特征层进行融合，解决了现有技术中由于道面3d信息缺失而造成的精度降低问题；
[0049]
3、本发明根据语义分割掩码和估计深度数值，结合pci度量的国家标准，实现了对机场道面状况高效且准确的评估。
附图说明
[0050]
图1为本实施例提供的一种机场道面缺陷检测与状态评估方法的流程示意图；
[0051]
图2为图1所示实施例中采集装置的结构示意图。
[0052]
图3为图1所示实施例中基于packnet的单目无监督深度估计网络的网络结构示意图。
[0053]
图4为图1所示实施例中语义分割网络的网络结构示意图。
[0054]
图5为图1所示实施例中基于sift描述子的拼接算法流程图。
[0055]
图6为图1所示实施例中基于分割结果掩码进行道面缺陷状况评估的流程图。
[0056]
图中标记说明：
[0057]
1、采集车辆，2、固定支架，3、单目相机，4、目标机场道面，5、单次可拍摄道面。
具体实施方式
[0058]
下面结合附图和具体实施例对本发明进行详细说明。
[0059]
实施例
[0060]
本实施例提供一种机场道面缺陷检测与状态评估方法，包括以下步骤：
[0061]
s1：确定目标机场道面范围，通过采集装置获取目标机场道面视频，并抽取视频帧，获取视频帧图像；
[0062]
作为一种可选的实施方式，采用由四个顶点唯一确定的矩形描述目标机场道面范围。
[0063]
作为一种可选的实施方式，参考图2所示，采集装置包括采集车辆1、固定支架2和单目相机3，固定支架2的一端固定于采集车辆1上，固定支架2的另一端安装有单目相机3，单目相机3的镜头平面与目标机场道面4平行。
[0064]
作为一种可选的实施方式，以不超过45km/h的速度，操控采集装置驶过目标机场道面4，同时拍摄视频，拍摄完成后按每秒20帧的标准抽取视频帧，获取视频帧图像，视频帧图像的范围与单次可拍摄道面5的大小相等。
[0065]
具体地，抽取视频帧的目的在于使得相邻视频帧之间有重叠区域，以便于后续进行深度估计。
[0066]
s2：将s1获取的所有视频帧图像依次输入深度估计网络，生成所有视频帧图像各自对应的深度图；
[0067]
作为一种可选的实施方式，s2中的深度估计网络采用基于packnet的单目无监督深度估计网络。参考图3所示，该网络包括用以生成2d图像深度信息的packnet网络分支和用以生成相邻视频帧图像之间位姿信息的pose convnet网络分支。
[0068]
其中，packnet网络包括编码-解码结构，采用packing和unpacking代替传统的上采样和下采样操作。在编码部分，采用残差块代替普通的卷积层，残差块之间使用packing实现下采样运算，每经过一次下采样运算，特征图的大小缩小一倍；在解码部分，卷积块之间采用unpacking实现上采样运算，每经过一次上采样运算，特征图的大小会放大一倍，最后生成与原图长宽相同的深度信息图。
[0069]
s2.1：将d时刻的视频帧图像id输入至packnet网络分支，生成id的初始深度图，将s时刻和d时刻的视频帧图像is和id输入到pose convnet网络分支，生成s时刻和d时刻的视频帧图像之间的位姿信息。
[0070]
具体地，位姿信息包括旋转矩阵r和平移向量t。
[0071]
s2.2：根据s2.1获取的id的初始深度图、s时刻和d时刻的视频帧图像之间的位姿信息以及s时刻的视频帧图像is，获取d时刻的重构图片数据
[0072]
s2.3：根据s2.2获取的d时刻的重构图片数据和d时刻的视频帧图像id计算packnet网络分支的loss函数，根据平移向量t
d-＞s
、单目相机在d时刻的瞬时速度v以及s时刻和d时刻之间的时间差δt
d-＞s
获取pose convnet网络分支的loss函数，使得深度估计网络自行更新迭代，生成d时刻的视频帧图像对应的深度图。
[0073]
具体地，t
d-＞s
为平移向量t在s时刻的视频帧图像is和d时刻视频帧图像id的之间的平移向量。
[0074]
具体地，描述packnet网络分支的loss函数的公式具体为：
[0075][0076]
式中，为d时刻视频帧图像id和d时刻的重构图片数据之间的结构相似度，a为超参数，取值在0到1之间，为d时刻视频帧图像id和d时刻的重构图片数据之间的差值的模，为packnet网络分支的loss函数。
[0077]
具体地，描述pose convnet网络分支的loss函数的公式具体为：
[0078]
lv(t
d-＞s
,v)＝||t
d-＞s
||-|v||δt
d-＞s
|
[0079]
式中，||t
d-＞s
||为d时刻视频帧图像id和s时刻视频帧图像is之间的平移向量的模，|v|为单目相机在d时刻的瞬时速度的模，|δt
d-＞s
|为d时刻和s时刻之间的时间差的模。
[0080]
s2.4：重复s2.1～s2.3，获取所有视频帧图像对应的深度图。
[0081]
s3：将s1获取的所有视频帧图像拼接为全尺寸道面rgb图，将s2获取的深度图拼接成全尺寸道面深度图；
[0082]
作为一种可选的实施方式，采用基于sift描述子的拼接算法将将s1获取的所有视频帧图像拼接为全尺寸道面rgb图，该步骤的目的在于去除不同视频帧之间的重叠区域，避免语义分割过程中相同区域在不同图片的分割结果存在差异，并减少后续计算量。
[0083]
参考图5所示，以相邻两个视频帧图像rgb1和rgb2，以及各自对应的深度图depth1和depth2为例，s3包括以下步骤：
[0084]
s3.1：分别提取视频帧图像rgb1和rgb2的sift特征点，生成sift特征描述子，并进行快速近似最邻近匹配，获取相邻两张视频帧图像对应的匹配点；
[0085]
s3.2：采用ransac算法，剔除s3.1中误差较大的匹配点，获取多组可靠匹配点对；
[0086]
s3.3：采用svd对视频帧图像rgb1和rgb2进行分解，获取视频帧图像rgb1和rgb2的单应性矩阵h
12
；
[0087]
s3.4：根据单应性矩阵h
12
，将视频帧图像rgb2转换到rgb1所在的像素平面进行图像拼接，获取拼接视频帧图像rgb
12
，将depth2转换到depth1所在的像素平面进行图像拼接，获取拼接深度图depth
12
。
[0088]
s3.5：将s1获取的所有视频帧图像和s2获取的所有视频帧图像各自对应的深度图均进行s3.1～s3.4的操作，进而获取全尺寸道面rgb图和全尺寸道面深度图。
[0089]
s4：将s3获取的全尺寸道面rgb图和全尺寸道面深度图分别分割为局部rgb图和局部灰度图，并输入语义分割网络，获取分割结果掩码图；
[0090]
作为一种可选的实施方式，语义分割网络采用特征层融合的u-net语义分割网络，参考图4所示，该网络包括编码器和解码器，网络的输入为处理后的rgb图和对应的深度图，网络的输出为分割结果掩码图。
[0091]
具体地，编码器包括rgb编码器和深度编码器，rgb编码器和深度编码器均包括多个编码层，每个编码层包括一个卷积层、一个池化层和一个激活层，每经过一个编码层的卷积层，特征图的长宽减半、通道数翻倍。解码器包括多个解码层，每个解码层均包括一个卷积层、一个上采样层、一个激活层，每经过一个解码层的卷积层，特征图的长宽翻倍、通道数减半。
[0092]
作为一种可选的实施方式，rgb编码器和深度编码器均包括四个编码层，解码器包括三个解码层。
[0093]
优选地，将全尺寸道面rgb图和全尺寸道面深度图分别处理为1024*512*3的局部rgb图和1024*512*1的局部灰度图，s4具体包括以下步骤：
[0094]
s4.1：将s3获取的全尺寸道面rgb图和全尺寸道面深度图分别处理为多个1024*512*3的局部rgb图和1024*512*1的局部灰度图；
[0095]
s4.2：将处理后的局部rgb图和局部灰度图分别进行1*1卷积，获取两个形状均为1024*512*16的第一rgb特征图和第一深度特征图；
[0096]
s4.3：将第一rgb特征图输入rgb编码器中，获取第二rgb特征图组，将第一深度特征图输入深度编码器中，获取第二深度特征图组；
[0097]
具体地，当第一rgb特征图输入rgb编码器中，每经过一层编码层，得到一张第二rgb特征图，由于设有四个编码层，因此第二rgb特征图组中有四张第二rgb特征图；对应地，第二深度特征图组中也有四张第二深度特征图。
[0098]
且第二rgb特征图组和第二深度特征图组的各特征图尺寸对应相等。两个特征图组中的各特征图由输入到输出的尺寸大小依次为：512*256*32、256*128*64、128*64*128、64*32*256；
[0099]
s4.4：将s4.3获取的两个特征图组中相同尺寸的特征图进行通道维度的拼接，获取4个拼接特征图，拼接特征图的形状分别为512*256*64、256*128*128、128*64*256、64*32*512；
[0100]
s4.5：将s4.4中尺寸最小的拼接特征图作为解码器的输入，并结合s4.4中其余的拼接特征图，由解码器进行解码并输出，获取第三特征图。
[0101]
具体地，将尺寸大小为64*32*512的拼接特征图输入解码器，在第一层解码层时，尺寸大小为64*32*512的拼接特征图和尺寸大小为128*64*256的拼接特征图经解码层处理为尺寸大小为128*64*512的特征图，而尺寸大小为128*64*512的特征图结合尺寸大小为256*128*128的特征图经过第二层解码层处理为尺寸大小为256*128*256的特征图，尺寸大小为256*128*256的特征图结合尺寸大小为512*256*64的特征图经过第三层解码层处理最终获取尺寸大小为512*256*128的第三特征图。
[0102]
s4.6：将第三特征图进行两次卷积操作，获取尺寸为1024*512*1的不同种类缺陷分割结果掩码图。
[0103]
为保证不同模态的特征融合，需将rgb图及其对应的深度图分别输入不同的编码器，称作rgb编码器和深度编码器，并将两个分支在不同阶段的特征图，进行通道维度的拼接。
[0104]
且为保证不同尺度的特征融合，编码输出的特征图尺寸需和解码输出的特征图尺寸保持一致，并将两个特征图进行通道维度的拼接。
[0105]
s5：将s4获取的分割结果掩码图拼接为全尺寸缺陷掩码图，并结合s3获取的全尺寸道面深度图，判断目标机场道面不同缺陷的严重程度，再根据路面状况指数对道面质量状况进行评估。
[0106]
具体地，参考图6所示，根据全尺寸缺陷掩码图获取不同种类的缺陷面积，根据s3获取的全尺寸道面深度图，计算全尺寸缺陷掩码图的深度和长度，进而判断目标机场道面
不同缺陷的损坏严重程度。
[0107]
路面状况指数pci的计算公式具体为：
[0108][0109]
式中，a0和a1均为道面材质系数，当目标机场道面为水泥道面时，a0＝10.66，a1＝0.461，当目标机场道面为沥青道面时，a0＝15，a1＝0.412；dr为路面破损率(％)，即不同种类缺陷的折合损坏面积之和与路面总面积的百分比，路面破损率的计算公式为：
[0110][0111]
式中，i0为缺陷类别总数，当目标机场道面为水泥道面时，i0＝15，当目标机场道面为沥青道面时，i0＝16。a为目标道面总面积(平方米)；
[0112]ai
为第i类缺陷的面积(平方米)；
[0113]
wi为第i类缺陷的权重，其在水泥道面和沥青道面的取值及损坏程度的判断依据，分别如表2、表3所示：
[0114]
表2水泥道面缺陷权重
[0115]
[0116][0117]
表3沥青道面缺陷权重
[0118][0119]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。