一种基于深度卷积生成对抗网络的道路缺陷智能识别方法

一种基于深度卷积生成对抗网络的道路缺陷智能识别方法
【技术领域】
1.本发明涉及一种道路缺陷识别方法，具体涉及一种基于深度卷积生成对抗网络的道路缺陷智能识别方法，其通过神经网络与云端数据实时共享实现路缺陷检测，属于道路检测技术领域。


背景技术：

2.沥青路面、水泥混凝土路面是我国公路路面的主要类型，这两类路面的路面质量会受到气候、地质条件、通行量、载荷量等因素的影响，这些因素会使公路产生不同程度损坏，路面结构性能也会随行车荷载的反复作用及环境条件的变化而逐渐变坏，而公路的质量将直接影响日后车辆在公路上的行驶。
3.传统的道路缺陷方法需要人工参与，需要进行封路测试，这种检测方法测效率低、误差大，对交通有较大的影响，检测人员的人身安全也不能完全保证；并且这这种检测方法较为耗时耗力，若道路缺陷未被及时发现并处理，就会使得道路可能进一步损坏并阻碍交通。随着我国公路交通的迅速发展，对路面的质量要求也越来越重视，对公路的养护工作也提出了更高的要求。
4.在道路缺陷检测上使用深度学习方法面临着一个问题，即数据集规模的不足。一般而言使用深度学习方法需要较大规模的数据集，但实际生活中想获得数目较多的道路样本并不容易，因此仍需寻找一定方法使得深度学习模型能在初始数据集不大的情况下也能被较好地训练出来，即寻求在小样本条件下训练道路缺陷检测模型的方法。而道路缺陷检测实际上是一个分类问题，现在存在的主要问题是，传统的人工检测效率低、误差大。而当今时代是一个智能化的时代，随着智能汽车的发展，智能缺陷分类检测方法也逐渐被提出。中华人民共和国发明申请第201810516155.9号公开了一种服务器根据同一车辆或不同车辆在不同时间通过同一位置时的加速度和平均气压变化判断道路缺陷，但检测过程中仍然需要专业的道路缺陷检测车，并且需要环境测压等一些不利于实现的检测步骤。中华人民共和国发明申请第201910906266.5号公开了一种基于卷积神经网络的随车道路缺陷智能快速检测方法，但其对于缺陷的识别精度不高，并且只适用于铁路模块
5.因此，为解决传统道路缺陷的人工检测方法效率低、误差大，且对交通有较大的影响等技术问题，确有必要提供一种创新的基于深度卷积生成对抗网络的道路缺陷智能识别方法，以克服现有技术中的所述缺陷。


技术实现要素：

6.本发明的目的在于提供一种基于深度卷积生成对抗网络的道路缺陷智能识别方法，其在小样本数据集的前提下，通过卷积神经网络模型进行缺陷检测及分类，并利用图片生成网络生成大量数据集进行神经网络的训练，从而能够使判别器能够自动识别道路缺陷。
7.为实现上述目的，本发明采取的技术方案为：一种基于深度卷积生成对抗网络的
道路缺陷智能识别方法，其包括如下步骤：
8.1)，基于爬虫技术和对抗生成网络训练技术获得大量表面带有缺陷的道路图片；
9.2)，基于darknet-53卷积神经网络训练的道路类型分类和记录；
10.3)，利用车载摄像头对路面进行拍摄，对道路特征进行智能提取，自动判别道路缺陷并记录缺陷所在位置，判断缺陷是否需要修复并进行相应动作；
11.4)，云端共享，扩充样本数据集；即将车载摄像头记录的缺陷道路图片上传到云端，继续补充小样本数据集。
12.本发明的基于深度卷积生成对抗网络的道路缺陷智能识别方法进一步为：所述步骤1)具体为：
13.1-1)，基于爬虫技术进行原始道路背景图片与缺陷道路图片识别并提取；使用爬虫技术从互联网爬取带有缺陷的道路图片内容，并将内容保存下来建立小样本数据库；将建好的数据库保存到文件夹“数据库”中；
14.1-2)，将得到的小样本图片进行预处理并进行道路缺陷的分类，以此扩充数据集；
15.1-3)，判断数据集数量和质量是否能达到训练的标准；判断数据集数量和质量是否能达到训练的标准，若能够达标，则进行训练，若不能达标，则重新提取缺陷并生成数据集。
16.本发明的基于深度卷积生成对抗网络的道路缺陷智能识别方法进一步为：所述步骤1-2)中：
17.将小样本中的图像进行预处理，获得图片的单通道灰度图；再将图片进行缺陷位置的标注，对数据集中每一张图片的缺陷位置进行框定，并输入道路对应的缺陷类型作为图片的标志，得到预处理数据集；将预处理后的数据集分为训练集和验证集两个部分，分别进行训练和验证；
18.创建pix2pix对抗生成网络，所述pix2pix对抗生成网络包括生成器g和判别器d；生成器是unet网络，判别器是条件判别器patchgan网络；使用缺陷标注后的预处理数据集训练pix2pix对抗生成网络，得到训练后的pix2pix对抗生成网络，作为图片生成网络；将建立好的数据集输送到生成器g中进行训练，然后将未经任何处理的道路图片传输到生成器中，输出带有道路缺陷的道路图片；将带有道路缺陷的道路图片输入给判别器，最终，判别器将输入的图片进行判别，并且分类为一个标签，即道路缺陷类型；
19.在生成足够的数据集后，根据路面的损伤程度，将路面缺陷主要分为裂缝，沉陷，推移，坑槽，泛油，冻胀六种类别；
20.从预处理后的数据集中随机获取一张道路图片、一个缺陷区域和标志类型标签输入所述图片生成网络，通过处理之后能够生成一张新的道路缺陷图片，用这种方式不断循环操作，将道路缺陷图片数据集扩充到目标数量，形成扩充后的数据集，使其能够支持可变形卷积神经网络进行训练。
21.本发明的基于深度卷积生成对抗网络的道路缺陷智能识别方法进一步为：所述pix2pix对抗生成网络的损失函数有三个部分构成：第一个是生成器g的损失函数，第二个是判别器d的损失函数，第三个是l1损失函数；将三个损失函数一同加以利用并设为目标，即可以对上述网络进行优化；
22.所述的pix2pix对抗生成网络的损失函数是：
[0023][0024]
l
cgan
(g,d)的损失函数是：
[0025][0026]
l
l1
(g)公式是：
[0027][0028]
其中，x为输入图像，z为随机噪声向量，y为真实图像，g(z|y)表示在真实图片y的条件下有噪声z生成的图片，d(x|y)表示在真实图片y的条件下对输入图像的判别分数，d(x,g(z|y))表示将对生成器生成的图像和真实图像是否匹配进行判别；λ参数选取100；
[0029]
l1函数表达式为：
[0030][0031]
y(i)表示经过预处理的缺陷道路图像，表示生成器生成的缺陷道路图像，求取两者的绝对差值和的最小化。
[0032]
本发明的基于深度卷积生成对抗网络的道路缺陷智能识别方法进一步为：所述步骤2)中，采用可变形卷积神经网络的方法进行自主学习并构建学习模型；
[0033]
在可变形卷积中，对网格r额外增加一个偏移值δpn，那么相同位置p0的输出值y(p0)计算公式变为公式：
[0034][0035]
由于偏移值δpn可以是小数，故需要利用双线性插值法计算x(p0+pn+δpn)的值，计算公式是：
[0036]
x(p)＝∑qg(q,p)*x(q)
[0037]
其中p＝p0+pn+δpn，g是双线性插值函数，q是x中选择的值。
[0038]
本发明的基于深度卷积生成对抗网络的道路缺陷智能识别方法还为：所述步骤3)具体为：
[0039]
3-1)，获得视频每一帧的单通道灰度图，判断道路缺陷类型；并利用步骤2)中的可变形神经网络进行判断道路具体类型，并给出一个标签；
[0040]
3-2)，建立slam系统，实现即时定位与构建地图的功能；
[0041]
将数据集进行分类后，利用车载摄像头对路面进行拍摄，对道路特征进行智能提取，自动判别道路缺陷并记录缺陷所在位置，再判断缺陷是否需要修复并进行相应的检测和养护。
[0042]
3-3)，将缺陷类型、道路坐标、缺陷道路图片共同上传到云端；
[0043]
建立地图后，车载摄像头检测到道路缺陷，快速使用可变形卷积进行分类判断出道路缺陷类型，将建立好的地图坐标点进行存储，并将坐标点、道路类型与有缺陷的道路图片共同上传到云端。
[0044]
与现有技术相比，本发明具有如下有益效果：
[0045]
本发明的基于深度卷积生成对抗网络的道路缺陷智能识别方法通过darknet-53
卷积神经网络实现道路类型分类，利用车载摄像头对路面进行拍摄，对道路特征进行智能提取，自动判别道路缺陷并记录缺陷所在位置，减小了传统检测方法对交通的影响，保证了检测人员的人身安全。
【附图说明】
[0046]
图1是本发明的基于深度卷积生成对抗网络的道路缺陷智能识别方法的流程图。
[0047]
图2是使用网络爬虫技术建立的数据集中图片。
【具体实施方式】
[0048]
请参阅说明书附图1至附图2所示，本发明为一种基于深度卷积生成对抗网络的道路缺陷智能识别方法，其包括如下步骤：
[0049]
步骤1)，基于爬虫技术和对抗生成网络训练技术获得大量表面带有缺陷的道路图片，其具体获取流程如下：
[0050]
1-1)，使用爬虫技术从互联网爬取带有缺陷的道路图片内容，并将内容保存下来建立小样本数据库。将建好的数据库保存到文件夹“数据库”中。
[0051]
1-2)，将得到的小样本图片进行预处理并进行道路缺陷的分类，以此扩充数据集。即将小样本中的图像进行预处理，获得图片的单通道灰度图，如图2所示。将图片进行缺陷位置的标注，对数据集中每一张图片的缺陷位置进行框定，并输入道路对应的缺陷类型作为图片的标志，得到预处理数据集。将预处理后的数据集分为训练集和验证集两个部分，分别进行训练和验证。
[0052]
创建pix2pix对抗生成网络，pix2pix对抗生成网络包括生成器g和判别器d，生成器是unet网络，判别器是条件判别器patchgan网络；使用缺陷标注后的预处理数据集训练pix2pix对抗生成网络，得到训练后的pix2pix对抗生成网络，作为图片生成网络。将建立好的数据集输送到生成器g中进行训练，然后将未经任何处理的道路图片传输到生成器中，输出带有道路缺陷的道路图片；将带有道路缺陷的道路图片输入给判别器，最终，判别器将输入的图片进行判别，并且分类为一个标签，即道路缺陷类型。
[0053]
在生成足够的数据集后，根据路面的损伤程度，将路面缺陷主要分为裂缝，沉陷，推移，坑槽，泛油，冻胀六种类别。横向裂缝是指与路面垂直的裂缝，纵向裂缝是指与路面平行的裂缝；沉陷是指路面局部凹陷部分仍处于完整的现象；位移是指路面表面材料沿驱动方向被推升，甚至形成波浪的现象；坑槽是指路面骨料在行车作用下局部掉落而形成的坑洼；泛油是指沥青表面变软，出现一层黑色闪亮沥青的现象，称为泛油。冻胀是指在季节性冻土区路面出现径向裂缝时，路面沿横向出现小面积隆起的现象。
[0054]
所述pix2pix对抗生成网络的损失函数有三个部分构成：第一个是生成器g的损失函数，第二个是判别器d的损失函数，第三个是l1损失函数；将三个损失函数一同加以利用并设为目标，即可以对上述网络进行优化。
[0055]
处理对抗状态训练过程如下：生成器使生成的图像尽可能真实，判别器的功能是判断图像的真实性；随着时间的推移，生成器和判别器相互对抗，最终两个网络达到动态平衡：生成器生成的图像接近真实图像，判别器无法判断图像的真实性。最后，得到训练好的生成器模型。
[0056]
所述的pix2pix对抗生成网络的损失函数是：
[0057][0058]
其中，l
cgan
(g,d)的损失函数是：
[0059][0060]
l
l1
(g)公式是：
[0061]
l
l1
(g)＝e
x,y,z
[||y-g(x,z)||1]；
[0062]
此处的x为输入图像，z为随机噪声向量，y为真实图像，g(z|y)表示在真实图片y的条件下有噪声z生成的图片，d(x|y)表示在真实图片y的条件下对输入图像的判别分数，d(x,g(z|y))表示将对生成器生成的图像和真实图像是否匹配进行判别。
[0063]
l1函数表示了真实图片y和由生成器g网络生成的图片的差距，用来约束这两者之间的差异，λ参数选取100为最佳。
[0064]
l1函数表达式为：
[0065][0066]
y(i)表示经过预处理的缺陷道路图像，表示生成器生成的缺陷道路图像，求取两者的绝对差值和的最小化。
[0067]
从预处理后的数据集中随机获取一张道路图片、一个缺陷区域和标志类型标签输入所述图片生成网络，通过处理之后能够生成一张新的道路缺陷图片，用这种方式不断循环操作，将道路缺陷图片数据集扩充到目标数量，形成扩充后的数据集，使其能够支持可变形卷积神经网络进行训练。
[0068]
1-3)，判断数据集数量和质量是否能达到训练的标准，若能够达标，则进行训练，若不能达标，则重新提取缺陷并生成数据集。
[0069]
步骤2)，基于darknet-53卷积神经网络训练的道路类型分类和记录。本创作采用可变形卷积神经网络的方法进行自主学习并构建学习模型。
[0070]
传统卷积神经网络是：首先自下而上进行非监督学习，在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数；然后再自上向下进行监督学习，基于第一步得到的各层参数进一步优化整个多层模型的参数。
[0071]
而可变形卷积是指卷积核在每一个元素上额外增加了一个参数方向参数，这样卷积核就能在训练过程中扩展到很大的范围，可以根据需识别图像内容的不同而产生不同的偏移值，只集中学习感兴趣的区域。可变形卷积可以直接替换网络中现有的传统卷积，用来解决形态复杂多变的目标样本的特征提取问题。
[0072]
传统卷积是在预先定义的矩形网格r上操作，r有n组偏移量，每组偏移量中都包含分别代表水平和垂直方向的两个值，使用权重w对采样点做加权运算。对于输入的特征图x上的每个位置p0，其输出值计算公式是：
[0073][0074]
而在可变形卷积中，对网格r额外增加一个偏移值δpn，那么相同位置p0的输出值y(p0)计算公式变为公式：
[0075][0076]
由于偏移值δpn可以是小数，故需要利用双线性插值法计算x(p0+pn+δpn)的值，计算公式是：
[0077]
x(p)＝∑qg(q,p)*x(q)
[0078]
其中p＝p0+pn+δpn，g是双线性插值函数，q是x中选择的值。
[0079]
步骤3)，利用车载摄像头对路面进行拍摄，对道路特征进行智能提取，自动判别道路缺陷并记录缺陷所在位置，判断缺陷是否需要修复并进行相应动作。该步骤具体操作方法如下：
[0080]
3-1)，获得视频每一帧的单通道灰度图，判断道路缺陷类型；即利用步骤2中的可变形神经网络进行判断道路具体类型，并给出一个标签；
[0081]
3-2)，建立slam系统，实现即时定位与构建地图的功能；
[0082]
将数据集进行分类后，利用车载摄像头对路面进行拍摄，对道路特征进行智能提取，自动判别道路缺陷并记录缺陷所在位置，再判断缺陷是否需要修复并进行相应的检测和养护。如果能在公路病害出现的初期将其发现并进行及时处理，那么养护公路的开支将大大减少，公路的使用年限也将大大延长。
[0083]
记录缺陷所在位置需要即时定位与构建地图，包括道路标线估计和汽车姿态估计，将后验概率转化为公式：
[0084][0085]
由于汽车对于一个捷径路标点的具体估计与其位姿的具体估计之间仍然存在着一种叉积和乘积的关系，因此可以用不同类型的滤波器公式对其进行空间区分，从而通过多个目标点来进行估计它们的具体位置，以及估计一个路径目标点在其中的具体位置。
[0086]
在粒子滤波中，粒子滤波估计参考点和位置，但是在使用粒子滤波估计时，历史参考信息越来越多，针对这个问题，利用独立卡尔曼滤波器来估计路标线，即slam-rbpf算法。
[0087]
3-3)，将缺陷类型、道路坐标、缺陷道路图片共同上传到云端；
[0088]
建立地图后，车载摄像头检测到道路缺陷，快速使用可变形卷积进行分类判断出道路缺陷类型，将建立好的地图坐标点进行存储，并将坐标点、道路类型与有缺陷的道路图片共同上传到云端。这样工作人员就可以实时对道路缺陷进行判断，如果道路缺陷损坏到一定地步，工作人员就可以及时对缺陷道路进行修复。
[0089]
步骤4)，云端共享，扩充样本数据集：
[0090]
将车载摄像头记录的缺陷道路图片上传到云端，继续补充小样本数据集以此让数据集更加准确和真实。
[0091]
以上的具体实施方式仅为本创作的较佳实施例，并不用以限制本创作，凡在本创作的精神及原则之内所做的任何修改、等同替换、改进等，均应包含在本创作的保护范围之内。