基于全卷积神经网络的道路表面裂缝图像分割方法与流程

本发明属于属于道路质量与安全监测领域，一种基于全卷积神经网络的道路表面裂缝图像分割方法。

背景技术：

路面裂缝的检测是保证行车安全的一项重要的交通维护工作，对于道路管理而言是至关重要的一步，其目的是获得路面养护状态信息。裂缝是路面最常见的病害类型。由于自动裂缝检测系统具有安全性高、成本低、效率高、客观等优点，其研究受到了广泛关注。

在过去几十年中，基于图像的裂缝检测算法被广泛讨论和应用。在早期的研究中，方法较多基于传统数字组合或改进的图像处理技术，如阈值化、数学形态学和边缘检测等。这些方法一般是基于光度和几何假设关于裂缝图像的性质。然而，这些方法对噪声非常敏感，因为它们是在单个像素上执行的。由于裂缝不均匀性和背景的复杂性，如与周围路面的对比度较低，以及可能出现的强度相近的阴影，这仍然是一个具有挑战性的任务。

近年来，深度卷积神经网络(cnn)在计算机图像处理方面得到了广泛的应用。

在许多计算机视觉任务中深度神经网络都有令人印象深刻的表现，展示了学习的深度特征的有效性。构建深度全卷积网络(fcn)模型，对路面裂缝图像进行语义分割，实现路面裂缝的自动检测，对于路面状况监测具有重要意义。

技术实现要素：

发明目的：针对现有技术的不足，本发明提供一种基于全卷积神经网络的道路表面裂缝图像分割方法，以实现裂缝的检测，进一步提高裂缝检测效率、降低检测成本。

技术方案：本发明提供一种基于全卷积神经网络的道路表面裂缝图像分割方法，所述方法包括以下步骤：

s1相机对路面裂缝拍照，组建图片数据集，并将数据集中图像划分为带裂缝和无裂缝两类；

s2利用lableme软件对数据集中的带裂缝图像进行分割数据标注；

s3将构建的数据集划分为训练集(数据集的3/5)和测试集(数据集的2/5)；

s4构建用于图像分割的全卷积神经网络；

s5利用划分出的训练集对全卷积神经网络进行训练，优化相关参数直至获得全局最优解；

s6将测试集中裂缝图像提交到全卷积神经网络中，输出图像分割结果。

步骤s2对带裂缝图像进行标注，该标注为像素级别标注。

构建的全卷积神经网络具体为：

所述全卷积神经网络包括1个卷积层、16个扩展卷积层、1个金字塔采样层、2个解码器层、1个语意输出层。

步骤s4全卷积神经网络模型结构及参数具体为：

所述全卷积神经网络扩展模块的结构具体如下：

a.跨度为1时：输入图片经过点卷积1x1(激活函数为relu6)、深度卷积3x3(激活函数为relu6)、点卷积1x1(激活函数为线性)后的结果与输入叠加之后，得到输出。

b.跨度为2时：输入图片经过点卷积1x1(激活函数为relu6)、深度卷积3x3(激活函数为relu6)、点卷积1x1(激活函数为线性)后直接得到输出。

所述全卷积神经网络金字塔采样模块有4个途径，分别为边长为10的平均值采样，对整个特征图求平均值；空洞比率分别为1，2，4的三个空洞卷积，使用不同的感受野从特征图提取信息；4条路径的输出结果缩放到同样尺寸之后通过堆叠的方式组合。

所述全卷积神经网络，解码器0连接扩展卷积3#，输入16个特征图，输出32个特征图；解码器1连接卷积层，输入8个特征图，输出32个特征图。

所述全卷积神经网络参数优化使用moment优化器，优化器动量值取0.9，初始学习率为0.0001，采用递减的学习速率更新策略，每经过2000步衰减为前一步学习率的0.9倍；训练时，取两张图片计算误差对网络参数梯度，进一步更新网络参数。

所述全卷积神经网络进行图像分割的目标函数为给定标签label与神经网络预测结果prediction在每个像素点的交叉熵的平均数：

有益效果：本发明的基于全卷积神经网络的道路表面裂缝图像分割方法，相比现有的技术，具有以下有益效果：

1.识别效率高：本发明通过组建图片数据集，并将数据集中图像划分为带裂缝和无裂缝两类；利用lableme软件对数据集中的带裂缝图像进行分割数据标注；将构建的数据集划分为训练集和测试集；构建用于图像分割的全卷积神经网络；通过利用划分出的训练集对全卷积神经网络进行训练，优化相关参数直至获得全局最优解，有效提高图片的识别效率。

2.该裂缝检测模型，完成训练后，对于同种材料的路面图像的检测任务均适用，具有广泛的适用性。

3.该裂缝识别方法，利用配有相机的检测车在道路上行驶获取原始图像，然后经神经网络处理对裂缝状况进行评估，减少了人力、物力、财力的需求。

附图说明

图1为基于本发明所述方法设计的整体流程图；

图2为本发明所述全卷积神经网络结构图；

图3为用本发明所述方法道路表面裂缝图像分割结果。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

在本实施例中，对道路表面裂缝图像进行图像分割，以检测裂缝。首先进行数据集的准备工作，利用相机对校园道路进行拍照，获取原始裂缝图像，组建数据集。接着在计算机上对相机获取的图像进行裁剪，裁剪后的图像尺寸为320x320，经过增强数据集操作后，数据集共包括6000张图片。其中，有裂缝和无裂缝图像数量均为3000张，用于模型训练和测试的图像数量分别为1800张、1200张。然后利用lableme软件对数据集中的带裂缝图像进行分割数据标注。在tensorflow框架下完成模型的构建和训练工作，batchsize全都设置为2，使用moment优化器来优化代价函数，初始学习率设置为0.0001，采用递减的学习速率更新策略，每经过2000步衰减为前一步学习率的0.9倍。训练时，取两张图片计算误差对网络参数梯度，从而更新网络参数。该神经网络输入图像尺寸统一为320×320大小的图片。裂缝图像分割结果如图3所示。

实验平台环境配置如下：

intel(r)core(tm)i7cpu@3.20ghz、nvidiagtx1080ti显卡、16gddr4内存(主频2400mhz)、11g显存(频率1.4ghz)。整个训练过程在gpu上加速完成。

参照图1，本发明的道路表面裂缝图像分割的方法，具体步骤如下：

s1、利用相机对路面裂缝进行拍照，组建数据集，并将数据集中图像划分为带裂缝和无裂缝两类；

s2、利用lableme软件对数据集中的带裂缝图像进行分割数据标注；

s3、将构建的数据集划分为训练集(数据集的3/5)和测试集(数据集的2/5)；

s4、构建用于图像分割的全卷积神经网络；

所述全卷积神经网络由1个卷积层、16个扩展卷积层、1个金字塔采样层、2个解码器层、1个语意输出层组成。

所述步骤s4全积神经网络模型结构及参数具体如下：

s5、利用划分出的训练集对全卷积神经网络进行训练，优化相关参数直至获得全局最优解；

s6、将测试集中裂缝图像提交到全卷积神经网络中，输出图像分割结果；

所述全卷积神经网络扩展模块的结构具体如下：

a.跨度为1时：输入图片经过点卷积1x1(激活函数为relu6)、深度卷积3x3(激活函数为relu6)、点卷积1x1(激活函数为线性)后的结果与输入叠加之后，得到输出。

b.跨度为2时：输入图片经过点卷积1x1(激活函数为relu6)、深度卷积3x3(激活函数为relu6)、点卷积1x1(激活函数为线性)后直接得到输出。

所述全卷积神经网络金字塔采样模块有4个途径，分别为边长为10的平均值采样，对整个特征图求平均值；空洞比率分别为1，2，4的三个空洞卷积，使用不同的感受野从特征图提取信息。4条路径的输出结果缩放到同样尺寸之后通过堆叠的方式组合。

所述全卷积神经网络，解码器0连接扩展卷积3#，输入16个特征图，输出32个特征图；解码器1连接卷积层，输入8个特征图，输出32个特征图。

所述全卷积神经网络参数优化使用moment优化器，优化器动量值取0.9，初始学习率为0.0001，采用递减的学习速率更新策略，每经过2000步衰减为前一步学习率的0.9倍。训练时，取两张图片计算误差对网络参数梯度，从而更新网络参数。

所述全卷积神经网络进行图像分割的目标函数为给定标签label与神经网络预测结果prediction在每个像素点的交叉熵的平均数：

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。