一种基于TransUnet模型的道路病害检测方法

本发明涉及深度学习，特别是涉及一种基于transunet模型的道路病害检测方法。

背景技术：

1、道路网络建设和维护仍然需要大量的资金和人力投入。因此，如何高效地检测道路裂缝，并及时进行修补和维护，成为当前急需解决的问题之一。

2、针对这一问题，国内学者在道路裂缝检测方面做出了大量的研究工作。目前我国国内路面裂缝检测主要包括两大类：人工检测与基于新技术的多功能道路检测车自动化检测。近年来，基于机器视觉的自动检测系统由于其检测精度高、速度快等特点，在很多领域得到应用。zhang等人应用稀疏处理算法来提取路面病害区域候选点，然后将提取的候选点与改进的最小成本生成树算法相结合，对路面病害进行检测。基于激光扫描的路面病害检测方法具有检测精度高、速度快的优点，但是由于激光设备的价格昂贵，所以没有得到大范围应用。oliveira等人将均值和标准差用于无监督学习从而对带有裂缝的图像与没有裂缝的图像进行区分。cord等人通过线性滤波器对图像纹理特征进行描述，并基于adaboost的监督学习算法区分路面病害与非病害特征。shi等人提出了一种基于结构随机森林的算法对裂缝的特征进行描述。这些算法的检测效果较传统算法有了很大的提升，但是其结果非常依赖于所提取的特征，由于公路路面条件复杂，所以其检测精度也会受到影响。曹建农等人提出了用meanshift实现路面裂缝损伤自动识别与特征测量，这种方法可以对裂缝进行高效的识别与测量，但该方法计算复杂，总体来看识别效率不够高且只能识别道路裂缝损伤不能对大部分的道路路面病害做出检测。用途单一不够全面，不适合大范围的应用。沈照庆等人提出了基于支持向量机的路面损伤识别技术，该方法能够降低噪声对图像的干扰，压缩数据量，可以提高识别的精度和准确性。但是这种技术只能够完成路面病害识别检测，达不到完成智慧高速建设的需求。上述检测方法逐渐不能满足日益增长的检测工作量的需要。为了更好的满足公路发展的需要，准确、快速地检测公路路面病害，需要进一步地对检测方法进行研究。

3、深度学习在计算机视觉领域取得了令人瞩目的成果，并在许多应用领域被证明是非常有效的。相比上述基于传统机器学习的公路路面病害检测算法，基于深度学习的公路路面病害检测算法可以更好地实现特征学习与特征分类。cha等人应用滑动窗口将图像分割成块，然后应用卷积神经网络对裂缝病害特征进行提取并对含有裂缝的图像进行分类。lzhang等人基于图像局部块信息，利用卷积神经网络(convolutional neural networks，cnn)判断单块图像是否属于裂缝。李楠基于深度学习框架caffe，将lenet-5网络模型应用于公路路面病害图像分类当中，并取得了很好的分类效果。黄建平等人采用基于二维图像和深度信息的路面检测，能一定程度上解决裂缝判别中的误判和漏检的问题，提高了查全率且实现了自动提取功能，但是该技术还并不完善，在特殊的情况下仍然会存在漏检的情况发生。且只能完成对道路路面病害中单条裂缝和交叉裂缝情况的提取，而实际中则存在许多混合型裂缝，这将会对检测精度造成影响。徐志刚等人提出了基于多特征融合的图像目标识别技术。这种技术提出了先分类，后识别的处理流程，使算法的应用有更好针对性提高了路面病害图像的处理精度。但仍然不能完成自动决策，同时因为算法的复杂度较高，无法进行实时线上检测，这将存在着一些弊端。上述算法对公路路面病害具有较高的识别精度，但是在进行检测时无法实现精准定位。

4、目前大多技术只针对单一路面或病害类型较少的路面，或者道路病害检测精度不高，例如使用基于u-net的道路病害检测算法使用u-net最终预测结果来计算分割损失，网络往往难以收敛，分割结果不理想；而基于deepcrack病害检测方法缺点，数据集少且针对的道路场景少；基于全卷积网络的fcn病害检测方法缺点，只针对混凝土道路且实验场景只有四个。部分技术需要高精度检测设备，导致病害检测成本升高。

技术实现思路

1、本发明实施例提供了一种基于transunet模型的道路病害检测方法，解决了现有技术存在的只针对单一路面或病害类型较少的路面，或者道路病害检测精度不高的问题。

2、本发明提供一种基于transunet模型的道路病害检测方法，包括以下步骤：

3、获取待检测道路图像；

4、将待检测道路图像输入至transunet模型中，输出分割图像；

5、根据分割图像确定道路病害区域；

6、将待检测道路图像输入至transunet模型中，输出分割图像，包括：

7、基于cnn层对待检测道路图像进行编码处理得到多个向量，并对多个向量进行特征提取，得到多个特征图与隐藏特征；

8、基于线性投影将多个隐藏特征进行映射；

9、基于多个transformer层对映射后的多个隐藏特征进行重塑，得到编码图；

10、基于多个unet层的多层解码器对编码图进行上采样，并与多个特征图进行融合，得到分割图像。

11、优选的，将待检测道路图像进行切分，需要对待检测道路图像进行预处理，所述预处理包括图像调整、数据增强以及图像归一化。

12、优选的，所述数据增强包括旋转、翻转和剪裁。

13、优选的，根据多个待检测道路图像构建数据集，将数据集分为训练集和测试集，通过训练集对transunet模型进行训练，通过测试集对训练后的transunet模型进行测试。

14、优选的，基于cnn层对待检测道路图像进行编码处理得到多个向量，包括以下步骤：

15、对待检测道路图像进行切分，得到多个patch；

16、对每个patch进行emdedding操作，得到patch embedding；

17、通过patch embedding对每个patch切分，得到多个块；

18、将多个块进行编码，得到多个向量。

19、优选的，通过cnn层的多个卷积层对多个向量进行下采样，得到多个特征图和隐藏特征。

20、优选的，所述多层解码器均为上采样块，每个所述上采样块均包括一个2×上采样算子、一个3×3卷积层和一个relu层。

21、优选的，多个上采样块依次级联。

22、优选的，基于多个unet层的多层解码器对编码图进行上采样时，多个特征图与对应的上采样块跳跃连接。

23、优选的，基于多个unet层的多层解码器对编码图进行上采样前，需对编码图进行卷积处理，将向量维度转换为通道数。

24、与现有技术相比，本发明的有益效果是：

25、本发明的transunet模型以unet网络为框架，融合了cnn层以及多个transformer层。在encoder结构上运用了transformer的encoder结构，在上采样过程加入cnn从而获取较多的局部信息，能够在较小数据集中表现出较优的表现，在缺乏数据集的情况下本发明方法就具有较大的优势，且本发明对较小裂缝的识别具有较好的效果。同时针对多种道路场景，对大多数病害能够准确识别。