路面裂缝检测的方法、装置及系统与流程

本发明涉及计算机图像识别技术领域，尤其涉及一种路面裂缝检测的方法、装置及系统。

背景技术：

路面损害检测是道路管理的重要部分，用于获得维护的路面状况信息。裂缝是常见的路面遇险类型，如果没有及时处理裂缝，道路的使用寿命会缩短，驾驶安全也会受到影响。高效的路面裂缝检测是是改善道路状况，延长道路使用寿命，降低道路养护成本的有效途径。

目前，传统的图像处理方法无法概括裂缝检测的任务，即无法在环境条件发生变化的情况下从路面图像中获得足够的显著特征，以区分裂缝图像和非裂缝图像。

近几年受欢迎的学习模型以其强大的特征提取方式主要用于解决路面裂缝分类等问题。因此仍然无法实现在杂乱背景中获得显著区分的裂缝图像，路面裂缝检测的效率低下，准确性不佳。

技术实现要素：

本发明提供一种路面裂缝检测的方法、装置及系统，以提高路面裂缝检测的效率和准确度，减少检测的错误率，尤其对微小裂缝具有较佳的检测效果。

第一方面，本发明实施例提供的一种路面裂缝检测的方法，包括：

获取待检测路面图像；

将所述待检测路面图像输入编码器，获得多个特征图；

将所述特征图作为目标检测网络模型的输入，其中所述目标检测网络模型是指：根据所述特征图的放大特征图、缩小特征图，计算所述特征图对应的总损失误差；

通过所述目标检测网络模型输出所述待检测路面图像对应的目标裂缝图像。

在一种可能的设计中，将所述待检测路面图像输入编码器，获得多个特征图，包括：

通过所述编码器对所述待检测路面图像进行卷积处理，并将卷积处理的图像输入归一层和激活层，得到多个特征图；其中，所述编码器采用多个下采样级，且每个下采样级包括多个卷积层。

在一种可能的设计中，通过所述目标检测网络模型输出所述待检测路面图像对应的目标裂缝图像之前，还包括：

构建初始检测网络模型，所述构建初始检测网络模型包括解码分支和分割分支；所述解码分支包括多个级联的上采样级，其中上采样级包括：2d转置卷积层、归一层、激活层，其中所述2d转置卷积层用于对输入的特征图进行上采样得到所述放大特征图，所述归一层用于预设输出的所述放大特征图的尺寸，所述激活层用于输出具有非线性映射增强表达的所述放大特征图；所述解码分支用于输出所述特征图对应的放大特征图，并根据所述待检测路面图像计算得到重构损失误差；所述分割分支包括至少2个连续下采样级，用于输出所述特征图对应的缩小特征图，并根据预设标准特征图计算得到分割损失误差；

以总损失误差为评价目标，通过训练数据集训练所述初始检测网络模型，得到所述目标检测网络模型。

在一种可能的设计中，所述总损失误差包括：

重构损失误差rec_loss和分割损失误差seg_loss；

所述总损失误差hingeloss＝a*rec_loss+b*seg_loss；其中：a表示重构损失误差的损失值占总损失值的比例；b表示分割损失误差的损失值占总损失值的比例。

在一种可能的设计中，通过所述目标检测网络模型输出所述待检测路面图像对应的目标裂缝图像，包括：

若检测到所述总损失误差的损失值收敛或小于预设阈值，则所述目标检测网络模型将所述分割损失误差对应的缩小特征图作为目标裂缝图像输出。

第二方面，本发明实施例提供的一种路面裂缝检测的装置，包括：

获取模块，用于获取待检测路面图像；

编码模块，用于将所述待检测路面图像输入编码器，获得多个特征图；

检测模块，用于将所述特征图作为目标检测网络模型的输入，其中所述目标检测网络模型是指：根据所述特征图的放大特征图、缩小特征图，计算所述特征图对应的总损失误差；

输出模块，用于通过所述目标检测网络模型输出所述待检测路面图像对应的目标裂缝图像。

在一种可能的设计中，所述编码模块，具体用于：

通过所述编码器对所述待检测路面图像进行卷积处理，并将卷积处理的图像输入归一层和激活层，得到多个特征图；其中，所述编码器采用多个下采用级，且每个下采样级包括多个卷积层。

在一种可能的设计中，通过所述目标检测网络模型输出所述待检测路面图像对应的目标裂缝图像之前，还包括：

构建初始检测网络模型，所述构建初始检测网络模型包括解码分支和分割分支；所述解码分支包括多个级联的上采样级；其中上采样级包括：2d转置卷积层、归一层、激活层，其中所述2d转置卷积层用于对输入的特征图进行上采样得到所述放大特征图，所述归一层用于预设输出的所述放大特征图的尺寸，所述激活层用于输出具有非线性映射增强表达的所述放大特征图；所述解码分支用于输出所述特征图对应的放大特征图，并根据所述待检测路面图像计算得到重构损失误差；所述分割分支包括至少2个连续下采样级，用于输出所述特征图对应的缩小特征图，并根据预设标准特征图计算得到分割损失误差；

以总损失误差为评价目标，通过训练数据集训练所述初始检测网络模型，得到所述目标检测网络模型。

在一种可能的设计中，所述总损失误差包括：

重构损失误差rec_loss和分割损失误差seg_loss；

所述总损失误差hingeloss＝a*rec_loss+b*seg_loss；其中：a表示重构损失误差的损失值占总损失值的比例；b表示分割损失误差的损失值占总损失值的比例。

在一种可能的设计中，所述输出模块，具体用于：

若检测到所述总损失误差的损失值收敛或小于预设阈值，则所述目标检测网络模型将所述分割损失误差对应的缩小特征图作为目标裂缝图像输出。

第三方面，本发明实施例提供的一种路面裂缝检测的系统，包括存储器和处理器，所述存储器中存储有所述处理器的可执行指令，其中所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的路面裂缝检测的方法。

第四方面，本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的路面裂缝检测的方法。

本发明提供一种路面裂缝检测的方法、装置及系统，该方法，包括：获取待检测的路面图像获取待检测路面图像；将所述待检测路面图像输入编码器，获得多个特征图；将所述特征图作为目标检测网络模型的输入，其中所述目标检测网络模型是指：根据所述特征图的放大特征图、缩小特征图，计算所述特征图对应的总损失误差；通过所述目标检测网络模型输出所述待检测路面图像对应的目标裂缝图像。通过将分割网络和重构网络相结合，避免了样本不均衡等问题，实现了高效地进行提高了路面裂缝检测的效率和准确度路面裂缝，减少检测的错误率，尤其对微小裂缝具有较佳的检测效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的路面裂缝检测的方法流程图；

图2为本发明实施例一提供的路面裂缝检测的效果示意图；

图3为本发明实施例二提供的路面裂缝检测的方法流程图；

图4为本发明实施例三提供的路面裂缝检测的方法流程示意图；

图5为本发明实施例四提供的路面裂缝检测的装置的结构示意图；

图6为本发明实施例五提供的路面裂缝检测的系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

受交通量迅速增长、车辆大型化、超载严重及行驶渠道化等影响，路面状况经受严峻的考验，再加上施工、气候或者天气等因素加速路面损坏，从而影响路面寿命，其中裂缝类破损是常见的路面损失之一，如果能够及时发现并检测其状况，将有助于减少路面维护的成本和工作量，提高驾驶安全性。本发明通过将分割网络和重构网络相结合，提高了路面裂缝检测的效率和准确度，减少检测的错误率，尤其对微小裂缝具有较佳的检测效果。本发明执行主体路面裂缝检测的系统可以安装或者集成于任意的终端设备，在一种可选的实施例中，终端设备可以包括手机、平板电脑等等。

图1为本发明实施例一提供的路面裂缝检测的方法流程图，如图1所示，本实施例的路面裂缝检测的方法可以包括：

s101、获取待检测路面图像。

具体的，待检测路面图像可以通过摄像头实时拍摄获取，或者从实时拍摄的视频中获取某一帧的路面图像，还可以从现有的图像数据库中获取待检测路面图像。本领域技术人员可以根据实际情况选择适当的途径来获取待检测路面图像，以获得更好的效果，本实施例中不作具体限定。

s102、将待检测路面图像输入编码器，获得多个特征图。

具体的，通过编码器对待检测路面图像进行卷积处理，并将卷积处理的图像输入归一层和激活层，得到多个特征图；其中，编码器采用多个下采样级，且每个采样级可以包括多个卷积层。

本实施例中，编码器可以采用3个下采样级，且每个采样级可以包括3个卷积层，可以将待检测路面图像的分辨率降低至原来分辨率大小的1/8。编码器对待检测路面图像进行卷积处理，并将卷积处理的图像输入归一层和激活层后，被压缩成多个特征图。其中卷积处理是指使用一个卷积核对该待检测路面图像中的每个像素进行操作，卷积核是用于作图像处理的矩阵，例如3*3的矩阵或像素区域。将卷积处理的图像输入归一层以获得统一尺寸大小的特征图，激活层用于加入非线性因素以得到增强表达效果的特征图。

s103、将特征图作为目标检测网络模型的输入，其中目标检测网络模型是指：根据特征图的放大特征图、缩小特征图，计算特征图对应的总损失误差。

具体的，总损失误差可以包括：重构损失误差rec_loss和分割损失误差seg_loss；

总损失误差hingeloss＝a*rec_loss+b*seg_loss；其中：a表示重构损失误差的损失值占总损失值的比例；b表示分割损失误差的损失值占总损失值的比例。

本实施例中，目标检测网络模型可以包括解码分支和分割分支。其中解码分支可以包括多个级联的上采样级，且该上采样级可以包括：2d转置卷积层、归一层及激活层，该解码分支用于输出特征图对应的放大特征图，并根据该待检测路面图像计算得到重构损失误差rec_loss。分割分支可以包括多个连续下采样级，且用于输出特征图对应的缩小特征图，并根据预设标准特征图计算得到分割损失误差seg_loss。在一种可选的实施例中，分割损失误差可以采用交叉熵、dicecoefficient(相似性系数)等等。进而计算总损失误差。

s104、通过目标检测网络模型输出待检测路面图像对应的目标裂缝图像。

具体的，若检测到总损失误差的损失值收敛或小于预设阈值，则目标检测网络模型将所述分割损失误差对应的缩小特征图作为目标裂缝图像输出。

本实施例中，若检测到总损失误差的损失值收敛或小于预设阈值，则将目标检测网络模型中分割损失误差对应的缩小特征图作为目标裂缝图像输出。例如参考图2，图2为本发明实施例一提供的路面裂缝检测的效果示意图，如图2示出的三个优化目标裂缝图像即为本实施例中优化的分割损失误差对应的放大特征图。本实施例中不对预设阈值进行限定，本领域技术人员可以根据实际情况作具体限定以达到更好的效果。

本实施例中的路面裂缝检测的方法可以提高路面裂缝检测的效率和准确度，减少检测的错误率，尤其对微小裂缝具有较佳的检测效果。

在一种可选的实施例中，路面裂缝检测的系统通过构建初始检测网络模型，且通过训练数据集训练得到目标检测网络模型。

图3为本发明实施例二提供的路面裂缝检测的方法流程图，如图3所示，本实施例中的路面裂缝检测的方法可以包括：

步骤s201、构建初始检测网络模型，构建初始检测网络模型包括解码分支和分割分支；解码分支包括多个级联的上采样级；其中上采样级包括：2d转置卷积层、归一层、激活层，其中2d转置卷积层用于对输入的特征图进行上采样得到所述放大特征图，归一层用于预设输出的放大特征图的尺寸，激活层用于输出具有非线性映射增强表达的放大特征图；解码分支用于输出特征图对应的放大特征图，并根据待检测路面图像计算得到重构损失误差；分割分支包括至少2个连续下采样级，用于输出特征图对应的缩小特征图，并根据预设标准特征图计算得到分割损失误差。

步骤s202、以总损失误差为评价目标，通过训练数据集训练初始检测网络模型，得到目标检测网络模型。

具体的，在通过目标检测网络模型输出待检测路面图像对应的目标裂缝图像之前，可以包括构建初始检测网络模型。

参考图4，图4为本发明实施例三提供的路面裂缝检测的方法流程示意图，如图4所示，初始检测网络模型包括解码分支和分割分支。其中解码分支可以包括3个级联的上采样级，其中：上采样级包括2d转置卷积层、归一层、激活层，2d转置卷积层用于对输入的特征图进行上采样得到所述放大特征图，归一层用于预设输出的放大特征图的尺寸，激活层用于输出具有非线性映射增强表达的放大特征图。解码分支用于输出特征图对应的放大特征图，并可以根据待检测路面图像计算得到重构损失误差rec_loss。分割分支包括至少2个连续下采样级，该分割分支用于输出特征图对应的缩小特征图，并根据预设标准特征图计算得到分割损失误差seg_loss。进而以总损失误差为评价目标，通过训练数据集训练该初始检测网络模型，得到目标检测网络模型，在一种可选的实施例中，总损失误差hingeloss＝a*rec_loss+b*seg_loss；其中：a表示重构损失误差的损失值占总损失值的比例；b表示分割损失误差的损失值占总损失值的比例。其中的重构分支和分割分支基于卷积，在训练过程中可以支持任意阶段的图像输入、训练，将路面正常区域图像和裂缝图像区域作为负样本和正样本，且利用基于hinge_loss来最大化路面正常区域与裂缝区域的差异，进而获得目标裂缝图像，避免了样本不均衡等问题，提高了路面裂缝检测的效率，减少了检测的错误率，尤其对微小裂缝具有较佳的检测效果。

在一种可选的实施例中，训练数据集中的路面图像裁剪成patch(子图)，例如从原始图像中抠出192×192像素的patch，采用下采样率1/32，得到每个patch对应于6×6大小的预设标准图像。

步骤s203、获取待检测路面图像。

步骤s204、将待检测路面图像输入编码器，获得多个特征图。

步骤s205、将特征图作为目标检测网络模型的输入，其中目标检测网络模型是指：根据特征图的放大特征图、缩小特征图，计算特征图对应的总损失误差。

步骤s206、通过目标检测网络模型输出待检测路面图像对应的目标裂缝图像。

本实施例中步骤s203～步骤206的具体实现过程和技术原理请参见图1所示的方法中步骤s101～步骤104中的相关描述，此处不再赘述。

参考图2，如图2的三组优化实验中得到的优化目标裂缝图像，表明该目标检测网络模型相比于仅含有分割网络检测的模型可以更加高效得进行路面裂缝等异常区域的检测，从而减少路面裂缝检测的误报。本实施中通过自动编码器可以更加高效地进行路面正常区域的去噪；通过目标检测网络模型进行重构，可以保证更有效、高质量的正常区域路面(即路面裂缝以外的区域)的检测；基于hinge_loss来最大化路面正常区域与裂缝区域的差异，使得分割分支可以准确地进行微小裂缝的检测，相比仅含有分割网络检测的模型可以更加高效得进行路面裂缝等异常区域的检测，从而减少路面裂缝检测的误报。

图5为本发明实施例四提供的路面裂缝检测的装置的结构示意图，如图5所示，本实施例中路面裂缝检测的装置可以包括：

获取模块31，用于获取待检测路面图像；

编码模块32，用于将待检测路面图像输入编码器，获得多个特征图；

检测模块33，用于将特征图作为目标检测网络模型的输入，其中目标检测网络模型是指：根据特征图的放大特征图、缩小特征图，计算特征图对应的总损失误差；

输出模块34，用于通过目标检测网络模型输出待检测路面图像对应的目标裂缝图像。

在一种可选的实施例中，编码模块32，具体用于：

通过编码器对待检测路面图像进行卷积处理，并将卷积处理的图像输入归一层和激活层，得到多个特征图；其中，编码器采用多个下采用级，且每个下采样级包括多个卷积层。

在一种可选的实施例中，通过目标检测网络模型输出待检测路面图像对应的目标裂缝图像之前，还包括：

构建初始检测网络模型，构建初始检测网络模型包括解码分支和分割分支；解码分支包括多个级联的上采样级；其中：上采样级包括：2d转置卷积层、归一层、激活层，其中2d转置卷积层用于对输入的特征图进行上采样得到所述放大特征图，归一层用于预设输出的放大特征图的尺寸，激活层用于输出具有非线性映射增强表达的放大特征图；解码分支用于输出特征图对应的放大特征图，并根据待检测路面图像计算得到重构损失误差；分割分支包括至少2个连续下采样级，用于输出特征图对应的缩小特征图，并根据预设标准特征图计算得到分割损失误差；

以总损失误差为评价目标，通过训练数据集训练初始检测网络模型，得到目标检测网络模型。

在一种可选的实施例中，总损失误差包括：

重构损失误差rec_loss和分割损失误差seg_loss；

总损失误差hingeloss＝a*rec_loss+b*seg_loss；其中：a表示重构损失误差的损失值占总损失值的比例；b表示分割损失误差的损失值占总损失值的比例。

在一种可选的实施例中，输出模块34，具体用于：

若检测到总损失误差的损失值收敛或小于预设阈值，则目标检测网络模型将分割损失误差对应的缩小特征图作为目标裂缝图像输出。

本实施例的路面裂缝检测的装置可以执行图2、图3所示方法中的技术方案，其具体实现过程和技术原理参见图2、图3所示方法中的相关描述，此处不再赘述。

图6为本发明实施例五提供的路面裂缝检测的系统的结构示意图，如图6所示，本实施例的路面裂缝检测的系统40可以包括：处理器41和存储器42。

存储器42，用于存储计算机程序(如实现上述路面裂缝检测的方法的应用程序、功能模块等)、计算机指令等；

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。

处理器41，用于执行存储器42存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。

具体可以参见前面方法实施例中的相关描述。

处理器41和存储器42可以是独立结构，也可以是集成在一起的集成结构。当处理器41和存储器42是独立结构时，存储器42、处理器41可以通过总线43耦合连接。

本实施例的服务器可以执行图2、图3所示方法中的技术方案，其具体实现过程和技术原理参见图2、图3所示方法中的相关描述，此处不再赘述。

此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。

其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。