一种路面病害检测方法、装置、终端设备及存储介质与流程

本申请属于智慧路面物联网技术领域，具体涉及一种路面病害检测方法、装置、终端设备及存储介质。

背景技术：

交通量的增加以及车辆大型化、超载严重等现象导致了各种路面病害的出现，因此，如果在路面发生病害时不及时将路面病害情况上报至有关部门进行修复处理，极有可能会造成重大的安全事故。

传统的路面病害检测通常是安排养路工人进行定期巡视检查，但是这种方法不仅效率低、发现路面病害问题不及时、不全面，而且需要耗费很大的人力、物力和财力。

技术实现要素：

有鉴于此，本申请提供了一种路面病害检测方法、装置、终端设备及存储介质，可以解决传统人工检查效率低、成本高的问题。

本申请实施例的第一方面提供了一种路面病害检测方法，包括：

获取摄像头采集的路面图像；

将所述路面图像输入训练后的路面病害识别模型，获得路面病害检测结果；

在所述路面病害检测结果满足预设条件时，对所述病害检测结果进行数据结构化处理，获得数据报文；

通过https通信技术将所述数据报文和当前道路的路面图像向云平台发送。

在第一方面的另一种实现方式中，所述路面病害识别模型包括：依次连接的特征提取网络、区域候选网络、感兴趣区域池化网络和分类网络，所述特征提取网络的输出和所述感兴趣区域池化网络的输入连接。

在第一方面的另一种实现方式中，所述将所述路面图像输入训练后的路面病害识别模型，获得路面病害检测结果，包括：

将所述路面图像输入所述特征提取网络，获得所述路面图像的第一特征图，其中，所述特征提取网络用于对所述路面图像进行缩放处理获得缩放处理后的图像，并提取缩放处理后的路面图像的特征得到所述路面图像的第一特征图；

将所述第一特征图输入所述区域候选网络，获得第一目标检测框在所述路面图像中的坐标，其中，所述目标检测框在所述路面图像中的坐标为所述区域候选网络预识别的目标物在所述路面图像中的坐标；

将所述第一特征图和所述第一目标检测框在所述路面图像中的坐标输入所述感兴趣区域池化网络，获得包含所述第一目标检测框的路面图像的第二特征图；

将所述第二特征图输入所述分类网络，获得所述路面病害检测结果。

在第一方面的另一种实现方式中，所述区域候选网络包括：并联的分类层和回归层、以及分别与所述分类层的输出和所述回归层的输出连接的建议模块。

在第一方面的另一种实现方式中，所述将所述第一特征图输入所述区域候选网络，获得第一目标检测框在所述路面图像中的坐标，包括：

将所述第一特征图输入所述区域候选网络中的分类层，输出正样本候选检测框得分，其中，所述分类层用于在所述路面图像上生成候选检测框以及候选检测框的得分，并根据所述候选检测框的得分将所述候选检测框划分为正样本候选检测框和负样本候选检测框；

将所述第一特征图输入所述区域候选网络中的回归层，输出边框回归参数，其中，所述回归层用于在所述路面图像上生成候选检测框，并对所述候选检测框进行平移和/或缩放处理生成回归检测框，所述边框回归参数为由所述候选检测框得到所述回归检测框时所述平移和/或缩放处理的参数；

将所述正样本候选检测框得分、所述边框回归参数和所述缩放处理对应的缩放比例输入所述区域候选网络中的建议模块，获得第一目标检测框在所述路面图像中的坐标。

在第一方面的另一种实现方式中，在所述将所述路面图像输入训练后的路面病害识别模型之前，所述路面病害检测方法还包括：

将训练集中的训练图像输入所述特征提取网络，获得所述训练图像的第三特征图；

将所述第三特征图输入所述区域候选网络，获得第二目标检测框在所述训练图像中的坐标；

根据所述第二目标检测框在所述训练图像中的坐标和所述训练图像中标注的病害目标的坐标获得损失函数；

根据所述损失函数反向更新所述区域候选网络中待更新的参数；

在满足循环停止条件时，获得训练后的路面病害识别模型；

或，

将训练集中的训练图像输入所述特征提取网络，获得所述训练图像的第三特征图；

将所述第三特征图输入所述区域候选网络，获得第二目标检测框在所述训练图像中的坐标；

将所述第二目标检测框在所述训练图像中的坐标输入所述分类网络，得到第三目标检测框在所述训练图像中的坐标；

根据所述第三目标检测框在所述训练图像中的坐标和所述训练图像中标注的病害目标的坐标获得损失函数；

根据所述损失函数反向更新所述区域候选网络和所述分类网络中待更新的参数；

在满足循环停止条件时，获得训练后的路面病害识别模型。

在第一方面的另一种实现方式中，在所述通过https通信技术将所述数据报文和当前道路的路面图像向云平台发送之后，所述路面病害检测方法还包括：

在所述数据报文和当前道路的路面图像发送失败的情况下，将所述数据报文和当前道路的路面图像存储在本地，并在满足发送条件的情况下，再次将所述数据报文和当前道路的路面图像向云平台发送；其中，所述数据报文包括：设备唯一标识、病害检测结果、时间戳、路面位置和当前道路的路面图像的名称。

本申请实施例的第二方面提供了一种路面病害检测装置，包括：

图像采集模块，用于获取摄像头采集的路面图像；

路面病害分析模块，用于将所述路面图像输入训练后的路面病害识别模型，获得路面病害检测结果；

数据传输模块，用于在所述路面病害检测结果满足预设条件时，对所述病害检测结果进行数据结构化处理，获得数据报文；通过https通信技术将所述数据报文和当前道路的路面图像向云平台发送。

本申请实施例的第三方面提供了一种终端设备，包括：处理器，所述处理器用于运行存储器中存储的计算机程序，以实现如第一方面所述的路面病害检测方法。

本申请实施例的第四方面提供了一种路面病害检测系统，包括：

至少一个摄像头，设置在待检测的道路两旁或车辆的底部或车辆的前端或无人机上，用于采集所述待检测的道路的路面图像；

如权利要求8所述的终端设备，与所述至少一个摄像头连接；

云平台，用于接收、存储所述终端设备发送的所述待检测的道路的病害检测结果。

本申请实施例的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储计算机程序，所述计算机程序在处理器上运行时实现本申请第一方面任一项的路面病害检测方法。

本申请实施例在获取摄像头采集的路面图像后；将所述路面图像输入训练后的路面病害识别模型，获得路面病害检测结果；在所述路面病害检测结果满足预设条件时，对所述病害检测结果进行数据结构化处理，获得数据报文；通过https通信技术将所述数据报文和当前道路的路面图像向云平台发送。如此一来解决了传统人工检查效率低、成本高的问题。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。

图1示出本申请实施例提供的一种路面病害检测方法的流程示意图；

图2示出本申请实施例提供的一种路面病害检测模型的信息处理流程图；

图3示出本申请另一实施例提供的一种路面病害检测方法的流程示意图；

图4示出本申请实施例提供的一种路面病害检测装置的组成示意框图；

图5示出本申请实施例提供的一种终端设备的组成示意框图；

图6示出本申请实施例提供的一种路面病害检测系统的组成示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

本领域技术人员可以理解，附图只是示例实施例的示意图，可能不是按比例的。附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。

参见图1，是本发明实施例提供的一种路面病害检测方法的流程示意图，如图所示，该路面病害检测方法可以包括以下步骤：

s110，获取摄像头采集的路面图像。

本申请实施例中，所述摄像头可以是车载摄像头、无人机摄像头及监控摄像头，其中，所述车载摄像头可以安装在车辆的底部或者车辆的前端，从而可以在车辆行驶的过程中动态拍摄前进道路上的路面图像；所述监控摄像头可以设置在交通道路的两旁，从而拍摄道路的路面图像；此外，所述无人机摄像头可以安装在无人机上，从而在无人机飞行过程中拍摄道路的路面图像。

所述路面图像可以是视频和/或图片，本申请对此不作限定。

s120，将所述路面图像输入训练后的路面病害识别模型，获得路面病害检测结果。

本申请实施例中，需要将s110获取的路面图像输入路面病害识别模型，用来对路面图像中可能存在的病害目标进行检测，从而获得当前道路的病害状况，其中，所述路面病害模型是在进行路面病害实时检测之前预先构建和训练好的模型。

在本申请另一实施例中，所述路面病害识别模型包括：依次连接的特征提取网络、区域候选网络、感兴趣区域池化网络和分类网络，所述特征提取网络的输出和所述感兴趣区域池化网络的输入连接。

本申请实施例中，所述特征提取网络用来对输入的所述路面图像进行特征提取以获得所述路面图像的特征图，并将所述特征图输入所述区域候选网络和所述感兴趣区域池化网络；

所述区域候选网络用来对输入的特征图进行遍历后在所述路面图像上生成目标检测框，并输出所述目标检测框的坐标至所述感兴趣区域池化网络；

所述感兴趣区域池化网络用来将包含目标检测框的路面图像从所述路面图像中抠出来，并对抠出来的所述包含目标检测框的路面图像进行尺寸调整，输出统一尺寸的特征图至分类网络，其中特征图是包含目标检测框的路面图像的特征图；

所述分类网络用来对输入的包含目标检测框的路面图像的特征图进行分类，获得路面病害检测结果。

在本申请另一实施例中，所述将所述路面图像输入训练后的路面病害识别模型，获得路面病害检测结果，包括：

s210，将所述路面图像输入所述特征提取网络，获得所述路面图像的第一特征图。

其中，所述特征提取网络用于对所述路面图像进行缩放处理获得缩放处理后的图像，并提取缩放处理后的路面图像的特征得到所述路面图像的第一特征图。

本申请实施例中，将所述路面图像输入所述特征提取网络后，所述特征提取网络会对输入的所述路面图像进行缩放处理以得到缩放处理后的图像，然后由多个卷积层、全连接层、池化层组成的特征提取子网络对缩放处理后的图像进行特征提取，从而得到输入的所述路面图像的特征图。

所述特征提取网络的固定输出为，其中是所述特征提取子网络中的所述卷积层、全连接层、池化层加起来的总数，所述特征子提取网络可以是vgg-16、resnet、zf、inception等，本申请对此不作限定。

作为示例，本申请实施例以vgg-16为特征提取子网络来进行说明。参见图2，对于一副大小的路面图像，首先将其缩放至固定大小，然后将图像送入vgg-16网络，所述vgg-16网络中包含了13个卷基层、3个全连接层以及5个池化层，总数目为16，因此，所述特征提取网络的固定输出即为。

所述特征图中包含有所述路面图像的深度信息、所述路面图像中各个目标物之间的区分以及目标物与背景的区分等信息。

为了便于描述，本申请将此处获得的所述路面图像的特征图定义为第一特征图。

s220，将所述第一特征图输入所述区域候选网络，获得第一目标检测框在所述路面图像中的坐标。

其中，所述目标检测框在所述路面图像中的坐标为所述区域候选网络预识别的目标物在所述路面图像中的坐标。

本申请实施例中，将s210中获得的所述第一特征图输入所述区域候选网络，所述区域候选网络中存在一个的滑动窗口，所述滑动窗口的大小可以是预定的，也可以是根据实际需求设定的。所述滑动窗口滑动到所述第一特征图中的某一个特征点时，就会将该特征点映射到所述路面图像中的对应位置处，并以所述路面图像中的对应位置为中心点按照设定的大小和长宽比例在所述路面图像上生成候选检测框。

参见图2，所述获取候选检测框的具体过程为：对输入区域候选网络中的第一特征图先进行一个3*3卷积+激活操作，再经过一个独立的1*1的卷积操作后输出个得分，所述个得分与所述特征图上个候选检测框对应。

作为示例，假设预设的检测框大小为{128²，256²，512²}，三种长宽比例为{1:1，1:2，2:1}，如此一来，特征图中的每个特征点将在所述路面图像的对应位置上生成9个候选检测框；对应的，所述个得分就会与所述特征图上个候选检测框对应起来，从而可以理解，每个候选检测框存在两个得分，分别为该候选检测框的正样本检测框得分和负样本检测框得分。当然，上述示例只是其中一种情况，本申请对此不作限定。

在本申请另一实施例中，可参见图2，所述区域候选网络包括：并联的分类层和回归层、以及分别与所述分类层的输出和所述回归层的输出连接的建议模块。

在本申请另一实施例中，在所述将所述第一特征图输入所述区域候选网络，获得第一目标检测框在所述路面图像中的坐标，包括：

s310，将所述第一特征图输入所述区域候选网络中的分类层，输出正样本候选检测框得分。

其中，所述分类层用于在所述路面图像上生成候选检测框以及候选检测框的得分，并根据所述候选检测框的得分将所述候选检测框划分为正样本候选检测框和负样本候选检测框。

本申请实施例中，s220中生成的每个候选检测框都包含正样本候选检测框得分和负样本候选检测框得分，所述正样本候选检测框得分意味着候选检测框中的目标物是前景的概率，所述负样本检测框得分意味着候选检测框中的目标物是背景的概率。作为示例，假设生成的其中一个候选检测框的两个得分为：0.8和0.2，其中，0.8代表候选检测框内的目标物是前景的得分，0.2代表的是候选检测框内的目标物是背景的得分；背景得分越大，说明候选检测框内的目标物是前景的概率越大；前景得分越大，说明候选检测框内的目标物是前景的概率越大。

参见图2，将s220中获得的候选检测框先进行一下reshape操作便于分类，其次，将reshape操作后的所述个候选检测框以及所述个候选检测框的个得分输入softmax网络，输出候选检测框的正样本候选检测框得分。

s320，将所述第一特征图输入所述区域候选网络中的回归层，输出边框回归参数。

其中，所述回归层用于在所述路面图像上生成候选检测框，并对所述候选检测框进行平移和/或缩放处理生成回归检测框，所述边框回归参数为由所述候选检测框得到所述回归检测框时所述平移和/或缩放处理的参数。

参见图2，本申请实施例中，所述区域候选网络首先会对输入的所述第一特征图进行一个3*3卷积+激活操作，再经过一个独立的1*1的卷积操作后输出个坐标，所述个坐标与所述特征图上个候选检测框对应，即每个候选检测框都对应有4个坐标。其中，表示特征图中的每个特征点在所述路面图像的对应位置处生成的个候选检测框。

作为示例，若，则所述个坐标就会与所述特征图上个候选检测框对应起来。当然，上述示例只是其中一种情况，本申请对此不作限定。

作为另一示例，假设生成的所述候选检测框的坐标为而，回归层的作用就是寻找一种关系使得边界框与边界框更相近，设边界框经过映射获得。

平移操作：

平移操作：

设为需要学习的边框回归参数，为所述候选检测框的特征向量，为预测值，则：

目标为使所述预测值与真实值()之间的差距最小。损失函数为：

函数优化目标为：

在生成边框回归参数后，所述回归层就会对所述路面图像上生成的候选检测框进行平移和/或缩放处理生成回归检测框，所述边框回归参数可以理解为由所述候选检测框得到所述回归检测框时所述平移和/或缩放处理的参数。

s330，将所述正样本候选检测框得分、所述边框回归参数和所述缩放处理对应的缩放比例输入所述区域候选网络中的建议模块，获得第一目标检测框在所述路面图像中的坐标。

本申请实施例中，所述正样本候选检测框得分是通过分类层获得的，所述边框回归参数是通过回归层获得的，所述缩放处理对应的缩放比例是在s210中获得的。

作为示例，所述缩放处理对应的缩放比例，参见图2，就是由图像经过缩放处理获得缩放图像的缩放比例。

此处，将所述正样本候选检测框得分、所述边框回归参数、所述缩放处理对应的缩放比例输入建议模块(例如：图2中的proposal)后，所述建议模块会对上述三个输入进行如下具体操作：

①对所有输入的正样本候选检测框利用边框回归参数进行修正处理；

②将所有修正后的正样本候选检测框按照得分从大到小进行排序，提取前n个；

③剔除超出所述路面图像边界和尺寸的正样本候选检测框；

④对提取出的满足上述条件的正样本候选检测框进行非极大抑制操作，从而获得目标检测框，并将所述目标检测框在所述路面图像中的坐标输出至感兴趣区域池化网络，所述目标检测框在所述路面图像中的坐标为所述区域候选网络预识别的目标物在所述路面图像中的坐标，即所述目标检测框在所述路面图像中的中心点以及宽和高。

为了便于描述，此处将获得的上述目标检测框定义为第一目标检测框。

s230，将所述第一特征图和所述第一目标检测框在所述路面图像中的坐标输入所述感兴趣区域池化网络，获得包含所述第一目标检测框的路面图像的第二特征图。

本申请实施例中，所述第一特征图是在s210中获得的；所述第一目标检测框在所述路面图像中的坐标是在s330中获得的。

将所述第一特征图和所述第一目标检测框在所述路面图像中的坐标输入至感兴趣区域池化网络，所述感兴趣区域池化网络根据输入的所述第一目标检测框在所述路面图像中的坐标，将包含第一目标检测框的路面图像从所述路面图像中抠取出来，并将抠取出来的所述包含第一目标检测框的路面图像映射到所述第一特征图上；然后，将映射到所述第一特征图上的所述包含第一目标检测框的路面图像划分为大小的网格，所述可根据实际需求选定；其次，对所述大小的网格的每一份进行最大池化处理，输出固定大小为的特征图。

作为举例，假设，那么上述描述的具体操作即为：首先，将包含第一目标检测框的路面图像映射到所述第一特征图上，并将映射到所述第一特征图上的所述包含第一目标检测框的路面图像按照预设的7*7网格大小，平均划分成49个网格，并对49个网格中的特征值进行最大池化处理，获得每个网格中的最大值，进而输出大小均为7*7的第一目标检测框中路面图像的特征图至所述分类网络。

为了便于描述，此处将获得的包含第一目标检测框的路面图像的特征图定义为第二特征图。

s240，将所述第二特征图输入所述分类网络，获得所述路面病害检测结果。

本申请实施例中，参见图2，所述分类网络对输入的所述第二特征图进行两次卷积和两次激活操作后，分别输入两个全连接层分支进行处理，其中一个分支经过全连接层处理后输出边框回归参数；另外一个分支经过全连接层处理后输入至softmax网络对路面病害的类型进行识别判定，并输出正样本候选检测框得分。然后，所述分类网络可以根据获得的边框回归参数对所述目标检测框的位置进行一次精确的调整，然后基于调整后的目标检测框，对调整后的目标检测框内的目标物进行分类识别，判定所述目标物是否是路面病害，从而得到路面病害检测结果。

此外，所述分类网络可以将获得的边框回归参数和正样本候选检测框得分反向传播至所述区域候选网络，从而更新路面病害检测模型中区域候选网络中待更新的参数。

当然，所述分类网络也可以将获得的边框回归参数和正样本候选检测框得分反向传播至所述区域候选网络和所述分类网络，从而更新路面病害检测模型中区域候选网络和分类网络中的待更新参数。

所述待更新参数即为边框回归参数和/或正样本候选检测框得分。

在本申请另一实施例中，在将所述路面图像输入训练后的路面病害识别模型之前，所述方法还包括：

s410，将训练集中的训练图像输入所述特征提取网络，获得所述训练图像的第三特征图。

本申请实施例中，首先需要对获取的路面图像中的病害目标进行预标注，然后将每张图片标注好的信息以预定的格式和对应的图片名保存起来以获得数据集。

作为示例，假设预定格式为txt，图像名为image.jpg，则对应的标注文件的保存名为image.txt；其中txt标注文件可以采用kitti数据集格式，用来存储每一张图像中所有病害目标的类别、被截断程度、被遮挡程度、鸟瞰图夹角、2d框像素位置、长宽高、相机坐标系下的坐标、绕相机y轴的弧度值等信息。

所述数据集可以按照一定的比例分为训练集和测试集，例如，随机抽取数据集中80%的图像作为训练集放入training文件夹，剩下的20%则为测试集放入testing文件夹，然后将数据集打包放到高性能gpu服务器中路面病害识别模型训练环境的相应目录下。

基于上述条件，参照s210的描述，将所述训练集中的训练图像输入到所述特征提取网络，获得所述训练图像的特征图。

为了便于描述，此处将获得的训练图像的特征图定义为第三特征图。

s420，将所述第三特征图输入所述区域候选网络，获得第二目标检测框在所述训练图像中的坐标。

本申请实施例中，参照s310~s330，将所述第三特征图输入所述区域候选网络，获得目标检测框在所述训练图像中的坐标。

为了便于描述，此处将上述步骤获得的所述目标检测框定义为第二目标检测框。

s430，根据所述第二目标检测框在所述训练图像中的坐标和所述训练图像中标注的病害目标的坐标获得损失函数；

本申请实施例中，参照s320中损失函数的计算方法，根据获得的所述第二目标检测框在所述训练集图像中的坐标与所述训练集图像中标注的病害目标的坐标计算损失函数。

s440，根据所述损失函数反向更新区域候选网络中待更新的参数。

本申请实施例中，根据计算获得的损失函数，反向更新所述路面病害识别模型中区域候选网络中的待更新的参数，所述待更新的参数可以是边框回归参数和/或正样本候选检测框得分。

s450，在满足循环停止条件时，获得训练后的路面病害识别模型。

本申请实施例中，重复s410~s440，直至训练并经过测试后获得的路面病害识别模型满足循环停止条件。所述循环停止条件可以是路面病害识别模型的病害检测精度和/或路面病害识别模型的病害检测速率达到了预设条件。

或，

s510，将训练集中的训练图像输入所述特征提取网络，获得所述训练图像的第三特征图。

对本申请实施例的描述可参照s410，在此不做重复说明。

s520，将所述第三特征图输入所述区域候选网络，获得第二目标检测框在所述训练图像中的坐标。

对本申请实施例的描述可参照s420，在此不做重复说明。

s530，将所述第二目标检测框在所述训练图像中的坐标输入所述分类网络，得到第三目标检测框在所述训练图像中的坐标。

本申请实施例中，将所述获得的第二目标检测框在所述训练图像中的坐标输入所述分类网络后，参照s240中的描述，所述分类网络对所述第二目标检测框的坐标再次进行一个调整，使得获得的目标检测框的坐标更加接近训练图像中标注的病害目标的坐标。

为了便于描述，此处将经过分类网络而得到的目标检测框定义为第三目标检测框。

s540，根据所述第三目标检测框在所述训练图像中的坐标和所述训练图像中标注的病害目标的坐标获得损失函数。

对本申请实施例的描述可参照s430，在此不做重复说明。

s550，根据所述损失函数反向更新所述区域候选网络和所述分类网络中待更新的参数。

本申请实施例中，根据计算获得的损失函数，反向更新所述区域候选网络和所述分类网络中的待更新的参数，所述待更新的参数可以是边框回归参数和/或正样本候选检测框得分。

s560，在满足循环停止条件时，获得训练后的路面病害识别模型。

对本申请实施例的描述可参照s450，在此不做重复说明。

s130，在所述路面病害检测结果满足预设条件时，对所述病害检测结果进行数据结构化处理，获得数据报文。

本申请实施例中，所述预设条件为裂类、沉陷类、车辙类、松散类、变形类、其他病害类。当判定路面检测结果符合上述预设条件中的一种或多种时，就按照预设的数据格式对路面检测结果进行数据结构化处理，获得数据报文。所述数据报文包括：设备唯一标识、病害检测结果、时间戳、路面位置和当前道路的路面图像的名称。

作为示例，假设01代表裂缝类、02代表沉陷类、03代表车辙类、04代表松散类、05代表变形类、06代表其他类；若2021年3月13日15时58分53秒检测到裂缝类的路面病害，则图片的命名规则为：道路病害_01_20210313155853.jpg

s140，通过https通信技术将所述数据报文和当前道路的路面图像向云平台发送。

本申请实施例中，当判定道路存在病害时，通过https的post功能将数据报文和当前道路的路面图像发送到云平台，所述当前道路的路面图像可以是获得检测结果后，重新采集的路面图像，也可以是获得该检测结果的路面图像。

在本申请另一实施例中，在所述通过https通信技术将所述数据报文和当前道路的路面图像向至云平台发送之后，所述方法还包括：

s150，在所述数据报文和当前道路的路面图像发送失败的情况下，将所述数据报文和当前道路的路面图像存储在本地，并在满足发送条件的情况下，再次将所述数据报文和当前道路的路面图像向云平台发送。

其中，所述数据报文包括：设备唯一标识、病害检测结果、时间戳、路面位置和当前道路的路面图像的名称。

参见图3，本申请实施例中，在将数据报文和当前道路的路面图像通过https发送到云平台失败的情况下，可以将所述数据报文和当前道路的路面图像存储在本地缓存中，在预设时间间隔后或者网络顺畅后，将缓存在本地中的所述数据报文和当前道路的路面图像重新向云平台发送，直到发送成功。

图4示出本申请一实施例提供的一种路面病害检测装置的组成示意框图，为了便于说明，仅示出与本申请实施例相关的部分。

所述检测装置4，包括：

图像采集模块401，用于获取摄像头采集的路面图像；

路面病害分析模块402，用于将所述路面图像输入训练后的路面病害识别模型，获得路面病害检测结果；

数据获取模块403，用于在所述路面病害检测结果满足预设条件时，对所述病害检测结果进行数据结构化处理，获得数据报文；

数据传输模块404，用于通过https通信技术将所述数据报文和当前道路的路面图像向云平台发送。

上述方法实施例中的其他步骤可以通过上述示例中的任一单元实现，或上述示例中以外的单元实现，本申请实施例对此不做限定。

需要说明的是，上述装置/模块之间的执行过程和相互之间的信息交互与本申请实施例提供的路面病害检测方法基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图5是本申请一实施例提供的一种终端设备的示意框图。如图5所示，该实施例的终端设备5包括：

一个或多个处理器500、存储器501以及存储在所述存储器501中并可在所述处理器500上运行的计算机程序502。所述处理器500执行所述计算机程序502时实现上述各个方法实施例中的步骤，例如图1所示的s110至s140。

示例性的，所述计算机程序502可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器501中，并由所述处理器500执行，所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序502在所述终端设备5中的执行过程。

所述终端设备包括但不仅限于处理器500、存储器501。本领域技术人员可以理解，5仅仅是终端设备5的一个示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备5还可以包括输入设备、输出设备、网络接入设备、总线等。

所述处理器500可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器501可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器501也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器501还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器501用于存储所述计算机程序以及所述终端设备5所需的其他程序和数据。所述存储器501还可以用于暂时地存储已经输出或者将要输出的数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的中终端设备和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，终端设备或模块的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被一个或多个处理器执行时，可实现上述各个方法实施例的步骤。

同样，作为一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

图6示出本申请一实施例提供的一种路面病害检测系统的组成示意框图，包括：

至少一个摄像头，设置在待检测的道路两旁或车辆的底部或车辆的前端或无人机上，用于采集所述待检测的道路的路面图像；

如权利要求8所述的终端设备，与所述至少一个摄像头连接；

云平台，用于接收、存储所述终端设备发送的所述待检测的道路的病害检测结果。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。