路面裂缝检测方法、装置、设备及存储介质与流程

文档序号:18034310发布日期:2019-06-28 23:05阅读:208来源:国知局
路面裂缝检测方法、装置、设备及存储介质与流程

本申请实施例涉图像识别技术领域,尤其涉及一种路面裂缝检测方法、装置、设备及存储介质。



背景技术:

裂缝是反映道路受损情况的重要标志,而随着我国道路交通系统的日益发展,路面裂缝检测对于道路的日常检修和维护来说是一项非常重要的任务。

目前路面裂缝检测方法主要是通过传统图像识别手段,由于实际环境下采集的路面图像往往具有光照复杂、噪声信息多的特点,传统图像识别手段用于实际路面采集图像中识别正确率较低、无法满足实际工程的性能需求。因此,现有的路面裂缝检测方法无法保证裂缝的识别率,同时浪费时间和资源。



技术实现要素:

本申请实施例提供一种路面裂缝检测方法、装置、设备及存储介质,以克服现有的路面裂缝检测方法无法保证裂缝的识别率,同时浪费时间和资源的问题。

第一方面,本申请实施例提供一种路面裂缝检测方法,包括:

获取多张预设路面样本图像;

基于伽玛矫正对所述多张预设路面样本图像进行预处理,获得所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像,将所有预设路面样本图像对应的三通道图像划分为训练集、验证集、以及测试集;

根据所述训练集中的三通道图像、预设损失函数和预设优化算法,对卷积神经网络模型进行训练,得到训练后的卷积神经网络模型,所述卷积神经网络是通过残差网路进行优化后的卷积神经网络模型;

将所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中进行预测,得到预测结果;

若根据所述预测结果,确定停止训练,则将所述训练后的卷积神经网络模型作为测试卷积神经网络模型;

根据所述测试集,对所述测试卷积神经网络模型进行测试,得到测试结果;

若所述测试结果在预设评估范围内,则将所述测试卷积神经网络模型作为目标卷积神经网络模型;

将待检测路面图像对应的三通道图像输入到所述目标卷积神经网络模型中,得到所述待检测路面图像中的路面裂缝信息。

在一种可能的设计中,所述基于伽玛矫正对所述多张预设路面样本图像进行预处理,获得所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像,包括:

将伽玛值设定为小于第一预设值,对所述多张预设路面样本图像中低灰度部分对应的灰度值进行非线性变换,得到所述多张预设路面样本图像中每张预设路面样本图像对应的第一单通道图像;

将伽玛值设定为大于第一预设值,对所述多张预设路面样本图像中高灰度部分对应的灰度值进行非线性变换,得到所述多张预设路面样本图像中每张预设路面样本图像对应的第二单通道图像;

将所述多张预设路面样本图像中每张预设路面样本图像作为第三单通道图像,并根据所述多张预设路面样本图像中每张预设路面样本图像对应的第一单通道图像和所述多张预设路面样本图像中每张预设路面样本图像对应的第二单通道图像,得到所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像;

其中,所述多张预设路面样本图像中低灰度部分对应的灰度值小于第二预设值,所述多张预设路面样本图像中高灰度部分对应的灰度值大于第二预设值。

在一种可能的设计中,所述卷积神经网络模型,包括:卷积层、池化层和全连接层;

所述卷积神经网络模型中网络结构为依次连接的多个组合层、一个卷积层和一个全连接层,所述多个组合层中每个组合层是由两个连接的卷积层连接一个池化层形成的;

所述网络结构中第一个组合层中卷积层的卷积核的尺寸和第二个卷积层的卷积核的尺寸相等,且大于所述网络结构中其他卷积层的卷积核的尺寸,所述网络结构中其他卷积层中对应的组合层中卷积层的卷积核的尺寸相等,且大于与所述全连接层连接的卷积层的卷积核的尺寸;

所述网络结构中池化层的核的尺寸小于所述网络结构中其他卷积层的卷积核的尺寸;

所述网络结构中全连接层的尺寸是根据所述预设路面样本图像的尺寸和与所述全连接层连接的卷积层的卷积核的尺寸确定的;

所述网络结构中设置有初始化的网络参数,所述网络参数包括权重和偏置。

在一种可能的设计中,所述预设损失函数为交叉熵函数,所述预设优化算法为自适应矩估计adam优化算法,所述训练集中的三通道图像均含有裂缝标识;所述根据所述训练集中的三通道图像、预设损失函数和预设优化算法,对所述卷积神经网络模型进行训练,包括:

设置所述卷积神经网络模型的参数,所述卷积神经网络模型的参数包括学习率和训练样本的数量,所述训练样本为所述训练集中每张预设路面样本图像对应的三通道图像;

根据所述训练样本的数量,从所述训练集中选取对应所述训练样本的数量的训练样本,将所述对应所述训练样本的数量的训练样本批量输入到所述卷积神经网络模型中,得到所述训练集中每个所述训练样本的预测结果;

通过所述交叉熵函数和自适应矩估计优化算法,计算每个所述训练样本的预测结果和对应的含有裂缝标识的真实值之间的误差,其中,每个所述训练样本的预测结果为每个所述训练样本中含有裂缝标识的概率矩阵,所述真实值为获取多个预设路面样本图像时获得的每张预设路面样本图像中含有裂缝标识的初始概率矩阵;

根据所述网络结构中每个网络层的网络参数的梯度和所述学习率、以及所述误差,通过反向传播,调整当前网络层的网络参数,并将调整后的所述当前网络层的网络参数更新为所述当前网络层的网络参数;其中,所述卷积层、池化层和全连接层均为所述网络层。

在一种可能的设计中,所述根据所述预测结果,确定停止训练,包括:

将所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中得到的预测结果作为当前预测结果;

根据所述当前预测结果,判断所述当前预测结果是否在预设评估范围内,若所述当前预测结果在所述预设评估范围内,则将所述当前预测结果与历史预测结果进行比对,得到比对的结果;

若所述比对的结果在预设目标结果范围内,则确定停止训练。

在一种可能的设计中,所述根据所述测试集,对所述测试卷积神经网络模型进行测试,得到测试结果,包括:

将所述测试集中的三通道图像输入到所述测试卷积神经网络模型中,得到所述测试集中每张预设路面样本图像对应的所述预测结果;

根据所述测试集中每张预设路面样本图像对应的预测结果和所述测试集中每张预设路面样本图像对应的真实值,计算所述测试集对应的裂缝标识重合率,并将所述裂缝标识重合率作为所述测试结果。

第二方面,本申请实施例提供一种路面裂缝检测装置,包括:

路面样本图像获取模块,用于获取多张预设路面样本图像;

预处理模块,用于基于伽玛矫正对所述多张预设路面样本图像进行预处理,获得所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像,将所有预设路面样本图像对应的三通道图像划分为训练集、验证集、以及测试集;

训练模块,用于根据所述训练集中的三通道图像、预设损失函数和预设优化算法,对卷积神经网络模型进行训练,得到训练后的卷积神经网络模型,所述卷积神经网络是通过残差网路进行优化后的卷积神经网络模型;

验证模块,用于将所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中进行预测,得到预测结果;

测试卷积神经网络模型确定模块,用于在根据所述预测结果,确定停止训练时,将所述训练后的卷积神经网络模型作为测试卷积神经网络模型;

测试模块,用于根据所述测试集,对所述测试卷积神经网络模型进行测试,得到测试结果;

目标卷积神经网络模型确定模块,用于在所述测试结果在预设目标结果范围内时,将所述测试卷积神经网络模型作为目标卷积神经网络模型;

检测裂缝模块,用于将待检测路面图像对应的三通道图像输入到所述目标卷积神经网络模型中,得到所述待检测路面图像中的路面裂缝信息。

在一种可能的设计中,所述预处理模块,具体用于:

将伽玛值设定为小于第一预设值,对所述多张预设路面样本图像中低灰度部分对应的灰度值进行非线性变换,得到所述多张预设路面样本图像中每张预设路面样本图像对应的第一单通道图像;

将伽玛值设定为大于第一预设值,对所述多张预设路面样本图像中高灰度部分对应的灰度值进行非线性变换,得到所述多张预设原始图像中每张预设原始图像对应的第二单通道图像;

将所述多张预设原始图像中每张预设原始图像作为第三单通道图像,并根据所述多张预设原始图像中每张预设原始图像对应的第一单通道图像和所述多张预设原始图像中每张预设原始图像对应的第二单通道图像,得到所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像;

其中,所述多张预设路面样本图像中低灰度部分对应的灰度值小于第二预设值,所述多张预设路面样本图像中高灰度部分对应的灰度值大于第二预设值。

第三方面,本申请实施例提供一种路面裂缝检测设备,包括:至少一个处理器和存储器;

所述存储器存储计算机执行指令;

所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的路面裂缝检测方法。

第四方面,本申请实施例提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的路面裂缝检测方法。

本实施例提供的路面裂缝检测方法、装置、设备及存储介质,先获取多张预设路面样本图像,再根据伽马矫正对所述多张预设路面样本图像进行预处理,能够突出预设路面样本图像中裂缝与背景的差别,得到所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像;再将所有预设路面样本图像对应的三通道图像划分为训练集、验证集、以及测试集,在训练过程中,首先根据所述训练集中的三通道图像、预设损失函数和预设优化算法,对卷积神经网络模型进行训练,得到训练后的卷积神经网络模型,其中,所述卷积神经网络是通过残差网路进行优化后的卷积神经网络模型,其次,将所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中进行预测,得到预测结果,便于确定对所述卷积神经网络模型的训练是否该停止,若根据所述预测结果,确定停止训练,则将所述训练后的卷积神经网络模型作为测试卷积神经网络模型,最后再通过测试集对再然后集和验证集承兑获得所述干扰脉冲信号的脉冲序列,然后根据所述测试卷积神经网络模型进行测试,得到测试结果,便于确定所述测试卷积神经网络模型是否为目标卷积神经网络模型,即若所述测试结果在预设评估范围内,则将所述测试卷积神经网络模型作为目标卷积神经网络模型;最后使用所述目标卷积神经网络模型,即将待检测路面图像对应的三通道图像输入到所述目标卷积神经网络模型中,得到所述待检测路面图像中的路面裂缝信息。本方案在路面裂缝检测方法中将采集任何环境下的路面图像作为预设路面样本图像,对预设路面样本图像进行预处理,能够强化预设路面样本图像中含有裂缝部分,然后根据预处理后的预设路面样本图像,对优化后的卷积神经网络模型进行训练、验证和测试,得到目标卷积神经网络模型,在训练过程中对卷积神经网络模型不断地微调整,性能相对较稳定,因此,所述目标卷积神经网络模型能够适用于任何环境下的路面图像的裂缝检测,且识别率高,检测效率快。本方案能够保证裂缝的识别率,同时节约时间和资源。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的路面裂缝检测方法的流程示意图;

图2为本申请另一实施例提供的路面裂缝检测方法的流程示意图;

图3为本申请又一实施例提供的路面裂缝检测方法中卷积神经网络的结构示意图;

图4为本申请再一实施例提供的路面裂缝检测方法的流程示意图;

图5为本申请又一实施例提供的路面裂缝检测方法的流程示意图;

图6为本申请另一实施例提供的路面裂缝检测方法的流程示意图;

图7为本申请实施例提供的路面裂缝检测装置的结构示意图;

图8为本申请实施例提供的路面裂缝检测设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本申请实施例提供的路面裂缝检测方法的流程示意图,本实施例的执行主体可以为终端,也可以为服务器,本实施例此处对执行主体不做限定。

参见图1,所述路面裂缝检测方法,包括:

s101、获取多张预设路面样本图像。

其中,所述多张预设路面样本图像中包括含有裂缝标识的预设路面样本图像和未含有裂缝标识的预设路面样本图像,且多张预设路面样本图像中每张预设路面样本图像对应一个真实值,所述真实值为每张预设路面样本图像中含有裂缝标识的初始概率矩阵。

实际应用中,本实施例的执行主体可以为路面裂缝检测系统,用于实际公路养护工作中对于路面裂缝的检测或识别,通过路面裂缝检测系统中的图像采集装置,采集多张路面样本图像并对多张路面样本图像中含有裂缝的部分进行标识,获得多张预设路面样本图像,进行本地检测,处理速度快。也可以是服务器通过采集装置获取多张预设路面样本图像,进行远程检测,处理精度高。

s102、基于伽玛矫正对所述多张预设路面样本图像进行预处理,获得所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像,将所有预设路面样本图像对应的三通道图像划分为训练集、验证集、以及测试集。

本实施例中,基于伽玛矫正,构建预处理模型,将所述多张预设路面样本图像输入到所述预处理模型中,能够得到所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像。通过设置预处理模型中的伽马值,可以对所述多张预设路面样本图像中每张预设路面样本图像的灰度值进行非线性变化,能够突出预设路面样本图像中裂缝与背景的差别。

其中,在训练过程中,先通过训练集中所有预设路面样本图像对应的三通道图像对卷积神经网络模型进行训练,再通过验证集中所有预设路面样本图像对应的三通道图像对卷积神经网络模型进行验证,可以经过多轮的训练和验证,即通过一次所述训练集进行训练,再由一次所述验证集进行验证或预测,若预测效果不好,则继续通过一次所述训练集进行训练,再由一次所述验证集进行验证或预测,以此类推,对卷积神经网络进行多轮次训练,以使卷积神经网络模型输出的路面裂缝信息更精准。

s103、根据所述训练集中的三通道图像、预设损失函数和预设优化算法,对卷积神经网络模型进行训练,得到训练后的卷积神经网络模型,所述卷积神经网络是通过残差网路进行优化后的卷积神经网络模型。

本实施例中,对卷积神经网络模型进行训练之前,构建基础卷积神经网络模型,再通过残差网络对基础卷积神经网络模型进行优化,得到卷积神经网络模型。其中,使用残差网络能够更好地保留图像(预设路面样本图像或待检测路面图像)的原始信息,且能在卷积神经网络模型层次较深的情况下避免梯度消失的问题,得到深层模型训练。

具体地,所述训练集可以由3024张预设路面样本图像对应的三通道图像形成。将选取的任一张预设路面样本图像对应的三通道图像输入到卷积神经网络模型中,并通过预设损失函数有效计算预测结果和实际值(真实值)的误差,并为反向传播中对网络参数调整提供依据。在训练过程中,通过预设优化算法对卷积神经网络模型进行优化,能够保证每次对网络参数的调整为微调,以使卷积神经网络模型的性能较平稳。

s104、将所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中进行预测,得到预测结果。

本实施例中,所述验证集可以由500张预设路面样本图像对应的三通道图像形成。将所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中进行预测,并通过得到的预测结果,对此次验证的当前卷积神经网络模型进行性能评估。

s105、若根据所述预测结果,确定停止训练,则将所述训练后的卷积神经网络模型作为测试卷积神经网络模型。

本实施例中,若对当前卷积神经网络模型的性能评估达到预设标准,则确定停止训练,进而将当前卷积神经网络模型即所述训练后的卷积神经网络模型作为测试卷积神经网络模型。其中,所述预设标准可以为预设评估范围,预设评估范围可以为[0.95,1]。

s106、根据所述测试集,对所述测试卷积神经网络模型进行测试,得到测试结果。

本实施例中,将所述测试集中的三通道图像输入到所述测试卷积神经网络模型中,得到所述测试集中每张预设路面样本图像对应的预测结果,根据所述每张预设路面样本图像对应的预测结果,对所述测试卷积神经网络模型的性能进行评估,得到测试结果。其中,所述测试集可以由10000张预设路面样本图像对应的三通道图像形成,所述测试集中三通道图像对应的预设路面样本图像可以包括含有裂缝标识的预设路面样本图像和未含有裂缝标识的预设路面样本图像,便于真实地模拟实际检测路面的采集图像,进而有效地测试所述测试卷积神经网络模型的性能,使所述测试卷积神经网络模型的预测更为精准。

s107、若所述测试结果在预设评估范围内,则将所述测试卷积神经网络模型作为目标卷积神经网络模型。

本实施例中,所述测试结果可以为测试集中预设路面样本图像的预测结果与测试集中预设路面样本图像中含有裂缝标识的实际结果(真实值)的重合率,其中,预测结果为每个预设路面图像中含有裂缝标识的概率矩阵,真实值为每个预设路面图像中含有裂缝标识的初始概率矩阵。若所述重合率在[0.98,1]内,则说明所述测试卷积神经网络模型的性能达标,并将所述测试卷积神经网络模型作为目标卷积神经网络模型。

s108、将待检测路面图像对应的三通道图像输入到所述目标卷积神经网络模型中,得到所述待检测路面图像中的路面裂缝信息。

本实施例中,将待检测路面图像对应的三通道图像输入到所述目标卷积神经网络模型中,输出所述待检测路面图像中含有裂缝标识的概率矩阵,其中,所述路面裂缝信息可以直接为所述目标卷积神经网络模型的输出即所述待检测路面图像中含有裂缝标识的概率矩阵,还可以为由所述目标卷积神经网络模型输出的所述待检测路面图像中含有裂缝标识的概率矩阵,得到标记在所述待检测路面图像中的裂缝标识。

本实施例提供的路面裂缝检测方法,将采集任何环境下的路面图像作为预设路面样本图像,对预设路面样本图像进行预处理,能够强化预设路面样本图像中含有裂缝部分,然后根据预处理后的预设路面样本图像,对优化后的卷积神经网络模型进行训练、验证和测试,得到目标卷积神经网络模型,在训练过程中对卷积神经网络模型不断地微调整,性能相对较稳定,因此,所述目标卷积神经网络模型能够适用于任何环境下的路面图像的裂缝检测,且识别率高,检测效率快。本方案能够保证裂缝的识别率,同时节约时间和资源。

图2为本申请另一实施例提供的路面裂缝检测方法的流程示意图,本实施例在图1所述实施例的基础上,本实施例对步骤s102进行了详细说明。如图2所示,所述基于伽玛矫正对所述多张预设路面样本图像进行预处理,获得所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像,包括:

s201、将伽玛值设定为小于第一预设值,对所述多张预设路面样本图像中低灰度部分对应的灰度值进行非线性变换,得到所述多张预设路面样本图像中每张预设路面样本图像对应的第一单通道图像。

本实施例中,伽马矫正可以对灰度值进行非线性变换,通过拉伸部分灰度并压缩其他部分灰度,从而进行图像矫正。伽马矫正的最明显效果就是去除部分光照的影响,将原始图像(即为预设图面样本图像或是待检测路面图像)中由于光照过强或过弱导致的图像信息不明显的部分突出出来。

具体地,第一预设值为1,当gamma值(伽马值)设定为小于1时,每张预设路面样本图像中低灰度区间被拉伸,其他部分被压缩,此时低灰度部分的纹理细节将被突出出来。其中,低灰度部分对应的灰度值为[0,100]区间的灰度值,即将伽玛值设定为小于1时,对所述多张预设路面样本图像中[0,100]区间的灰度值进行非线性变换,得到所述多张预设路面样本图像中每张预设路面样本图像对应的第一单通道图像。

s202、将伽玛值设定为大于第一预设值,对所述多张预设路面样本图像中高灰度部分对应的灰度值进行非线性变换,得到所述多张预设路面样本图像中每张预设路面样本图像对应的第二单通道图像。

本实施例中,同理,当gamma值设定为大于1时,每张预设路面样本图像中高灰度区间被拉伸,其他部分被压缩,此时高灰度部分的纹理细节会被突出。其中,高灰度部分对应的灰度值为[100,255]区间的灰度值,即将伽玛值设定为大于1时,对所述多张预设路面样本图像中[100,255]区间的灰度值进行非线性变换,得到所述多张预设路面样本图像中每张预设路面样本图像对应的第二单通道图像。

s203、将所述多张预设路面样本图像中每张预设路面样本图像作为第三单通道图像,并根据所述多张预设路面样本图像中每张预设路面样本图像对应的第一单通道图像和所述多张预设路面样本图像中每张预设路面样本图像对应的第二单通道图像,得到所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像;其中,所述多张预设路面样本图像中低灰度部分对应的灰度值小于第二预设值,所述多张预设路面样本图像中高灰度部分对应的灰度值大于第二预设值。

本实施例中,将所述多张预设路面样本图像中每张预设路面样本图像作为第三单通道图像,所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像为所述多张预设路面样本图像中每张预设路面样本图像对应的第一单通道图像、所述多张预设路面样本图像中每张预设路面样本图像对应的第二单通道图像和所述多张预设路面样本图像中每张预设路面样本图像作为第三单通道图像。通过增加输入图像的信息,即在第三单通道图像的基础上增加了第一单通道图像和第二单通道图像,从而提升识别效果。

实际应用中,基于伽玛矫正,构建预处理模型,将所述多张预设路面样本图像输入到所述预处理模型中,能够得到所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像。

具体地,a)通过设置预处理模型中gamma值大于1,拉伸所述多张预设路面样本图像中每张预设路面样本图像的灰度值较高的部分(即[100,255]区间的灰度值),使高灰度部分对比度增强,从而突出白裂缝部分与背景信息的差别。

b)通过设置预处理模型中gamma值小于1,拉伸所述多张预设路面样本图像中每张预设路面样本图像的灰度值较低的部分([0,100]区间的灰度值),使低灰度部分对比度增强,从而突出横向裂缝、纵向裂缝、网状裂缝等裂缝部分与背景信息的差别。其中,背景信息可以包括除去裂缝部分的纹理细节以及对应的灰度值。

c)将上述两步a)和b)得到的两通道图像输入到卷积神经网络中进行训练。在使用伽马矫正时,分别使用gamma值大于1和小于1两种情况分别对预设路面样本图像进行预处理。

图3为本申请又一实施例提供的路面裂缝检测方法中卷积神经网络的结构示意图,在上述实施例的基础上,例如,在图1所示实施例的基础上,本实施例对步骤s103中的卷积神经网络模型进行了详细说明。所述卷积神经网络模型,包括:卷积层、池化层和全连接层;所述卷积神经网络模型中网络结构为依次连接的多个组合层、一个卷积层和一个全连接层,所述多个组合层中每个组合层是由两个连接的卷积层连接一个池化层形成的;所述网络结构中第一个组合层中卷积层的卷积核的尺寸和第二个卷积层的卷积核的尺寸相等,且大于所述网络结构中其他卷积层的卷积核的尺寸,所述网络结构中其他卷积层中对应的组合层中卷积层的卷积核的尺寸相等,且大于与所述全连接层连接的卷积层的卷积核的尺寸;所述网络结构中池化层的核的尺寸小于所述网络结构中其他卷积层的卷积核的尺寸;所述网络结构中全连接层的尺寸是根据所述预设路面样本图像的尺寸和与所述全连接层连接的卷积层的卷积核的尺寸确定的;所述网络结构中设置有初始化的网络参数,所述网络参数包括权重和偏置。

本实施例中,所述卷积神经网络模型的网络层为卷积层、池化层和全连接层,所述卷积层的数量为第三预设值,所述池化层的数量为第四预设值,所述全连接层的数量为第五预设值,所述第三预设值大于所述第四预设值,所述第四预设值大于所述第五预设值。其中,第三预设值为11,第四预设值为5,第五预设值为1,即所述卷积神经网络模型使用11层卷积层、5层池化层以及1层全连接层的卷积神经网络对路面图像进行识别,其中,全连接层的输出为二分类,即含有裂缝标识的概率和未含有裂缝标识的概率。

具体地,参见图3,设置所述卷积神经网络模型中网络结构为依次连接的多个组合层、一个卷积层和一个全连接层即网络结构中网络层的顺序为依次经过两个卷积层、一个池化层,在所述池化层设置结束后,依次设置一个卷积层和一个全连接层,其中,所述多个组合层中每个组合层是由两个连接的卷积层连接一个池化层形成的,且组合层的个数可以为5个。设置所述网络结构中第一个卷积层的卷积核的尺寸和第二个卷积层的卷积核的尺寸大于所述网络结构中其他卷积层的卷积核的尺寸,即所述网络结构中第一个卷积层的卷积核的尺寸为5*5及对应的卷积核的数量为32,所述网络结构中第二个卷积层的卷积核的尺寸为5*5及对应的卷积核的数量为32;所述网络结构中其他卷积层的卷积核的尺寸为3*3,其中第二个组合层中对应的卷积核的数量为64,第三个组合层中对应的卷积核的数量为128,第四个组合层中对应的卷积核的数量为256,第五个组合层中对应的卷积核的数量为256;与所述全连接层连接的卷积层(即图3中最后一个卷积层)的卷积核的尺寸为1*1及对应的卷积核的数量为1。

设置所述网络结构中池化层的核的尺寸小于所述网络结构中其他卷积层的卷积核的尺寸,即网络结构中所有池化层的核的尺寸为2*2。

所述网络结构中全连接层的尺寸是根据所述预设路面样本图像的尺寸和与所述全连接层连接的卷积层的卷积核的尺寸确定的,其中,输入的三通道图像的尺寸为1088*704,经过多次卷积层和池化层后,确定所述网络结构中全连接层的尺寸,并设置在所述网络结构中,得到所述卷积神经网络模型,即全连接层的尺寸为34*22。初始化所述网络结构中每个网络层的参数,每个所述网络层的参数包括权重和偏置。

图4为本申请再一实施例提供的路面裂缝检测方法的流程示意图,在上述实施例的基础上,例如,在图3所示实施例的基础上,本实施例对步骤s103的具体实现过程进行了详细说明。如图4所示,所述训练集中的三通道图像、根据预设损失函数和预设优化算法,对所述卷积神经网络模型进行训练,包括:

s401、设置所述卷积神经网络模型的参数,所述卷积神经网络模型的参数包括学习率和训练样本的数量,所述训练样本为所述训练集中每张预设路面样本图像对应的三通道图像;

s402、根据所述训练样本的数量,从所述训练集中选取对应所述训练样本的数量的训练样本,将所述对应所述训练样本的数量的训练样本批量输入到所述卷积神经网络模型中,得到所述训练集中每个所述训练样本的预测结果;

s403、通过所述交叉熵函数和自适应矩估计优化算法,计算每个所述训练样本的预测结果和对应的含有裂缝标识的真实值之间的误差,其中,每个所述训练样本的预测结果为每个所述训练样本中含有裂缝标识的概率矩阵,所述真实值为获取多个预设路面样本图像时获得的每张预设路面样本图像中含有裂缝标识的初始概率矩阵;

s404、根据所述网络结构中每个网络层的网络参数的梯度和所述学习率、以及所述误差,通过反向传播,调整当前网络层的网络参数,并将调整后的所述当前网络层的网络参数更新为所述当前网络层的网络参数;其中,所述卷积层、池化层和全连接层均为所述网络层。

本实施例中,所述预设损失函数为交叉熵函数,该交叉熵函数可以有效计算当前预测与实际值(真实值)的差别(误差),并未反向传播中的网络参数的调节提供依据。预设优化算法为自适应矩估计优化算法adam(adaptivemomentestimation),该自适应矩估计adam优化算法能够保证每次网络参数的修改量较为平稳,自动防止网络参数变化过大,因此在训练过程中不需要手动调节学习率。为了便于卷积神经网络模型训练,且优化效果好,所述训练集中的三通道图像均含有裂缝标识。

具体地,在训练时,设置所述卷积神经网络模型的学习率为10-4和训练样本的数量为8至10张即可以为8张或9张或10张。根据所述训练样本的数量,从所述训练集中任意选取设置好的数量对应的训练样本,将所述对应所述训练样本的数量的训练样本批量输入到所述卷积神经网络模型中,即将所有训练样本根据所述训练样本的数量批量和批次的输入到所述卷积神经网络模型中,得到所述训练集中每个所述训练样本的预测结果,即含有裂缝标识的概率矩阵,再结合每个所述训练样本对应的初始概率矩阵,计算每个所述训练样本的预测结果和对应的含有裂缝标识的真实值之间的误差。根据所述网络结构中每个网络层的网络参数的梯度和所述学习率、以及所述误差,通过反向传播,调整当前网络层的网络参数,并将调整后的所述当前网络层的网络参数更新为所述当前网络层的网络参数,作为下一轮训练中使用的卷积神经网络模型的网络参数。

图5为本申请又一实施例提供的路面裂缝检测方法的流程示意图,在上述实施例的基础上,例如,在图1至4任一所示实施例的基础上,对本实施例的具体实现过程进行了详细说明。如图5所示,所述根据所述预测结果,确定停止训练包括:

s501、将所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中得到的预测结果作为当前预测结果;

s502、根据所述当前预测结果,判断所述当前预测结果是否在预设评估范围内,若所述当前预测结果在所述预设评估范围内,则将所述当前预测结果与历史预测结果进行比对,得到比对的结果;

s503、若所述比对的结果在预设目标结果范围内,则确定停止训练。

本实施例中,通过验证集对所述训练后的卷积神经网络模型进行验证,对所述训练后的卷积神经网络模型的识别效果进行评估。具体地,所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中得到的预测结果,并将预测结果作为当前预测结果,根据所述当前预测结果,判断所述当前预测结果是否在预设评估范围内,即所述验证集中每张预设路面样本图像对应的输出结果是否在[0.95,1]范围内,若所述验证集中任一张预设路面样本图像对应的输出结果在[0.95,1]范围内,则将所述当前预测结果与历史预测结果进行比对,即所述验证集对应的含有裂缝标识的概率矩阵和初始概率矩阵进行裂缝标识重合率计算,将所述裂缝标识重合率作为比对的结果。若裂缝标识重合率在预设目标结果范围内,预设目标结果范围为[0.98,1],即裂缝标识重合率不小于0.98,则说明训练后的卷积神经网络模型稳定性较好,可以停止训练。

参见图6,图6为本申请又一实施例提供的路面裂缝检测方法的流程示意图,本实施例在图4所示实施例的基础上,本实施例对步骤s106的具体实现过程进行了详细说明。如图6所示,所述根据所述测试集,对所述测试卷积神经网络模型进行测试,得到测试结果,包括:

s601、将所述测试集中的三通道图像输入到所述测试卷积神经网络模型中,得到所述测试集中每张预设路面样本图像对应的所述预测结果;

s602、根据所述测试集中每张预设路面样本图像对应的预测的结果和所述测试集中每张预设路面样本图像对应的真实值,计算所述测试集对应的裂缝标识重合率,并将所述裂缝标识重合率作为所述测试的结果。

本实施例中,测试过程与验证过程的实现原理类似,都是先得到预测结果,在得到预测结果后,判断所述预测结果是否在所述预设评估范围内,若所述当前预测结果在所述预设评估范围内,则将所述预测结果与对应的真实值进行比对,计算所述测试集对应的裂缝标识重合率,其中,所述裂缝标识重合率(比对的结果)作为所述测试的结果。不同的是测试过程中的测试集包括含有裂缝标是的预设路面样本图像和未含有裂缝标识的预设路面图像,该测试过程更趋于路面裂缝检测的实际应用中,通过该测试过程,可以有效检测所述训练后的卷积神经网络模型是否为目标卷积神经网络模型,能够保证裂缝的识别率,在后续目标卷积神经网络模型的使用过程,直接输入待检测路面图像即可输出待检测路面图像的路面裂缝信息,方便快捷,同时节约时间和资源。

本方案在路面裂缝检测的过程中,通过图像预处理和卷积神经网络模型的训练、验证以及测试,得到目标卷积神经网络模型,在训练过程中对卷积神经网络模型不断地微调整,性能相对较稳定,因此,所述目标卷积神经网络模型能够适用于任何环境下的路面图像的裂缝检测,且识别率高,检测效率快。本方案能够保证裂缝的识别率,同时节约时间和资源。

图7为本申请实施例提供的路面裂缝检测装置的结构示意图。如图7所示,该路面裂缝检测装置70包括:路面样本图像获取模块701、预处理模块702、训练模块703、验证模块704、测试卷积神经网络模型确定模块705、测试模块706、目标卷积神经网络模型确定模块707和检测裂缝模块708。其中,路面样本图像获取模块701,用于获取多张预设路面样本图像;预处理模块702,用于基于伽玛矫正对所述多张预设路面样本图像进行预处理,获得所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像,将所有预设路面样本图像对应的三通道图像划分为训练集、验证集、以及测试集;训练模块703,用于根据所述训练集中的三通道图像、预设损失函数和预设优化算法,对所述优化后的卷积神经网络模型进行训练;验证模块704,用于将所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中进行预测,得到预测结果;测试卷积神经网络模型确定模块705,用于在根据所述预测结果,确定停止训练时,将所述训练后的卷积神经网络模型作为测试卷积神经网络模型;测试模块706,用于根据所述测试集,对所述测试卷积神经网络模型进行测试,得到测试结果;目标卷积神经网络模型确定模块707,用于在所述测试结果在预设评估范围内时,将所述测试卷积神经网络模型作为目标卷积神经网络模型;检测裂缝模块708,用于将待检测路面图像对应的三通道图像输入到所述目标卷积神经网络模型中,得到所述待检测路面图像中的路面裂缝信息。

本实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。

在一种可能的设计中,所述预处理模块702,具体用于:将伽玛值设定为小于第一预设值,对所述多张预设路面样本图像中低灰度部分对应的灰度值进行非线性变换,得到所述多张预设路面样本图像中每张预设路面样本图像对应的第一单通道图像;将伽玛值设定为大于第一预设值,对所述多张预设路面样本图像中高灰度部分对应的灰度值进行非线性变换,得到所述多张预设原始图像中每张预设原始图像对应的第二单通道图像;将所述多张预设原始图像中每张预设原始图像作为第三单通道图像,并根据所述多张预设原始图像中每张预设原始图像对应的第一单通道图像和所述多张预设原始图像中每张预设原始图像对应的第二单通道图像,得到所述多张预设路面样本图像中每张预设路面样本图像对应的三通道图像;其中,所述多张预设路面样本图像中低灰度部分对应的灰度值小于第二预设值,所述多张预设路面样本图像中高灰度部分对应的灰度值大于第二预设值。

在一种可能的设计中,所述卷积神经网络模型,包括:卷积层、池化层和全连接层;所述卷积神经网络模型中网络结构为依次连接的多个组合层、一个卷积层和一个全连接层,所述多个组合层中每个组合层是由两个连接的卷积层连接一个池化层形成的;所述网络结构中第一个组合层中卷积层的卷积核的尺寸和第二个卷积层的卷积核的尺寸相等,且大于所述网络结构中其他卷积层的卷积核的尺寸,所述网络结构中其他卷积层中对应的组合层中卷积层的卷积核的尺寸相等,且大于与所述全连接层连接的卷积层的卷积核的尺寸;所述网络结构中池化层的核的尺寸小于所述网络结构中其他卷积层的卷积核的尺寸;所述网络结构中全连接层的尺寸是根据所述预设路面样本图像的尺寸和与所述全连接层连接的卷积层的卷积核的尺寸确定的;所述网络结构中设置有初始化的网络参数,所述网络参数包括权重和偏置。

在一种可能的设计中,所述训练模块703,具体用于:设置所述卷积神经网络模型的参数,所述卷积神经网络模型的参数包括学习率和训练样本的数量,所述训练样本为所述训练集中每张预设路面样本图像对应的三通道图像;根据所述训练样本的数量,从所述训练集中选取对应所述训练样本的数量的训练样本,将所述对应所述训练样本的数量的训练样本批量输入到所述卷积神经网络模型中,得到所述训练集中每个所述训练样本的预测结果;通过所述交叉熵函数和自适应矩估计优化算法,计算每个所述训练样本的预测结果和对应的含有裂缝标识的真实值之间的误差,其中,每个所述训练样本的预测结果为每个所述训练样本中含有裂缝标识的概率矩阵,所述真实值为获取多个预设路面样本图像时获得的每张预设路面样本图像中含有裂缝标识的初始概率矩阵;根据所述网络结构中每个网络层的网络参数的梯度和所述学习率、以及所述误差,通过反向传播,调整当前网络层的网络参数,并将调整后的所述当前网络层的网络参数更新为所述当前网络层的网络参数;其中,所述卷积层、池化层和全连接层均为所述网络层。

在一种可能的设计中,所述测试卷积神经网络模型确定模块705,具体用于:将所述验证集中的三通道图像输入到所述训练后的卷积神经网络模型中得到的预测结果作为当前预测结果;根据所述当前预测结果,判断所述当前预测结果是否在预设评估范围内,在所述当前预测结果在所述预设评估范围内时,将所述当前预测结果与历史预测结果进行比对,得到比对的结果;在所述比对的结果在预设目标结果范围内时,确定停止训练。

在一种可能的设计中,所述测试模块706,具体用于:将所述测试集中的三通道图像输入到所述测试卷积神经网络模型中,得到所述测试集中每张预设路面样本图像对应的所述预测结果;根据所述测试集中每张预设路面样本图像对应的预测结果和所述测试集中每张预设路面样本图像对应的真实值,计算所述测试集对应的裂缝标识重合率,并将所述裂缝标识重合率作为所述测试结果。

图8为本申请实施例提供的路面裂缝检测设备的结构示意图。如图8所示,本实施例的路面裂缝检测设备80包括:处理器801以及存储器802;其中,存储器802,用于存储计算机执行指令;处理器801,用于执行存储器存储的计算机执行指令,以实现上述实施例中接收设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上所述的路面裂缝检测方法。

在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。应理解,上述处理器可以是中央处理单元(英文:centralprocessingunit,简称:cpu),还可以是其他通用处理器、数字信号处理器(英文:digitalsignalprocessor,简称:dsp)、专用集成电路(英文:applicationspecificintegratedcircuit,简称:asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速ram存储器,也可能还包括非易失性存储nvm,例如至少一个磁盘存储器,还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。总线可以是工业标准体系结构(industrystandardarchitecture,isa)总线、外部设备互连(peripheralcomponent,pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture,eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(applicationspecificintegratedcircuits,简称:asic)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1