路面检测的方法和装置与流程

本发明涉及智能交通技术领域，特别是涉及路面检测的方法和路面检测的装置。

背景技术：

传统的路面检测是需要专家进行人工识别，检测效率低，且耗时耗力。近年来，通过计算机进行智能道路检测得到较为广泛的推广，其通过采集路面图像数据后，基于路面图像数据进行路面情况的分析，以进行路面病害分类。然而，由于实际采集到的路面图像通常会受到路标或污垢的影响，导致计算机难以准确识别路面的真实状况，不利于后续路面病害分类。

技术实现要素：

基于此，本发明实施例提供了路面检测的方法和装置，能够提高路面检测的准确性。

本发明一方面提供路面检测的方法，包括：

提取路面图像中路标和/或污垢的位置信息；

根据所述位置信息从所述路面图像中去除路标和/或污垢，得到修复后的灰度路面图像；

按照多种尺度对所述灰度路面图像进行分割，计算所述灰度路面图像在各种尺度分割下对应的纹理稳定特征值；

根据多种尺度下的纹理稳定特征值得到所述灰度路面图像的特征向量，通过所述特征向量检测路面状况。

本发明另一方面提供一种路面检测的装置，包括：

位置检测模块，用于提取路面图像中路标和/或污垢的位置信息；

图像修复模块，用于根据所述位置信息从所述路面图像中去除路标和/或污垢，得到修复后的灰度路面图像；

分割计算模块，用于按照多种尺度对所述灰度路面图像进行分割，计算所述灰度路面图像在各种尺度分割下对应的纹理稳定特征值；

检测模块，用于根据多种尺度下的纹理稳定特征值得到所述灰度路面图像的特征向量，通过所述特征向量检测路面状况。

基于上述实施例提供的路面检测的方法和装置，通过提取路面图像中路标和/或污垢的位置信息；根据所述位置信息从所述路面图像中去除路标和/或污垢，得到修复后的灰度路面图像；按照多种尺度对所述灰度路面图像进行分割，计算所述灰度路面图像在各种尺度分割下对应的纹理稳定特征值；根据多种尺度下的纹理稳定特征值得到所述灰度路面图像的特征向量，通过所述特征向量检测路面状况。由此可消除路标和/或污垢对路面检测结果的影响，提高路面状况检测的准确度。

附图说明

图1为一实施例的路面检测的方法的示意性流程图；

图2为另一实施例的路面检测的方法的示意性流程图；

图3为一实施例中所采用的神经网络的结构示意图；

图4为一实施例的路面检测的装置的示意性结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一实施例的路面检测的方法的示意性流程图；如图1所示，本实施例中的路面检测的方法包括步骤：

S11，提取路面图像中路标和/或污垢的位置信息。

如图2所示的路面图像，路面有路标和污垢，传统通过计算机检测路面的方法无法对路标、污垢与路面进行区分，因此导致路面检测结果不准确。通常情况下路标、污垢与路面的本来颜色不同，因此对应的像素点也不同，可通过灰度化、二值化等处理路面图像识别出路标和/或污垢，进而提取路标和/或污垢位置信息。

在一实施例中，可预先对原始的路面图像进行灰度化处理，然后结合自适应阈值二值化法和固定阈值二值化法从灰度化处理后的路面图像中提取路标和/或污垢的位置信息。

其中，将彩色图像转化成为灰度图像的过程即为图像的灰度化处理。彩色图像中的每个像素的颜色有R、G、B三个分量决定，而每个分量有255中值可取，这样一个像素点可以有1600多万(255*255*255)的颜色的变化范围。而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，其一个像素点的变化范围为255种，所以在数字图像处理中将图像转变成灰度图像可使后续的图像计算量变得少一些。灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。对原始路面图像作灰度化处理可采用任意可行方法实现，例如求出每个像素点的R、G、B三个分量的平均值，然后将这个平均值赋予给这个像素的三个分量，得到灰度化处理后的路面图像。或者根据YUV的颜色空间中，Y的分量的物理意义是点的亮度，由该值反映亮度等级，根据RGB和YUV颜色空间的变化关系可建立亮度Y与R、G、B三个颜色分量的对应：Y＝0.3R+0.59G+0.11B，以这个亮度值表达图像的灰度值，得到灰度化处理后的路面图像。

其中，图像二值化是将灰度化处理后的图像中的各个像素点的灰度值进一步设置为0或255，也就是将整个图像呈现出黑白效果。通过选取适当的阈值得到的二值化图像，仍然可以反映路面图像整体和局部特征。固定阈值二值化法指的是，通过同一阈值对灰度图像进行二值化，所有灰度大于或等于设定阈值的像素点被判定为属于特定物体，将其灰度值设置为255，否则这些像素点被排除在物体区域以外，将其灰度值设置为0，表示背景或者例外的物体区域。自适应阈值二值化法是一种根据图片的灰度直方图得到一个适合当前图像的二值化阈值；例如最大类间方差法(大津法，OTSU)，它是按图像的灰度特性，将图像分成背景和目标两部分；背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大；当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小，因此使类间方差最大的分割意味着错分概率最小。

S12，根据所述位置信息从所述路面图像中去除路标和/或污垢，得到修复后的灰度路面图像。

在一实施例中，可根据路标和/或污垢所在位置的周边像素点来填补路标和/或污垢，直到将所有路标和/或污垢去除，得到修复后的灰度路面图像，相当于没有路标和/或污垢的路面图像。

S13，按照多种尺度对所述灰度路面图像进行分割，计算所述灰度路面图像在各种尺度分割下对应的纹理稳定特征值。

S14，根据多种尺度下的纹理稳定特征值得到所述灰度路面图像的特征向量，通过所述特征向量检测路面状况。

一般情况下，完好路面的路面图像无论按照多大的尺度分割，分割得到的子图像在不同尺度下的结构相似度方差均会比较稳定。而对于有病害的路面图像来说，其在不同尺度分割下得到的子图像的结构相似度方差会存在浮动。因此利用完好路面图像在多尺度分割下纹理稳定的特点，通过计算灰度路面图像在各种尺度分割下对应的纹理稳定特征值，可检测路面是否存在病害。该方案能适用于不同材质的路面(沥青、水泥或混凝土)，鲁棒性好，准确率高，实用性强。

如图2所示，下面通过另一实施例对本发明的路面检测的方法进行进一步的说明。

S201，获取路面图像，对路面图像进行灰度化处理；

S202，对灰度化处理后的图像分别进行OTSU二值化处理和直方图均衡化处理。

S203，检测OTSU二值化处理后的图像中白点面积与图像总面积的比值是否大于第一设定比例，若是，执行下一步骤，若否，根据OTSU二值化处理后的图像提取路标和/或污垢的位置信息，执行步骤S205。

在一实施例中，所述第一设定比例设定为1/3，即检测OTSU二值化处理后的图像中白点面积与图像总面积的比值是否大于1/3，若是，执行下一步骤，若否，根据OTSU二值化处理后的图像提取路标和/或污垢的位置信息，执行步骤S205。

S204，采用预设阈值对直方图均衡化处理后的图像进行固定阈值二值化处理，并根据固定阈值二值化处理后的图像提取路标和/或污垢的位置信息。

在一实施例中，所述固定阈值设定为230，用固定阈值230对直方图均衡化处理后的图像进行固定阈值二值化处理。当然，根据实际情况，所述固定阈值还可设定为其他值。

S205，根据所述位置信息周边的像素点填补路标和/或污垢，直到将所有路标和/或污垢去除，得到修复后的灰度路面图像。

S206，获取预设的初始分割尺度n₀，作为当前的分割尺度n＝n₀。

S207，将所述灰度路面图像分割为若干个n×n大小的子图像。

S208，分别计算每个子图像的灰度共生矩阵，并计算各子图像的灰度共生矩阵与其四邻域子图像的灰度共生矩阵的结构相似度.

由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两象素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。共生矩阵用两个位置的象素的联合概率密度来定义，它不仅反映亮度的分布特性，也反映具有同样亮度或接近亮度的象素之间的位置分布特性，是有关图象亮度变化的二阶统计特征；是定义一组纹理特征的基础。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的常用方法。灰度共生矩阵是对图像上保持某距离的两象素分别具有某灰度的状况进行统计得到的。取图像(N×N)中任意一点(x，y)及偏离它的另一点(x+a，y+b)，设该点对的灰度值为(g1，g2)。令点(x，y)在整个画面上移动，则会得到各种(g1，g2)值，设灰度值的级数为r，则(g1，g2)的组合共有r×r种。对于整个画面，统计出每一种(g1，g2)值出现的次数，然后排列成一个方阵，再用(g1，g2)出现的总次数将它们归一化为出现的概率P(g1，g2)，这样的方阵称为灰度共生矩阵。

在一实施例中，用SSIM(Structural Similarity，结构相似性)算法计算这些子图像的灰度共生矩阵与其四邻域子图像的灰度共生矩阵的结构相似度。结构相似性是用以衡量两张数位图像相似程度的指标，当两张图像其中一张为无失真图像，另一张为失真后的图像，二者的结构相似性可以看成是失真图像的图像品质衡量指标。相较于传统所使用的图像品质衡量指标，结构相似性在图像品质的衡量上更能符合人眼对图像品质的判断。

S209，计算所有子图像的所述结构相似度的方差，得到所述灰度路面图像在当前尺度n分割下的纹理稳定特征值.

S210，判断当前尺度n与所述灰度路面图像的图像高度的比值是否大于等于第二设定比例；若否，按照设定步长d对当前尺度n进行更新，使得n＝n+d，返回步骤S206，计算所述灰度路面图像在新的尺度分割下对应的纹理稳定特征值。若是，执行下一步骤。

S211，获取每次分割得到的纹理稳定特征值，得到所述灰度路面图像的特征向量.

根据当前尺度n可得到分割次数为k＝n/d，因此获取k个纹理稳定特征值，用所述k个纹理稳定特征值得到所述灰度路面图像的特征向量.

在一实施例中，若所述灰度路面图像的高度为100，初始分割尺度n₀＝10，设定步长d＝10(假设三者的单位相同)，所述第二设定比例为1/2。则先将灰度路面图像分割成若干个10×10大小的子图像，计算每个子图像的灰度共生矩阵，然后用SSIM算法计算这些子图像的灰度共生矩阵，以及与其四邻域子图像的灰度共生矩阵的结构相似度，最后计算所有子图像的结构相似度的方差，用该方差值来判断该灰度路面图像纹理的稳定程度，称为纹理稳定特征值。由于当前分割尺度n与所述灰度路面图像的图像高度的比值是小于1/2，因此更新n＝n+d＝10+10＝20。接着将所述灰度路面图像分割成20×20大小的子图像，计算所述灰度路面图像在该尺度分割下的纹理稳定特征值。以此类推，将图像分割成n×n大小的子图像(直到n>＝50)，计算此时的图像纹理稳定特征值。然后将这k＝50/10＝5个纹理稳定特征值作为该灰度路面图像的纹理稳定特征向量。

S212，将所述特征向量输入预选训练好的神经网络，根据所述神经网络的输出结果得出路面状况检测结果。

在一实施例中，如图3所示，所述神经网络包括输入层、隐层和输出层。输入层的神经元的数量等于所述纹理稳定特征向量中元素的数量，隐层有3个神经元，输出层有1个神经元，通过所述神经网络输出的检测结果可为路面是否有病害或者病害的程度值。可以理解的是，根据实际检测目标，所述神经网络的隐层和输出层还可选择其他结构形式。

在一实施例中，为了保证检测的准确性，还包括预先对神经网络进行训练的步骤。例如：用多个样本图像的纹理稳定特征向量及其样本图像的已知路面状况作为训练样本对神经网络进行训练，直到训练结果满足预设的条件，即神经网络输出的结果与其输入样本对应的已知结果之间的误差在设定范围内。将待检测的路面图像对应的特征向量输入训练好的神经网络，通过所述神经网络可学习出当前路面图像的路面状况，检测的准确性高。

在一实施例中，所述神经网络可为BP(BackPropagation)神经网络，还可用RBF(Radical Basis Function)神经网络，或者其他神经网络。BP神经网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。RBF神经网络即径向基函数神经网络，是一种高效的前馈式神经网络，RBF神经网络为单隐层的三层拓扑结构，它具有最佳逼近性能和全局最优特性，并且结构简单，训练速度快。

上述实施例的路面检测的方法，结合OTSU的二值化法和固定阈值二值化法能准确提取路标和/或污垢位置，进一步的去除路标和/或污垢，为路面检测提供有效的检测基础；并且利用完好路面图像在多尺度分割下纹理依旧稳定的特点，通过神经网络来进行路面好坏的判断，符合人眼判断路面图像好坏的机制，适用于不同材质的路面(沥青、水泥或混凝土)，鲁棒性好，准确率高，实用性强。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。此外，还可对上述实施例进行任意组合，得到其他的实施例。

基于与上述实施例中的路面检测的方法相同的思想，本发明还提供路面检测的装置，该装置可用于执行上述路面检测的方法。为了便于说明，路面检测的装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

图4为本发明一实施例的路面检测的装置的示意性结构图；如图4所示，本实施例的路面检测的装置包括：位置检测模块310、图像修复模块320、分割计算模块330以及检测模块340，各模块详述如下：

所述位置检测模块310，用于提取路面图像中路标和/或污垢的位置信息。

在一实施例中所述位置检测模块310，用于对路面图像进行灰度化处理，结合自适应阈值二值化法和固定阈值二值化法从灰度化处理后的路面图像中提取路标和/或污垢的位置信息.

所述图像修复模块320，用于根据所述位置信息从所述路面图像中去除路标和/或污垢，得到修复后的灰度路面图像。

在一实施例中所述图像修复模块320，用于根据所述位置信息周边的像素点填补路标和/或污垢，直到将所有路标和/或污垢去除，得到修复后的灰度路面图像。

所述分割计算模块330，用于按照多种尺度对所述灰度路面图像进行分割，计算所述灰度路面图像在各种尺度分割下对应的纹理稳定特征值。

在一实施例中所述分割计算模块330，用于若当前分割尺度为n，将所述灰度路面图像分割为若干个n×n大小的子图像；分别计算每个子图像的灰度共生矩阵，并计算各子图像的灰度共生矩阵与其四邻域子图像的灰度共生矩阵的结构相似度；计算所有子图像的所述结构相似度的方差，得到所述灰度路面图像在分割当前尺度n下的纹理稳定特征值。

所述检测模块340，用于根据多种尺度下的纹理稳定特征值得到所述灰度路面图像的特征向量，通过所述特征向量检测路面状况。

在一实施例中所述检测模块340，用于将所述特征向量输入预选训练好的神经网络，根据所述神经网络的输出结果得出路面状况检测结果。

需要说明的是，上述示例的路面检测的装置的实施方式中，各模块之间的信息交互、执行过程等内容，由于与本发明前述方法实施例基于同一构思，其带来的技术效果与本发明前述方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

此外，上述示例的路面检测的装置的实施方式中，各功能模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的功能模块完成，即将所述路面检测的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。其中各功能模既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，作为独立的产品销售或使用。所述程序在执行时，可执行如上述各方法的实施例的全部或部分步骤。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上所述实施例仅表达了本发明的几种实施方式，不能理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。