一种路面图像中裂缝比例检测方法及系统与流程

1.本发明涉及计算机视觉、裂缝提取技术领域，具体涉及一种路面图像中裂缝比例检测方法及系统。


背景技术：

2.路面的情况复杂多样，一般的人力检测不仅消耗严重而且时效性和可靠性都比较差，因此采用计算机自动检测公路路面裂缝的技术成为该技术领域的研究热点之一。
3.现有裂缝检测容易受到路面光照、阴影等因素的影响，且裂缝的提取通常为断续的多条曲线，这对于路面裂缝比例的检测存在很大的影响。


技术实现要素：

4.本发明的目的在于针对上述现有技术存在的缺陷，提出一种路面图像中裂缝比例检测方法及系统。
5.一种路面图像中裂缝比例检测方法，该方法包括：
6.步骤1，采集路面裂缝图像，提取路面裂缝图像中的裂缝，得到二值化路面裂缝图像；
7.步骤2，对二值化路面裂缝图像进行闭运算，得到精细二值化路面裂缝图像；
8.步骤3，基于三点布光原理在模拟器中设置三点光源，对路面裂缝图像进行打光，得到三幅突显纹理的路面裂缝图像i1、i2、i3；
9.步骤4，精细二值化路面裂缝图像作为引导图，分别对i1、i2、i3进行引导滤波，得到滤波后路面裂缝图像j1、j2、j3；
10.步骤5，基于暗通道先验与图像融合，对j1、j2、j3进行处理，得到路面裂缝灰度图像m；
11.步骤6，对路面裂缝灰度图像m依次进行二值化、图像细化以及连通域分析，得到图像n；
12.步骤7，对图像n进行顶帽运算，得到去裂缝根节点图像p；
13.步骤8，以去裂缝根节点图像p中各连通域的端点为中心构建roi，连接图像p中断裂的裂缝，得到完整裂缝图像q；
14.步骤9，对完整裂缝图像q进行膨胀操作，计算裂缝像素所占图像的比例。
15.进一步地，所述步骤5包括：
16.步骤5a，基于暗通道先验分别对j1、j2、j3进行处理，得到三张单通道图像l1、l2、l3；
17.步骤5b，对l1、l2、l3进行逐像素融合得到路面裂缝灰度图像m：
18.m(i,j)＝average(l1(i,j),l2(i,j),l3(i,j))
19.其中，average表示均值运算，(i,j)表示像素位置。
20.进一步地，所述以去裂缝根节点图像p中各连通域的端点为中心构建roi，连接图像p中断裂的裂缝包括：
21.将各连通域按照面积大小进行排序，从排序序列中依次取连通域作为待处理连通域，以待处理连通域的端点为中心，构建半径为r的roi；
22.搜索roi内是否存在其他连通域的端点，如果存在，则将距离中心端点最近的端点与中心端点连接。
23.进一步地，将距离中心端点最近的端点与中心端点连接包括：
24.步骤8a，分别对待处理连通域、距离中心端点最近的端点所在连通域内点进行采样，得到第一采样点坐标序列、第二采样点坐标序列；
25.步骤8b，将第一采样点坐标序列与第二采样点坐标序列接合，输入全连接神经网络进行分析，输出预测点坐标序列；
26.步骤8c，将中心端点、预测点坐标序列中的预测点、距离中心端点最近的端点连接。
27.进一步地，第一采样点坐标序列与第二采样点坐标序列中采样点的个数相同。
28.进一步地，所述第一采样点坐标序列、第二采样点坐标序列中采样点个数按照以下方式计算：
29.步骤a1，分别计算待处理连通域、距离中心端点最近的端点所在连通域的最小外接矩形的长宽比；
30.步骤a2，计算两个长宽比的比值ratio，第一采样点坐标序列与第二采样点坐标序列中采样点的个数比值与两个长宽比的比值相同；
31.步骤a3，将全连接神经网络的输入层数据的尺寸乘以ratio，作为第一采样点坐标序列中采样点个数，将输入层数据的尺寸减去第一采样点坐标序列中采样点个数，作为第二采样点坐标序列中采样点个数。
32.进一步地，所述计算裂缝像素所占图像的比例具体为：
[0033][0034]
其中，图像为膨胀后的完整裂缝图像q。
[0035]
一种路面图像中裂缝比例检测系统，该系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
[0036]
步骤1，采集路面裂缝图像，提取路面裂缝图像中的裂缝，得到二值化路面裂缝图像；
[0037]
步骤2，对二值化路面裂缝图像进行闭运算，得到精细二值化路面裂缝图像；
[0038]
步骤3，基于三点布光原理在模拟器中设置三点光源，对路面裂缝图像进行打光，得到三幅不同光照角度的路面裂缝图像i1、i2、i3；
[0039]
步骤4，精细二值化路面裂缝图像作为引导图，分别对i1、i2、i3进行引导滤波，得到滤波后路面裂缝图像j1、j2、j3；
[0040]
步骤5，基于暗通道先验与图像融合，对j1、j2、j3进行处理，得到路面裂缝灰度图像m；
[0041]
步骤6，对路面裂缝灰度图像m依次进行二值化、图像细化以及连通域分析，得到图像n；
[0042]
步骤7，对图像n进行顶帽运算，得到去裂缝根节点图像p；
[0043]
步骤8，以去裂缝根节点图像p中各连通域的端点为中心构建roi，连接图像p中断裂的裂缝，得到完整裂缝图像q；
[0044]
步骤9，对完整裂缝图像q进行膨胀操作，计算裂缝像素所占图像的比例。
[0045]
本发明与现有技术相比，具有以下有益效果：
[0046]
1.本发明通过三点光源打光，使得路面裂缝图像光效果主次分明，互相补充，使得后续图像处理结果更具层次感，纹理更明显；进一步结合引导滤波技术，对三幅突显纹理的图像进行滤波，使图像本身突显的纹理部分更突出，并强化了其缺少以及不明显的纹理信息；更进一步结合暗通道先验技术、图像融合技术进行处理，融合三幅图像中的关键纹理信息，提高了路面裂缝的提取精度。
[0047]
2.本发明对路面裂缝灰度图像进行二值化、图像细化、连通域分析去除图像中的噪声，进一步结合顶帽运算，去除裂缝根节点，无需判断区分断裂位置、非断裂位置，降低了裂缝连接过程的计算量。
[0048]
3.本发明通过裂缝端点roi启发式连接，对待处理连通域、距离中心端点最近的连通域进行采样点提取，结合神经网络技术输出预测点坐标，使得图像中的路面裂缝更加完整、更加顺滑、更加符合原始裂缝图像中裂缝的走向。根据待处理连通域、距离中心端点最近的连通域的长宽比设置采样点个数，能够进一步提高预测点的准确率，使裂缝连接更加符合原始裂缝走向。而且，本发明通过计算机视觉算法，使得路面裂缝的提取更加鲁棒。通过连通域面积筛选掉小的连通域，避免了噪声对提取结果的影响。
附图说明
[0049]
图1为本发明的流程图；
[0050]
图2为连通域端点示意图，附图标记1、2表示连通域端点；
[0051]
图3为预测点示意图。
具体实施方式
[0052]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0053]
本发明提供一种路面图像中裂缝比例检测方法及系统。图1为本发明的流程图。下面通过具体实施例来进行说明。
[0054]
实施例1：
[0055]
路面图像中裂缝比例检测方法：
[0056]
步骤1，采集路面裂缝图像，提取路面裂缝图像中的裂缝，得到二值化路面裂缝图像。
[0057]
首先利用数据采集设备，对路面图像进行采集，得到路面裂缝图像。对于路面裂缝图像进行路面裂缝提取，具体的方法有很多，如基于beamlet变换的路面图像裂缝检测方法、基于加权融合纹理的路面裂缝检测算法等，同样实施者也可基于dnn语义分割来提取路面裂缝，提取效果更鲁棒，但通常存在裂缝中断的状况。经过路面裂缝提取后，得到二值化路面裂缝图像。
[0058]
步骤2，对二值化路面裂缝图像进行闭运算，得到精细二值化路面裂缝图像。
[0059]
对于二值化路面裂缝图像，利用形态学操作闭运算填平小孔，弥合小裂缝，得到精细二值化路面裂缝图像。
[0060]
步骤3，基于三点布光原理在模拟器中设置三点光源，对路面裂缝图像进行打光，得到三幅突显纹理的路面裂缝图像i1、i2、i3。
[0061]
基于三点布光原理，对原图进行打光，得到三幅突显纹理的路面裂缝图像i1、i2、i3。具体的步骤可将图像导入相关软件(如maya等)或引擎中，进行模拟三点布光，根据虚拟相机位置在路面裂缝不同位置部署主体光、辅助光、轮廓光，优选地，分别开启主体光、辅助光、轮廓光，当开启某一位置布光时，其他位置的布光关闭，得到三幅突显纹理的光照化路面裂缝图像。实施者也可以将三点布光全部打开，依次关闭主体光、辅助光、轮廓光，当关闭某一位置布光时，其他位置布光开启，得到三幅突显纹理的光照化路面裂缝图像。实施者也可基于光照分布变化来对图像进行滤波处理，常见于照片的滤镜。但是，第一种优选的实施方式，不仅纹理更明显，而且三幅图像的纹理更具层次，有助于提高后续裂缝的提取精度。
[0062]
通过三点布光使得路面图像光效果主次分明，互相补充，使得图像中的裂缝具有透视感、空间感。
[0063]
进一步的利用引导滤波，对三幅突显纹理的路面裂缝图像进行处理。
[0064]
步骤4，精细二值化路面裂缝图像作为引导图，分别对i1、i2、i3进行引导滤波，得到滤波后路面裂缝图像j1、j2、j3。
[0065]
引导滤波是一种图像滤波技术，通过一张引导图，对初始输入图像进行滤波处理，使得最后的输出图像大体上与初始图像相似，但是纹理部分与引导图相似。
[0066]
此处，对于每一幅突显纹理的路面裂缝图像进行引导滤波处理，引导图为精细二值化路面裂缝图像。通过上述原理，得到三张引导滤波后的图像j1、j2、j3。
[0067]
步骤5，基于暗通道先验与图像融合，对j1、j2、j3进行处理，得到路面裂缝灰度图像m。
[0068]
对于j1、j2、j3里的每一张图像，都为三通道图像。然后此处基于暗通道先验对图像进行处理。暗通道原则的表达式如下：
[0069]
p(i，j)＝min{r(i,j),g(i,j),b(i,j)}
[0070]
其中(i,j)是指输入图像的像素位于输入图像某通道的第i行第j列，r(i,j),g(i,j),b(i,j)分别代表输入图像在位置(i,j)处的像素中r(红)，g(绿)，b(蓝)通道分量值，p(i,j)是指位置(i,j)处的输入图像的r，g，b通道中最小亮度值。
[0071]
至此，得到三张引导滤波后的图像j1、j2、j3每张图像的暗通道图像l1、l2、l3。
[0072]
进一步的对于三张暗通道图像(单通道灰度图)，进行图像融合，求平均操作。
[0073]
对l1、l2、l3进行逐像素融合得到路面裂缝灰度图像m：
[0074]
m(i,j)＝average(l1(i,j),l2(i,j),l3(i,j))
[0075]
其中，average表示均值运算，(i,j)表示像素位置。
[0076]
对于每一个相同像素位置的三张暗通道图像像素值进行求平均，最终得到一张灰度图m，该图像具有和线扫描相机得到的光照均一结果一样，能够明显地得到缺陷信息，且可以直接阈值化。
[0077]
步骤6，对路面裂缝灰度图像m依次进行二值化、图像细化以及连通域分析，得到图
像n。
[0078]
进一步的，对路面裂缝灰度图像m进行二值化处理，此处可采用otsu、kittle等阈值化算法。最终得到二值化图像m’。
[0079]
对二值化图像m’进行图像细化操作(image thinning)，使裂缝变得比较细，得到图像m”。
[0080]
m”图像中包含了许多噪点，因此需要对图像进行进一步处理，以得到更加清晰的路面裂缝结果n。本实施例采用连通域面积筛选处理，将小于阈值的噪点连通域过滤。对二值化图像m”进行连通域分析，得到图像中的每个连通域，同时将小于阈值的噪点连通域过滤，以去除很小的连通域。其中连通区域的邻接方式(4邻接、8邻接)，实施者可自由选择，效果较佳即可。连通域面积可直接通过相关接口实现，当面积小于阈值时，进行过滤，该阈值为人为经验，与图像大小也有关。
[0081]
步骤7，对图像n进行顶帽运算，得到去裂缝根节点图像p。
[0082]
对图像n进行顶帽运算，去除图像中的裂缝根节点，以减少后续计算量，并防止裂缝的误连接。裂缝的根节点即裂缝交叉点，对于顶帽运算，建议使用椭圆结构的模板来去除裂缝根节点，使得图像更加平滑。
[0083]
步骤8，以去裂缝根节点图像p中各连通域的端点为中心构建roi，连接图像p中断裂的裂缝，得到完整裂缝图像q。
[0084]
对步骤7结果中的连通域的端点进行启发式连接，以连接间断的路面裂缝。由于经过步骤7的处理，祛除了裂缝根节点，利用算法例如最小外接凸多边形容易得到图像p中的裂缝连通域的端点。将各连通域按照面积大小进行排序，依次从排序序列中取连通域作为待处理连通域，以待处理连通域的端点为中心，构建半径为r的roi；搜索roi内是否存在其他连通域的端点，如果存在，则将距离中心端点最近的端点与中心端点连接。具体的方法如下：
[0085]
1)首先求得连通域端点坐标，可通过在连通域遍历每个像素并分析其邻接的像素的值来判断，连通域端点示意图如图2所示，图中附图标记1、2为裂缝端点，是连通域的起点或终点；
[0086]
2)选取面积最大的连通域作为初始操作连通域；
[0087]
3)初始操作连通域中，将所有端点作为圆心形成一个半径为r的圆形，当其他连通域的端点位于该圆形区域时连接端点，该圆形区域称为roi区域；
[0088]
4)当该圆形区域存在连通域的多个端点时，选取距离圆心最近的端点进行连接；
[0089]
5)然后选取第二面积的连通域重复上述操作，直至所有连通域判断结束。
[0090]
需要说明的时，上述所述圆形半径r，对于512*512的图像来说，半径r的经验值为12，即12个像素长。
[0091]
众所周知，通过拟合方法得到的函数通常每个x坐标只对应1个y坐标，因此当两个连通域存在一个x坐标对应多个y坐标或一个y坐标对应多个x坐标时，拟合方法将会非常不准确，极大影响后续裂缝比例的计算。
[0092]
对于上述端点连接，分别对待处理连通域、距离中心端点最近的端点所在连通域内点进行采样，得到第一采样点坐标序列、第二采样点坐标序列；将第一采样点坐标序列与第二采样点坐标序列接合，输入全连接神经网络进行分析，输出预测点坐标序列；将中心端
点、预测点坐标序列中的预测点、距离中心端点最近的端点连接。具体方法如下：当上述3)、4)判断成功时，即可得知哪两个连通域进行端点连接，由于直接连接为直线连接，不平滑且不符合逻辑，因此此处使用全连接网络进行两端点间点坐标的预测。对于全连接方法，由于全连接网络的输入为定长，因此首先对两个连通域的点进行采样。然后采样连通域内的n个点坐标，n为超参数，本实施例选择为10个。采样的方法有很多种，如随机采样、基于特定规则的采样等，实施者可自由选择。基于特定规则的采样包括，利用最小外接矩形将连通域分块，每个分块内采样一个点。至此通过上述方法，即可得到两个连通域总共20个点坐标。然后训练全连接神经网络，该网络输入为[b,20]，输出为[b,m]，m为超参数，同样为人为设置，m决定了两个要连接的连通域端点间预测的点个数。该网络损失函数为回归型损失函数，如均方差等，标签数据同样基于人为标注，根据原始图像中断裂位置的走向标注预测点，预测点标注示意如图3所示，点的个数与m应保持一致。最终网络输出得到m个坐标，然后进行连接即可，连接的规则实施者可自由设置，这里不做约束。进一步地，为了隔离工况，降低全连接网络训练复杂度，以待处理连通域中心端点为原点，坐标轴方向仍为原始图像的坐标轴方向，构建新的坐标系，将采样点的坐标变换到新的坐标系。
[0093]
为了进一步提高预测点精度，第一采样点坐标序列、第二采样点坐标序列中采样点个数按照以下方式计算：对于每个连通域寻找最小外接矩形端点，(x
min
，y0)、(x
max
，y1)、(x0，y
min
)、(x1，y
max
)，基于四个端点构建最小外接矩形，分别计算待处理连通域、距离中心端点最近的端点所在连通域的最小外接矩形的长宽比；计算两个长宽比的比值ratio，第一采样点坐标序列与第二采样点坐标序列中采样点的个数比值与两个长宽比的比值相同；将全连接神经网络的输入层数据的尺寸乘以ratio，作为第一采样点坐标序列中采样点个数，将输入层数据的尺寸减去第一采样点坐标序列中采样点个数，作为第二采样点坐标序列中采样点个数。此外，还有一种计算方式：分别计算待处理连通域、距离中心端点最近的端点所在连通域拟合得到的曲线的极值个数，极值包括极大值、极小值；分别计算两个连通域端点的最大x轴距离，即将坐标中最大x值减去最小x值，然后计算极值个数与最大x轴距离的比值得到r1、r2，该比值表征极值在x轴方向上的密度；第一采样点坐标序列与第二采样点坐标序列中采样点的个数比值与r1/r2相同；将全连接神经网络的输入层数据的尺寸乘以r1/r2，作为第一采样点坐标序列中采样点个数，将输入层数据的尺寸减去第一采样点坐标序列中采样点个数，作为第二采样点坐标序列中采样点个数。
[0094]
通过步骤8，即可得到完整的、不间断的路面裂缝二值化图像—完整裂缝图像q，但该图像的裂缝比较细。
[0095]
步骤9，对完整裂缝图像q进行膨胀操作，计算裂缝像素所占图像的比例。
[0096]
对于图像q构建形态学结构元素，对图像q进行形态学膨胀操作，使得裂缝变得宽大，得到图像q’。
[0097]
构建形态学结构元素。一种实施例是设计形态学结构元素k，形态元结构元素的尺寸是3
×
3，具体可以采用十字结构进行膨胀操作，使得路面裂缝连接线变得较宽。
[0098]
然后计算图像q’中的裂缝比例。对于路面裂缝二值化图像q’，将代表路面裂缝的像素数量与图像的总像素数相除，其结果作为路面图像的裂缝比例。公式如下：
[0099]
[0100]
至此，即可得到每张路面图像的裂缝比例。
[0101]
实施例2：
[0102]
一种路面图像中裂缝比例检测系统，该系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
[0103]
步骤1，采集路面裂缝图像，提取路面裂缝图像中的裂缝，得到二值化路面裂缝图像；
[0104]
步骤2，对二值化路面裂缝图像进行闭运算，得到精细二值化路面裂缝图像；
[0105]
步骤3，基于三点布光原理在模拟器中设置三点光源，对路面裂缝图像进行打光，得到三幅突显纹理的路面裂缝图像i1、i2、i3；
[0106]
步骤4，精细二值化路面裂缝图像作为引导图，分别对i1、i2、i3进行引导滤波，得到滤波后路面裂缝图像j1、j2、j3；
[0107]
步骤5，基于暗通道先验与图像融合，对j1、j2、j3进行处理，得到路面裂缝灰度图像m；
[0108]
步骤6，对路面裂缝灰度图像m依次进行二值化、图像细化以及连通域分析，得到图像n；
[0109]
步骤7，对图像n进行顶帽运算，得到去裂缝根节点图像p；
[0110]
步骤8，以去裂缝根节点图像p中各连通域的端点为中心构建roi，连接图像p中断裂的裂缝，得到完整裂缝图像q；
[0111]
步骤9，对完整裂缝图像q进行膨胀操作，计算裂缝像素所占图像的比例。
[0112]
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。