一种基于多尺度图像信息融合的机场跑道裂缝检测方法与流程

本发明属于图像处理技术领域，特别是涉及一种基于多尺度图像信息融合的机场跑道裂缝检测方法。

背景技术：

目前，绝大多数机场仍采用传统人工观测的方式定期对跑道裂缝进行检测。然而，基于人工方式的跑道裂缝检测存在以下问题：1)检测精度受观测者经验影响且容易出现错误；2)缺乏统一精确的检测标准，因此检测结果很难重复；3)无法保证观测范围覆盖全部机场跑道；4)非常耗时，且是一项劳动密集型工作。因此，急需自动化的机场跑道裂缝检测方法。

与机场跑道裂缝检测类似，路面及桥面的裂缝检测已经被学者和工业界关注多年。早期，灰度阈值方法和边缘检测方法常被用于进行裂缝检测。然而，这两类方法对于环境噪声敏感，无法用于具有高杂波及低对比度的图像中。近年来，机器学习方法，如支持向量机、随机森林、神经网络等被用于裂缝检测中。在这类算法中，路面图像通常被分为若干个子区域，每个子区域通过不同特征的向量进行描述，然后子区域图像被用于学习和训练以区分裂缝和非裂缝。然而，由于学习和训练是以局部算法在每个子区域内进行，所以此类算法存在无法完整寻找裂缝区域的问题。此外，机器学习算法不可避免地要提前进行模型的学习与训练，环境适应性较差。近年来，有学者提出了基于最小路径的裂缝检测方法，此类方法首先提取部分裂缝像素点，然后通过在每对裂缝像素点之间寻找灰度值最小的路径来检测裂缝。基于最小路径的裂缝检测方法中具有代表性的是amhaz于2016年提出的基于最小路径选择的方法，该方法是通过在局部寻找裂缝端点，然后在全局寻找端点间最小路径的方法，可有效避免因环路而出现的错误检测，但该方法也存在诸如参数选择困难、计算复杂度高、易受图像中的油污等噪声干扰等问题。基于多尺度图像的特征提取因其能够克服大尺度图像特征检测定位不准确以及小尺度图像特征检测对噪声敏感等问题而逐渐受到重视。小波变换、粒子滤波等方法也被用于多尺度的裂缝检测。然而，这类方法最大的问题在于如何为不同的裂缝选择合适的尺度，或者如何融合不同尺度空间的检测结果。现有方法基本采取接受所有尺度下的检测结果或者只保留大尺度空间中检测结果的策略，并未充分利用不同尺度下的裂缝特征信息，因而检测的准确性和鲁棒性不高。

技术实现要素：

为了解决上述问题，本发明的目的在于提供一种在准确地检测每一尺度下图像中的裂缝特征的同时，能够有效地融合不同尺度下的检测结果，并且运算简单、鲁棒性强的机场跑道裂缝检测方法。

为了达到上述目的，本发明提供的基于多尺度图像信息融合的机场跑道裂缝检测方法包括按顺序进行的下列步骤：

(1)对机场跑道原始图像进行变换，生成多尺度图像序列；

(2)依次对上述多尺度图像序列中每一尺度下的图像提取裂缝特征；

(3)对不同尺度下提取的裂缝特征进行匹配；

(4)通过定义裂缝响应度量函数，并对上述已匹配的裂缝特征计算各自的响应值，完成对已匹配的裂缝特征的选择，从而实现裂缝特征的优化提取。

在步骤(1)中，所述的对机场跑道原始图像进行变换，生成多尺度图像序列的方法是：通过对机场跑道原始图像与一变尺度的高斯核函数进行卷积运算，获取不同尺度下的一系列新图像。

在步骤(2)中，所述的依次对上述多尺度图像序列中每一尺度下的图像提取裂缝特征的方法包括按顺序进行的下列步骤：1)提取裂缝特征种子像素点；2)利用dbscan算法对提取的种子像素点进行过滤和聚类；3)对相邻的种子像素点通过灰度值最小路径进行连接；4)通过计算灰度值最小路径的平均灰度值，对步骤3)中生成的灰度值最小路径进行阈值过滤；5)基于灰度值最小路径生长的裂缝区域检测；6)通过定义并计算裂缝区域间的距离，对生成的裂缝区域进行分组，每一个裂缝区域分组称为一条裂缝；7)删除所包含像素点过少的裂缝。

在步骤(3)中，所述的对不同尺度下提取的裂缝特征进行匹配的方法是：首先将不同尺度下提取的裂缝投影到同一图像平面；然后定义任一像素点到另一尺度下任一条裂缝的距离为：该像素点到裂缝中最近的像素点的距离；最后计算任一条裂缝中所有像素点到另一裂缝的距离，保留距离小于某一设定阈值td的像素点作为匹配的点，将两条裂缝中所有匹配点的集合作为匹配的裂缝特征，阈值td的选择根据经验和实验设定为4。

在步骤(4)中，所述的定义裂缝响应度量函数，并对上述已匹配的裂缝特征计算各自的响应值，完成对已匹配的裂缝特征的选择，从而实现裂缝特征的优化提取的方法是：首先，对于任意像素点xj，定义以该像素点xj为中心的加权高斯概率分布函数其中权值wj＝1-nl(xj)/n，nl(xj)表示灰度值小于像素点xj灰度值的像素点个数，n为图像中像素点的总数；然后，定义函数score(xi)，用于描述任意像素点xi为裂缝像素点的可能性，且有其中，ne(xi)为以像素点xi为中心的4×4矩形邻域；最后，计算所有尺度下每一条裂缝的响应值，裂缝cm的响应值为其中n(cm)为裂缝cm中像素点的总数；对于每一组匹配的裂缝特征，选择响应值最大的裂缝，如果该裂缝的响应值大于某一设定的阈值tr，则将该裂缝加入最终检测结果；阈值tr通过如下方式选取：tr＝rn+(rc-rn)/λ，其中rc和rn分别表示全部裂缝像素点和非裂缝像素点的响应值，λ为一个大于等于1的调节系数，根据经验选择λ＝2。

本发明提供的基于多尺度图像信息融合的机场跑道裂缝检测方法是首先生成多尺度图像序列，然后提取每一尺度下图像中的裂缝特征，之后对不同尺度下的裂缝特征进行匹配，最后定义了裂缝响应度量函数，通过对匹配的裂缝特征计算各自的响应值，完成对匹配的裂缝特征的选择，从而实现裂缝特征的优化提取。

本发明与现有技术相比，具有以下优点：①有效融合了多尺度图像信息，克服了大尺度图像特征检测定位不准确以及小尺度图像特征检测对噪声敏感等问题，裂缝特征检测的准确性更高，鲁棒性更强。②适用于多种图像特征的多尺度融合，应用范围扩大且计算简单。③准确性较高且计算简单。④不需要进行学习和训练。

附图说明

图1为本发明提供的基于多尺度图像信息融合的机场跑道裂缝检测方法流程图。

图2为本发明提供的单尺度图像中裂缝检测方法示意图。

图3为在aiglern数据集上的实验统计结果。

图4为aiglern数据集上部分图像的实验结果示例。

图5为机场跑道数据集上部分图像的实验结果示例。

具体实施方式

下面参照附图和具体实施例对本发明提供的基于多尺度图像信息融合的机场跑道裂缝检测方法进行详细说明。

如图1所示，本发明提供的基于多尺度图像信息融合的机场跑道裂缝检测方法包括按顺序进行的下列步骤：

(1)对机场跑道原始图像进行变换，生成多尺度图像序列；

对于如图2(a)所示的机场跑道原始图像i(u,v)，通过变尺度高斯核函数g(u,v,σ)生成多尺度图像序列：

l(u,v,σ)＝g(u,v,σ)*i(u,v)(1)

其中，符号*表示卷积运算符，σ为尺度因子，g(u,v,σ)的定义为：

通过取不同的尺度因子σ，可以生成多尺度图像序列。

(2)依次对上述多尺度图像序列中每一尺度下的图像提取裂缝特征；

具体步骤如图2所示：

1)提取裂缝特征种子像素点，如图2(b)所示。首先，将整幅图像划分成大小为8×8像素的子区域，取每个子区域中灰度值最小的像素点作为候选种子像素点。对于每个候选种子像素点si，如果其满足式(3)中的条件，则该候选种子像素点si被确认为种子像素点。

其中，nl(si)表示灰度值小于候选种子像素点si的像素点个数，n为图像中像素点的总数，ps为一阈值，根据实验及经验，阈值ps的取值为0.2％。

2)利用dbscan算法对上述提取出的种子像素点进行过滤和聚类；

dbscan算法可以根据种子像素点的位置，将全部种子像素点聚类为若干组，不属于任何分组的种子像素点被删除。如图2(c)所示。

3)对相邻的种子像素点通过灰度值最小路径进行连接，如图2(d)所示。当同时满足以下两个条件时，两个种子像素点之间需要通过灰度值最小路径进行连接。①两个种子像素点属于同一分组；②两个种子像素点间的距离小于设定的阈值tp。根据实验及经验，阈值tp取值范围为8至32。

连接两个种子像素点si和sj的方法为：定义pij为要计算的连接种子像素点si与sj的灰度值最小路径，wij为以种子像素点si和sj为对角线顶点的矩形区域中像素点的集合，灰度值最小路径pij可以通过最小化式(4)中的代价函数得到：

其中，c(pij)为灰度值最小路径pij上所有像素点灰度值的和，x为灰度值最小路径pij上的像素点，i(x)表示像素点x的灰度值。通过dijkstra算法对式(4)中的优化问题进行求解，从而获得相邻种子像素点间的灰度值最小路径。

4)通过计算灰度值最小路径的平均灰度值，对步骤3)中生成的灰度值最小路径pij进行阈值过滤,如图2(e)所示。灰度值最小路径pij的平均灰度值m(pij)为：

其中，l(pij)为灰度值最小路径pij上像素点的总数。

如果满足m(pij)≤tm，灰度值最小路径pij将被保留，否则被删除。阈值tm通过如下方法确定：

其中，nl(x)表示灰度值小于像素点x灰度值的像素点个数，n为图像中像素点的总数，pv为一阈值，根据实验及经验，阈值pv取值为1％。

5)基于路径生长的裂缝区域检测，如图2(f)所示。以步骤4)得到的灰度值最小路径中的各像素点为起点，寻找其邻域内的非裂缝像素，如果非裂缝像素的灰度值小于阈值tb，则将其标记为裂缝像素。迭代上述过程，直至没有新的非裂缝像素被标记为裂缝像素。此步骤中，像素点的邻域是指以该像素点为中心的4×4的矩形区域。阈值tg通过如下方法确定：

其中，nl(x)及n的定义与式(6)相同，pg为一阈值，根据实验及经验，阈值pg的取值为2％。

6)通过定义并计算裂缝区域间的距离，对生成的裂缝区域进行分组，每一个裂缝区域分组称为一条裂缝，如图2(g)所示。定义ri和rj为两个由步骤5)得到的裂缝区域的像素点集合，则像素点集合ri和rj之间的距离dij定义为：

其中，xa和xb分别为像素点集合ri和rj中的像素点，||xa-xb||表示像素点xa和xb之间的几何距离。

如果dij≤tg，则将像素点集合ri和rj标记为同一组。tg为一阈值，根据实验及经验，阈值tg的取值范围为32至64。

7)删除所包含像素点过少的裂缝，如图2(h)所示。对于步骤6)中提取的裂缝区域分组，如果一组裂缝中包含的像素点的总数小于阈值tr，则将该裂缝删除。根据实验及经验，阈值tr的取值为64。

(3)对不同尺度下提取的裂缝特征进行匹配；

首先，将步骤(2)提取的位于不同尺度图像中的裂缝投影到同一图像坐标系中。因为步骤(1)生成的不同尺度的图像具有相同的图像坐标系，所以在投影过程中，所有裂缝中像素点的坐标均不改变。然后，提取裂缝特征的重叠部分作为不同尺度图像间匹配的裂缝。考虑到步骤(2)中裂缝特征检测存在误差，因此，在计算裂缝特征重叠部分时允许有一定的误差，即如果两个像素点之间的距离小于阈值td，则认为这两个像素点重合。下面给出像素点xi到裂缝特征的距离：

其中，为从尺度因子为σ的图像中提取的第m条个裂缝，是一个裂缝像素点的集合。

对于位于尺度因子分别为σa和σb的图像中的裂缝和定义初始时，然后，对于裂缝中的每一个像素点如果满足则将像素点xi加入到集合中。同理，对于裂缝中的每一个像素点如果满足则将像素点xj加入到集合中。如此，便可获得裂缝和的匹配子集和记作对于不同尺度图像中的全部裂缝特征执行上述步骤，即可获得不同尺度下裂缝特征的匹配结果。

(4)通过定义裂缝响应度量函数，并对上述已匹配的裂缝特征计算各自的响应值，完成对已匹配的裂缝特征的选择，从而实现裂缝特征的优化提取；

首先，对于任意像素点xj，定义以该像素点xj为中心的加权高斯概率分布函数gj，

式(10)中权值wj＝1-nl(xj)/n，其中nl(xj)表示灰度值小于像素点xj灰度值的像素点个数，n为图像中像素点的总数。

然后，定义函数score(xi)，用于描述任意像素点xi为裂缝像素点的可能性，有：

其中，ne(xi)为以像素点xi为中心的4×4矩形邻域。

最后，计算所有尺度下每一条裂缝的响应值，裂缝cm的响应值为：

其中n(cm)为裂缝cm中像素点的总数。

对于每一组匹配的裂缝特征，选择响应值最大的裂缝，如果该裂缝的响应值大于某一设定的阈值tr，则将该裂缝加入最终检测结果。阈值tr可通过如下方式选取：

tr＝rn+(rc-rn)/λ(13)

其中rc和rn分别表示全部裂缝像素点和非裂缝像素点的响应值，λ为一个大于等于1的调节系数，实验中，根据经验选择λ＝2。本发明提供的基于多尺度图像信息融合的机场跑道裂缝检测方法的效果可以通过以下实验结果进一步说明。实验数据描述：实验数据采用amhaz等于2016年在论文“automaticcrackdetectionontwo-dimensionalpavementimages:analgorithmbasedonminimalpathselection,ieeetransactionsonintelligenttransportationsystem”中公开的数据集aiglern。aiglern数据集共包含38张路面图片，其中包含了诸如阴影、油污和水渍等各类噪声，数据集中提供了由人工方式标注的裂缝真实值。

评测指标描述：为了定量化地评价本发明所提出的方法，采用以下三个评测指标：precision(精确率)、recall(召回率)、f1-measure(f值)，各指标定义如下：

其中，tp(truepositive)表示被标记为裂缝的像素点中为真实裂缝像素点的数量，fp(falsepositive)表示将非裂缝像素点标记为裂缝像素点的数量，fn(falsenegative)表示将裂缝像素点标记为非裂缝像素点的数量。实验中，考虑到数据集中人工标注裂缝可能存在的误差，在计算tp时，如果检测到的裂缝像素点与真实值之间相差2个像素以内，则认为该检测为正确检测，这一设定与作者amhaz在论文中的处理方法一致。

对比方法描述：将本发明提供的方法与以下五种方法进行对比：

1)canny边缘检测。一种经典的边缘检测算法，参考文献见：j.canny,“acomputationalapproachtoedgedetection”,ieeetransactiononpatternanalysisandmachineintelligence,no.6,pp.679-698,1986.

2)ms算法。一种基于马尔科夫分割的裂缝提取算法，参考文献见：s.chambon,andj.m.moliard,“automaticroadpavementassessmentwithimageprocessing:reviewandcomparison,”internationaljournalofgeophysics,vol.2011,pp.1-20,2011.

3)gc算法。一种基于自相关自动选择兴趣点的裂缝轮廓检测算法，参考文献见：s.chambon,“detectionofpointsofinterestforgeodesiccontours:applicationonroadimageforcrackdetection,”inproceedingsofinternationalconferenceoncomputingvisapp,2011,pp.1-4.

4)ffa算法。一种基于最小路径的裂缝检测算法，参考文献见：t.s.nguyen,s.begot,etal,“free-formanisotropy:anewmethodforcrackdetectiononpavementsurfaceimages,”inproceedingsofinternationalconferenceonimageprocessing,2011,pp.1069-1072.

5)mps算法。一种基于最小路径选择的裂缝检测算法，参考文献见：r.amhaz,s.chambon,j.idier,andv.baltazart,“automaticcrackdetectionontwo-dimensionalpavementimages:analgorithmbasedonminimalpathselection,”ieeetransactionsonintelligenttransportationsystem,vol.17,no.10,pp.2718-2729,2016.

此外，为了说明本发明多尺度图像融合的必要性，对比了本发明裂缝检测方法(命名为sicd)和本发明步骤(2)中只针对单尺度图像的裂缝检测方法(命名为sscd)。

实验结果与结论：实验结果统计如图3所示。部分数据的实验结果如图4所示，其中第1列至第9列分别为：原始图像、裂缝真实值、canny检测结果、ms检测结果、gc检测结果、ffa检测结果、mps检测结果、sscd检测结果、sicd检测结果(本发明方法)。从图中可以看出，由于过于灵敏，canny算法不适合裂缝检测应用；ms方法由于对图像纹理敏感而提取了很多错误裂缝，从而导致fp值很大；gc方法仅能够提取部分裂缝特征；ffa方法提取的裂缝都是较宽的带状，将非裂缝像素点标记为裂缝像素点的情况比较严重；mps方法在处理噪声干扰较大的图像时，fp和fn都较大；而本发明方法(sicd)的裂缝提取结果明显优于上述方法，且与本发明方法(sscd)相比结果也更优，表明本发明方法能够提高性能。

除了对于aiglern数据集进行实验外，为了说明本发明方法对于机场跑道环境的有效性，采集了真实的机场跑道图像数据集，其中包含了50张机场跑道的原始图像。部分原始图像的实验结果如图5所示，其中第1行为原始图像，第2行为对应的裂缝检测结果。通过人工观察比对，本发明方法能够准确、鲁棒地检测和标注机场跑道裂缝。