基于红外和可见光图像数据融合的机场道面裂缝检测方法与流程

本发明属于无损检测技术领域，尤其是涉及一种基于红外和可见光图像数据融合的机场道面裂缝检测方法。

背景技术：

机场跑道的养护工作对于飞机的飞行安全至关重要，由于航班频次的增加和自然环境的破坏，许多机场跑道道面出现了不同程度的破损现象，从而造成重大安全隐患，而裂缝是机场跑道道面的主要缺陷。因此，机场跑道道面的裂缝检测技术日益受到重视。

目前，随着视觉传感器技术和模式识别等相关技术的迅速发展，一些学者开始关注基于计算机视觉的裂缝检测技术。然而已有的绝大多数研究均是针对公路或桥梁开展的，且其相关研究大多是基于可见光传感器的，虽然已经取得了一些成果，但是此类研究对光照条件依赖度较高，且无法彻底解决复杂环境中的鲁棒性问题。此外，由于飞机频繁起降等原因在机场跑道道面上产生了明显的油污、橡胶残留痕迹等，且因机场跑道道面材质原因致使裂缝与背景间对比度很低，加之只能在夜间停航期间在人造光源条件下进行数据采集所带来的光照条件差、图像对比度低等诸多问题，以上原因均使得仅基于可见光传感器的道面裂缝检测算法的实际机场跑道道面裂缝检测结果的精确度较低。近年来，开始有学者使用红外传感器进行缺陷检测，但此类研究主要针对材料表面的缺陷检测应用中，如钢轨缺陷检测、金属物体表面的裂缝检测、管道裂缝检测等，而针对道路、机场跑道道面此类热成像信号信噪比低的复杂场景中的应用较少。而目前基于红外和可见光数据融合的研究虽然也较多，但大多都主要应用于公共安全检查、军事领域、导航辅助设备、监控或搜救等方面，但并没有涉及到基于红外和可见光数据融合的机场跑道道面裂缝检测。因此，根据不同传感器的特点和融合的应用，研究针对机场跑道道面裂缝检测的融合算法，从而及早发现裂缝并进行维护，可及时避免机场跑道道面裂缝的进一步发展。但目前尚缺少有效的方法。

技术实现要素：

为了解决上述问题，本发明的目的在于提供一种基于红外和可见光图像数据融合的机场道面裂缝检测方法。

为了达到上述目的，本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法包括按顺序进行的下列步骤：

1)将分别利用红外热成像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准；

2)分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；

3)建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；

4)融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；

5)对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果。

在步骤1)中，所述的将分别利用红外热像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准的方法是：

首先通过传感器标定方法获得红外热像仪和可见光相机间的外参数矩阵，进而完成红外图像与可见光图像之间的粗配准；然后利用如下方法对两张图像进行精确配准：首先将两张图像的像素值均归一化至0-255；然后计算可见光图像a和红外图像b的互信息mi(a，b)；最后基于互信息mi(a，b)计算配准参数t0，并基于单纯形直接搜索算法对配准参数t0进行迭代修正，从而获得最优的配准参数；完成配准后，即获得了红外图像中任一像素点与可见光图像中像素点的对应关系。

在步骤2)中，所述的分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；

对于可见光图像，首先对该图像进行光照校正及高斯滤波处理；然后计算像素点(x，y)的灰度值cij，并计算以该像素点为中心其周围k*k个像素点的灰度中值k的取值根据实验数据和经验确定；若像素点(x，y)的灰度值cij小于灰度中值则该像素点的对比度为否则对比度为0，即：

从而生成可见光局部对比度图像；

对于红外图像，首先对该图像进行双边滤波处理；然后获取像素点(x，y)的温度值rij，并计算以该像素点为中心其周围k*k个像素点的温度中值若像素点(x，y)的温度值rij大于温度中值则该像素点的对比度为否则对比度为0，即：

从而生成红外局部对比度图像；

最后采用最大类间方差法分别对获得的可见光和红外局部对比度图像进行分割，得到可见光图像和红外图像的初始裂缝像素图像，在该图像中，像素值为1的像素点是初始裂缝像素点，像素值为0的像素点是非初始裂缝像素点。

在步骤3)中，所述的建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域的方法是：

首先根据初始裂缝像素点提取可见光图像中初始裂缝连通区域，记为并提取红外图像中初始裂缝连通区域，记为定义初始裂缝连通区域集合为包含上述所有初始裂缝连通区域的集合；沿初始裂缝连通区域集合g中每个初始裂缝连通区域边缘法线方向以d个像素点大小的距离向四周均匀扩充，将初始裂缝连通扩充区域集合记为g'；对于初始裂缝连通扩充区域集合g'中的任一初始裂缝连通扩充区域c'，首先计算可见光图像中初始裂缝连通扩充区域c'对应区域内像素点的灰度均值μc及标准差σc，此时可认为可见光图像中该区域内全部像素点的灰度值符合正态分布然后计算红外图像中初始裂缝连通扩充区域c'对应区域内像素点的温度均值μr及标准差σr，此时可认为红外图像中该区域内全部像素点的温度值符合正态分布在此基础上，建立基于局部灰度和温度概率分布的融合决策模型，利用该模型对初始裂缝连通扩充区域c'扩充前的初始裂缝连通区域c进行融合决策判断，从而生成候选裂缝区域；基于候选裂缝区域的来源，获得可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域。

在步骤4)中，所述的融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域的方法是：提取出步骤3)中获得的可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域，选择两者区域的并集作为融合后图像的融合候选裂缝区域。

在步骤5)中，所述的对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果的方法是：

首先提取每个融合候选裂缝区域的骨架，将骨架像素点的个数定义为该区域的长度，记为l；将骨架均匀分成10段，计算分段端点处像素点沿其法线方向到所在区域边缘的距离，将上述所有距离的平均值作为该区域的宽度，记为w；将融合候选裂缝区域的像素点个数记为z，如果满足以下两个条件之一：1)2)且z＞tm，则标记该区域为真实裂缝区域，否则标记该区域为非裂缝区域并删除，其中tm和tr为设定阈值，均为经验值。

本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法与现有技术相比，具有以下优点：本发明针对机场跑道道面噪声干扰强、只能在夜间人造光源条件下采集数据所带来的光照条件差、图像对比度低等特殊情况，较好地利用了红外和可见光传感器检测技术的互补性，从而解决了依靠单一传感器进行裂缝检测的局限性，降低了裂缝检测过程中对光照的敏感度，增强了对环境噪声的鲁棒性，提高了检测的准确度，为机场跑道道面裂缝检测提供了技术基础。

附图说明

图1是本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法流程图；

图2是初始裂缝连通区域扩充过程示意图；

图3(a)和图(b)分别是初始裂缝连通扩充区域内像素灰度与温度正态分布曲线图；

图4是本发明方法各步骤生成结果示意图；

图5是机场跑道道面裂缝检测部分实验结果；

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

红外热像仪是利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形并反映到红外探测器的光敏元件上，从而获得红外图像。红外图像具有较好地给出目标存在特性和位置特性、自然环境下受干扰程度小、裂缝区域信息明确等优点和裂缝边缘模糊、视觉效果模糊的缺点。对于可见光图像而言，可见光图像具有细节信息较好的优点和易受噪声干扰、区域信息不准确的缺点。结合以上可见光图像检测裂缝的优缺点，我们可以根据彼此的优缺点，通过红外图像和可见光图像数据的决策级融合，从而获得更加准确的、清晰的机场跑道道面裂缝检测结果。

如图1所示，本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法包括按顺序进行的下列步骤：

1)将分别利用红外热像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准；

首先通过传感器标定方法获得红外热像仪和可见光相机间的外参数矩阵，进而完成红外图像与可见光图像之间的粗配准；然后利用如下方法对两张图像进行精确配准：首先将两张图像的像素值均归一化至0-255；然后计算可见光图像a和红外图像b的互信息mi(a，b)；最后基于互信息mi(a，b)计算配准参数t0，并基于单纯形直接搜索算法(neld-mead算法)对配准参数t0进行迭代修正，从而获得最优的配准参数；完成配准后，即获得了红外图像中任一像素点与可见光图像中像素点的对应关系。

2)分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；

对于可见光图像，首先对该图像进行光照校正及高斯滤波处理，从而降低道面背景噪声影响的同时突出道面裂缝信息；然后计算像素点(x，y)的灰度值cij，并计算以该像素点为中心其周围k*k个像素点的灰度中值k的取值根据实验数据和经验确定，本发明中取k＝30；若像素点(x，y)的灰度值cij小于灰度中值则该像素点的对比度为否则对比度为0，即：

从而生成可见光局部对比度图像；

对于红外图像，首先对该图像进行双边滤波处理，从而保护裂缝边缘信息，降低道面噪声影响；然后获取像素点(x，y)的温度值rij，并计算以该像素点为中心其周围k*k个像素点的温度中值若像素点(x，y)的温度值rij大于温度中值则该像素点的对比度为否则对比度为0，即：

从而生成红外局部对比度图像；

最后采用最大类间方差法(otsu算法)分别对获得的可见光和红外局部对比度图像进行分割，得到可见光图像和红外图像的初始裂缝像素图像，在该图像中，像素值为1的像素点是初始裂缝像素点，像素值为0的像素点是非初始裂缝像素点。

3)建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；

首先根据初始裂缝像素点提取可见光图像中初始裂缝连通区域，记为即相互邻接的8-邻域的像素值为1的像素点集合，其中m为可见光图像中初始裂缝连通区域的序号，并提取红外图像中初始裂缝连通区域，记为即相互邻接的8-邻域的像素值为1的像素点集合，其中n为红外图像中初始裂缝连通区域的序号；定义初始裂缝连通区域集合为包含上述所有初始裂缝连通区域的集合，沿初始裂缝连通区域集合g中每个初始裂缝连通区域边缘法线方向以d个像素点大小的距离向四周均匀扩充，如图2所示，图中内侧区域为初始裂缝连通区域，外侧区域为初始裂缝连通扩充区域，将初始裂缝连通扩充区域集合记为g'。对于初始裂缝连通扩充区域集合g'中的任一初始裂缝连通扩充区域c'，首先计算可见光图像中初始裂缝连通扩充区域c'对应区域内像素点的灰度均值μc及标准差σc，此时可认为可见光图像中该区域内全部像素点的灰度值符合正态分布然后计算红外图像中初始裂缝连通扩充区域c'对应区域内像素点的温度均值μr及标准差σr，此时可认为红外图像中该区域内全部像素点的温度值符合正态分布

若d的取值过小，则初始裂缝连通扩充区域的均值和初始裂缝连通区域的均值接近，会导致裂缝的漏检，反之若d的取值过大，则会导致裂缝的错检。本发明中初始裂缝连通区域内像素点的个数占初始裂缝连通扩充区域内像素点的个数比例应该满足以下公式：其中m2为初始裂缝连通扩充区域内像素点的个数，m1为初始裂缝连通区域内像素点的个数。初始裂缝连通扩充区域内像素点的个数m2可以通过如下公式粗略估算：m2＝l×d+m1，式中l为初始裂缝连通区域的边界像素点的个数，基于上述分析，本发明中建议d的取值为

如图3所示，对于初始裂缝连通区域c，若初始裂缝连通区域c为真实裂缝区域，则在可见光图像中其灰度均值应远小于初始裂缝连通扩充区域c'的灰度均值，而在红外图像中其温度均值应远大于初始裂缝连通扩充区域c'的温度均值；而若初始裂缝连通区域c为错检裂缝区域，则在可见光图像中其灰度均值应大于初始裂缝连通扩充区域c'的灰度均值，而在红外图像中其温度均值应小于初始裂缝连通扩充区域c'的温度均值。但是在其灰度(温度)均值小于(大于)且接近初始裂缝连通扩充区域c'的灰度(温度)均值时，则难以通过单一可见光图像(红外图像)来判断初始裂缝连通区域c是否为真实裂缝区域。

基于以上分析，建立基于局部灰度和温度概率分布的融合决策模型，如表1所示。计算可见光图像中初始裂缝连通扩充区域c'扩充前的初始裂缝连通区域c对应区域内像素点的灰度均值mc，然后计算红外图像中初始裂缝连通区域c对应区域内像素点的温度均值mr，并根据上述融合决策模型对初始裂缝连通区域c进行以下融合决策判断：若温度均值mr在红外图像中初始裂缝连通扩充区域c'对应区域内像素温度值分布(μr+λ2σr，+∞)范围内，且灰度均值mc在可见光图像中初始裂缝连通扩充区域c'对应区域内像素灰度值分布(-∞，μc-λ1σc)范围内，可判定初始裂缝连通区域c为候选裂缝区域，其中λ1和λ2为系数；若温度均值mr在红外图像中初始裂缝连通扩充区域c'对应区域内像素温度值分布(μr，μr+λ2σr)范围内，而灰度均值mc在可见光图像中初始裂缝连通扩充区域c'对应区域内像素灰度值分布(-∞，μc-λ1σc)范围内，虽然从温度方面考虑，无法判断初始裂缝连通区域c的类型，但从灰度方面判断，初始裂缝连通区域c为候选裂缝区域，综合考虑可判定初始裂缝连通区域c为候选裂缝区域；同理，若灰度均值mc在可见光图像中初始裂缝连通扩充区域c'对应区域内像素灰度值分布(μc-λ1σc,μc)范围内，而温度均值mr在红外图像中初始裂缝连通扩充区域c'对应区域内像素温度值分布(μr+λ2σr，+∞)范围内，虽然从灰度方面考虑，无法判断初始裂缝连通区域c的类型，但从温度方面判断，初始裂缝连通区域c为候选裂缝区域，综合考虑可判定初始裂缝连通区域c为候选裂缝区域。反之，若灰度均值mc在可见光图像中初始裂缝连通扩充区域c'对应区域内像素灰度值分布(μc，+∞)范围内，则说明初始裂缝连通区域c为道面区域，此时无需再考虑初始裂缝连通区域c的温度均值mr；同理，若灰度均值mr在红外图像中初始裂缝连通扩充区域c'对应区域内像素温度值分布(-∞，μr)范围内，则说明初始裂缝连通区域c为道面区域，此时也无需再考虑初始裂缝连通区域c的灰度均值mc；若灰度均值mc在可见光图像中初始裂缝连通扩充区域c'对应区域内像素灰度值分布(μc-λ1σc，μc)范围内，且温度均值mr在红外图像中初始裂缝连通扩充区域c'对应区域内像素温度值分布(μr≤mr≤μr+λ2σr)范围内，则从灰度和温度方面考虑，都无法证明初始裂缝连通区域c为候选裂缝区域，因此判定初始裂缝连通区域c为道面区域。本发明中系数λ1和λ2的取值均为1。

根据上述判断结果，保留结果为1的初始裂缝连通区域作为候选裂缝区域，删除判断结果为0的初始裂缝连通区域。基于候选裂缝区域的来源，可获得可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域。

表1融合决策模型

4)融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；

提取出步骤3)中获得的可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域，选择两者区域的并集作为融合后图像的融合候选裂缝区域。

5)对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果。

通过计算每个融合候选裂缝区域的面积、长度以及像素点个数来筛选出真实裂缝区域。具体方法为：首先提取每个融合候选裂缝区域的骨架，将骨架像素点的个数定义为该区域的长度，记为l。将骨架均匀分成10段，计算分段端点处像素点沿其法线方向到所在区域边缘的距离，将上述所有距离的平均值作为该区域的宽度，记为w；将融合候选裂缝区域的像素点个数记为z，如果满足以下两个条件之一：1)2)且z＞tm，则标记该区域为真实裂缝区域，否则标记该区域为非裂缝区域并删除，其中tm和tr为设定阈值。阈值tm为经验值，取值范围为30～60；阈值tr为经验值，取值范围为不小于7。

本发明提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法的效果可以通过以下实验结果进一步说明。本发明人共采集了56组机场道面红外图像和可见光图像对本发明方法进行验证，图4为本发明方法各步骤生成结果的示意图。图5为六组实验结果，其中同一行的左侧图像为原始可见光图像，中间图像为原始红外图像，右侧图像为真实裂缝区域检测结果。