一种公路路面裂纹检测方法
【专利摘要】一种公路路面裂纹检测方法，通过预先提取图像中的公路路面感兴趣区域，检测其中可能的为路面裂纹的图像线段端点，再采用多尺度处理结合梯度直方图和支持向量机进行分类，最后将判断为路面裂纹的区域信息输出，并提示用户。本发明视频信息量更丰富，分类更准确，可具备较低的虚警率；适应更大的范围和环境,且自动化处理水平较高，能够提高检测的准确率，改善检测识别的效率，比传统方法稳定性更高，具有较高的抗噪声、抗倾斜的能力；解决了目前人工巡查工作强度大、受经验水平限制、误判和遗漏概率高等问题。
【专利说明】一种公路路面裂纹检测方法
【技术领域】
[0001] 本发明涉及自动视频检测【技术领域】，具体为一种公路路面裂纹检测方法。
【背景技术】
[0002] 近年来我国高等级公路的建设速度和运营规模已具有世界前沿水平。然而随着车 辆速度的提升和重载车辆的广泛使用，高等级公路路基系统的激扰频率也随之变宽，易受 高频激扰发生共振，引起振动加剧和老化加快，将影响公路运行品质和增加养护成本，并且 会加速路面浙青的结构疲劳损伤程度。若破损的公路路面不及时发现并得以修补，将会在 车辆碾压作用下加速破损程度，进而影响道路舒适性甚至危及行车安全。在此形势下，保障 高等级公路的行车安全的技术面临着巨大挑战，利用传感器技术的高等级公路在线检测研 究正逐步展开。然而，基于传感器技术的监测数据量巨大，不仅含有各种噪声，而且来源于 不同的路基结构层。其中，视频监视技术作为最符合人类感知习惯的新兴检测方法，因其非 接触式监测和信息量丰富的特点，被逐步应用到公路路面在线巡检之中。如何有效利用视 频巡检数据提高公路路面品质和安全性，降低安全事故的发生概率，已成为高等级公路发 展的当务之急。
[0003] 然而，由于视频成像过程中三维信息投影为二维图像导致信息量丢失的特殊性问 题，导致基于视频图像的场景理解和问题识别难度仍较大。同时，由于实际应用中图像采集 的效果受到光照强弱及均匀程度的限制和环境复杂程度的干扰，将导致待检测的路面裂纹 难以从路面其他区域中区分（如图1所示）。因此，面向公路视频巡检的路面裂纹检测方法 研究具有积极的社会意义和经济意义。
【发明内容】
[0004] 针对上述问题，本发明的目的在于提供一种能有效利用视频巡检数据，并通过对 数据进行处理高效准确的检测公路路面裂纹的检测方法。技术方案如下：
[0005] -种公路路面裂纹检测方法，包括如下步骤：
[0006] 步骤1)任意读取一帧公路路面彩色图像；
[0007] 步骤2)对上述彩色图像进行平滑滤波去除噪声；
[0008] 步骤3)将处理后的彩色图像转换为灰度图像；
[0009] 步骤4)检测并提取路面的感兴趣区域；
[0010] 步骤5)计算感兴趣区域中的局部化二值化图像；
[0011] 步骤6)用二值化图像的细化算法将上述二值化图像转化为曲线线段，提取曲线 线段的端点，记录入端点队列；
[0012] 步骤7)若端点队列的内容不为空，则读取端点队列的第一个端点；否则进入步骤 10)；
[0013] 步骤8)用多尺度处理结合梯度直方图和支持向量机对上述端点进行分类，若该 端点的分类结果为路面裂纹，则记录下该端点的位置信息；否则返回步骤1);
[0014]步骤9)删除端点队列的第一个端点，并返还步骤7);
[0015] 步骤10)将该帧的检测结果和帧号相结合，并做记录；退出当前帧检测。
[0016] 进一步的，上述检测并提取路面的感兴趣区域的具体步骤为：
[0017] a)使用概率霍夫变换计算灰度图像中的线段，并将所有线段存入一个链表；
[0018] b)遍历各条线段，按照该线段距离运动中心在图像上投影点的距离进行划分，若 距离超过设定阈值，则从链表中删除该线段；
[0019] c)若上述链表中存放的线段数量小于等于1，则退出当前帧检测；否则将剩余线 段以平行间距为度量使用K近邻法聚类；
[0020] d)计算每个聚类结果中线段端点的坐标平均值，作为线段聚类的结果的空间位 置，并按照空间位置将聚类结果从左到右排序；
[0021] e)遍历线段聚类结果，搜索最左侧的线段聚类结果和最右侧的聚类结果，如果构 成近似对称的等腰三角形区域，则该区域为路面的感兴趣区域，否则退出当前帧检测。
[0022] 更进一步的，上述细化算法采用Zhang-Suen算法。
[0023] 更进一步的，上述计算局部化二值化图像的方法为：以每个像素为中心，以直径为 11个像素划分邻域范围，计算领域范围内像素灰度的平均值，若该像素灰度值大于平均值 加偏移量，则在二值化图像中设置该点灰度值为255,否则设置该点灰度值为0。
[0024] 更进一步的，上述提取曲线线段端点的方法为：将二值化图像的白色连通体简化 为宽度为1个像素的曲线，遍历包含细化曲线的二值化图像，若某点灰度值为255,且其八 邻域中仅有一个像素的灰度值为255,其余7个的灰度值皆为0,则该点位于曲线的端点。
[0025] 更进一步的，上述多尺度处理结合梯度直方图和支持向量机进行分类的方法包 括：
[0026] 以感兴趣区域的边长的1/8为基准，分别取其0. 6、0. 8、1. 0、1. 2和1. 4倍长度为 端点邻域的尺寸，以某个端点为中心，从感兴趣区域图像中提取5个不同大小的子图像，并 将所述子图像尺寸缩放为64*64的标准尺寸，得到5个标准图像；
[0027] 分别计算上述5个标准图像的梯度直方图描述子；
[0028] 用离线训练好的支持向量机分类器对5个标准图像的梯度直方图描述子进行分 类，若有至少一个图像的分类结果为路面裂纹，则该端点为路面裂纹，并将该端点和判断为 路面裂纹的子图像尺寸存放入检测结果队列；否则判定该端点为背景图像。
[0029]更进一步的，上述步骤10)之后还包括返回步骤1)，循环检测，直至检测完成。
[0030] 本发明的有益效果是：本发明视频信息量更丰富，分类更准确，可具备较低的虚警 率；适应更大的范围和环境，且自动化处理水平较高，能够提高检测的准确率，改善检测识 别的效率，比传统方法稳定性更高，具有较高的抗噪声、抗倾斜的能力；解决了目前人工巡 查工作强度大、受经验水平限制、误判和遗漏概率高等问题。
【专利附图】
【附图说明】
[0031] 图1是公路路面裂纹情况和路面修补的说明图。
[0032] 图2是本发明处理总体流程图。
[0033] 图3是本发明路面裂纹特征点检测及识别处理的流程图和实际处理效果的示例 图。
[0034] 图4本发明视频摄像机安装示意图。
【具体实施方式】
[0035] 下面结合具体实施例对本发明做进一步说明：本发明包括具有补光功能的视频图 像采集部分，处理视频图像的路面裂纹检测和识别核心算法部分，和负责和用户交互的界 面接口部分。视频采集部分根据用户指令，开启工业相机并按照固定帧率采集彩色视频图 像；路面裂纹检测识别部分对工业相机采集的视频图像进行扫描处理，提取并输出其中的 路面裂纹位置和尺寸信息；人机交互部分接受用户工作指令，在处理时通过显示器动态展 示处理过程，并在处理完成后用计算机蜂鸣器提示完成和预警信息。三个部分分别包含了 硬件连接和集成、核心处理算法和人机交互界面软件。
[0036] 包含的系统：巡检视频路面裂纹检测系统，根据路面裂纹的视觉特征及其在图像 中的结构信息进行检测，确定路面裂纹存在与否，并在此基础上进行多幅图像检测结果的 滤波和融合；巡检视频辅助处理系统，利用连续视频帧进行路面裂纹检测，在确定路面裂纹 位置的基础上，形成视频检索和过滤辅助系统，以引导操作人员发现和确认问题并及时解 决。
[0037] 本发明能适应真实情况下的光照情况，例如光照不足、光照不均匀、背景杂乱等 等，并且自动检测视频流中的公路路面的车道标识，再转化为感兴趣区域局部化针对性处 理。在针对性区域内，利用局部二值化方法强化细节信息，以保证检测的高准确率。路面裂 纹图像纹理用梯度直方图和支持向量机建模，使实现过程比传统方法的速度更高且稳定性 更高，具有较高的抗噪声、抗倾斜的能力。具体处理步骤如下（如图2所示）：
[0038] 步骤1)通过计算机驱动工业相机任意读取一帧公路路面彩色图像。
[0039] 步骤2)对上述彩色图像进行平滑滤波去除噪声。
[0040] 步骤3)将处理后的彩色图像转换为灰度图像。
[0041] 步骤4)检测并提取路面的感兴趣区域；具体方法包括以下几个步骤：
[0042] a)使用概率霍夫变换计算灰度图像中的线段，并将所有线段存入一个链表；
[0043] b)遍历各条线段，按照该线段距离运动中心在图像上投影点的距离进行划分，若 距离超过设定阈值，则从链表中删除该线段；
[0044] c)若上述链表中存放的线段数量小于等于1，则说明观测内容不是具有车道标志 线的公路，无法进一步处理，退出当前帧检测；否则将剩余线段以平行间距为度量使用K 近邻法聚类；
[0045] d)计算每个聚类结果中线段端点的坐标平均值，作为线段聚类的结果的空间位 置，并按照空间位置将聚类结果从左到右排序；
[0046] e)遍历线段聚类结果，搜索最左侧的线段聚类结果和最右侧的聚类结果，如果构 成近似对称的等腰三角形区域，则将图像底边、最左边线段和最右边线段组合构成的三角 形区域作为路面的感兴趣区域以供精确检测，若未能找到合理组合，即认为未找到路面感 兴趣区域，无需对该帧图像做进一步处理，退出当前帧检测。
[0047] 步骤5)计算感兴趣区域中的局部化二值化图像。具体方法为：以每个像素为中 心，以直径为11个像素划分邻域范围，计算领域范围内像素灰度的平均值，若该像素灰度 值大于平均值加偏移量，则在二值化图像中设置该点灰度值为255,否则设置该点灰度值为 0。其中的偏移量为工程化经验参数，用于降低浅色背景下的检测噪声，一般选取为5。 [0048] 步骤6)用二值化图像的细化算法将二值化图像的白色连通体进一步简化为宽度 为1个像素的曲线，细化算法采用Zhang-Suen算法，然后提取曲线线段的端点，记录入端点 队列；提取曲线线段端点的方法为：将二值化图像的白色连通体简化为宽度为1个像素的 曲线，遍历包含细化曲线的二值化图像，若某点灰度值为255,且其八邻域中仅有一个像素 的灰度值为255,其余7个的灰度值皆为0,则该点位于曲线的端点。
[0049] 步骤7)若端点队列的内容不为空，则读取端点队列的第一个端点；否则进入步骤 10)。
[0050] 步骤8)用多尺度处理结合梯度直方图和支持向量机对上述端点进行分类，若该 端点的分类结果为路面裂纹，则记录下该端点的位置信息；否则返回步骤1);其中，多尺度 处理结合梯度直方图和支持向量机进行分类的方法为：以感兴趣区域的边长的1/8为基 准，分别取其〇. 6、0. 8、1. 0、1. 2和1. 4倍长度为端点邻域的尺寸，以某个端点为中心，从感 兴趣区域图像中提取5个不同大小的子图像，并将所述子图像尺寸缩放为64*64的标准尺 寸，得到5个标准图像；分别计算上述5个标准图像的梯度直方图描述子；用离线训练好的 支持向量机分类器对5个标准图像的梯度直方图描述子进行分类，若有至少一个图像的分 类结果为路面裂纹，则该端点为路面裂纹，并将该端点和判断为路面裂纹的子图像尺寸存 放入检测结果队列；否则判定该端点为背景图像。
[0051] 步骤9)删除端点队列的第一个端点，并返还步骤7);
[0052] 步骤10)将该帧的检测结果和帧号相结合，并做记录；退出当前帧检测。
[0053] 图3为本发明路面裂纹特征点检测及识别处理的流程图和实际处理效果的示例 图。
[0054] 工控计算机内还安装有连续视频帧采集处理模块，连续帧的处理过程等效于循环 地进行单幅图像处理。即上述述步骤10)之后再返回步骤1)，循环检测，直至检测完成。 具体为：当连续视频帧处理开始执行，补光设备开始补光，计算机控制工业相机开始视频采 集，并通过显示屏回放采集视频以提示扫描范围。当场景中出现待检测的高等级公路路面 区域时，计算机从数字摄像机传输的画面检测出浙青或水泥地面的可能性区域，并且用前 文所述检测算法获知路面裂纹的大致位置；如果路面裂纹较小或位置较远导致成像效果不 显著，则有待车辆行进过程中，路面裂纹成像逐渐放大并清晰。在此情形下，路面裂纹可以 被本发明所述方法检测到。将各帧图像的检测结果和视频帧号相结合，记录入检测日志；视 频处理成功后，通过检测日志提示用户检测结果，并输出可能有路面裂纹的视频帧序列，辅 助人员操作。
[0055] 在以上各步骤中，巡检车辆需在道路要求的最低速度下平稳运行，并采用高速采 集的工业相机机尽可能获取路面裂纹的清晰图像，图像处理以近实时的速度处理。由于精 细化的路面裂纹检测过程仅是在可能存在路面裂纹的局部区域内进行的，因此计算复杂度 大幅度降低；在提取感兴趣区域的基础上，用局部化方法凸显细节信息，提取区域内的细节 曲线的端点邻域作为路面裂纹检测的可能区域。由传统穷举搜索方法的〇(n2)减为了 0(n)， 即计算复杂度大为降低，加速了路面裂纹检测提取过程。用梯度直方图和支持向量机训练 构成高稳定性和准确性的分类方法，融合多分辨率处理的结果，作为路面裂纹纹理图形区 域。因此，本发明方法的意义在于，可以改善检测识别的速率。首先判断场景中是否有水泥 或浙青路面的计算代价比较小，如果观测图像中没有此结构，则可回避后续无用的操作，直 接循环处理下一帧图像。其次，如果场景中有高等级公路的路面区域，则需对路面区域进行 提取。此时的关键要求不是处理速度快，而是尽量准确获地排除无需后续处理的区域。换 而言之，尽管路面检测会适当增加算法复杂程度，但由于提高了粗略检测的命中率，因此从 全局看仍然是提高了处理效率。
[0056] 硬件列表如下：
【权利要求】
1. 一种公路路面裂纹检测方法，其特征在于，包括如下步骤： 步骤1)任意读取一帧公路路面彩色图像； 步骤2)对上述彩色图像进行平滑滤波去除噪声； 步骤3)将处理后的彩色图像转换为灰度图像； 步骤4)检测并提取路面的感兴趣区域； 步骤5)计算感兴趣区域中的局部化二值化图像； 步骤6)用二值化图像的细化算法将上述二值化图像转化为曲线线段，提取曲线线段的 端点，记录入端点队列； 步骤7)若端点队列的内容不为空，则读取端点队列的第一个端点；否则进入步骤10); 步骤8)用多尺度处理结合梯度直方图和支持向量机对上述端点进行分类，若该端点的 分类结果为路面裂纹，则记录下该端点的位置信息；否则返回步骤1); 步骤9)删除端点队列的第一个端点，并返还步骤7); 步骤10)将该帧的检测结果和帧号相结合，并做记录；退出当前帧检测。
2. 根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述检测并提取 路面的感兴趣区域的具体步骤为： a) 使用概率霍夫变换计算灰度图像中的线段，并将所有线段存入一个链表； b) 遍历各条线段，按照该线段距离运动中心在图像上投影点的距离进行划分，若距离 超过设定阈值，则从链表中删除该线段； c) 若上述链表中存放的线段数量小于等于1，则退出当前帧检测；否则将剩余线段以 平行间距为度量使用K近邻法聚类； d) 计算每个聚类结果中线段端点的坐标平均值，作为线段聚类的结果的空间位置，并 按照空间位置将聚类结果从左到右排序； e) 遍历线段聚类结果，搜索最左侧的线段聚类结果和最右侧的聚类结果，如果构成近 似对称的等腰三角形区域，则该区域为路面的感兴趣区域，否则退出当前帧检测。
3. 根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述计算局部化 二值化图像的方法为：以每个像素为中心，以直径为11个像素划分邻域范围，计算领域范 围内像素灰度的平均值，若该像素灰度值大于平均值加偏移量，则在二值化图像中设置该 点灰度值为255,否则设置该点灰度值为0。
4. 根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述细化算法采 用 Zhang-Suen 算法。
5. 根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述提取曲线线 段端点的方法为：将二值化图像的白色连通体简化为宽度为1个像素的曲线，遍历包含细 化曲线的二值化图像，若某点灰度值为255,且其八邻域中仅有一个像素的灰度值为255， 其余7个的灰度值皆为0,则该点位于曲线的端点。
6. 根据权利要求1所述的一种公路路面裂纹检测方法，其特征在于，所述多尺度处理 结合梯度直方图和支持向量机进行分类的方法包括： 以感兴趣区域的边长的1/8为基准，分别取其0. 6、0. 8、1. 0、1. 2和1. 4倍长度为端点 邻域的尺寸，以某个端点为中心，从感兴趣区域图像中提取5个不同大小的子图像，并将所 述子图像尺寸缩放为64*64的标准尺寸，得到5个标准图像； 分别计算上述5个标准图像的梯度直方图描述子； 用离线训练好的支持向量机分类器对5个标准图像的梯度直方图描述子进行分类，若 有至少一个图像的分类结果为路面裂纹，则该端点为路面裂纹，并将该端点和判断为路面 裂纹的子图像尺寸存放入检测结果队列；否则判定该端点为背景图像。
7.根据权利要求1-6任一项所述的一种公路路面裂纹检测方法，其特征在于，所述步 骤10)之后还包括返回步骤1)，循环检测，直至检测完成。
【文档编号】G01N21/88GK104392224SQ201410735591
【公开日】2015年3月4日 申请日期:2014年12月4日 优先权日:2014年12月4日
【发明者】唐鹏, 金炜东, 杨凡 申请人:西南交通大学