基于机器视觉的便携式沥青路面病害检测方法及装置与流程

本发明涉及沥青路面病害检测领域，尤其是涉及一种基于机器视觉的便携式沥青路面病害检测方法及装置。

背景技术：

随着我国道路网的逐步完善，道路领域的工作正在由新建转向养护，特别是高等级沥青道路总里程的增加，使得我国面临的养护任务非常艰巨。实践发现，我国的沥青道路常常出现使用时间不长就出现严重破坏的情况，不得不采取大中修甚至重建的措施，代价非常大，这很大程度上与我国当前养护工作对平时养护重视不够的现状有关。值得欣慰的是，注重平时养护工作，减少大中修，减少对社会环境的影响，减少成本，这一理念越来越得到养护工作人员的认同。

加强平时养护，应该从路面状况的信息采集做起。经过几十年的发展，我国沥青路面状况信息采集的方法有了很大的进步。从最传统的纯人工测量，到半自动机械化检测，发展到大型多功能集成检测车，无论是在测量的精度还是范围上都有了巨大的进步。然而，在实际养护工作中，还存在下面那样的怪现象：一方面，我们有先进的检测设备，可以大范围地对高等级道路进行定期检测，但是另一方面，在日常的检测中，特别是小范围路面状况调研中，人们还在使用最原始的纯手工检测方法——先封闭需要检测的车道，用传统的检测工具(比如钢卷尺)进行检测。可见，当前我们道路检测工具存在严重的两极分化现象，缺少能够衔接这两种方法的中间件。另外，大型检测车费用昂贵，也不太适合小范围的经常性检测工作，因此，这样的中间件检测方法和装置显得尤其重要。

正是基于这样的现状——要加强沥青道路的平时养护工作(关键在于道路使用状况的信息采集)，虽然机器视觉方法在其他沥青路面病害检测装置中也有应用，但多集成在检测车辆上，然而尚缺乏适用于中小范围经常性检测的、具有便携、安全、高效的病害检测方法和装置，有必要研究一种基于机器视觉的便携式沥青路面病害检测方法及其装置，弥补了这一空白。

中国专利CN103993548A公开了一种基于多台相机立体拍摄的路面损坏裂缝检测系统及方法，该系统包括试验系统和图像处理模块，所述试验系统包括相机，相机支架及其试验标记卡片，将两台相机以一定角度安装于相机支架拍摄路面。通过系统标定，得到物像数学关系。对图像进行预处理、裂缝图像处理、图像阈值分割和图像特征提取，最终计算出裂缝长度。该专利仍然属于传统基于机器视觉进行路面病害检测范畴，与现有成熟的大型多功能检测车在原理和定位等方面并无太大区别，并且需要以特定的姿态进行病害信息采集，需要阻断交通，在实际使用时不便携、效率较低、对交通流影响较大。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于机器视觉的便携式沥青路面病害检测方法及装置，弥补了当前路面检测方法和仪器在传统路面病害检测和大型多功能车病害检测之间的空白，具有不封车道、不阻断交通流、保障工作人员安全、减少现场作业量、提高检测精度和效率的特点。

本发明的目的可以通过以下技术方案来实现：

一种基于机器视觉的便携式沥青路面病害检测方法包括以下步骤：

1)不封车道、不阻断交通流，利用相机在道路旁安全地方采集车道的路面病害图片，并记录相机的高度、角度和焦距；

2)基于步骤1)中相机的高度、角度和焦距，利用相机在室内采集用于模拟车道的标定板的标定图片；

3)根据标定图片对车道进行标定，得到标定信息，所述标定信息包括：相机内参、相机位姿以及像素所代表的尺寸；

4)根据相机内参和相机位姿对路面病害图片进行矫正；

5)对矫正后路面病害图片上的病害进行绘制，并由像素所代表的尺寸得到病害参数。

所述步骤2)中，若相机视野覆盖全部的标定板，则标定板移动至位于相机镜头的中央，若相机视野不覆盖全部的标定板，则保证标定板上至少一组的特征点位于相机镜头的中央。

所述步骤4)具体为：

根据相机内参和相机位姿，得到了参考系的变换矩阵；

根据参考系的变换矩阵将路面病害图片的位置信息从世界坐标系转换成相机坐标系下的位置信息，进而得到相机坐标系下投影平面上的位置信息；

通过矫正模型，将相机坐标系下投影平面上的位置信息转换成相机坐标系下无畸变的位置信息；

最后将相机坐标系下无畸变的位置信息转换为无畸变的图像坐标系的位置信息，即获得矫正后路面病害图片。

所述矫正模型满足以下公式：

式中，μ′为矫正后的μ方向坐标，为有畸变的μ方向坐标；

v′为矫正后的ν方向坐标，为有畸变的ν方向坐标；

κ为畸变系数。

所述相机内参包括焦距、镜头畸变系数、单个像元的宽、单个像元的高、中心点x坐标、中心点y坐标、图像宽和图像高；

所述相机位姿包括：相机x坐标、相机y坐标、相机z坐标、相机x方向旋转角度、相机y方向旋转角度和相机z方向旋转角度。

所述单个像元的宽sx和单个像元的高sy满足以下公式：

式中，a为感光元件面积，b为相机有效像素；

所述中心点x坐标满足：中心点x坐标＝照片尺寸长/2；

所述中心点y坐标满足：中心点y坐标＝照片尺寸宽/2。

一种实现上述方法的基于机器视觉的便携式沥青路面病害检测装置，包括病害采集装置和病害测量装置，所述病害采集装置包括相机，所述相机由三脚架固定，并设有角度仪和激光测距仪，所述角度仪测量相机的角度，所述激光测距仪测量相机的高度，所述病害测量装置包括用于道路图片矫正的标定板，以及用于图片矫正和病害测量的图片处理模块。

所述图片处理模块包括：

标定信息处理单元，用于根据标定图片对车道进行标定，得到标定信息，所述标定信息包括：相机内参、相机位姿以及像素所代表的尺寸；

图片校正单元，用于根据相机内参和相机位姿对路面病害图片进行矫正；

病害测量单元，用于对矫正后路面病害图片上的病害进行绘制，并由像素所代表的尺寸得到病害参数。

所述标定板采用长度5.5mm、宽度3.8mm、喷涂有27行34列圆形点的黑白标定板，圆形点之间的间距为0.154839m。

与现有技术相比，本发明具有以下优点：

(1)本发明定位于中小范围的经常性检测，弥补了当前路面检测方法和仪器在传统路面病害检测和大型多功能车病害检测之间的空白，将图像采集和病害测量工作分开进行，图像采集在现场，测量工作在室内，减少现场工作量，提高病害检测的灵活性，具有不封车道、不阻断交通流、保障工作人员安全、减少现场作业量、提高检测精度和效率的特点。

(2)本发明相比现有技术，采用更少的装置，省略了正面拍照步骤，利用室内标定以及图像校正等方法，能够达到与现有技术相同甚至更高的病害测量精度，并已通过实验证明本发明的精确度。

(3)本发明在图片矫正过程中，实现了由世界坐标系-相机坐标系-图像坐标系的一系列模型快速转化，同时在矫正过程中采用了矫正模型，由畸变系数可以矫正大角度畸变图像，使得后续病害测量结果更加准确。

(4)本发明的车道标定方法克服了传统检测必须将相机竖直安放以达到正拍效果的局限，可以自由调整相机的位姿以得到最佳的病害图片，并且能快速读出相机位姿参数，可有效检测面积广，角度大，精度高。

(5)外业所需要携带的设备少，便携、机动、灵活，由于(2)中的优点，工作人员架设设备的位置很自由，能更好地保障工作人员的人身安全，且无需封车道，不影响交通流。

(6)本发明为沥青路面病害检测量身定做一个基于机器视觉技术的标定喷绘板，这个尺寸的标定板长度达到5.5m，宽度为3.8m，且喷涂有27行34列圆形点，圆形点之间的间距为0.154839m，在圆形点上选取多组特征点，而实际道路一个车道最宽不过3.75m，因此它完全可以覆盖一整个车道，通过移动标定板，可以对车道纵向任意位置进行测量；同样的道理，在道路横向移动标定板，即可以对其他车道进行测量，因此通过采用步骤2)可具有胜任测量多个车道的能力。

附图说明

图1为本发明方法流程图；

图2为沥青路面病害采集部分装置示意图；

图3为适用于沥青路面病害检测的标定板示意图；

图4为配合本发明方法使用的沥青病害记录表示意图；

图5为基于机器视觉原理开发的用于车道标定、图片转换以及病害测量的配套软件界面示意图。

图中：1、相机，2、三脚架，3、角度仪，4、激光测距仪。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于机器视觉的便携式沥青路面病害检测装置可以大致地分为两部分：沥青路面病害采集部分和病害测量部分。其中病害采集部分为在现场利用病害采集装置采集路面病害信息，由病害采集装置实现，病害采集装置包括一台高清数码相机1和一个能快速测量倾角、高度的三脚架2；病害测量部分为在室内利用病害测量装置完成相机1标定、图像矫正以及病害测量工作，病害测量装置包括道路图片矫正量身定做的标定板，以及可用于图片矫正和病害测量的图片处理模块(该图片处理模块已开发形成PavementPMS软件)实现。利用上述装置实现的病害检测方法将图像采集和病害测量工作分开进行，图像采集在现场，测量工作在室内，减少现场工作量，提高病害检测的灵活性。

如图2所示，病害采集装置中的三脚架2通过在普通三脚架2的基础上加以改装得到，以更好地适用于沥青道路路面病害的检测工作，添加了数码角度仪3和激光测距仪4，其中数码角度仪3可以快速测量相机1的倾角，即相机1的角度，激光测距仪4可以快速测量相机1镜头离地面的高度，即相机1的高度。

如图3所示，病害测量部分的标定板，为根据道路实际情况制作的，能覆盖一个完整的车道，并且能胜任完成多个车道测量的任务，其长度为5.5m，宽度为3.8m，是27行34列的圆形黑白喷绘标定板，圆形点之间的间距为0.154839m。

考虑到道路等级不同，车道宽度有差别，并尽可能重复利用标定板，我们进行了很多调研与实践，并最终确定这个尺寸的标定板。由于这个尺寸的标定板长度达到5.5m，宽度为3.8m，而实际道路一个车道最宽不过3.75m，因此它完全可以覆盖一整个车道，通过移动标定板，可以对车道纵向任意位置进行测量；同样的道理，在道路横向移动标定板，即可以对其他车道进行测量，因此该标定板具有胜任测量多个车道的能力。

该标定板上一共有五组特征点，特征点指的是用于机器视觉定位的不同于其他圆点的标识，如图5中白色圈所表示，每组特征点由4～6个带黑点的白圆点组成，每组特征点互不相同，实际使用时，在相机1视野中应至少保证一组特征点清晰可见(即不能失焦)。

图片处理模块包括：

标定信息处理单元，用于根据标定图片对车道进行标定，得到标定信息，所述标定信息包括：相机内参、相机位姿以及像素所代表的尺寸；

图片校正单元，用于根据相机内参和相机位姿对路面病害图片进行矫正，校正过程包括以下关键步骤：

通过前述标定过程，获取了相机1的相机内参和位姿，得到了参考系的变换矩阵，将真实病害的信息从世界坐标系转换成相机坐标系，通过矫正模型，将相机坐标系中存在畸变的图像矫正成没有畸变的，最后一次图像变换，将图像转换到图片坐标系，得到没有畸变的图片，整个过程如下：

其中：p^w为世界坐标系下的位置，p^c为相机坐标系下的位置，q^c为相机坐标系下投影平面上的位置，为相机坐标系下经过矫正模型计算得到的位置，qⁱ为最后得到没有畸变的图像坐标系中的位置；

在图像矫正中，采用了矫正模型，可以矫正大角度畸变图像；

矫正模型使用一个畸变系数κ，模型如下：

式中，μ′为矫正后的μ方向坐标，为有畸变的μ方向坐标；

v′为矫正后的ν方向坐标，为有畸变的ν方向坐标；

κ为畸变系数；

病害测量单元，用于对矫正后路面病害图片上的病害进行绘制，并由像素所代表的尺寸得到病害参数。

如图1所示，该便携式沥青路面病害检测方法包括以下步骤：

1)在安全的地方(非机动车道、绿化带、中央分隔带等没有安全隐患的地方)架设三脚架2，安装相机1，根据病害的位置调整相机1的高度、角度和焦距，使得病害清晰地位于相片中央，得到车道的路面病害图片，且车道的路面病害图片的上下边缘与车道的两侧边保持一致，这样采集的车道的路面病害图片可以包含更加全面的路面信息，有利于后续的病害测量；通过三脚架2的激光测距仪4和数码角度仪3分别读出并记录相机1的高度和角度，通过数码相机1，记下该病害相片的焦距(这个参数也可以后期通过计算机查看相片的属性获得)，记下该病害的桩号、车道以及相片编号。

为了方便高效地完成整条道路多个车道的病害信息采集工作，可以采用每条车道固定倾角、固定高度、固定焦距的方法，即每次测量的位置的连线与道路中心线平行，每个车道对应一组固定的相机高度、角度和焦距。

2)在室内完成各个车道的标定：架设好三脚架2，安装好相机1，根据现场记录的数据，调整好相机1的高度、角度和焦距，使之与欲标定的车道的三个参数(相机高度、角度和焦距)一致。移动标定板，使得标定板位于相片中央，如果相片视野太小不足以将整个标定板包括进去，那么调整标定板的位置时，至少要保证有一组特征点清晰可见，最好使这组标定点位于相片中央。

每个车道采集5～10张高质量的标定图片，记下对应的照片编号；按照上述方式完成所有车道的标定图片拍摄。

下面在配套的机器视觉软件上完成车道标定、病害图片矫正、病害测量工作。

3)标定信息处理单元的车道标定：

1、利用PavementDMS软件，根据相机拍照信息获取标定初始参数：焦距、单个像元的宽、单个像元的高、中心点x坐标、中心点y坐标；

单个像元的宽sx和单个像元的高sy满足以下公式：

式中，a为感光元件面积，b为相机1有效像素；

焦距根据所要标定的车道焦距确定；

中心点x坐标满足：中心点x坐标＝照片尺寸长/2；

中心点y坐标满足：中心点y坐标＝照片尺寸宽/2。

2、根据步骤2)中拍摄同一个车道的标定板照片，适当调节标定平滑参数，得到标定后确定的相机内参和相机位姿共14个参数并保持到标定文件内，14个参数分别是：

①相机内参：焦距、镜头畸变系数Kappa、单个像元的宽sx、单个像元的高sy、中心点x坐标cx、中心点坐标cy、图像宽和图像高；

②相机位姿：相机x坐标、相机y坐标、相机z坐标、相机x方向旋转角度、相机y方向旋转角度和相机z方向旋转角度。

其中，通过Sigma滤波器对图像进行平滑预处理，让标定板照片上的特征点更容易识别出来；上述标定平滑参数Sigma指的是与平均灰度值的最大偏差，是一个迭代的阈值。

由标定文件的内容可以得到图片内像素所代表的的尺寸(即距离、面积之类)，则获得标定信息，完成单个车道标定工作，标定信息包括：相机内参、相机位姿以及像素所代表的尺寸。

4)图片校正单元根据相机内参和相机位姿对步骤1)中将任意角度拍摄的路面病害图片矫正成正拍照片。

矫正方法：通过标定过程，将相机坐标系中的特征点坐标与实际标定板的坐标进行匹配计算，得到变换矩阵，根据此矩阵对畸变的像素加以矫正。

5)病害测量单元对矫正后路面病害图片上的病害进行ROI(感兴趣区域)绘制，并由像素所代表的尺寸得到病害参数。PavementPMS软件可实现长度测量和面积测量，在已矫正图片上根据实际需要绘制多段线，得到多段线的实际长度，即是病害的测量长度；在已矫正图片上根据实际需要绘制多边形，得到多边形的实际面积，即是病害的测量面积。

按照上述方法，完成所有车道所有病害的测量工作。

本实例选用的高清数码相机1型号为：Nikon D7200单镜反光数码照相机1，搭配焦距18-200mm的镜头，有效像素数为2416万，影像传感器为23.5mm×15.6mm CMOS传感器，图片尺寸为6000×4000像素。

病害检测路段为某单幅双向两车道沥青道路，每条车道宽度为3.5m，硬路肩宽度为1m。实际检测时，选择了一处典型的横向裂缝进行作业。步骤如下：

(1)将三脚架2放置在横向裂缝所在车道一侧的硬路肩上，距车道线0.65m，安装相机1，相机1视线与道路中心线垂直，调整相机1的高度、角度和焦距，使得相片刚好将一个车道包括进去(即车道线与照片的上下边界基本重合)，读取激光测距仪4、数码角度仪3以及相机1焦距的数值，将这个高度、角度和焦距记录到图4所示的病害记录表中备用。本例的高度为1.5m，角度为42°，焦距为18mm。

顺着行车道方向平行移动三脚架2和相机1，使得欲采集的裂缝位于相片中央，确定相机1的高度、角度和焦距均没有发生变化，拍摄照片，填写病害记录表，记下相应的照片编号备用。

(2)在室内宽阔的场所架设三脚架2，安装相机1，利用激光测距仪4和数码角度仪3，将相机1的高度调整为1.5m，角度为42°，调节相机1的焦距为18mm。展开标定喷绘板，移动标定板的位置，由于相机1处于这个位置时视野太小，无法将整个标定板包括进去，只能在移动标定板时，将一组特征点移动到相片中央位置，确定相机1的高度、角度和焦距保持不变，拍摄照片，记下照片编号，备用；然后移动或旋转标定板，再拍摄5张标定板照片，分别记下编号，备用。

(3)PavementPMS软件运行实现下列过程：

①设置参数：

焦距为18mm；

中心点x坐标＝6000/2＝3000；

中心点y坐标＝4000/2＝2000。

②对拍摄的标定板照片(即标定图片)，适当调节标定平滑参数，完成车道标定工作。

③将相机内参和位姿参数保存在pavement.txt文件(即标定文件)中，该文件记录了以下参数：

焦距＝0.018、κ(镜头畸变系数)＝-346.283、单个像元的宽(sx)＝3.87412e-006、单个像元的高(sy)＝3.9e-006、中心点x坐标(cx)＝2941.57、中心点坐标(cy)＝1989.1、图像宽＝6000、图像高＝4000；

相机x坐标＝-0.508834、相机y坐标＝-0.748769、相机z坐标＝2.13386、相机x方向旋转角度＝324.246、相机y方向旋转角度＝359.214、相机z方向旋转角度＝266.547。

④根据标定文件(pavement.txt)自动加载已经标定好的相机内参和相机位姿参数，完成标定设置。

⑤打开采集的裂缝病害图片，将加载的病害图片矫正成正拍照片，如图5所示。

⑥最后一步，测量裂缝的长度：按照裂缝的走向绘制多段线，使多段线尽可能与裂缝重合，完成多段线绘制，在输出窗口显示多段线的实际长度，即是裂缝的测量长度，为1.696m，如图5所示。现场用钢卷尺量取的裂缝长度为1.8m。试验结果证明，采用本发明方法可以便携、安全、快速、高精度地对沥青路面病害进行检测。

再做与现有机器视觉方法作对比试验，采用现有的正面拍摄和斜拍摄、以及现有的视觉识别方法获取的相同裂缝的长度为1.501m，通过多次对比试验证明可得，本发明方法从图像采集、室内标定、校正、测量多方面出发，相比现有技术可以达到更高的检测精度。

综上，本发明在目的定位上，旨在服务于中小范围长期病害跟踪检测，与现有大型多功能检测车形成互补；在实际使用上，力求便携，不影响交通，可以任意调整相机1姿态以在最安全舒适的地方，获取最佳质量的病害图像，安全高效，充分发挥基于机器视觉的小型路面病害检测设备的优势；在配套计算软件开发上，做到了可以处理多种类型的路面病害，精度高，速度快。