一种基于三维虚拟路面的裂缝自动检测方法
【专利摘要】本发明公开了一种基于三维虚拟路面的裂缝自动检测方法，其包括以下步骤：(1)对1mm/像素的路面深度图像进行消隐处理和光照模型处理建立三维虚拟路面，通过4个角度的立体投影产生4幅投影图像Ω1?Ω4；(2)分别对所述步骤(1)中产生的4幅投影图像Ω1?Ω4依次进行降维处理、包括强度验证及对称性检测的裂缝识别以及裂缝连接，获得阴影区裂缝图像Ωs1?Ωs4及反光区裂缝图像Ωr1?Ωr4；(3)有效的融合阴影区裂缝图像Ωs1?Ωs4及反光区裂缝图像Ωr1?Ωr4的裂缝信息并进行深度验证和滑动去噪处理，获得裂缝图像，测试表明，基于255张图像(4096×2048)的测试显示：算法具有较高的准确率(平均80.34％)和召回率(平均83.89％)，以80.47％的F值优于ADA3D算法。
【专利说明】
-种基于H维虚拟路面的裂缝自动检测方法
技术领域
[0001] 本发明设及一种路面裂缝检测方法，特别是设及一种基于=维虚拟路面的裂缝自 动检测方法，属于=维图像采集技术领域。
【背景技术】
[0002] 裂缝是路面各类破损中最常见、最易发生和最早期产生的病害之一，它伴随着道 路的整个使用期，并随着路龄的增长而加重.路面裂缝不但影响路容美观和行车舒适性，而 且容易扩展，造成路面的结构性破坏，缩短路面使用寿命。因此应及时检测路面裂缝破损状 况，制定和实施养护措施，否则雨水及杂物会沿裂缝进入面层结构及路基，导致路面承载能 力下降，加速路面局部或成片损坏，降低行车安全性及道路通行能力。
[0003] 最初，人们采用人工检测方法获取路面裂缝信息，不仅劳动强度高、效率低下，且 影响交通、难W保障检测人员安全.上世纪80年代，美国、加拿大等发达国家纷纷开展路面 裂缝自动检测系统的研发工作，W满足急剧增长的路面养护管理需求。之后30年间，许多基 于超声波技术、探地雷达和摄像测量等技术的路面检测系统先后面世，其中，摄像测量法能 全面地采集路面裂缝、坑槽、松散、车徹、平整度等信息，已逐渐成为路面破损检测的主流技 术。
[0004] 现今绝大部分路面裂缝检测系统仍只能采集路面二维信息（主要是路面灰度图 像），直到近5年来，路面=维信息采集系统才开始崭露头角并显示出广阔的前景，如路面综 合检测车DHDV(Digi化1 Highway Data Vehicle) [3]和路面S维扫描系统，在路面信息采 集方面实现了由灰度图像向=维数据的变革，弥补了传统二维图像质量易受车道标线、阴 影及油污等影响的缺陷，显著地提高了路面数据质量。
[0005] 综观路面裂缝识别算法研究，单目前仍W二维图像处理方法检测裂缝，并未考虑 路面=维空间特征，为进一步挖掘有利于裂缝检测的路面=维信息，有必要在路面=维数 据的基础上对考虑=维特征的路面裂缝检测展开研究。推动路面裂缝识别朝着=维检测方 向发展并快速、准确、完整地识别裂缝。
【发明内容】
[0006] 本发明针对现有的技术问题，提供一种基于=维虚拟路面的裂缝自动检测方法， =维虚拟路面进行4个角度的观察与分析，设计具有并行框架的裂缝识别算法捕捉运4个角 度的投影图像裂缝信息，然后进行融合与去噪处理、获得裂缝识别结果，拟解决现有技术存 在的问题。
[0007] 为实现上述目的，本发明提供如下技术方案:一种基于=维虚拟路面的裂缝自动 检测方法，其特征在于，其包括W下步骤：
[000引（1)对Imm/像素的路面深度图像进行消隐处理和光照模型处理建立=维虚拟路 面，通过4个角度的立体投影产生4幅投影图像Q 1-Q4;
[0009] (2)分别对所述步骤（1)中产生的4幅投影图像Q I-Q 4依次进行降维处理、包括强 度验证及对称性检测的裂缝识别W及裂缝连接，获得阴影区裂缝图像Qsl-Q s4及反光区 裂缝图像Qrl-Q r4;
[0010] (3)有效的融合阴影区裂缝图像Q Si- Q s4及反光区裂缝图像Q rl- Q r4的裂缝信 息并进行深度验证和滑动去噪处理，获得裂缝图像。
[0011] 进一步，作为优选，在所述步骤(1)中，产生4幅投影图像Q I-Q 4时，是采用光照从 左到右、光照从右到左、光照从前到后、光照从后^前四个角度对路面进行光照来获得4幅 投影图。
[0012] 进一步，作为优选，所述步骤(2)中，对投影图像进行裂缝识别处理的步骤包括:对 于根据Q 1检测阴影区裂缝Q Sl;
[0013] (i)图像预处理:首先进行中值滤波去噪，接着W起点像素=(0,0)将光照强度图 像Q 1划分为8像素 X 8像素的子块，降维图像Q 10的每个像素则对应于一个8像素 X 8像素 的子块，且其像素值为运8 X 8个像素的像素值的均值，Q 11的获得过程类似，只是8像素 X 8 像素子块划分的起点像素为(4,4)，后续操作基于Q 10和Q 11进行裂缝检测、连接、融合与 去噪处理；
[0014] (ii)裂缝种子识别:检测降维图像Q 10和Q 11中各个像素是否具有强度值较低和 方向性较强两项特征，符合运些特征的像素称为裂缝种子，其余的则为非裂缝像素；
[001引（iii)裂缝连接:先基于最优路径连接强度相似的裂缝种子，然后将方向相似的裂 缝种子连接起来，增强裂缝的整体性和连续性；
[0016] (IV)裂缝种子融合与去噪处理:将来自于降维图像Q 10和Q 11的2幅裂缝初步识 别结果融合在一起，取裂缝像素的并集，然后进行滑动窗口去噪处理，获得裂缝图像Q S1;
[0017] 采用（i)-(IV)的方法对获得的Q s2-Q s4及Q rl-Q r4进行裂缝识别处理。
[0018] 进一步，作为优选，对裂缝种子识别的具体方法为：
[0019] (I)强度验证I:中屯、像素（i，j)为需要强度验证的像素，在半径为r = 4的邻域内， 强度应满足：
[0020] i
[0021]
[0022] 式中，7。为强度验证模板(边长化+1的正方形）中所有像素的平均强度值;K .)代 表像素强度值;Kl为阔值参数;X和y分别为像素的纵坐标和横坐标。
[0023] (II)强度验证II:强度验证II与强度验证I相仿，只是中屯、像素在其半径为r = 4的 邻域内，其强度应满足：
[0024] (3) 9
[0025] (III)对称性检测I:针对光照强度图像Ql和〇2，检测每个像素在0°、45°、90°和 135°方向上的强度变化情况，判断其是否存在显著的差异；
[00%] a)分别计算中屯、像（i，j)素两侧r = 4个像素的强度均值HiWi和，W = 1，2，3，4，分 别表示0°、45°、90°和135°运4个方向；
[0027] (4)
[0028] 口）
[0029] 式中，I(n)为对称性检测模版的中屯、像素两侧第n个像素的深度值，nG[-r，-l]或 nG [1 ,r]；
[0030] b)计算各方向深度变化Sw，W表示方向W的2 X r+1个像素中的最低强度值；
[0031] 5w=min{mwi-]iw,mw2-liw} (6)
[0032] C)获得最大和最小的强度变化值Smax和Smin:
[0033] 5jiax=max{5w} (7)
[0034] 5min=min{Sw} (8)
[0035] d)裂缝像素在不同方向上的强度变化应存在显著的差异，因此需满足：
[0036] Smax^tl (9)
[0037] Smax-Smin^si (10)
[003引式中，ti，Si为阔值参数。
[0039] (IV)对称性检测II:
[0040] 与对称性检测I类似，针对Q 3和Q 4进行对称性检测，其区别在于步骤b)和d);
[0041] a)分别计算中屯、像素（i，j)两侦Ur = 4个像素的强度均值m'wi和m'w2;
[0042] b)计算各方向强度变化表示方向W的2Xr+l个像素中的最低强度值；
[004；3] 5'w=min{ |m'w广I(i，j) I，|m'w2-I(i，j) I} (11)
[0044] c)获得最大和最小的强度变化值S'max和S'min;
[0045] d)裂缝像素在不同方向上的强度变化应存在显著的差异，需满足：
[0046] S，max>t2 (12)
[0047] S'max-S'min>S2 (13)
[004引式中，t2，S2为阔值参数。
[0049] 与现有技术相比，本发明的有益效果是：
[0050] 本发明基于Imm/像素的路面深度图像建立了 =维虚拟路面并利用多角度立体投 影获得4幅光照强度图像，然后对它们进行图像降维、裂缝种子识别与连接(形成8个并列的 子流程），最后通过裂缝图像融合、深度验证与滑动去噪获得裂缝识别结果，测试表明，基于 255张图像(4096 X2048)的测试显示:算法具有较高的准确率(平均80.34%)和召回率(平 均83.89 % )，W80.47 %的F值优于ADA3D算法;此外，并行框架有利于程序并行化，能有效提 高运算速度，本发明吗从不同角度投影产生光照强度图像可提供更丰富的视觉信息，在此 基础上识别裂缝，考虑了路面本身的=维特征，跳出了传统二维图像处理的范畴，有利于推 动路面裂缝=维识别方法的研发，改善裂缝识别准确率、完整性和稳定性，进而为路面养护 管理、路面性能评价与预测、路面结构和材料设计奠定坚实的基础。
【附图说明】
[0051 ]图1是本发明的方法的流程结构示意图；
[0052] 图2是本发明的生成光照强度的示意图；
[0053] 图3是本发明的阴影区裂缝检测的示意图；
[0054] 图4是本发明的对称性检测的示意图；
【具体实施方式】
[0055] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0056] 请参阅图1-4,本发明提供一种技术方案:一种基于=维虚拟路面的裂缝自动检测 方法，其特征在于，其包括W下步骤：
[0057] (1)对Imm/像素的路面深度图像进行消隐处理和光照模型处理建立=维虚拟路 面，通过4个角度的立体投影产生4幅投影图像Q 1-Q4,产生4幅投影图像Q 1-Q4时，是采 用光照从左到右、光照从右到左、光照从前到后、光照从后^前四个角度对路面进行光照来 获得4幅投影图；
[0058] (2)分别对所述步骤（1)中产生的4幅投影图像Q I-Q 4依次进行降维处理、包括强 度验证及对称性检测的裂缝识别W及裂缝连接，获得阴影区裂缝图像Q Sl-Q s4及反光区 裂缝图像Qrl-Q r4;
[0059] (3)有效的融合阴影区裂缝图像Q Si- Q s4及反光区裂缝图像Q rl- Q r4的裂缝信 息并进行深度验证和滑动去噪处理，获得裂缝图像。
[0060] 在本实施例中，所述步骤(2)中，对投影图像进行裂缝识别处理的步骤包括:对于 根据Ql检测阴影区裂缝Q Si;
[0061] (i)图像预处理:首先进行中值滤波去噪，接着W起点像素=(〇,〇)将光照强度图 像Q 1划分为8像素 X 8像素的子块，降维图像Q 10的每个像素则对应于一个8像素 X 8像素 的子块，且其像素值为运8 X 8个像素的像素值的均值，Q 11的获得过程类似，只是8像素 X 8 像素子块划分的起点像素为(4,4)，后续操作基于Q 10和Q 11进行裂缝检测、连接、融合与 去噪处理；
[0062] (ii)裂缝种子识别:检测降维图像Q 10和Q 11中各个像素是否具有强度值较低和 方向性较强两项特征，符合运些特征的像素称为裂缝种子，其余的则为非裂缝像素；
[0063] (iii)裂缝连接:先基于最优路径连接强度相似的裂缝种子，然后将方向相似的裂 缝种子连接起来，增强裂缝的整体性和连续性；
[0064] (IV)裂缝种子融合与去噪处理:将来自于降维图像Q 10和Q 11的2幅裂缝初步识 别结果融合在一起，取裂缝像素的并集，然后进行滑动窗口去噪处理，获得裂缝图像Q S1; [00化]采用（i)-(IV)的方法对获得的Q s2-Q s4及Q rl-Q r4进行裂缝识别处理。
[0066] 对裂缝种子识别的具体方法为：
[0067] (I)强度验证I:中屯、像素（i，j)为需要强度验证的像素，在半径为r = 4的邻域内， 强度应满足：
[006引
[0069]
[0070] 式中，^为强度验证模板地长化+1的正方形）中所有像素的平均强度值；I(.)代 表像素强度值;Kl为阔值参数;X和y分别为像素的纵坐标和横坐标。
[0071] (II)强度验证II:强度验证II与强度验证I相仿，只是中屯、像素在其半径为r = 4的 邻域内，其强度应满足：
[0072] (3) ? ,
[0073] (III)对称性检测I:针对光照强度图像Q 1和Q 2,检测每个像素在0°、45°、90°和 135°方向上的强度变化情况，判断其是否存在显著的差异；
[0074] a)分别计算中屯、像（i，j)素两侧r = 4个像素的强度均值HiWi和mw2，w=l，2,3,4，分 别表示0°、45°、90°和135°运4个方向；
[0075] (4)
[0076] 口）
[0077] 式中，Kn)为对称性检测模版的中屯、像素两侧第n个像素的深度值，nG[-r，-l]或 nG [1 ,r]；
[0078] b)计算各方向深度变化Sw，iiw表示方向W的2Xr+l个像素中的最低强度值；
[0079] Sw-IIiin {niwi-iiw, (6)
[0080] c)获得最大和最小的强度变化值Smax和Smin:
[0081] 5max=max{5w} (7)
[0082] 5min=min{5w} (8)
[0083] d)裂缝像素在不同方向上的强度变化应存在显著的差异，因此需满足：
[0084] Smax^tl (9)
[00 化]Smax-Smin^si (10)
[0086] 式中，ti，S功阔值参数。
[0087] (IV)对称性检测II:
[0088] 与对称性检测I类似，针对Q 3和Q 4进行对称性检测，其区别在于步骤b)和d);
[0089] a)分别计算中屯、像素（i，j)两侧r-4个像素的强度均值m'wi和m'w2;
[0090] b)计算各方向强度变化表示方向W的2Xr+l个像素中的最低强度值；
[0091] 5'w=min{ |m'w广I(i，j) I，|m'w2-I(i，j) I} (11)
[0092] c)获得最大和最小的强度变化值S'max和S'min;
[0093] d)裂缝像素在不同方向上的强度变化应存在显著的差异，需满足：
[0094] S，max>t2 (12)
[00 巧]S，max-S，min>S2 (13)
[0096] 式中，t2，S2为阔值参数。
[0097] 本发明基于lmm/像素的路面深度图像建立了 =维虚拟路面并利用多角度立体投 影获得4幅光照强度图像，然后对它们进行图像降维、裂缝种子识别与连接(形成8个并列的 子流程），最后通过裂缝图像融合、深度验证与滑动去噪获得裂缝识别结果，测试表明，基于 255张图像(4096 X2048)的测试显示:算法具有较高的准确率(平均80.34%)和召回率(平 均83.89 % )，W80.47 %的F值优于ADA3D算法;此外，并行框架有利于程序并行化，能有效提 高运算速度，本发明吗从不同角度投影产生光照强度图像可提供更丰富的视觉信息，在此 基础上识别裂缝，考虑了路面本身的=维特征，跳出了传统二维图像处理的范畴，有利于推 动路面裂缝=维识别方法的研发，改善裂缝识别准确率、完整性和稳定性，进而为路面养护 管理、路面性能评价与预测、路面结构和材料设计奠定坚实的基础。
[0098] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可W 理解在不脱离本发明的原理和精神的情况下可W对运些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同物限定。
【主权项】
1. 一种基于三维虚拟路面的裂缝自动检测方法，其特征在于，其包括以下步骤： (1) 对Imm/像素的路面深度图像进行消隐处理和光照模型处理建立三维虚拟路面，通 过4个角度的立体投影产生4幅投影图像Ω 1-Ω 4; (2) 分别对所述步骤(1)中产生的4幅投影图像Ω1-Ω 4依次进行降维处理、包括强度验 证及对称性检测的裂缝识别以及裂缝连接，获得阴影区裂缝图像Ω81-Ω 84及反光区裂缝 图像 Ω rl_ Ω r4; (3) 有效的融合阴影区裂缝图像Ω81-Ω84及反光区裂缝图像Ωγ1-Ωγ4的裂缝信息并 进行深度验证和滑动去噪处理，获得裂缝图像。2. 根据权利要求1所述的一种基于三维虚拟路面的裂缝自动检测方法，其特征在于:在 所述步骤（1)中，产生4幅投影图像Ω1-Ω 4时，是采用光照从左到右、光照从右到左、光照从 前到后、光照从后-前四个角度对路面进行光照来获得4幅投影图。3. 根据权利要求1所述的一种基于三维虚拟路面的裂缝自动检测方法，其特征在于:所 述步骤(2)中，对投影图像进行裂缝识别处理的步骤包括:对于根据Ω1检测阴影区裂缝Ω si ； (i) 图像预处理:首先进行中值滤波去噪，接着以起点像素=(〇,〇)将光照强度图像Ω1 划分为8像素X 8像素的子块，降维图像Ω 10的每个像素则对应于一个8像素X 8像素的子 块，且其像素值为这8 X8个像素的像素值的均值，Ω 11的获得过程类似，只是8像素X 8像素 子块划分的起点像素为(4,4)，后续操作基于Ω 10和Ω 11进行裂缝检测、连接、融合与去噪 处理； (ii) 裂缝种子识别:检测降维图像Ω 10和Ω 11中各个像素是否具有强度值较低和方向 性较强两项特征，符合这些特征的像素称为裂缝种子，其余的则为非裂缝像素； (i i i)裂缝连接:先基于最优路径连接强度相似的裂缝种子，然后将方向相似的裂缝种 子连接起来，增强裂缝的整体性和连续性； (IV)裂缝种子融合与去噪处理:将来自于降维图像Ω 10和Ω 11的2幅裂缝初步识别结 果融合在一起，取裂缝像素的并集，然后进行滑动窗口去噪处理，获得裂缝图像Ω s 1; 采用（i)_(IV)的方法对获得的Ω s2_ Ω S4及Ω r 1-Ω r4进行裂缝识别处理。4. 根据权利要求3所述的一种基于三维虚拟路面的裂缝自动检测方法，其特征在于:对 裂缝种子识别的具体方法为： (I) 强度验证I:中心像素（i，j)为需要强度验证的像素，在半径为r = 4的邻域内，强度 应满足：式中，为强度验证模板(边长2r+l的正方形）中所有像素的平均强度值;1( ·)代表像 素强度值;Kl为阈值参数;1和7分别为像素的纵坐标和横坐标。 (II) 强度验证II:强度验证II与强度验证I相仿，只是中心像素在其半径为r = 4的邻域 内，其强度应满足： (3) (III) 对称性检测I:针对光照强度图像Ω 1和Ω 2,检测每个像素在0°、45°、90°和135° 方向上的强度变化情况，判断其是否存在显著的差异； a) 分别计算中心像(i，j)素两侧r = 4个像素的强度均值1^1和1^2，《=1，2,3,4，分别表示 0°、45°、90° 和 135° 这4个方向；'' (4) (5) 式中，Kn)为对称性检测模版的中心像素两侧第η个像素的深度值，ne[-r，-l]或ne [l，r]; b) 计算各方向深度变化δ?，μ?表示方向w的2Xr+l个像素中的最低强度值； -rnin {rnwi_yw，rnw2_yw} (6) c) 获得最大和最小的强度变化值3max和δη?η: Smax-max {Sw} (7) 5min=min{5w} (8) d) 裂缝像素在不同方向上的强度变化应存在显著的差异，因此需满足： Smax^tl (9) Smax-Smin^ SI (10) 式中，tl，Sl为阈值参数。 (IV) 对称性检测II: 与对称性检测I类似，针对Ω 3和Ω 4进行对称性检测，其区别在于步骤b)和d); a) 分别计算中心像素(i，j)两侧r = 4个像素的强度均值m'wdPm'w2; b) 计算各方向强度变化Sw，μ ' |表示方向w的2 X r+1个像素中的最低强度值； 5'w=min{ |m'wi_I(i，j) I，|m'w2_I(i，j) I} (11) c) 获得最大和最小的强度变化值δ'max和δ'min; d) 裂缝像素在不同方向上的强度变化应存在显著的差异，需满足： δ'·χ 彡 t2 (12) δ'max-δS2 (13) 式中，t2，S2为阈值参数。
【文档编号】G06T17/05GK106023226SQ201610375989
【公开日】2016年10月12日
【申请日】2016年5月31日
【发明人】彭博, 蔡晓禹, 张有节, 李少博
【申请人】彭博