一种基于热成像的道路路面积水结冰的检测方法及系统与流程

1.本发明深度学习技术领域，尤其涉及一种基于热成像技术的市政道路路面积水结冰检测方法及系统。


背景技术：

2.目前在市政道路病害检测技术中多数为利用常规摄影辅助以深度学习技术，可达到对道路裂缝、坑槽等明显道路病害的较高精度识别，然而对于积水、结冰、积雪等与周边环境较为相似的道路病害时，由于受到光线、摄像机像素、病害颜色等诸多因素的影响，普通摄像机识别时误差会大大提高。
3.针对市政道路及其他道路中存在的这种情况，现有技术利用多光谱测量技术，利用红外光的发射与反射，结合路面水与冰的特定波长，探测到水、冰、雪；但此传感器由于需要接收反射光，其位置需要一直固定，只能探测一小部分范围的路面，如需对道路全段进行探测，其成本会大大增加。同时，红外测量要求测量距离保持不变进行图像分析，移动测量难以满足。现阶段由于既有探测技术缺乏，道路积水结冰等病害多有人工巡检发现，发现病害后进行上报。然而，采用人工巡检的方法存在工作量较大、工作效率较低的问题，且出于个人主观随意性和认识模糊性，造成病害巡检存在一定漏检可能。
4.中国发明专利201910209584提到了基于视频处理的道路结冰检测系统及方法，该方法采用视频图像分析来进行道路结冰检测，往往对积水及结冰存在误判，准确率往往不高。现阶段基于红外热成像图片的智能识别技术研究较少，有通过ai的深度学习技术在热成像图片中识别人脸或动物行为的相关研究，但在道路路面病害识别方面由于对象间温差较小，且各类病害特征不明，应用较少。而热成像技术可全天候工作，不受强光和低照的影响，也不受雨雪雾霾等环境影响，穿透能力强，同时也不受测量距离的限制，对市政巡检的适应力很强。


技术实现要素：

5.本发明的目的在于克服上述现有设计存在的不足，提供一种基于热成像技术和深度学习的市政道路路面积水结冰检测方法及系统。本发明专利的方法及系统要能够克服现有技术中单一采用视频巡检的不足，提供一种能够全天候实现巡检，检测准确率高，计算及判断都要准确可靠。
6.为了达到上述发明目的，本发明专利提供的技术方案如下：
7.本发明首先提供了一种基于热成像的道路路面积水结冰的检测方法，该方法用于市政路面的积水及结冰的病害检测，该检测方法包括如下步骤：
8.第一步，同位热红外与可见光图像采集，利用车载双光红外热像仪对市政路面进行视频拍摄，获取同一条道路的可见光视频与热红外视频；
9.第二步，热红外与可见光图像预处理与图像融合，在拍摄的视频数据中提取出重叠度为e的热红外图像和可见光图像，将热红外图像与可见光图像转化成灰度图，提取图中
位置、尺度和方向的关键点作为特征点，为特征点计算建立描述子向量，计算特征描述子并对特征点进行匹配，在同一平面中根据热红外图像与可见光图像中多对匹配点计算单应矩阵，对选取的热红外图像和可见光图像中所有点进行匹配，进行图像视角转换，实现每对可见光图像与对的热红外图像的配准；
10.第三步，对融合图像特征进行数据标注，根据各自特征获得可见光图像与热红外图像的积水结冰区域的矩形框，对矩形框位置进行并集运算，人工复核删减非积水结冰区域，得到积水结冰区域的实际最小包围矩形与标注数据，分别处理可见光图像与热红外图像，综合提取两种图像的特征权重，并按照权重进行融合，使得标注数据与融合图像一一对应；
11.第四步，训练积水结冰自动识别模型，得到不同训练次数下的模型权重文件；
12.第五步，利用训练完成的自动识别模型，深度学习得到标注完成的融合图像，将后续巡检采集的视频数据进行自动识别，获得带有矩形框和标注数据的图片；
13.第六步，积水结冰病害的宽度和面积，根据可见光与热红外融合图像，确定积水结冰区域的具体边界线，根据像素点数与图片整体宽度像素点数比例计算积水结冰区域宽度和面积。
14.在所述第一步中，同位采集热红外图形与可见光图像的过程包括有：
15.s11.校准双光红外热像仪，该双光红外热像仪上设有可采集热红外视频的摄像头和采集可见光视频的摄像头，根据拍摄角度α及对地面距离h计算视频长宽对应现实尺度为l
×
w，单位为mm，根据拍摄视频像素长宽m
×
n，单位为px，计算单位像素距离值单位像素面积值
16.s12.利用巡检车在市政道路上运动，其上的车载双光红外热像仪对路面进行视频拍摄，获取同一条路的可见光视频与热红外视频。
17.在所述第二步中，图像预处理与图像融合的实现过程包括有：
18.s21.对拍摄的视频数据根据车速v(km/h)，拍摄间隔δt(s)，提取出重叠度为e的热红外图像img1和可见光图像img2，并满足常量3600表示1小时3600秒，1000000表示1千米1000000毫米，该公式表示该车速下以前后两张图像的重叠度等于车辆行驶的距离，以完成对道路的完整覆盖；
19.s22.分别将一对热红外图像与可见光图像转化为灰度图，使用sift算法提取含有位置、尺度和方向的关键点即为特征点，提取特征点后为特征点计算建立一个描述子向量，描述子与特征点所在尺度有关，描述子向量为h＝(h1，h2，...，h
128
)，常量128表示128维，去除光照影响后得到归一化后的特征向量l＝(l1，l2，...，l
128
)，即计算特征描述子并对特征点进行匹配，即满足红外图像中关键点描述子向量ri与可见光图像中需配对关键点描述子si间相似性度量小于红外图像中关键点描述子与可见光图像中任一关键点描
述子间相似性度量；
20.s23.假设匹配点在同一平面中，即z＝0，根据热红外图像与可见光图像中4对以上匹配点对计算单应矩阵满足计算出单应矩阵后对热红外图像img1和可见光图像img2中所有点进行匹配，实现图像的配准；
21.s24.所有的可见光图像与对应的热红外图像对都采用相同的映射关系，其单应性矩阵不变，根据单应矩阵实现每对可见光图像与对应的热红外图像的配准。
22.进一步地，在图像融合后，若存在可见光图像和热红外图像画幅大小不同的情况，需对配准后的图像进行剪裁，得到对应两图像的交集部分。
23.所述第三步中，在对融合图像进行数据标注时执行如下操作：
24.s31.对可见光图像,根据图像的纹理特征，采用人工的形式利用矩形框标注积水结冰区域；
25.s32.对热红外图像，根据像素点温度t来提取温度不同区域a
t
的轮廓特征，获取轮廓特征在x轴、y轴方向的最大长度获取其最小包围矩形lt
×wt
；
26.s33.对s31和s32确定的矩形框位置进行并集运算，人工复核删减非积水结冰区域，得到积水结冰区域的实际最小包围矩形框及其标注数据。
27.进一步地，所述第四步中训练积水结冰自动识别模型的过程如下：
28.s41.利用基于非下采样轮廓波变换的融合算法处理热红外与可见光图像，即分别将热红外图像与可见光图像进行nsp分解为高频系数u0与低频系数u1，将热红外图像与可见光图像的低频系数加权平均，高频系数取最大绝对值，综合提取热红外图像与可见光图像的特征权重，并按权重进行融，将s33中的标注数据与融合图像一一对应；
29.s42.利用yolov3网络训练，用已预训练的darknet53网络模型，输入训练集与验证集图片，设定以上所述参数及迭代次数，可设置每迭代n次输出权重文件，当输出平均损失loss小于某阈值，及预测值与真实值偏移量小于某阈值时即完成训练，训练后可得到模型权重文件，训练时的参数设置如下：网络的输入宽、高、通道数分别为：width、height、channels影响图片分辨率；类别为subdivisions，训练的批大小设置为batch影响训练效果及设备压力；动量设置为momentum影响趋向最优值的速度；权重衰减设置为decay防止过拟合；初始学习率设置为learning-rate，迭代次数设置为burn_in影响学习速率和训练效果；采用迁移学习的方式训练，使用在imagenet上预训练好的darknet53网络的权重。
30.在所述第六步中，获得带有矩形框和标注数据的图片的过程为：
31.s51.通过差分高斯滤波算法处理热红外与可见光融合图像imgmix，设置两次高斯滤波的sigma为σ1，σ2，其高斯滤波结果分别存入pro1与pr
o2
，差分r＝pro1-pro2|即可，增强积水结冰区域边界线显示，消除拍摄视频及图片中的噪点；
32.s52.根据自动识别模型处理标签确定积水结冰区域位置，将步骤s42中训练完成后模型权重文件加载后，输入待检测图片，即可生成带有矩形框标注积水结冰位置的图片，根据步骤s51处理确定积水结冰区域具体边界线，获取边界内最宽处像素点数量n
max
，根据该像素点数与图片整体宽度像素点数比例k计算积水结冰区域宽度。
33.本发明还提供了一种基于热成像的道路路面积水结冰的检测系统，该系统包括安
装在巡检车辆上的车载双红外热像仪、5g传输网络和服务器，在所述服务器中设有影像预处理模块、图像融合模块、数据标注模块、积水结冰自动识别模型和积水结冰宽度与面积计算模块；
34.所述巡检车辆按照巡检计划对市政道路进行巡查，将车载双光红外热像仪拍摄的视频通过所述的5g网络传输至所述服务器中；
35.所述影像预处理模块，依据拍摄的视频数据，提取出具有重叠度的热红外图像和可见光图像；
36.所述图像融合模块，将一对具有重叠度的热红外图像和可见光图像转化为灰度图，提取含有位置、尺度和方向的关键点，以关键点作为特征点提取，建立描述子向量进行特征点计算，再得到归一化特征向量，计算特征描述子并对特征点进行匹配，将匹配点同一平面内，根据热红外图像与可见光图像4对以上的匹配点对来计算单应矩阵，依据计算的单应矩阵对热红外图像和可见光图像所有的点进行匹配，实现一对图形的配准，再将计算的单应矩阵扩大应用至所有的热红外图像和可见光图像，实现每对热红外图像和可见光图像的配准；
37.所述数据标注模块，利用人工在可见光图像上矩形框标注积水结冰区域，热红外图像根据像素点温度提取温度不同区域的轮廓特征，获取轮廓特征在x轴、y轴方向的最大长度获得其最小包围矩形框，将两个矩形框并集运算，再用人工复核并删减非积水结冰区域，得到积水结冰区域的实际最小包围矩形和标注数据，该标注数据为积水结冰区域的标注记号；
38.所述积水结冰自动识别模型，利用融合算法分别将热红外图像与可见光图像nsp分解为高频系数u0与低频系数u1，将两者低频系数加权平均，高频系数取最大绝对值，综合提取两图特征权重，并按权重进行融合得到热红外图像与可见光图像的融合图像，将标注数据与融合图像一一对应；调整模型参数实现迭代，获得训练完成的积水结冰自动识别模型，以对后续巡检得到的视频数据进行自动识别，获得带有矩形框和标注数据的图片；
39.所述积水结冰宽度与面积计算模块，通过差分高斯滤波算法处理热红外与可见光的融合图像，获得图像中积水结冰区域的轮廓和轮廓内像素点数量，根据像素点与图片整体像素点数量比例，分别计算积水结冰区的宽度和面积，再将标注数据返回至融合图像中。
40.基于上述技术方案，本发明专利与现有技术相比，具有如下技术优点：
41.本发明提出了一种面向市政路面积水结冰病害检测应用的基于热成像技术和深度学习技术的病害识别方法，一方面能够在不受距离、环境、光线、行驶速度等条件下对路面积水、结冰病害进行智能识别，改变了部分路面病害无法精确识别的现状，简化了路面检测方法，提高了路面相关病害检测的准确性和检测效率，适用于道路巡检车装载并进行日常巡检移动测量，另一方面为规范中路面抗滑性能指数的计算提供了更准确客观的路面相关病害参数，为路面状态分析及路面性能预测提高了数据可靠性。
附图说明
42.图1是本发明一种基于热成像的道路路面积水结冰的检测方法的流程示意图。
43.图2是本发明实例中融合图像经过模型识别后的积水结冰区域及标注数据示意图。
具体实施方式
44.下面我们结合附图和具体的实施例来对本发明的种基于热成像和深度学习的道路路面积水及结冰的检测方法及检测系统做做进一步地详细阐述，以求更为清楚明了地理解其结构组成和工作方式，但不能以此来限制本发明的保护范围。
45.本发明涉及到一种基于热成像和深度学习的道路路面积水及结冰的检测系统，用于市政路面的积水及结冰的病害检测。该系统包括安装在巡检车辆上的车载双红外热像仪、5g传输网络和服务器，在所述服务器中设有影像预处理模块、图像融合模块、数据标注模块、积水结冰自动识别模型和积水结冰宽度与面积计算模块；
46.所述巡检车辆按照巡检计划对市政道路进行巡查，将车载双光红外热像仪拍摄的视频通过所述的5g网络传输至所述服务器中；
47.所述影像预处理模块，依据拍摄的视频数据，提取出具有重叠度的热红外图像和可见光图像；
48.所述图像融合模块，将一对具有重叠度的热红外图像和可见光图像转化为灰度图，提取含有位置、尺度和方向的关键点，以关键点作为特征点提取，建立描述子向量进行特征点计算，再得到归一化特征向量，计算特征描述子并对特征点进行匹配，将匹配点同一平面内，根据热红外图像与可见光图像4对以上的匹配点对来计算单应矩阵，依据计算的单应矩阵对热红外图像和可见光图像所有的点进行匹配，实现一对图形的配准，再将计算的单应矩阵扩大应用至所有的热红外图像和可见光图像，实现每对热红外图像和可见光图像的配准；
49.所述数据标注模块，利用人工在可见光图像上矩形框标注积水结冰区域，热红外图像根据像素点温度提取温度不同区域的轮廓特征，获取轮廓特征在x轴、y轴方向的最大长度获得其最小包围矩形框，将两个矩形框并集运算，再用人工复核并删减非积水结冰区域，得到积水结冰区域的实际最小包围矩形和标注数据，该标注数据为积水结冰区域的标注记号；
50.所述积水结冰自动识别模型，利用融合算法分别将热红外图像与可见光图像nsp分解为高频系数u0与低频系数u1，将两者低频系数加权平均，高频系数取最大绝对值，综合提取两图特征权重，并按权重进行融合得到热红外图像与可见光图像的融合图像，将标注数据与融合图像一一对应；调整模型参数实现迭代，获得训练完成的积水结冰自动识别模型，以对后续巡检得到的视频数据进行自动识别，获得带有矩形框和标注数据的图片；
51.所述积水结冰宽度与面积计算模块，通过差分高斯滤波算法处理热红外与可见光的融合图像，获得图像中积水结冰区域的轮廓和轮廓内像素点数量，根据像素点与图片整体像素点数量比例，分别计算积水结冰区的宽度和面积，再将标注数据返回至融合图像中。
52.本发明一种基于热成像和深度学习的道路路面积水及结冰的检测方法，适用于市政路面积水、结冰病害检测，对临港某路段的进行红外热像仪车载巡检，为进一步的市政道路病害识别与道路性能评估提供了精度保障。该方法主要技术步骤如下：
53.步骤1：同位热红外与可见光图像采集，包括如下过程：
54.步骤1.1：校准双光红外热像仪，根据拍摄角度α及对地面距离h计算视频长宽对应现实尺度l
×
w(单位：mm)，根据拍摄视频像素长宽m
×
n(单位：px)，计算单位像素距离值
单位像素面积值
55.步骤1.2：利用车载双光红外热像仪对路面进行视频拍摄，获取同一条路的可见光视频与热红外视频。
56.步骤2：热红外与可见光图像预处理与图像融合，包括如下过程：
57.步骤2.1：对拍摄的视频数据根据车速v(km/h)，拍摄间隔δt(s)，提取出重叠度为e的热红外图像img1和可见光图像img2，并满足常量3600表示1小时3600秒，1000000表示1千米1000000毫米，该公式表示该车速下以前后两张图像的重叠度等于车辆行驶的距离，以完成对道路的完整覆盖；
58.步骤2.2：分别将一堆热红外图像与可见光图像转化为灰度图，使用sift算法提取含有位置、尺度和方向的关键点即为特征点，提取特征点后为特征点计算建立一个描述子向量，描述子与特征点所在尺度有关，描述子向量为h＝(h1，h2，...，h
128
)，常量128表示128维，以下同理，去除光照影响后得到归一化后的特征向量l＝(l1，l2，...，l
128
)，即计算特征描述子并对特征点进行匹配，即满足红外图像中关键点描述子向量ri与可见光图像中需配对关键点描述子si间相似性度量小于红外图像中关键点描述子与可见光图像中任一关键点描述子间相似性度量；
59.步骤2.3：假设匹配点在同一平面中，即z＝0，根据热红外图像与可见光图像中4对以上匹配点对(ua，va)，(ub，vb)计算单应矩阵满足计算出单应矩阵后对img1、img2中所有点进行匹配，进行图像视角的转换，实现图像的配准；
60.步骤2.4：由于所有的可见光图像与对应的热红外图像对都采用相同的映射关系，其单应性矩阵不变，根据单应矩阵实现每对可见光图像与对应的热红外图像的配准。
61.特别的，对于可见光图像和热红外图像画幅不同的情况，需对配准后的图像进行剪裁，得到对应两图像的交集部分。
62.步骤3：融合图像特征进行数据标注，包括如下过程：
63.步骤3.1：对可见光图像根据纹理特征，人工利用矩形框标注积水结冰区域；
64.步骤3.2：对热红外图像，根据像素点温度t提取温度不同区域a
t
的轮廓特征，获取轮廓特征在x轴、y轴方向的最大长度获取其最小包围矩形
l
t
×wt
；
65.步骤3.3：对3.1和3.2的矩形框位置进行并集运算，人工复核删减非积水结冰区域，得到积水结冰区域的实际最小包围矩形与标注数据；分别处理可见光图像与热红外图像，综合提取两种图像的特征权重，并按照权重进行融合，使得标注数据与融合图像一一对应。
66.步骤4：训练积水结冰自动识别模型，包括如下过程：
67.步骤4.1：利用基于非下采样轮廓波变换的融合算法处理热红外与可见光图像，即分别将红外图像与可见光图像进行nsp(non subsampled pyramid，尺度分解上的非下采样金字塔滤波器组)分解为高频系数u0与低频系数u1，将两者低频系数加权平均，高频系数取最大绝对值，综合提取两图特征权重，并按权重进行融合；将步骤3.3中的标注数据与融合图像一一对应；
68.步骤4.2：用已预训练的darknet53网络模型，输入训练集与验证集图片，设定以上所述参数及迭代次数，可设置每迭代n次输出权重文件，当输出平均损失loss小于某阈值，及预测值与真实值偏移量小于某阈值时即完成训练，训练后可得到模型权重文件，利用yolov3网络训练参数设置如下：网络的输入宽、高、通道数分别为：width、height、channels 影响图片分辨率；类别为subdivisions，训练的批大小设置为batch影响训练效果及设备压力；动量设置为momentum影响趋向最优值的速度；权重衰减设置为decay可防止过拟合；初始学习率设置为learning-rate，迭代次数设置为burn_in影响着学习速率和训练效果；训练采用迁移学习的方式，使用在imagenet上预训练好的darknet53网络的权重。
69.步骤5：计算积水结冰病害宽度，包括如下过程：
70.步骤5.1：通过差分高斯滤波算法处理热红外与可见光融合图像im gmix，设置两次高斯滤波的sigma为σ1，σ2，其高斯滤波结果分别存入pro1与pro2，差分r＝pro1-pro2即可，增强积水结冰区域边界线显示，消除拍摄视频及图片中的噪点。
71.步骤5.2：根据自动识别模型处理标签确定积水结冰区域位置，根据步骤5.1处理确定积水结冰区域具体边界线，获取边界内最宽处像素点数量n
max
，根据该像素点数与图片整体宽度像素点数比例k计算积水结冰区域宽度w
max
＝k
×nmax
，面积a＝ka
×nma
x。
72.实施例1
73.下边以临港某道路日常巡检过程中积水结冰病害检测为例，说明本发明所属的基于热成像和深度学习的道路路面积水结冰检测系统的具体实施方式。
74.步骤1.在巡检车辆车顶安装yrh300双光本安型红外热像仪，调整距地高度2m，拍摄角度45
°
，根据拍摄角度及对地面距离可得视频实际尺度5120
×
4096mm，以及拍摄视频像素大小1280x1024，计算视频、图片中长宽像素对应实际尺度k＝4mm，ka＝16mm2；
75.步骤2：使用巡检车辆每日按照项目巡检计划对道路进行巡查，并将车载双光红外热像仪拍摄视频通过5g网络传输到服务器；
76.步骤3：设定车辆行驶速度为50km/h，对拍摄的视频数据按照每秒10张(即每张间隔100ms)的数量分帧提取出具有66％重叠度的热红外图像和可见光图像；然后对影像进行预处理，通过拍摄角度以及摄像机本身参数计算图像将图像投影到水平面上保证视觉上与各像素对应实际尺度的一致性，如图2所示；
77.步骤4：读取一对热红外图像img1和可见光图像img2文件，并转化为灰度图，使用sift算法进行特征提取，提取特征点后为特征点计算建立一个描述子向量h＝(h1，h2，...，h
128
)，此时针对img1与img2获得了一对特征点keypoints1、keypoints2及对应的描述符(特征向量l＝(l1，l2，...，l
128
))，使用bruteforce匹配方法对两幅图像进行最优特征点匹配matcheslto2；
78.步骤5：根据匹配点通过ransac算法计算热红外图像img1与可见光图像img2单应
性矩阵去除误匹配点对，并通过转换矩阵h图像视角的转换，实现图像的配准；
79.步骤6：由于运行过程中双光红外成像仪可见光摄像头与热红外摄像头间相对位置不变以及拍摄角度不变，所有的可见光图像与对应的热红外图像都可以采用相同的映射关系，根据单应矩阵h实现每对可见光图像与对应的热红外图像的配准；
80.特别的，对于可见光图像和热红外图像分辨率及画幅不同的情况，需对配准后的图像进行剪裁，得到对应两图像的交集部分；
81.步骤7：对可见光图像img2根据纹理特征，人工利用矩形框rectangleart标注积水结冰区域；对热红外图像img1，设置两次高斯滤波的sigma为σ1＝2.0，σ2＝1.6，通过差分高斯滤波算法处理并取绝对值，消除噪点并增强积水结冰区域轮廓，根据像素点温度t提取不同温度区域的轮廓特征，获取积水结冰区域轮廓特征的最小包围矩形rectanglemin；
82.步骤8：对步骤7的矩形框rectangleart与rectanglemin进行位置与面积并集运算，根据判断是否有对应关系人工复核删减红外图像中非积水结冰区域，得到积水结冰区域在img1与img2中的标注数据；
83.步骤9：利用基于非下采样轮廓波变换的融合算法处理剪裁后的imgl与img2得到热红外与可见光融合图像imgmix，将步骤8中的标注数据与融合图像一一对应，分别处理可见光图像与热红外图像，综合提取两种图像的特征权重，并按照权重进行融合，使得标注数据与融合图像一一对应；
84.步骤10：利用yolov3网络训练，训练过程中模型的参数设置如下：调整网络的输入宽、高、通道数分别为：416、416、3；类别为1；训练的批大小设置为32；动量设置为0.9，权重衰减设置为0.0003；初始学习率设置为0.001，迭代次数设置为1000次；训练采用迁移学习的方式，使用在imagenet上预训练好的darknet53网络的权重。通过自动识别模型输出包含矩形框等标注数据的最终病害图片；
85.步骤11：通过差分高斯滤波算法处理步骤9中热红外与可见光融合图像imgmix，同样设置两次高斯滤波的sigma为σ1＝2.0，σ2＝1.6，利用其差分结果增强积水结冰区域轮廓线显示，消除拍摄视频及图片中的噪点，并根据自动识别模型生成标注数据一一对应，获得该图像中积水结冰区域轮廓，获取该轮廓内像素点数量n
max
＝42300，根据步骤3中该像素点数与图片整体像素点数比例以及图像img1或img2实际像素对应尺度，计算积水结冰区域面积a＝n
max
×
ka＝676800mm2，作为标注数据返回至imgmix中。
86.毫无疑问，以上只是本发明专利的有限的实现方式，除此之外，还包括其他可行的方法步骤设计和系统组成设计，以实现本发明专利的发明目的。总而言之，本发明的保护范围还包括其他对于本领域技术人员来说显而易见的变换和替代。