基于全景影像的路面病害预测可视化方法及系统与流程

1.本发明涉及道路图像分析技术领域，具体涉及一种基于全景影像的路面病害预测可视化方法及系统。


背景技术：

2.随着经济的快速发展，我国的公路基础设施规模不断扩大，公路养护管理的需求也不断增长，每年直接或间接由路面病害等风险源引发的交通事故占比高达70％以上；路面病害的快速检测、识别以及路面的预防性养护则直接影响了道路运营安全和道路通行效率。
3.目前，道路病害数据展示不够直观，多采用传统的平面图片进行展示，难以直观看出道路路面的全面状况。近年来，公路养护管理数字化建设过程中，积累了海量历史路面病害数据，海量病害数据在规律分析和养护决策支持等方面显示出了重要的作用。然而，现有病害数据管理手段匮乏，缺乏历年病害数据的时序演化分析，无法帮助道路管养部门及养护机构准确掌握病害成因和养护效果情况，未能为路面养护管理单位选择最佳养护方案提供依据。


技术实现要素：

4.针对现有技术存在的不足，本发明提出一种基于全景影像的路面病害预测可视化方法及系统。具体技术方案如下：
5.第一方面，提供了一种基于全景影像的路面病害预测可视化方法，包括：
6.通过全景图像采集设备实时采集道路的全景图像，并定位所述全景图像采集设备的实时图像采集位置；
7.根据所述实时图像采集位置确定各所述全景图像对应的图像位置坐标，并对所述全景图像中的路面图像数据进行路面病害定位和识别，确定各全景图像中路面病害的特征信息和位置信息；
8.获取所述路面病害的历史特征信息，并根据所述历史特征信息进行趋势分析，预测所述路面病害的演变趋势；
9.根据所述全景图像、路面病害的演变趋势和位置信息生成相应的全景vr图像信息进行展示。
10.结合第一方面，在第一方面的第一种可实现方式中，对所述路面图像数据5进行路面病害识别包括：
11.对不同路面病害的图像数据进行图像分析，构建路面病害数据集与典型病害专家库；
12.通过路面病害数据集与典型病害专家库对路面病害识别模型进行训练；
13.基于训练好的路面病害识别模型，对所述路面图像数据进行识别，确定所0述路面病害的特征信息。
14.结合第一方面的第一种可实现方式，在第一方面的第二种可实现方式中，还包括：对路面病害数据集按病害类型、病害几何特征、病害程度、病害位置信息、病害原因进行标注。
15.结合第一方面，在第一方面的第三种可实现方式中，基于所述历史特征信5息，通过深度学习预测模型进行趋势分析。
16.结合第一方面，在第一方面的第四种可实现方式中，生成相应的全景vr
17.图像信息包括：
18.根据各所述全景图像对应的图像位置坐标，将采集到的所有全景图像拼接成连续的道路全景影像；
19.0基于所述路面病害的位置信息，结合所述路面病害对应的演变趋势和道路全景影像生成相应的虚拟现实影像进行展示。
20.第二方面，提供了一种基于全景影像的路面病害预测可视化系统，包括：
21.图像处理模块，配置为通过全景图像采集设备实时采集道路的全景图像，并定位所述全景图像采集设备的实时图像采集位置；
22.5病害识别模块，配置为根据所述实时图像采集位置确定各所述全景图像对应的图像位置坐标，并对所述全景图像中的路面图像数据进行路面病害定位和识别，确定各全景图像中路面病害的特征信息和位置信息；
23.趋势分析模块，配置为获取所述路面病害的历史特征信息，并根据所述历史特征信息进行趋势分析，预测所述路面病害的演变趋势；
24.图像展示模块，配置为根据所述全景图像、路面病害的演变趋势和位置信息生成相应的全景vr图像信息进行展示。
25.结合第二方面，在第二方面的第一种可实现方式中，所述病害识别模块包括：
26.数据集构建单元，配置为对不同路面病害的图像数据进行图像分析，构建路面病害数据集与典型病害专家库；
27.模型训练单元，配置为通过路面病害数据集与典型病害专家库对路面病害识别模型进行训练；
28.图像识别单元，配置为基于训练好的路面病害识别模型，对所述路面图像数据进行识别，确定所述路面病害的特征信息。
29.结合第二方面的第一种可实现方式，在第二方面的第二种可实现方式中，所述数据集构建单元对路面病害数据集按病害类型、病害几何特征、病害程度、病害位置信息、病害原因进行标注。
30.结合第二方面，在第二方面的第三种可实现方式中，所述趋势分析模块基于所述历史特征信息，通过深度学习预测模型进行趋势分析。
31.结合第二方面，在第二方面的第四种可实现方式中，所述图像展示模块包括：
32.全景图像生成单元，配置为根据各所述全景图像对应的图像位置坐标，将采集到的所有全景图像拼接成连续的道路全景影像；
33.全景图像展示单元，配置为基于所述路面病害的位置信息，结合所述路面病害对应的演变趋势和道路全景影像生成相应的虚拟现实影像进行展示。
34.有益效果：采用本发明的基于全景影像的路面病害预测可视化方法及系统，通过
搭载在道路智能巡检设备上的全景设备，可以对路面病害及街景影像进行数字化采集，通过对采集的路面图像数据进行识别分类与测量，确定道路路面的病害特征信息，结合道路病害时序演化分析，预测路面病害趋势。并采用虚拟现实技术对病害趋势进行可视化处理，从而直观、全面地展示路面状况，有助于道路管养部门及养护机构准确掌握病害成因和养护效果情况，提供道路管理养护人员形象的、可量化的决策支持，为路面养护管理单位选择最佳养护方案提供依据。
附图说明
35.为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍。在所有附图中，各元件或部分并不一定按照实际的比例绘制。
36.图1为本发明一实施例提供的基于全景影像的路面病害预测可视化方法的流程图；
37.图2为本发明一实施例提供的路面病害识别方法的流程图；
38.图3为本发明一实施例提供的基于全景影像的路面病害预测可视化系统的系统框图；
39.图4为本发明一实施例提供的病害识别模块的系统框图；
40.图5为本发明一实施例提供的图像展示模块的系统框图；
41.图6为采用本发明实施例提供的路面病害识别方法的可视化系统的效果示意图。
具体实施方式
42.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
43.如图1所示的基于全景影像的路面病害预测可视化方法的流程图，该方法包括：
44.步骤1、通过全景图像采集设备实时采集道路的全景图像，并定位所述全景图像采集设备的实时图像采集位置；
45.步骤2、根据所述实时图像采集位置确定各所述全景图像对应的图像位置坐标，并对所述全景图像中的路面图像数据进行路面病害定位和识别，确定各全景图像中路面病害的特征信息和位置信息；
46.步骤3、获取所述路面病害的历史特征信息，并根据所述历史特征信息进行趋势分析，预测所述路面病害的演变趋势；
47.步骤4、根据所述全景图像、路面病害的演变趋势和位置信息生成相应的全景vr图像信息进行展示。
48.具体而言，首先，可以通过搭载在行驶在道路上的道路智能巡检设备上的全景图像采集设备实时采集道路周围的360度全景图像，采集到的全景图像包括道路的路面图像数据和道路周围的街景图像数据。并且，还可以通过道路智能巡检设备上设置的定位设备，如车载gps实时定位全景图像采集设备的图像采集位置。
49.然后，可以基于全景图像采集设备的实时位置，根据全景图像采集设备的图像采集参数，采用现有的图像定位方法确定每份全景图像对应的图像位置坐标，即全景图像的
空间位置坐标。以及，可以采用现有的路面病害图像识别定位算法对实时采集到的路面图像数据进行分析，识别路面图像数据中路面病害的特征信息和位置信息。
50.其中，特征信息包括病害类型、病害几何特征、病害程度，病害类型包括修补、横向裂缝、纵向裂缝、龟裂、块状裂缝、松散、坑槽等。病害几何特征包括横向长度、纵向长度、长宽比、面积、密度等几何信息。病害程度包括无、轻度、中度、重度。位置信息包括路面病害的经纬度。
51.之后，可以根据位置信息提取相应位置处路面病害的历史特征信息，结合通过实时的全景图像识别出的路面病害的特征信息，采用现有的趋势预测算法预测路面病害的发展趋势。
52.最后，结合采集到的全景图像、路面病害的位置信息和发展趋势生成相应的虚拟现实图像展示给工作人员。从而直观、全面地展示路面状况，有助于道路管养部门及养护机构准确掌握病害成因和养护效果情况，提供道路管理养护人员形象的、可量化的决策支持，为路面养护管理单位选择最佳养护方案提供依据。
53.在本实施例中，可选的，对所述路面图像数据进行路面病害识别包括：
54.步骤2-1、对不同路面病害的图像数据进行图像分析，构建路面病害数据集与典型病害专家库；
55.步骤2-2、通过路面病害数据集与典型病害专家库对路面病害识别模型进行训练；
56.步骤2-3、基于训练好的路面病害识别模型，对所述路面图像数据进行识别，确定所述路面病害的特征信息。
57.具体而言，如图2所示，在对路面病害进行识别时，首先，可以通过对海量的历史路面病害的图像数据进行图像分析，并对分析结果进行分类统计和标注，构建起用于训练路面病害识别模型的训练集。然后，通过构建起的训练集对预先构建的路面病害识别模型进行训练，得到训练好的路面病害识别模型。在本实施例中，可以采用现有的路面病害图像识别模型。最后，基于训练好的路面病害识别模型，对实时获取到全景图像中的路面图像数据进行批量处理，确定每张路面图像数据中的路面病害的特征信息。实现自动化批量处理样本数据，以及满足行业标准所要求的技术指标。
58.在本实施例中，可选的，可以对路面病害数据集中的样本数据按病害类型、病害几何特征、病害程度、病害位置信息、病害原因进行标注。
59.在本实施例中，可选的，基于所述历史特征信息，通过深度学习预测模型进行趋势分析。具体的，在对路面病害进行趋势分析时，可以基于大数据分析与历史回溯机制，结合现有的深度学习趋势预测模型，对病害演变过程进行趋势分析，实现对路面病害的演变趋势预测。
60.在本实施例中，可选的，生成相应的全景vr图像信息包括：
61.根据各所述全景图像对应的图像位置坐标，将采集到的所有全景图像拼接成连续的道路全景影像；
62.基于所述路面病害的位置信息，结合所述路面病害对应的演变趋势和道路全景影像生成相应的虚拟现实影像进行展示。
63.具体而言，首先，可以根据每张全景图像的图像位置坐标，即全景图像的经纬度，将获取到的所有全景图像拼接成完整的道路全景图像。然后，根据路面病害的位置坐标，在
道路全景图像中的相应位置处生成相应的路面病害，并按照预测的演变趋势，生成相应的虚拟现实影像对路面病害的演变趋势进行展示，展示结果如图6所示。
64.如图3所示的基于全景影像的路面病害预测可视化系统的结构框图，该系统包括：
65.图像处理模块，配置为通过全景图像采集设备实时采集道路的全景图像，并定位所述全景图像采集设备的实时图像采集位置；
66.病害识别模块，配置为根据所述实时图像采集位置确定各所述全景图像对应的图像位置坐标，并对所述全景图像中的路面图像数据进行路面病害定位和识别，确定各全景图像中路面病害的特征信息和位置信息；
67.趋势分析模块，配置为获取所述路面病害的历史特征信息，并根据所述历史特征信息进行趋势分析，预测所述路面病害的演变趋势；
68.图像展示模块，配置为根据所述全景图像、路面病害的演变趋势和位置信息生成相应的全景vr图像信息进行展示。
69.具体而言，该系统是由图像处理模块、病害识别模块、趋势分析模块和图像展示模块组成。其中，图像处理模块可以通过搭载在行驶在道路上的道路智能巡检设备上的全景图像采集设备实时采集道路周围的360度全景图像，采集到的全景图像包括道路的路面图像数据和道路周围的街景图像数据。并且，还可以通过道路智能巡检设备上设置的定位设备，如车载gps实时定位全景图像采集设备的图像采集位置。
70.病害识别模块可以基于全景图像采集设备的实时位置，根据全景图像采集设备的图像采集参数，采用现有的图像定位方法确定每份全景图像对应的图像位置坐标，即全景图像的空间位置坐标。以及，可以采用现有的路面病害图像识别定位算法对实时采集到的路面图像数据进行分析，识别路面图像数据中路面病害的特征信息和位置信息。
71.其中，特征信息包括病害类型、病害几何特征、病害程度，病害类型包括修补、横向裂缝、纵向裂缝、龟裂、块状裂缝、松散、坑槽等。病害几何特征包括横向长度、纵向长度、长宽比、面积、密度等几何信息。病害程度包括无、轻度、中度、重度。位置信息包括路面病害的经纬度。
72.趋势分析模块可以根据位置信息提取相应位置处路面病害的历史特征信息，结合通过实时的全景图像识别出的路面病害的特征信息，采用现有的趋势预测算法预测路面病害的发展趋势。
73.图像展示模块可以结合采集到的全景图像、路面病害的位置信息和发展趋势生成相应的虚拟现实图像展示给工作人员。从而直观、全面地展示路面状况，有助于道路管养部门及养护机构准确掌握病害成因和养护效果情况，提供道路管理养护人员形象的、可量化的决策支持，为路面养护管理单位选择最佳养护方案提供依据。
74.在本实施例中，可选的，所述病害识别模块包括：
75.数据集构建单元，配置为对不同路面病害的图像数据进行图像分析，构建路面病害数据集与典型病害专家库；
76.模型训练单元，配置为通过路面病害数据集与典型病害专家库对路面病害识别模型进行训练；
77.图像识别单元，配置为基于训练好的路面病害识别模型，对所述路面图像数据进行识别，确定所述路面病害的特征信息。
78.如图4所示，病害识别模块是由数据集构建单元、模型训练单元和图像识别单元组成。其中，数据集构建单元可以通过对海量的历史路面病害的图像数据进行图像分析，并对分析结果进行分类统计和标注，构建起用于训练路面病害识别模型的训练集。模型训练单元可以通过构建起的训练集对预先构建的路面病害识别模型进行训练，得到训练好的路面病害识别模型。在本实施例中，可以采用现有的路面病害图像识别模型。图像识别单元可以基于训练好的路面病害识别模型，对实时获取到全景图像中的路面图像数据进行批量处理，确定每张路面图像数据中的路面病害的特征信息。实现自动化批量处理样本数据，以及满足行业标准所要求的技术指标。
79.在本实施例中，所述数据集构建单元对路面病害数据集按病害类型、病害几何特征、病害程度、病害位置信息、病害原因进行标注。
80.在本实施例中，可选的，所述趋势分析模块基于所述历史特征信息，通过深度学习预测模型进行趋势分析。趋势分析模块可以基于大数据分析与历史回溯机制，结合现有的深度学习趋势预测模型，对病害演变过程进行趋势分析，实现对路面病害的演变趋势预测。
81.在本实施例中，可选的，所述图像展示模块包括：
82.全景图像生成单元，配置为根据各所述全景图像对应的图像位置坐标，将采集到的所有全景图像拼接成连续的道路全景影像；
83.全景图像展示单元，配置为基于所述路面病害的位置信息，结合所述路面病害对应的演变趋势和道路全景影像生成相应的虚拟现实影像进行展示。
84.具体而言，如图5所示，图像展示模块是由全景图像生成单元和全景图像展示单元组成。其中，全景图像生成单元可以根据每张全景图像的图像位置坐标，即全景图像的经纬度，将获取到的所有全景图像拼接成完整的道路全景图像。全景图像展示单元可以根据路面病害的位置坐标，在道路全景图像中的相应位置处生成相应的路面病害，并按照预测的演变趋势，生成相应的虚拟现实影像对路面病害的演变趋势进行展示。
85.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。