基于无人机巡检路面坑洞的方法及其应用与流程

1.本技术涉及路面坑洞识别技术领域，特别是涉及一种基于无人机巡检路面坑洞的方法及其应用。


背景技术：

2.为了保证车辆在道路上的安全行驶以及延长道路的使用年限，需要定期对道路进行检测与养护，而对路面的立体病害进行检测识别是一项必要和基础的工作。
3.目前较为先进的手段是通过无人机搭载采集设备来进行检查识别，飞行并采集路面图像进行分析，得到坑洞的几何信息和位置信息。然而目前关于采集到的路面图像数据进行分析的时候，只是大概阐述了图像处理模块对路段图像进行处理，得到坑洞的几何参数和位置参数，但是却并没有详细的方案来说明计算坑洞的面积和深度，因此参考价值有限。而且深度信息计算方式是通过点云或激光雷达来判断坑洞深度，此类设备成本较高，导致检测成本高。另外一部分为仅仅通过表观图像来判断是否为坑洞，缺少深度信息。
4.综上，亟待一种满足要求的同时，降低检测成本的基于无人机巡检路面坑洞的方法及其应用。


技术实现要素：

5.本技术实施例提供了基于无人机巡检路面坑洞的方法及其应用，针对目前技术检测成本高或缺少深度信息的问题。
6.本发明核心技术主要是基于图像识别和激光点跟踪实现对坑洞识别。
7.第一方面，本技术提供了基于无人机巡检路面坑洞的方法，所述方法包括以下步骤：
8.s00、根据无人机的实时高度，动态计算每张拍摄图片画面中每个像素点的所拍到路面的实际面积，以得到标定数据；
9.s10、通过无人机对路面进行拍摄检测，识别坑洞病害并标记为目标坑洞；
10.s20、对目标坑洞进行跟踪，并飞行至该目标坑洞的上方进行拍摄，得到坑洞图片；
11.s30、对坑洞图片进行分析并标注坑洞特征，根据该坑洞特征所占的像素点数，结合标定数据计算出目标坑洞的实际面积；
12.s40、在坑洞特征外围生成最小坑洞识别框并获取该坑洞识别框的四个角的经纬度坐标，根据坑洞识别框的四个角的经纬度坐标规划无人机的飞行路径，并在飞行路径中设定多个激光测距点位；
13.s50、将飞行过程中采集到正常地面的激光测距数据求得平均值，得到第一平均值，将飞行过程中采集到坑洞区域的激光测距数据求得平均值，得到第二平均值，根据第一平均值和第二平均值之差计算出目标坑洞的深度；
14.s60、基于目标坑洞的深度和实际面积，计算输出路面技术状况数据。
15.进一步地，s20步骤中，飞行至该目标坑洞的上方进行拍摄的拍摄高度为标定数据
中的其中一种高度。
16.进一步地，s30步骤中，通过pspnet语义分割算法对坑洞图片自动分析，并标注出坑洞特征，分析该坑洞特征所占的像素点数，并根据无人机当前悬停高度对应路面画面中每个像素点的所拍到路面的实际面积，计算得出该目标坑洞的实际面积。
17.进一步地，s30步骤中，根据目标坑洞的实际面积生成一个外接矩形的坑洞识别框，该坑洞识别框包含四个顶点和中心点的坐标。
18.进一步地，s40步骤中，获取坑洞识别框四个顶点和中心点的经纬度坐标，并通过无人机依次飞行至所有点上方进行悬停拍摄，并分别记录激光测距长度。
19.进一步地，s40步骤中，飞行路径为依次飞行到四个角进行激光测距，再飞行至坑洞识别框的中心点进行激光测距。
20.进一步地，s40步骤中，飞行路径为依次飞行到四个角，再依次沿两个对角线飞行，飞行过程中每隔设定时间采集激光测距数据。
21.第二方面，本技术提供了一种基于无人机巡检路面坑洞的装置，包括：
22.控制模块，用于控制无人机；用于在目标坑洞进行跟踪识别后，控制无人机飞行至该目标坑洞的上方进行拍摄，得到坑洞图片；
23.无人机，作为载具；
24.高清相机，用于拍摄路面图像；
25.边缘计算盒，用于识别拍摄路面图像中的坑洞病害并标记为目标坑洞；对目标坑洞进行跟踪；对坑洞图片进行分析并标注坑洞特征，根据该坑洞特征所占的像素点数，结合标定数据计算出目标坑洞的实际面积；在坑洞特征外围生成最小坑洞识别框并获取该坑洞识别框的四个角的经纬度坐标，根据坑洞识别框的四个角的经纬度坐标规划无人机的飞行路径，并在飞行路径中设定多个激光测距点位；
26.激光测距仪，用于测量坑洞深度；
27.计算输出模块，用于根据无人机的实时高度，动态计算每张拍摄图片画面中每个像素点的所拍到路面的实际面积，以得到标定数据；用于将飞行过程中采集到正常地面的激光测距数据求得平均值，得到第一平均值，将飞行过程中采集到坑洞区域的激光测距数据求得平均值，得到第二平均值，根据第一平均值和第二平均值之差计算出目标坑洞的深度；基于目标坑洞的深度和实际面积，计算输出路面技术状况数据。
28.第三方面，本技术提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的基于无人机巡检路面坑洞的方法。
29.第四方面，本技术提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的基于无人机巡检路面坑洞的方法。
30.本发明的主要贡献和创新点如下：1、与现有技术相比，本技术不需要通过点云或激光雷达来判断坑洞深度，因此设备成本相对较低，检测成本也较低，同时不单单靠图像识别来判断是否为坑洞，而是结合了图像识别和激光测距，从而得到了坑洞的深度信息，如此不仅满足表观特征结合深度信息判断坑洞的基本条件，另外根据城市道路紧抓主要病害来维护的思想，较大程度地降低了检测成本；
31.2、与现有技术相比，本技术在无人机进行城市道路日常巡检过程中，可快速锁定坑洞特征，并通过语义分割算法与目标跟踪算法及时采集该坑洞的表观信息与深度信息，进而判定是否为严重坑洞，并为后续的维养做数据支持；
32.3、与现有的双目识别检测坑洞方法对比，双目的方案指的是镜头与目标物的深度，而非坑洞的深度。且根据两个镜头深度的差值求得坑洞的深度。如此成本更高且双目摄像头依赖于好的处理器才能在不同的光学条件下都能较好地还原现场细节，对信号处理器的性能要求比较高，这也给其无形中增加了成本。而且本技术对于信号处理器的性能要求更低，成本更低。
33.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
34.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
35.图1是根据本技术实施例的基于无人机巡检路面坑洞的方法的流程；
36.图2是本技术实施例的一种优选飞行路径示意图
37.图3是本技术实施例的激光识别框的示意图；
38.图4是本技术实施例的坑洞识别框以及另一种飞行路径的示意图；
39.图5是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
40.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
41.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
42.参照地方养护规范，判断坑洞的依据为面积大于0.04
㎡
、深度大于10mm的坑槽。当前判断是否为坑洞的方式，部分为通过表观特征以及深度信息共同判断是否为坑洞。且深度信息计算方式是通过点云或激光雷达来判断坑洞深度，此类设备成本较高，导致检测成本高。另外一部分为仅仅通过表观图像来判断是否为坑洞，缺少深度信息。
43.基于此，本发明基于图像识别和激光测距的结合来解决上述问题。
44.实施例一
45.本技术旨在提出一种基于无人机巡检路面坑洞的方法，主要为无人机搭载高清相机(拍摄路面坑洞)、边缘计算盒(边缘计算盒内部署坑洞的目标检测算法、目标追踪算法、
坑洞分割识别算法)、激光测距仪(垂直安装并用于测量坑洞深度)、并按固定航线飞行，拍摄路面并算法自动发现坑洞病害，可以解决现有技术存在的问题，具体地，参考图1，所述方法具体包括以下步骤：
46.s00、根据无人机的实时高度，动态计算每张拍摄图片画面中每个像素点的所拍到路面的实际面积，以得到标定数据；
47.在本实施例中，通过标定无人机在不同高度悬停拍摄路面时进行标定，即根据无人机与地面的实时垂直距离，动态计算每张拍摄图片画面中每个像素点的所拍到路面的实际面积。
48.s10、通过无人机对路面进行拍摄检测，识别坑洞病害并标记为目标坑洞；
49.s20、对目标坑洞进行跟踪，并飞行至该目标坑洞的上方进行拍摄，得到坑洞图片；
50.在本实施例中，无人机在空中巡航的时候，采用坑洞的目标检测算法当发现路面坑洞的时候，通过坑洞跟踪算法飞行至该坑洞上方，选择合适的悬停高度(这个高度优选为前面标定时的高度之一，如此可以快速地得到每个像素点的所拍到路面的实际面积)，拍摄目标坑洞的图片数据。
51.s30、对坑洞图片进行分析并标注坑洞特征，根据该坑洞特征所占的像素点数，结合标定数据计算出目标坑洞的实际面积；
52.在本实施例中，自动开启边缘盒子内部署的pspnet语义分割算法进行坑洞图片的自动分析，并标注出坑洞特征，分析该坑洞特征所占的像素点数，并根据无人机当前悬停高度对应路面画面中每个像素点的所拍到路面的实际面积，计算得出该坑洞的实际面积。
53.s40、在坑洞特征外围生成最小坑洞识别框并获取该坑洞识别框的四个角的经纬度坐标，根据坑洞识别框的四个角的经纬度坐标规划无人机的飞行路径，并在飞行路径中设定多个激光测距点位；
54.数据采集：如图2-图3所示(矩形框中心点方法)，自动开启边缘盒子内部署的pspnet语义分割算法进行坑洞图片的自动分析，并标注出坑洞特征，分析该坑洞特征所占的像素点数，并根据无人机当前悬停高度对应路面画面中每个像素点的所拍到路面的实际面积，计算得出该坑洞的实际面积。并坑洞面积自动生成一个外接矩形的目标框，坑洞识别框bounding box边界框信息包含如下：
55.#左上角xmin
56.#左上角ymin
57.#右下角xmax
58.#右下角ymax
59.根据标定的结果，计算获取外接矩形目标框a,b,c,d四点顶点与1个中点f点的真实的经纬度坐标，并使得无人机按照a
→b→c→d→
f飞行，并到达a,b,c,d,f五点的时候悬停拍摄，记录激光测距仪的距离长度。即无人机分别飞行至a，b，c，d四点处，测得激光测距距离，即为激光发射器至正常路面的距离，即为a1，a2，a3，a4并求得平均数a1。无人机分别飞行至f点处，测得激光测距距离，即为激光发射器至坑洞的距离，即为b1。由a1-b1即可得该坑洞的深度。
60.优选地，如图4所示，作为另一种手段(像素点碰撞方法)，根据不同高度处标定的结果，即可得知a、b、c、d的经纬度坐标。在带有坑洞识别框的图片上，自动相连ac和bd，并标
记为蓝色线。根据opencv实现像素点碰撞，便可得知f、e、g、h点在图像上的位置。根据不同高度处标定的结果，即可得知a、b、c、d、e、f、g、h的经纬度坐标。无人机按照如下方向指示路线匀速移动，并在匀速缓慢移动过程中，每隔0.5s采集激光测距的距离。无人机飞行方向分为8步骤：第1步(a
→
b)，第2步(b
→
c)，第3步(c
→
d)，第4步(d
→
a)，第5步(a
→
c)，第6步(d
→
b)。
61.当进行第5步(a
→
c)的时候，当无人机的经纬度坐标与f点的经纬度坐标重叠的时候，激光测距仪对后续每隔0.5s采集的距离标记为开始坑洞区域的采集距离，即后续采集的距离为激光发射器到坑洞的距离。当无人机的经纬度坐标与g点的经纬度坐标重叠的时候，激光测距仪对后续每隔0.5s采集的距离标记为关闭坑洞区域的采集距离，即后续采集的距离为激光发射器到正常路面的距离。
62.当进行第6步(d
→
b)同理。
63.s50、将飞行过程中采集到正常地面的激光测距数据求得平均值，得到第一平均值，将飞行过程中采集到坑洞区域的激光测距数据求得平均值，得到第二平均值，根据第一平均值和第二平均值之差计算出目标坑洞的深度；
64.优选地，如图2所示，(矩形框中心点方法)根据a,b,c,d四点激光测距仪的长度，由所有的a1，a2，a3，a4
……
求得平均数a1作为正常路面离激光发射点的距离。目标框中点f点激光测距仪的长度为b1为坑洞处离激光发射点的距离。由a1-b1即可获得该坑洞的深度。
65.优选地，如图4所示，(像素点碰撞方法)将a
→
b，b
→
c，c
→
d，d
→
a，a
→
h，i
→
c，d
→
f，g
→
b飞行过程中采集到的激光测距距离视为激光发射器到正常路面的距离，即为a1，a2，a3，a4
……
并求得平均数a1。将f
→
g，h
→
i飞行过程中采集到的激光测距距离视为激光发射器到坑洞处的距离，即为b1，b2，b3，b4
……
求得平均数b1。由a1-b1即可得该坑洞的深度。
66.s60、基于目标坑洞的深度和实际面积，计算输出路面技术状况数据。
67.在本实施例中，根据该坑洞的面积和深度，进而判定达到养护要求，即路面破坏成坑洼深度大于10mm，面积大于0.04
㎡
才算坑洞。再结合路面的其他病害，计算每公里评定段的破损率dr(具体如何计算为现有技术，本技术只是提供数据)，pci(pavement condition index表示路面完好程度的指数，值越大，路况越好，具体如何计算为现有技术，本技术只是提供数据)。进而最终输出路面技术状况评定报告。
68.实施例二
69.基于相同的构思，本技术还提出了一种基于无人机巡检路面坑洞的装置，包括：
70.控制模块，用于控制无人机；用于在目标坑洞进行跟踪识别后，控制无人机飞行至该目标坑洞的上方进行拍摄，得到坑洞图片；
71.无人机，作为载具；
72.高清相机，用于拍摄路面图像；
73.边缘计算盒，用于识别拍摄路面图像中的坑洞病害并标记为目标坑洞；对目标坑洞进行跟踪；对坑洞图片进行分析并标注坑洞特征，根据该坑洞特征所占的像素点数，结合标定数据计算出目标坑洞的实际面积；在坑洞特征外围生成最小坑洞识别框并获取该坑洞识别框的四个角的经纬度坐标，根据坑洞识别框的四个角的经纬度坐标规划无人机的飞行路径，并在飞行路径中设定多个激光测距点位；
74.激光测距仪，用于测量坑洞深度；
75.计算输出模块，用于根据无人机的实时高度，动态计算每张拍摄图片画面中每个像素点的所拍到路面的实际面积，以得到标定数据；用于将飞行过程中采集到正常地面的激光测距数据求得平均值，得到第一平均值，将飞行过程中采集到坑洞区域的激光测距数据求得平均值，得到第二平均值，根据第一平均值和第二平均值之差计算出目标坑洞的深度；基于目标坑洞的深度和实际面积，计算输出路面技术状况数据。
76.实施例三
77.本实施例还提供了一种电子装置，参考图5，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
78.具体地，上述处理器402可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
79.其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(harddiskdrive，简称为hdd)、软盘驱动器、固态驱动器(solidstatedrive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(non-volatile)存储器。在特定实施例中，存储器404包括只读存储器(read-onlymemory，简称为rom)和随机存取存储器(randomaccessmemory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmableread-onlymemo ry，简称为prom)、可擦除prom(erasableprogrammableread-onlymemory，简称为eprom)、电可擦除prom(electricallyerasableprogrammableread-onl ymemory，简称为eeprom)、电可改写rom(electricallyalterableread-only memory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(staticrandom-acc essmemory，简称为sram)或动态随机存取存储器(dynamicrandomaccessm emory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器404(fastpagemodedynamicrandomaccessmemory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extendeddateoutdynamicrandomaccessme mory，简称为edodram)、同步动态随机存取内存(synchronousdynamicra ndom-accessmemory，简称sdram)等。
80.存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
81.处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意基于无人机巡检路面坑洞的方法。
82.可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
83.传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相
连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
84.输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是检测指令等，输出的信息可以是路面破损评定报告等。
85.实施例四
86.本实施例还提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据实施例一的基于无人机巡检路面坑洞的方法。
87.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
88.通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
89.本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
90.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
91.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以作出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。