基于无人飞行器的道路检测方法、设备和存储介质与流程

本发明涉及道路检测技术领域，具体涉及一种基于无人飞行器的道路检测方法、一种基于无人飞行器的道路检测设备和一种计算机可读存储介质。

背景技术：

目前，道路养护检测方法主要有如下两种：

第一种，人工现场调查法，该方法耗时长、效率低下，且人工巡检过程影响车辆通行，危险系数高；

第二种，道路检测车检测法，该方法中用到的检测车上装有相机，相机拍摄的触发信号源自车轮上的编码器，图像采集和存储使用工控计算机，且图像处理算法多使用传统的图像特征识别方法；同时需要配备照明设备以辅助成像，还需配备发电机给检测设备供电。该方法存在检测成本较高，检测的路面范围有限，使得检测时间较长，且数据处理比较耗时的问题，无法满足道路日常养护巡检的需求。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种基于无人飞行器的道路检测方法，该方法有助于实现道路的自动化和智能化检测，有效降低道路检测成本，提高道路检测效率。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种基于无人飞行器的道路检测设备。

为达到上述目的，本发明第一方面实施例提出了一种基于无人飞行器的道路检测方法，包括以下步骤：获取待养护路段，并根据所述待养护路段规划得到巡检路径；在无人飞行器按照所述巡检路径飞行时，采集全路面数据；根据所述全路面数据得到路面病害，并记录所述路面病害的参数信息；获取所述无人飞行器的位置信息，并根据所述位置信息在所述待养护路段上标识所述参数信息，得到路面病害定位图。

根据本发明实施例的基于无人飞行器的道路检测方法，通过规划巡检路径避免了道路重复性检测，同时，通过无人飞行器按照巡检路径飞行采集全路面数据得到路面病害，并通过标识路面病害的参数信息得到路面病害定位图，自动化和智能化程度高，从而有效降低道路检测成本，提高道路检测效率。

在本发明的一些示例中，所述根据所述全路面数据得到路面病害，包括：根据所述全路面数据进行3d成像，得到路面三维图像；对所述路面三维图像进行自适应融合，得到自适应融合图像；利用基于语义分割的深度学习算法识别所述自适应融合图像中的路面病害。

在本发明的一些示例中，所述根据所述全路面数据得到路面病害，还包括：对所述自适应融合图像进行非目标物消除处理，得到全路面无遮挡图像，其中，所述目标物为路面病害；利用基于语义分割的深度学习算法识别所述全路面无遮挡图像中的路面病害。

在本发明的一些示例中，所述根据所述全路面数据得到路面病害，还包括：对所述全路面无遮挡图像进行预处理，得到预处理图像，其中，所述预处理包括灰度校正处理和/或图像增强处理；利用基于语义分割的深度学习算法识别所述预处理图像中的路面病害。

在本发明的一些示例中，路面病害的参数信息包括路面病害的类别和/或损坏程度。

在本发明的一些示例中，所述方法还包括：将所述路面病害定位图发送至云节点。

在本发明的一些示例中，利用相机阵列、tof相机、激光雷达中的至少一个采集所述全路面数据。

在本发明的一些示例中，所述路面病害的类别包括路面裂缝、路面坑槽、路面沉陷、沥青路面泛油中的一个或多个。

为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的基于无人飞行器的道路检测方法。

根据本发明实施例的计算机可读存储介质，可以通过执行其上存储的基于无人飞行器的道路检测方法的计算机程序，实现上述实施例中的基于无人飞行器的道路检测方法，从而有助于实现道路的自动化和智能化检测，有效降低道路检测成本，提高道路检测效率。

为达到上述目的，本发明第三方面实施例提出了一种基于无人飞行器的道路检测设备，包括存储器、处理器、通信模块和存储在所述存储器上的计算机程序，所述处理器通过所述通信模块与云节点通信，所述计算机程序被所述处理器执行时，实现上述的基于无人飞行器的道路检测方法。

根据本发明实施例的基于无人飞行器的道路检测设备，其存储在存储器上的计算机程序被处理器执行时，实现上述实施例中的基于无人飞行器的道路检测方法，从而有助于实现道路的自动化和智能化检测，有效降低道路检测成本，提高道路检测效率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是根据本发明一个实施例的基于无人飞行器的道路检测方法的流程图；

图2是根据本发明一个具体示例的基于无人飞行器的道路检测方法的工作流程图；

图3是根据本发明一个实施例的巡检路径图；

图4是根据本发明一个实施例的路面危害三维图像示意图；

图5是根据图像自适应融合算法演示处理的示意图；

图6是根据本发明一个实施例的路面无遮挡成像检测图；

图7是根据本发明一个实施例的路面病害定位图；

图8是根据本发明一个实施例的路面病害程度检测图；

图9是根据本发明一个实施例的边缘计算技术示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图1-9描述本发明实施例的基于无人飞行器的道路检测方法、设备和存储介质。

图1是根据本发明一个实施例的基于无人飞行器的道路检测方法的流程图。如图1所示，该道路检测方法包括以下步骤：

s1，获取待养护路段，并根据待养护路段规划得到巡检路径。

在本实施例中，可通过无人飞行器对道路路面病害进行检测，无人飞行器可使用商用小型多轴稳定无人飞行器，该无人飞行器成本低，易操作，运动轨迹受限小。无人飞行器还可包括无人机、遥控飞行器、无人驾驶直升机等等，此处不做限定。图2为本发明一个具体示例的无人飞行器巡检工作流程图。在进行路面病害检测之前，如图2所示，在利用无人飞行器进行道路巡检时，可先通过巡检路径最优规划算法根据待养护路段确定巡检路径，该巡检路径可为一封闭和/或非封闭路径，即无人飞行器的起点和终端相同和/或不同，且该巡检路径至少包含部分待养护路段。在确定巡检路径时，还可结合无人飞行器自身续航能力，保证续航能力能够使得无人飞行器完成沿巡检路径飞行。在无人飞行器沿巡检路径飞行时，可通过gnss(globalnavigationsatellitesystem，全球导航卫星系统)设备自动导航无人飞行器进行道路巡检与返航。该过程无需人工干预，自动化、智能化程度高，运营成本低。

需要说明的是，在无人飞行器沿巡检路径飞行过程中，还可实时获取续航信息，以便在续航信息发生突变时，及时对当前的巡检路径进行调整，以保证无人飞行机能够返航。

图3为本发明一实施例的巡检路径图。如图3所示，在规划巡检路径时，可以路面病害检测中心为参考点和待养护路段规划出巡检路径。为说明本发明的无人飞行器的巡检路径与相关技术中的道路检测车的巡检路径的区别，图3示出了某一待养护路段的无人飞行器巡检路径和道路检测车巡检路径。参考图3所示，道路检测车巡检路径为直线所示的路径，无人飞行器巡检路径为曲线所示的路径。由图3可知，道路检测车完成一次巡检，巡检路径存在重复路径；而无人飞行器完成一次巡检，巡检路径不存在重复路径，也就是说，本发明实施例的基于无人飞行器的道路检测，相较于基于道路检测车的道路检测，巡检路径更短，进而可缩短养护路段的检测时间。

s2，在无人飞行器按照巡检路径飞行时，采集全路面数据。

在本发明的一些实施例中，可在无人飞行器上安装由多个小型相机组成的相机阵列、tof(timeofflight，飞行时间)相机、激光雷达中至少一种，并在无人飞行器按照巡检路径进行自动巡检时，可如图2所示，通过相机阵列、tof相机、激光雷达中至少一种采集道路的全路面数据。

本发明实施例中，通过相机阵列、tof相机、激光雷达中至少一种进行全路面数据采集，具有成本低，3d成像快的优点，且可对因光照形成的阴影路面信息进行采集，从而避免了对照明设备的需求，节约了电力成本。并且，由于无人飞行器是从路面上方进行路面数据的采集，因此可根据需要调整无人飞行器的飞行高度，以通过一次飞行获取全路面数据，从而可节省路面巡检时间，提高路面数据的获取效率。

s3，根据全路面数据得到路面病害，并记录路面病害的参数信息。

其中，路面病害的参数信息可包括路面病害的类别和/或损坏程度。路面病害的类别可包括路面裂缝、路面坑槽、路面沉陷、沥青路面泛油中的一个或多个，此处不做具体限定。

在本发明的一些实施例中，如图2所示，根据全路面数据得到路面病害包括：根据全路面数据进行3d(threedimensional，三维)成像，得到路面三维图像；对路面三维图像进行自适应融合，得到自适应融合图像；利用基于语义分割的深度学习算法识别自适应融合图像中的路面病害。

具体而言，可通过3d成像算法对由相机阵列、tof相机、激光雷达中至少一种采集的图像数据进行处理，并绘制出对应采集路面信息的三维图像，例如图4所示的路面坑洞的三维图像。从三维图像中可获取路面危害的类别信息和路面的危害程度等信息，例如，图4中的431mm可表示坑洞的某一方向的长度。在获取三维图像后，可进一步地通过图像自适应融合算法对三维图像进行自适应融合处理，其中，图像自适应融合算法可将不同路径和不同视角对同一采集对象采集的图像数据通过图像视角变化调整、数据压缩和图像融合技术进行自适应融合以形成自适应融合图像。图5为根据图像自适应融合算法处理的一个示例，参见图5，可对两张不同视角拍摄的、具有部分婴儿身体的图像1、图像2，进行自适应融合得到具有婴儿全身的图像。

在该实施例中，如图2所示，可将无人飞行器根据不同航迹和视角拍摄的非连续的经过3d图像算法处理的三维图像进行自适应融合处理，以得到自适应融合图像。例如，可基于两张或更多张具有部分路面病害路面三维图像，自适应融合处理得到具有完整路面病害的自适应融合图像。图像自适应融合可使得相机可非连续拍摄，从而降低了硬件资源开销。

进一步地，可通过基于语义分割的深度学习算法识别自适应融合图像中的路面病害。具体地，基于语义分割的深度学习算法采用全卷积神经网络模型，具有对输入图片尺寸变化的鲁棒性。所述深度学习算法还采用了跳跃连接和集成学习，可将网络深层的环境信息传递至低层，以实现病害特征的精确提取、识别与分类。需要说明的是，基于语义分割的深度学习算法可在深度学习和训练中自我调节参数和权重，提取目标的特征，快速定位图像中的兴趣区域，实现路面病害信息的自动识别、分类与记录。本实施例中，通过3d成像算法对全路面数据进行处理以得到路面的三维图像，可实现对养护耗材需求的预估，并可实现部分路面病害(如坑洞)的检测与分类，另外，通过对路面三维图像进行自适应融合，可极大降低数据采集与存储的要求，提高了数据的处理和分析效率，以及在通过基于语义分割的深度学习算法对自适应融合图像中的路面病害进行识别时，可有效提高提取自适应融合图像中的路面危害的精确度。

在本发明的一些实施例中，根据全路面数据得到路面病害，还包括：对自适应融合图像进行非目标物消除处理，得到全路面无遮挡图像，其中，目标物为路面病害；利用深度学习算法识别全路面无遮挡图像中的路面病害。

具体地，在获取到自适应融合图像后，如图2所示，还可通过非目标物消除算法对自适应融合图像进行非目标物的消除处理。如图6所示，图像3、图像4中，车辆101、车辆102、车辆103均对路面造成了遮挡，且图像3中车辆101和车辆102还对路面危害104造成了遮挡，图像4中车辆102还对路面危害104造成了遮挡，其中图像3和图像4为相机阵列、tof相机、激光雷达中的至少一种在不同视角、并在间隔很短的时间拍摄得到。图像3、图像4中的车辆均会影响路面危害104的检测，因此可采用非目标物消除算法对遮挡物或非目标物即图像3和图像4中的车辆进行消除处理。通过非目标物消除算法可将自适应融合图像中的非目标物全部消除，得到如图6所示的全路面无遮挡图像，该全路面无遮挡图像中只留有路面危害104，从而可方便路面病害的检测与分类，降低检测成本、提高检测效率。在获取全路面无遮挡图像后，可进一步通过基于语义分割的深度学习算法对全路面无遮挡图像中的路面病害进行识别提取。

在本发明的一些实施例中，如图2所示，根据路面数据得到路面病害，还包括对全路面无遮挡图像进行预处理，以得到预处理图像，其中，预处理包括灰度校正处理和/或图像增强处理，以增强图像的显示效果。可以理解的是，通过灰度校正处理和/或图像增强处理，根据基于语义分割的深度学习算法更容易实现预处理图像中的路面病害的检测。

s4，获取无人飞行器的位置信息，并根据位置信息在待养护路段上标识病害参数信息，得到路面病害定位图。

具体地，如图2所示，当无人飞行器通过基于语义分割的深度学习算法如表征学习、特征提取和阈值选择算法检测到在某一悬停位置获取的预处理图像中存在病害目标时，可记录通过上述深度学习算法识别的病害类别和病害程度等信息，并可通过gnss设备定位该悬停位置，以及在定位到该悬停位置后，记录下对应的地理位置信息。如图7所示，在记录下上述信息之后，还可在待养护路段上标示出病害类别、病害程度和对应的位置等信息，关联病害参数，以形成路面病害定位图。

作为一个示例，以路面病害是裂缝为例，本实施例中，可通过标记过的道路破损图像对基于语义分割的深度学习算法进行训练，使其在对新的道路破损图像处理时，可通过上述深度学习算法，将新的道路破损图像中的病害目标类别标识出来，并进行病害参数(如病害类别和病害程度等)统计。病害参数可为算法输出的明确数值结果，也可为不同颜色(或不同灰度值)的不同标识符。以路面破损为例，破损程度可表示为路面破损面积比例14.11％(如图8所示)，也可为不同颜色(或不同灰度值)的旗帜(如图7所示)。同时根据gnss记录的病害地理位置，将病害参数标示在待养护路段上，形成路面病害定位图。

在本发明的一些实施例中，该方法还包括：将路面病害定位图发送至云节点。具体地，参见图9，采用边缘计算技术，将无人飞行器设为边缘计算节点，使其具有计算(如函数计算)和通信(即可与其他设备通信连接)能力，即上述的步骤s1～s4可由设置在无人飞行器上的设备执行。其中，路面病害定位图等病害有效信息可在边缘计算节点与云节点间进行信息交互。

具体而言，无人飞行器通过相机阵列、tof相机、激光雷达中至少一种获取路面图像后，可实时对获取的路面图像进行实时在线处理，提取路面病害有效信息，并形成路面病害定位图。如图9所示，在形成路面病害定位图后，无人飞行器借助其通信模块还可将全路面无遮挡图像和路面病害定位图等多种数据通过核心网发送至云节点进行处理和维护，同时可将之前用于得到路面病害定位图的图像删除，从而有效降低了数据的存储需求，降低了后台数据中心数据处理的压力，提高了数据处理的实时性，缩短了巡检养护的周期。

在一些示例中，参见图9，无人飞行器作为边缘计算节点，还可具有其他能力，例如，在巡检过程中播放音乐，通过该音乐可进行道路巡检提醒，即提醒路人当前在进行道路巡检。上述的计算能力还可以包括根据全路面数据的出路情况、续航能力等调整飞行速度，以便保证获取准确的全路面数据。

根据本发明实施例的基于无人飞行器的道路检测方法，通过无人飞行器对道路路面病害进行检测，结合路面病害识别深度学习算法、3d成像算法、图像自适应融合与非目标物消除算法、巡检路径最优规划算法和边缘计算技术，实现无人飞行器针对路面病害检测所采集的路面视频和图像数据的自动化和智能化分析，通过自主巡检路径规划和全路面检测，实现了路面的病害信息的自动检测、分类和记录，有效降低了道路检测成本，提高了道路检测效率。

进一步地，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的基于无人飞行器的道路检测方法。

根据本发明实施例的计算机可读存储介质，可以通过执行其上存储的基于无人飞行器的道路检测方法的计算机程序，实现上述实施例中的基于无人飞行器的道路检测方法，从而有助于实现道路的自动化和智能化检测，有效降低道路检测成本，提高道路检测效率。

进一步地，本发明第三方面实施例提出了一种基于无人飞行器的道路检测设备，包括存储器、处理器、通信模块和存储在存储器上的计算机程序，处理器通过通信模块与云节点通信，所述计算机程序被处理器执行时，实现上述的基于无人飞行器的道路检测方法。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。