一种基于无人机视觉的沿山区公路自主巡检系统

1.本发明属于无人机巡检领域，具体涉及一种基于无人机视觉的沿山区公路自主巡检系统。所述系统能够在地形复杂、高低起伏较大、弯道较多的山区公路情况下对无人机自主飞行状态进行调整，采集高清稳定的图像、并进行病害识别和可视化显示。


背景技术：

2.山区公路存在分布范围广、所处地形复杂、高差起伏较大、弯道较多等特点，许多山区公路由于交通运输负荷的增加、路面的老化、山体的稳定性变动等多种因素的影响，其安全性存在很大隐患。公路养护管理工作的落后、日常公路巡检的疏忽会出现道路受损、山体滑坡、塌方而不没有及时发现等情况，以至于后期养护成本大大增加，并威胁到人民的生命财产安全。通常来说，通过道路巡检可实现对道路病害的预防，一般道路巡检通过人工及多动能道路检测车完成，但是存在巡查周期较长，成本较高，工程量巨大的问题。随着无人机技术逐渐成熟，利用无人机灵活性高、操作便捷、成本低廉等独特优势，开展山区公路自动化巡检，能够大大加快巡检工作效率、避免安全隐患。目前通过无人机为公路巡检的方式有两种：通过技术人员根据经验的人工操纵飞行和利用无人机地面站实现自主航线规划及飞行。cn201711471859.0提出了基于无人机和地面控制中心的道路巡检系统，但未对无人机沿路自主飞行进行深入研究。cn201510890484.6提出了无人机高速公路智能巡检控制方法，但未对基于无人机视觉的车道线检测以及病害检测进行深入研究。


技术实现要素：

3.为了考虑地理环境复杂、道路形态多样的山区道路的无人机日常巡检需求，针对复杂山区环境下定位信号弱，弯道众多，道路高度差异大导致的无人机沿路飞行困难的问题，本发明提供一种基于无人机视觉的沿山区公路自主巡检系统。
4.本发明解决其技术问题所采用的技术方案是：
5.本发明首先提供了一种基于无人机视觉的沿山区公路自主巡检系统，其包括：
6.若干无人机，所述的无人机搭载有摄像机和无人机循迹飞行模块，所述的无人机循迹飞行模块基于无人机上摄像机实时采集的图像数据，通过检测算法得到山区公路的车道线，基于所得到的车道线，控制无人机沿山区公路巡迹飞行；无人机循迹飞行模块将无人机的位置、姿态、图像视频数据上传到数据中心；
7.病害检测评估模块，所述病害检测评估模块设置在基站，其根据数据中心中无人机上摄像机采集的图像视频数据，进行基于深度学习的公路病害定位及基于迁移学习的公路病害分类评估，得到公路病害定位和分类结果上传到数据中心；
8.数据中心，其用于存储无人机的位置、姿态、图像视频数据，以及公路病害定位和分类结果数据；
9.山区公路巡检可视化模块，所述山区公路巡检可视化模块设置在基站，其通过合作地图api，加载嵌入的地图界面，通过调用相应的api接口来实现地图控件、覆盖物、滚动
缩放以及地图类型转换；山区公路巡检可视化模块获取数据中心存储的数据，实现视频及图像回放、病害可视化显示，并通过数据实时更新实现无人机实时动态轨迹显示。
10.作为本发明的优选方案，所述的无人机循迹飞行模块基于无人机上摄像机实时采集的图像数据，通过检测算法得到山区公路的车道线，具体为：
11.1)无人机上摄像机实时采集山区公路的图像数据，对摄像头采集的图像数据进行去畸变和视觉增强；
12.2)利用sobel算子提取图像梯度信息，将图像转换成hls通道提取颜色信息，将梯度信息和颜色信息叠加，得到车道线所对应的像素所在位置；
13.3)对图像进行透视变换，变成鸟瞰视角；
14.4)利用滑动窗口定位车道线；
15.5)将车道线检测结果反投影到原图。
16.作为本发明的优选方案，所述的步骤4)具体为：
17.4.1)定位滑窗左右两条车道线的搜寻起始点
18.首先，划分搜素区域，按照x轴方向将图像一分为二，划分为左右两个部分；然后，对二值图像两个部分在x方向做直方图统计，定位峰值作为左右两条车道线的搜寻起点；设置搜寻窗口的大小，即设置width和height；
19.4.2)搜寻过程
20.以搜寻起始点作为当前搜寻的基点，并以当前基点为中心，做网格化搜寻；其次，对每个搜寻窗口分别做水平和垂直方向直方图统计，统计在搜索框区域内非零像素个数，并过滤掉非零像素数目小于50的框；最后，计算非零像素坐标的均值作为当前搜索框的中心，并对这些中心点做一个二阶的多项式拟合，得到当前搜寻对应的车道线曲线参数；
21.4.3)更新搜寻基点
22.步骤4.2)中，二阶多项式逼近后，会得到一个曲线方程：ay2+by+c＝x，令y＝img.height，得到新的搜寻基点；重复步骤4.2)的搜寻过程，得到新的搜寻基点对应的车道线曲线参数；4.4)如果n个步长中均存在曲线，即已经得到n 个曲线方程，即，则n个曲线方程中断开，即每三个曲线选取其中两个；然后，将曲线方程离散化后的坐标点取均值，再做二阶多项式逼近，得到车道线。
23.作为本发明的优选方案，所述的基于所得到的车道线，控制无人机沿山区公路巡迹飞行，具体为：
24.对获取的车道线数据进行离散化；根据离散化的数据形成控制点；然后获取当前无人机位置与控制点偏差，将偏差值作为输入进入pid控制器；pid控制器根据输入偏差，计算输出控制量，将pwm控制波输出给无人机电机，控制电机沿车道线飞行。
25.作为本发明的优选方案，所述的数据中心包括云数据中心和布置在基站的数据资源库；数据中心采用sql数据库支持无人机收集的多源山区公路信息的存储需求，采用nosql数据库存储无人机收集的文本、图像、视频数据；
26.所述数据中心提供一致的sql语言接口用于数据访问。
27.作为本发明的优选方案，所述病害检测评估模块采用基于faster r-cnn 的公路路面病害检测方法进行病害检测，具体为：
28.病害检测评估模块的特征提取网络对公路路面病害特征进行提取，输出特征图；
候选区域网络rpn在特征提取网络输出的特征图上对候选区域进行提取，输出包含有病害的候选区域；fast r-cnn将特征提取网络输出的特征图与rpn 输出的候选区域作为输入，输出病害类别与置信度，并对候选区域位置进行调整。
29.本发明综合基于无人机视觉的无人机循迹飞行技术、基于图像的山区公路损坏检测与多维评估和巡检数据的结构化存储和可视化技术，实现基于无人机视觉的沿山区公路自主巡检系统的构成。所述系统不仅能基于车道线检测对无人机飞行状态进行调整，而且能够使无人机实现自主沿路飞行并采集稳定的道路数据用于后续的道路检测。
附图说明
30.图1为本发明系统的框图；
31.图2为方向示意图；
32.图3为无人机视角示意图；
33.图4为车道线检测流程图；
34.图5为无人机控制流程图；
35.图6为fsater r-cnn流程图；
36.图7为山区公路病害评估流程图。
具体实施方式
37.下面结合具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
38.本发明基于无人机视觉的沿山区公路自主巡检系统的整体框图如图1所示，系统主要包括若干用于执行任务的无人机、用于存储数据的数据中心(在本发明的具体实施例中，其包括云数据中心和布置在基站的数据资源库，当然也可以仅包括布置在基站的数据资源库或云数据中心)、病害检测评估模块和山区公路巡检可视化模块。
39.其中，无人机搭载有摄像机和无人机循迹飞行模块，而作为无人机的常规配置，无人机还包括飞行控制器、gps/北斗定位模块，姿态传感器和电机，其中gps/北斗定位模块用于获取无人机的位置，姿态传感器获取无人机的姿态信息，飞行控制器通过电机控制无人机调整姿态、飞行速度和飞行方向。摄像机用于拍摄图像和适视频，所述的无人机循迹飞行模块基于无人机上摄像机实时采集的图像数据，通过检测算法得到车道线，基于所得到的车道线，控制无人机沿山区公路巡迹飞行；无人机循迹飞行模块将无人机的位置、姿态、图像视频数据上传到数据中心。
40.数据中心主要用于存储无人机的位置、姿态、图像视频数据，以及公路病害定位和分类结果数据。
41.病害检测评估模块设置在基站，其根据数据中心中由无人机摄像机采集的图像视频数据，进行基于深度学习的公路病害定位及基于迁移学习的公路病害分类评估，得到公路病害定位和分类结果上传到数据库。
42.山区公路巡检可视化模块，所述山区公路巡检可视化模块设置在基站，其通过合作地图api，加载嵌入的地图界面，通过调用相应的api接口来实现地图控件、覆盖物、滚动缩放以及地图类型转换；山区公路巡检可视化模块获取数据中心存储的数据，实现视频及
图像回放、病害可视化显示，并通过数据实时更新实现无人机实时动态轨迹显示。
43.本发明系统的主要工作流程为：基于无人机摄像头数据，进入图像处理算法对车道线进行检测；基于车道线结果、gps/北斗定位信号以及无人机的姿态传感器等信息作为输入，进入无人机飞行控制器从而驱动电机完成无人机循迹飞行；基于循迹飞行的数据结果，利用网络将分散在不同空域的无人机的位置及态势信息传输到云数据中心，即实现结构化储存；基于采集的图像视频数据，使用基于深度学习的公路病害定位算法和基于迁徙学习的公路病害分类评估算法，得到公路的病害检测结果；病害结果和上传至云数据中心的数据，通过合作地图api，将实时公路巡检信息可视化显示，同时在历史记录界面，管理员拥有所有无人机飞行记录的权限，云端保存飞行历史数据，有助于后台的统一监管和后续处理，实现了对无人机的有效监管，在发生事故时有据可考。
44.以下针对本发明系统的各部分进行详细的描述。
45.一、无人机车道线检测
46.本系统中无人机循迹飞行模块的无人机车道线检测流程如图4所示，首先无人机上摄像机实时采集图像数据，对摄像头采集的图像数据进行去畸变和视觉增强；之后利用sobel算子提取图像梯度信息，将图像转换成hls通道提取颜色信息，将梯度信息和颜色信息叠加，得到车道线所对应的像素所在位置；再对图像进行透视变换，变成鸟瞰视角；之后利用滑动窗口定位车道线；最后将车道线检测结果反投影到原图。
47.在本发明的一个具体实施例中，按照如下流程进行无人机车道线检测：
48.首先，使用黑白棋盘格事先对无人机摄像头进行校正；其次利用该结果，对摄像头采集的图像数据进行去畸变；去畸变以后的图像，如果在视觉条件不好的情况下，进行视觉增强，能够提高图像或视频的亮度以提高能见度的低光照场景；基于以上对图像的预处理的结果，利用sobel算子提取图像梯度信息，其中s
x
表示x方向的sobel算子，用于检测y方向的边缘，sy表示y方向的sobel算子，用于检测x方向的边缘(边缘方向和梯度方向垂直)。sobel算子的方向如图2 所示。
[0049][0050][0051]
其中，s
x
和sy可以根据实际情况进行数值上的优化，以上两个公式可以计算像素点e在x和y方向上的梯度值，其中g
x
表示像素点e在x方向上的梯度值， gy表示像素点e在y方向上的梯度值，矩阵a表示像素点e周边的各个像素点及像素点e本身。
[0052]
颜色信息通过将图像转换成hls通道，然后判断图像像素信息值信息及三个通道信息，满足条件的留下(本实施例具体为保留图像中4个信息同时满足 (180,255),(10,100),(0,60),(85,255)的像素)。将梯度信息和颜色信息叠加，得到车道线所对应的像素所在位置。
[0053]
由于无人机视角不是绝对的鸟瞰视角，如图3所示，因此还需要对图像进行透视变换，变成鸟瞰视角然后进行后续的处理。
[0054]
滑动窗口定位车道线具体位置的过程如下：
[0055]
(1)定位滑窗左右两条车道线的搜寻起始点：首先，划分搜素区域，按照x轴方向将图像一分为二，划分为左右两个部分；然后，对二值图像两个部分在x方向做直方图统计，定位峰值作为左右两条车道线的搜寻起点
[0056]
(2)首先，设置搜寻窗口大小(width和height)；然后，以搜寻起始点作为当前搜寻的基点进行搜寻，搜寻过程具体为：以当前搜寻基点为中心，做一个网格化搜寻，其实就是由初始位置x，width为手工设定，height为图片大小除以设置搜寻窗口数目计算得到，这里假设窗口数目为4；其次，对每个搜寻窗口分别做水平和垂直方向直方图统计，统计在搜索框区域内非零像素个数，并过滤掉非零像素数目小于50的框；最后，计算非零像素坐标的均值作为当前搜索框的中心，并对这些中心点做一个二阶的多项式拟合，得到当前搜寻对应的车道线曲线参数。
[0057]
(3)更新搜寻基点：步骤(2)中，二阶多项式逼近后，会得到一个曲线方程：ay2+by+c＝x，令y＝img.height，这样就可以得到新的搜寻基点，然后以新的搜寻基点，重复步骤(2)的搜寻过程得到当前搜寻对应的车道线曲线参数。
[0058]
(4)如果已经得到n个曲线方程(n个步长中均存在曲线)，可以利用之前的参数方程来做一个平滑处理，具体过程为：将曲线方程离散化后的坐标点取均值，再做二阶多项式逼近，最终得到拟合的用二次曲线表示的车道线。
[0059]
最后，再将结果反投影到原图中得到基于无人机视觉的车道线检测结果。
[0060]
二、基于车道线检测的无人机控制
[0061]
获得车道线检测结果后，本系统无人机循迹飞行模块控制无人机的流程如图 5所示，首先需要对已经获取的车道线数据进行离散化(车道线检测过程中的拟合是为了对数据进行平滑优化处理，与这里的离散化不冲突)；根据离散化的数据形成控制点；然后获取当前无人机位置与控制点的偏差，将偏差值作为输入进入pid控制器；pid控制器根据输入偏差，计算输出控制量，将pwm控制波输出给无人机电机，通过电机控制无人机沿车道线飞行。
[0062]
三、病害检测及评估模块
[0063]
根据采集到的图像数据，本发明提出了一种基于faster r-cnn的公路路面病害检测算法，该算法是一种有区域建议的基于深度学习的目标检测算法。通过对faster r-cnn的结构进行研究，发现其在对候选区域网络(regions proposalnetwork,rpn)产生的检测框进行筛选时使用nms算法，使用该算法对检测框进行筛选容易导致同一幅图像中病害检测框之间出现相互抑制的现象，会造成漏检情况的发生，影响最终的检测精度。提出应用nms的改进算法soft-nms对其进行替代，从而降低漏检率、提升检测精度。基于视觉组合导航下的无人机位置信息，提供对山区病害区域的位置信息。具体流程如图6所示，特征提取网络对公路路面病害特征进行提取，输出特征图；rpn在特征提取网络输出的特征图上对候选区域进行提取，输出包含有病害的候选区域；fast r-cnn将特征提取网络输出的特征图与rpn输出的候选区域作为输入，输出病害类别与置信度，并对候选区域位置进行调整。
[0064]
由于山区公路损害数据缺乏，为了进一步提升faster r-cnn在公路路面病害检测上的性能，本实施例应用了数据增广方法与迁移学习方法。数据增广方法通过图像几何变换增加了公路路面病害图像的数量与特征多样性。迁移学习方法利用faster r-cnn在imagenet数据集下预训练得到的参数对网络进行初始化，并在初始化网络的基础上用制作
的公路路面病害数据集对参数进行优化，使算法模型可以应用于公路路面病害检测当中，该方法有效减轻了深度神经网络训练需要大量带有标签的数据，检测类别包括：裂缝病害、坑槽病害和落石病害。具体流程图如图7所示，对于每个候选区域，roi池化层从特征图中提取固定长度的特征向量，每个特征向量被送入一系列全连接层中，其最终分成两个同级输出层：一个输出c个类别(c为病害种类)加上1个路面正常类别的softmax概率估计。
[0065]
四、数据中心
[0066]
在本发明的具体实施例中，数据中心包括可互相进行数据传输的云数据中心和布置在基站的数据资源库。其中分散在不同空域的无人机的位置及态势信息可通过蜂窝移动网收集传输到云数据中心，云数据中心中的数据再根据需要传输到数据资源库。其中对于无人机收集的多源山区公路信息，本发明数据中心采用 sql数据库支持结构化数据的存储需求，对于文本、图像、视频等非结构化的数据采用nosql数据库，这样能够保证海量的数据存储与访问需求，也能为上层的数据分析、挖掘框架提供必要的支持；对于数据访问，提供一致的sql语言接口，这样基于数据资源库的上层应用，如山区公路巡检可视化模块、一窗式政务服务模块，可以通过标dms api对数据资源库进行访问，这些api也可以用于数据管理、监控等任务。
[0067]
五、山区公路巡检可视化模块
[0068]
针对无人机收集的山区公路信息高效利用可视化的问题，提出一种基于4g/5g技术的山区公路巡检可视化模块。可视化模块获取云数据中心或数据资源库的数据，实现实时位置显示、图像，视频回放等功能。具体功能包括：实时公路巡检信息显示，历史记录及轨迹，图像回放，无人机位置轨迹现实。
[0069]
可视化模块通过合作地图api，加载嵌入的地图界面。通过调用相应的api 接口来实现地图控件、覆盖物、滚动缩放以及地图类型转换等功能。可视化模块的前端显示界面不断接收实时传送的经纬度数据信息，将覆盖物绘制在地图上。通过数据实时更新，实现无人机实时动态轨迹显示。
[0070]
在本发明的一个具体实施例中，所述的可视化模块还可以是移动端，移动端可以是手机、pad、手提电脑等方便携带的、可以观看数据的设备。通过socket 创建与移动端和无人机端的的数据连接，同时通过ajax和websocket将无人机的飞行记录信息推送至可视化模块前端页面显示。在可视化模块的历史记录界面中，管理员用户拥有查看平台下所有无人机飞行记录的权限，云端保存飞行历史数据，有助于后台的统一监管和后续处理，实现了对无人机的有效监管，在发生事故时有据可考。
[0071]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。