一种基于图像识别和惯性导航的隧道无人机定位系统

1.本发明涉及无人机定位技术领域，具体涉及一种基于图像识别和惯性导航的隧道无人机定位系统。


背景技术：

2.隧道是城市交通网络的重要组成部分，现如今投入运营的很大一部分隧道和地下工程已经进入“老龄”期，如果缺乏适时适当的维护可能会导致结构破坏等状况的出现，后果不堪设想，因此针对隧道进行定期的巡检尤为重要。
3.目前，国内外对于隧道巡检所采用的方法主要有人工巡检、半自动化仪器检测等。半自动化仪器检测方法需要在隧道施工时预埋检测传感器，成活率一般比较低。由于隧道环境复杂，人工巡检同样存在着工作量大、危险系数高、效率低下等问题，这使得利用新技术研发一个快捷高效的隧道巡检设备成为迫切需要。
4.近年来，无人机常见的定位方式的发明研究主要包括惯性导航、卫星导航、视觉导航等。例如，使用卫星导航的无人机定位系统，其中包含天线、全球导航卫星系统gnss信号转发器等定位设备，但不适用于隧道场景。使用惯性导航的无人机定位系统，其搭载加速度计及陀螺仪等传感器，但系统的定位误差会随着时间的推移而不断增大。使用视觉导航的无人机定位系统，其利用摄像机采集图像信息，运用图像处理等相关技术手段估计出载体位姿信息，定位精度高、成本低，但由于实时性较差，而且受环境光线条件影响较大，在隧道场景下的鲁棒性不佳。正因如此，隧道环境内的无人机自定位仍然面临着巨大的挑战。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于图像识别和惯性导航的隧道无人机定位系统。本发明旨在解决现有无人机在隧道条件下定位精度低、误差大，图像识别困难的问题。本发明提出的隧道无人机定位系统，综合惯性导航和视频定位的优点，能提高系统性能降低定位误差。
6.为达到上述目的，本发明提供了一种基于图像识别和惯性导航的隧道无人机定位系统，包括无人机、二维码标志、摄像头、陀螺仪、加速度计、板载计算机以及后台管理系统；
7.所述二维码标志用于隧道内定位，隧道内每隔一百米设有一个发光的二维码标志；
8.所述摄像头用于拍摄二维码标志以及隧道内的视频信息；
9.所述加速度计用于测量无人机的加速度，所述陀螺仪用于测量无人机的偏转角度；
10.所述板载计算机用于处理惯性导航与视觉导航获取的数据，所述板载计算机与后台管理系统通信连接，所述板载计算机能将处理后的数据传递给后台管理系统；
11.所述后台管理系统用于控制与导航无人机在隧道内的巡检线路；
12.所述摄像头、陀螺仪、加速度计和板载计算机均安装在无人机上。
13.本发明还提供了一种基于图像识别和惯性导航的隧道无人机定位方法，包括以下步骤：
14.1)惯性导航：分析陀螺仪和加速度计获取的数据，并对数据进行预处理，从而推算隧道无人机的位置；
15.2)利用yolov5目标检测算法检测、记录隧道无人机飞行过程中出现的二维码标签；
16.3)对步骤2检测到的二维码标签进行模糊图像处理：采取伽马变换增强低灰度或高灰度细节，通过锐化加强图像边缘轮廓，并采取基于梯度决算的中值滤波方法进行降噪；
17.4)利用zbar算法检测步骤3模糊图像处理后的二维码标签，对二维码信息进行识别，从而获得视觉定位数据；
18.5)通过首轮卡尔曼滤波校正，对惯性导航数据进行融合；
19.6)通过次轮卡尔曼滤波校正，对二维码定位数据和惯性导航数据进行融合。
20.进一步，步骤1中，通过板载计算机处理陀螺仪和加速度计获取的数据，综合出隧道无人机的运动曲线，从而得到隧道无人机的实时位置坐标，以及隧道无人机距离隧道口的实时距离s，实时距离s的计算公式如下：
[0021][0022]
式中，(xi,yi)为隧道无人机当前的位置坐标，(x
i-1
,y
i-1
)为隧道无人机前一取样时刻的位置坐标，隧道口为坐标原点。
[0023]
进一步，步骤3中，所述基于梯度决算的中值滤波方法选用sobel模板来计算图像中每一个点的梯度。
[0024]
进一步，所述步骤5的过程如下：
[0025]
5.1)通过惯性导航传回的预处理数据计算出实际值zk，计算表达式如下：
[0026]
zk＝hxk+v(k)
[0027]
式中，h为测量系统的参数矩阵，即缩放系数；xk为惯性导航的实际量测值；v(k)为测量噪声序列；
[0028]
5.2)基于系统之前的状态通过系统运动过程估计系统的当前状态，计算表达式如下：
[0029][0030]
式中，为k时刻位置的估计值，a为状态转移矩阵，为k-1时刻位置的估计值，buk代表处理噪声；
[0031]
5.3)计算先验估计的协方差矩阵，计算表达式如下：
[0032]
pk＝ap
k-1at
+q
[0033]
式中，pk为本周期的预测误差协方差阵，p
k-1
为上一周期的预测误差协方差阵，q为过程噪声序列的方差阵；
[0034]
5.4)通过当前状态先验估计及其协方差计算出卡尔曼滤波增益，计算表达式如下：
[0035]gk
＝p
kht
(hp
kht
+r)-1
[0036]
式中，gk为卡尔曼滤波增益，r为量测噪声序列的方差阵；
[0037]
5.5)计算实际值zk和先验状态即预测值的差别，从而得到最优状态估计计算表达式如下：
[0038][0039]
5.6)更新最优估计值的误差协方差矩阵p
k’，计算表达式如下：
[0040]
p
k’＝(1-gkh)pk[0041]
5.7)更新后的最优估计值的误差协方差矩阵p
k’，能够用于下一时刻的位置计算，计算方式如步骤5.1～5.5所示。
[0042]
进一步，所述步骤6的过程如下：
[0043]
6.1)通过识别到的二维码信息计算出实际值zk，计算表达式如下：
[0044]
zk＝hxk+v(k)
[0045]
式中，h为测量系统的参数矩阵，即缩放系数；xk为二维码信息的实际量测值；v(k)为测量噪声序列；
[0046]
6.2)将k时刻首轮卡尔曼滤波融合得到的最优状态估计作为k-1时刻位置的估计值，估计系统的当前状态，计算表达式如下：
[0047][0048]
式中，为k时刻位置的估计值，a为状态转移矩阵，为k-1时刻位置的估计值，buk代表处理噪声；
[0049]
6.3)步骤6的后续步骤及计算方法与步骤5相同。
[0050]
本发明的有益效果在于：
[0051]
1)本发明提供了一种基于图像识别和惯性导航的隧道无人机定位系统，定位系统以惯性导航为主、视觉导航为辅，将二者以适当的方式组合在一起形成优势互补，可以很好地弥补它们各自的缺陷，从而获得更好的定位性能。
[0052]
2)本发明提供了一种基于图像识别和惯性导航的隧道无人机定位方法，本发明方法通过卡尔曼滤波校正，可减少惯导误差和融合定位误差，能快速精确地实现隧道无人机定位；本发明方法的优点是易于实现，受隧道环境影响较小，定位实时性好且精度高，定位偏差不超过20cm。
[0053]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究，对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0054]
图1是本发明一种基于图像识别和惯性导航的隧道无人机定位方法的流程图；
[0055]
图2是本发明定位方法涉及的卡尔曼滤波的区域分割流程图。
具体实施方式
[0056]
为使本发明的技术方案、优点和目的更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部
分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本技术的保护范围。
[0057]
本发明提供了一种基于图像识别和惯性导航的隧道无人机定位系统，包括无人机、二维码标志、摄像头、陀螺仪、加速度计、板载计算机以及后台管理系统；
[0058]
二维码标志用于隧道内定位，隧道内每隔一百米设有一个发光的二维码标志；
[0059]
摄像头用于拍摄二维码标志以及隧道内的视频信息；
[0060]
加速度计用于测量无人机的加速度，陀螺仪用于测量无人机的偏转角度；
[0061]
板载计算机用于处理惯性导航与视觉导航获取的数据，板载计算机内设有惯性导航计算单元以及卡尔曼滤波计算单元，板载计算机与后台管理系统通信连接，板载计算机能将处理后的数据传递给后台管理系统；
[0062]
后台管理系统用于控制与导航无人机在隧道内的巡检线路；
[0063]
摄像头、陀螺仪、加速度计和板载计算机均安装在无人机上。
[0064]
本发明还提供了一种基于图像识别和惯性导航的隧道无人机定位方法，如图1所示，本发明方法采用传感器并行的方式获取数获，即惯性导航数据获取与视觉数据获取并行进行，互不干扰，得到的数据一同传入无人机板载计算机进行数据的处理和输出。
[0065]
本发明方法包括以下步骤：
[0066]
步骤1：分析陀螺仪和加速度计获取的数据，并对数据进行预处理，从而推算隧道无人机的位置。
[0067]
无人机的惯性导航包含加速度计和陀螺仪两个主要元件，加速度计可连续地测出无人机加速度，经积分运算得到速度分量，再次积分得到一个方向的位置坐标信号，结合陀螺仪得到的角度信息，以无人机初始位置为原点，以无人机机头方向为x轴，以水平面上垂直于机头方向为y轴，以竖直方向为z轴，从三个坐标方向得到仪器测量结果，综合出运动曲线并给出每瞬时无人机所在的空间位置，从而得到无人机实时位置坐标。
[0068]
根据算出无人机距离原点(即隧道口)的实时距离s。
[0069]
式中，(xi,yi)为隧道无人机当前的位置坐标，(x
i-1
,y
i-1
)为隧道无人机前一取样时刻的位置坐标，隧道口为坐标原点。
[0070]
步骤2：利用yolov5目标检测算法检测、记录隧道无人机飞行过程中出现的二维码标签。
[0071]
无人机摄像头实时拍摄隧道内壁视频信息，送入yolov5模型。yolov5模型对得到的视频数据进行抽帧处理，并检测其中是否存在二维码信息，保存检测到二维码的图片供之后使用，同时删除抽帧后的视频数据以及未检测到二维码标签的图片以减小内存占用。
[0072]
步骤3：对步骤2检测到的二维码标签进行模糊图像处理。采取伽马变换增强低灰度或高灰度细节，通过锐化加强图像边缘轮廓，并采取基于梯度决算的中值滤波方法进行降噪。
[0073]
基于梯度决算的中值滤波方法选用sobel模板来计算图像中每一个点的梯度。考虑到无人机拍摄角度变化导致二维码边缘走向无法预测，单纯的水平和垂直方向的梯度不能有效的反映出边界特征，增加了45度和135度两个方向的梯度模板。得到四个方向的梯度值后，选取最大值所在的方向为灰度突变的方向。每个方向对应两个滤波窗口。对于二维码
的边缘点，沿梯度值最大的方向，一侧为黑色，另一侧为白色。为了保留边缘点的信息，选择黑色区域这一侧作为滤波窗口，计算窗口内其他像素点的灰度值与中心点灰度值之差，累计求和。选取二者中数值较小的滤波窗口进行中值滤波。
[0074]
步骤4：zbar二维码信息识别。
[0075]
利用zbar算法对模糊图像处理后的图片进行检测，识别二维码信息，从而获得视觉定位数据。考虑到无人机拍摄的二维码无法保证完全正对，采用仿射变换校正的方法，通过滤波、二值化
→
腐蚀操作
→
界定形态学边界
→
寻找直线
→
定位交点
→
仿射变换等一系列操作进行校正，对畸变的二维码进行校正，得到准确的二维码信息。
[0076]
步骤5：通过首轮卡尔曼滤波校正，对惯性导航数据进行融合，减小误差。
[0077]
步骤5的过程如下：
[0078]
5.1)通过惯性导航传回的预处理数据计算出实际值zk，计算表达式如下：
[0079]
zk＝hxk+v(k)
[0080]
式中，h为测量系统的参数矩阵，即缩放系数；xk为惯性导航的实际量测值；v(k)为测量噪声序列，与惯性导航的实际测量噪声有关。
[0081]
5.2)基于系统之前的状态通过系统运动过程估计系统的当前状态，计算表达式如下：
[0082][0083]
式中，为k时刻位置的估计值；a为状态转移矩阵；为k-1时刻位置的估计值；buk代表处理噪声，这个噪声是处理模型与实际情况的差异，如隧道风速、障碍等对无人机速度的影响，从而影响定位数据。
[0084]
5.3)计算先验估计的协方差矩阵，计算表达式如下：
[0085]
pk＝ap
k-1at
+q
[0086]
式中，pk为本周期的预测误差协方差阵，p
k-1
为上一周期的预测误差协方差阵，q为过程噪声序列的方差阵；t表示矩阵的转置，是矩阵的一种运算法则。
[0087]
5.4)通过当前状态先验估计及其协方差计算出卡尔曼滤波增益，计算表达式如下：
[0088]gk
＝p
kht
(hp
kht
+r)-1
[0089]
式中，gk为卡尔曼滤波增益，r为量测噪声序列的方差阵。
[0090]
5.5)计算实际值zk和先验状态即预测值的差别，也叫做残差，从而得到最优状态估计计算表达式如下：
[0091][0092]
5.6)更新最优估计值的误差协方差矩阵p
k’，计算表达式如下：
[0093]
p
k’＝(1-gkh)pk[0094]
5.7)更新后的最优估计值的误差协方差矩阵p
k’，能够用于下一时刻的位置计算，计算方式如步骤5.1～5.5所示。
[0095]
步骤6：通过次轮卡尔曼滤波校正，对二维码定位数据和惯性导航数据进行融合。
[0096]
步骤6的过程如下：
[0097]
6.1)通过识别到的二维码信息计算出实际值zk，计算表达式如下：
[0098]
zk＝hxk+v(k)
[0099]
式中，h为测量系统的参数矩阵，即缩放系数；xk为二维码信息的实际量测值；v(k)为测量噪声序列；
[0100]
6.2)将k时刻首轮卡尔曼滤波融合得到的最优状态估计作为k-1时刻位置的估计值，估计系统的当前状态，计算表达式如下：
[0101][0102]
式中，为k时刻位置的估计值，a为状态转移矩阵，为k-1时刻位置的估计值，buk代表处理噪声，与检测二维码与实际二维码目标位置有偏差、二维码图像处理时间等因素有关；
[0103]
6.3)计算先验估计的协方差矩阵，计算表达式如下：
[0104]
pk＝ap
k-1at
+q
[0105]
式中，pk为本周期的预测误差协方差阵，p
k-1
为上一周期的预测误差协方差阵，q为过程噪声序列的方差阵。
[0106]
6.4)通过当前状态先验估计及其协方差计算出卡尔曼滤波增益，计算表达式如下：
[0107]gk
＝p
kht
(hp
kht
+r)-1
[0108]
式中，gk为卡尔曼滤波增益，r为量测噪声序列的方差阵。
[0109]
6.5)计算实际值zk和先验状态即预测值的差别，也叫做残差，从而得到最优状态估计计算表达式如下：
[0110][0111]
6.6)更新最优估计值的误差协方差矩阵p
k’，计算表达式如下：
[0112]
p
k’＝(1-gkh)pk[0113]
6.7)更新后的最优估计值的误差协方差矩阵p
k’，能够用于下一时刻的位置计算，。
[0114]
卡尔曼滤波的具体实现步骤见图2，包含了增益计算回路和滤波计算回路两个计算回路。给定初值x(o)和p(o)，算法就可以一直自回归运行下去，因此根据k时刻量测值z(k)和先验估计就可以递推计算得k时刻的最优状态估计
[0115]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。