一种基于标签辅助的桥梁检测无人机视觉导航方法

1.本发明属于大跨度桥梁检测技术领域，尤其涉及一种基于标签辅助的桥梁检测无人机视觉导航方法。


背景技术：

2.随着改革开放，国民经济飞速发展，我国桥梁数量剧增，桥梁的安全检测成为必须考虑的问题。当人工检测手段应用于高空、深水、宽幅、结构复杂的桥梁时，面临着检测难度大、效率低、盲区大、安全性等突出工程难题，桥梁检测的难点在于桥下不可达区域的检测。因此目前具有发展前景的方法是采用无人机进行桥梁检测。
3.目前，大部分无人机采取的导航技术是gps卫星导航、惯性导航或者组合导航等。如捷联惯导、激光雷达与惯导融合等。对于桥梁检测而言，由于环境复杂，桥下区域信号微弱，不适合采取上述导航手段，主要是基于slam(simultaneous localization and mapping，即时定位与地图重建)的视觉导航，为了弥补slam尺度不确定等缺陷，现在又在slam基础上加入了imu(惯性导航传感器)，提升了鲁棒性，即目前主流的基于vio(visual
‑
inertial odometry，视觉惯性里程计)的导航方法。
4.vio研究相对成熟，但是算法框架中包含卡尔曼滤波、预积分、高斯牛顿法等内容，导致算法复杂程度高，资源占用大。


技术实现要素：

5.本发明的目的是提供一种基于标签辅助的桥梁检测无人机视觉导航方法，提升导航精度，降低计算量，提升大跨度桥梁检测效率。
6.本发明采用以下技术方案：一种基于标签辅助的桥梁检测无人机视觉导航方法，包括以下步骤：
7.沿无人机飞行路线，在待检测桥梁上间隔布设多个定位二维码标签；
8.在无人机的飞行过程中，通过无人机上的相机持续观测待检测桥梁表面，当相机观测到定位二维码标签时，根据定位二维码标签查询对应的坐标值组合；
9.根据坐标值组合确定定位二维码标签与相机之间的第一转换关系矩阵；
10.结合第一转换关系矩阵、第二转换关系矩阵和坐标值组合解算无人机的第一位置信息；其中，第二转换关系矩阵为无人机与相机之间的转换关系矩阵；
11.使用第一位置信息替代通过vio获得的无人机的第二位置信息，继续进行无人机导航。
12.进一步的，在无人机起飞前，将多个定位二维码标签对应的坐标值组合存储至无人机的存储设备中；
13.其中，坐标值组合由定位二维码标签的四个角点的坐标值组成。
14.进一步的，根据坐标值组合确定定位二维码标签与相机之间的第一转换关系矩阵包括：
15.将坐标值组合带入预设的关系式中，可得八个方程；
16.关系式为：
[0017][0018]
其中，f为相机的焦距；f
x
＝1/d
x
，d
x
为单位像素在图像坐标系中的u轴上的真实物理尺度；f
y
＝1/d
y
，d
y
为单位像素在图像坐标系中的v轴上的真实物理尺度；r3×3为世界坐标系到相机坐标系的旋转矩阵，(u0,v0)为图像坐标系中图像的中心点坐标；用(u,v)表示像素坐标下的点的坐标；用(x
w
,y
w
,z
w
)表示世界世界坐标系下点的坐标；用t3×1为世界坐标系到相机坐标系的平移矩阵，
[0019]
结合八个方程求解旋转矩阵r3×3和平移矩阵t3×1；
[0020]
结合旋转矩阵r3×3和平移矩阵t3×1得到第一转换关系矩阵其中，t1为第一转换关系矩阵。
[0021]
进一步的，关系式通过以下方法得到：
[0022]
确定图像坐标系到像素坐标系的转化关系及转化矩阵其中，(x,y)为图像坐标系中点的坐标；
[0023]
确定相机坐标系到图像坐标系的转化矩阵其中，(x
c
,y
c
,z
c
)为相机坐标系中点的坐标，z
c
为尺度变换因子；
[0024]
确定世界坐标系到相机坐标系的转化矩阵
[0025]
确定世界坐标系到像素坐标系的转化矩阵
[0026]
展开并简化世界坐标系到像素坐标系的转化矩阵，得到关系式。
[0027]
进一步的，展开并简化世界坐标系到像素坐标系的转化矩阵包括：
[0028]
展开世界坐标系到像素坐标系的转化矩阵可得：
[0029][0030]
简化展开后的世界坐标系到像素坐标系的转化矩阵可得：
[0031][0032]
进一步的，相邻的两个定位二维码标签之间的距离为10～20m。
[0033]
进一步的，定位二维码标签位长方形，其面积大小为0.1～0.3m2。
[0034]
本发明的有益效果是：本发明给出了一种针对特定场景基于标签辅助修正vio漂移误差的桥梁检测无人机导航方法，即在大跨度桥梁检测中，桥梁检测区域按照规定的方法布置标签，在标签可观测区域，通过将vio解算数据和标签解算数据实时融合，可以消除vio算法产生的漂移误差，从而提升位置数据的精度，提升定位精度，并减少后端优化(误差处理)的工作量。
附图说明
[0035]
图1为本发明实施例一种基于标签辅助的桥梁检测无人机视觉导航方法的流程示意图；
[0036]
图2为本发明实施例中各坐标系的转换关系示意图；
[0037]
图3为本发明实施例中定位二维码标签及其角点坐标示意图；
[0038]
图4为本发明实施例的应用场景示意图。
具体实施方式
[0039]
下面结合附图和具体实施方式对本发明进行详细说明。
[0040]
本发明实施例公开了一种基于标签辅助的桥梁检测无人机视觉导航方法，如图1所示，包括以下步骤：
[0041]
步骤s10、沿无人机飞行路线，在待检测桥梁上间隔布设多个定位二维码标签；步骤s20、在无人机的飞行过程中，通过无人机上的相机持续观测待检测桥梁表面，当相机观测到定位二维码标签时，根据定位二维码标签查询对应的坐标值组合；步骤s30、根据坐标值组合确定定位二维码标签与相机之间的第一转换关系矩阵；步骤s40、结合第一转换关系矩阵、第二转换关系矩阵和坐标值组合解算无人机的第一位置信息；其中，第二转换关系矩阵为无人机与相机之间的转换关系矩阵；步骤s50、使用第一位置信息替代通过vio获得的
无人机的第二位置信息，继续进行无人机导航。
[0042]
该方法是针对特定场景基于标签辅助修正vio漂移误差的桥梁检测无人机导航方法，即在大跨度桥梁检测中，桥梁检测区域按照规定的方法布置标签，在标签可观测区域，通过将vio解算数据和标签解算数据实时融合，可以消除vio算法产生的漂移误差，从而提升位置数据的精度，提升定位精度，并减少后端优化(误差处理)的工作量。
[0043]
如图4所示，本实施例的方法主要应用场景是桥梁检测中不可达区域，通过使用无人机沿桥梁长度方向飞行，并通过无人机上携带的拍照或摄影设备获取桥梁的图像信息，后期再根据图像信息分析桥梁的状态。
[0044]
在本发明实施例中，首先，需要建立基于vio方法的数学模型，包括运动方程和观测方程。具体的，用x表示自动移动无人机的位姿，将时间离散化，记录每一时刻的位姿为x1、x2……
x
k
，则位姿可表示为x
k
＝[p
k v
k q
k a
k b
k
]，其中，p
k
代表自主移动无人机的位置，v
k
代表自主移动无人机的速度，q
k
代表无人机姿态，a
k
代表加速度，b
k
代表陀螺仪的偏量。
[0045]
得到各个时刻位姿的连接在一起便是自主移动无人机的轨迹，可用下述方程(即运动方程)表示：x
k+1
＝f(x
k
,o,w
k
)，其中，o是无人机运动中传感器(视觉传感器和惯性传感器)的读数，w
k
是环境噪声。
[0046]
假设地图中路标点有n个，用y1、y2……
y
n
表示，则观测方程为z
kj
＝h(y
j
,x
k
,v
kj
)，其中，v
kj
是观测噪声，z
kj
是观测数据。
[0047]
建立基于vio方法的数学模型后，还需要对各个坐标系的构建和转换关系进行说明。定义像素坐标系o
‑
uv、图像坐标系o
‑
xy、相机坐标系o
‑
x
c
y
c
z
c
、世界坐标系o
‑
x
w
y
w
z
w
，并完成坐标变换关系推导。
[0048]
定义像素坐标系是一个二维直角坐标系，原点位于图像的左上角，两个轴分别与图像的两个垂直边平行。图像坐标系原点是相机光轴与相面的交点，取图像的中心，两个轴分别平行于像素坐标系的两个轴。相机坐标系是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与图像平面垂直。世界坐标系也就是空间真实位置描述的空间坐标系。
[0049]
下面还需要对各坐标系的坐标变换进行梳理。
[0050]
第一，确定图像坐标系到像素坐标系的转化关系及转化矩阵其中，(x,y)为图像坐标系中点的坐标。
[0051]
第二、根据小孔成像原理，结合三角形相似性原理，确定相机坐标系到图像坐标系
的转化矩阵其中，(x
c
,y
c
,z
c
)为相机坐标系中点的坐标，z
c
为尺度变换因子。
[0052]
第三、确定世界坐标系到相机坐标系的转化矩阵
[0053]
通过上述三种转化矩阵，可以推到并确定世界坐标系到像素坐标系的转化矩阵
[0054]
再将上式进行展开并简化世界坐标系到像素坐标系的转化矩阵，得到关系式。具体为：
[0055]
展开世界坐标系到像素坐标系的转化矩阵可得：
[0056][0057]
简化展开后的世界坐标系到像素坐标系的转化矩阵可得：
[0058][0059]
其中，f为相机的焦距；f
x
＝1/d
x
，d
x
为单位像素在图像坐标系中的u轴上的真实物理尺度；f
y
＝1/d
y
，d
y
为单位像素在图像坐标系中的v轴上的真实物理尺度；r3×3为世界坐标系到相机坐标系的旋转矩阵，(u0,v0)为图像坐标系中图像的中心点坐标；用(u,v)表示像素坐标下的点坐标；用(x
w
,y
w
,z
w
)表示世界世界坐标系下点的坐标；用t3×1为世界坐标系到相机坐标系的平移矩阵，
[0060]
在本发明实施例中，定位二维码标签(即标签)具有如下特征：
[0061]
标签需要具有明确的形状特征，在本发明实施例中可选取标签的外形为正方形、长方形；颜色能够区别于桥梁，可选取红色、黄色、绿色等；为了方便识别，标签的大小不宜
过小，为了控制成本，也不宜过大，选取面积大小为0.1～0.3m2。标签的数量根据检测长度进行确定，一般为l/s(l为检测长度，s为修正距离，s一般取10～20米)。标签采取二维码格式，记录准确安装位置对应的标签四个顶点的坐标，可以通过二维码识别软件识别。
[0062]
另外，在无人机起飞前，需要将多个定位二维码标签对应的坐标值组合存储至无人机的存储设备中，以方便识别到标签后获取对应的坐标值信息。其中，坐标值组合由定位二维码标签的四个角点的坐标值组成。
[0063]
在本发明实施例中标签材料需满足耐高温、耐腐蚀、耐潮湿、耐风化等特性，适用于桥梁底部这一特殊环境。
[0064]
对于标签的安装方法，可以将标签置于桥梁便于安装的位置即可，每隔s放置一个即可。
[0065]
综上，可知标签的坐标值组合。紧接着，当检测到标签后，需要根据坐标值组合确定定位二维码标签与相机之间的第一转换关系矩阵。具体步骤为：
[0066]
将坐标值组合((x
wi
,y
wi
,z
wi
)，i＝1,2,3,4)带入预设的关系式中，可得：
[0067]
由于标签形状大小均已知，即标签各角点位置已知，可得四个约束条件，即八个方程，结合八个方程求解旋转矩阵r3×3和平移矩阵t3×1；结合旋转矩阵r3×3和平移矩阵t3×1得到第一转换关系矩阵其中，t1为第一转换关系矩阵。
[0068]
根据相机在无人机云台上的安装位置，可以获得相机位置和无人机位置的相对关系，记为t2。因此，标签位置相对于无人机位置坐标转换关系可用矩阵表示为：t1*t2。由于标签全部位置信息已知，根据位置关系即可实现位置的解算。
[0069]
对于大跨度桥梁，实现标签可连续观察具有一定的难度，因此，本实施例中假设标签观测是不连续的，假设桥梁检测无人机在k时刻标签能够被图像传感器完整记录，四个角点能够被完整记录，且标签上的二维码能够识别出来，无人机通过二维码识别模块获取预先在内存模块中存储的标签四个角点坐标信息，根据上述方法进行位置信息解算，将根据标签解算的位置信息记为p
k
，基于vio的定位解算结果已知，记为p
′
k
，用p
k
替代p
′
k
，即可实现用标签对vio导航位置误差进行实时修正的目的。
[0070]
本发明能够实现修正vio累计误差，尽管imu能够解决slam尺度问题，slam能够解决imu漂移问题，但是在大跨度桥梁上，地形结构复杂，无人机需要长时间工作，长时间工作时传统vio方法会出现漂移，严重影响了定位精度，桥梁检测裂缝位置的估计也会出现误差，基于上述问题，本实施例中提出标签辅助修正误差的方法，即在桥梁下方，提前放置标签，在可以观测到标签的时刻，无人机可以通过标签精确位置信息，而该位置信息是精确的，不包含累计误差的，因此可以修正定位中的位置误差，提升定位精度，便于长时间定位。
[0071]
本实施例方法成本低廉，适合应用于桥梁检测场景，且对于修正vio方法漂移误差有效。另外，本实施例方法采取标签辅助可以修正vio方法的漂移误差，从而减少原有的vio方法后端优化的计算量，降低了运算成本，节约了硬件空间，可以使桥梁检测无人机降低载荷。