一种基于二维标签的无人机定位及目标跟踪方法与流程

本发明涉及一种无人机定位及目标跟踪方法，属于无人机导航领域。
背景技术：
：现有的无人机定位与目标跟踪技术有基于GPS即全球卫星定位系统的定位与目标跟踪技术、射频标签定位技术及基于视觉的无人机动态目标定位与跟踪技术等。其中基于GPS的定位技术通过获取目标的GPS坐标，并对坐标进行结算，从而得到真实的位置坐标，但其存在成本昂贵，定位精度低等缺点。射频标签技术是一种利用射频信号自动识别目标的技术，在识别的过程中，通过建立标签的多功率模型，可以定位标签的位置，但其存在成本高，定位精度低等缺点。它们都无法满足很好地满足无人机高精度定位的需要。基于视觉的无人机动态目标定位与跟踪技术能够进行动态目标的检测和图像跟踪，实现动态目标的较精确定位且自主跟踪地面动态目标飞行。但其过程复杂、计算量大且易受噪声、光照等干扰。技术实现要素：发明目的：为了克服现有无人机定位及目标跟踪技术中存在的不足，本发明提供一种基于二维标签的无人机定位及目标跟踪方法，该方法具有过程简单、成本低、精度高和鲁棒性好等特点，能够自主地完成无人机对目标的准确跟踪。技术方案：为实现上述目的，本发明采用的技术方案为：通过搭载在无人机上的高性能计算机对无人机的航拍图像进行处理，从而识别出二维标签距离无人机的三维空间距离。由于二维标签的位置已知，由此计算出无人机的空间坐标，并实现无人机对标签的实时跟踪。一种基于二维标签的无人机定位及目标跟踪方法，包括以下步骤：(a)对云台相机的标定：调用机载设备软件开发包中的接口实现对无人机的控制以及飞行数据的读取；在扫描过黑白相间的棋盘后将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV中提供的标定函数，标定出云台相机的内参数，即相机的焦距、主点；(b)进行二维标签的检测：标定完成后继续将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV对视频图像进行解码，接着使用虚拟视觉识别系统AprilTags库，对解码后经尺寸压缩的图像进行二维标签的识别，得到二维标签的序号及二维标签在图像中的坐标；(c)进行二维标签的定位：由步骤(a)、(b)中得到的相机的内参数及二维标签在图像中的坐标计算出相机的外参数，即建立影像中标签的坐标与现实环境中标签的坐标的对应关系，并进一步计算出二维标签相对于相机坐标系的三维坐标及旋转关系，由于二维标签的空间坐标事先已知，从而得到相机的坐标即无人机的坐标；(d)实现对目标二维标签的跟踪：根据步骤(c)得到的二维标签与无人机的三维空间距离，通过闭环控制实现对二维标签的跟踪；具体过程分为三部分：第一部分为云台相机对二维标签的跟踪，即云台伺服控制，通过云台的俯仰偏转角度调整，确保二维标签在相机图像的中央；第二部分为无人机对二维标签的方向跟踪,即通过闭环控制调整无人机的飞行姿态，保持无人机和二维标签运动的方向一致；第三部分为飞机对二维标签的速度跟踪，使用内外环控制无人机的飞行速度，使得无人机始终跟随二维标签飞行。上述过程使用多线程编程来协调，使无人机的控制与二维标签的检测定位同时进行且不互相冲突。图像经解码、压缩后尺寸缩小，能够充分提高二维标签的识别速度，满足高速实时控制的需求，避免丢失目标。虚拟视觉识别系统AprilTags库对二维标签的识别具有很高的精度和很好的鲁棒性，当光照强度变化，二维标签被部分遮挡，二维标签弯曲时，也能准确识别，同时当二维标签的大小为16.6*16.6cm，解码经压缩后的图片大小为640*360时二维标签的识别距离可以达到5米。进一步的，为了减小噪声的影响，步骤(a)中从m个不同的角度拍摄黑白相间的棋盘，对相机进行n次标定后取结果的平均值，其中m和n越大，结果越精确，从而得到相机的内参数矩阵K即K=fx0u00fyv0001]]>其中，fx、fy代表相机的焦距，u0、v0代表相机的光心。进一步的，步骤(b)中经AprilTags库识别后得到二维标签的序号和二维标签在图像中的坐标[xy1]，x、y为用像素值表示的横、纵坐标。进一步的，步骤(c)相机的外参数计算公式为：sxy1=fx0u00fyv0001r1r2r3t1r4r5r6t2r7r8r9t3XYZ1]]>其中，s表示一个比例系数，由上述方程可以解得；等式右边第二个矩阵为相机的外参数矩阵，即从现实中的三维坐标系到图像中的坐标系的变换矩阵，其中r1至r9表征两个坐标系之间的旋转关系，t1、t2、t3表征两个坐标系之间的平移关系；[XYZ1]为二维标签在现实中的三维坐标；由此进一步计算出二维标签相对于相机坐标系的三维坐标及旋转关系，由于二维标签的空间坐标事先已知，从而得到相机的坐标即无人机的坐标。进一步的，步骤(d)中使用内外环控制无人机的飞行速度，其中内环输入为二维标签的运动速度，由二维标签相对于无人机的距离算出，使用P控制器控制；外环输入为无人机和二维标签相差的距离，使用PID控制环控制；将内外环的输出相加后得到整个控制器的输出V，V表示飞机飞行速度的控制参数，使得无人机始终跟随二维标签飞行。有益效果：本发明提供的一种基于二维标签的无人机定位及目标跟踪方法，相对于现有技术具有以下优点：1、过程简单，成本较低，同时高精度地定位无人机一定范围内的实时位置，如精准定位无人机在厂房中的实时位置或实时跟踪行驶中的汽车等，定位精度可以达到厘米级别，且能够自主地完成无人机对目标的准确跟踪；2、具有很好的鲁棒性，当光照强度变化，二维标签被部分遮挡，二维标签弯曲时，也能准确识别，同时当二维标签的大小为16.6*16.6cm，解码经压缩后的图片大小为640*360时二维标签的识别距离可以达到5米；3、识别速度能够满足高速实时控制的需求，经过优化，对标签的识别速度可以达到50帧/s，即使标签较高速移动，也不会出现丢失目标的现象。附图说明图1为本发明提供的一种基于二维标签的无人机定位及目标跟踪方法流程框图；图2为相机标定过程中所用的黑白相机的棋盘；图3为无人机定位及跟踪目标即二维标签的实例。具体实施方式下面结合附图对本发明作更进一步的说明。如图1所示为一种基于二维标签的无人机定位及目标跟踪方法，包括以下步骤：(a)对云台相机的标定：调用机载设备软件开发包中的接口实现对无人机的控制以及飞行数据的读取；从m个不同的角度拍摄过图2中的黑白棋盘后将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV中提供的标定函数，标定出云台相机的内参数；为了减小噪声的影响，对相机进行n次标定后取结果的平均值，其中m和n越大，结果越精确，从而得到相机的内参数矩阵K即K=fx0u00fyv0001]]>其中，fx、fy代表相机的焦距，u0、v0代表相机的光心。(b)进行二维标签的检测：标定完成后继续将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV对视频图像进行解码，接着使用虚拟视觉识别系统AprilTags库，对解码后经尺寸压缩的图像进行二维标签的识别，得到二维标签的序号和二维标签在图像中的坐标[xy1]，x、y为用像素值表示的横、纵坐标。(c)进行二维标签的定位：由步骤(a)、(b)中得到的相机的内参数及二维标签在图像中的坐标计算出相机的外参数，计算公式为：sxy1=fx0u00fyv0001r1r2r3t1r4r5r6t2r7r8r9t3XYZ1]]>其中，s表示一个比例系数，由上述方程可以解得；等式右边第二个矩阵为相机的外参数矩阵，即从现实中的三维坐标系到图像中的坐标系的变换矩阵，其中r1至r9表征两个坐标系之间的旋转关系，t1、t2、t3表征两个坐标系之间的平移关系；[XYZ1]为二维标签在现实中的三维坐标；由此进一步计算出二维标签相对于相机坐标系的三维坐标及旋转关系，由于二维标签的空间坐标事先已知，从而得到相机的坐标即无人机的坐标。(d)实现对目标二维标签的跟踪：根据步骤(c)得到的二维标签与无人机的三维空间距离，通过闭环控制实现对二维标签的跟踪；具体过程分为三部分：第一部分为云台相机对二维标签的跟踪，即云台伺服控制，通过云台的俯仰偏转角度调整，确保二维标签在相机图像的中央；第二部分为无人机对二维标签的方向跟踪,即通过闭环控制调整无人机的飞行姿态，保持无人机和二维标签运动的方向一致；第三部分为飞机对二维标签的速度跟踪，使用内外环控制无人机的飞行速度，其中内环输入为二维标签的运动速度，由二维标签相对于无人机的距离算出，使用P控制器控制；外环输入为无人机和二维标签相差的距离，使用PID控制环控制；将内外环的输出相加后得到整个控制器的输出V，V表示飞机飞行速度的控制参数，使得无人机始终跟随二维标签飞行。上述过程使用多线程编程来协调，使无人机的控制与二维标签的检测定位同时进行且不互相冲突。以上所述仅是本发明的优选实施方式，应当指出：对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。当前第1页1 2 3