多摄像机协同的无人机检测、定位及跟踪方法
【专利摘要】本发明涉及一种多摄像机协同的无人机检测、定位及跟踪方法，针对无人机着陆过程中，利用视觉进行无人机导航控制问题，基于多摄像机协同技术，实现了无人机着陆过程中的实时检测、定位与跟踪。首先利用全站仪进行大场景高精度的摄像机标定，然后在真实无人机着陆环境中机载合作标志灯成像特性的基础上，基于极线约束的目标检测方法进行无人机精确检测，最后基于多摄像机立体视觉实现无人机的空间定位，并利用目标运动的时空连续性进行数据关联完成无人机着陆过程的跟踪。本发明的定位精度为：距着陆点400m处，XYZ方向的定位精度分别为20m、2m和2m；200米处，定位精度分别为5m、0.5m和0.5m；最后50米的定位精度均为0.2m。该系统定位测量总延时小于25ms，包括采集、传输和处理的时间。
【专利说明】 多摄像机协同的无人机检测、定位及跟踪方法
【技术领域】
[0001]本发明涉及一种多摄像机目标检测与定位跟踪方法，具体为协同的无人机高精度目标检测与定位跟踪方法。
【背景技术】
[0002]无人机视觉导航技术是近年国际上迅速发展起来的一种新型导航技术。该技术通常在飞行器上安装可见光/红外摄像机或成像雷达对地面成像，或利用地基/舰基的摄像机对无人机拍摄图像，利用立体视觉技术可以得到飞行器的位置、速度、姿态、高度和飞行方向等多种导航参数，从而为运动平台提供导航信息。视觉导航技术具有自成体系、不易受干扰、无时间累积误差、测量精度高、体积小、成本低、功耗小、可测参数多等诸多突出优点，具有广阔的应用发展前景。无人机视觉导航技术用途广泛，由于可以得到无人机自身的位置、高度、速度、姿态和飞行方向等多种导航参数，视觉导航技术在无人机的飞行控制、姿态确定和自主降落等领域起着重要的作用。目前，在无人机的自主着陆导航上应用上，精确的视觉导航技术仍有许多问题要解决，如无人机的实时持续检测，精确定位，以及持续跟踪。
【发明内容】
[0003]要解决的技术问题
[0004]目标检测精度直接决定了目标定位精度，为了提高无人机的检测精度，通常在无人上携带标志灯，但由于机载合作标志灯尺寸较小，当无人机从较远处开始下滑着陆时，机载合作标志灯呈现小目标的特性。此外，实际环境中可能会受到强烈阳光、杂波、信号噪声等不确定因素的影响，进而导致场景中的光照强度接近甚至超过小目标区域的光照强度，降低目标信噪比，给目标检测带来严峻困难。因而如何实现对小目标高精度、稳定和实时的检测跟踪是本系统的难点问题之一。针对以上问题，本发明针对无人机着陆过程中，利用视觉进行无人机导航控制问题，发明了一种多摄像机协同的无人机高精度检测、定位与跟踪方法。
[0005]技术方案
[0006]一种多摄像机协同的无人机检测、定位及跟踪方法，其特征在于步骤如下:
[0007]步骤1:内外参数标定:摄像机内外参数标定:采用基于平面标定板的方法对摄像机进行内参标定，确定摄像机内参和基准点的空间坐标，计算基准点平面与摄像机成像平面之间的单应变换H，将单应矩阵H分解为旋转矩阵R和平移向量T，完成外参标定；
[0008]步骤2:目标检测:对相机采集的图像进行简单形态学预处理去除图像上的噪声，然后进行阈值分割，当图像像素值大于分割阈值T为候选目标前景图；对前景图进行聚类，像素距离fpd(Pi，Pj)小于前景聚类窗J聚为一类Xi(i >0)，将每一个聚类的图像质心坐标确定为候选目标Xi在图像中的坐标:
[0009]jp<1 (Pi, Pj)=小J); - Pj )2 +(/),' - Pj y
[0010]其中，P1、Pj为图像像素点，(P.;，W)和(Pxj，P])分别为Pi，Pj像素点坐标值；
[0011]计算两个摄像机采集的图像之间的对称转移误差，将其作为距离度量:
[0012]?/(.ν',-V:) = d{x), F1 x]) + d(.x), F.x))
[0013]其中，为第一个摄像机的候选目标集合，
/2 = {.Υι2，χ22，...，χ72，..?为第二个摄像机的候选目标集合，F为两摄像机所成图像的基本矩阵；求解两个图像之间的匹配矩阵D:
【权利要求】
1.一种多摄像机协同的无人机检测、定位及跟踪方法，其特征在于步骤如下: 步骤1:内外参数标定:摄像机内外参数标定:采用基于平面标定板的方法对摄像机进行内参标定，确定摄像机内参和基准点的空间坐标，计算基准点平面与摄像机成像平面之间的单应变换H，将单应矩阵H分解为旋转矩阵R和平移向量T，完成外参标定； 步骤2:目标检测:对相机采集的图像进行简单形态学预处理去除图像上的噪声，然后进行阈值分割，当图像像素值大于分割阈值T为候选目标前景图；对前景图进行聚类，像素距离Fpd(PuPj)小于前景聚类窗J聚为一类XiQ >0)，将每一个聚类的图像质心坐标确定为候选目标Xi在图像中的坐标:
fPAp； ’ Pi) = ^(p--p])2+(p；-p:y 其中，P1、Pj为图像像素点，(P P )和(g，Pj )分别为Pi，Pj像素点坐标值； 计算两个摄像机采集的图像之间的对称转移误差，将其作为距离度量: ?/(-ν',.V:) = d{.\) ,F1X21) + c/(.v' ? Fx)) 其中，αχ?,-Η’χ?,.-.χ?}为第一个摄像机的候选目标集合，/2=彳.^，一，^，?乂}为第二个摄像机的候选目标集合，F为两摄像机所成图像的基本矩阵；求解两个图像之间的匹配矩阵D:
ft?(xj, X12) d(x\,xl)...d(x\,x])
? (/(xi’xf) d(x\,x'；)…d (χι7, X1') D= ^*~
_6?(Κ) d{xl,x；)…d{xlm,x])_ 采用匈牙利算法求解匹配矩阵D获得t时刻的全局最优匹配结果作为检测定位结果Qt ； 步骤3:目标定位:对如下目标函数进行最大似然估计:
C(x, x') = d(x, x)'2 + d(x!, i;)2subject to x'TFx = 0 其中，A和；T为摄像机C与C'对应图像上的观测点，f和;T为精确满足对极几何约束的对应观测点附近的点,d(*，*)代表图像点之间的欧氏距离；首先通过DLT(Direct LinearTransform)求得&和#初始值，然后利用LM非线性优化算法对初始值进行迭代优化，可得最终的定位结果； 步骤4:目标跟踪:采用定位结果在三维空间中的欧氏距离作为距离度量，定义历史结果？T (i = 1,2,…，P)和当前观测(j = 1,2,…，q)之间的距离为:
d(T;，XtJhl) = ^jixr1-XtJ1Y +(y'1-Jy+1)" +(z'1-Zt^y 其中，(χ；,γ；,ζ；)为f的空间坐标，(4+1,vf,zf)力X的空间坐标；采用匈牙利算法进行定位结果的数据关联，求解全局最优的数据关联结果。
2.根据权利要求1所述的多摄像机协同的无人机检测、定位及跟踪方法，其特征在于分割阈值Te [40，100]，前景聚类窗J e [40，100]。
【文档编号】G01C21/00GK104197928SQ201410436431
【公开日】2014年12月10日 申请日期:2014年8月29日 优先权日:2014年8月29日
【发明者】杨涛, 张艳宁, 卓涛, 陈挺, 冉令燕, 张晓强, 余瑞 申请人:西北工业大学