基于地基鱼眼相机阵列的无人机光学跟踪定位方法与流程

本发明涉及一种无人机定位方法，特别是涉及一种基于地基鱼眼相机阵列的无人机光学跟踪定位方法。

背景技术：

近年来，民用无人机呈现快速的发展趋势，在工业、民用领域具有大量的生产应用，实现广域的无人机跟踪定位在应用中具有很重要的意义。无人机的跟踪定位任务主要就是突破对广域飞入的无人机进行实时的精准检测，跟踪以及空间定位等关键技术问题。

文献“autonomouslandingofanuavwithaground-basedactuatedinfraredstereovisionsystem，pp.2963-2970.ieee,2013”构建了一套基于地基红外立体相机的无人机着陆导引系统，该系统通过在实验场景放置大标定板来完成对立体相机的参数标定，通过样本学习训练的方式生成模型，实现对空域中无人机的检测，最后利用立体视觉三角测量定位方式实现对无人机空间位置解算并完成安全控制导引任务。但是，文中所述方法相机标定方法复杂以及检测精度低等问题，因此该系统不易快速的移植到其他平台，针对无人机广域检测跟踪需求，该方法具有一定的局限性。

技术实现要素：

为了克服现有无人机定位方法定位精度低的不足，本发明提供一种基于地基鱼眼相机阵列的无人机光学跟踪定位方法。该方法首先布置地基鱼眼相机阵列，地基鱼眼相机阵列的视野覆盖检测空域，同时相机之间具有较大的重叠区域。通过相机阵列对空中多目标进行协同检测，检测的结果作为相机之间有效的匹配点，通过之间的匹配关系计算相机之间的旋转矩阵以及平移矩阵，最后结合相机的内参计算相机的投影矩阵。通过vibe算法对背景进行建模，进行数据预处理实现前景运动目标的提取，使用匈牙利算法进行帧间目标的数据关联，实现多运动目标的有效跟踪。采用多视图几何中影射重构的方式，解算地面目标的三维坐标并通过多相机协同观测进行数据优化。由于地基鱼眼相机阵列视野大，30m范围内标定精度误差小于10cm。

本发明解决其技术问题所采用的技术方案是：一种基于地基鱼眼相机阵列的无人机光学跟踪定位方法，其特点是包括以下步骤：

步骤一、布置地基鱼眼相机阵列，使地基鱼眼相机阵列的视野覆盖检测空域，同时地基鱼眼相机之间覆盖区域重叠。

步骤二、鱼眼相机的成像关系：

r＝fθ(1)

其中，f代表鱼眼相机焦距，θ代表入射光线的角度，r代表光线的投影。投影函数为：

θd＝θ(1+k1θ²+k2θ⁴+k3θ⁶+k4θ⁸)(2)

采用opencvfisheye相机模型的标定工具进行鱼眼相机内参的标定，获得每一个鱼眼相机的内参矩阵ki以及畸变系数di(i＝1,2,3,4…)。

对于鱼眼相机阵列之间外参的标定，采用多旋翼无人机作为协同目标，通过鱼眼相机阵列进行多目标的协同检测，其协同目标检测的匹配点集为其中，x代表坐标，下标i代表第i个鱼眼相机，mn代表匹配点的数量。然后，通过匹配的点集估计鱼眼相机之间的基本矩阵，通过基本矩阵进一步获得极限约束的匹配内点集为结合匹配点集和鱼眼相机内参计算得到本质矩阵。最后，通过对本质矩阵进行奇异值分解得到鱼眼相机之间外部参数，即旋转矩阵以及相对平移向量，测量鱼眼相机实际布置距离，恢复真实尺度，计算得到旋转矩阵r和平移向量t。

步骤三、对鱼眼相机前景分割结果进行形态学处理，针对检测结果中出现的虚景目标以及噪声点，通过鱼眼相机阵列进行极线，排除虚景以及噪声点。

将鱼眼相机前景每一个聚类像素的中心看作是一个候选目标，定义类别中心的距离为：

其中，pi和pj是聚类中心点，(pi^x,pi^y)和(pj^x,pj^y)分别是点pi和pj的坐标。利用鱼眼相机之间的极线约束去除虚假目标以及噪声点。

假设两个鱼眼相机分别检测到的目标集合为:和数据关联的任务就是计算和之间的匹配关系，距离测量通过计算和之间的对称误差确定，定义如下：

其中，f为两个鱼眼相机之间的基本矩阵。两个鱼眼相机之间的匹配矩阵表示为：

通过匈牙利算法计算获得全局最优的匹配，将此作为最终的检测结果。

采用欧式距离作为空间点之间的距离衡量，定义历史的目标跟踪结果为ti^t(i＝1,2,...,p)和当前的定位结果为ti^t+1(i＝1,2,...,q)，其距离计算如下：

其中，和分别为ti^t和的空间坐标，因此匹配矩阵：

采用匈牙利算法，通过匹配矩阵计算得最终的多目标跟踪结果。

步骤四、设空间点x，其在两个鱼眼相机中的观测点是x,x'，现假设分别是观测点x,x'满足极限约束的附近点。依据最小化投影误差，通过下式求解

其中，f是两个鱼眼相机之间的基本矩阵，和是观测点投影误差。

首先通过dlt得到的初始值，然后使用lm的非线性迭代方法优化设其符合单应模型x×px＝0，x'×p'x＝0。

关于x的线性方程组写成ax＝0，尽管每一组对应点确定三个方程，但是只有其中两个是线性无关的，因此每一组点关于x只提供两个方程，因此a变成：

由于齐次坐标x只有3个自由度，然而线性方程ax＝0包含4个方程，因此(9)式是一个超定方程组，为了近似的求解方程ax＝0，做如下的优化处理：

其中，||ax||＝1。

根据(10)式得到x的初值，然后采用鱼眼相机阵列协同，使用捆束调整实现多视图重投影误差最小，通过式(11)进一步优化x:

其中，ii代表第i个鱼眼相机，vi由式(12)确定：

q(x,ii)代表x在第i个鱼眼相机的投影点，d(q(x,ii),xi)²表示的是目标在第i个鱼眼相机上的重投影误差。

本发明的有益效果是：该方法首先布置地基鱼眼相机阵列，地基鱼眼相机阵列的视野覆盖检测空域，同时相机之间具有较大的重叠区域。通过相机阵列对空中多目标进行协同检测，检测的结果作为相机之间有效的匹配点，通过之间的匹配关系计算相机之间的旋转矩阵以及平移矩阵，最后结合相机的内参计算相机的投影矩阵。通过vibe算法对背景进行建模，进行数据预处理实现前景运动目标的提取，使用匈牙利算法进行帧间目标的数据关联，实现多运动目标的有效跟踪。采用多视图几何中影射重构的方式，解算地面目标的三维坐标并通过多相机协同观测进行数据优化。由于地基鱼眼相机阵列视野大，30m范围内标定精度误差小于10cm。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于地基鱼眼相机阵列的无人机光学跟踪定位方法具体步骤如下：

1、地基鱼眼相机阵列的任意布置。

地基相机阵列的布置是本方法的基础所在，通过2-4个广角的鱼眼相机进行多组外场实验，实验中将相机任意的布置在场景中，使其视野尽量的覆盖较大的空域同时相机之间具有较大的重叠视场。

2、地基相机阵列的自标定。

鱼眼相机镜头是一个超宽的镜头，具有较大的视野，其成像关系如下式所示：

r＝fθ(1)

其中f代表的相机焦距，θ代表的是入射光线的角度，r代表的是光线的投影。其中投影函数为：

θd＝θ(1+k1θ²+k2θ⁴+k3θ⁶+k4θ⁸)(2)

采用opencvfisheye相机模型的标定工具进行相机内参的标定，获得每一个相机的内参矩阵ki以及畸变系数di(i＝1,2,3,4…)。

针对相机阵列之间外参的标定，本发明提出基于多目标协同的自标定方法，首先我们采用多旋翼无人机作为协同目标，通过相机阵列进行多目标的协同检测，其协同目标检测的匹配点集为其中x代表坐标，下标i代表的是第i个相机，mn代表了总共的匹配点的数量。然后，通过匹配的点集来估计相机之间的基本矩阵，通过基本矩阵进一步获得极限约束的匹配内点集为结合匹配点集和相机内参可以计算得到本质矩阵。最后，通过对本质矩阵进行奇异值分解可以得到相机之间外部参数，即旋转矩阵以及相对平移向量，测量相机实际布置距离来恢复真实尺度计算得到旋转矩阵r和平移向量t。

3、相机阵列协同空域多目标检测与跟踪。

由于相机阵列镜头向上安装，因此相机视野中背景大都是天空。针对此背景下的运动目标检测,本专利中检测方法是在原始vibe算法的基础上，对其前景分割结果进行形态学处理，使得检测结果具有较好的完整性，针对检测结果中出现的虚景目标以及噪声点，本方法通过相机阵列进行极线约束实现对虚景以及噪声点的排除，进而提高目标检测的精度。

首先将前景每一个聚类像素的中心看作是一个候选目标，定义类别中心的距离为：

其中pi和pj是聚类中心点，(pi^x,pi^y)和(pj^x,pj^y)分别是点pi和pj的坐标。利用相机之间的极线约束可以有效地去除虚假目标以及噪声点。

现在以两个相机为例进行分析，假设两个相机分别检测到的目标集合为:和数据关联的任务就是计算和之间的匹配关系，距离测量可以通过计算和之间的对称误差来计算，定义如下：

其中f为来那个相机之间的基本矩阵。两个相机之间的匹配矩阵表示为：

通过匈牙利算法计算获得全局最优的匹配，将此作为最终的检测结果。

采用欧式距离作为空间点之间的距离衡量，定义历史的目标跟踪结果为ti^t(i＝1,2,...,p)和当前的定位结果为ti^t+1(i＝1,2,...,q)，其距离可以计算如下：

其中和分别为ti^t和的空间坐标，因此匹配矩阵可以计算得：

匈牙利算法通过匹配矩阵来计算得最终的多目标跟踪结果。

4、基于相机阵列的多目标空间精确定位。

基于多视图几何射影重构的思想，我们采用相机阵列协同实现多目标空间定位。设空间点x，其在两个相机中的观测点是x,x'，现假设分别是观测点x,x'满足极限约束的附近点。依据最小化投影误差，通过计算下式求解

其中f是两相机之间的基本矩阵，和是观测点投影误差。

上述式子求解分为两步，首先通过dlt(directlineartransform)得到的初始值，然后使用lm(levenberg-marquardt)的非线性迭代方法优化设其符合单应模型x×px＝0，x'×p'x＝0。

上述关于x的线性方程组可以写成ax＝0，尽管每一组对应点可以确定三个方程，但是只有其中两个是线性无关的，因此每一组点关于x只提供两个方程，因此a变成：

由于齐次坐标x只有3个自由度，然而线性方程ax＝0包含4个方程，因此(9)式是一个超定方程组，为了近似的求解方程ax＝0，我们做如下的优化处理：

其中||ax||＝1。

根据上述(10)式我们可以得到x的初值，然后我们采用相机阵列协同，使用捆束调整(bundleadjustment)实现多视图重投影误差最小，通过下式来进一步优化x:

其中ii代表的式第i个相机，vi由下式确定：

q(x,ii)代表的都是x在第i个相机的投影点，d(q(x,ii),xi)²表示的是目标在第i个相机上的重投影误差。