一种旋翼无人机大范围目标监测和精确定位方法与流程

本发明属于视觉测量与无人机飞行控制领域，具体涉及一种旋翼无人机大范围目标监测和精确定位方法。
背景技术：
：现今世界的无人机技术已日趋成熟，性能也日臻完美。对于机载摄像机的应用也极为普遍，因为图像摄取是最直观有效的侦查、监视、追踪手段。在民用中，载有摄像机的小型无人机可以完成勘探、跟踪、搜索等任务，例如：对地震、洪灾等自然灾害地区进行灾情评估、地貌勘察等。随着无人机的快速发展，其应用领域也自然会从军事领域迅速地向民用领域蔓延。目前，基于视觉的无人机目标定位已成为国内外无人机研究领域的热点问题。基于视觉的无人机目标定位方法，是在获取无人机自身GPS位置、高程、摄像机内外参数等前提下，利用摄像机的测距模型，求取目标在大地坐标系下的绝对坐标。现有成型的视觉定位系统大多面向军用，因其依赖于配套的高精度传感器，例如，INS惯导系统等，该模型可获得很高的定位精度。旋翼无人机具有成本低、可定点悬停和垂直起降等优势，在民用领域得到越来越广的应用。考虑传感器成本、体积等限制，旋翼无人机一般配备低精度AHRS惯性测量系统等传感器。而利用旋翼无人机进行视觉定位，由于AHRS系统本身存在很大的航向偏差，该模型不能直接使用，需对航向偏差进行有效估计。而现有技术仅利用单一摄像机寻找标志物，然后采取对同一标志物的多点图像测量计算航向偏差，主要存在以下缺陷：1、由于视场范围有限，发现满足条件的标志物比较困难，耗时时间长；2、没有考虑对无人机的航迹进行规划，难以精确地计算航向偏差，导致目标的定位精度不高。技术实现要素：有鉴于此，本发明提供了一种旋翼无人机大范围目标监测和精确定位方法，能够精确地计算AHRS系统的航向偏差，然后进行校正，精确定位。实现本发明的技术方案如下：一种旋翼无人机大范围目标监测和精确定位方法，包括以下步骤：步骤一、利用搭载在无人机上的3个摄像机拍摄图像并且回传到地面站，其中3个摄像机分别为1个前视摄像机和2个侧视摄像机；步骤二、从回传的图像中选择具有清晰轮廓的静态物体作为标志物，并将拍摄该图像的摄像机作为选定摄像机；若仅有一个摄像机拍摄到标志物，则选择该摄像机作为选定摄像机，若有两个以上摄像机拍摄到标志物，则优先选择前视摄像机作为选定摄像机；步骤三、若选定摄像机为前视摄像机，则设定无人机的航迹为平飞，并执行步骤五；若选定摄像机为任一侧视摄像机，则预估标志物相对于无人机的位置，结合标志物相对于无人机的位置、选定摄像机的视角约束、航向偏差的估计精度以及实时性要求，生成无人机的航迹；步骤四、地面站发送控制命令至无人机，使无人机按照生成的航迹飞行；步骤五、在无人机沿航迹飞行过程中，选定摄像机对标志物进行多点视觉测量，运用图像处理和线性回归的方法计算无人机的航向偏差；步骤六、若无人机的航迹非平飞，则将无人机由航迹飞行状态切换到平飞状态，选择任一摄像机视野中的任一目标，利用航向偏差得到无人机的真实航向，进而实现对目标的精确定位。进一步地，步骤三中预估标志物相对于无人机的位置具体过程为：对标志物进行识别，然后根据标志物的几何中心在图像中的像素位置(xf,yf)，计算标志物在选定摄像机坐标系{C}下的坐标pc＝[xcyczc]T，再将pc转化为无人机的机体坐标系{B}下的坐标pb＝[xbybzb]T，即标志物相对于无人机的位置；其中，选定摄像机坐标系{C}的x,y,z分别指向摄像机的前方，右方和下方；机体坐标系{B}的x,y,z分别指向无人机的前方，右方和下方。进一步地，步骤三中生成无人机的航迹具体计算过程为：若选定摄像机为左视摄像机，计算过程如下：(1)设置选定摄像机的视角约束为FOV，为确保标志物落在选定摄像机的图像视野内，无人机需限定其飞行范围M：x0-hsin(β)·tan(FOV2)≤Mx≤x0+hsin(β)·tan(FOV2)y0-(htan(β)-htan(β+FOV2))≤My≤y0+(htan(β-FOV2)-htan(β))---(4)]]>无人机在任一位置都具有一定的拍摄覆盖范围S：x0-hsin(β)·tan(FOV2)≤Sx≤x0+hsin(β)·tan(FOV2)y0-htan(β-FOV2)≤Sy≤y0-htan(β+FOV2)---(5)]]>其中，x0，y0为无人机在惯性参考坐标系{I}下的水平方向位置，β为选定摄像机的俯视角，h为无人机与标志物的相对高度，Mx和My分别为无人机在惯性参考坐标系{I}下飞行范围的横、纵坐标；Sx和Sy分别为无人机在惯性参考坐标系{I}下任一位置拍摄范围的横、纵坐标；(2)控制无人机在原位置作角度为α的自旋；α=arctan(-xbyb)---(6)]]>若α≤0，则逆时针旋转|α|角度，若α＞0，则顺时针旋转|α|；(3)根据标志物与覆盖范围右边界的距离若Δd≥0，则无人机向右平飞距离为s1的航程，否则，无人机向左平飞距离为s2的航程；s1=|Δd|+k1s2=|Δd|+k2---(7)]]>其中，为无人机的覆盖范围S的右边界；k1设置为GPS的水平定位误差δ，k2＝-δ；(4)根据航向偏差的估计精度要求，选择不同的航迹，航向偏差的估计精度从高到低所对应的航迹分别为：绕椭圆飞,绕圆周飞和平飞；若选择绕圆周飞航迹，其半径为R，或选择绕椭圆飞航迹，其短半轴为a，长半轴为b；对于绕圆周或绕椭圆飞行的航迹，飞行航迹的弧度rad为：1.5π≤rad≤2π；若d≥0，若Δd＜0，若选定摄像机为右视摄像机，计算过程如下：(1)设置选定摄像机的视角约束为FOV，为确保标志物落在选定摄像机的图像视野内，无人机需限定其飞行范围M：x0-hsin(β)·tan(FOV2)≤Mx≤x0+hsin(β)·tan(FOV2)y0-(htan(β-FOV2)-htan(β))≤My≤y0+(htan(β)-htan(β+FOV2))---(15)]]>无人机在任一位置都具有一定的拍摄覆盖范围S：x0-hsin(β)·tan(FOV2)≤Sx≤x0+hsin(β)·tan(FOV2)y0+htan(β+FOV2)≤Sy≤y0+htan(β-FOV2)---(16)]]>(2)控制无人机在原位置作角度为α的自旋；α=arctan(-xbyb)---(17)]]>若α≤0，则逆时针旋转|α|角度，若α＞0，则顺时针旋转|α|；(3)根据标志物与覆盖范围左边界的距离若Δd≥0，则无人机向右平飞距离为s1的航程，否则，无人机向左平飞距离为s2的航程；s1=|Δd|-k1s2=|Δd|-k2---(18)]]>其中，为无人机的覆盖范围S的右边界；k1设置为GPS的水平定位误差δ，k2＝-δ；(4)根据航向偏差的估计精度要求，选择不同的航迹，航向偏差的估计精度从高到低所对应的航迹分别为：绕椭圆飞,绕圆周飞和平飞；若选择绕圆周飞航迹，其半径为R，或选择绕椭圆飞航迹，其短半轴为a，长半轴为b；对于绕圆周或绕椭圆飞行的航迹，飞行航迹的弧度rad为：1.5π≤rad≤2π；若Δd≥0，若Δd＜0，进一步地，预估标志物相对于无人机的位置具体计算如下：利用摄像机的针孔模型得到：xfyf=fxcyczc---(1)]]>无人机与标志物的相对高度为：联立(1)和(2)得到pc＝[xcyczc]T，标志物相对于无人机的位置为pb=Ccambpc=cosψcosθcosψsinθsinφ-sinψcosφsinψsinφ+cosψsinθcosφsinψcosθcosψcosφ+sinψsinθsinφsinψsinθcosφ-cosψsinφ-sinθsinφcosθcosφcosθpc---(3)]]>其中，f为选定摄像机的内参数焦距；θc表示选定摄像机坐标系{C}相对于惯性参考坐标系{I}的横滚角、俯仰角；ψ、θ、φ表示选定摄像机坐标系{C}相对于机体坐标系{B}的方位角、俯仰角、横滚角。有益效果：本发明所提供的方法采用搭载在旋翼无人机上的3个摄像机拍摄不同方位的图像，监测范围大，更容易地人为捕获具有清晰轮廓的静态物体作为标志物；若选定摄像机为任一侧视摄像机，预估标志物相对于无人机的位置，生成无人机的航迹，在无人机沿此航迹飞行过程中，选定摄像机对标志物进行多点视觉测量，能明显提高航向偏差的估计精度；然后校正航向，实现对目标的精确定位。附图说明图1为本发明的旋翼无人机目标定位系统结构图；图2为本发明所提供方法的流程图；图3为本发明的3个摄像机拍摄覆盖范围效果图；图4为本发明所使用无人机与标志物的相对高度的示意图；图5为本发明的无人机飞行范围和拍摄覆盖范围示意图；图6为本发明所使用的摄像机测距模型示意图；图7为本发明所提供方法的目标定位效果图；其中，7-a表示无航迹规划的定位效果，7-b，7-c，7-d分别表示平飞航迹规划、圆周航迹规划、椭圆航迹规划的定位效果。具体实施方式下面结合附图并举实施例，对本发明进行详细描述。搭建如下实验平台对本发明的有效性进行验证。使用一架T650四旋翼无人机，一台笔记本作为地面站，对无人机进行控制，系统结构如图1所示。对于无人机，机上带有GPS定位系统，AHRS惯性测量系统，高程计，无线图像传输模块和无线数据收发模块，使用APM飞控工作在自稳模式来保证无人机的稳定飞行。在无人机的机头位置安装前视摄像机，在左翼、右翼位置分别安装左视摄像机和右视摄像机，3个摄像机的俯视角β均为45°。其中，摄像机用于采集图像，并通过无线图像传输模块回传图像到地面站，而无人机的位置、姿态和高程信息通过无线数据收发模块传输到地面站。地面站以计算机为主体，运行无人机视觉定位、航迹生成和控制算法，使用USB接口连接无线数据收发模块，实现无人机与地面站的相互通信。基于该实验平台，如图2所示，一种旋翼无人机大范围目标监测和精确定位方法，包括以下步骤：步骤一、系统启动后，利用搭载在无人机上的3个摄像机拍摄图像并且回传到地面站，其中3个摄像机分别为1个前视摄像机和2个侧视摄像机，拍摄覆盖范围如图3所示；步骤二、从回传的图像中选择具有清晰轮廓的静态物体作为标志物，并将拍摄该图像的摄像机作为选定摄像机；若仅有一个摄像机拍摄到标志物，则选择该摄像机作为选定摄像机，若有两个以上摄像机拍摄到标志物，则优先选择前视摄像机作为选定摄像机；若拍摄到标志物的为两个侧视摄像机，则任选一个侧视摄像机作为选定摄像机。步骤三、若选定摄像机为前视摄像机，则设定无人机的航迹为平飞，并执行步骤五；若选定摄像机为任一侧视摄像机，则预估标志物相对于无人机的位置，结合标志物相对于无人机的位置、选定摄像机的视角约束、航向偏差的估计精度以及实时性要求，生成无人机的航迹；运用SIFT算法对标志物进行识别，得到m个特征点P1,P2...Pm-1,Pm并进行存储作为模板，然后取这些特征点的几何中心Pg(g≤m)代表标志物在图像中的像素位置,记为(xf,yf)，再计算标志物在选定摄像机坐标系{C}下的坐标pc＝[xcyczc]T，最后将pc转化为无人机的机体坐标系{B}下的坐标pb＝[xbybzb]T，即相对于无人机的位置；其中，选定摄像机坐标系{C}的x,y,z分别指向摄像机的前方，右方和下方；机体坐标系{B}的x,y,z分别指向无人机的前方，右方和下方。预估标志物相对于无人机的位置具体计算如下：利用摄像机的针孔模型得到：xfyf=fxcyczc---(1)]]>如图4所示，无人机与标志物的相对高度为：联立(1)和(2)得到pc＝[xcyczc]T，标志物相对于无人机的位置为pb=Ccambpc=cosψcosθcosψsinθsinφ-sinψcosφsinψsinφ+cosψsinθcosφsinψcosθcosψcosφ+sinψsinθsinφsinψsinθcosφ-cosψsinφ-sinθsinφcosθcosφcosθpc---(3)]]>其中，f为选定摄像机的内参数焦距；θc表示选定摄像机坐标系{C}相对于惯性参考坐标系{I}的横滚角、俯仰角；ψ、θ、φ表示选定摄像机坐标系{C}相对于机体坐标系{B}的方位角、俯仰角、横滚角。以下计算以左视摄像机为例计算无人机的航迹：(1)设置选定摄像机的视角约束FOV为30°，为确保标志物落在选定摄像机的图像视野内，如图5所示，图中①，②，③表示不同航向飞行，无人机需限定其飞行范围M：无人机在任一位置都具有一定的拍摄覆盖范围S：其中，x0，y0为无人机在惯性参考坐标系{I}下的水平方向位置，β为选定摄像机的俯视角，Mx和My分别为无人机在惯性参考坐标系{I}下飞行范围的横、纵坐标；Sx和Sy分别为无人机在惯性参考坐标系{I}下任一位置拍摄范围的横、纵坐标；(2)控制无人机在原位置作角度为α的自旋；α=arctan(-xbyb)---(6)]]>若α≤0，则逆时针旋转|α|角度，若α＞0，则顺时针旋转|α|；(3)根据标志物与覆盖范围右边界的距离若Δd≥0，则无人机向右平飞距离为s1的航程，否则，无人机向左平飞距离为s2的航程；s1=|Δd|+k1s2=|Δd|+k2---(7)]]>其中，为无人机的覆盖范围S的右边界；k1设置为GPS的水平定位误差δ，k2＝-δ；(4)根据航向偏差的估计精度要求，选择不同的航迹，航向偏差的估计精度从高到低所对应的航迹分别为：绕椭圆飞,绕圆周飞和平飞；若选择绕圆周飞航迹，其半径为R，或选择绕椭圆飞航迹，其短半轴为a，长半轴为b；对于绕圆周或绕椭圆飞行的航迹，飞行航迹的弧度rad为：1.5π≤rad≤2π；若Δd≥0，若Δd＜0，步骤四、地面站发送控制命令至无人机，使无人机按照生成的航迹飞行；步骤五、在无人机沿航迹飞行过程中，选定摄像机对标志物进行多点视觉测量，运用图像处理和线性回归的方法计算无人机的航向偏差；具体地，采用SIFT算法对当前图像进行特征提取，然后利用步骤三中模板对特征点进行匹配，得到w组匹配点P1,P2...Pw-1,Pw，最后取这些匹配点的几何中心Ps(s≤w)代表标志物在图像中的像素位置,记为(xf,yf)，如图6所示，[x0y0z0]T，[xiyizi]T分别表示无人机、标志物在惯性参考坐标系{I}的坐标，摄像机的测距模型为xiyi=x0y0+(z0-zi)1(0,0,1)Cbnxfyff100010Cbnxfyff---(8)]]>姿态矩阵为Cbn=cosψncosθncosψnsinθnsinφn-sinψncosφnsinψnsinφn+cosψnsinθncosφnsinψncosθncosψncosφn+sinψnsinθnsinφnsinψnsinθncosφn-cosψnsinφn-sinθnsinφncosθncosφncosθn]]>其中，相对高度h＝z0-zi，(ψn,θn,φn)表示无人机的航向角、俯仰角、横滚角，俯仰角θ、横滚角φ的测量精度高，其误差忽略不计，而航向角ψ的测量存在较大的航向偏差δψ，需要通过线性回归方法进行计算。设参数θ＝[θ1,θ2]T，θ1＝[xi,yi]T，θ2＝δψ，y1＝[x0,y0,z0,xf,yf]T，量测方程为z1＝y1+v1,v1～N(0,R1)(9)Cbcn≈Cbn+δCbn(θ2+v2),v2~N(0,R2)---(10)]]>其中v1，v2为测量噪声，R1，R2为实对称正定阵。则式(8)变形为θ1=f(z1-v1,Cbcn-δCbn(θ2+v2))---(11)]]>运用泰勒展开，式(11)变为f(z1-v1,Cbcn-δCbn(θ2+v2))≈f(z1,Cbcn)-∂f∂y1|z1,Cbcn.v1-∂f∂θ2|z1,Cbcn.v2-∂f∂θ2|z1,Cbcn.θ2---(12)]]>由式(11)和式(12)，得f(z1,Cbcn)≈θ1+∂f∂θ2|z1,Cbcn.θ2+∂f∂y1|z1,Cbcn.v1+∂f∂θ2|z1,Cbcn.v2---(13)]]>通过对同一标志物的多点视觉测量，通过这些测量值得到如下线性回归方程，f(z11,Cbc1n)..f(z1N,CbcNn)=I2,∂f∂θ2|z11,Cbc1n....I2,∂f∂θ2|z1N,CbcNnθ+V---(14)]]>其中，噪声为V～N(0,R)协方差矩阵为R=diag({(∂f∂y1|z1k,Cbckn)R1(∂f∂y1|z1k,Cbckn)T+(∂f∂θ2|z1k,Cbckn)R2(∂f∂θ2|z1k,Cbckn)T}k=1N)]]>通过式(14)可求解航向偏差δψ。步骤六、若无人机的航迹非平飞，则将无人机由航迹飞行状态切换到平飞状态，选择任一摄像机视野中的任一目标，利用所计算的航向偏差得到无人机的真实航向，进而实现对目标的精确定位。以选定摄像机为左视摄像机举例，且在如下条件下：δ＝5m，rad＝1.5π，δψ＝30deg，h＝45m，本发明所提供方法的效果如表1，如图7所示。表1不同航迹规划下的结果比较综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3