一种基于无人机位姿计算的信标布置及图像处理方法与流程
本发明涉及无人机降落时信标位置确认，具体涉及一种基于无人机位姿计算的信标布置及图像处理方法。
背景技术：
无人机(unmannedaerialvehicles，uav)自问世以来就受到人们广泛的关注，随着科学技术的进步，无人机已经应用到了地形探测、灾难检测、空中侦察等多个方面。而无人机着落阶段是无人机执行任务中事故率最高的阶段，因此研究安全可靠的自动化着落引导方法对于保障无人机安全、减少事故率、有效完成作战任务、减少无人机使用成本等有着重要的意义。寻求一种简易、快捷、自主、可靠的无人机着落引导方式，是目前需要解决的重要问题。
与传统着陆导航技术相比，基于视觉的着陆导航技术具有设备简单便宜、信息量大、无源、隐蔽性好等显著优点，在抗电子干扰方面和在提高自主化程度方面都有较大的优越性。但是，由于成像受环境的影响，基于视觉的着陆引导系统，其鲁棒性是需要解决的关键技术。目前多数视觉着陆导航系统都是基于可见光范围的图像处理技术，而在自然界中影响可见光成像的因素很多，此外，夜间着陆也是可见光视觉着陆导航系统的难点。
目前国内外在研究视觉着陆导引技术中，对于合作信标的设计条件不够严格，大多数仅限于保证可见性即可，对于非可见光红外信标的研究也多停留在发热金属。另外，对于长距离大尺度变换下的视觉着落引导过程中，未考虑到信标的设计对位姿解算的影响。同时国内外对于合作信标特征点检测、提取和匹配的方法很多，但是对于特定结构的合作信标的检测、提取和匹配仍然没有合适的方法。对于位姿解算算法来说，国内外对于其研究同样十分丰富，但是对于在实际工程问题中如何选择位姿解算算法并没有很好的分析。
技术实现要素：
为了克服上述现有技术的不足，本发明的目的是提供一种基于无人机位姿计算的信标布置及图像处理方法。首先对无人机机器视觉引导着落进行设计，根据所搭建的视觉成像系统在保证图像敏感性并对视场畸变进行分析的条件下，结合无人机着落过程中可能出现的位姿，精确严格的设计出针对本系统中视觉着落引导所需要的信标结构及布置方法。
接着根据所设计的视觉引导系统，针对不同的合作信标构型，提出了三个衡量算法适用性的指标来对位姿解算算法进行评价筛选。根据不同位姿解算算法的三个指标数据，为本方案所设计的系统选择合适的位姿解算算法：正交迭代法(oi)。
最后采用的地面合作信标是红外led，相对于采用加热金属作为地面合作信标，红外led成像效果更加稳定，成像距离更远，成像精度更高。针对所设计出的视觉系统所产生的特殊的红外图像以及设计的合作信标几何结构，提出一种基于特殊的特征点匹配算法将合作信标的像点与其在真实场景中的位置进行匹配。
为了实现上述目的，本发明采用的技术方案是：
一种基于无人机位姿计算的信标布置及图像处理方法，包括以下步骤：
步骤1、信标设计；
根据方案所需满足的引导条件，通过计算所需要的图像成像精度选择成像设备，并对着落过程中成像的变化进行分析从而设计地面信标的布局限制和安放方式；
1)近红外相机、镜头和滤镜选择；
在引导无人机着落过程中，无人机与信标距离变化范围广阔，而要在远距离时达到相关的解算精度要求，则需要所设计的成像系统对信标的检测精度远小于解算偏差，根据这种思路，对相关视觉设备的选型进行分析；
①图像分辨率分析；
相机所拍摄的图像中，计算每一像素实际代表的物理距离方法如下所示：
式中，fov为相机视场角，u为水平方向像素个数，v为竖直方向像素个数，h为相机距拍摄物体的距离，p为每像素对应的实际物理尺寸；
在对所拍摄的图像进行处理时，由于计算所造成的舍入误差，即将图像物理坐标系下的坐标转换到图像像素坐标系的过程中会进行投影取整，在提取信标点质心的过程后进行反解算图像物理坐标系下的坐标时的计算误差，因此，在不考虑图像处理精度时，由舍入误差造成的影响应该比所要求的位置解算精度小几个数量级，考虑成像的最苛刻条件，即径向距离为1000米时的像素分辨率应小于0.1米；
②镜头视场角分析；
在选配相机镜头时主要考虑相机的视场角，根据不同焦距相机对应不同的视场角，与不同分辨率相机配合时，在满足像素分辨率小于0.1米的条件下，选择相应的镜头；视场角越大对于信标的布置范围可以有更广阔的选择，能够保证在信标设计布置时的弹性，给着落引导条件留有余度；
③滤光片滤波光段选择；
希望视觉设备能够抑制除信标外的成像，即抑制太阳光与可见光的影响，采用800～900纳米的带通滤波片；
2)近红外光源与信标设计；
采用的光源为有向光源，有效发光角度为30°，在选定了相关视觉设备后，根据无人机着落过程中视场的变换情况设计近红外信标光源的安放方式如下：
首先需要保证在无人机着落过程中信标一直处于可见状态；
其次需要保证视场变化过程中视觉设备对信标的敏感性，即可以通过位姿解算的最小分辨移动距离；
最后则是需要保证敏感性的情况下，避免在不同角度下，由视场旋转造成的信标光源间遮挡、模糊及敏感性失效；
②信标光源间距离；
在无人机着落引导过程中，无人机移动一段距离前后所捕获到的物象大小是否变化，会直接影响位姿解算的精度，考虑视觉系统的精度指标，在纵向距离x米时需要保证纵向距离的计算精度为δx米，表示在无人机与信标相距x米变化到相距x-δx米后，视觉设备所捕获的图像应该能反映出信标大小的变化，即信标光源间的距离投影到图像像素坐标系上的变化，本方案中称此为合作信标的图像敏感性；
当无人机从p1位置移动到p2位置时，即无人机与信标光源间距在与光轴垂直的平面上的投影的距离由x变化到x-δx时，该投影d在图像物理坐标平面的成像由h变化到h-δh，而δh表示物象的实际变化情况，这种情况表现在图像像素坐标中则需要考虑真实成像单元的大小，表示为δh≥5.5μm；
上述中，p1为无人机起始位置，p2为无人机移动一段距离后的位置，x为p1位置时无人机与信标光源间距在与光轴垂直的平面上投影的距离，x-δx为p2位置时无人机与信标光源间距在与光轴垂直的平面上投影的距离，d为信标光源间距投影，h为无人机在p1位置时投影d在图像物理坐标平面的成像，h-δh为无人机在p2位置时投影d在图像物理坐标平面的成像；
根据相似三角形原理，可得无人机位移δx与信标光源间距投影d的关系为：
因此d应该满足的条件是：
而在实际情况中，无人机着落时，光轴并不能与信标光源之间的连线垂直，设此时相机光轴与机体有一安装角α，相机的视场角为fov，整个着落过程中无人机会调整俯仰角θ，信标光源间的相对位置用lmark和hmark表示，为便于分析，采用弱透视模型投影，根据几何关系易知：
同理，对于无人机有一偏航角ψ的情况，信标光源间的相对位置用wmark表示，使用弱透视模型，采用近似计算，根据几何关系易知：
上述中，α为相机光轴与机体的安装角，fov为相机的视场角，θ为无人机的俯仰角，lmark和hmark为信标光源间的相对位置，x实际距离为无人机相对世界坐标系原点的距离；
②信标光源布置范围；
视觉引导无人机着落过程中需要保证合作信标始终处于视场中，因此从开始引导，到结束引导的过程中的视场交集便是适宜安放合作信标的范围；
相机光轴与机体有一安装角α，相机的视场角为fov，整个着落过程中无人机会调整俯仰角θ，飞机质心与着落点的距离为x1，飞机质心距地高度为h，则信标光源布置范围l1和l2可表示为：
另一方面考虑无人机存在需要调整的偏航角ψ，则信标光源布置范围w1和w2可表示为：
其中xlight表示无人机上的相机光心到地面某处的距离，结合式(6)与式(7)可知信标光源的布置范围,其中：
上述情况假设开始进行视觉引导时无人机机头朝向在地面的投影与机场跑道平行，此外，无人机在整个着落过程中的着落航迹必须在包含机场跑道线且与地面垂直的平面内时，视觉导航方法才有效，因此，考虑无人机的轨迹在一定空间范围内均有效，当开始进行视觉导航时，无人机与跑道中心线在水平面有一偏移距离d，此时对应无人机需要调整的偏航角为ψ，设偏移距离d与无人机偏航角ψ之间存在某一函数关系，则有：
d＝f(ψ)(43)
无人机质心与着落点之间的距离x1在水平面上的投影为xflat，即：
其与机场中心线间的夹角为γ，则设偏移距离d与xflat间的关系为：
d＝xflatsinγ(45)
对这种情况下信标光源布置的有效位置进行研究，为方便分析，分别按照着落点与伪着落点为原点建立平面直角坐标系oxy和o'x'y'；
设在o'x'y'坐标系中的一点坐标为(x',y')，而该点在oxy坐标系中的坐标为(x,y)，则有：
由几何关系易知：
得出(ψ左偏为负值)：
a＝xflat(sin(-γ)-sin(-ψ))(48)
无人机视场边界四个点在o'x'y'坐标系中的坐标分别为：(-w1',l2)、(w2',l2)、(-w1,l1)和(w2,-l1)，联立式(6)至式(14)则可以计算出视场边界点在oxy坐标系下的坐标；
上述中，α为相机光轴与机体之间的安装角，fov为相机的视场角，θ为无人机的俯仰角，x为飞机质心与着落点的距离，h为飞机质心距地高度，l1、l2、w1'、w2'、w1和w2为信标光源布置范围参数，表示光源布置范围的大小，xlight表示无人机上的相机光心到地面某处的距离，d为无人机与跑道中心线在水平面的偏移距离，xflat为无人机质心与着落点之间的距离x1在水平面上的投影，γ为机场中心线间与xflat的夹角；
③信标间光源布置角度；
当距离不变时，光源垂直照射感光平面的相对光强最大，信标光源的光轴应该与无人机视觉设备的光轴平行，以保证在捕获图像时，信标光源的亮度高，在后续进行图像处理时，图像滤波和去噪时具有更高的鲁棒性；
④信标形状设计；
所设计的信标光源间位置需要满足上述条件，并制得俯视图和正视图，其中：
以着落点为原点建立的平面直角坐标oxy中，每一个信标光源在水平面垂直投影的坐标(x,y)，对应于在以伪着落点为原点建立的平面直角坐标系o'x'y'中的坐标为(x',y')，都应该满足约束：
式中，l1、l2、w1'、w2'、w1和w2为信标光源布置范围参数，表示光源布置范围的大小，(x',y')为以伪着落点为原点建立的平面直角坐标系o'x'y'中信标光源的坐标；
步骤2、图像处理；
在进行位姿解算之前，需要对包含合作信标的图像进行如下四个部分的处理，完成对其特征点的检测与提取：图像灰度化、图像阈值分割、连通区域检测以及干扰点排除与质心提取，在此基础上，通过合作信标的形状特性，将合作信标每个特征点与其在真实场景中(世界坐标系下)的位置进行匹配，从而为位姿解算算法提供原始数据；
1)图像灰度化；
对输入的彩色图像进行分析，对图像进行灰度变换，保留图像中的重要信息；对图像进行灰度化，r(red)、g(green)、b(blue)的取值范围在0-255之间，采用加权平均值法，按照函数关系式如下：
vgray＝0.30r+0.59g+0.11b(51)
2)图像阈值分割；
把具有独特性质的区域从图像中分割出来，该区域被定义为目标或背景，选定一个固定阈值t对灰度图像进行阈值分割得到二值图像，当图像灰度值大于阈值t时，将其判为运动目标像素，反之就为背景像素，公式如下：
3)连通区域标记；
在二值化图像上对连通区域进行标记，步骤如下：
对于二值化图像上的每一个像素点，检测其周围邻域的八个像素点，若这八个像素点都与该像素点的值一样，则将该像素点标记为某一类连通区域中的像素点；若相邻的像素点都是连通区域像素点，则它们属于同一类连通区域；
4)干扰点排除与质心提取；
在成像时，信标点附近有时会出现光晕般的小干扰点，此类小干扰点在图像上的面积(即像素个数)是小于特征点的面积(像素个数)，故对连通区域大小进行排序，保留连通区域面积较大的几个区域(保留的区域数为信标点个数)作为特征点；
通过二值化图像标记好连通区域，并选出特征点所在的区域后，选择加权质心提取算法，该算法通过计算行列权重占比，将质心像素的精确度提高到小数点后一位，即亚像素级的提取精度，过程如下：
对于某一类连通区域中的像素，设该像素在图像像素坐标系下的坐标为(ui,vi)，该像素在灰度图像上的值为gi，该连通区域的像素数为n，则可得质心坐标(u0,v0)为：
式中，(ui,vi)为某像素在图像像素坐标系下的坐标，gi为某像素在灰度图像上的值，n为连通区域的像素数，(u0,v0)为连通区域的质心坐标；
由于光源在图像上的亮度分布满足高斯分布，所以在使用加权质心提取算法后，以质心像素点为中心，进行二维高斯曲线拟合，对所提取的质心进行修正；
高斯曲线表达式为：
等式两边取对数可得：
根据式(21)设图像二次曲线表达形式为：
y＝ax2+bx+c(56)
求像素点所输出的灰度值可以按照式(22)计算：
设通过加权质心法得到中心坐标为(x0,y0)，该像素灰度值为f0x，根据式(23)可得：
以此点为中心，向前向后取一个像素点，记做f-1x和f1x，很据式(23)可得：
联立式(24)和式(25)，有：
则二次曲线顶点为：
根据式(27)可以求出原高斯曲线对数的值，将上式中的灰度值用对数代替，从而可得水平方向的中心：
同理，在垂直方向向上向下各取一个像素，得垂直方向中心为：
式中，(x0,y0)为通过加权质心法得到的中心坐标，f0x为该像素灰度值，f-1x和f1x为向前和向后分别取的像素点，xsub和ysub为修正后的质心中心坐标；
2.5)信标特征点匹配；
上述所述的合作信标设计方案以及其使用条件，使得合作信标在图像上始终呈现凸四边形，并且已知在真实场景中，合作信标特征点在地面的投影排布也满足凸四边形，因此确定图像中信标的一个特征点在真实场景中的位置，便可以通过对所有特征点按照顺时针(或是逆时针)进行排序，匹配其余特征点在真实场景中(世界坐标系下)的位置；假设4个近红外led灯在图像上的成像可以按照顺时针[adcb](或是按照逆时针[abcd])的顺序进行排序，而在真实场景中特征点[a’b’c’d’]亦对应这一顺序，采用如下方法对于特征点排序：
①计算图像上任意两个特征点的距离
②对计算得到的ab，bc，cd，ac，ad和bd六个距离排序，并取其中一组最大的值，即ad的距离最大，由于飞行航迹限制，比较a和d这两个特征点的u轴坐标值大小，将u轴坐标值小的特征点记为a’，即a被标记为a’，将u轴坐标值大的特征点记为d’，即d被标记为d’；
③由于距离特征点a最近的特征点为b，因此对于ab，ac，ad三个距离排序，得到的最小距离为ab，所以特征点b被标记为b’，
④将剩余一个特征点记为c’，即特征点c被标记为c’；
这样就完成特征点a，b，c，d的排序问题，即将图像上的特征点与实际中的信标点一一对应起来，完成了信标点的匹配问题；
步骤3、位姿解算算法选择；
采用三种衡量算法性能的指标来研究鲁棒性：
1)第一种指标是衡量算法的抗噪性nr，在通过经典成像模型将信标特征点在世界坐标系下的坐标
其中x1和x2的概率分布为函数为：
式中，
当nr变大时，解算精度会下降，该指标衡量了信标特征点质心提取误差对解算精度的影响，也可以衡量在满足着落引导精度的情况下，解算算法所允许的特征点质心提取误差；
2)第二种指标是衡量视觉设备与合作信标间的距离尺度sd，单位为米，在相机坐标系中信标特征点坐标为
式中，n表示信标特征点的个数，
当sd增大时，解算精度会下降，该指标衡量了信标特征点与视觉设备间距对解算精度的影响，这是由于特征点从图像物理坐标系转换到图像像素坐标系下存在数据精度截断(像素取整)造成的，所以sd也可以衡量解算算法所允许的每一图像像素代表的最大距离；
3)第三种指标是衡量合作信标特征点在一个平面的程度，即共面度cop，单位为米，表示在世界坐标系下，允许每个特征点偏离其公共面的最大距离；
设特征点所在的平面方程为：
ax+by+cz+d＝0(67)
则有：
式中，
该指标不适用于需要信标特征点为异面点的算法；对于需要使用共面信标特征点的算法，当cop增大时，解算精度会下降，该指标衡量了信标特征点偏离其应该所在的平面(在现实中这是由于测量误差造成的)对解算精度的影响；
②特征点布置为异面点；
将信标特征点布置为六个异面点时，所述的所有位姿解算算法都适用，根据之前提出的三种衡量算法性能的指标对每种算法进行测试，得出：oi算法相比于其他算法有更好的鲁棒性，并且解算精度也高于其他算法；
将信标特征点布置为四个异面点时，所述方法中dlt算法和els算法无法使用，同样根据之前提出的三种衡量算法性能的指标对每种算法进行测试，得出：oi算法相比于其他算法有更好的鲁棒性，并且解算精度也高于其他算法；
②特征点布置为共面点；
将信标特征点布置为四个共面点时，所述位姿解算算法中，dlt算法和posit算法不适用于这种情况，根据之前提出的三种衡量算法性能的指标对每种算法进行测试，得出：oi算法、wp算法和pp算法均可以满足引导要求，解算精度较高，鲁棒性较好；
步骤4、仿真实验验证；
采用opengl(opengraphicslibrary)，是个跨编程语言、跨系统平台的编程标准，可以实现在计算机上对三维物体建模、对场景进行渲染和模拟相机成像过程功能，设置无人机在opxpypzp坐标系下的坐标、相机的姿态角，滚转角，偏航角，得出仿真场景图。
本实用发明的有益效果：
本发明所提出的方法简单易行，只要按步骤确定好合作信标之间的关系，将其放置到所设计的布置范围内，便可以完成视觉位姿解算，对无人机着陆场地的配置要求不高，可以应用于简易机场；
本发明在非可见光波段进行视觉着陆引导的，相对于传统可见光图像处理技术，近红外(700nm～2500nm)图像处理技术有更好的抗干扰特性和更稳定的成像特性，从近红外图像中提取特征更加方便、快捷，降低了图像处理与计算成本，扩大了视觉系统的适用范围，减少了视觉系统的应用限制，而且能做到全天时全天候的检测识别；
本发明采用三种性能指标对位姿解算算法进行评估，得出最适合本系统的位姿解算算法，能够精确的解算出无人机的姿态信息。
附图说明
图1为世界坐标系示意图；
图2为参考机体坐标系与机体坐标系示意图；
图3为相机坐标系、图像物理坐标系和图像像素坐标系示意图；
图4为图像分辨率计算示意图；
图5为太阳光谱能量分布图；
图6为信标光源投影间距计算示意图；
图7为考虑俯仰角与安装角的信标光源间距计算示意图；
图8为考虑偏航角的信标光源间距计算示意图；
图9为无人机着落过程中视场纵向范围示意图；
图10为无人机着落过程中视场横向范围示意图；
图11是光源信标的布置范围；
图12为松约束情况下无人机视场范围示意图；
图13是可布置信标的范围；
图14是光强分布曲线对比图；
图15是信标设计俯视图与俯视图；
图16为连通区域标记示意图；
图17为信标点在图像像素坐标系下的成像示意图；
图18为使用六个异面点为信标特征点所解算出的无人机x坐标与真实坐标图；
图19为使用六个异面点为信标特征点所解算出的无人机y坐标与真实坐标图；
图20为使用六个异面点为信标特征点所解算出的无人机z坐标与真实坐标图；
图21为使用四个异面点为信标特征点所解算出的无人机x坐标与真实坐标图；
图22为使用四个异面点为信标特征点所解算出的无人机y坐标与真实坐标图；
图23为使用四个异面点为信标特征点所解算出的无人机z坐标与真实坐标图；
图24为使用四个共面点为信标特征点所解算出的无人机x坐标与真实坐标图；
图25为使用四个共面点为信标特征点所解算出的无人机y坐标与真实坐标图；
图26为使用四个共面点为信标特征点所解算出的无人机z坐标与真实坐标图；
图27为计算机图像坐标系图；
图28为计算机模拟无人机着落时成像的流程图；
图29为opengl仿真场景图；
具体实施方式
以下结合实施例对本发明进一步叙述，但本发明不局限于以下实施例：
1信标设计
本方案设计的视觉引导系统，满足的引导条件如表1所示：
表1视觉引导系统引导条件
另外，着落过程中位置数据更新率为12hz，针对这些要求，需要通过与成像、测量和解算的相关分析来选择设备。首先通过计算所需要的图像成像精度选择成像设备，接着通过分析着落过程中成像的变化设计地面信标的布局限制。
坐标系及飞机姿态角定义
为便于说明与计算，本方案中所定义的坐标系均为右手系。在地面所布置的坐标系忽略了地球曲率，并且认为地面坐标系均为惯性坐标系。
坐标系定义
世界坐标系的原点ow设置在飞行器指定着落点处，owxw轴在水平面内沿机场跑道方向指向飞机降落方时的来向，owzw轴垂直于地面指向天空，owyw也在水平面内并垂直于owxw轴和owzw轴，其指向按右手定则确定，如图1所示。
相机坐标系原点oc设置在相机光心，oczc轴与相机光轴重合并指向拍摄方向，ocxc轴与oczc轴垂直沿拍摄方向指向右侧，ocyc轴垂直于oczc轴与ocxc轴，其指向按照右手定则确定，如图3所示。
图像物理坐标系原点or设置在像平面与相机透镜光轴的交点处，orxr轴和oryr轴分别与相机坐标系的ocxc轴和ocyc轴平行，如图3所示。
图像像素坐标系原点ov设置在图像左上角，ovuv轴指向图像右上角，其长度表示图像的像素宽度，ovvv轴指向图像左下角，其长度表示图像的像素高度，如图3所示。
参考机体坐标系的原点on设置在飞机质心处，坐标系与飞机固连，onxn轴在水平面内并指向某一方向，onzn轴垂直于地面并指向地心，onyn轴在水平面内垂直于onxn轴和onzn轴，其指向按照右手定则确定，如图2所示。
机体坐标系原点ob在飞机质心处，与飞机固连，obxb在飞机对称面内并平行于飞机的设计轴线指向机头，obyb轴垂直于飞机对称平面指向机身右侧，obzb轴在飞机对称平面内，与轴垂直并指向机身下方，如图2所示。
飞机姿态角定义
俯仰角θ(pitchangle)：机体轴obxb与水平面间夹角，抬头为正。偏航角ψ(yawangle)：机体轴obxb在水平面上的投影与参考机体坐标系onxn轴间的夹角，机头右偏时为正。滚转角φ(rollangle)：机体轴obxb与通过机体轴obxb的铅垂面间的夹角，飞机右滚时为正。
飞机三个姿态角如图2所示。
近红外相机、镜头和滤镜选型
图像分辨率分析
相机所拍摄的图像中，计算每一像素实际代表的物理距离方法如下所示：
在图4中fov为相机视场角，u为水平方向像素个数，v为竖直方向像素个数，h为相机距拍摄物体的距离，p为每像素对应的实际物理尺寸。
在对所拍摄图像进行处理时，由于计算所造成的舍入误差，即将图像物理坐标系下的坐标转换到图像像素坐标系的过程中会进行投影取整，在提取信标点质心的过程后进行反解算图像物理坐标系下的坐标时的计算误差。在不考虑图像处理精度时，由舍入误差造成的影响会比所要求的位置解算精度小几个数量级。因此，考虑成像的最苛刻条件，即径向距离为1000米时的像素分辨率应小于0.1米。
镜头视场角分析
在选配相机镜头时主要考虑相机的视场角，根据不同焦距相机对应不同的视场角，与不同分辨率相机配合时，在满足像素分辨率小于0.1米的条件下，选择相应的镜头。表2列出了常见的不同分辨率的相机与不同视场角镜头配合时，在径向距离为1000米时，根据式(1)所计算出的单个像素对应的物理尺寸分辨率。
表2不同分辨率相机与不同视场角镜头搭配的像素分辨率
另一方面，视场角越大对于信标的布置范围可以有更广阔的选择：由于在无人机着落过程中视觉设备所拍摄的视场变化范围较大，为了防止在着落过程中出现信标超出视场的情况，需要在满足分辨率条件下尽量选择视场角较大的镜头，保证在信标设计布置时的弹性，给着落引导条件留有一定的余度。
综上所述，镜头与相机的约束条件如下：
滤光片滤波光段选择
本方案希望视觉设备能够抑制除信标外的成像，即抑制太阳光与可见光的影响。可见光光谱如表3示：
表3可见光光谱范围
由此，本方案拟使用采用近红外光波(780～2526纳米)的视觉设备，对图5中所示的太阳光能量分布进行分析，可以看出太眼光在800～900纳米的光波波段能量有明显衰减。综上所述，低通滤波片与高通滤波片均不能满足要求，宜采用800～900纳米的带通滤波片。
设备型号
根据之前的分析，本方案所选用的相机为pointgray公司生产的gs3-u3-41c6nir近红外增强型相机，其参数如下：
表4gs3-u3-41c6nir相机参数
所选用的镜头为kowa公司生产的kowa-lm50xc，，其参数如下：
表5kowa-lm50xc镜头参数
所选用的带通滤光片为midopt公司生产的bn850-30.5带通滤光片，其中心波长为850纳米，带宽为50纳米。
近红外光源与信标设计
本方案中所选用的近红外信标光源为anjing公司生产的某安防红外补光灯。该光源为有向光源，有效发光角度为30°。在选定了相关视觉设备后，需要根据无人机着落过程中视场的变换情况设计近红外信标光源的安放方式：首先需要保证在无人机着落过程中信标一直处于可见状态，其次需要保证视场变化过程中视觉设备对信标的敏感性，即可以通过位姿解算的最小分辨移动距离；最后则是需要保证敏感性情况下，避免在不同角度下，由视场旋转造成的信标光源间遮挡、模糊及敏感性失效。
信标光源间距离
在无人机着落引导过程中，无人机移动一段距离前后所捕获到的物象大小是否变化，直接影响位姿解算的精度，考虑视觉系统的精度指标，在纵向距离1000米时需要保证纵向距离的计算精度为10米，即在无人机与信标相距1000米变化到相距990米后，视觉设备所捕获的图像应该能反映出信标大小的变化，即信标光源间的距离投影到图像像素坐标系上的变化，本方案中称此为合作信标的图像敏感性。
考虑图6所示的情况，当无人机从p1位置移动到p2位置时，即无人机与信标光源间距在与光轴垂直的平面上的投影的距离由x变化到x-δx时，该投影d在图像物理坐标平面的成像由h变化到h-δh，而δh表示物象的实际变化情况，这种情况表现在图像像素坐标中则需要考虑真实成像单元的大小，表示为δh≥5.5μm。
上述中，p1为无人机起始位置，p2为无人机移动一段距离后的位置，x为p1位置时无人机与信标光源间距在与光轴垂直的平面上的投影的距离，x-δx为p2位置时无人机与信标光源间距在与光轴垂直的平面上的投影的距离，d为信标光源间距投影，h为无人机在p1位置时投影d在图像物理坐标平面的成像，h-δh为无人机在p2位置时投影d在图像物理坐标平面的成像。
根据相似三角形原理，可得无人机位移δx与信标光源间距投影d的关系为：
因此d应该满足的条件是：
将本方案的约束条件
同理，带入式(4)可得，d≥10.89m，即在与光轴垂直的平面上，信标光源间距最小设置为10.89米。而在实际情况中，无人机着落时，光轴并不能与信标光源之间的连线垂直，如图7所示设此时相机光轴与机体有一安装角α，相机的视场角为fov，整个着落过程中无人机会调整俯仰角θ，信标光源间的相对位置用lmark和hmark表示，为便于分析，采用弱透视模型投影，根据几何关系易知：
在图8对于无人机有一偏航角ψ的情况，信标光源间的相对位置用wmark表示，使用弱透视模型，采用近似计算，根据几何关系易知：
上述中，α为相机光轴与机体的安装角，fov为相机的视场角，θ为无人机的俯仰角，lmark和hmark为信标光源间的相对位置。x实际距离为无人机相对世界坐标系原点的距离。
信标光源布置范围
视觉引导无人机着落过程中需要保证合作信标始终处于视场中，因此从开始引导，当无人机与合作信标距离1000米，距地高度100米时，到结束引导，当无人机距合作信标150米，距地高度15米时过程中的视场交集便是适宜安放合作信标的范围。
如图9所示，相机光轴与机体有一安装角α，相机的视场角为fov，整个着落过程中无人机会调整俯仰角θ，飞机质心与着落点的距离为x，飞机质心距地高度为h，则信标光源布置范围l1和l2可表示为：
另一方面考虑无人机存在需要调整的偏航角ψ，如图10所示，则信标光源布置范围w1和w2可表示为：
其中xlight表示无人机上的相机光心到地面某处的距离，结合式(8)与式(9)可知信标光源的布置范围,如图11所示。其中：
上述情况假设开始进行视觉引导时无人机机头朝向在地面的投影与机场跑道平行，此外，无人机在整个着落过程中的着落航迹必须在包含机场跑道线且与地面垂直的平面内时，视觉导航方法才有效，因此，考虑无人机的轨迹在一定空间范围内均有效，如图12所示。当开始进行视觉导航时，无人机与跑道中心线在水平面有一偏移距离d，此时对应无人机需要调整的偏航角为ψ，设偏移距离d与无人机偏航角ψ之间存在某一函数关系，则有：
d＝f(ψ)(11)
无人机质心与着落点之间的距离x在水平面上的投影为xflat，即：
其与机场中心线间的夹角为γ，则设偏移距离d与xflat间的关系为：
d＝xflatsinγ(13)
对这种情况下信标光源布置的有效位置进行研究，为方便分析，分别按照着落点与伪着落点为原点建立如图12所示平面直角坐标系oxy和o'x'y'。
设在o'x'y'坐标系中的一点坐标为(x',y')，而该点在oxy坐标系中的坐标为(x,y)，则有：
由几何关系易知：
图12中(ψ左偏为负值)：
a＝xflat(sin(-γ)-sin(-ψ))(16)
图12中，无人机视场边界四个点在o'x'y'坐标系中的坐标分别为：(-w1',l2)、(w2',l2)、(-w1,l1)和(w2,-l1)，联立式(8)至式(16)则可以计算出视场边界点在oxy坐标系下的坐标。
上述中，α为相机光轴与机体之间的安装角，fov为相机的视场角，θ为无人机的俯仰角，x为飞机质心与着落点的距离，h为飞机质心距地高度，l1、l2、w1'、w2'、w1和w2为信标光源布置范围参数，表示光源布置范围的大小，xlight表示无人机上的相机光心到地面某处的距离，d为无人机与跑道中心线在水平面的偏移距离，xflat为无人机质心与着落点之间的距离x在水平面上的投影，γ为机场中心线间与xflat的夹角。
设置如表6所示的无人机着落状态，远距离时无人机的位置可能在进场中与跑道中线有一定的距离，需要调整偏航角使其进入着落轨道；近距离条件下无人机着落航迹在地面的投影应与跑道中线重合。
表6无人机着落中的状态
根据表6中的数据，计算每个状态下的可见视场，将其绘制在图13中。图13中从左到右为同一场景的逐步放大图，右侧两幅图中所标注的红色区域就是无人机在所有状态下，成像设备可以拍摄到的视场重合部分，也就是可以布置合作信标的区域。可以布置合作信标的区域是通过四个角点确定的梯形，其坐标值如表7所示。
表7可布置合作信标的区域角点坐标
信标间光源布置角度
当距离不变时，光源垂直照射感光平面的相对光强最大，如图14所示，曲线1与曲线2采用不同的仪器和测量方法测量led光源所得的相对光强。所以信标光源的光轴应该尽量与无人机视觉设备的光轴平行，以保证在捕获图像时，信标光源的亮度很高，在后续进行图像处理时，如图像滤波和去噪时具有更高的鲁棒性。
信标形状设计
本方案所设计的信标光源间位置需要满足上述条件，其设计俯视图如图15(左)，其正视图如图15(右)所示，其中：
在图12中，以着落点为原点建立的平面直角坐标oxy中，每一个信标光源在水平面垂直投影的坐标(x,y)，对应于在以伪着落点为原点建立的平面直角坐标系o'x'y'中的坐标为(x',y')，都应该满足约束：
式中，l1、l2、w1'、w2'、w1和w2为信标光源布置范围参数，表示光源布置范围的大小，(x',y')为以伪着落点为原点建立的平面直角坐标系o'x'y'中信标光源的坐标。
根据表6中所示的条件，联立式(3)、式(5)与式(6)可得hmark、lmark和wmark的关系，如表8所示：
表8信标光源点间布置条件
2图像处理
图像灰度化
对输入的彩色图像进行分析，对图像进行灰度变换，保留图像中的重要信息；对图像进行灰度化，r(red)、g(green)、b(blue)的取值范围在0-255之间，采用加权平均值法，按照函数关系式如下：
vgray＝0.30r+0.59g+0.11b(19)
图像阈值分割
把具有独特性质的区域从图像中分割出来，该区域被定义为目标或背景，选定一个固定阈值t对灰度图像进行阈值分割得到二值图像，当图像灰度值大于阈值t时，将其判为运动目标像素，反之就为背景像素，公式如下：
连通区域标记
在二值化图像上对连通区域进行标记是为了将图像上表示合作信标的像素点数据分类，方便后面进行质心提取算法，步骤如下：对于二值化图像上的每一个像素点，检测其周围邻域的八个像素点，若这八个像素点都与该像素点的值一样，则将该像素点标记为某一类连通区域中的像素点；若相邻的像素点都是连通区域像素点，则它们属于同一类连通区域。
图16中阴影部分为二值化图像中合作信标某一光源所占的像素，通过上述连通区域标记法将满足条件的像素标记为“1”，表示这几个像素属于同一类连通区域。
干扰点排除与质心提取
由于近红外led灯在真实环境中含有光晕，相机在成像时会有静电流干扰等物理因素。所以在成像时，信标点附近有时会出现光晕般的小干扰点，这在一定程度上会影响信标点的检测精度，故需将这类小干扰点进行排除。
通过实验发现，此类小干扰点在图像上的面积(即像素个数)是小于特征点的面积(像素个数)。故本方案针对亮斑区域面积大小进行排序，保留亮斑区域面积较大的几个区域(保留的区域数为信标点个数)作为特征点，根据这一方法便可以排除干扰点的影响。
通过二值化图像标记好连通区域，并选出特征点所在的区域后，需要计算该连通区域的质心。本方案选择加权质心提取算法，该算法通过计算行列权重占比，将质心像素的精确度提高到小数点后一位，即亚像素级的提取精度。具体过程如下：
对于某一类连通区域中的像素，设该像素在图像像素坐标系下的坐标为(ui,vi)，该像素在灰度图像上的值为gi，该连通区域的像素数为n，则可得质心坐标(u0,v0)为：
式中，(ui,vi)为某像素在图像像素坐标系下的坐标，gi为某像素在灰度图像上的值，n为连通区域的像素数，(u0,v0)为连通区域的质心坐标。
由于光源在图像上的亮度分布满足高斯分布，所以在使用加权质心提取算法后，以质心像素点为中心，进行二维高斯曲线拟合，对所提取的质心进行修正；
高斯曲线表达式为:
等式两边取对数可得:
根据式(23)设图像二次曲线表达形式为：
y＝ax2+bx+c(24)
求像素点所输出的灰度值可以按照式(24)计算：
设通过加权质心法得到中心坐标为(x0,y0)，该像素灰度值为f0x，根据式(25)可得：
以此点为中心，向前向后取一个像素点，记做f-1x和f1x，很据式(25)可得：
联立式(26)和式(27)，有：
则二次曲线顶点为：
根据式(29)可以求出原高斯曲线对数的值，将上式中的灰度值用对数代替，从而可得水平方向的中心：
同理，在垂直方向向上向下各取一个像素，可得垂直方向中心为：
式中，(x0,y0)为通过加权质心法得到的中心坐标，f0x为该像素灰度值，f-1x和f1x为向前和向后分别取的像素点，xsub和ysub为修正后的质心中心坐标。
信标特征点匹配
根据之前所述的合作信标设计方案以及其使用条件，使得合作信标在图像上始终呈现凸四边形，并且已知在真实场景中，合作信标特征点在地面的投影排布也满足凸四边形。因此只要确定图像中信标的一个特征点在真实场景中的位置，便可以通过对所有特征点按照顺时针(或是逆时针)进行排序的方法，匹配其余特征点在真实场景中(世界坐标系下)的位置。例如图17中，4个近红外led灯在图像上的成像，可以按照顺时针[adcb](或是按照逆时针[abcd])的顺序进行排序，而在真实场景中特征点[a’b’c’d’]亦对应这一顺序。若可以确定其中一点所对应的真实空间坐标，则可以将这两种坐标排序(图像像素坐标系下的坐标与世界坐标系下的坐标)对应起来。
根据图17中以及信标点摆放的先验几何信息，本方案采用如下方法对于特征点排序：
(1)计算图像上任意两个特征点的距离
(2)对计算得到的ab，bc，cd，ac，ad和bd六个距离排序，并取其中一组最大的值，即ad的距离最大，由于飞行航迹限制，比较a和d这两个特征点的u轴坐标值大小，将u轴坐标值小的特征点记为a’，即a被标记为a’，将u轴坐标值大的特征点记为d’，即d被标记为d’；
(3)由于距离特征点a最近的特征点为b，因此对于ab，ac，ad三个距离排序，得到的最小距离为ab，所以特征点b被标记为b’。
(4)将剩余一个特征点记为c’，即特征点c被标记为c’。
这样就完成特征点a，b，c，d的排序问题，即将图像上的特征点与实际中的信标点一一对应起来，完成了信标点的匹配问题。
3位姿解算算法适用条件及性能分析
由于不同的位姿解算算法有着不同的建模思路，使用的透视模型也不尽不同，这就造成每个算法都有其适用条件，本方案主要考虑不同算法需要的最少特征点数目与布置方式(特征点是否异面)。本方案中提到所比较位姿解算算法有：wp算法、pp算法、els算法、posit算法、dlt算法以及oi算法。
表9不同位姿解算算法适用条件
表9展示了不同解算算法的适用条件，接下来将在这些情况下对解算算法的性能进行分析。位姿解算精度会受到图像质心提取精度、视觉设备与信标特征点距离的影响，此外，在工程实践中，在布置信标特征点时，很难保证各个特征点严格共面。所以在满足着落要求的前提下，本方案提出三种指标来研究不同算法的鲁棒性，为所设计的系统选定最合适的解算算法：
1)第一种指标是衡量算法的抗噪性nr，在通过经典成像模型将信标特征点在世界坐标系下的坐标
其中x1和x2的概率分布为函数为：
式中，
当nr变大时，解算精度会下降，该指标衡量了信标特征点质心提取误差对解算精度的影响，也可以衡量在满足着落引导精度的情况下，解算算法所允许的特征点质心提取误差。
2)第二种指标是衡量视觉设备与合作信标间的距离尺度sd，单位为米，在相机坐标系中信标特征点坐标为
式中，n表示信标特征点的个数，
当sd增大时，解算精度会下降，该指标衡量了信标特征点与视觉设备间距对解算精度的影响，这是由于特征点从图像物理坐标系转换到图像像素坐标系下存在数据精度截断(像素取整)造成的，所以sd也可以衡量解算算法所允许的每一图像像素代表的最大距离。
3)第三种指标是衡量合作信标特征点在一个平面的程度，即共面度cop，单位为米，表示在世界坐标系下，允许每个特征点偏离其公共面的最大距离；
设特征点所在的平面方程为：
ax+by+cz+d＝0(35)
则有：
式中，
该指标不适用于需要信标特征点为异面点的算法；对于需要使用共面信标特征点的算法，当cop增大时，解算精度会下降，该指标衡量了信标特征点偏离其应该所在的平面(在现实中这是由于测量误差造成的)对解算精度的影响。
特征点布置为异面点
首先分析将信标特征点布置为六个异面点时的情况，在这种情况下，本方案所述的所有位姿解算算法都适用，使用matlab仿真表6中所示的无人机状态，在无人机距世界坐标系原点距离为1000米、500米和100米(对应高度分别为100米、50米和10米)时，设置如表6的状态，其中偏距角γ与偏航角ψ的关系为γ＝0.8ψ。
根据本方案所述的信标设计条件，在世界坐标系下，信标六个特征点坐标如表10所示，仿真时相机内参如表11所示。
表10六个异面信标特征点坐标
表11仿真时相机内参数据
在不同情况下对算法进行测试时，用下角标μ表示误差绝对值的均值，用下角标σ表示误差标准差。
当sd＝1000时，不考虑信标特征点坐标从物理坐标系到像素坐标系时的截断误差，改变nr的值，对算法进行测试，则有：
表12sd＝1000各算法在不同nr下的性能
当nr＝0时，改变sd值，对算法进行测试，则有：
表13nr＝0各算法在不同sd下的性能
由表12和表13易知，各算法在满足解算结果相比于真实坐标，相差百分之五以内时，各个算法所容许的sd和nr为：
表14信标特征点为六个异面点时各算法的sd和nr指标
当sd＝1000，nr＝0.1时，如图18至图20所示，在使用六个异面点为信标特征点时，各个位姿解算算法在世界坐标系下的解算值与无人机真实坐标位置的对比图。可以看出oi算法相比于其他算法有更好的鲁棒性，并且解算精度也高于其他算法。
当信标特征点为四个异面点的情况时，本方案所述方法中dlt算法和els算法无法使用，另仿真条件与之前特征点为六个异面点时相同。根据本方案所述的信标设计条件，在世界坐标系下，信标四个特征点坐标如表15所示。
表15四个异面信标特征点坐标
当sd＝1000时，不考虑信标特征点坐标从物理坐标系到像素坐标系时的截断误差，改变nr的值，对算法进行测试，则有：
表16sd＝1000各算法在不同nr下的性能
当nr＝0时，改变sd值，对算法进行测试，则有：
表17nr＝0各算法在不同sd下的性能
由表16和表17易知，各算法在满足解算结果相比于真实坐标，相差百分之五以内时，各个算法所容许的sd和nr为：
表18信标特征点为四个异面点时各算法的sd和nr指标
当sd＝1000，nr＝0.1时，如图21至图23所示，在使用四个异面点为信标特征点时，各个位姿解算算法在世界坐标系下的解算值与无人机真实坐标位置的对比图。可以看出oi算法相比于其他算法有更好的鲁棒性，并且解算精度也高于其他算法。
特征点布置为共面点
当信标特征点布置为四个共面点时，本方案所述位姿解算算法中，dlt算法和posit算法不适用于这种情况。将仿真条件与特征布置为异面点使的仿真条件设置一致，根据本方案所述的信标设计条件，在世界坐标系下，信标四个特征点坐标如表19所示
表19四个共面信标特征点坐标
当sd＝1000，cop＝0时，不考虑信标特征点坐标从物理坐标系到像素坐标系时的截断误差，改变nr的值，对算法进行测试，则有：
表20sd＝1000，cop＝0各算法在不同nr下的性能
当nr＝0，cop＝0时，改变sd值，对算法进行测试，则有：
表21nr＝0，cop＝0各算法在不同sd下的性能
当nr＝0，sd＝1000时，不考虑信标特征点坐标从物理坐标系到像素坐标系时的截断误差，改变cop的值，对算法进行测试，则有：
表22nr＝0，sd＝1000各算法在不同cop下的性能
由表20至表22易知，各算法在满足解算结果相比于真实坐标，相差百分之五以内时，各个算法所容许的sd、nr和cop为：
表23信标特征点为四个共面点时各算法的sd、nr和cop指标
当sd＝1000，nr＝1.0，cop＝0.5时，如图24至图26所示，在使用四个共面点为信标特征点时，各个位姿解算算法在世界坐标系下的解算值与无人机真实坐标位置的对比图。可以看出oi算法、wp算法和pp算法均可以满足引导要求，解算精度较高，鲁棒性较好。
前面的内容对视觉引导着落相对导航系统的视觉设备、合作信标设计、图像处理方案和相对位姿解算方法四个部分进行了分析。在此基础上，本方案的实验选择的合作信标为四个特征点的共面信标，位姿解算方法为oi算法。
4仿真实验验证
opengl(opengraphicslibrary)是个跨编程语言、跨系统平台的编程标准，可以实现在计算机上对三维物体建模、对场景进行渲染和模拟相机成像过程等功能。由于其内建投影变换，可以方便的模拟相机成像，所以本方案用此进行视觉场景仿真。
opengl视景仿真
在使用计算机进行仿真时，需要使用计算机图像坐标系opxpypzp，如图27所示，它是一种参考坐标系，可以认为是仿真场景下的世界坐标系。在没有进行观测位置和观测角度变换时(就像将相机置于世界坐标系原点)，其原点op位于计算机屏幕左下角，opxp轴沿屏幕底边指向屏幕右下角，opyp轴沿屏幕坐边框指向屏幕左上角，opzp轴垂直于opxp轴和opyp轴满足右手定则指向计算机屏幕正方向。
在模拟无人机时，需要将拍摄位置在该坐标系下移动，模拟无人机的真实位置，接着采集计算机显示设备上的成像作为拍摄样本。
模拟采集无人机着陆时，使用本方案设计的相机所拍摄的图片样本的流程如图28所示：在macos平台上采用glut通用窗口框架模拟相机的真实成像，将opengl设置为双缓冲、rgba和开启深度测试模式的显示模式，使用像素间单色着色的方法。接着设置图像绘制显示回调函数、窗口重置回调函数、空闲处理回调函数与键盘消息响应回调函数。
其中图像绘制显示回调函数是本程序的核心，首先根据opxpypzp坐标系设置相机位置与观测角度，接着在opxpypzp坐标系下绘制跑道线与合作信标，最后在平面屏幕上显示飞控数据与位姿指示器。
相机的观测模型与内参设置是在窗口重置回调函数中设置的，在程序初始建立窗口时便调用该函数进行相关设置：采用透视模型来显示。接着才会调用图像绘制显示回调函数进行图像绘制，所以图中显示回调函数的设置与执行中间使用虚线箭头链接。另外，一般窗口重置函数只有在窗口大小改变时才会执行，但是本方案所设计的方案要求在无人机整个着落过程中相机分辨率不变，因此该函数只有在初始化时才会调用。
空闲回调函数主要是在程序不进行绘图的空闲时间调用，可以在其中处理一些图像控制命令。
键盘消息响应回调函数是响应控制者操控无人机着落的按键控制命令，通过改变无人机的姿态角与速度来控制无人机进行着落，在关键位置可以通过按键将显示器上的图像进行存储，完成视景仿真实验的图像样本采集。
由于所使用的pc显示器显示条件达不到2048×2048的分辨率，因此降低分辨率为原来的三分之一，即614×614。这种调整造成图像上每个像素所代表的真实物理距离变为原来的三分之一，相应的，引导着落距离也应该缩小为原来的三分之一。
图29中中设置无人机在opxpypzp坐标系下的坐标为(0,30,330)，相机的姿态角为俯仰角-7.0度，滚转角0.0度，偏航角0.0度。
- 还没有人留言评论。精彩留言会获得点赞！