一种基于多图像的四旋翼飞行器增稳系统与方法与流程

本发明涉及飞行器及无人机在农田小区域作业时位置稳定的技术应用，特别涉及一种基于多图像的四旋翼飞行器增稳系统与方法。

背景技术：
随着现代农业的发展，飞行器以及无人机在监测农田病虫害、农作物生长情况和农田水利情况上的应用愈加广泛，在其采集农田信息的基础上，做到准确施肥和喷洒农药，降低成本、增加可靠性。而要实现这些要求，便需要飞行器在作业过程中保持高度和姿态的稳定。目前，增稳系统在小型飞行器的控制系统中起到越来越重要的作用。小型飞行器的增稳系统除了增稳算法外，还要求物理系统的体积小、重量轻。目前数字式增稳系统应用较多，数字式增稳系统的构成主要是单片机和外围电路，外围电路采用mpu6050等三轴陀螺仪传感器，增稳系统主要是靠算法来处理指令信号和传感器返回的反馈信号，并向飞行器相应的执行单元发送控制信号，使得飞行器能够在稳定状态下飞行。但是，对于数字增稳系统，其电路搭建有时过于复杂，且传感器信号容易受外界干扰，算法较为复杂，处理层次过多时易引起信号误差较大。而对于多相机增稳系统，现可利用图像来确定飞行器的姿态，减小采样和控制误差，以提高控制精度。

技术实现要素：
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于多图像的四旋翼飞行器增稳系统与方法，采用多相机以实现飞行器周围环境的采样，图像处理后比较分析得出飞行器位置及姿态变化进而发出相应的调整指令，以此实现飞行器的增稳。为了实现上述目的，本发明采用的技术方案是：一种基于多图像的四旋翼飞行器增稳系统，包括：分别布置在飞行器前侧、左侧和右侧的带有红外接收器的三个可控相机，在飞行器到达需求高度时，各个相机利用红外接收器接收遥控器的命令按照设定周期进行图像采集；设置在飞行器上的与所述三个可控相机连接的图像处理器，图像处理器对各个相机采集的图像进行提取，每幅图像中在固定坐标位置选定目标物，图像处理器基于MeanShift算法分别跟踪每个相机中所规定的目标物；设置在飞行器上的与所述图像处理器连接的单片机，单片机接收所述图像处理器的计算结果，以各个相机第一次拍摄的图像为基准，其后各个相机每个周期内拍摄的图像的目标物均与相应的原始目标物的坐标位置进行比较，通过每一侧不同拍摄周期的图像对比，进行飞行器的姿态和位置判断，并根据判断结果输出信号控制飞行器的调整，达到姿态、位置反馈，反复此过程进而实现飞行器的增稳。本发明还提供了一种基于多图像的四旋翼飞行器增稳方法，包括如下步骤：步骤1：在飞行器前侧、左侧和右侧分别布置一个带有红外接收器的可控相机，在飞行器到达需求高度时，各个相机利用红外接收器接收遥控器的命令按照设定周期进行图像采集；步骤2：每次采集的图像传输至设置在飞行器上的图像处理器，在每幅图像中建立二维直角坐标系，并在固定坐标位置选定三个目标物，采用MeanShift算法来跟踪每幅图像中选定区域的目标物；步骤3：以各个相机第一次拍摄的图像为基准，其后各个相机每个周期内拍摄的图像的目标物均与相应的原始目标物的坐标位置进行比较，如果各幅图像中三个目标物的坐标变化不超过预设的误差值，则认为飞行器稳定悬停，即姿态未变化，如果某一幅图像或多幅图像中的三个目标物的坐标同时变化，则认为飞行器姿态发生变化，通过前后图片的目标物的位置差值，从而计算出飞行器姿态调整所需的控制量，以控制飞行器的姿态，保证飞行器稳定；步骤4：根据步骤3的判断结果，对飞行器进行姿态控制，多相机与图像处理反复工作使飞行器不断进行姿态调整，直到当前状态图像上的目标物与各个基准图像上的目标物满足偏离误差要求。所述步骤2中，应用基于MeanShift的目标跟踪算法，在每幅图像中建立二维直角坐标系，并在固定坐标位置选定三个目标物，提取帧图像的多种特征，得到显著图，即一幅和原始图像大小相同的二维图像，其中的每个像素值表示原图像对应点的显著性大小，在此基础上建立目标模型的直方图，然后运用MeanShift算法进行跟踪。所述步骤2中，分别在每个相机所捕获的初始帧图像中选取三个坐标固定的目标物，坐标分别为(x1，y1)、(x2，y2)和(x3，y3)，假设目标物初始位置在坐标中心，通过分别比较三组视频序列中目标物坐标位置的偏移量，从而判别飞行器的状态。与现有技术相比，本发明的有益效果是：(1)提高稳定精度，图像采集方法的增稳精度为像素级，而现有电子式增稳系统受电磁干扰、传感器精度等影响精度为分米级，且受传感器限制，速度较慢的自身漂移无法监测和矫正。(2)通过安装多相机进行图像采集，处理器进行图像处理与飞行器控制，避免了对多种复杂电路的设计与使用。(3)采用算法进行飞行器控制，增加使用期限，减小因硬件损坏导致控制作用无法运行的可能。(4)使用多相机不会对原始周围环境的采集有所影响，减小因图像等外界误差导致的飞行器误操作。(5)器件种类少，数据传输可靠，精度较高，可适用于较复杂的环境。附图说明图1是本发明的飞行器及相机固定位置示意图。图2是本发明选取图片时坐标轴建立示意图。图3是本发明选取的基准图片，固定选区，三个框分别对应左、前、右三个相机的图像。图4是本发明选取的姿态图片1，追踪选区，三个框分别对应左、前、右三个相机的图像。图5是本发明选取的姿态图片2，追踪选区，三个框分别对应左、前、右三个相机的图像。图6是本发明Meanshift算法流程示意图。具体实施方式下面结合附图和实施例详细说明本发明的实施方式。如图1所示，本发明所述四旋翼飞行器包括四轴飞行器、处理器、三台相机和其他控制器。器件除相机外集中在飞行器中心4，相机A、5装在飞行器的前端，相机B、6装在飞行器的左侧，相机C、7装在飞行器的右侧。四轴飞行器四轴在结构上采用了四个旋翼1为飞行的基本动力源，四个旋翼1通过支架3连接在飞行器中心4。同时四个旋翼1两两对称分布于机身的前后和左右四个方向，四个旋翼1位于同一水平高度，并且各个旋翼1的半径和结构都一样，一组相对的旋翼1逆时针方向旋转，另一组相对的旋翼1顺时针方向旋转，四个无刷电机2对称分布于飞行器支架的末端，支架的中央交叉空间可以安放飞行姿态控制处理器、和传感器及其它外部拓展的设备。由于两组旋翼1以相反方向旋转，因此当飞行器平衡飞行时，产生的空气动力扭矩效应以及陀螺效应均被相互抵消，因此，四轴飞行器能够抵抗一定的外部干扰，保证自身的稳定及受遥控器的控制。从上述结构和原理可以看出，四轴飞行器及其多相机的机械结构简单直观，可灵活控制，是用于增稳的最佳设备。本发明所述基于四轴飞行器的多相机增稳系统由三个小型可控相机组成。多相机的图像采集能力是本系统的必要条件，同时也是本系统的显著特征。本系统利用现有的两轴舵机云台来支撑和调节本发明所述系统。当飞行器需要位置保持时，遥控器发出信号，各个相机接受指令开始进行拍摄。且相机设定有拍摄周期，采集到的图像传输到处理器中，进行每张图像的处理并利用MeanShift算法跟踪出每张图像中所规定的目标物。第一次拍摄后，左、右、前侧图像传输到图像处理器中进行处理得到显著图并规定坐标系，每个相机显著图的坐标设定如图2所示。分别在每个相机所捕获的某帧图像中从左到右选取现实中的三个目标物，每个相机的图像的坐标分别为(x1,y1)，(x2,y2)，(x3,y3)，在此后每次拍摄后对初始目标物进行跟踪得到新的三个目标物坐标。将同一相机所捕获的目标物前后坐标信息进行比较，从而判断飞行器的位置变化。如图3所示，该图为初始图像。与图4对比，三个相机的图像中的三个目标物的坐标y值均增大，结果说明整个飞行器水平高度增加了。与图5对比，左侧相机中的三个目标物的坐标y值均增大，前方相机的三个目标物从左到右坐标y值依次增大，不变，减小，右侧相机的三个目标物坐标y值均减小，结果说明飞行器左侧升高，右侧降低，即飞行器发生向右的倾斜。根据比较结果控制器发出命令对飞行器进行调整，如发生图4结果时，控制飞行器的四个旋翼转速同时降低，保证在高度降低的同时不发生偏转。如发生图5结果时，控制飞行器左侧相机处的旋翼转速降低，右侧相机处的旋翼转速升高，前后旋翼转速保持，从而调节飞行器的倾斜。在调整过程同时多相机实时采集图像信息并进行处理，反复调节，直至飞行器姿态稳定。本发明增稳方法，包括如下步骤：步骤1：在飞行器前侧、左侧和右侧分别布置一个带有红外接收器的可控相机，在飞行器到达需求高度时，各个相机利用红外接收器接收遥控器的命令按照设定周期进行外界图像采集；步骤2：每次采集的图像传输至设置在飞行器上的图像处理器，在每幅图像中建立二维直角坐标系，并在固定坐标位置选定三个目标物，采用MeanShift算法来跟踪每幅图像中选定区域的目标物；如何实现对目标物的跟踪，具体实现如下：(1)视觉模型构建:本发明选取Itti视觉模型，它在特征提取阶段，采用多个低层视觉特征，如颜色、强度、边缘等，这些特征通过高斯滤波和Center-Surround算子(中心——周围差分)形成各个特征的关注图；然后将这些特征合成一幅显著图。(2)显著图的获取：获取Itti显著图的步骤是：a，提取颜色、强度和边缘特征；b，用高斯滤波器对颜色、亮度和边缘特征图像进行滤波；c，“中心——周围”差分(Centersurrounddifference)和归一化，获取颜色、强度和边缘特征图；d，对特征图进行融合及归一化后，合成视觉显著图。为了满足实时性的要求，本文主要采用颜色、强度和边缘特征。(3)视觉特征提取：a，获取颜色特征图HSV模型可以把彩色信息表示为三种属性：色调(H)、饱和度(S)、亮度(V)，其中H表示颜色信息，即所处的光谱颜色的位置。通过颜色分量(H)可以提取出颜色特征，公式如下：H(c,s)＝|H(c)ΘH(s)|(1)其中：c∈[2,3],s＝c+δ,δ∈[3,4]c是中心标度δ是中心—周围差标度s是周围标度Θ为操作算子H(c)第c级高斯颜色特征图H(s)第s级高斯颜色特征图H代表图像中的色调，即色彩信息H(c,s)表示颜色特征图b，获取强度特征图强度可以区分白色和黑色的边缘，能够增强两者之间的显著性，公式如下：I(c,s)＝|I(c)ΘI(s)|(2)其中：c∈[2,3],s＝c+δ,δ∈[3,4]c是中心标度δ是中心—周围差标度s是周围标度Θ为操作算子I(c)第c级高斯强度特征图I(s)第s级高斯强度特征图I代表图像中的亮度，即强度信息I(c,s)表示强度特征图c，获取边缘特征图边缘特征是图像的重要属性之一，能够勾划出目标的轮廓。构造边缘特征图是构造目标模型的重要步骤之一，由如下公式求出：E(c,s)＝|E(c)ΘE(s)|(3)其中：c∈[2,3],s＝c+δ,δ∈[3,4]c是中心标度δ是中心—周围差标度s是周围标度Θ为操作算子E(c)第c级高斯边缘特征图E(s)第s级高斯边缘特征图E代表图像中的边缘信息E(c,s)表示边缘特征图(4)生成视觉显著图：令显著图的标度δ＝4,由式(1)、式(2)和式(3)分别获得的颜色、强度和边缘三个方面12张特征图，将每个方面的4个特征图组合成特征显著图，分别为颜色特征显著图强度特征显著图边缘特征显著图Itti在模型中定义了归一化算子N(·)，来对每组特征图进行归一化，分别由如下公式求得：式中：表示多个尺度下相应的特征显著图经线性插值调整到同一大小后相加，N()为Itti模型中定义的归一化算子，分别将各个显著图的显著值标准归一化到(0,1)区间；然后将线性组合成视觉显著图。(5)目标直方图的建立及跟踪原理：建立直方图便于对捕捉到的图像进一步分析，相机获取视频后，在将初始帧图像处理为显著图后选中视频起始帧的跟踪目标，建立概率模型，在显著图计算中，减少了背景的干扰，更真实的反映跟踪目标的直方图特性。公式如下：其中：k为核函数，m为特征空间中特征值的个数，δ为Kronecker函数，b(x1)为像素x1对应的特征值，n为采样点的个数，C为归一化系数，h为核函数的带宽，x0为目标中心；偏移目标y描述为：因此跟踪目标物的过程可以等效为寻找最优的y，使得和最相似，它们之间的相似性用Bhattacharyya系数来度量，即为了更加逼近运动的目标物，采用迭代算法进行计算，公式如下：式中为新的目标中心位置，其中wi为特征权值迭代过程就是不断计算直至Bhattacharyya系数最大即定位为目标的最终中心位置停止迭代；在每个控制周期内进行迭代，当停止迭代时，即三个相机的每幅图像都追踪到了目标物的新坐标，通过计算每幅图像的每个选定区的坐标的的偏移量，判断出飞行器的姿态状态，从而计算给出对飞行器的姿态控制的调整量，以保证飞行器的增稳。步骤3：以各个相机第一次拍摄的图像为基准，其后各个相机每个周期内拍摄的图像的目标物均与相应的原始目标物的坐标位置进行比较，如果各幅图像中三个目标物的坐标变化不超过预设的误差值，则认为飞行器稳定悬停，即姿态未变化，如果某一幅图像或多幅图像中的三个目标物的坐标同时变化，则认为飞行器姿态发生变化，通过前后图片的目标物的位置差值，从而计算出飞行器姿态调整所需的控制量，以控制飞行器的姿态，保证飞行器稳定；步骤4：根据步骤3的判断结果，单片机接收处理器的判断结果后对利用相应算法对飞行器进行姿态控制，多相机与图像处理反复工作使飞行器不断进行姿态调整，直到当前状态图像上的目标物与各个基准图像上的目标物满足偏离误差要求。本发明需要将所得第一周期图像作为基准，其他均与其作比较分析，进而判断飞行器位置变化。本发明通过各个控制处理设备的多次运行工作进行飞行器位置的不断调整。即通过反复调整后实现飞行器的增稳。需要说明的是，本方法是基于多相机，对相机的基本要求为：可以在两轴平台的辅助下完成对图像的准确采集，其各个指标根据不同用途会有所不同。以上描述了本发明的基本原理、基本特征和基本的实施方案，并且这里通过了说明而不是限制的方式进行了阐述。对于本领域内的技术人员来说，很显然的是，在本质上不脱离所附权利要求书限定的发明精神和范围的前提下，可以做出许多其他实施案例。