一种基于视觉定位的无人机定点飞行控制系统的制作方法
【专利摘要】本发明提供了一种基于视觉定位的无人机定点飞行控制系统。该系统包括无人机机载模块、定位标志、地面监控模块、通讯模块。系统可通过与视觉处理算法配合，由识别信息控制无人机定点飞行，弥补了GPS定点飞行精度不够的缺点，控制系统使用开源操作系统与通用无人机通讯协议，具有良好的兼容性与扩展性。可应用于无人机物流、无人机监察等方向。
【专利说明】
一种基于视觉定位的无人机定点飞行控制系统
技术领域
[0001 ] 本发明属于机器视觉/无人机定位领域，具体涉及一种通过视觉传感器对人工标 志物进行定位与识别，并由识别信息控制无人机定点飞行的系统。
【背景技术】
[0002] 随着互联网技术的不断进步，我国电子商务发展迅速，市场规模扩张迅速，物流产 业也得到了飞速发展。然而风光的背后也暴露出了诸多问题，如快递送达不及时，货物送到 损坏严重等，这些问题也反映出人工物流领域的缺陷。为了弥补这些缺陷，各大物流企业开 始思考如何在降低成本的同时还能保证服务的质量，满足客户需求。由此，具有造价低、体 积小、操控简便、生存能力较强等优点的无人机派送方案应运而生。
[0003] 如今无人机派送在国外已经形成了较为完善的运行模式，其中尤以美国亚马逊为 例。该公司无人机物流试运行模式采用"配送车+无人机"为国内的投入使用提供了参考方 案。该模式主要是无人机负责物流配送的"最后一公里"。举例来说就是，配送车在离开仓库 之后，只需行走在主路上即可，然后在每个小支路处停车，并派出无人机进行配送，完成配 送之后自动返航准备下一个投送任务。
[0004] 要实现上述自动控制功能，需要在无人机上加装部分装置以满足定点飞行的要 求，其中最为关键的是使无人机需要能够知道其下一个目的点在何处并动态调整路径，即 可在某种手段下导航至投送点并自动返回。这种无人机导航技术主要分为有GPS和无 GPS两 大类，前者通过接收GPS信号来规划路径导航，后者则借助一些传感器对指定参照物进行感 知来辅助导航。目前国内外针对无 GPS下无人机导航及无人机派送这种特定模式下的控制 方法开展了大量的研究，但还没有能够完全兼顾成本、效果与易实现程度的解决方案出现。
[0005] 虽然目前无人机派送在物流运输上还存在着一些问题和缺点亟待解决，但从它所 带来的经济价值和效果上看，无人机在电商物流发展的前景仍是广阔的，相关技术的研究 和发明也是具有非常大的价值的。
[0006] 相关技术 1无人机导航技术 导航技术是按照要求的精度，沿着预定的航线在指定的时间内正确地引导无人机至目 的地。目前在无人机上采用的导航技术主要包括惯性导航、卫星导航、视觉导航及地磁导航 等。在无人机导航中，根据无人机担负的不同任务来选择合适的导航技术至关重要。
[0007] 2无人机飞行控制技术 飞行控制是利用遥控设备或飞行控制装置完成起飞、空中飞行、执行任务和返场回收 等整个飞行过程的关键技术，对于无人机相当于驾驶员对于有人机的作用。根据实际情况 通过人工或程序自动为无人机指定动作，配合导航技术完成各项复杂功能。
[0008] 3视觉定位技术 机器视觉技术具备定位功能，能够自动判断物体的位置，并将位置信息通过一定的通 讯协议输出。定位检测可分为两个步骤，一是制作实现功能所需的标准模板，二是通过机器 视觉装置将被摄取目标转换成图像信号，传送给专用的图像处理系统进行搜索与定位。基 于机器视觉的视觉定位技术不但克服了传统人工定位方法费时费力的缺点，同时也发挥了 自己快速准确的优点，多用于全自动装配、生产和控制。
[0009] 现有技术不足 1对于无人机导航技术，目前多采用基于GPS的单一导航技术或组合导航技术，适用于 高空、没有干扰、远距离的飞行导航，对GPS信号的依赖程度很高，但民用GPS定位精度有限， 难以满足物流派送中精确的投递任务要求，很可能将快递投丢，因此需要借助一些其他定 位辅助方法。
[0010] 2对于无人机飞行控制技术，主流的方式是无人机飞控加无线电遥控器相互配合， 无人机内部的飞控自动控制飞机的姿态和速度，操控者使用遥控器控制无人机完成指定的 操作。这种控制方式在派送任务中显然是不合理的，应该让无人机在启动后能够通过一定 途径自动地获取任务、规划路径并返回，以尽可能的减少送货人员的操作。
[0011] 3视觉定位技术多被用在静态的生产、装备环境下，如要在无人机上装配视觉定 位系统，视觉传感器会处于不稳定的运动状态之下，成像质量难以保证，导致判断精度有所 下降。另外考虑到续航的因素，体积重量过大的高性能图像处理系统也不适合在无人机上 作业。
【发明内容】
[0012] 针对以上三个相关技术的不足，本发明设计了一种基于视觉定位的无人机定点飞 行控制系统，具体采用如下技术方案:该系统包括无人机机载模块、定位标志、地面监控模 块、通讯模块，所述无人机机载模块包括飞行控制模块、图像采集模块、嵌入式平台，图像采 集模块设置在无人机下方正中心；飞行控制模块用于识别无人机当前的飞行模式，以及执 行嵌入式平台发出的控制指令，控制无人机的飞行动作;嵌入式平台分别从飞行控制模块 和图像采集模块获取当前飞行模式信息以及视频数据，当获取无人机处于GPS定位飞行模 式时，嵌入式平台启动内部视觉处理模块对视频数据进行分析，以识别定位标志是否存在， 若存在，则视觉处理模块计算无人机与定位标志的水平方向位置偏差与方位角偏差，并根 据水平方向位置偏差与方位角偏差生成定位信息，嵌入式平台进而通过其内部的控制逻辑 模块将定位信息转换为实际的姿态控制信号，姿态控制信号通过接口传递给飞行控制模 块，飞行控制模块根据姿态控制信号完成调整水平方向位置偏差与方位角偏差的飞行动 作，当视觉处理模块计算出水平方向位置偏差与方位角偏差值处于设定范围内后，嵌入式 平台向飞行控制模块发出降落命令，飞行控制模块控制无人机完成降落。
[0013] 优选地，地面监控模块通过通讯模块向无人机机载模块发送任务，无人机机载模 块在接收到任务后，无人机的飞行模式由自由飞行模式切换为GPS定位飞行模式，无人机通 过GPS导航到达目标点附近后，无人机机载模块开始检测定位标志是否存在，检测到定位标 志后通过获取的定位信息对无人机进行姿态控制并实现自主降落，无人机完成任务后自动 返航，并反馈任务状态。
[0014]优选地，通讯模块采用基于MavLink协议的无线通讯模式，嵌入式平台搭载 Android操作系统，嵌入式平台通过USB-host API接口和串行驱动程序接收和发送飞行控 制模块的数据。
[0015]优选地，所述定位标志为一黑色矩形区域，该区域内部按照预先设定的规则放置 两组大小不同的白色正方形，其中大的组里正方形数量为3个，小的组里正方形数量为6个， 所述设定的规则为:3个大正方形分布于黑色矩形区域的三个角，并分别标记正方形中心点 为施1 213，一小正方形位于黑色区域剩下的那个角并标记其中心点为!112，另一小正方形位 于黑色矩形区域中心并标记其中心点为ml，剩余的四个小正方形对称设置在ml的四周，M2 和M3的连线以及Ml和m2的连线均经过ml，9个正方形互相没有重叠部分。
[0016]本发明具有如下有益效果： (1)对无人机进行实时监控，发送控制指令，无人机完成自主飞行和视觉定位，最终达 到精确定点的目的。
[0017] (2)对各个模块进行独立设计，使其能够独立完成部分功能，在通过可靠的通讯连 接，建立各模块之间的通讯通道，完成信息在无人机、地面站、机载计算机之间的相互传递， 保证无人机飞行路径的正确性、飞行状态的稳定性和视觉定位的准确性。
【附图说明】
[0018]图1为定位标志设计图。
[0019] 图2为标志识别流程图。
[0020] 图3为图像轮廓识别与提取示意图。
[0021] 图4为偏差定位模型图。
[0022]图5为标识区域解析流程图。
[0023]图6为标识信息解析图。
[0024]图7为无人机定点飞行系统结构图。
[0025]图8为系统硬件结构图。
[0026]图9为系统运行流程图。
[0027]图10为视觉处理与控制软件结构图。
[0028]图11为视觉处理与控制软件运行流程图。
[0029]图12为坐标系匹配图。
[0030]图13为视觉定位控制结构图。
[0031]图14为视觉定位控制流程图。
[0032]图15为无人机物流运输系统图。
[0033]图16为无人机物流运输系统运行流程图。
【具体实施方式】
[0034] 1)定位标志设计 地面定位标志设计的合理与否直接影响视觉定位的精度和图像处理的速度。该地面标 志的设计充分考虑了环境干扰因素的影响和机载计算机的处理能力，即保证了与环境的区 分度，也简化了标志的设计，增加了识别的速度和精度，该标志可以识别出位置偏差和根据 图案解析出无人机相对于地面定位标志旋转角度。
[0035]图1显示了地面标志的实际尺寸和形状，考虑图像传感器的视野范围与高度的关 系，以及地面标志移动和放置的便利性。该标志为宽30厘米，高26厘米的矩形区域，区域内 部按照一定的规则放置了2组大小不同的白色正方形，分别为边长5.4厘米和边长2.7厘米 的正方形。整个标志图案规则，颜色对比鲜明，辨识度极高。该标志的特点如下： 标志采用规则图形设计，有利于视觉识别； 标志内部9个正方形区域的位置特征，可以有效的反映无人机相对于标志的角度偏差； 通过内部9个正方形的不同颜色组合可以解析出不同的ID信息，提高标志识别的容错 率； 2)标志识别与提取算法设计 本发明根据标志的外形轮廓特征，使用阈值分割和形态学处理算法及标志的几何结构 判断等方法在图像中选择出符合要求的区域作为待选区域，并将符合区域交给后面的定位 算法解析出空间位置信息。
[0036]标志区域提取模块软件流程如图2所示，该流程图反映了进行标志区域提取的图 像处理顺序和标志区域筛选过程。流程图中对视觉算法执行的各个阶段，采用了不同的阈 值参数进行判断和筛选，其目的是根据定位标志的轮廓特征排除其他环境的干扰因素，该 程序中可对图像二值化阈值、轮廓像素数量、轮廓多边形的边数、轮廓多边形的边长等参数 进行实时控制，增加了该程序的环境适应能力。具体过程如下： 图像读取和灰度化。
[0037]对RGB图像进行灰度化将抛弃色彩信息，可以大幅减少图像处理运算量。
[0038]图像阈值分割。
[0039] 在本发明中设计的定位标志采用黑白两种颜色进行设计，与周围环境的区分度很 大。因此采用阈值分割的方法可以快速有效的分离图像中感兴趣的区域，将背景从中去除， 排除灰度图像中存在各种其他物体的干扰。同时进行二值处理之后图像中仅存在黑白两种 灰度级别，有利于后续对图像的滤波处理。
[0040] 本发明使用局部自适应阈值方法。其优点在于每个像素位置处的二值化阈值不是 固定的，而是由其周围邻域像素的分布来决定的。亮度较高的图像区域的二值化阈值通常 比较高，而亮度较低的图像区域的二值化阈值则会相应的缩小。不同亮度、对比度、邻域大 小的局部图像区域将会拥有相对应的局部二值化阈值。这样更有利于适应对于无人机作业 时复杂的环境。
[0041] 图像二值形态学滤波 在对图像进行自适应二值化处理之后，如果直接进行识别会将背景中许多微小噪点误 识别为目标区域，而使用二值形态学操作可以有效的滤除二值图像中的微小噪点，平滑定 位标志区域边缘。因此本发明针对二值形态学操作的几种方式进行不同程度和顺序的组 合，选择最佳的二值形态学组合滤波方法。
[0042] 二值化后的原始图像中存在大量不连续的颗粒型噪点。本发明选择了膨胀、腐蚀、 开运算、闭运算等几种二值形态学操作进行组合使用，消除了大部分噪点，使图像更加纯 净，有利于后面的处理工作。
[0043] 目标区域识别与提取 目标区域的识别中最关键的方法是边缘检测与轮廓识别，在进行轮廓检测时，可以根 据情况选择合适的轮廓检索的模式和轮廓近似方法，选择合适的方式有利于提高图像处理 效率。
[0044] 图3显示了对二值形态学滤波之后的图像进行轮廓提取并筛选的步骤： 图3(a)是进行轮廓提取的原始图像； 图3(b)是对原始图像进行外轮廓提取的结果，在该图中共提取了 781个轮廓，存在许多 多余的轮廓区域。而这些轮廓都是由像素点组成的曲线图形，而所要提取的定位标志区域 与其他微小噪点区域相比外轮廓曲线的组成需要比较多的像素点； 图3(c)显示了进行轮廓像素数量进行筛选后的结果，在程序中设定一个轮廓像素数量 的下限阈值，对图3(b)中的每一个轮廓与这个阈值比较，大于这个阈值的轮廓区域被保留 下来。进行筛选之后符合要求的轮廓数量减少到67个； 图3(d)是对轮廓进行多边形近似后，在经过多边形特征进行筛选后的结果。在该图中 通过设置合理的多边形近视边长阈值，保证所得多边形可以反映轮廓的基本形状。由于所 要提取的定位标志区域为凸四边形，因此通过判断所得多边形是否为四边形且四边形为凸 四边形，可以排除许多不规则多边形区域。最后用所得四边形的最长边与事先设定的阈值 进行比较，保留大于该阈值的的四边形区域。
[0045] 最终经过这几步的筛选，如图3(d)中只剩下一个满足条件的四边形区域，即为目 标区域，将此区域的原始图像交给后面的处理程序，至此标志识别与提取工作完成。
[0046] 3)定位模型建立 根据定位标志的设计，以及无人机与地面标志点的空间位置关系，制定相应的标志点 定位模型，进而通过识别地面标志点获得实际的空间坐标信息，定位模型如图4所示： 该定位模型的定位信息解析步骤为： 对图像传感器视角进行标定，选取SOOpsX 60, ?ps的图像区域作为待检测区域，使 用标准长度的物体(标准长度D)至于镜头视野底部，向上移动镜头是标准长度物体刚好占 满SOOps的宽度，记录此时镜头移动的高度(H)。设标定后的视角为灼，则计算公式为：
视觉识别程序根据视野中标志的特征，解析出标志在图像中的x轴像素偏差_|1纖i，y 轴像素偏差__^〕以及镜头相对于标志的旋转角度； 通过无人机返回的GPS高度信息和超声波返回的高度信息，确定当前无人机离标志点 的垂直高度(I); 通过视觉算法所获得的像素偏差数据和无人机返回的高度数据，可计算出无人机实际 偏离标志点的距离。设x轴实际偏差为(gl%:〇，y轴实际偏差为(SS_)，计算公式如下：
通过该方法，可以使视觉处理算法适合各种类型的相机镜头，降低了对硬件设备的依 赖性。该检测方法结合了实际高度信息，解决了由于相机镜头距离标志点远近而造成的偏 差距离失真，与直接使用像素偏差的方法相比较具有更好的检测范围和控制精度。该方法 解算出来的偏差信息更有利于后续无人机的自动控制，降低了无人机控制参数的调试难 度。
[0047] 4)定位解析算法 在上一步图像提取操作后，程序传来的是目标区域的原始图像，这样做的目的是可以 在后面针对这个小区域重新预处理，得到更为精准的分割图像和检测结果。由于所提取的 区域很可能包含定位标识的区域，而定位标识颜色单一且对比度极大，因此在进行图像二 值化分割是采用0TSU阈值化方法。
[0048]标识区域解析模块流程图如图5所示，首先主要针对待选标识局部区域进行处理， 因此首先需要从原始的图像中提取出待选标识区域所在的像素区域进行局部处理，从而提 高标识解析的速度。在定位标识内部由九个正方形区域按一定的规则进行排列，因此在标 识区域解析模块中可以通过检测区域内部是否存在九个正方形区域及正方形区域的大小 来排除在标识区域提取模块中误识别的区域。通过区域内部九个正方形的排列规则可以检 测出定位标识与相机镜头的相对旋转角度和位置偏差信息。
[0049] 整个解析过程分为区域预处理和定位解析两部分： 提取区域预处理 图像提取过程中为了降低轮廓的复杂度，只对图像中标志区域的外轮廓进行了提取， 就会因为定位标志的外轮廓和背景中的类似四边形过于相似，导致提取出错误的待选标志 区域。因此这里需要对定位标志的内部信息进行解析，进一步判断所提取待选区域中是否 包含定位标志。为了得到跟快的处理速度，对图像的处理只在待选标志的外接最小矩形区 域之内进行，大大缩小了图像处理的范围，提高了检测速度。
[0050] 在进行标识信息提取前，需要先对待选的标识区域进行预处理。与标识区域提取 模块的处理方法相同，只是处理的图像区域范围缩小。
[0051] 由于在标志信息解析程序中仅对包含待选区域的最小外接矩形图像区域进行处 理，因此若待选区域中存在定位标志则定位标志占整个图像区域的二分之一以上且定位标 志的灰度级别相差很大，所以在对图像进行二值化处理中使用0TSU算法可以达到最佳的分 割效果和较快的处理速度。进行二值形态学滤波后定位标志内形状轮廓清晰平滑。最后对 图像进行全部轮廓提取，并通过轮廓数量关系滤除在标志区域提取模块中误识别的区域。 标志区域有一个外轮廓和九个轮廓区域组成，而不存在这种轮廓组合关系的待选区域将被 滤除。在九个内部轮廓区域中存在其中三个轮廓区域面积大于其它六个轮廓区域面积的情 况，而不存在此种关系的待选区域也将被滤除，通过对定位标志区域内部轮廓的特征分析， 最终得到的区域就是包含定位标志的区域。
[0052] 定位解析 根据标识区域的内部特征，可以在多个可选的标识区域中，选择出正确的标识，并通过 标识的内部特征计算出旋转角度信息和位置偏差信息。
[0053] 标志信息解析的关键步骤如图6所示，图6(a)对关键点所对应的坐标分别标志为 _、驅、:、、與2。标志解析算法首先确定标志的3个定位点、跳、_ 3::，在比较向量 轉_、響《、哪|的模，确定模最大的两个点的坐标为、狐，如图6(b)所示。由定位标 志特点可知向量所确定的直线方程经过标志的中心点辨i，如图6 (c)确定了中心的坐 标所确定的直线方程经过势1点，如图6(d)确定了定位标志右下角关键点坐 标猙
[0054]由向量计算出其与图像坐标X轴的角度，由该角度确定相机与定位标志的 偏移角度，由点的坐标确定定位标志偏移图像中心的位置偏移量。标志信息解析模块最 终输出的信息，此信息即可作为无人机定位控制的输入量。
[0055] 5)系统整体结构 为了能够对无人机进行实时监控，发送控制指令，无人机完成自主飞行和视觉定位，最 终达到精确定点的目的。需要对各个模块进行独立设计，使其能够独立完成部分功能，在通 过可靠的通讯连接，建立各模块之间的通讯通道，完成信息在无人机、地面站、机载计算机 之间的相互传递，保证无人机飞行路径的正确性、飞行状态的稳定性和视觉定位的准确性。 该系统的总体结构如图7所示。该系统由空中设备、地面标志、地面监控设备三个功能模块 组成。它们通过不同的信息传递方式进行信息交换，实现两个或多个地面站点之间的定点 飞行。
[0056]如图8为系统硬件结构图，虚线内为发明涉及硬件设计部分，使用搭载Android开 源操作系统的嵌入式设备采集摄像头传回的实时图像，并通过App的形式在设备内部进行 各项运算，通过数传模块将基于MavLink协议的控制量传递给无人机飞控系统，从而驱动无 人机电机进行飞行控制，装置使用无人机上的电池供电，并安装在无人机下方。
[0057] 安装与使用步骤如下： 步骤1:将无人机上的电池与嵌入式设备相连，为设备供电，开机启动Android系统。
[0058] 步骤2:连接设备与相机，使用Andorid底层驱动相机硬件，采集实时图像。
[0059] 步骤3:使用USB HOST连接数传模块，建立MavLink通信链路。
[0060]步骤4:在嵌入式设备上安装无人机飞行控制软件。
[0061 ]步骤5:将嵌入式设备安装在无人机下方固定，确保相机镜头位于无人机正中心。
[0062] 步骤6:无人机上电，启动嵌入式设备上的无人机飞行控制软件，与无人机建立通 信，读取无人机状态。
[0063] 步骤7:使用软件上的功能按钮或遥控设备为无人机解锁。
[0064] 步骤8:通过地面站为无人机设定任务，任务流程如图9所示。
[0065] 6)软件结构 考虑摄像头数据获取和视觉处理对硬件设备的性能要求相对较高，且该硬件设备需要 搭载在无人机平台上，因此本发明采用Android嵌入式平台。这种基于Linux的自由及开放 源代码的操作系统，主要使用于移动设备，该平台由操作系统、中间件、用户界面和应用软 件组成。Android平台由于其具有显著的开放性，使其功能得到了进一步的完善，提供的用 户程序接口更加丰富，降低了开发软件的周期。
[0066]视觉处理与控制的软件结构如图10所示，由于使用Android嵌入式设备做为视觉 处理和控制平台，为了实现与无人机飞控的串行端口连接，需要进行接口转换，在使用 Android嵌入式设备的USB-host API接口和串行驱动程序收发无人机飞控的数据。无人机 与外部设备通讯采用了 MAVLink的通信协议，因此在Android嵌入式设备中需要专门的程序 来解析和打包MAVLink消息。Andro i d嵌入式设备通过Camera API读取摄像头的视频帧数 据，使用视觉识别算法进行处理，并将处理后的定位信息发送给控制逻辑模块转换为实际 的控制信号，通过MAVLink协议打包发送给无人机飞控执行。在视觉处理算法模块中采用了 JAVA的JNI调用机制，能够实现在JAVA层调用C/C++视觉处理算法，使用这种机制可以充分 利用C/C++的代码效率，提尚视觉算法的运行速度。
[0067]视觉处理与定位控制软件流程如图11所示，Android嵌入式设备启动后，首先获取 无人机飞控的MAVLink消息，通过消息中得到的当前飞行模式，来选择不同的程序模块且对 MAVLink消息的获取从设备启动开始一直保持运行状态，实时监控飞行器的状态。当在 MAVLink消息中发现当前处于GPS定位飞行模式时，即可启动视觉处理程序。在该程序模块 中对定位标识进行识别解析，通过相应的控制方法进行计算，在使用MAVLink协议打包控制 信号，发送给无人机飞控执行，此控制过程一直持续到当视觉处理算法检测到偏差到一定 范围时结束，最后设备发出降落指令，完成飞行器的降落。
[0068] 7)飞行控制算法 如图12所示，飞行器摄像头放置在飞行器的中心且垂直向下，则无人机在图像平面的 垂直投影点始终在图像中心。图中摄像头采集的图像的坐标系与无人机姿态坐标系重合。 若以图像中心为坐标原点，经过视觉识别算法处理后所得到的水平位置偏差，即为实际的 坐标值。而飞行器在此坐标系下可以通过控制飞行器俯仰与横滚角度使飞行器沿《轴和M轴 方向运动。
[0069] 视觉识别算法检测到标识并解析出偏差信息后，需要将其转化为实际的无人机姿 态控制信号，并通过MAVLINK协议将控制信息发送到无人机上，使无人机执行相应的动作。
[0070] 如图13所示，该控制算法分为两中不同的控制方法。其中无人机与定位标识的偏 差修正使用PID控制方法，因为摄像头采集的图像无法精确的反应出标识点位置的实际地 理坐标且GPS精度也不足以实现精确的定点飞行。因此无人机的水平偏差采用PID控制方法 能够使无人机逐渐接近定位标识的垂直上空。而视觉定位算法所解析的角度偏差能够反映 无人机与定位标识的实际角度偏差且无人机中的指南针模块也可以很好的反映无人机的 偏航角度。因此无人机的角度偏差控制只要将正确的角度位置通过MAVLINK协议发送到无 人机飞控系统，飞控系统会自动调整偏航角度，使其达到预定的航向角度。
[0071]由于位置偏差PID控制中，输出量只反映了偏差的大小，因此使用MANUAL_C0NTR0L (MavLink协议输出控制命令)消息包向无人机发送pitch和roll轴的倾斜角度来控制无人 机的水平飞行方向使其逼近定位标识上空，而偏航角度偏差控制中，只需要通过SET_ ATTITUDE_TARGET(MavLink协议姿态设置命令)消息包向无人机偏航角姿态设定值即可，偏 航角修正完全由飞控自动调节。
[0072]视觉定位控制的软件流程如图14所示，首先对无人机进行水平偏差位置进行控 制，使无人机稳定悬停在定位标识上空，在进行偏航角控制，使偏航角度偏差为零，最后完 成无人机的降落。水平位置偏差控制优先于偏航角度控制的原因是因为偏航角度控制是以 无人机自身中心作为旋转轴，先进行偏航角度控制可能会导致定位标识由于无人机的自身 旋转而离开摄像头的视野范围。而当水平偏差修正到定位标识上空时，无人机的旋转中心 与定位标识的中心重合，当进行偏航角度控制时可以保证定位标识始终在无人机的正下 方，从而保证了定位的精确度。
[0073]图15显示了无人机派送环节中的各部分关系，其中无人机地面监控系统主要负责 物流任务的查询及向无人机分配物流运输任务，无人机负责接收物流运输任务，并根据坐 标信息和地面标志信息准确到达目标点完成包裹的投放，可以看出无人机在物流运输系统 中完全由地面监控软件分配任务，并自主飞行到目的地。
[0074]无人机物流运输系统的运行过程如图16所示，该流程图反映了地面监控软件和无 人机在整个物流运输过程中具体的运行流程。地面监控软件通过无线通讯的方式向无人机 发送任务，无人机在接收到任务后通过GPS导航到达目标点附近并检测地面标志是否存在， 检测到地面标志后通过获取的定位信息控制无人机运行到地面定位标志上空并实现自主 降落，完成任务后自动返航，并反馈任务状态。
【主权项】
1. 一种基于视觉定位的无人机定点飞行控制系统，该系统包括无人机机载模块、定位 标志、地面监控模块、通讯模块，其特征在于， 所述无人机机载模块包括飞行控制模块、图像采集模块、嵌入式平台，图像采集模块设 置在无人机下方正中心； 飞行控制模块用于识别无人机当前的飞行模式，以及执行嵌入式平台发出的控制指 令，控制无人机的飞行动作； 嵌入式平台分别从飞行控制模块和图像采集模块获取当前飞行模式信息以及视频数 据，当获取无人机处于GPS定位飞行模式时，嵌入式平台启动内部视觉处理模块对视频数据 进行分析，以识别定位标志是否存在，若存在，则视觉处理模块计算无人机与定位标志的水 平方向位置偏差与方位角偏差，并根据水平方向位置偏差与方位角偏差生成定位信息，嵌 入式平台进而通过其内部的控制逻辑模块将定位信息转换为实际的姿态控制信号，姿态控 制信号通过接口传递给飞行控制模块，飞行控制模块根据姿态控制信号完成调整水平方向 位置偏差与方位角偏差的飞行动作，当视觉处理模块计算出水平方向位置偏差与方位角偏 差值处于设定范围内后，嵌入式平台向飞行控制模块发出降落命令，飞行控制模块控制无 人机完成降洛。2. 如权利要求1所述的基于视觉定位的无人机定点飞行控制系统，其特征在于，地面监 控模块通过通讯模块向无人机机载模块发送任务，无人机机载模块在接收到任务后，无人 机的飞行模式由自由飞行模式切换为GPS定位飞行模式，无人机通过GPS导航到达目标点附 近后，无人机机载模块开始检测定位标志是否存在，检测到定位标志后通过获取的定位信 息对无人机进行姿态控制并实现自主降落，无人机完成任务后自动返航，并反馈任务状态。3. 如权利要求1或2所述的基于视觉定位的无人机定点飞行控制系统，其特征在于，通 讯模块采用基于MavLink协议的无线通讯模式，嵌入式平台搭载Android操作系统，嵌入式 平台通过USB-host API接口和串行驱动程序接收和发送飞行控制模块的数据。4. 如权利要求1-3任一项所述的基于视觉定位的无人机定点飞行控制系统，其特征在 于，所述定位标志为一黑色矩形区域，该区域内部按照预先设定的规则放置两组大小不同 的白色正方形，其中大的组里正方形数量为3个，小的组里正方形数量为6个，所述设定的规 则为:3个大正方形分布于黑色矩形区域的三个角，并分别标记正方形中心点为M^M^Ms，一 小正方形位于黑色区域剩下的那个角并标记其中心点为m 2,另一小正方形位于黑色矩形区 域中心并标记其中心点为m，剩余的四个小正方形对称设置在m的四周，M#PM 3的连线以及 MjPm2的连线均经过血，9个正方形互相没有重叠部分。
【文档编号】G05D1/12GK106054931SQ201610618929
【公开日】2016年10月26日
【申请日】2016年7月29日
【发明人】王庞伟, 于洪斌, 王力, 熊昌镇, 程冲
【申请人】北方工业大学