专利名称：一种无人机的视觉定位与避障方法及系统的制作方法
技术领域：
本发明涉及通信技术领域，特别涉及一种无人机的视觉定位与避障方法及系统。
背景技术：
由于近年来微电子技术和传感器技术的发展，使得完全自主控制的无人飞行器的实现成为可能。目前自主飞行器设计的关键问题集中于信息获取，导航与远程控制系统设计。对于传统的高空飞行无人机，采用GPS与惯性测量单元(MU)相结合的方法，可以获取相应的位置姿态，高度，航向信息，以实现飞行控制和路径点导航。但是对于主要应用于低空近地环境的微小型无人机，其飞行环境要复杂的多，因此飞行器不仅要估计自身的位姿， 还要感知周围的实际环境。为了实现微小型无人机在低空环境的自主飞行，必需选择合适的传感器获取无人机位姿及周围环境信息。目前应用较多的传感器包括超声波传感器，激光雷达以及视觉相机等。由于微小无人机具有较为严格的载重约束和能源约束，使用相机作为传感器通过视觉的方法获取信息具有明显的优点。相机具有成本低，重量较轻，并且被动成像，包含飞行器运动和周围环境的大量信息。由于GPS信号在杂乱的低空环境和室内稳定性较差，因此很多试验系统不使用GPS信号。视觉方法在微小型无人机系统得到了广发的应用。例如南加州大学基于视觉实现无人机的自动降落，基于视觉的反馈控制，基于光流算法的视觉避障等。视觉算法主要包括基本的特征识别跟踪，光流场计算，以及视觉定位和环境实时绘图等。MIT ACL在室内未知环境下基于视觉的四旋翼飞行器控制和导航的研究，分析说明了视觉方法在小型无人机自主控制方面的应用。尽管计算机视觉经过几十年的发展，一些算法已经相当成熟，但是无人机作为一个全新的应用平台，会有较多的实际问题有待解决，比如由于飞行震动引起的图形模糊，因飞行速度较快需要视觉处理算法有较强的实时性等，同时由于无人机载重量和计算能力的约束，导致在现有的条件下尽量多和全面的提取出飞行器自身姿态和周围环境信息比较困难。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。为此，本发明的一个目的在于提供一种无人机的视觉定位与避障方法。本发明的另一目的在于提出一种无人机的视觉定位与避障系统。为达到上述目的，本发明第一方面的实施例提出一种无人机的视觉定位与避障方法，包括如下步骤通过无人机机载相机获取所述无人机的视觉感知信息和通过无人机惯性测量单元获取惯导数据；远程控制系统接收所述视觉感知信息和惯导数据，并根据所述视觉感知信息得到所述无人机所在的飞行环境中的障碍物信息；对所述无人机进行视觉定位以得到无人机位置信息；所述远程控制系统根据所述障碍物信息和所述无人机位置信息规划所述无人机的飞行路径，并根据所述惯导数据和所述飞行路径生成飞行控制指令；以及所述无人机接收所述飞行控制指令，以便控制所述无人机对障碍物进行避障。根据本发明实施例的无人机的视觉定位与避障方法，利用机载相机和外置相机实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，且本发明的实施例可行性好，实时性高且算法复杂度低，同时具有较好的鲁棒性，可以有效防止噪点的影响，进而对障碍物的位置、大小、运动状态等计算准确，从而准确地实现无人机对障碍物的有限避障，降低损失。在一些示例中，所述远程控制系统和所述无人机之间以WIFI的方式进行无线通信。在一些示例中，所述惯导数据包括飞行高度信息、飞行速度信息、姿态角信息和飞行状态信息。在一些示例中，所述根据视觉感知信息得到所述无人机所在的飞行环境中的障碍物位置信息的步骤包括从所述视觉感知信息中解析出视觉感知图像；和根据所述视觉感知图像获取障碍物信息。
在一些示例中，所述障碍物信息包括所述障碍物与所述无人机之间的相对位置、 所述障碍物的形状、大小和运动状态。在一些示例中，对所述无人机进行视觉定位以得到无人机位置信息的步骤包括 通过外置相机采集所述无人机所在的场景的图像；以及根据采集的图像计算所述无人机位
置信息。在一些示例中，通过获取分割区域位置信息算法对所述采集的图像进行分析以得到所述无人机位置信息。在一些示例中，所述远程控制系统根据所述障碍物信息和所述无人机位置信息规划所述无人机的飞行路径，并根据所述惯导数据和所述飞行路径生成飞行控制指令，进一步包括根据所述视觉感知信息判断所述障碍物是否位于所述无人机的原飞行路径上；如果是，则根据所述障碍物信息和所述无人机位置信息建立新的飞行路径；和根据所述惯导数据和新的飞行路径生成飞行控制指令。本发明第二方面的实施例还提出了一种无人机的视觉定位与避障系统，包括无人机，所述无人机具有机载相机和惯性测量单元，用于通过所述机载相机获取所述无人机的视觉感知信息和通过所述惯性测量单元获取惯导数据，以及所述无人机根据所述远程控制系统的飞行控制指令进行飞行，以便对障碍物进行避障；第一和第二无线传输装置，所述第一无线传输装置设置在所述无人机上且与所述无人机相连；视觉定位装置，用于对所述无人机进行视觉定位以得到无人机位置信息；以及远程控制系统，所述远程控制系统上设置有所述第二无线传输装置且与所述第二无线传输装置相连，以便所述远程控制系统通过所述第一和第二无线传输装置与所述无人机进行无线通信，所述远程控制系统用于接收来自于所述无人机的视觉感知信息和惯导数据，以根据所述视觉感知信息得到所述无人机所在的飞行环境中的障碍物信息，以及根据所述障碍物信息和所述无人机位置信息规划所述无人机的飞行路径，并根据所述惯导数据和所述飞行路径生成飞行控制指令。根据本发明实施例的无人机的视觉定位与避障系统，利用机载相机和视觉定位装置实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，且本发明的实施例可行性好，实时性高且算法复杂度低，同时具有较好的鲁棒性，可以有效防止噪点的影响，进而对障碍物的位置、大小、运动状态等计算准确，从而准确地实现无人机对障碍物的有限避障，降低损失。在一些示例中，所述远程控制系统和所述无人机之间以WIFI的方式进行无线通信。在一些示例中，所述惯导数据包括飞行高度信息、飞行速度信息、姿态角信息和飞行状态信息。在一些示例中，所述远程控制系统用于从所述视觉感知信息中解析出视觉感知图像，并根据所述视觉感知图像获取障碍物信息。
在一些示例中，所述障碍物信息包括所述障碍物与所述无人机之间的相对位置、 所述障碍物的形状、大小和运动状态。在一些示例中，所述视觉定位装置包括外置相机，所述外置相机用于采集所述无人机所在的场景的图像，无人机位置信息计算模块，用于根据采集的图像计算所述无人机
位置信息。在一些示例中，所述无人机位置信息计算模块用于通过获取分割区域位置信息算法对所述采集的图像进行分析以得到所述无人机位置信息。在一些示例中，所述远程控制系统还用于根据所述视觉感知信息判断所述障碍物是否位于所述无人机的原飞行路径上，且在判断所述障碍物位于所述无人机的原飞行路径上时根据所述障碍物信息和所述无人机位置信息建立新的飞行路径，并根据所述惯导数据和新的飞行路径生成飞行控制指令。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图I为本发明实施例的无人机的视觉定位与避障方法的原理图；图2为本发明实施例的无人机的视觉定位与避障方法的流程图；图3为本发明实施例的无人机的视觉定位与避障系统的结构图；图4为本发明一个具体示例中的微小型无人机视觉定位与避障系统整体设计结构示意图；图5为本发明一个实施例的微小型无人机视觉定位与避障方法及系统的主线程流程图；图6为本发明微小型无人机视觉定位与避障方法及装置的线程间关系示意图；图7为本发明一个实施例的微小型无人机视觉定位与避障方法及装置的对图像处理中获取分割区域位置信息算法流程示意图；图8为本发明一个实施例的微小型无人机视觉定位与避障方法及装置所基于的速度跟踪PI控制示意图；图9为本发明微小型无人机视觉定位与避障方法及装置视觉定位下巡点飞行流程不意图10为本发明一个实施例的微小型无人机视觉定位与避障方法及装置整体避障流程示意图；图11为本发明一个实施例的基于本发明的四旋翼微小无人机避障情形a的示意图；图12为基于本发明的四旋翼微小无人机避障情形a实验结果的示意图；图13为基于本发明的四旋翼微小无人机避障情形b的示意图；以及图14为基于本发明的四旋翼微小无人机避障情形b实验结果的示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。以下结合附图首先描述根据本发明实施例的无人机的视觉定位与避障方法。如图I所示，本发明实施例的无人机的视觉定位与避障方法的原理如下无人机和PC机建立远程相互通信，PC机为本发明实施例的远程控制系统。在PC 机端具有可拓展的模块化数据融合处理功能，具体地，利用无人机机载相机进行视觉感知， 利用外置相机进行视觉定位，同时通过无人机惯性测量单元(IMU, Inertial Measurement Unit)获取惯导数据，并在PC端将惯导数据与视觉感知相融合处理，以便向无人机发送飞行路径控制和路径规划指令以可靠避障。根据本发明的实施例，将视觉定位和视觉避障二者相结合，利用无人机与PC机相互通信的方式，将惯导数据与图像数据相融合，感知飞行环境信息，自姿态估计，进行飞行路径控制和路径规划以可靠避障。解决微小型无人机视觉定位和视觉避障的问题，使其具备利用机载相机和定位相机完成视觉避障的能力，可行性好、成本低。具体而言，参见图2，根据本发明实施例的无人机的视觉定位与避障方法包括如下步骤步骤S201，通过无人机机载相机获取无人机的视觉感知信息和通过无人机惯性测量单元获取惯导数据。在本发明的一些示例中，惯导数据包括但不限于飞行高度信息、飞行速度信息、姿态角信息和飞行状态信息。步骤S202，远程控制系统接收视觉感知信息和惯导数据，并根据视觉感知信息得到无人机所在的飞行环境中的障碍物信息。具体地，远程控制系统，如PC机从视觉感知信息中解析出视觉感知图像，并根据视觉感知图像获取障碍物信息。进一步地，障碍物信息包括但不限于所述障碍物与所述无人机之间的相对位置、所述障碍物的形状、大小和运动状态。步骤S203，通过外置相机对无人机进行视觉定位以得到无人机位置信息。具体地， 首先通过外置相机采集无人机所在的场景的图像，接着根据采集的图像计算无人机位置信息。更为具体地，通过获取分割区域位置信息算法对采集的图像进行分析以得到所述无人机位置信息。步骤S204，远程控制系统根据障碍物信息和无人机位置信息规划无人机的飞行路径，并根据惯导数据和飞行路径生成飞行控制指令。在一些示例中，远程控制系统首先根据视觉感知信息判断障碍物是否位于无人机的原飞行路径上，如果是，则根据障碍物信息和所述无人机位置信息建立新的飞行路径，并根据惯导数据和新的飞行路径生成飞行控制指令。在该示例中，远程控制系统向无人机发送的控制指令包括但不限于起飞/降落指令， 前后，左右，上下，旋转的速度指令。步骤S205，无人机接收飞行控制指令，以便控制无人机对障碍物进行避障。
在一些示例中，远程控制系统和无人机之间以WIFI的方式进行无线通信。具体地，将无人机的数据通过Wi-Fi传递给PC机进行处理，经PC机处理后将控制指令发送给无人机。如图3所示，本发明的进一步实施例提出了一种无人机的视觉定位与避障系统 300，包括无人机310、第一无线传输装置320、第二无线传输装置330、视觉定位装置340和远程控制系统350。其中无人机310具有机载相机(图中未示出)和惯性测量单元(图中未示出)，用于通过机载相机获取无人机的视觉感知信息和通过所述惯性测量单元获取惯导数据，以及无人机根据远程控制系统的飞行控制指令进行飞行，以便对障碍物进行避障。在该示例中，惯导数据包括但不限于飞行高度信息、飞行速度信息、姿态角信息和飞行状态信息。第一无线传输装置320设置在无人机310上且与无人机310相连。视觉定位装置340用于对无人机 310进行视觉定位以得到无人机位置信息。远程控制系统350上设置有第二无线传输装置330且与第二无线传输装置330相连，以便远程控制系统350通过第一无线传输装置320和第二无线传输装置330与无人机 310进行无线通信，具体地，远程控制系统350和无人机310之间以WIFI的方式进行无线通信，远程控制系统350用于接收来自于无人机310的视觉感知信息和惯导数据，以根据视觉感知信息得到无人机310所在的飞行环境中的障碍物信息，以及根据障碍物信息和无人机位置信息规划无人机310的飞行路径，并根据惯导数据和飞行路径生成飞行控制指令。在该示例中，障碍物信息包括但不限于障碍物与所述无人机之间的相对位置、所述障碍物的形状、大小和运动状态。在一些示例中，远程控制系统350用于从视觉感知信息中解析出视觉感知图像， 并根据所述视觉感知图像获取障碍物信息。在一些示例中，视觉定位装置340包括外置相机(图中未示出)和无人机位置信息计算模块(图中未示出)。外置相机用于采集所述无人机所在的场景的图像。无人机位置信息计算模块用于根据采集的图像计算所述无人机位置信息。进一步地，无人机位置信息计算模块用于通过获取分割区域位置信息算法对所述采集的图像进行分析以得到所述无人机位置信息。在本发明的一些实施例中，远程控制系统350还用于根据视觉感知信息判断障碍物是否位于无人机310的原飞行路径上，且在判断障碍物位于无人机310的原飞行路径上时根据障碍物信息和无人机位置信息建立新的飞行路径，并根据惯导数据和新的飞行路径生成飞行控制指令。根据本发明实施例的无人机的视觉定位与避障方法和系统，利用机载相机和视觉定位装置实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，且本发明的实施例可行性好，实时性高且算法复杂度低，同时具有较好的鲁棒性，可以有效防止噪点的影响，进而对障碍物的位置和大小计算准准确，从而准确地实现无人机对障碍物的有限避障，降低损失。实施例参考图4至14，具体而言，如图4所示，为本发明一个具体示例中的微小型无人机视觉定位与避障系统整体设计结构示意图，为便于开发，将该微小型无人机的数据通过 Wi-Fi传递给PC机处理，经PC机处理后将控制指令发送给无人机。无人机传递给PC端的数据包括惯导数据和图像(视觉感知信息)，其中，惯导数据包括，无人机飞行状态，速度，姿态角，高度信息，电池信息等，图像为经压缩后的机载相机采集的图像。PC机向无人机发送的控制指令主要包括起飞/降落指令，以及前后，左右，上下，旋转的速度指令。
PC机具有可拓展的模块化数据融合处理功能，PC机包括如下多个功能图像数据接收处理具有接收无人机端采集的视觉感知信息,并从数据信息包中解析出图像的功能。惯导数据接收处理具有接收无人机惯导数据，并从中提取无人机高度信息、速度信息等定位信息的功能。障碍物位置估计利用图像数据接收处理模块接收的机载相机的图像，估计障碍物的位置，获取障碍物的位置信息。视觉定位利用外置相机获取整个实验场景的图像，经过坐标变换、图像处理获取无人机的位置信息。路径重规划由障碍物位置信息和无人机位置信息重新规划无人机的飞行路径， 以绕过障碍物。飞行控制由惯导数据的速度信息和路径规划给定的路径点来生成控制指令，使无人机完成预定的飞行效果。发送飞行控制指令将飞行控制生成的控制指令经相应通信协议及端口发送至无人机。如图5所示，为本发明一个实施例的微小型无人机视觉定位与避障方法及系统的主线程流程图，由图4的系统功能划分可知，PC机的控制程序需通过多线程编程实现多个数据的同时处理，将线程划分成主线程，图像数据接收处理线程，导航数据(如惯导数据) 接收处理线程，用户输入与指令发送线程，视觉定位线程。各线程间关系如图6所示。主线程的功能包括初始化端口通信，建立并测试通信，设置无人机参数，包括导航数据格式、 通信参数、图像参数，开启其它线程，按照控制方式，接收相关其它线程的数据，生成控制指令，发送控制指令。当检测到退出指令时，等待其它线程结束后结束程序。图6为本发明微小型无人机视觉定位与避障方法及装置的线程间关系示意图，主线程获取视觉定位线程的无人机世界坐标系的位置信息；获取图像数据接收与处理线程的标志物位置信息，在跟踪自动飞行模式下，该信息为目标点的位置信息，避障自动飞行模式下为障碍物的位置信息；获取导航数据接收与处理线程速度信息；获取用户输入与指令发送线程模式切换与退出控制信息。视觉定位线程获取导航数据接收与处理线程高度计的输出信息。手动控制指令由用户输入与指令发送线程生成并直接发送。自动控制指令与主线程生成并发送。其中图像数据接收与处理线程，导航数据接收与处理线程的更新频率主要受到无人机数据更新频率的约束，视觉定位线程的更新频率受到相机性能的约束，图4中所标更新频率可为参考值。用户输入与指令发送线程和主线程的频率则是与其他三个线程的更新频率相适应。
图7为本发明一个实施例的微小型无人机视觉定位与避障方法及装置的对图像处理中获取分割区域位置信息算法流程示意图，具体包括颜色分割利用目标物(如小球)的颜色信息，如红色信息，对每个像素点进行 RGB三色判定，将图像二值化，如下如果判断红色分量大于红色阈值且绿色分量小于绿色阈值且蓝色分量小于蓝色阈值)，则将该像素点分割为白色，赋值为I。否则将该像素点分割为黑色，赋值为O。获取分割区域位置信息需要从上述二值化图像中提取目标物所在的位置信息 (im_x, im_y),以及目标物的大小im_len。算法可使用变化大小的正方形或圆形等窗口去遍历整个图像，如正方形窗口，记录使得正方形内白色点最多的窗口的中心点的位置即为目标物中心点的位置，根据正方形的边长可得目标物的大小，当正方形大小较小时，增大正方形的边长，从当前点开始重新扫描，为防止部分噪点的影响，可将最大值的初始值设定为某一恰当值，如可以程序中实际设定值为9cm，初始化正方形窗口边长的大小可为5cm。该算法可以做到实时处理图像，同时具有较好的鲁棒性，可以防止噪点的影响。图8为本发明一个实施例的微小型无人机视觉定位与避障方法及装置所基于的速度跟踪PI控制示意图，针对X，Y, Z三个方向分别使用上述PI控制器进行速度跟踪控制。 其中，实际速度为惯导数据中的X，Y, Z三轴方向的速度，控制指令为AT*PCMD速度控制指令，实现对三轴方向的速度控制。将控制器设定为最为简单的PI控制器，可以做到无差的速度跟踪控制，其中的积分环节使用离散形式，积分为离散的速度误差与时间间隔乘积的累计加和。图9为本发明微小型无人机视觉定位与避障方法及装置视觉定位下巡点飞行流程示意图，基于图8的速度跟踪控制，加入视觉定位的信息，可以实现无人机的巡点飞行。 图9中是以四旋翼微小无人机的训点飞行为例进行流程说明的，图中仅考虑了 X，Y方向，并且对无人机的视觉定位是通过对外置相机采集的球A和球B的视觉信息进行图像处理实现的，将目标点的位置信息转化为速度信息，再对无人机施加速度控制，与之前不同的是，目标点由世界坐标给出，当目标点较远时，为防止速度过大，限制目标速度的最大值，对目标速度加以限幅。多目标点的巡点飞行，只需当飞行器到达当前目标点后，将目标点更新为下一个目标点。判定无人机到达目标点的判定方法可以使用机载坐标系也可以使用世界坐标系，为实现简便，可采用世界坐标系，判定当无人机的位置(XmYu, Zu)和目标点(xT，yT, ζτ) 点的位置关系，判定条件如下当(I Xu-Xt I <dx) && (I Yu-Yt I <dy) && (| Zu-Zt | <dz)时,认为无人机到达目标点；其中dx，dy, dz为预先设定的距离阈值，考虑定位的误差以及无人机位置控制的噪声，可根据具体情况选择判定的距离阈值适当大些，&&表示逻辑与关系。尽管这样的判据可能会使得无人机和目标点还有一定的距离时就判定到达了目标点，但是由于判定后无人机可能还有一定的前向速度，因此会在一定程度上减小误差。图10为本发明一个实施例的微小型无人机视觉定位与避障方法及装置整体避障流程示意图，通过图像处理获取图像特征信息，如im_dis为图10中所示图像中方块Al和方块A2之间的距离，im_lor为图10中所示图像中方块Al和方块A2距离图像中心线的距离。通过此视觉感知信息相对无人机的运动产生的变换，得到障碍物相对无人机的位置，进而判断障碍物对无人机原飞行轨迹的影响，若造成影响，则以添加路径点的方式进行路径的重规划，并通过定位线程实现路径巡点飞行。下面具体以四旋翼微小无人机为例对本发明具体实时方式进行了验证，利用障碍物的位置可以判定障碍物是否会影响四旋翼到达目标点的正常飞行，若有影响，则根据障碍物的位置重新规划航迹，具体的操作为添加新的路径点，使四旋翼绕过障碍物后再到达最终的目标点。四旋翼的安全飞行范围设定为半径500mm。图11为本发明一个实施例的基于本发明的四旋翼微小无人机避障情形a，障碍物离路径较远，不影响四旋翼飞行。图12 为基于本发明的四旋翼微小无人机避障情形a实验结果，实验中记录障碍物实际位置以及四旋翼的飞行轨迹。图13为基于本发明的四旋翼微小无人机避障情形b，障碍物影响四旋翼飞行，重新规划路径(点划线表示)，重新规划的路径点为A，绕过障碍物。图14为基于本发明的四旋翼微小无人机避障情形b实验结果，实验中记录障碍物实际位置以及四旋翼的飞行轨迹四旋翼检测到障碍物会影响四旋翼的原定飞行轨迹，添加路径点A，其中B点为四旋翼判定需要避障的决策点。从上述实验结果来看，本发明较好地解决了四旋翼微小无人机的视觉避障问题，基本实现了利用机载相机和定位相机的图像数据获知四旋翼的环境信息，重规划路径，并接收四旋翼的惯导数据控制四旋翼的巡点路径飞行，完成避障飞行。 本发明的实施例将视觉定位和视觉避障二者相结合，利用无人机与PC机相互通信的方式，将惯导数据与图像数据相融合，感知飞行环境信息，自姿态估计，进行飞行路径控制和以添加路径点的方式进行路径的重规划以可靠避障。图像处理中设计的获取分割区域位置信息算法可以做到实时处理图像，同时具有较好的鲁棒性，可以防止噪点的影响。本发明较好的解决了微小型无人机视觉定位和视觉避障的问题，使其具备了利用机载相机和定位相机完成视觉避障的能力。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序 ，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器 (ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(⑶ROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。 上述提到的存储介质可以是只读存储器，磁盘或光盘等。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
1.一种无人机的视觉定位与避障方法，其特征在于，包括如下步骤通过无人机机载相机获取所述无人机的视觉感知信息和通过无人机惯性测量单元获取惯导数据；远程控制系统接收所述视觉感知信息和惯导数据，并根据所述视觉感知信息得到所述无人机所在的飞行环境中的障碍物信息；通过外置相机对所述无人机进行视觉定位以得到无人机位置信息；所述远程控制系统根据所述障碍物信息和所述无人机位置信息规划所述无人机的飞行路径，并根据所述惯导数据和所述飞行路径生成飞行控制指令；以及所述无人机接收所述飞行控制指令，以便控制所述无人机对障碍物进行避障。
2.如权利要求I所述的无人机视觉定位与避障方法，其特征在于，所述远程控制系统和所述无人机之间以WIFI的方式进行无线通信。
3.如权利要求I所述的无人机视觉定位与避障方法，其特征在于，所述惯导数据包括 飞行高度信息、飞行速度信息、姿态角信息和飞行状态信息。
4.如权利要求I所述的无人机视觉定位与避障方法，其特征在于，所述根据视觉感知信息得到所述无人机所在的飞行环境中的障碍物位置信息的步骤包括从所述视觉感知信息中解析出视觉感知图像；和根据所述视觉感知图像获取障碍物信息。
5.如权利要求4所述的无人机视觉定位与避障方法，其特征在于，所述障碍物信息包括所述障碍物与所述无人机之间的相对位置、所述障碍物的形状、大小和运动状态。
6.如权利要求I所述的无人机视觉定位与避障方法，其特征在于，对所述无人机进行视觉定位以得到无人机位置信息的步骤包括通过外置相机采集所述无人机所在的场景的图像；以及根据采集的图像计算所述无人机位置信息。
7.如权利要求6所述的无人机视觉定位与避障方法，其特征在于，通过获取分割区域位置信息算法对所述采集的图像进行分析以得到所述无人机位置信息。
8.如权利要求I所述的无人机视觉定位与避障方法，其特征在于，所述远程控制系统根据所述障碍物信息和所述无人机位置信息规划所述无人机的飞行路径，并根据所述惯导数据和所述飞行路径生成飞行控制指令，进一步包括根据所述视觉感知信息判断所述障碍物是否位于所述无人机的原飞行路径上；如果是，则根据所述障碍物信息和所述无人机位置信息建立新的飞行路径；和根据所述惯导数据和新的飞行路径生成飞行控制指令。
9.一种无人机的视觉定位与避障系统，其特征在于，包括无人机，所述无人机具有机载相机和惯性测量单元，用于通过所述机载相机获取所述无人机的视觉感知信息和通过所述惯性测量单元获取惯导数据，以及所述无人机根据所述远程控制系统的飞行控制指令进行飞行，以便对障碍物进行避障；第一和第二无线传输装置，所述第一无线传输装置设置在所述无人机上且与所述无人机相连；视觉定位装置，用于对所述无人机进行视觉定位以得到无人机位置信息；以及远程控制系统，所述远程控制系统上设置有所述第二无线传输装置且与所述第二无线传输装置相连，以便所述远程控制系统通过所述第一和第二无线传输装置与所述无人机进行无线通信，所述远程控制系统用于接收来自于所述无人机的视觉感知信息和惯导数据， 以根据所述视觉感知信息得到所述无人机所在的飞行环境中的障碍物信息，以及根据所述障碍物信息和所述无人机位置信息规划所述无人机的飞行路径，并根据所述惯导数据和所述飞行路径生成飞行控制指令。
10.如权利要求9所述的无人机视觉定位与避障系统，其特征在于，所述远程控制系统和所述无人机之间以WIFI的方式进行无线通信。
11.如权利要求9所述的无人机视觉定位与避障系统，其特征在于，所述惯导数据包括飞行高度信息、飞行速度信息、姿态角信息和飞行状态信息。
12.如权利要求9所述的无人机视觉定位与避障系统，其特征在于，所述远程控制系统用于从所述视觉感知信息中解析出视觉感知图像，并根据所述视觉感知图像获取障碍物信息。
13.如权利要求12所述的无人机视觉定位与避障系统，其特征在于，所述障碍物信息包括所述障碍物与所述无人机之间的相对位置、所述障碍物的形状、大小和运动状态。
14.如权利要求9所述的无人机视觉定位与避障系统，其特征在于，所述视觉定位装置包括 外置相机，所述外置相机用于采集所述无人机所在的场景的图像，无人机位置信息计算模块，用于根据采集的图像计算所述无人机位置信息。
15.如权利要求14所述的无人机视觉定位与避障系统，其特征在于，所述无人机位置信息计算模块用于通过获取分割区域位置信息算法对所述采集的图像进行分析以得到所述无人机位置信息。
16.如权利要求9所述的无人机视觉定位与避障系统，其特征在于，所述远程控制系统还用于根据所述视觉感知信息判断所述障碍物是否位于所述无人机的原飞行路径上，且在判断所述障碍物位于所述无人机的原飞行路径上时根据所述障碍物信息和所述无人机位置信息建立新的飞行路径，并根据所述惯导数据和新的飞行路径生成飞行控制指令。
全文摘要
本发明提出一种无人机的视觉定位与避障方法及系统，该方法包括通过无人机机载相机获取无人机的视觉感知信息和通过无人机惯性测量单元获取惯导数据；远程控制系统接收视觉感知信息和惯导数据，并根据视觉感知信息得到无人机所在的飞行环境中的障碍物信息；通过外置相机对无人机进行视觉定位以得到无人机位置信息；远程控制系统根据障碍物信息和无人机位置信息规划无人机的飞行路径，并根据惯导数据和飞行路径生成飞行控制指令；无人机接收飞行控制指令，以便控制无人机对障碍物进行避障。本发明的实施例解决了无人机视觉定位和视觉避障的问题，使其具备了利用机载相机和定位相机完成视觉避障的能力。
文档编号G01C11/00GK102707724SQ20121018430
公开日2012年10月3日 申请日期2012年6月5日 优先权日2012年6月5日
发明者刘慧 , 戴琼海 申请人:清华大学