规避障碍物的方法及装置与流程

本发明涉及无人机控制领域，具体而言，涉及一种规避障碍物的方法及装置。

背景技术：

无人驾驶飞机简称“无人机”，英文缩写为“UAV”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。无人机，是一种具有多个旋翼轴的无人驾驶飞机。其通过每个轴上的电动机转动，带动旋翼，从而产生升推力。无人机引擎环绕着飞机机身设计，当任意一个螺旋桨遭到损坏时，都会导致坠机的致命问题。

因此为了实现无人机的安全飞行，在现有技术中，无人机的辅助驾驶，主要是通过陀螺仪、GPS、空速头等传感器的方式，保持无人机飞行姿态的平稳，以及空间位置的转移等，因而实现无人机的无人驾驶和辅助驾驶员操纵飞机的功能。但是现有技术只能对无人机的飞行方向或者特定方面对无人机进行规避障碍等，而不能实现动态障碍物规避和动态目标锁定，无法对无人机上、下、左、右、前、后方向实施720°(全方位)保护。

技术实现要素：

为了克服现有技术中的上述不足，本发明所要解决的技术问题是提供一种规避障碍物的方法及装置以解决动态障碍物锁定、动态障碍物规避及无人机的720°保护的问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

本发明的第一较佳实施例提供一种规避障碍物的方法，应用于相互通信连接的无人机及辅助驾驶设备，该方法包括：

无人机获取全景图像，发送全景图像给辅助驾驶设备；

辅助驾驶设备接收全景图像，对全景图像进行视觉场景分析，获得全景图像下的场景及物体；

对全景图像中无人机飞行路径周边的场景进行障碍物识别，在存在障碍物时，发送障碍物的方位信息给无人机；

无人机对障碍物所在的方位进行距离探测，得到障碍物与无人机之间的距离；

无人机根据障碍物的方位和障碍物与无人机之间的距离，规避障碍物。

本发明的第二较佳实施例还提供一种规避障碍物的方法，应用于与辅助驾驶设备通信连接的无人机，该方法包括：

获取全景图像，发送全景图像给辅助驾驶设备，由辅助驾驶设备对获取的全景图像进行视觉场景分析，获得全景图像下的场景及物体，对全景图像中无人机飞行路径周边的场景进行障碍物识别；

接收辅助驾驶设备发送的障碍物的方位信息；

对障碍物进行距离探测，得到障碍物与无人机之间的距离；

根据障碍物的方位和障碍物与无人机之间的距离，规避障碍物。

本发明的第三较佳实施例还提供一种规避障碍物的装置，应用于与辅助驾驶设备通信连接的无人机，该装置包括：

获取模块，用于获取全景图像，发送全景图像给辅助驾驶设备，由辅助驾驶设备对获取的全景图像进行视觉场景分析，获得全景图像下的场景及物体，对全景图像中无人机飞行路径周边的场景进行障碍物识别；

接收模块，用于接收辅助驾驶设备发送的障碍物的方位信息；

距离探测模块，用于对障碍物进行距离探测，得到障碍物与无人机之间的距离；

规避模块，用于根据障碍物的方位和障碍物与无人机之间的距离，规避障碍物。

相对于现有技术而言，本发明实施例提供的规避障碍物的方法及装置，具有以下有益效果：

本发明实施例提供的规避障碍物的方法及装置，通过运用全景光学图像识别技术实时获取无人机上方下方全景图像，保证了无人机周围所有视野均被监控，然后对全景图像进行视觉场景分析识别出障碍物。探测无人机与障碍物之间的距离。然后根据识别的障碍物以及距离信息，控制无人机规避障碍物，具有能锁定并规避动态障碍物以实现无人机720°保护的特点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的无人机与辅助驾驶设备的交互示意图；

图2为本发明实施例提供的无人机的方框示意图；

图3为本发明第一实施例提供的规避障碍物的方法的流程图；

图4为本发明第二实施例提供的规避障碍物的方法的流程图；

图5为本发明第三实施例提供的规避障碍物的装置的功能模块框图。

图标：100-无人机；200-辅助驾驶设备；300-网络；110-规避障碍物的装置；111-存储器；112-存储控制器；113-处理器；114-通信单元；1101-获取模块；1102-接收模块；1103-距离探测模块；1104-规避模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参照图1，图1是本发明较佳实施例提供的无人机100与辅助驾驶设备200通信的交互示意图。所述无人机100可通过网络300与所述辅助驾驶设备200进行通信，以实现无人机100与辅助驾驶设备200之间的数据通信或交互。

所述无人机100可以是，但不限于，多旋翼无人机、固定翼无人机、伞翼无人机等等。所述无人机100上可以安装有自动驾驶仪、控制装置等硬件设备。

所述无人机100包括机身及机翼。机身内设有驱动装置、无线通讯装置、电源等等。无线通讯装置用于无人机100与辅助驾驶设备200进行数据通信。比如，无人机100的飞行信息可以通过无线通讯装置传送给辅助驾驶设备200。无人机100也可以通过无线通讯装置接收所述辅助驾驶设备200发送的控制指令。

无人机100上设置有云台，用于搭载其他设备，如图像采集装置(比如，光学摄像头)、测距仪器(比如，雷达)等。通过改变云台的方向，可以改变图像采集的视野和测距的范围。

请参照图2，图2为所述无人机100的方框示意图。所述无人机100包括规避障碍物的装置110、所述存储器111、存储控制器112、处理器113及通信单元114各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述避障碍物的装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述无人机100的操作系统(operating system，OS)中的软件功能模块。所述存储器111存储有所述无人机100用于进行壁障路径计算的应用程序。所述处理器113用于执行所述存储器111中存储的可执行模块，例如所述规避障碍物的装置110所包括的软件功能模块及计算机程序等。

其中，所述存储器111可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序。所述处理器113以及其他可能的组件对存储器111的访问可在所述存储控制器112的控制下进行。

所述处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述通信单元114用于通过所述网络300建立所述无人机100与辅助驾驶设备200之间的通信连接，从而实现所述无人机100与所述辅助驾驶设备200之间的数据通信。

第一实施例

请参照图3，图3是本发明第一实施例提供的规避障碍物的方法的流程图，所述方法应用于相互连接通信的无人机100及辅助驾驶设备200，下面将对规避障碍物的方法具体流程进行详细阐述。

步骤S111，无人机100获取全景图像，发生全景图像给辅助驾驶设备200。

在本实施例中，所述无人机100可以通过设置两个全景光学相机进行所述无人机100周边全景图像的采集。具体地，所述两个全景光学相机的设置位置可以是相对的，以便于实现无死角的图像采集。在本实施例中，优选地，其中一个全景光学相机设置于所述无人机100的螺旋桨一侧用于获取天空的图像，另一个全景光学相机设置于所述无人机100的腹部用于获取地面的图像。在设置全景光学相机时，还应避免无人机100的自身部件身部件遮挡所述全景光学相机的图像采集视野。将两个全景光学相机采集的图像进行合并，即得到所述无人机100的全景图像。将获取的全景图像再通过无线通讯装置传送给辅助驾驶设备200。

步骤S112，辅助驾驶设备200接收全景图像，对全景图像进行视觉场景分析，获得全景图像下的场景和物体。

在本实施例中，辅助驾驶设备200采用深度学习的神经网络算法对所述全景图像进行视觉场景分析，以获得所述全景图像下的场景及物体。

其中，所述深度学习的神经网络算法是模式识别中常见的识别算法。通过所述深度学习的神经网络算法所述辅助驾驶设备200可以分辨出无人机100所处的场景(比如，天空、城市或沙漠等)。同时还可以识别出该场景下的物体(比如，人、动物及电杆等)。

步骤S113，对全景图像中无人机100飞行路径周边的场景进行障碍物识别，在存在障碍物时，发送障碍物的方位信息给无人机100。

在所述辅助驾驶设备200进行视觉场景分析后，所述辅助驾驶设备200对所述无人机100飞行路径周边的场景中的障碍物进行障碍物识别。

具体地，在本实施例中，所述无人机100预设有一飞行路径。无人机100在所述飞行路径上飞行，所述辅助驾驶设备200接收全景图像后，对所述飞行路径进行障碍物识别，当所述飞行路径及所述飞行路径附近存在障碍物的时候，再将障碍物的方位信息发送给无人机100。

步骤S114，无人机100对障碍物所在的方位进行距离探测，得到障碍物与无人机100之间的距离。

具体地，在本实施例中，所述无人机100上设置有云台，所述连续波雷达固定连接在所述云台上。其中，所述连续波雷达为连续发射电磁波的雷达。连续波雷达具有对相当距离内的具有任何速度的目标进行测速的特点。优选地，本实施例可以采用毫米连续波雷达，进行障碍物的距离探测。

所述无人机100在接收到所述辅助驾驶设备200发送的障碍物所在的方位后，调整所述云台使所述连续波雷达对准所述障碍物所在的方位。当所述连续波雷达对准所述障碍物后，所述连续波雷达对所述障碍物进行距离探测，得到所述障碍物与所述无人机100之间的距离。

步骤S115，所述无人机100根据障碍物的方位和障碍物与所述无人机100之间的距离，规避障碍物。

无人机100根据所述障碍物的方位和距离，规避障碍物。在本实施例中，所述无人机100通过接收到的所述辅助驾驶设备200发送的障碍物的方位和障碍物与所述无人机100之间的距离，判断飞行路径的周围是否存在障碍物。

若不存在障碍物，则无人机100继续按照预设的飞行路径前行。

若存在障碍物时，则监测障碍物的飞行状态和飞行轨迹，并判断当所述无人机100以目前飞行速度与飞行路径进行飞行时是否会与障碍物相撞，若存在相撞的可能时，调整所述无人机100的飞行速度或飞行路径对所述障碍物进行规避。

具体地，当障碍物在所述无人机100飞行路径的前方时，判断障碍物是否为静止。当障碍物为静止状态时，所述无人机100进行减速，直到悬停，由辅助驾驶人员操纵所述辅助驾驶设备200使所述无人机100规避障碍物。在障碍物为运动状态时，判断所述无人机100以目前飞行速度与飞行路径进行飞行时会是否与障碍物相撞。若不会相撞，则继续保持原有飞行路径继续前行。若会相撞，则改变无人机100的飞行速度或飞行路径。

在本实施例中，改变的飞行速度或飞行路径可以通过采用贪心算法和高度优先的策略计算得到。其中，贪心算法是一种获取局部最优解的算法，贪心算法为一现有算法在此不再赘述。所述高度优先是指在存在多条规避障碍物的路径时，上升进行规避的路线优于下降进行规避的路线，下降进行规避的路线优于在水平面的其他方向进行规避的路线。

具体地，当所述无人机100需要规避障碍物时，首先判断无人机100的上下方是否有障碍物，若上方和下方均无障碍物，则上升规避；若上方和下方其中一方有障碍物，则向没有障碍物一方进行规避；若上方和下方均有障碍物，要么重新规划行驶路径、要么通过加速前行或者进行迫降的方式实现障碍物规避。

当障碍物在所述无人机100飞行路径的后方时，判断所述无人机100以目前飞行速度与飞行路径进行飞行时是否与会后方障碍物相撞。若不会相撞，则继续保持原有飞行路径继续前行。若会相撞，则结合障碍物的运行方向及行进速度计算其和所述无人机100发生碰撞的位置，通过贪心算法及高度优先的策略找到最优规避路线进行规避。具体地，可以选取上下左右最宽敞的方向进行规避。

当障碍物在所述无人机100飞行路径的侧方时，判断所述无人机100以目前飞行速度与飞行路径进行飞行时会是否与侧方障碍物相撞。若不会相撞，则继续保持原有飞行路径继续前行；若会相撞，则旋转雷达测量侧方障碍物与无人机100之间的距离，则结合障碍物的运行方向及行进速度计算其和所述无人机100发生碰撞的位置。通过贪心算法及高度优先的策略找到最优规避路线进行规避。具体地，可以选取上下最宽敞方向躲避，若上下方向无法躲避，则加速前进躲避。

第二实施例

请参照图4，图4是本发明第二实施例提供的规避障碍物的方法的流程图，所述方法应用于与辅助驾驶设备200通信连接的无人机100。下面对规避障碍物的方法的具体流程进行详细阐述。

步骤S211，无人机100获取全景图像，发送全景图像给辅助驾驶设备200，由辅助驾驶设备200对获取的全景图像进行视觉场景分析，获得全景图像下的场景及物体，对全景图像中无人机100的飞行路径周边的场景进行障碍物识别。

具体地，无人机100通过全景光学相机获取全景图像后，将全景图像的数据传给辅助驾驶设备200，辅助驾驶设备200接收到无人机100获取的全景图像，辅助驾驶设备200采用深度学习的神经网络算法对所述全景图像进行视觉场景分析，以获得所述全景图像下的场景及物体。

其中，所述深度学习的神经网络算法是模式识别中常见的识别算法。通过所述深度学习的神经网络算法所述辅助驾驶设备200可以分辨出无人机100所处的场景(比如，天空、城市或沙漠等)。同时还可以识别出该场景下的物体(比如，人、动物及电杆等)。

所述无人机100预设有一飞行路径。无人机100在所述飞行路径上飞行，所述辅助驾驶设备200接收全景图像后，对所述飞行路径进行障碍物识别，当所述飞行路径及所述飞行路径附近存在障碍物的时候，再将障碍物的方位信息发送给无人机100。

步骤S212，所述无人机100接收辅助驾驶设备200发送的障碍物的方位信息。

步骤S213，对障碍物进行距离探测，得到障碍物与无人机100之间的距离。

具体地，在本实施例中，所述无人机100在接收到所述辅助驾驶设备200发送的障碍物所在的方位后，调整所述云台使所述连续波雷达对准所述障碍物所在的方位。当所述连续波雷达对准所述障碍物后，所述连续波雷达对所述障碍物进行距离探测，得到所述障碍物与所述无人机100之间的距离。

步骤S214，无人机100根据障碍物的方位和障碍物与无人机100之间的距离，规避障碍物。

无人机100根据所述障碍物的方位和距离，规避障碍物。在本实施例中，所述无人机100通过接收到的所述辅助驾驶设备200发送的障碍物的方位和障碍物与所述无人机100之间的距离，判断飞行路径的周围是否存在障碍物。

若不存在障碍物，则无人机100继续按照预设的飞行路径前行。

若存在障碍物时，则监测障碍物的飞行状态和飞行轨迹，并判断当所述无人机100以目前飞行速度与飞行路径进行飞行时是否会与障碍物相撞，若存在相撞的可能时，调整所述无人机100的飞行速度或飞行路径对所述障碍物进行规避。

具体地，当障碍物在所述无人机100飞行路径的前方时，判断障碍物是否为静止。当障碍物为静止状态时，所述无人机100进行减速，直到悬停，由辅助驾驶人员操纵所述辅助驾驶设备200使所述无人机100规避障碍物。在障碍物为运动状态时，判断所述无人机100以目前飞行速度与飞行路径进行飞行时会是否与障碍物相撞。若不会相撞，则继续保持原有飞行路径继续前行。若会相撞，则改变无人机100的飞行速度或飞行路径。

在本实施例中，改变的飞行速度或飞行路径可以通过采用贪心算法和高度优先的策略计算得到。其中，贪心算法是一种获取局部最优解的算法，贪心算法为一现有算法在此不再赘述。所述高度优先是指在存在多条规避障碍物的路径时，上升进行规避的路线优于下降进行规避的路线，下降进行规避的路线优于在水平面的其他方向进行规避的路线。

具体地，当所述无人机100需要规避障碍物时，首先判断无人机100的上下方是否有障碍物，若上方和下方均无障碍物，则上升规避；若上方和下方其中一方有障碍物，则向没有障碍物一方进行规避；若上方和下方均有障碍物，要么重新规划行驶路径、要么通过加速前行或者进行迫降的方式实现障碍物规避。

当障碍物在所述无人机100飞行路径的后方时，判断所述无人机100以目前飞行速度与飞行路径进行飞行时是否与会后方障碍物相撞。若不会相撞，则继续保持原有飞行路径继续前行。若会相撞，则结合障碍物的运行方向及行进速度计算其和所述无人机100发生碰撞的位置，通过贪心算法及高度优先的策略找到最优规避路线进行规避。具体地，可以选取上下左右最宽敞的方向进行规避。

当障碍物在所述无人机100飞行路径的侧方时，判断所述无人机100以目前飞行速度与飞行路径进行飞行时会是否与侧方障碍物相撞。若不会相撞，则继续保持原有飞行路径继续前行；若会相撞，则旋转雷达测量侧方障碍物与无人机100之间的距离，并结合障碍物的运行方向及行进速度计算其和所述无人机100发生碰撞的位置。通过贪心算法及高度优先的策略找到最优规避路线进行规避。具体地，可以选取上下最宽敞方向躲避，若上下方向无法躲避，则加速前进躲避。

第三实施例

请参照图5，图5为本发明第三实施例提供的规避障碍物的装置110的功能模块框图，所述装置应用于与所述辅助驾驶设备200通信连接的无人机100。该装置包括：获取模块1101、接收模块1102、距离探测模块1103、规避模块1104。

所述获取模块1101，用于获取全景图像，发送全景图像给辅助驾驶设备200，由辅助驾驶设备200对获取的全景图像进行视觉场景分析，获得全景图像下的场景及物体，对全景图像中所述无人机100飞行路径周边的场景进行障碍物识别。

所述接收模块1102，用于接收辅助驾驶设备200发送的障碍物的方位信息。

所述距离探测模块1103，用于对障碍物进行距离探测，得到障碍物与无人机100之间的距离。

所述规避模块1104，用于根据障碍物的方位和障碍物与无人机100之间的距离，规避障碍物。

综上所述，本发明实施例提供的规避障碍物的方法及装置，在多旋翼无人机上搭载毫米连续波雷达，以及采用全景光学图像识别技术。通过运用全景光学图像识别技术实时获取无人机上方下方全景图像，保证了无人机周围所有视野均被监控，然后对全景图像进行视觉场景分析。毫米连续波雷达能够探测到无人机与障碍物之间的距离。然后根据识别的物体以及距离位置信息,直接控制无人机进行升高、降落等躲避和锁定动作，解决了多旋翼无人机驾驶中三个重要的应用问题：动态障碍物规避、动态目标锁定、720°无人机保护。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。