无人机自主飞行的方法、装置以及无人机与流程

本发明实施例涉及无人机技术领域，特别是涉及一种无人机自主飞行的方法、装置以及无人机。

背景技术：

目前，无人机在航拍、农业、植保、自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用，大大地拓展了无人机的用途。

在无人机的自主飞行控制方面，目前主要是基于人工设定的路径自主飞行，人为干预程度较大，使得无人机不够智能化。

技术实现要素：

本发明实施例主要解决的技术问题是提供一种无人机自主飞行的方法、装置以及无人机，能够在无人为干预的情况下实现自主飞行，智能化程度较高，使用方便。

第一方面，为解决上述技术问题，本发明实施例采用的一个技术方案是：提供一种无人机自主飞行的方法，包括：

获取包含几何图形的拍摄图像；

识别所述几何图形，并根据识别结果生成引导路径；

控制所述无人机沿所述引导路径自主飞行。

其中，识别所述几何图形，并根据识别结果生成引导路径，包括：

将所述拍摄图像转换成灰度图像；

对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；

利用预设算法对所述边缘图像进行检测，以获得至少一种几何图形；

根据所述至少一种几何图形生成引导路径。

其中，根据所述至少一种几何图形生成引导路径，包括：

将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形；

根据所述第一拼接图形生成引导路径。

其中，根据所述至少一种几何图形生成引导路径，包括：

将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端；

根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令，获得第二拼接图形；

根据所述第二拼接图形生成引导路径。

其中，

获取包含几何图形的拍摄图像，包括：

获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像；

识别所述几何图形，并根据识别结果生成引导路径，包括：

识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形；

将所述前一帧拍摄图像与所述当前帧拍摄图像进行拼接，获得拼接后的几何图形；

根据所述拼接后的几何图形生成引导路径和引导方向；

控制所述无人机沿所述引导路径自主飞行，包括：

控制所述无人机沿所述引导路径和所述引导方向自主飞行。

其中，所述方法还包括：

根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。

其中，若所述引导路径包含闭环线特征，所述方法还包括：

获取包含几何图形的起始拍摄图像；

在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。

第二方面，为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种无人机自主飞行的装置，包括：

图像获取模块，用于获取包含几何图形的拍摄图像；

路径生成模块，用于识别所述几何图形，并根据识别结果生成引导路径；

飞行控制模块，用于控制所述无人机沿所述引导路径自主飞行。

其中，所述路径生成模块包括：

图像转换单元，用于将所述拍摄图像转换成灰度图像；

第一检测处理单元，用于对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；

第二检测处理单元，用于利用预设算法对所述边缘图像进行检测，以获得至少一种几何图形；

引导路径生成单元，用于根据所述至少一种几何图形生成引导路径。

其中，所述引导路径生成单元具体用于将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形，并根据所述第一拼接图形生成引导路径。

其中，所述引导路径生成单元具体用于将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端，根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令，获得第二拼接图形，根据所述第二拼接图形生成引导路径。

其中，

所述图像获取模块用于获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像；

所述路径生成模块用于识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形，将所述前一帧拍摄图像与所述当前帧拍摄图像进行拼接，获得拼接后的几何图形，根据所述拼接后的几何图形生成引导路径和引导方向；

所述飞行控制模块用于控制所述无人机沿所述引导路径和所述引导方向自主飞行。

其中，所述装置还包括叠加模块，用于根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。

其中，若所述几何图形包含闭环线特征，所述装置还包括：

起始图像获取模块，用于获取包含几何图形的起始拍摄图像；

结束飞行控制模块，用于在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。

第三方面，为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供了一种无人机，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的预设指令，所述预设指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一所述的方法。

第四方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行预设指令，所述计算机可执行预设指令用于使计算机执行如上所述的方法。

第五方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序预设指令，当所述程序预设指令被计算机执行时，使所述计算机执行如上所述的方法。

本发明实施例提供的一种无人机自主飞行的方法和装置，通过获取包含几何图形的拍摄图像，并识别几何图形，根据识别结果生成引导路径，以便控制无人机沿引导路径自主飞行，能够在无人为干预的情况下实现自主飞行，智能化程度较高，使用方便。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种无人机自主飞行的方法的流程图；

图2是生成引导路径过程中的一实际应用示意图；

图3是生成引导路径过程中的另一实际应用示意图；

图4是根据用户操作将几何图形进行连接的实际应用示意图；

图5是本发明实施例提供的一种无人机自主飞行的方法的流程图；

图6是本发明实施例提供的一种无人机自主飞行的装置的功能框图；

图7是图6中所示路径生成模块的功能框图；

图8是本发明又一实施例提供的一种无人机自主飞行的装置的功能框图；

图9是本发明实施例提供的一种执行无人机自主飞行的方法的无人机的硬件结构示意图。

具体实施例

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施例中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

下面结合具体附图对本发明实施例作具体阐述。

如图1所示，本发明实施例提供了一种无人机自主飞行的方法，该方法包括：步骤11、步骤12和步骤13。

步骤11包括：获取包含几何图形的拍摄图像。

在本发明实施例中，无人机上配置有云台，云台上安装有摄像模组，摄像模组可以由一个或多个摄像头组成，该摄像模组用于拍摄图像。几何图形包括但不限于直线、曲线、圆形、椭圆形、多边形以及上述至少两个几何图形的组合图形。例如，交通标志线、操场跑道等。步骤11获取包含几何图形的拍摄图像可以是实时或每隔特定时间获取无人机上的摄像模组拍摄到的图像；也可以是实时或每隔特定时间接收与无人机连接通信的移动终端传输给无人机的图像，该图像可以是移动终端预先拍摄并存储的。

步骤12包括：识别几何图形，并根据识别结果生成引导路径。

步骤13包括：控制无人机沿引导路径自主飞行。

在一可选实施例中，步骤12更具体地包括：

步骤一、将拍摄图像转换成灰度图像；

步骤二、对灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；

步骤三、利用预设算法对边缘图像进行检测，以获得至少一种几何图形；

步骤四、根据至少一种几何图形生成引导路径。

在本发明实施例中，几何图形可以包括直线、曲线、圆弧等非闭环图形，也可以包括圆、椭圆等闭环图形，提到的直线可以是具有一定曲度的线段。若拍摄图像为RGB图像，则将RGB图像转换成灰度图像，进而可以利用Canny算子对灰度图像做边缘检测和二值化处理，得到二值化的边缘图像。进一步地利用霍夫变换(Hough Transform)算法对边缘图像进行边缘检测，以获得至少一种几何图形。

在根据至少一种几何图形生成引导路径的方式上，可以采用将至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形，进而根据第一拼接图形生成引导路径。

上述差异值可以是两个几何图形的灰度值或平均灰度值的差值，也可以是两个几何图形灰度值或平均灰度值的比值，预设范围可以根据实际应用的需要进行设定。例如，将一条直线与一条曲线进行拼接；又如，将一条曲线与一个圆弧进行拼接；又如，将两条曲线进行拼接。如图2和图3所示，将相邻的两条直线进行拼接，生成引导路径，其中，相邻的两条直线的灰度值或平均灰度值的差异值在预设范围内。

在实际应用中，可能无法根据有些几何图形生成引导路径，影响无人机沿引导路径自主飞行，需要辅助于人工操作，因此，步骤12更具体地包括：将至少一种几何图形发送至与无人机进行连接通信的移动终端，并根据用户对移动终端显示的至少一种几何图形输入的连接指令，获得第二拼接图形，进而根据第二拼接图形生成引导路径。

当至少一种几何图形中存在无法智能连接的几何图形时，无人机可以将几何图形通过无线方式发送至与无人机进行连接通信的手机、平板电脑等移动终端进行显示，如图4所示，用户操作移动终端将相邻的两条直线进行连接，生成引导路径，从而便于控制无人机沿引导路径自主飞行。

在一可选实施例中，为了便于通过移动终端查看无人机在地图上的位置以及飞行路径，可以根据无人机的全球定位系统GPS(Global Positioning System，全球定位系统)位置信息，将引导路径叠加至通过移动终端显示的地图上。

在一可选实施例中，若引导路径包含闭环线特征，为了实现无人机在完成一圈或多圈飞行后，自动结束飞行，所述无人机自主飞行的方法还包括：获取包含几何图形的起始拍摄图像，在无人机沿引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与起始拍摄图像匹配的拍摄图像，则控制无人机结束飞行。例如，可以采用sift(scale-invariant feature transform，尺度不变特征变换)特征点匹配算法，当无人机沿引导路径自主飞行的过程中获取的拍摄图像中几何图形的sift特征点集与起始拍摄图像中几何图形的sift特征点的欧式距离在预设阈值范围内，则可以判定存在与起始拍摄图像匹配的拍摄图像，从而控制无人机结束飞行。无人机结束飞行的方式可以是悬停、降落等。

在一可选实施例中，若引导路径包含非闭合的线性特征，可以控制无人机到达非闭合的线性特征对应的端点时自动结束飞行。

本发明实施例提供的一种无人机自主飞行的方法，通过获取包含几何图形的拍摄图像，识别几何图形，并根据识别结果生成引导路径，以便控制无人机沿引导路径自主飞行，智能化程度较高，使用方便。

如图5所示，本发明实施例提供了一种无人机自主飞行的方法，该方法包括：步骤51、步骤52、步骤53、步骤54和步骤55。其中，

步骤51包括：获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像。

步骤52包括：识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形。

步骤53包括：将前一帧拍摄图像与当前帧拍摄图像进行拼接，获得拼接后的几何图形。

步骤54包括：根据拼接后的几何图形生成引导路径和引导方向。

步骤55包括：控制无人机沿引导路径和引导方向自主飞行。

在本发明实施例中，可以采用sift特征点匹配将前一帧拍摄图像与当前帧拍摄图像进行拼接，并根据拼接后的几何图形生成引导路径和引导方向(即运动方向)，进而控制无人机沿引导路径和引导方向自主飞行。

本发明实施例提供的一种无人机自主飞行的方法，通过获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像，识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形，将前一帧拍摄图像与当前帧拍摄图像进行拼接，获得拼接后的几何图形，根据拼接后的几何图形生成引导路径和引导方向，进而控制无人机沿引导路径和引导方向自主飞行，智能化程度较高，使用方便。

在一可选实施例中，为了便于通过移动终端查看无人机在地图上的位置以及飞行路径，可以根据无人机的GPS位置信息，将引导路径叠加至通过移动终端显示的地图上。

如图6所示，本发明实施例提供了一种无人机自主飞行的装置60，该装置60包括：图像获取模块61、路径生成模块62和飞行控制模块63。其中，

图像获取模块61用于获取包含几何图形的拍摄图像。

在本发明实施例中，无人机上配置有云台，云台上安装有摄像模组，该摄像模组用于拍摄图像。几何图形包括但不限于直线、曲线、圆形、椭圆形、多边形以及上述至少两个几何图形的组合图形。例如，交通标志线、操场跑道等。

路径生成模块62用于识别几何图形，并根据识别结果生成引导路径。

飞行控制模块63用于控制无人机沿引导路径自主飞行。

在本发明实施例中，如图7所示，路径生成模块62更具体地包括：图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624。其中，

图像转换单元621用于将拍摄图像转换成灰度图像。

第一检测处理单元622用于对灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；

第二检测处理单元623用于利用预设算法对边缘图像进行检测，以获得至少一种几何图形；

引导路径生成单元624用于根据至少一种几何图形生成引导路径。

在本发明实施例中，几何图形可以包括直线、曲线、圆弧等非闭环图形，也可以包括圆、椭圆等闭环图形，提到的直线可以是具有一定曲度的线段。若拍摄图像为RGB图像，则将RGB图像转换成灰度图像，进而可以利用Canny算子对灰度图像做边缘检测和二值化处理，得到二值化的边缘图像。进一步地利用霍夫变换(Hough Transform)算法对边缘图像进行边缘检测，以获得至少一种几何图形。

在一可选实施例中，更具体的，引导路径生成单元624可以具体用于将至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形，并根据第一拼接图形生成引导路径。

上述差异值可以是两个几何图形的灰度值或平均灰度值的差值，也可以是两个几何图形灰度值或平均灰度值的比值，预设范围可以根据实际应用的需要进行设定。例如，将一条直线与一条曲线进行拼接，又如，将一条曲线与一个圆弧进行拼接，又如，将两条曲线进行拼接。如图2和图3所示，将相邻的两条直线进行拼接，生成引导路径，其中，相邻的两条直线的灰度值的差异值在预设范围内。

在实际应用中，可能无法根据有些几何图形生成引导路径，影响无人机沿引导路径自主飞行，需要辅助于人工操作，因此，引导路径生成单元624可以具体将至少一种几何图形发送至与无人机进行连接通信的移动终端，并根据用户对移动终端显示的至少一种几何图形输入的连接指令，获得第二拼接图形，进而根据第二拼接图形生成引导路径。

当至少一种几何图形中存在无法智能连接的几何图形时，无人机可以将几何图形通过无线方式发送至手机、平板电脑等移动终端进行显示，如图4所示，用户操作移动终端将相邻的两条直线进行连接，生成引导路径，从而便于控制无人机沿引导路径自主飞行。

在一可选实施例中，为了便于通过移动终端查看无人机在地图上的位置以及飞行路径，所述无人机自主飞行的装置还包括叠加模块，该叠加模块用于根据无人机的GPS位置信息，将引导路径叠加至通过移动终端显示的地图上。

在一可选实施例中，若引导路径包含闭环线特征，为了实现无人机在完成一圈或多圈飞行后，自动结束飞行，所述无人机自主飞行的装置还包括：起始图像获取模块和结束飞行控制模块。其中，

起始图像获取模块用于获取包含几何图形的起始拍摄图像；结束飞行控制模块，用于在无人机沿引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与起始拍摄图像匹配的拍摄图像，则控制无人机结束飞行。例如，可以采用sift特征点匹配算法，当无人机沿引导路径自主飞行的过程中获取的拍摄图像中几何图形的sift特征点集与起始拍摄图像中几何图形的sift特征点的欧式距离在预设阈值范围内，则可以判定存在与起始拍摄图像匹配的拍摄图像，从而控制无人机结束飞行。无人机结束飞行的方式可以是悬停、降落等。

在一可选实施例中，若引导路径包含非闭合的线性特征，可以控制无人机到达非闭合的线性特征对应的端点时自动结束飞行。

本发明实施例提供的一种无人机自主飞行的装置60，通过图像获取模块61获取包含几何图形的拍摄图像，路径生成模块62识别几何图形，并根据识别结果生成引导路径，以便飞行控制模块63控制无人机沿引导路径自主飞行，智能化程度较高，使用方便。

如图8所示，本发明实施例提供了一种无人机自主飞行的装置80，该装置80包括：图像获取模块81、路径生成模块82和飞行控制模块83。其中，

图像获取模块81用于获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像。

路径生成模块82用于识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形，将前一帧拍摄图像与当前帧拍摄图像进行拼接，获得拼接后的几何图形，根据拼接后的几何图形生成引导路径和引导方向。

飞行控制模块83用于控制无人机沿引导路径和引导方向自主飞行。

在本发明实施例中，可以采用sift特征点匹配将前一帧拍摄图像与当前帧拍摄图像进行拼接，并根据拼接后的几何图形生成引导路径和引导方向(即运动方向)，进而控制无人机沿引导路径和引导方向自主飞行。

本发明实施例提供的一种无人机自主飞行的装置80，通过图像获取模块81获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像，路径生成模块82识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形，将前一帧拍摄图像与当前帧拍摄图像进行拼接，获得拼接后的几何图形，根据拼接后的几何图形生成引导路径和引导方向，进而飞行控制模块83控制无人机沿引导路径和引导方向自主飞行，智能化程度较高，使用方便。

图9是本发明实施例提供的一种执行无人机自主飞行的方法的无人机90的硬件结构示意图。如图9所示，该无人机90可以包括：

一个或多个处理器91、存储器92以及摄像装置93，图9中以一个处理器91为例。

处理器91、存储器92以及摄像装置93可以通过总线或者其他方式连接，图9中以通过总线连接为例。其中，处理器91和存储器92可以设于无人机90的机身内部，摄像装置93可以与机身连接，设于机身的外部。

存储器92作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的无人机自主飞行的方法对应的程序指令/模块(例如，附图6所示的图像获取模块61、路径生成模块62和飞行控制模块63，附图7中的图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624，附图8中的图像获取模块81、路径生成模块82和飞行控制模块83)。处理器91和摄像装置93通过运行存储在存储器92中的非易失性软件程序、指令以及模块，从而执行无人机90的各种功能应用以及数据处理，即实现上述方法实施例的无人机自主飞行的方法。

存储器92可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据拍摄构图的装置的使用所创建的数据等。此外，存储器92可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器92可选包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至拍摄构图的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器92中，当被所述一个或者多个处理器91执行时，执行上述任意方法实施例中的无人机自主飞行的方法，例如，执行以上描述的图1中的方法步骤11、步骤12和步骤13，图5中的方法步骤51至步骤55，附图6所示的图像获取模块61、路径生成模块62和飞行控制模块63，附图7中的图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624，附图8中的图像获取模块81、路径生成模块82和飞行控制模块83的功能。

上述无人机90可执行本发明实施例所提供的无人机自主飞行的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的无人机自主飞行的方法。

本发明实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图9中的一个处理器91，可使得上述一个或多个处理器可执行上述任意方法实施例中的无人机自主飞行的方法，例如，执行以上描述的图1中的方法步骤11、步骤12和步骤13，图5中的方法步骤51至步骤55，附图6所示的图像获取模块61、路径生成模块62和飞行控制模块63，附图7中的图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624，附图8中的图像获取模块81、路径生成模块82和飞行控制模块83的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory，RAM)等。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。