飞行装置、飞行控制系统及方法
【专利说明】飞行装置、飞行控制系统及方法 【技术领域】
[0001] 本发明涉及一种方法，尤其涉及一种用于控制飞行装置的飞行控制方法、飞行控 制系统及飞行装置。 【【背景技术】】
[0002] 目前，无人机等飞行装置由于其便捷性和安全性，已经广泛应用于农业生产、地质 勘测、气象监测、电力线巡查、抢险救灾辅助、视频拍摄、地图绘建等领域。在无人机的控制 中，对无人机进行速度侦测及/或定位控制，是一个关键的技术。目前对无人机进行速度侦 测及/或定位控制大都通过GPS(globalpositioningsystem，全球定位系统）进行定位， 然而，当无人机处于GPS信号较弱或GPS信号未覆盖的区域时，将无法对无人机进行速度侦 测及/或定位控制。此外，目前对无人机进行速度侦测及/或定位控制大都通过基于一通 用场景的算法进行，然而，当无人机实际处于场景与该通用场景差别较大时，基于通用场景 的算法往往导致无法准确地定位。 【
【发明内容】
】
[0003] 有鉴于此，本发明提供一种飞行装置及飞行控制方法，不依赖GPS即可对飞行装 置进行速度侦测及定位控制。
[0004] 为解决上述技术问题，本发明提供以下技术方案。
[0005] -方面，本发明提供一种飞行控制系统，用于控制一飞行装置，所述飞行控制系统 包括：获取模块，用于获取飞行装置的双目相机模组采集的图像；场景确定模块，用于确定 飞行装置当前所处的场景；高度确定模块，用于根据双目相机模组采集的图像的景深信息 确定飞行装置的高度；图像偏移量确定模块，用于根据双目相机模组采集的两帧相邻图像 以及飞行装置当前所处的场景，计算所述两帧相邻图像中的第二帧图像相对于第一帧图像 的图像X偏移量及图像Y偏移量；偏移量校准模块，用于获取飞行装置的加速度传感器侦测 到的飞行装置在三维方向上的加速度及角速度，并根据所述飞行装置的加速度及角速度对 所述图像X、Y偏移量进行补偿而得到包括校正后的图像X偏移量和图像Y偏移量的图像校 正偏移量；以及速度计算模块，用于通过双目相机模组的镜头焦距、飞行装置的高度以及所 述图像校正偏移量计算所述图像校正偏移量对应的世界坐标的X、Y偏移量，并根据所述两 帧相邻图像采集的时间间隔以及所述世界坐标的X、Y偏移量求出所述飞行装置的速度。
[0006] 在一些实施例中，高度确定模块根据双目相机模组采集的图像的景深信息确定飞 行装置的高度包括：高度确定模块通过对双目相机模组的两个摄像头进行标定，以获取相 机模组的包括焦距，图像中心，畸变系数在内的内参和以及包括旋转矩阵和平移矩阵的外 参；高度确定模块并对双目进行矫正，然后进行立体匹配，得到视差图，并进行三维重建，得 到深度信息，将深度图进行灰度化，归一化到[0, 255]范围而得到高度。
[0007] 在一些实施例中，所述飞行装置还包括一距离传感器，所述距离传感器用于侦测 飞行装置与地面的距离，所述高度确定模块用于根据飞行装置当前所处的场景，确定根据 相机模组采集的图像的景深信息来得出飞行装置的高度或选择获取距离传感器侦测到的 距离作为飞行装置的高度。
[0008] 在一些实施例中，所述场景确定模块根据相机模组采集的图像中的至少一个参数 确定飞行装置所处的场景是否为纹理丰富场景或纹理较少场景，所述参数包括但不限于纹 理。
[0009] 在一些实施例中，所述高度确定模块根据场景是否为纹理丰富场景以及相同纹理 的最大区域面积去选择根据相机模组采集的图像的景深信息确定飞行装置的高度或选择 获取距离传感器侦测到的距离作为飞行装置的高度。
[0010] 在一些实施例中，在纹理丰富场景下，所述高度确定模块若判断图像的最大区域 面积AM大于最小值SMIN小于最大值SMAX，则高度确定模块选择根据相机模组的摄像头采 集的图像的景深信息确定飞行装置的高度，其中，最小值SMIN为图像最大面积的1/4,最大 值SMAX设定为图像最大面积的3/4。
[0011] 在一些实施例中，在纹理丰富场景下，所述高度确定模块若判断图像的最大区域 面积AM大于最大值SMAX，且通过相机模组采集的图像的景深信息得出的该区域对应的高 度和距离传感器测量的高度的差值超出一个阈值，则选择相机模组采集的图像计算出的景 深信息确定飞行装置的高度，其中，最大值SMAX为图像最大面积的3/4。
[0012] 在一些实施例中，在纹理丰富场景下，所述高度确定模块若判断图像最大区域面 积AM小于最小值SMIN或者大于最大值SMAX，则高度确定模块选择相机模组采集的图像的 景深信息确定飞行装置的高度或采用距离传感器测量的距离作为飞行装置的高度，其中， 最小值SMIN为图像最大面积的1/4,最大值SMAX为图像最大面积的3/4。
[0013] 在一些实施例中，在纹理不丰富场景下，高度确定模块采用距离传感器测量的距 离作为飞行装置的高度。
[0014] 在一些实施例中，所述速度计算模块根据公式1 :xl/Xl=f/H计算所述世界坐标 的X偏移量，以及根据公式2 :yl/Yl=f/H计算所述世界坐标的Y偏移量，其中，xl为校正 后的图像X偏移量，yl为校正后的图像Y偏移量，f为镜头焦距，Η为飞行装置的高度，XI 为世界坐标的X偏移量，Υ1为世界坐标的Υ偏移量；所述速度计算模块并根据该相机模组 采集该两帧相邻图像的时间间隔为以及该世界坐标的Χ、Υ偏移量计算得出飞行装置在X方 向上的速率以及在Υ方向上的速率。
[0015] 在另一方面，本发明提供一种飞行控制方法，用于控制飞行装置，所述飞行控制方 法包括：获取飞行装置的双目相机模组采集的图像；确定飞行装置当前所处的场景；根据 双目相机模组采集的图像的景深信息确定飞行装置的高度；根据双目相机模组采集的两帧 相邻图像以及飞行装置当前所处的场景，计算所述两帧相邻图像中的第二帧图像相对于第 一帧图像的图像X偏移量和图像Υ偏移量；获取飞行装置的加速度传感器侦测到的飞行装 置在三维方向上的加速度及角速度，并根据所述飞行装置的加速度及角速度对所述图像X 偏移量和图像Υ偏移量进行补偿而得到包括校正后的图像X偏移量和图像Υ偏移量的图像 校正偏移量；以及通过相机模组的镜头焦距、飞行装置的高度以及所述图像校正偏移量计 算所述图像校正偏移量对应的世界坐标的X、Υ偏移量，并根据所述两帧相邻图像采集的时 间间隔以及所述世界坐标的X、Υ偏移量求出所述飞行装置的速度。
[0016] 在一些实施例中，所述步骤"根据双目相机模组采集的图像的景深信息确定飞行 装置的高度"包括：通过对双目相机模组的两个摄像头进行标定，以获取相机模组的包括焦 距，图像中心，畸变系数在内的内参和以及包括旋转矩阵和平移矩阵的外参；对双目进行矫 正；进行立体匹配，得到视差图；以及进行三维重建，得到深度信息，将深度图进行灰度化， 归一化到[0, 255]范围而得到高度。
[0017] 在一些实施例中，所述方法还包括：根据飞行装置当前所处的场景，确定根据相机 模组采集的图像的景深信息来得出飞行装置的高度或选择获取距离传感器侦测到的距离 作为飞行装置的高度。
[0018] 在一些实施例中，所述步骤"确定飞行装置当前所处的场景"包括：根据相机模组 采集的图像中的至少一个参数确定飞行装置所处的场景是否为纹理丰富场景或纹理较少 场景，所述参数包括但不限于纹理。
[0019] 在一些实施例中，所述步骤"根据飞行装置当前所处的场景，确定根据相机模组采 集的图像的景深信息来得出飞行装置的高度或选择获取距离传感器侦测到的距离作为飞 行装置的高度"包括：在纹理丰富场景下，若图像的最大区域面积AM大于最小值SMIN小于 最大值SMAX，则选择根据相机模组的摄像头采集的图像的景深信息确定飞行装置的高度， 其中，最小值SMIN为图像最大面积的1/4,最大值SMAX设定为图像最大面积的3/4。
[0020] 在一些实施例中，所述步骤"根据飞行装置当前所处的场景，确定根据相机模组采 集的图像的景深信息来得出飞行装置的高度或选择获取距离传感器侦测到的距离作为飞 行装置的高度"包括：在纹理丰富场景下，若判断图像的最大区域面积AM大于最大值SMAX， 且通过相机模组采集的图像的景深信息得出的该区域对应的高度和距离传感器测量的高 度的差值超出一个阈值，则选择相机模组采集的图像计算出的景深信息确定飞行装置的高 度，其中，最大值SMAX为图像最大面积的3/4。
[0021 ] 在一些实施例中，所述步骤"根据飞行装置当前所处的场景，确定根据相机模组采 集的图像的景深信息来得出飞行装置的高度或选择获取距离传感器侦测到的距离作为飞 行装置的高度"包括：在纹理丰富场景下，所述高度确定模块若判断图像最大区域面积AM 小于最小值SMIN或者大于最大值SMAX，则选择相机模组采集的图像的景深信息确定飞行 装置的高度或采用距离传感器测量的距离作为飞行装置的高度，其中，最小值SMIN为图像 最大面积的1/4,最大值SMAX为图像最大面积的3/4。
[0022] 在一些实施例中，所述步骤"根据飞行装置当前所处的场景，确定根据相机模组采 集的图像的景深信息来得出飞行装置的高度或选择获取距离传感器侦测到的距离作为飞 行装置的高度"包括：在纹理不丰富场景下，采用距离传感器测量的距离作为飞行装置的高 度。
[0023] 在一些实施例中，所述步骤"通过双目相机模组的镜头焦