用于控制无人机的电子控制装置、相关的无人机、控制方法及计算机程序与流程

本发明涉及一种用于控制无人机的电子装置。该电子装置包括第一获取模块和第二获取模块，该第一获取模块被配置为获取该无人机飞越(overflown，飞过)的地形的且由该无人机配备的图像传感器拍摄的一系列图像，且该第二获取模块被配置为经由该无人机配备的测量装置获取测量的对地速度。

该电子装置还包括计算模块，该计算模块被配置为基于应用于所获取的图像的光流算法和所获取的测量的对地速度来计算无人机相对于地形的海拔高度。

本发明还涉及一种包括图像传感器和这种电子控制装置的无人机。

本发明还涉及一种用于控制无人机的方法。

本发明还涉及一种包括软件指令的计算机程序，该软件指令在由计算机执行时实施这种控制方法。

本发明涉及无人机即远程控制的机动飞行装置的领域。本发明特别适用于固定翼无人机，同时还适用于其他类型的无人机，例如旋翼无人机，诸如四旋翼飞行器。

背景技术：

从Jonathan Price的文章“Determining Altitude AGL Using Optical Flow”知晓，无人机包括上述类型的控制装置。无人机是固定翼无人机，通过使用便携式电子装置诸如智能手机或电子平板电脑能够控制该无人机。

电子装置被配置为获取无人机飞越的地形的且由无人机配备的图像传感器拍摄的一系列图像，并且还获取由无人机配备的测量装置——诸如卫星定位系统，也被称为全球定位系统(GPS)——提供的测量的对地速度。

控制装置被配置为基于应用于所获取的图像的光流算法和测量的对地速度来计算无人机相对于地形的海拔高度。

如此计算的海拔高度验证了以下等式：

海拔高度＝Vsol_mes/(光流-俯仰率)

其中，Vsol_mes表示由测量装置诸如GPS系统提供的测量的对地速度；

光流表示由计算模块计算的光流，以及

俯仰率表示由无人机配备的陀螺仪提供的无人机的俯仰率。

然而，如此计算的海拔高度并非总是非常可靠的，而且无人机的操作反映了这一点。

技术实现要素：

因此，本发明的目的在于提出一种电子控制装置，其更可靠地计算无人机相对于所飞越的地形的海拔高度，从而允许在无人机的操作期间，特别是在着陆阶段中，减少可能的抖动。

为了此目的，本发明的主题为上述类型的电子控制装置，其中，第二获取模块被配置为还获取相对于参考水平测量的无人机的海拔高度，并且该装置还包括再校准模块，该再校准模块被配置为将所计算的相对于地形的海拔高度与相对于参考水平测量的海拔高度相关联。

因此，根据本发明的电子控制装置通过使所计算的相对于地形的海拔高度与相对于参考水平测量的海拔高度之间相关联，允许对所计算的无人机相对于地形的海拔高度进行再校准。参考水平例如是海平面，并且相对于海平面测量的海拔高度例如经由压力传感器获得。

例如由卫星定位装置，也被称为GNSS(全球导航卫星系统)，诸如GPS(全球定位系统)接收器，和/或惯性传感器提供测量的对地速度。

因此，如此计算并再校准的相对于地形的海拔高度更加可靠，并且尤其是在着陆阶段中更加有用，以便更好地预料到地面的方法，并且预测控制装置必须控制无人机的俯仰角，即增加无人机的俯仰角，以便着陆的时刻。

根据本发明的其他有利的方面，该电子控制装置包括一个或多个以下特征，其被分开采用或以任何技术上可能的组合的方式被采用：

-再校准模块还被配置为根据相对于参考水平测量的当前海拔高度以及先前计算的相对于地形的海拔高度来估计相对于地形的当前海拔高度，该先前计算的相对于地形的海拔高度与相对于参考水平测量的先前海拔高度相关联，

-优选地在基于光流算法计算的相对于地形的海拔高度的至少暂时地失效的情况下；

-第一获取模块还被配置为根据图像梯度计算第一指标，计算模块被配置为仅在第一指标的值大于第一阈值时计算无人机相对于地形的海拔高度；

-再校准模块还被配置为计算与第一指标成反比的第二指标，并且仅在第二指标的值小于第二阈值时，将所计算的相对于地形的海拔高度与相对于参考水平测量的海拔高度相关联；

-参考水平是海平面，并且相对于海平面测量的海拔高度经由压力传感器获得；

-第二获取模块被配置为还获取相对于地形测量的无人机的海拔高度，并且该装置还包括控制模块，该控制模块被配置为根据无人机的海拔高度控制无人机的姿态，该控制模块被配置为计算与所述姿态对应的飞行指令；

-当相对于地形测量的海拔高度大于第一预定阈值海拔高度时，控制模块被配置为根据由第二获取模块获取的相对于地形测量的海拔高度控制无人机的姿态，以及

-当相对于地形测量的海拔高度的值低于第一预定阈值海拔高度时，控制模块被配置为根据由计算模块计算的相对于地形的海拔高度控制无人机的姿态；

-当相对于地形测量的海拔高度的值低于第二预定阈值海拔高度时，控制模块被配置为将无人机的俯仰角控制到大于预定最小着陆俯仰角的值。

本发明的主题也是一种无人机，该无人机包括图像传感器和电子控制装置，该图像传感器被配置为拍摄无人机飞越的地形的一系列图像，其中，该电子控制装置是如上所限定的。

本发明的主题也是一种用于控制包括图像传感器的无人机的方法，其中，该方法由电子装置实施，并且包括：

-获取由图像传感器拍摄的无人机飞越的地形的一系列图像，

-获取由无人机配备的测量装置提供的测量的对地速度，以及

-基于所获取的测量的对地速度以及应用于所获取的图像的光流算法，计算无人机相对于地形的海拔高度，

-获取相对于参考水平测量的无人机的海拔高度，以及

-将所计算的相对于地形的海拔高度与相对于参考水平测量的海拔高度相关联。

本发明还涉及一种计算机程序，包括软件指令，该软件指令在由计算机执行时实施如上限定的方法。

附图说明

通过阅读以下仅以非限制性实施例给出的描述并参考附图，本发明的这些特征和优点将显现的更加清楚，在附图中：

-图1示出了根据本发明的包括电子控制装置的无人机的示意图；以及

-图2示出了根据本发明的控制方法的流程图。

具体实施方式

在下面的描述中，措辞“基本恒定”意指值加上或减去10％，即具有至多10％的变化，更优选为值加上或减去5％，即具有至多5％的变化。

在图1中，无人机10——即无人驾驶飞机——包括第一图像传感器12和电子控制装置16，该第一图像传感器被配置为拍摄无人机10飞越的地形14的一系列图像，且该电子控制装置被配置为控制该无人机。

无人机10包括第二图像传感器18，该第二图像传感器被配置为拍摄无人机10正移动朝向的场景的图像，第二图像传感器18例如是前向(forward-facing，前置)摄像头(camera，相机)。

无人机10还包括高度计20，诸如无线电高度计或超声波测距仪，该高度计朝向地面发射光束22，使得可以测量无人机10相对于地形14即相对于地面的海拔高度。

无人机10还包括能够测量无人机10的对地速度Vsol_mes的测量装置24。测量装置24例如是用于测量无人机10的角速度和姿态角的卫星定位装置，也被称为GNSS(全球导航卫星系统)装置，或具有加速度计和/或陀螺仪的惯性单元，也被称为lMU(惯性测量单元)。

另外可选地，无人机10包括压力传感器(未示出)，也被称为气压传感器，该压力传感器被配置为确定无人机10的海拔高度的变化，诸如瞬时变化和/或相对于参考水平——即相对于预定初始海拔高度——的变化。参考水平例如是海平面，那么压力传感器就能够提供无人机10相对于海平面的测量的海拔高度。

另外，无人机10包括用于测量无人机的空速的传感器(未示出)，该测量传感器连接至皮托探针型元件的动压接头。另外可选地，无人机10包括给出无人机相对于地理北的定向的磁力传感器(未示出)。

无人机10是能够特别地经由操纵杆26远程控制的机动飞行器。

无人机10包括传输模块28，该传输模块被配置为优选地通过无线电波与一个或多个电子设备，特别是与操纵杆26，或者甚至是与其他电子元件交换数据，以用于传输由图像传感器12、18获取的图像。

在图1的实施例中，无人机10是飞翼型的固定翼无人机。该无人机包括两个机翼30和设置在推进系统34后方的机身32，该推进系统包括马达36和推进器38。每个机翼30设置有至少一个方向舵39，该方向舵能够经由后缘侧上的伺服机构(未示出)操纵，以控制无人机10的轨迹。

可替代地，无人机10是旋翼无人机(未示出)，该无人机包括至少一个转子或优选地多个旋翼(rotor)，因此无人机10被称为多旋翼无人机。转子的数量例如是4，因此无人机10被称为四旋翼无人机。

第一图像传感器12本身是已知的，并且例如是向下指的竖直对准摄像头。

当地形14是外部地形时，不管它是陆地表面还是海洋表面，或者是包括陆地部分和海洋部分的表面，其在该术语的一般意义上都被理解为地球表面的一部分。在一个变型中，地形14是建筑物内的内部地形。地形14也被称为地面。

电子控制装置16包括第一获取模块40，该第一获取模块被配置为获取无人机10飞越的地形的一系列图像，该图像由装配至无人机10的图像传感器——诸如第一图像传感器12，或者甚至诸如第二图像传感器18——拍摄，其中应当理解的是，优先用于应用于所获取图像的光流算法的图像是由第一图像传感器12提供的图像。

电子控制装置16包括第二获取模块44，该第二获取模块被配置为获取由无人机10配备的测量装置24供应的测量的对地速度Vsol_mes。第二获取模块44还被配置为获取相对于参考水平测量的无人机10的海拔高度Zref_mes。可选地，第二获取模块44还被配置为获取相对于地形14即相对于地面测量的无人机10的海拔高度Zsol_mes。

电子控制装置16包括计算模块46，该计算模块被配置为基于所获取的测量的对地速度Vsol_mes以及应用于所获取的图像的光流算法来计算无人机10相对于地形14的海拔高度Zsol_est。

根据本发明，电子控制装置16还包括再校准模块48，该再校准模块被配置为将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zref_mes相关联。

可选地，电子控制装置16还包括控制模块50，该控制模块被配置为根据无人机10的海拔高度控制无人机10的姿态，控制模块50被配置为计算与所述姿态对应的控制指令。

在图1的实施例中，电子控制装置16包括信息处理单元60，该信息处理单元例如由存储器62和与存储器62关联的处理器64形成。

操纵杆26本身是已知的，并且允许控制无人机10。在图1的实施例中，操纵杆26包括：两个抓握手柄70，每个抓握手柄旨在由操作者的相应的手抓住；多个控制构件；两个操纵杆72，每个操纵杆布置在相应的手柄70附近，并且旨在由操作者且优选地由相应的拇指来致动。可替代地(未示出)，经由本身已知的计算机或电子平板电脑来实施控制器26。

控制器26还包括用于与无人机10交换上行和下行的无线电波数据的无线电天线74和无线电收发器(未示出)。

在图1的实施例中，第一获取模块40、第二获取模块44、计算模块46和再校准模块48以及可选的控制模块50各自均以能够由处理器64执行的软件的形式制成。那么，信息处理单元60的存储器62能够存储第一获取软件，该第一获取软件被配置为获取无人机10飞越的地形的且由图像传感器诸如第一图像传感器12拍摄的一系列图像。信息处理单元60的存储器62能够存储第二获取软件，该第二获取软件被配置为获取由无人机10配备的测量装置24提供的测量的对地速度Vsol_mes，并且还用于获取相对于参考水平测量的无人机10的海拔高度Zref_mes。信息处理单元60的存储器62能够存储计算软件和再校准软件，该计算软件被配置为基于应用于所获取的图像的光流算法和所获取的测量的对地速度Vsol_mes来计算无人机10相对于地形14的海拔高度Zsol_est，且该再校准软件被配置为将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zref_mes相关联。可选地，信息处理单元60的存储器62能够存储控制软件，该控制软件被配置为根据无人机10的海拔高度控制无人机10的姿态，该控制软件被配置为计算与所述姿态对应的飞行指令。因此，信息处理单元60的处理器64能够执行第一获取软件、第二获取软件、计算软件和再校准软件以及可选的附加的控制软件。

可替代地(未示出)，第一获取模块40、第二获取模块44、计算模块46和再校准模块48以及可选的控制模块50各自均以可编程逻辑组件诸如FPGA(现场可编程门阵列)的形式制成，或者以专用集成电路诸如ASIC(特定用途集成电路)的形式制成。

第一获取模块40还被配置为根据每个所获取图像的梯度计算第一指标Ind1，因此计算模块46还被配置为，仅在第一指标Ind1的值大于第一阈值S1时，通过将光流算法应用于所获取的图像来计算无人机10相对于地形14的海拔高度Zsol_est。

第一获取模块40例如被配置为针对每个像素计算所讨论的像素的强度值与相邻像素的强度值之间的强度值梯度，每个像素的强度值例如以例如8位表示的灰度水平表达，该灰度值在0到255之间。

因此，第一指标Ind1例如是计算的梯度大于预定最小梯度的图像的像素的数量。因此，第一阈值S1例如是4，那么，对于所述图像的至少4个像素，从梯度的值大于或等于预定最小梯度的时刻起，该图像被认为是良好到足以应用光流算法。

计算模块46被配置为基于应用于所获取的图像的光流算法和由第二获取模块44获取的测量的对地速度Vsol_mes来计算无人机10相对于地形14的海拔高度Zsol_est。

光流算法本身是已知的，并且通常用于从无人机相对于地形的预定海拔高度估计对地速度，该预定海拔高度被假定为基本恒定。

光流算法使得可以估计场景从一个图像到下一个图像的差分移动，并且存在用于实施光流算法的各种已知方法，诸如例如Lucas-Kanade方法、Horn-Schunk方法或Farneback方法。光流算法还能够经由所谓的多分辨率技术来实施，该多分辨率技术被配置为从低分辨率开始到高分辨率以不同的连续图像分辨率估计光流。

光流算法也能够与另外的图像处理算法结合，特别是与角点检测算法结合，以改善场景从一个图像到下一个图像的差分移动的估计，如EP2400460A1中所描述的。Briod等人的“Optic-Flow Based Control of a 46g Quadrotor”、Julin等人的“Optical Flow Based Velocity Estimation for Vision Based Navigation of Aircraft”以及Ho等人的“Distance and velocity estimation using optical flow from a monocular camera”的文件中也描述了实施光流算法的其他实施例。

计算模块46被配置为通过采用已知的对地速度然后试图计算无人机10相对于地形14的海拔高度Zsol_est的值来以反向的方式实施该光流算法。计算模块46特别被配置为用于将由第二获取模块44获取的测量的对地速度Vsol_mes的值用作对地速度的预定值。

再校准模块48被配置为将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zref_mes相关联，以便具有无人机10相对于地形14的更可靠的海拔高度的值。

可选地，再校准模块48被特别地配置为，根据相对于参考水平测量的当前海拔高度Zsol_est(N)以及相对于地形测量的先前海拔高度Zsol_est(N-1)，来估计相对于地形14的当前海拔高度Zsol_est(N)，该相对于地形测量的先前海拔高度Zsol_est(N-1)与相对于参考水平测量的先前海拔高度Zsol_mes(N-1)相关联。

本领域技术人员将理解，N是具有大于或等于1的值的整数指数，指示所讨论的数量的当前值，而指数N-1则指示与所执行的最近的相关联对应的所讨论的数量的先前值，而指数0指示所讨论的数量的初始值。

再校准模块48优选地被配置为：在基于光流算法计算相对于地形的海拔高度至少暂时地失效的情况下，根据相对于参考水平测量的当前海拔高度Zref_mes(N)和先前计算的相对于地形的海拔高度Zsol_est(N)，估计相对于地形的当前海拔高度Zsol_est(N)，该先前计算的相对于地形的海拔高度Zsol_est(N)已经与相对于参考水平测量的先前海拔高度Zref_mes(N-1)相关联。

可选地，再校准模块48还被配置为：计算与第一指标Ind1成反比的第二指标Ind2，并且仅在第二指标Ind2的值小于第二阈值S2时，将所计算的相对于地形的海拔高度Zsol_est与相比于参考水平测量的海拔高度Zref_mes相关联。第二阈值S2的值比第一阈值S1的值更具限制性。

控制模块50被配置为控制无人机10的姿态。当相对于地形测量的海拔高度Zsol_est大于第一预定阈值海拔高度Z1时，控制模块50被配置为，根据由第二获取模块44获取的相对于地形测量的海拔高度Zsol_mes，并且优选地仅根据上述各种海拔高度之中的该海拔高度Zsol_mes，来控制无人机10的姿态。第一预定阈值海拔高度Z1例如基本上等于15m。

当相对于地形测量的海拔高度Zsol_mes的值低于第一预定阈值海拔高度Z1时，控制模块50被配置为还根据由计算模块46计算的相对于地形的海拔高度Zsol_est来控制无人机10的姿态。换句话说，当相对于地形测量的海拔高度Zsol_mes的值低于第一预定阈值海拔高度Z1时，控制模块50被配置为根据相对于地形测量的海拔高度Zsol_mes和所计算的相对于地形的海拔高度Zsol_est来控制无人机10的姿态，所计算的海拔高度优选地是再校准模块48的输出端处提供的再校准海拔高度。

当相对于地形测量的海拔高度Zsol_mes的值低于第二预定阈值海拔高度Z2时，控制模块50被配置为将无人机10的俯仰角控制成大于预定最小着陆俯仰角的值。第二预定阈值海拔高度Z2例如基本上等于1.2m。

换句话说，当相对于地形测量的海拔高度Zsol_mes的值低于与接近地面的海拔高度对应的该第二预定阈值海拔高度Z2时，控制模块50被配置为：在先前没有检测到接近地面情况下并且无人机10的俯仰角的值还没有大于预定最小着陆俯仰角的时候，给予无人机10紧急俯仰角。

现在借助图2说明根据本发明的无人机10特别是电子控制装置16的操作，该图示出了根据本发明的确定方法的流程图。

在初始步骤100期间，由第一获取模块40优选地从第一图像传感器12——诸如向下指的竖直对准摄像头——获取无人机10飞越的地形14的不同的连续图像。

可选地，第一获取模块44计算与这些获取的不同图像有关的第一指标Ind1，并且该第一指标是所获取的图像的质量的指标。然后在下一步骤110中，控制装置16相对于第一阈值S1测试第一指标Ind1的值，即该控制装置将第一指标Ind1的值与第一阈值S1的值进行比较。

并行地，在步骤120期间，由第二获取模块44从测量装置24获取测量的对地速度Vsol_mes的值，该测量装置24例如是卫星定位装置，也被称为GNSS装置，诸如GPS接收器或GLONASS接收器，或者惯性单元，也被称为lMU。

如果在步骤110期间，相对于第一阈值S1的测试是正的，即，如果第一指标Ind1的值大于或等于第一阈值S1，则控制装置16转到步骤130，在该步骤中，计算模块46通过应用于所获取的图像的光流算法并根据测量的对地速度Zsol_mes的值来计算无人机10相对于地形14的海拔高度Zsol_est。

相反，如果在步骤110中执行的测试是负的，即如果第一指标Ind1的值低于第一阈值S1，则控制装置16返回到步骤100以获取无人机10飞越的地形14的新图像。

在步骤130中使用的光流算法例如是使用Lucas-Kanade方法的光流算法。

在下一步骤140中，计算模块46计算与第一指标Ind1成反比的第二指标Ind2，并且相对于第二阈值S2测试该第二指标Ind2，即，将该第二指标Ind2与第二阈值S2进行比较。

并行地，在步骤150期间，相对于参考水平测量的海拔高度Zref_mes的值由第二获取模块44例如从压力传感器中获取，该参考水平例如是海平面。

在步骤140期间，如果相对于第二阈值S2的测试是正的，即如果第二指标Ind2的值小于或等于第二阈值S2，则计算模块46向再校准模块48传输所计算的无人机相对于地形的海拔高度Zsol_est的值，并且控制装置16转到步骤160，在该步骤期间，再校准模块48将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zref_mes相关联。

相反，如果在步骤140中执行的测试是负的，即如果第二指标Ind2的值大于第二阈值S2，则控制装置16返回到步骤100以获取无人机10飞越的地形14的新图像。

在步骤160中，再校准模块48特别地根据相对于参考水平测量的当前海拔高度Zref_mes(N)以及先前计算的相对于地形的海拔高度Zsol_est(N-1)，来估计相对于地形14的当前海拔高度Zsol_est(N)，该先前计算的相对于地形的海拔高度Zsol_est(N-1)与相对于参考水平测量的先前海拔高度Zref_mes(N-1)相关联。在基于光流算法计算相对于地形的海拔高度Zsol_est至少暂时地失效的情况下，即，在上述相对于第一阈值S1和第二阈值S2的两个测试之一是负的情况下，这是特别有用的。

并行地，在步骤170期间，相对于地形测量的海拔高度Zsol_mes的值由第二获取模块44从高度计20诸如无线电高度计或超声波测距仪获取。

然后控制装置16进行到步骤180，在该步骤期间，控制模块50特别地根据无人机10相对于地形14的海拔高度来控制无人机10的姿态。然后，控制模块50根据无人机相对于地形14的所述海拔高度来计算对应于所述海拔高度的控制指令，这些控制指令特别地用于伺服机构，该伺服机构定向控制表面39。

为此目的，控制模块50能够使用由计算模块46计算的相对于地形的海拔高度Zsol_est的值，和优选地再校准模块48的输出端处提供的再校准海拔高度，和/或由第二获取模块44获取的相对于地形测量的海拔高度Zsol_mes的值，如图2所示。

更确切地说，当相对于地形测量的海拔高度Zsol_mes大于第一预定阈值海拔高度Z1时，控制模块50在步骤180期间，根据相对于地形测量的海拔高度Zsol_mes，并且优选地仅根据针对无人机10测量或计算的不同海拔高度中该相对于地形测量的海拔高度Zsol_mes，来控制无人机10的姿态。

在步骤180期间，当相对于地形测量的海拔高度Zsol_mes的值低于第一预定阈值海拔高度Z1时，即，当无人机10可能很快要开始其着陆阶段时，或者当无人机10已经例如从操纵杆26接收到着陆指令时，控制模块50根据相对于地形测量的海拔高度Zsol_mes和所计算的相对于地形的海拔高度Zsol_est来控制无人机10的姿态，所计算的海拔高度优选地为再校准模块48的输出端处提供的再校准海拔高度。

可选地，当相对于地形测量的海拔高度Zsol_mes的值低于第二预定阈值海拔高度Z2时，控制模块50在步骤180期间将无人机10的俯仰角控制到最小预定着陆俯仰角，以便在先前没有指示无人机10的俯仰的情况下实施紧急俯仰角。

在步骤180结束时，控制装置16返回到步骤100以获取无人机10飞越的地形14的新图像。

然后根据本发明的电子控制装置16通过将所计算的相对于地形的海拔高度Zsol_est与相对于参考水平测量的海拔高度Zsol_mes相关联，允许对所计算的相对于地形的无人机的海拔高度Zsol_est进行再校准，这使得可以具有无人机10相对于地形14的更可靠的海拔高度的值。

在基于光流算法计算相对于地形的海拔高度至少暂时地失效的情况下，以及第一指标Ind1和第二指标Ind2分别与第一阈值S1和第二阈值S2的比较中，这都是特别有效的，因此允许根据光流算法有效地检测海拔高度的这种计算失效。

例如，当无人机10飞越的地形14生成从一个图像到另一图像略微变化的场景，然后在将光流算法应用于所获取的图像时生成相对高的计算不确定性时，可能出现这种失效。

因此，如此计算并再校准的相对于地形的海拔高度更加可靠，并且在着陆阶段期间特别有用，以便更好地预料到地面的方法，并且预测控制装置16必须命令无人机10上仰以便接触地面的时刻。

当由高度计20测量的海拔高度的值小于第二预定阈值海拔高度Z2时，可能需要迫使无人机10的俯仰角到预定最小着陆俯仰角，还允许提供用于着陆无人机10的紧急校正程序，尤其是再校准模块48的输出端处提供的再校准海拔高度暂时受到干扰的情况下。

那么可以设想，根据本发明的电子控制装置16和控制方法允许更可靠地计算无人机10相对于所飞越的地形的海拔高度，然后在无人机10的操作期间，尤其是着陆阶段期间，减少可能的抖动。