无人飞行器的遥控终端、飞行辅助系统和方法与流程

本申请是向中国知识产权局提交的申请号为201310282462.2，申请日为2013年07月05日，发明创造名称为"无人飞行器的遥控终端、飞行辅助系统和方法"的发明专利申请的分案申请。

本发明涉及无人飞行器，尤其涉及一种无人飞行器的遥控终端、飞行辅助系统和方法。

背景技术：

近年来，无人驾驶的飞行器(例如固定翼飞机，旋翼飞行器包括直升机)，机动车辆，潜艇或船只，以及卫星，空间站，或飞船等得到了广泛的应用，例如在侦测，搜救等领域。对于这些运动体的操纵通常由用户通过遥控装置来实现。

遥控飞行器，潜艇，或机动车辆可以携带载体，例如承载相机或照明灯的载体装置。举例来说，一种遥控飞机上可以载有相机进行航拍。

操控者在操作运动体，如无人飞行器的过程中，由于无人飞行器一般体型较小，在飞远的情况下(如四五百米)用肉眼很难看清楚，在这种情况下，操控者很难观察出无人飞行器的航向角度，就相当于盲飞，如果没有飞行的辅助手段，无人飞行器就很容易飞丢。另外，如果使用fpv(firstpersonview，第一人称视角)模式来飞的话，过分专注于显示屏，最后也可能导致弄不清楚无人飞行器当前的位置，导致迷失方向甚至飞丢，而且一边看fpv，一边注意无人飞行器的位置，则会让用户体验大打折扣。

技术实现要素：

有鉴于此，本发明要解决的技术问题是提供一种无人飞行器的遥控终端、飞行辅助系统和方法，以帮助操控者掌握无人飞行器当前的飞行位置和状态，并能据此控制无人飞行器的飞行。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供的一种无人飞行器的遥控终端包括信息获取模块、信息处理模块和信息输出模块，其中：

信息获取模块，用于获取观察位置的位置信息，获取无人飞行器的位置信息和飞行状态信息；

信息处理模块，用于根据无人飞行器的位置信息和观察位置的位置信息得到无人飞行器相对于观察位置的位置信息；

信息输出模块，用于接收并通过显示屏显示无人飞行器的飞行状态信息和无人飞行器相对于观察位置的位置信息；

信息处理模块，还用于判断显示屏的屏幕基准线的方位角与无人飞行器相对于观察位置的方位角的差值是否小于预定的阈值，且显示屏的高度角与无人飞行器相对于观察位置的高度角的差值小于预定的阈值，如果是，则在屏幕上产生捕捉到目标提示信息。

优选地，观察位置为操控者的位置或无人飞行器起飞的位置。

优选地，该遥控终端还包括位置测量模块，用于测量遥控终端的位置信息作为操控者的位置信息，并传送给信息处理模块。

优选地，信息输出模块具体用于：将无人飞行器的飞行状态信息和相对于观察位置的位置信息通过图形的形式显示在显示屏上。

优选地，无人飞行器相对于观察位置的位置信息包括无人飞行器与观察位置之间的距离和无人飞行器相对于观察位置的角度；飞行状态信息包括无人飞行器的航向和/或无人飞行器的相对于地面的高度信息。

优选地，信息获取模块还包括终端姿态测量模块，其中：

终端姿态测量模块，用于检测显示屏的屏幕基准线的方位角；

信息处理模块，用于将图形相对显示屏的正视轴反向旋转方位角。

优选地，预定的阈值为10度。

根据本发明的另一个方面，提供的一种无人飞行器的飞行辅助系统包括：上述技术方案中的遥控终端、以及设置在无人飞行器上的状态测量传感器，其中：

状态测量传感器，用于测量无人飞行器的位置信息和飞行状态信息，并将无人飞行器的位置信息和飞行状态信息传送给遥控终端；

遥控终端，还用于根据无人飞行器的飞行状态信息和无人飞行器相对于观察位置的位置信息，控制无人飞行器的飞行。

优选地，当观察位置为操控者的位置时，操控者的位置信息通过附加在操控者或在操控者所携带的物体上的传感器获得；当观察位置为无人飞行器起飞的位置时，无人飞行器起飞的位置通过状态测量传感器获得。

根据本发明的再一个方面，提供的一种无人飞行器的飞行辅助方法，其特征在于，该方法包括：

获取观察位置信息、无人飞行器的位置信息和无人飞行器的飞行状态信息；

根据无人飞行器的位置信息和观察位置的位置信息得到无人飞行器相对于观察位置的位置信息；并将无人飞行器的飞行状态信息和相对于观察位置的位置信息输出；

根据输出的无人飞行器的飞行状态信息和无人飞行器相对于观察位置的位置信息，控制无人飞行器的飞行；

该方法还包括：判断显示屏的屏幕基准线的方位角与无人飞行器相对于观察位置的方位角的差值是否小于预定的阈值，且显示屏的高度角与无人飞行器相对于观察位置的高度角的差值小于预定的阈值，如果是，则在屏幕上产生捕捉到目标提示信息。

优选的，无人飞行器的位置信息和飞行状态信息通过设置在无人飞行器上的状态测量传感器获得；观察位置为操控者的位置或无人飞行器起飞的位置，当观察位置为操控者的位置时，操控者的位置信息通过附加在操控者或在操控者所携带的物体上的传感器获得；当观察位置为无人飞行器起飞的位置时，无人飞行器起飞的位置通过设置在飞行器上的状态测量传感器获得。

优选地，将无人飞行器的飞行状态信息和无人飞行器相对于观察位置的位置信息输出包括：将无人飞行器的飞行状态和相对于观察位置的位置信息通过图形的形式显示在显示屏上。

优选地，无人飞行器相对于观察位置的位置信息包括无人飞行器与观察位置之间的距离和无人飞行器相对于观察位置的角度；飞行状态信息包括无人飞行器的航向和/或无人飞行器的相对于地面的高度信息。

优选地，该方法还包括：获取显示屏的屏幕基准线的方位角，并将图形相对显示屏的正视轴反向旋转方位角。

优选地，预定的阈值为10度。

本发明实施例的无人飞行器的遥控终端、飞行辅助系统和方法，通过实时掌握无人飞行器当前的飞行位置和飞行状态，帮助操控者控制无人飞行器的飞行路径，提高了操控者的飞行体验，同时避免了盲飞和飞丢。

附图说明

图1为本发明实施例提供的一种无人飞行器的遥控终端的结构示意图；

图2本发明优选实施提供的一种无人飞行器辅助系统结构示意图；

图3为本发明优选实施例提供的一种显示屏东西方向水平放置的显示示意图；

图4为本发明优选实施例提供的一种显示屏南北方向水平放置的显示示意图；

图5为本发明实施例提供的方位角示意图；

图6为本发明优选实施例提供的一种显示屏的屏幕基准线的方位角与无人飞行器相对于观察位置的方位角一致时的示意图；

图7本发明优选实施例提供的一种显示屏的正视轴正对无人飞行器的示意图；

图8为本发明实施例提供的无人飞行器的高度角的示意图；

图9为本发明实施例提供的显示屏的高度角的示意图；

图10为本发明优选实施例提供的一种无人飞行器的飞行辅助方法的流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示是本发明实施例提供的一种无人飞行器的遥控终端结构示意图，该遥控终端包括信息获取模块10、信息处理模块20和信息输出模块30，其中：

信息获取模块10，用于获取观察位置的位置信息，通过无线网络获取无人飞行器的位置信息和飞行状态信息；

具体地，信息获取模块10进一步包括观察位置信息获取模块101,以及飞行位置状态获取模块102，其中，位置信息获取模块101用于获取操控者的位置信息或无人飞行器起飞的位置信息，当观察位置为操控者的位置时，操控者的位置信息通过附加在操控者或在操控者所携带的物体上的传感器获得；由于本遥控终端是手持装置，所以操控者位置与遥控终端的位置信息是同一个信息，可以通过本遥控终端的位置信息来实现，故遥控终端还包括位置测量模块(比如gps模块)，用于测量遥控终端的位置信息作为操控者的位置信息，并传送给信息处理模块20。当观察位置为无人飞行器起飞的位置时，无人飞行器起飞的位置通过设置在飞行器上的状态测量传感器获得。无人飞行器起飞点的位置信息是无人飞行器在上电后，第一次搜索到足够多的定位卫星时所记录的位置信息。

飞行位置状态获取模块102通过无线网络实时获取无人飞行器的位置信息和飞行状态信息，无人飞行器的位置信息和飞行状态信息通过设置在无人飞行器上的状态测量传感器测量得到。飞行位置信息包括飞行位置的经度和纬度，飞行状态包括俯仰、横滚和航向，还可以包括无人飞行器的相对于地面的高度信息。无线网络包括wi-fi(无线保真)网络，当然，还是可以2g网络、3g、4g以及未来的5g网络进行通信。

信息处理模块20，用于根据无人飞行器的位置信息和观察位置的位置信息得到无人飞行器相对于观察位置的位置信息；

其中，无人飞行器相对于观察位置的位置信息包括：无人飞行器与观察位置之间的距离和无人飞行器相对于观察位置的角度。

信息输出模块30，用于输出无人飞行器的飞行状态信息和无人飞行器相对于观察位置的位置信息。

为了更直观，本步骤优选将无人飞行器的航向、无人飞行器与观察位置之间的距离和无人飞行器相对于观察位置的角度以图形的形式显示在显示屏上。其中，无人飞行器相对于观察位置的角度包括相对于观察位置方位角和相对于观察位置的高度角，图形可以是平面图形，也可以是立体图形。请参阅图3和图4，显示的图形中的箭头表示无人飞行器所在位置，箭头的指向表示是无人飞行器的航向，圆心表示观察位置所在位置，箭头与圆心的连线表示无人飞行器的位置与观察位置的连线在地平面上的投影，连线与地面正北方的夹角a表示无人飞行器相对于观察位置的方位角，以观察位置为圆心的几个圆圈，从里到外表示无人飞行器离观察位置的距离从近到远(比如相邻的圆圈之间的半径差为50米)，其中虚线圆圈范围内表示飞行的安全距离，当无人飞行器在安全距离之外时，除了图形显示超出范围，还可以通过语音或文字提醒操控者，操控者可以通过控制模型飞行的路径将其控制在安全范围内飞行，从而避免盲飞和飞丢(如图3中所示的情况，操控者只需要往左下方打杆，就能让无人飞行器飞回来)。

作为本实施例的另一种优选方案，信息获取模块10还包括终端姿态测量模块103，用于测量显示屏的屏幕基准线的方位角，将显示屏的屏幕基准线的方位角发送给信息处理模块20；信息处理模块20将显示的图形相对显示屏的正视轴反向旋转方位角。以使得显示屏上显示无人飞行器的相对位置和航向角保持以地面为参考，与遥控终端的显示屏的水平放置方向和垂直放置方向无关。

其中，显示屏的屏幕基准线是指与显示屏的一边平行的参考线，可以是显示屏上下边中点的连线，上边和下边是指当显示的图形为正向，且屏幕基准线是正向向上来说的(如图3和图4中所示)。显示屏的屏幕基准线的方位角是指屏幕基准线在地平面的投影与正北方向的夹角(如图5所示的b角)。显示屏的正视轴是指垂直于显示屏的轴，也可以认为是人眼看显示屏时，是以垂直于显示屏的角度来观察显示屏的(如图7所示)。

当遥控终端的显示屏水平放置时，终端姿态测量模块103可以通过磁力计1031来实现，以磁力计1031的指向作为基准，获取显示屏的屏幕基准线在水平方向相对于正北方向旋转的方位角。信息处理模块202将显示的图形相对显示屏的正视轴反向旋转方位角。这里，屏幕基准线的方位角实际就是指屏幕基准线与正北方向的夹角，请参阅图3和图4，磁力计可以通过指南针实现，比如根据指南针的指向作为基准，来确定无人飞行器在显示屏上实时显示的位置，确保只要无人飞行器的位置和航向没有改变，无论操控者拿着遥控终端在水平放置方向上如何旋转改变角度，只要根据显示屏的屏幕基准线的方位角实时相对于显示屏的正视轴反向旋转显示的图形，就能保证显示屏上箭头和圆心的连线相对于地平面的角度保持不变，即图3和图4中的无人飞行器相对于观察位置的方位角a保持不变，而且箭头的指向相对于地平面的角度也保持不变。如果没有指南针功能，则无法做到该角度a保持不变，但可以保证当显示屏东西方向水平放置时(如图3所示)，箭头与圆心能够反映无人飞行器与遥控终端的实际相对位置。

当遥控终端的显示屏非水平放置时，终端姿态测量模块103可以通过磁力计1031与加速度计1032来获取显示屏的屏幕基准线的方位角，这里显示屏的屏幕基准线的方位角是指屏幕基准线在地平面的投影与正北方向的夹角。比如可以使用磁力计与加速度计计算出显示屏相对大地的姿态rbg，通过无人飞行器的位置与当前显示屏位置求差得向量pg，在显示屏上显示的向量方向为：向量(pb＝rbg*pg)的x,y坐标，从而得到显示屏的屏幕基准线在地平面的投影相对于正北方向旋转的方位角。然后将显示的图形相对于显示屏的正视轴反向旋转方位角，以使得显示屏上显示无人飞行器的相对位置和航向角保持以地平面为参考，与遥控终端的显示屏的水平放置方向或垂直放置方向无关。

需要说明的是，本方案不适用当显示屏垂直放置时的特殊情况。

作为本实施例的再一种优选的方案，信息处理模块20，还用于判断显示屏的屏幕基准线的方位角与无人飞行器相对于观察位置的方位角的差值是否小于预定的阈值，且显示屏的高度角与无人飞行器相对于观察位置的高度角的差值也小于预定的阈值，如果是，则在屏幕上产生捕捉到目标提示信息。其中，显示屏的屏幕基准线是指与显示屏的一边平行的参考线，可以是显示屏上下边中点的连线，上边和下边是指当显示的图形为正向，且屏幕基准线是正向向上来说的(如图3和图4中所示)。显示屏的屏幕基准线的方位角是指屏幕基准线在地平面的投影与正北方向的夹角(如图5所示的b角)。显示屏的高度角是指显示屏正视轴与地平面的夹角(如图9所示的rb角)，无人飞行器相对于观察位置的方位角是指无人飞行器与观察位置的连线在地平面的投影与地平面正北方向的夹角(如图3、图4和图5的a角)，无人飞行器的高度角是指无人飞行器与观察位置的连线与地平面的夹角(如图8所示的ra角)，预定的阈值为10度。

举例来说，存在关系式：vv2＝[v2xv2yv2z]^t＝rgb*([001]^t)

其中，v2＝vv2的前两个坐标，v1＝[x2-x1，y2-y1]^t，v1表示把向量竖起来，v2是显示屏的z轴在世界坐标系的表示，取前两个数表示在x，y方向投影，x1，y1是显示屏的坐标，x2，y2是无人飞行器的坐标，t是转置，rgb是显示屏姿态矩阵，当v2与v1的角度差小于某阈值，表示显示屏对到无人飞行器的位置。

请参阅图6，当遥控终端的显示屏水平放置时，操控者可以拿着显示屏在水平方向上跟着箭头旋转寻找无人飞行器，当显示屏跟着箭头旋转到显示屏的屏幕基准线的方位角和无人飞行器相对于观察位置的方位角一致时(即a角度)，此时，箭头应位于显示屏的正上方。请参阅图7，当操控者在图6显示屏的屏幕基准线的方位角和无人飞行器相对于观察位置的方位角一致的基础上，拿着显示屏在垂直方向旋转到显示屏的高度角和无人飞行器相对于观察位置的高度角一致时，此时非水平放置的显示屏的正视轴指向为无人飞行器的位置，屏幕上产生捕捉到目标提示信息，可以通过箭头消失或者箭头的颜色变化来提示捕捉到目标，提高了操控者的飞行体验。

而在实际应用中，在显示屏的正视轴趋近于对准无人飞行器的情况下(角度差小于预定的阈值)，我们也可以认为指到了无人飞行器。可以这么理解，以图7中的圆心为一个立锥体的顶点，圆心到无人飞行器的连线为立锥体的中心轴线，预定的阈值为立锥体的顶角，这样，当操控者举着显示屏跟着箭头的方向旋转到无人飞行器的位置落在立锥体的空间范围内，则可以提示显示屏正对到了无人飞行器，此时，显示屏的屏幕基准线的方位角与无人飞行器相对于观察位置的方位角趋于一致，显示屏的高度角与无人飞行器相对于观察位置的高度角趋于一致，显示屏的正视轴趋于指向为无人飞行器的位置，也在屏幕上产生捕捉到目标提示信息，该提示信息可以是箭头消失或者箭头的颜色变化，提高了操控者的飞行体验。

请参阅图7，操控者可以拿着遥控终端跟着屏幕上显示的箭头的方向旋转寻找无人飞行器，当显示屏跟着箭头旋转到显示屏的屏幕基准线的方位角和无人飞行器相对于观察位置的方位角一致，且显示屏的高度角和无人飞行器相对于观察位置的高度角一致时，此时非水平放置的显示屏的正视轴指向为无人飞行器的位置，在屏幕上产生捕捉到目标提示信息。而在实际应用中，在显示屏的正视轴趋近于对准无人飞行器的情况下(角度差小于预定的阈值)，我们也可以认为指到了无人飞行器。在屏幕上产生捕捉到目标提示信息，提高了操控者的飞行体验。

此外，遥控终端还可以包括语音模块，用于语音提示无人飞行器的位置信息和飞行姿态信息，包括无人飞行器在操控者的哪个方向的多少度、无人飞行器距离操控者有多少米、无人飞行器的高度角是多少等等，举例来说，语音播报“无人飞行器在您的东北方30度，请抬头50度即可看到无人飞行器”，从而更好的提高了操控者的飞行体验。

通过本实施例的无人飞行器系统，操控者根据显示屏上显示的相对位置信息和航向角度，就能轻松地了解到无人飞行器所在的位置，眼睛不需要离开遥控终端的显示屏就能够对无人飞行器进行自如的操控无人飞行器的飞行路径，避免了盲飞和飞丢，提高了操控者的飞行体验。

如图2所示是本发明实施提供的一种无人飞行器辅助系统结构示意图，该系统包括：包括上述技术方案中的任意一项遥控终端、以及设置在无人飞行器上的状态测量传感器，其中：

状态测量传感器，用于测量无人飞行器的位置信息和飞行状态信息，并将无人飞行器的位置信息和飞行状态信息传送给遥控终端；

遥控终端，还用于根据无人飞行器的飞行状态信息和无人飞行器相对于观察位置的位置信息，控制无人飞行器的飞行。

优选地，当观察位置为操控者的位置时，操控者的位置信息通过附加在操控者或在操控者所携带的物体上的传感器获得；当观察位置为无人飞行器起飞的位置时，无人飞行器起飞的位置通过状态测量传感器获得。

需要说明地是，前面的遥控终端的所有技术方案在本实施例中同样都适用，这里不再重述。

如图10所示为本发明实施例提供的一种无人飞行器的飞行辅助方法，该方法包括：

s1002、获取观察位置信息、无人飞行器的位置信息和飞行状态信息；

具体来说，无人飞行器的位置信息和飞行状态信息通过设置在无人飞行器上的状态测量传感器获得；观察位置为操控者的位置或无人飞行器起飞的位置，当观察位置为操控者的位置时，操控者的位置信息通过附加在操控者或在操控者所携带的物体上的传感器获得；当观察位置为无人飞行器起飞的位置时，无人飞行器起飞的位置通过设置在飞行器上的状态测量传感器获得。

s1004、根据无人飞行器的位置信息和观察位置信息得到无人飞行器相对于观察位置的位置信息；

s1006、输出无人飞行器的飞行状态信息和相对于观察位置的位置信息；

具体来说，无人飞行器相对于观察位置的位置信息包括无人飞行器与观察位置之间的距离和无人飞行器相对于观察位置的角度；飞行状态信息包括无人飞行器的航向和/或无人飞行器的相对于地面的高度信息。

优选地，将无人飞行器的飞行状态信息和无人飞行器相对于观察位置的位置信息输出包括：将无人飞行器与观察位置之间的距离和无人飞行器相对于观察位置的角度、无人飞行器的航向通过图形的形式显示在显示屏上。

s1008、根据无人飞行器的飞行状态信息和无人飞行器相对于观察位置的位置信息，控制无人飞行器的飞行。

作为本发明实施例的一种优选的方案，步骤s1006中还包括：获取显示屏的屏幕基准线的方位角，并将图形相对显示屏的正视轴反向旋转方位角。以使得显示屏上显示的无人飞行器的相对位置和航向角保持以地面为参考，与遥控器的显示屏的水平放置方向或垂直放置方向无关(参见图3和图4的a角度不变)。其中，显示屏的屏幕基准线是指与显示屏的一边平行的参考线，可以是显示屏上下边中点的连线，上边和下边是指当显示的图形为正向，且屏幕基准线是正向向上来说的(如图3和图4中所示)。显示屏的屏幕基准线的方位角是指屏幕基准线在地平面的投影与正北方向的夹角(如图5所示的b角)。显示屏的正视轴是指垂直于显示屏的轴，也可以认为是人眼看显示屏时，是以垂直于显示屏的角度来观察显示屏的(如图7所示)。

作为本发明实施例的一种优选的方案，步骤s1006中还包括：判断显示屏的屏幕基准线的方位角与无人飞行器相对于观察位置的方位角的差值是否小于预定的阈值，且显示屏的高度角与无人飞行器相对于观察位置的高度角的差值小于预定的阈值，如果是，则在屏幕上产生捕捉到目标提示信息。也就是说当操控者拿着显示屏跟着箭头的方向旋转寻找无人飞行器时，当显示屏的正视轴趋近于指向无人飞行器时(即角度差小于预定阈值时)，在屏幕上产生捕捉到目标提示信息。该提示信息可以是箭头消失或者箭头的颜色变化，从而提高了操控者的飞行体验(请参与图7)。

此外，遥控终端还可以包括语音模块，用于语音提示无人飞行器的位置信息和飞行姿态信息，包括无人飞行器在操控者的哪个方向的多少度、无人飞行器距离操控者有多少米、无人飞行器的高度角是多少等等，举例来说，语音播报“无人飞行器在您的东北方30度，请抬头50度即可看到无人飞行器”，从而更好的提高了操控者的飞行体验。

需要说明的是，上述无人飞行器的遥控终端的各种技术方案，在本无人飞行器的飞行辅助方法中同样适用，相同的详细内容不再重述。

本发明实施例提供的无人飞行器的遥控终端、辅助飞行系统和方法，通过掌握无人飞行器的飞行位置和飞行状态，帮助操控者控制无人飞行器的飞行路径，避免了盲飞和飞丢，同时提高了操控者的飞行体验。

以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。