用于沉浸式驾驶无人机的系统的制作方法
【专利摘要】本公开涉及用于沉浸式驾驶无人机的系统。该系统包括无人机和地面站。地面站包括配备有被适配成指向无人机以保持与后者的无线链路的质量的定向天线的控制台以及呈现由无人机的相机所拍摄的图像的虚拟现实眼镜。该系统包括用于确定无人机相对于控制台的航向的位置的装置和用于在虚拟现实眼镜中所呈现的图像(I)中包括无人机相对于控制台航向的偏差的视觉指示(C、Ce、G、Id)的装置。尽管驾驶员与外部真实环境相隔离，但是他能够基于该视觉显示来重定向控制台(通常通过他自己转身)，使得其定向天线合适地指向无人机。
【专利说明】
用于沉浸式驾驶无人机的系统
技术领域
[0001]本发明涉及诸如四旋翼直升机之类的旋翼无人机。
【背景技术】
[0002]无人机配备有由相应马达驱动的多个旋翼，这些马达能以有区别的方式来被控制，以便操纵无人机的姿态和速度。
[0003]法国巴黎的Parrot SA的AR.Drone 2.0或Bebop Drone是此类四旋翼直升机的典型示例。它们都装备有一系列传感器(加速度计、三轴陀螺仪、高度计)、捕捉无人机所朝向的场景的图像的前置相机，以及捕捉所飞过的地面的图像的垂直视图相机。
[0004]WO 2010/061099 A2和EP 2364757 Al (Parrot SA)描述了此类无人机以及通过具有集成加速度计的触摸屏多媒体电话或媒体播放器(例如iPhone类型的蜂窝电话或iPad类型(美国苹果公司的注册商标)的多媒体平板)来驾驶无人机的原理。这些设备包括经由W1-Fi(IEEE 802.11)或蓝牙(注册商标)局域网类型的无线链路来检测驾驶命令以及与无人机双向交换数据所需要的各种控制元件。它们进一步配备有触摸屏，该触摸屏显示了由无人机的前置相机所捕捉的图像以及叠加的用于通过用户的手指在该触摸屏上的简单触摸来激活命令的一定数量的符号。
[0005]无人机的前置相机尤其可被用于在“沉浸模式”或FPV(第一人称视角)模式的驾驶，即用户以如同他自己在无人机上一样的方式使用相机的图像。它也可被用来捕捉无人机所朝向的场景的图像序列。因此，用户可以以与由无人机承载而不是被拿在手中的相机或摄像机的相同方式来使用无人机。所收集的图像可以被记录、广播、在线发布到视频托管网站、发送给其他因特网用户、在社交网站上分享等。
[0006]在由
【申请人】所销售的Bebop Drone系统中，用户在以Skycontroller名称销售的地面站上直接可视化由无人机所拍摄的图像，并且可以通过地面站所配备的iPad型平板的触摸界面来控制相机的视角。该视角命令作用于被施加到由鱼眼型相机所拍摄的图像的数字组帧和失真校正处理，以便于模拟相机的轴向左、右、上和下的物理移动。此外，地面站具有用于连接用于在沉浸模式中驾驶的FPV眼镜的视频输出端。
[0007]这种沉浸模式带给驾驶员无与伦比的感受，驾驶员可以将呈现在眼镜中的图像定向到相对于无人机航向的左侧、右侧、上侧和下侧。但是，同时，这使他失去了与他周围地面上的现实的视觉接触。现在，为了维持地面站和无人机之间的无线链路的质量，上述提到的的无人机需要维持地面站天线至少近似定向于无人机，这在沉浸模式下是不可能实现的。
[0008]本发明的目的是在包含无人机、地面驾驶站和FPV眼镜的系统中，允许驾驶员确保地面站定向在保持或优化地面站和无人机之间的无线链路的方向上。
[0009]WO 99/05580 A2描述了用于无人机的远程驾驶的设备，在该设备中，操作者佩戴配备有眼罩的头戴式耳机，该眼罩具有呈现从无人机传送的图像以及辅助驾驶的视觉指示的显示屏。
[0010]EP 2131443 Al描述了利用安装在例如指挥车上的多天线布置来远程驾驶无人机的设备。显示屏使用收到信号的水平来向操作者指示哪个天线是活动的，以便可能允许基于计算无人机相对于地面的方向和距离而手动地或自动地重新选择更好地定向的天线。
[0011]但是，上述两篇文献都没有提出用于帮助手持驾驶控制台来维持这一控制台的天线至少近似地朝向无人机以维持与无人机的无线链路的质量的用户隔离外部真实环境的视觉手段，尤其是向他指示将控制台向哪一方向移动(向右或向左，等等)(通常通过自己转身)以使定向天线适当地指向无人机和/或向他警告无人机的位置会使无线链路倾向于质量变差或甚至丢失的情况。
【发明内容】
[0012]-为了解决这一问题，本发明提出了用于沉浸式驾驶无人机的系统，包括，以与上述文献WO 99/05580 A2自身中已知的方式，配备有成像装置的无人机以及通过无线链路与无人机进行通信的地面站。地面站包括配备有适配成指向无人机以保持无线链路质量的定向天线的控制台以及呈现利用成像装置拍摄的且通过无线链路从无人机传送的图像以及包含在所呈现的图像中的可视指示的虚拟现实眼镜。本发明的特征在于，该系统进一步包括用于确定控制台的航向与无人机的方向之间的所限定的角坐标的装置，以及对这些确定装置敏感的装置，以在所述视觉指示中包含无人机相对于控制台航向的偏差的指示(这种偏差指示是所确定的角坐标(γ )的函数)，从而允许控制台的用户执行将控制台重定向以使所述角坐标减小的校正动作。
[0013]该系统还可选地包括以下有利特征，其可以被单独采用或者以本领域技术人员认为在技术上兼容的任何组合的方式被采用:
[0014]-位置确定装置包括用于确定控制台航向的磁力计；
[0015]-位置确定装置包括配备于无人机和地面站中的GPS定位模块以及用于确定所述无人机(对应于经过所述无人机和控制台的线(D))相对于方向北的定向的处理装置；
[0016]-确定所述角坐标的装置包括用于减去控制台的航向角和所述无人机定向的对应角的装置；
[0017]-位置确定装置包括用于将无人机相对于控制台航向的角位置与对应于一角扇区的角模板进行比较的装置，其中，该扇区以所述航向为中心并在在所述扇区之外所述无线链路有可能质量变差或丧失；
[0018]-在后一情况下，如果无线链路被适配成在与天线的不同方向性相对应的至少两种模式中的一种下进行操作，则还提供了用于根据无线链路的活动模式来选择良好接收的角模板的装置；
[0019]-该系统进一步包括对从无人机接收的无线链路的信号水平敏感以选择性地包括或不包括所述视觉指示的装置；
[0020]-在后一情况中，在如下情形中有利地包括所述视觉指示:无人机的角位置包含在角模板中，但是信号水平低于预定阈值，所述视觉指示在在如下情况中不被包括:无人机的角位置没有被包含在角模板中，但是信号水平高于预定阈值；
[0021]-所述视觉指示包括控制台和无人机的相对位置的视觉信令(带有表示良好接收的角模板的圆扇区)以及其位置表示无人机相对于模板的角位置的象形图；
[0022]-在后一情况中，所述视觉指示有利地包括一组方向箭头，其中每一个方向箭头都可以被选择性地显示以指示所需的控制台位移方向，以便使控制台的航向朝向无人机的方向，所述方向箭头包括向左和向右和/或向上和向下的箭头。
【附图说明】
[0023]现在将参考附图来描述根据本发明的用于在无人机和地面站之间进行图像传输的系统的示例性实施例，在所有的附图中，相同的附图标记指示相同的或功能上相似的元件。
[0024]图1示意性地示出了本发明被有利地应用到的市售无人机和地面站单元。
[0025]图2示出了图1中的地面站，其由沉浸模式驾驶眼镜来完善。
[0026]图3以俯视图示出了反映地面站的控制台和无人机的相互位置的几何特征。
[0027]图4是由本发明的系统所执行的基本功能的逻辑图。
[0028]图5示出了与由眼镜所呈现的图像相叠加的视觉指示的示例。
【具体实施方式】
[0029 ]现在将描述本发明的设备的示例性实施例。
[0030]根据本发明的沉浸式成像(第一人称视角)系统包括装备有至少一个成像相机的无人机以及通过合适射程的无线链路与无人机和虚拟现实眼镜通信的地面站，上述眼镜配备有以尽可能最真实的方式在用户眼前呈现图像以给他在无人机上飞行的感觉的装置(飞行处于第一人称视角或FPV模式)。
[0031]在这个示例中，无人机包含带有鱼眼型镜头的单个相机，但是作为一种变型也可以包括一组相机，以及位于无人机上和/或在地面站中提供的数字处理装置，使得组合各相机的图像成为可能。
[0032]在图1中，附图标记10概括表示无人机，例如四旋翼直升机型的飞行无人机，比如法国巴黎Parrot SA的Behop型号。该无人机包括四个共面旋翼12，其马达由集成导航和姿态控制系统来独立地操纵。无人机还包括前置相机14，从而使无人机获得该无人机所朝向的场景的视频图像成为可能，例如与鱼眼型广角镜头相关联的带有分辨率为1920X1080像素的CMOS传感器的、视频流的刷新频率为30fps(帧每秒)的高清相机。
[0033]无人机还具有被适配成根据用户希望看向的方向来实时或近乎实时地构建无人机所拍摄的图像的图像处理和校正装置，正如下文将要看到的。
[0034]无人机10还包括被适配成系统地或根据命令来处理和向地面站递送定期获取的其GPS坐标的GPS模块15 (不可见)。
[0035]无人机由地面站16驾驶，该地面站包含与平板18相关联的遥控控制台20。
[0036]平板18是包含可视化屏幕22的常规平板，例如诸如iPad型(注册商标)，并且在该平板18中加载有用于驾驶无人机10和用于将由机载相机14所拍摄的图像可视化的应用软件模块。平板18进一步装备有诸如W1-Fi类型的数据交换无线电接口。它是未经修改的标准模型的平板，除了加载有应用软件模块之外。
[0037]平板18的屏幕22显示由无人机的机载相机14所捕捉的场景的图像，其中叠加有允许控制各种导航参数的一定数量的符号。该屏幕是触摸屏，其允许通过操作者的手指简单地触摸显示在该屏幕上的符号(向上/向下位移、姿态控制，等等)来激活驾驶命令。这些动作是由将其转换为旨在送给无人机(在数据交换W1-Fi接口上发送)的命令信号的应用软件来进解释的。相反地，来自无人机10的(由W1-Fi接口接收)的飞行数据被递送给应用软件以供在其中处理并且可能被显示在平板的屏幕22上。
[0038]从平板的触摸屏产生命令在此仅是可选的，不同的命令通过控制台20的各种按钮和控制杆上的操作被复制和补充。
[0039]更确切地说，控制台20包括支撑件24，其使得将平板18在操作者面前固定在控制台上成为可能，以便操作者能够看到屏幕22的整个表面。控制台20的主体在每一侧由配备有各种控制件的手柄26来延伸，该控制件诸如是布置在操作者手指可以触及范围内且每一者都关联于特定命令(起飞/着陆、返回到起始点、触发记录由相机所捕捉的场景，等等)的“操纵杆”类型的杆28和按钮30。控制台20还配备有各种发光指示器32(无人机的电池水平、记录进行中、接收到的来自无人机的无线信号的强度，等等)以及允许插入附件的连接电路(未示出)，这些附件中包括具有集成屏幕的虚拟现实眼镜，它可用以替代平板的视觉显示屏22。作为一种变型，附件可以通过无线通信与控制台进行通信。
[0040]控制台20还配备有远距离定向W1-Fi天线34，当操作者在手持遥控控制台20时，他将该天线指向无人机10。具体而言，该W1-Fi链路向无人机传达旨在送给无人机10的驾驶控制、方向的角度分量数据(用户在沉浸模式下希望在该方向上查看由相机14所拍摄场景)(如下文将被描述的)，以及从无人机传达来自相机的视频信号(在此其由上述处理装置在无人机中构建)。在优选的实施例中，无线链路易于在两个频段中操作，例如具有不同的传输特征和方向性的2.4和5.2GHz。
[0041]控制台20还装备有磁力计，优选地是3轴磁力计，使得确定其相对于磁北的航向成为可能。有利地，该磁力计属于惯性单元38，该惯性单元38优选地包括3轴加速度计、3轴陀螺仪和上述提到的磁力计。
[0042]控制台进一步包括能够递送其自身GPS坐标的GPS模块39，尤其是用于诸如以下所解释的目的。参照图2，示出了控制台20，连同通过本文以上描述的有线或无线链路连接到该控制台(从而构成双向通信通道)的虚拟现实眼镜40。
[0043]例如，该眼镜是美国加利福尼亚州门罗帕克的Oculus公司销售的Oculus Rift(注册商标)型(其通过HDMI和/或USB链路连接到控制台20)，或者是Zeiss VR One(注册商标)型的眼镜，后者包括了便携式电话来代替平板18且与控制台20的链路是无线链路。
[0044]控制台20被适配成在上行链路方向上与眼镜40进行通信，以使后者显示视频图像。在最简单的实施例中，该图像是显示在平板的可视化屏幕22上的图像的副本。
[0045]本发明的一般原理在于以任何已知的方式但优选地在眼镜的显示屏上向驾驶员发送信号，即，控制台并且因此其定向天线相对于无人机的良好对准或不良对准的指示。
[0046]参照图3，示出了无人机10以及包含配备有平板18的控制台20的地面站16。在该附图中，为简便起见，考虑作为第一近似，磁北(磁力计的基准)和地理北(GPS坐标的基准)被合并，北由N指示。
[0047]线CC表示控制台20的航向，且角α表示控制台航向相对于北(在三角方向上的正值)所形成的角度。“航向”一词将以其通常的含义被理解，尤其在导航领域中，即运动物体被定向(或指向)的前方。航向可以通过该运动物体的主轴和北方(地理的或地磁的)的角度来被量化。在目前的情况下，航向是控制台20指向的方向，其是位于控制台的正中面(对称平面)中的方向并且还对应于定向天线34的辐射图的主瓣的方向。
[0048]线D表示无人机的方向，即连接无人机10的参照系的中心(位置Pd)和控制台20的参照系的中心(位置Pc)的线。无人机和控制台的GPS坐标使得确定该线并且因此确定该线D相对于北N的角度β(在此在三角方向上为负值的数值)成为可能。
[0049]因此可以理解，无人机10相对于控制台20的角坐标等于这两个角度的代数值之差，即γ=β-α(在此，绝对值α+β，考虑了相反的符号)。如将看到的，该角度γ的值使得将无人机在角度上过度远离控制台航向CC的情况用信号通知给驾驶员成为可能，从而允许他执行必须完成的校正动作(控制台的重定向)。
[0050]现在参照图4，将详细描述使得实现该功能成为可能的处理过程。
[0051 ] 在步骤410，控制台20的GPS模块39生成该控制台20的GPS坐标。在步骤420，无人机的GPS模块15生成该无人机的GPS坐标并经由无线链路将其发送到控制台。在步骤430，地面站16(位于控制台20或平板18中)的处理装置计算出穿过无人机和控制台的线D相对于北(在此为地理北)的角度β。
[OO52 ]在步骤440，控制台的磁力计38确定控制台航向CC与北(在此为磁北)的角度α。
[0053]在步骤450，这两个角度值(取向值)彼此相减以生成无人机10相对于控制台航向CC的角坐标γ (步骤451)。有利地，地理北和磁北之间的偏移(磁偏角)的管理被集成于该操作中。
[0054]在控制台20与无人机10之间的无线链路实现诸频段或更一般而言诸技术，使得天线的方向性随着模式的变化而变化的情况下，步骤460根据当前活动链路模式来确定角模板，从而使得可能将无人机相对于控制台航向CC被合适地定位的情况与无人机的位置使得无线链路易于质量变差甚至丢失的情况区分开。
[0055]例如，在2.4GHz频带中的W1-Fi链路的情况下，如果无人机相对于控制台航向(名为模板的扇区)位于± 80°的扇区内，则其被认为定位良好。但在5.2GHz频带的W1-Fi链路的情况下，该角扇区仅为±30°。在低收到信号的情况下(对应于例如仅两个指示LED被点亮(I红和I白))，该模板的开口角可被限制，例如根据所用频带被限于±40°或±15°。
[0056]在步骤470，处理装置将在步骤450所生成的γ值与要被用于活动无线链路的模板进行比较。
[0057]在该值被包含在模板中的情况下，下面的步骤480确定接收自无人机10的信号的强度(水平)，记为RSSI，并将其与阈值进行比较。如果信号强度低于该阈值，则这意味着例如无人机和控制台之间的距离明显足够，并且因此无人机不仅需要位于该模板中而且还需尽可能接近控制台航向CC。在这种情况下，控制台和无人机相互位置的视觉信令，如在下文将被描述的，必须被激活，然而在相反的情况下没有视觉信令被触发。
[0058]在步骤470显示无人机相对于控制台航向CC的角位置γ在模板之外的情况下，则该过程转到步骤490。在该步骤中，从无人机接收的无线链路信号的RSSI强度也与阈值进行比较。优选地，该阈值高于针对步骤480使用的阈值。在信号高于阈值的情况下，没有视觉信令被触发。在实践中，这在大多数时间将意味着无人机10相对于控制台20的未对准是明显的，但是无人机足够接近控制台，使得无人机与控制台之间的无线链路的质量保持令人满意。反之，在信号强度低于阈值的情况下，视觉信令(如下详述)被触发。在该情况下，该信令除了包括无人机相对于控制台航向的位置的指示，还包括旨在通过使驾驶员自己在某个方向转身以促进控制台回到与无人机对准的指示，如下将被详细解释的。
[0059]视觉信令的触发可以伴随着声音信令、振动等等，以吸引驾驶员的注意力，使其注意迅速校正控制台相对于无人机的位置的对准的必要性。
[0060]参照图5，现在将描述可在本发明中实现的视觉指示的示例。该附图显示了由无人机10上的机载相机14拍摄并在虚拟现实眼镜40中呈现的图像I。
[0061 ]无人机的“模板外”情况的视觉信令在所有的情况下包括具有表示驾驶员自身在导航空间中的位置的中心Ce的圆C。无人机10相对于控制台航向CC的角位置(角γ )通过被置于圆C的相应位置处的无人机图标或象形图(称为Id)来示出。有利地，在该系统管理与若干无线通信模式相对应的若干模板的情况下，该信令还包括当前活动模板的表示。该表示在此是圆扇区G的形式，该扇区与模板的角延伸相同。
[0062]在一实施例中，该扇区可被着色，该颜色可以根据所需校正的紧急性(这本身可通过从无人机10接收到的无线通信信号的强度来反映)而变化。
[0063]在图5的表示中，无人机相对于无人机的航向(它对应于模板G的角平分线)位于朝右大约45°的位置，且模板G具有± 30°的宽度。
[0064]此外，在无人机10位于模板之外且信号水平不足的情况下，如以上参考步骤490所详细描述的，实现附加的视觉信令，例如作为沿着屏幕相应边缘来定位的方向箭头。在所示的示例中，在信号不足的情况下，有必要使控制台右转(在图3中的顺时针方向)，其是指向右侧的箭头Fl并且沿屏幕的右侧边缘来定位。这一箭头(它指示驾驶员转向一个或另一个方向)也准许向他指示将他自己定向朝向无人机的最小位移/转身。
[0065]其它箭头F2、F3、F4可以根据无人机相对于控制台的偏差而选择性地被显示。
[0066]将在本文中观察到，根据控制台天线34的方向性模式，仅生成偏航偏差(通过控制台绕垂直轴旋转)，或者偏航和俯仰两者的偏差(通过不仅绕垂直轴还绕垂直于控制台航向CC的水平轴旋转)。在第一种情况下，仅有横向箭头Fl和F2的一个或另一个能被显示。在第二种情况下，？1、？2小3、？4中的一个将被显示。
[0067]应当注意的是，为此，俯仰偏差的管理是容易地实现的，因为归因于海拔被GPS坐标系统所考虑的事实，以及因为在该情况下的基准(即，水平面)是通过集成到控制台的磁力计获或者通过同样集成到控制台的陀螺仪获得的。
[0068]当然，本发明不以任何方式受限于所描述和图示的实施例，并且本领域技术人员将能够带来许多变型和对它的修改。具体而言:
[0069]-它适用于各种类型的无人机:用于调查、休闲或其它目的，悬浮或不悬浮的，并且适用于任何类型的虚拟现实眼镜；
[0070]-用于检测无人机相对于控制台的位置以及用于在所呈现的图像中生成显示的处理操作可以按任何所需的方式分布在控制台20、平板18以及虚拟现实眼镜40(在后者包括处理装置(尤其是图形处理器)的情况下)之间；
[0071]-虚拟现实眼镜可以包括专用显示系统或市售智能终端，诸如附加到眼镜的智能电话或平板。
【主权项】
1.一种用于沉浸式驾驶无人机的系统，包括配备有成像装置(14)的无人机(10)以及通过无线链路与所述无人机通信的地面站(16 )，所述地面站包括: -配备有适配成指向所述无人机以维持所述无线链路的质量的定向天线(34)的控制台(20)，和 -呈现通过所述成像装置拍摄并通过所述无线链路从所述无人机传送的图像(I)以及包含在所呈现的图像中的视觉指示的虚拟现实眼镜(40)，所述系统的特征在于，所述系统进一步包括: -用于确定所述控制台的航向(CC)与所述无人机的方向(D)之间的所限定的角坐标(T )的装置(15、38、39、410-450);以及 -对所述确定装置敏感的装置，以在所述视觉指示中包含所述无人机相对于所述控制台航向的偏差的指示(C、Ce、G、Id)，这一偏差指示是所确定的角坐标(γ )的函数，以便允许所述控制台的用户执行将所述控制台重定向以减小所述角坐标(T )的校正动作。2.如权利要求1所述的系统，其特征在于，所述位置确定装置包括确定所述控制台航向的磁力计(38)。3.如权利要求1所述的系统，其特征在于，所述位置确定装置包括配备在所述无人机(10)和所述地面站(16)中的GPS定位模块(15、39)，以及用于确定所述无人机，对应于经过所述无人机和所述控制台的线(D)，相对于方向北(N)的定向的处理装置(430)。4.如权利要求2或3所述的系统，其特征在于，用于确定所述角坐标(γ)的所述装置包括用于将所述控制台航向(CC)的航向角(α)和所述无人机定向(D)的对应角(β)相减的装置。5.如权利要求1所述的系统，其特征在于，所述位置确定装置包括用于将所述无人机相对于所述控制台的航向(CC)的角位置与对应于角扇区的角模板(G)进行比较的装置(470)，所述角扇区以所述航向为中心，在所述角扇区之外，所述无线链路易于质量变差或者丢失。6.如权利要求5所述的系统，其特征在于，所述无线链路被适配成在与所述天线(34)的不同方向性相对应的至少两种模式之一中操作，并且所述系统还包括用于根据所述无线链路的活动模式来选择良好接收的角模板的装置。7.如权利要求5所述的系统，其特征在于，进一步包括对从所述无人机接收到的无线链路信号的水平敏感以选择性地包括或不包括所述视觉指示的装置(480、490)。8.如权利要求7所述的系统，其特征在于，在所述无人机的角位置被包含在所述角模板中但所述信号的水平低于预定阈值的情况下所述视觉指示被包括，在所述无人机的角位置未被包含在所述角模板中但所述信号的水平高于预定阈值的情况下所述视觉指示不被包括。9.如权利要求1所述的系统，其特征在于，所述视觉指示包括所述控制台和所述无人机的相对位置的视觉信令连同表示良好接收的角模板的圆扇区(G)，以及其位置表示所述无人机相对于所述模板的角位置的象形图(Id)。10.如权利要求9所述的系统，其特征在于，所述视觉指示还包括一组方向箭头(F1-F2;F1-F4)，其中每一个都能被选择性地显示以指示所述控制台的所需位移方向，以便使所述控制台航向(CC)朝向所述无人机的方向(D)，所述方向箭头包括向左和向右(F2、F1)和/或向上和向下(F3、F4)的箭头。
【文档编号】G05D1/10GK106094863SQ201610490916
【公开日】2016年11月9日
【申请日】2016年4月22日
【发明人】H·塞杜, N·布鲁莱, A·费朗德
【申请人】鹦鹉无人机股份有限公司