无人机的沉浸式导航系统的制作方法
【专利摘要】一种无人机的沉浸式导航系统，该系统包括无人机和具有适于指向无人机的控制台的地面站，以及显现由无人机的摄像机取得的图像的虚拟现实眼镜。该系统还包括根据从地面站接收的成帧指令修改由成像工具取得的图像的成帧的装置。其还包括周期性地详细拟定眼镜方向与控制台方向之间的角度差的相对航向确定装置(304?324)以及根据所述角度差详细拟定无人机的成帧指令的装置(316)。因此，避免当用户简单将控制台和包括头部的全身转向无人机以在其移位上跟随无人机时发生成帧的突然变化。
【专利说明】
无人机的沉浸式导航系统
技术领域
[0001]本发明涉及诸如四螺旋桨直升机等等的旋翼无人机。
[0002]这种无人机设有通过相应马达驱动的多个旋翼，马达可以以不同的方式受控制以导引无人机的高度和速度。
【背景技术】
[0003]AR.Drone 2.0或法国巴黎Parrot SA的Bebop Drone是这种四螺旋桨直升机的典型实例。它们装备有一系列传感器(加速度计、3轴陀螺测试仪、高度计)、捕捉无人机朝向的场景的图像的前摄像机以及捕捉所飞过地面的图像的垂直视角摄像机。
[0004]WO 2010/061099 A2和EP 2 364 757 Al (Parrot SA)描述了这种无人机及其通过具有集成加速度计的、例如iPhone型的手机或iPad型(美国苹果公司的注册商标)的多媒体平板电脑等触摸屏多媒体电话或媒体播放器进行导航的原理。这些装置包含探测导航命令和通过W1-Fi(IEEE 802.11)或蓝牙(注册商标)局域网类型的无线链路与无人机双向数据交换所需的各种控制元件。它们还设有显示通过无人机的前摄像机捕捉的图像的触摸屏，其中，该触摸屏以叠加方式具有通过用户手指在触摸屏上的简单接触来激活命令的若干符号。
[0005]无人机的前视频摄像机可以特别用于在“沉浸模式”或FPV(第一人称视角)模式下的导航，即，在该模式下，用户以好像他自己在无人机上的相同方式使用摄像机的图像。其还可用于捕捉无人机指向的场景的图像序列。用户因此可以以与由无人机搭载而非手持的摄像机或摄像录像机相同的方式使用无人机。所采集的图像可以被记录、播放、在线放到视频托管网站上、发送给其它因特网用户、在社区网络上共享等。
[0006]在由
【申请人】销售的Bebop Drone系统中，用户在以名称Skycontroller销售的地面站上直接可以看到由无人机取得的图像，并且可以通过地面站装备有的iPad型平板电脑的触摸界面来控制摄像机的视角。该视角命令作用于由鱼眼类型摄像机取得的图像的数字帧(framing)和失真校正处理，以模仿摄像机轴线的朝向左边、右边、上面和下面的物理运动。
[0007]此外，地面站具有视频输出，以用于联系在沉浸模式下的导航的FPV眼镜。
[0008]然而，只要所显示的图像仅依赖于使用者的触摸命令而没有考虑用户的位置以及尤其是其头部的位置，这种沉浸模式会达到其极限。
[0009]本发明在包括无人机、地面导航站和FPV眼镜的系统中旨在允许自然引导无人机，同时允许用户以特别简单、直观且无干扰的方式修改视频图像中所显现的图像的帧。
[0010]US 8 903 568 BI提出了根据用户头部的运动来引导无人机或携带摄像机的可定向支架，所述运动是由安装在眼镜上或在由用户佩戴的耳机上的传感器探测到的运动。通过将其头部转向一边或者向上或向下转动，用户因此可以控制无人机高度或摄像机方向的变化。
[0011]然而，当用户用包括头部的其全身将控制台转向无人机以例如跟随该无人机的移位时，该系统没有避开无人机高度或摄像机方向的突然变化。实际上，这种转动被系统解释为旨在产生命令的转动，而其不是用户的意图，使得用户将快速失去其标记，从而无人机变得不能沿所需方向导航。
[0012]这是本发明要努力解决的问题。
【发明内容】
[0013]为此，本发明提供了上述US8 903 568 BI中公开的一般类型的无人机导航系统，即包括设有成像工具的无人机和通过无线链路与无人机通信的地面站的无人机导航系统。地面站包括适于指向无人机以保持无线链路的质量的控制台和显现由成像工具取得的并通过无线链路从无人机传输的图像的虚拟现实眼镜。系统还包括根据从地面站接收的成帧指令来修改由成像工具取得的图像的成帧的装置。
[0014]本发明的特征是，系统还包括:
[0015]用于周期性地详细拟定眼镜方向与控制台方向之间的角度差的相对航向确定装置，以及
[0016]根据所述角度差为无人机详细拟定(elaborate)成帧指令的装置。
[0017]因此，该系统仅当用户头部绕偏航轴(横向)且优选地也绕俯仰轴(向上和向下)相对于控制台且因此相对于其全身转动时引起成帧，而当用户用包含头部的其全身转动控制台时不引起成帧，控制台相对于用户全身保持和/或固定。
[0018]该系统还可选地包括下列有利特征，这些特征单独地采用或根据本领域技术人员会认为技术上兼容的任何组合来采用:
[0019]-相对航向确定装置包括与地面站相关联的惯性单元和用于确定控制台相对于参考点的航向的处理装置；
[0020]-与控制台相关联的惯性单元包括磁力计，并且参考点由磁北构成；
[0021]-相对航向确定装置包括与眼镜相关联的惯性单元和确定相对于参考点的眼镜航向的处理装置；
[0022]-与眼镜相关联的惯性单元包括磁力计，并且参考点由磁北构成；
[0023]-该航向确定装置包括:通过眼镜中产生的速度和/或加速度数据的结合来估算眼镜航向的装置;初始化装置，用以当控制台与眼镜之间的航向的物理对应被操作员触发时确定控制台航向与所估算的眼镜航向之间的偏移量；以及从所估算的航向和偏移量来确定校正的眼镜航向的装置；
[0024]相对航向确定装置包括使控制台航向的角度值与眼镜航向的角度值之间相减的装置；
[0025]控制台方向和眼镜方向包括至少一个偏航方向和/或俯仰方向；
[0026]成帧修改装置包括用于将由成像工具取得的鱼眼类型的固定视频图像进行成帧和校正的数字处理装置；
[0027]该系统还包括将无人机航向指示符叠加到虚拟现实眼镜中所显现的图像的装置。
【附图说明】
[0028]现将参照附图描述根据本发明的无人机与地面站之间的图像传输的系统的示例性实施例，其中，在所有图中，相同的附图标记表示相同或功能类似的元件。
[0029]图1示意性示出本发明有利地应用于的市场的无人机和地面站单元。
[0030]图2a和图2b示出了对于用户头部的两个不同角位置的、由根据本发明的沉浸模式导航眼镜补充的图1的单元。
[0031]图3是由本发明的系统执行的基本功能的逻辑图。
【具体实施方式】
[0032]现将描述本发明的装置的示例性实施例。
[0033]根据本发明的沉浸式成像(第一人称视角)系统包括装备有至少一个成像摄像机的无人机、通过合适范围的无线链路与无人机通信的地面站以及虚拟现实眼镜，该虚拟现实眼镜设有以最现实的可能方式在用户眼前显现给其在无人机上飞行的感觉的图像的工具(在第一人称视角或FPV模式下说明的飞行)。
[0034]在该实例中，无人机包括具有鱼眼类型镜头的单个摄像机，但作为变型可以包括一组摄像机，以及数字处理工具，该数字处理工具位于飞机上并/或设置在地面站中，使得能够结合各个摄像机的图像。
[0035]在图1中，附图标记10总地标示无人机，例如四螺旋桨直升机类型的飞行无人机，诸如法国巴黎Parrot SA的Bebop型号。该无人机包括四个共面旋翼12，其马达通过集成导航和高度控制系统独立引导。无人机还包括使得能够得到无人机指向的场景的视频图像的前视角摄像机14，例如具有分辨率1920x 1080像素的CMOS传感器的高清摄像机，该高清摄像机具有与鱼眼类型的大角度镜头相关联的30fps(帧/秒)的视频流的刷新频率。
[0036]无人机还具有适于使根据用户希望看到的方向由无人机取得的图像实时或几乎实时成帧的图像处理和校正装置，如下文会看见的。
[0037]无人机通过包括与平板电脑18相关联的遥控控制台20的地面站16导航。
[0038]平板电脑18是包括可视屏幕22的例如iPad型(注册商标)等的传统平板电脑，并且，引导无人机10并使由机载摄像机14取得的图像可视的应用软件已经被载入平板电脑中。平板电脑18还装备有例如W1-Fi类型的数据交换无线电接口。其是除了载入应用软件模块外未作修改的标准型号的平板电脑。
[0039]平板电脑18的屏幕22显示由无人机的机载摄像机14捕捉的场景图像，其中，该图像叠加允许控制各种导航参数的若干符号。该屏幕是允许通过操作员手指在屏幕上所显示的符号上的简单接触来激活导航命令的触摸屏(上移/下移、高度控制等)。这些动作被将其转化成用于无人机、在数据交换W1-Fi接口上发送的控制信号的应用软件解释。反之，由W1-Fi 接口接收的来自无人机 10 的飞行数据传输到应用软件以在其中处理并可能显示在平板电脑的屏幕22上。
[0040]然而，来自平板电脑的触摸屏的命令的产生在此仅辅助地使用，从而不同命令通过在控制台20的各种按钮和操作杆上的动作来复制和补充。
[0041 ]更确切地说，控制台20包括支架24，支架24使得能够将平板电脑18固定到在操作员面前的控制台，以便操作员可以看见屏幕22的整个表面。控制台20的主体通过手柄26在每一侧上延伸，手柄26设有的各种控制构件，诸如“操纵杆”类型的操作杆28和布置在操作员手指能够到的范围内的按钮30，并且每个控制构件与特定命令(起飞/着陆、返回到出发点、触发由摄像机捕捉的场景的记录等)相关联。控制台20还设有各种发光指示灯32(无人机电池量、记录进度等)，以及连接布置(未示出)，该连接布置允许插入作为例如具有可用作平板电脑的虚拟显示屏22的替代的集成屏幕的虚拟现实眼镜的附件。作为变型，附件可以通过无线通信与控制台通信。
[0042]控制台20还设有远程定向指向式W1-Fi天线34，使得操作员当其将遥控控制台20拿在手中时指向无人机。该W1-Fi链路具体地向无人机传输用于无人机10的导航控制、方向的角分量数据，根据该方向，用户沉浸地希望看到由摄像机14取得的场景(如将在下文中描述的)，并从无人机传输在此由上述处理装置在无人机中成帧的、来自摄像机的视频信号。
[0043]最后，控制台20装备有惯性单元38，惯性单元38优选地包括3轴加速度计、3轴磁力计和3轴陀螺测试仪。
[0044]参照图2a和2b，示出了控制台10，其中，虚拟现实眼镜40通过构成双向通信信道的连接线或如上所述的无线链路连接到控制台。
[0045]例如，眼镜属于通过HDMI和/或USB连接线连接到控制台20的由美国加州门洛帕克市Oculus公司销售的Oculus Rift(注册商标)型或者Zeiss VR One(注册商标)型的眼镜，Zeiss VR One(注册商标)型的眼镜包含代替平板电脑18的移动式电话，并且与控制台20链接的链路则是无线链路。
[0046]控制台20适于沿上行方向与眼镜40通信，使得眼镜40显示视频图像。在最简单实施例中，该图像是显示在平板电脑的可视屏幕22上的图像的副本。
[0047]在该第一实施例中，眼镜40装备有用附图标记42示意性标示的惯性单元，该惯性单元以本身已知的方式包括3轴陀螺测试仪、3轴加速度计和3轴磁力计。
[0048]根据本发明，由惯性单元递送的测量结果通过下行通信信道传给控制台20以便控制由无人机1的摄像机14显现的图像的成帧。
[0049]本发明的一般原理在于:当用户转动其头部时，使用由惯性单元42提供的信号来确定头部的运动并从其推断出后者的转动角，该转动角优选地由俯仰角分量(向上、向下)和偏航角分量(向左、向右)组成。
[0050]控制台传输无人机10的这两个角分量的值，使得后者执行对由其摄像机14取得的大角度图像进行成帧和校正的处理以使所显现的图像适于用户头部转向的方向。
[0051]然而，明显地，这个功能是有问题的。实际上，本文上述的无人机10和地面站16系统规定:控制台的天线34适当定向成至少大致在无人机的方向上。这导致用户转动支撑地面站16的其全身以及因此其头部，以当后者移动时跟随无人机的位置。
[0052]现在，必须避免的是，这种转动被系统解释为:为了看向左边或右边、和/或向上或向下看而进行的头部的转动。
[0053]如果图像的成帧因此跟随带控制台的用户的全身转动，则用户将快速失去其标记并且无人机将变成不能沿所要方向导航。
[0054]根据本发明，为了修改由无人机的摄像机14取得的图像的成帧，系统将确定在虚拟现实眼镜40与控制台20之间的在偏航方向和俯仰方向上的相对角位置，并且基于这些数据控制图像的成帧。
[0055]现将参照图3描述为此执行的不同操作。
[0056]首先，在步骤302，系统确定连接到地面站的眼镜40是否设有确定眼镜的绝对方向(相对于磁北)的自主工具，即设有磁力计和加速度计以及根据情况而定陀螺测试仪的惯性单元。以肯定的方式，在步骤304，来自磁力计的数据投射(pro ject)到用加速度计数据得到的重力信息，这使得能够在步骤306时确定在不仅俯仰方向而且偏航方向上的眼镜航向。
[0057]这些数据通过下行通信信道传给地面站16。在地面站中，合并到控制台20的惯性单元38的数据用在步骤308中，以用于在步骤310时产生相对于磁北的控制台航向的值。
[0058]在步骤312，眼镜航向值从下行传输信道采集，并且在步骤314，从控制台航向值减去。
[0059]在这种差在例如几度(图2a的情况)的误差率范围内等于零的情况下，意味着用户在其面前看起来正确，并且由摄像机取得的鱼眼图像的成帧在摄像机的光学轴线上、即以居中的方式进行。这在图2a的上部分中通过无人机航向指示符CD的叠加到图像的显示示出，无人机航向指示符CD例如作为圆，对应于摄像机的光学轴线和无人机10的移位主轴线以及因此图像的光学中心。该指示符在此位于(不仅在平板电脑18的显示装置22上而且在眼镜44的显示装置上)所显示图像的中心。
[0060]在用户已经将其头部转向左边而没有转动其身体(控制台航向因此没有变化)的情况下，如图2b所示，则步骤314确定眼镜航向和控制台航向之间的对应差。这个差在此具体化，其中，航向通过在俯仰方向上的差的角分量和在偏航方向上的差的角分量来不仅在俯仰方向而且偏航方向上确定，并且在步骤316这些分量被送到无人机10，使得在后者中的图像处理确保由摄像机14取得的鱼眼图像的对应成帧，该成帧图像被传给地面站16，地面站16自身将成帧图像传给虚拟现实眼镜40。
[0061]这在图2b的上部示出，其中显示在显示装置22上和眼镜40上的成帧图像全部位于无人机航向指示符⑶的左边上。
[0062]在前面步骤描述的航向差测量定期进行，例如每秒10至100次，以每次调整由摄像机14取得的图像的成帧并显现在地面站16上和眼镜40上的成帧图像。
[0063]在另一方面，当用户全身和头部以及地面站16作为同一单元转动(尤其是以调整天线34向无人机10的方向)时，其引起图像不成帧。
[0064]现将描述可用于虚拟现实眼镜没有装备磁力计的情况下的本发明的替代实施例。
[0065]这种实施方式可以例如通过提供在平板18的板载软件中的眼镜型识别模块来进行，系统能够从该眼镜型识别模块确定哪个类型的位置和/或运动和/或加速度探测装置装备连接到地面站16的眼镜(使其自身以本身传统的方式具有不可改变标识符的设备类型)。
[0066]因此，在此，与上述过程相比，步骤302确定不同型号的这时所连接的眼镜装备有陀螺测试仪和加速度计，但没有磁力计(步骤318)。
[0067]应当理解，在这种情况下，系统不能确定眼镜的绝对航向。
[0068]在这种情况下，系统定期(步骤320)通过执行来自加速度计和陀螺测试仪的信息的时间积分来执行对眼镜航向的估算。
[0069]在步骤322，执行初始化，根据该初始化要求用户将眼镜航向(由头部的方向确定)与控制台20航向对准，接着按压控制台20的按钮(或平板电脑18的确定触摸区)。
[0070]在这瞬间，此时测得的在估算的眼镜40航向与控制台20航向之间的差被确定并测量以用作偏移量值(步骤324)。
[0071]然后，在步骤306时，通过将在步骤324确定的偏移量应用于仍在步骤320所获得的眼镜航向的估算值来计算当前航向值。
[0072]接着，过程如上所述继续。
[0073]当然，本发明不限于所述和所示的实施例，并且本领域技术人员将能够对其作出很多变型和修改。具体是:
[0074]-其应用于悬停或不悬停的各种类型的无人机，用于检查、休闲或其它目的；
[0075]-其应用于包含惯性单元或至少一个加速度计和一个陀螺测试仪(2轴或3轴)的或者具有惯性单元或至少一个加速度计和一个陀螺测试仪(2轴或3轴)的不同模块固定在其上的任何类型的虚拟现实眼镜；
[0076]-根据头部相对于控制台的位置的图像成帧至少根据偏航角且优选地根据偏航角和俯仰角并且根据具体情况而定也考虑横摇角来进行；
[0077]-图像成帧可以是软件类型的，来自由视频摄像机14取得的鱼眼图像(以本身已知的方式，通过曲线的校正处理)；或者可以是硬件类型的，摄像机接例如安装在机动吊架上，摄像机的光学视角根据在步骤316从地面站接收的在偏航方向和俯仰方向上的角分量调整；
[0078]-无人机可以不是装备单一摄像机，而是装备有相同或不同清晰度的一组摄像机，该一组摄像机具有不同光学视角并且其图像结合以产生显示在眼镜40中和如果需要的话在显示装置22上的图像；
[0079]根据用户头部相对于控制台的角度的图像进行成帧和校正的处理操作可以在无人机中、在地面站中进行，或者在两者之间分配;如果虚线现实眼镜具有设有这种能力的数字处理装置，则这些处理操作的一部分也可以由眼镜处理；
[0080]虚拟现实眼镜可以包括添加到眼镜上的专用显示系统或可在市场上买到的智能终端，诸如智能手机或平板电脑。
【主权项】
1.一种无人机沉浸式导航系统，包括设有成像工具(14)的无人机(10)和通过无线链路与所述无人机通信的地面站(16、40)， 所述地面站包括:控制台(20)，所述控制台(20)适于指向无人机以保持无线链路的质量;和虚拟现实眼镜(40)，所述虚拟现实眼镜(40)显现通过所述成像工具取得并通过所述无线链路从所述无人机传输的图像， 所述系统还包括根据从所述地面站接收的成帧指令修改由所述成像工具(14)取得的所述图像的成帧的装置， 所述系统特征在于，其还包括: 相对航向确定装置(302-324)，所述相对航向确定装置(302-324)用于周期性地详细拟定所述眼镜方向与所述控制台方向之间的角度差，以及 用于根据所述角度差来详细拟定所述无人机的成帧指令的装置(316)。2.如权利要求1所述的系统，其特征在于，所述相对航向确定装置包括与所述地面站相关联的惯性单元(38)和用于确定所述控制台相对于参考点的航向的处理装置。3.如权利要求2所述的系统，其特征在于，与所述控制台相关联的所述惯性单元(38)包括磁力计，并且所述参考点由磁北构成。4.如权利要求2所述的系统，其特征在于，所述相对航向确定装置包括与所述眼镜相关联的惯性单元(42)和确定相对于参考点的眼镜航向的处理装置。5.如权利要求4所述的系统，其特征在于，与所述眼镜相关联的所述惯性单元(42)包括磁力计，并且所述参考点由磁北构成。6.如权利要求2所述的系统，其特征在于，所述航向确定装置包括:通过所述眼镜中产生的速度和/或加速度数据的结合来估算所述眼镜航向的装置(320);初始化装置(322)，用于当所述控制台与所述眼镜之间的航向的物理对应被操作员触发时确定所述控制台航向与所估算的所述眼镜航向之间的偏移量；以及从所述估算航向和所述偏移量来确定校正的所述眼镜航向的装置(324)。7.如权利要求2所述的系统，其特征在于，所述相对航向确定装置包括使所述控制台航向的角度值与所述眼镜航向的角度值之间相减的装置(314);8.如权利要求1所述的系统，其特征在于，所述控制台方向和所述眼镜方向包括至少一个偏航方向和/或俯仰方向。9.如权利要求1所述的系统，其特征在于，所述成帧修改装置包括用于将由所述成像工具(14)取得的鱼眼类型的固定视频图像进行成帧和校正的数字处理装置。10.如权利要求1所述的系统，还包括用于将无人机航向指示符(CD)叠加到所述虚拟现实眼镜中所显现的图像的装置。
【文档编号】G05D1/00GK106054870SQ201610217313
【公开日】2016年10月26日
【申请日】2016年4月8日 公开号201610217313.1, CN 106054870 A, CN 106054870A, CN 201610217313, CN-A-106054870, CN106054870 A, CN106054870A, CN201610217313, CN201610217313.1
【发明人】N·布鲁莱, A·费朗德, H·塞杜
【申请人】鹦鹉无人机股份有限公司