控制无人驾驶运输工具的方法和改造可远程控制的无人驾驶运输工具的附加模块与流程

本公开涉及一种具有权利要求1的前序部分的特征的、用于控制无人驾驶运输工具的方法。另外，本公开还涉及一种具有权利要求12的特征的、用于改造可远程控制的无人驾驶运输工具的附加模块。

背景技术：

直至若干年前，仍是由直升机进行特别是tv天线信号的测量。根据这种测量，应确定是否存在信号未穿透的地理区域，以及在相应天线模块中是否可能存在干扰。在近几年里，更多地为这种测量使用飞行器。在现有技术中，大多用传统远程控制系统，控制这些飞行器。市售无人机在此大多装备有测量仪，以便首先进行测量，随后处理记录在存储器中的数据并且以水平和竖直天线辐射图的形式，对其进行图表显示。修订在此不是实时完成的，而是在无人机着陆后并且可以对应地选择存储器后，才能进行后处理。目前所使用的用于进行测量的无人机系统更多地针对尽可能高的测量值质量，以及直观控制或者所收集的数据的用户友好的呈现。

在现有技术中，已知了多种远程控制的无人驾驶运输工具，诸如四旋翼飞行器形式的飞行器，也有远程控制的地面运输工具或者远程控制的水运工具。

在模型建造领域，目前投入使用的是使用27mhz-40mhz范围内的模拟am/fm比例控制的远程控制系统。这些远程控制系统用在船模建造、飞机模型建造和汽车模型建造中。这种系统使用基于脉宽调制(pwm)或者脉冲编码调制(pcm)的比例控制装置。这种远程控制的rc模型在购置方面是便宜的。然而，它们不具有下文中描述的明显费用高的其它无人机系统的功能性。

已知了包括摄像头和至少一个用于确定无人驾驶运输工具的定向和/或位置的传感器的无人驾驶运输工具。摄像头的图像数据和传感器的数据通过无线连接，传输至地面控制站(bks)。地面控制站又具有计算机，其中由在该计算机上运行的软件处理所接收的数据。

根据de102016011512a1，已知了一种用于控制飞行器形式的无人驾驶飞行物体的方法。这一飞行器被用于检验架空线的绝缘体。借助于支持传感器的无人机进行该检验，其中飞行器以低间距，光学地检测待检验的物体，并且通过飞行器和基站之间的数据传输进行评估。飞行器具有摄像头和/或照相机，和/或以及一个或多个传感器。飞行器可通过卫星控制的和图像控制的导航的组合自主移动。存在手动干涉控制的可能性。传感器用于检查绝缘体并且可以在电磁区域、声学区域或者多光谱光学区域进行测量。这种飞行器的控制还不是最优的。

另外，已知了在地面控制站(bks)的显示器上显示混合现实视图，其中通过使由摄像头拍摄的图像与虚拟物体叠加，形成混合现实视图。

根据us9,335,764b2，已知了一种用于控制无人机的复合方法。在此控制多个无人机。无人机通过无线电连接，与地面控制站通信。该控制系统又通过另外的无线连接，与所谓的增强现实的虚拟驾驶舱(varc)通信。每个无人机在此记录无人机的速度、加速度和定向。无人机驾驶员或者无人机副驾驶员利用该varc系统，来控制无人机，其中例如借助于操纵杆，控制无人机。在一种设计方案中，varc系统包括vr眼镜和操纵杆。控制系统从无人机处接收图像数据，并且附上增强现实元素视图，以显示给无人机驾驶员。该视图例如可以包括3d地图绘制。无人机和控制系统之间的无线电连接可以配置为卫星连接或者wlan连接。该方法花费较多，因为其既需要控制系统，也需要varc，并且这些单独的单元必须通过另外的无线电连接彼此相连。

根据us2016/0054733a1，已知了一种用于控制无人驾驶运输工具的方法。地面控制站的控制装置在此具有屏幕、输入部件和处理器。由无人机记录的图像被传输至控制装置。根据所记录并且传输的摄像头图像，控制无人机。可以通过网络连接，形成地面控制站和无人机之间的连接。无人机根据其任务，在空中巡视不同的预设路标。无人机在此可以自动接近路标，或者对其进行手动导航。在此，可以为无人机驾驶员显示由无人机拍摄的图像数据，或者由在外部布置在地面上的摄像头拍摄的图像数据，其中借助于布置在地面上的摄像头，检测无人机的飞行轨迹。另外，可以通过无人机，拍摄同样可以显示给无人机驾驶员的热图像。根据摄像头图像，驾驶员可以借助于光标，为无人机指派新的路标。由驾驶员通过光标选择的点被换算成坐标。该坐标用作无人机的新路标。

根据wo2017/131845a1，已知了根据接收的音频信号，控制无人机。分析由无人机采集的音频信号，并且在显示器上，为用户显示代表音频数据的信息。显示器可以是触摸屏。

根据同一类型的us2007/023557a1，已知了用于控制无人驾驶运输工具的不同可能性。一方面已知了，借助于安装在无人机上的摄像头，记录图像，并且基于所传输的图像数据，控制无人机。另外，描述了，基于纯虚拟的视图控制无人机，其缺点在于，当真实世界改变，但这一改变没有反映在虚拟现实中时，无法很好地控制无人机。另外，描述了，基于增强现实视图控制无人机，其中由无人机的摄像头记录的图像与虚拟环境模型叠加。

技术实现要素：

因此，本公开的目的在于，优化这种类别的方法。

本公开的这一目的现在通过一种具有权利要求1的特征的方法得以实现。

作为虚拟物体，显示了三维渲染的路标，其中在渲染过程中，使用了虚拟摄像头，并且其中虚拟摄像头的定向和位置持续地适应于真实摄像头的定向和位置。在渲染虚拟3d物体的过程中，在地面控制站的软件中计算了虚拟的摄像头，其中位置和定向以及所选的图像剪裁都依照无人机的真实摄像头。由此可以与实际视频录制叠加地渲染3d物体，并且作为统一的图像，显示给驾驶员。路标的显示尺寸现在随着无人机或者说运输工具距路标的距离而改变。由此，简化了对驾驶员的导航。在到达路标时，优选地改变路标的颜色。

实时地显示路标的三维形状。优选地通过网格(mesh)描述路标的3d形状。网格优选是多边形网格。3d路标优选地具有纹路。纹路以图像形式显示在网格上。可以考虑为路标使用不同的纹路和/或材料，例如金属、毛发、混凝土、石头等。优选地，定义了照亮3d路标的至少一个光源。光线与3d路标交互作用，其中由材料/纹路反射光线。在渲染过程中，优选地使用阴影着色器，该阴影着色器在渲染过程中计算该3d效应。

3d路标可以与其它路标或者用户，即无人机交互作用。如果飞行器与3d路标相撞，则例如可以改变3d路标的形状、颜色或纹路，或者3d路标可以淡出或者被删除。因此，询问飞行器是否与3d路标相撞。

可以激励3d路标。3d路标自身可以移动或者改变其形状和/或纹路。可以根据路标彼此间的位置和/或根据无人机相对于3d路标的位置，实现这一激励。3d路标因此可以具有人工智能，该人工智能通过编程的脚本在该方法中转换。3d路标与软件中的其它3d路标的信息和状态以及无人机的位置相关联，由此可以借助于脚本，触发无人机和3d路标之间和/或3d路标彼此之间的交互作用。3d路标可以激活事件或者被事件激活。

可以为每个3d路标分配有3d音源，其中根据飞行器相对于音源的位置和/或定向，不同地再现音频信号。由此，可以为了用户/无人机驾驶员简化3d路标的操控，因为不仅可以通过视觉显示测定路标的方位，还可以在听觉上测定路标的方位。举例而言，当飞行器到达3d路标或者靠近3d路标时，可以播放音频信号。为用户播放音频信号，其中音源被布置在3d路标的位置处。飞行器例如距3d路标的距离越远，就会更轻地为用户播放音源的信号。另外，播放至少一个立体声信号，其中根据从无人机的飞行方向上看，音源被定位在飞行器左边或是右边，将音源的位置布置在立体声信号的左边或右边。

无人机可以厘米级精确地接近定位的3d路标或者说3d测量点。无人机的飞行可以记录在视频文件中，使得用户或者说操作者看到，依次接近3d测量点并且分别在此进行测量。

本公开的特征特别地在于，三维虚拟物体形式的虚拟路标的使用，其中以混合现实视图，为驾驶员显示这些虚拟路标。例如通过诸如球体、长方体等几何三维基体，为用户或者说驾驶员显示这些路标。驾驶员必须操控这些路标。驾驶员必须控制无人机驶向所显示的路标。一旦到达路标，路标的颜色就改变，使得驾驶员明确看到已经到达了哪些路标。一旦无人机位于正确的位置，即位于路标处，软件就特别地通过路标的颜色改变，指示驾驶员，可以进行测量。替代地，也可以实现形状改变。

通过软件，为用户或者说驾驶员实时显示无人机摄像头的视频录制。这或者通过所使用的终端设备的屏幕实现，诸如pc监视器、笔记本电脑或平板电脑或智能手机的监视器，或者通过虚拟现实眼镜实现。由无人机的数据服务器检测、处理并传递的数据(例如速度和高度)与实时视频图像叠加，并且作为额外的信息，显示给用户或者说驾驶员。以无人机的位置和数字表面模型的数据为基础，渲染了周围地形的优选点阵状的3d模型。根据对应的卫星图像，赋予该3d模型以纹路。由此产生无人机环境的虚拟模型。可以借助于由无人机的服务器获取的数据，即无人机的gps位置和定向，将环境的这一虚拟成像集成在实际的视频录制中。由此产生所谓的混合现实视图。在该方法中，驾驶员既能够按照实际视频录制，也能够按照生成的3d模型，进行无人机的操纵。除此之外，可以通过分析由无人机的传感器检测的数值并且通过分析制图的环境，创建虚拟3d物体，这些3d物体被添加至所显示的地形，并且甚至在无人机运动和方向改变过程中仍保持其在坐标系中的位置。

作为本公开基础的地面控制站的软件可以由诸如pc、笔记本电脑、平板电脑或者智能手机等不同的计算机运行。此外，这些仪器可以与不同的控制仪组合使用，诸如操纵杆、键盘或者触控板。作为控制仪，可以使用操纵杆、键盘、游戏手柄或者触摸屏。由此简化了控制，并且驾驶员可以从多个控制仪中进行选择。作为视觉支持，可以可选地使用虚拟现实眼镜。

作为手动控制的替代方案，可以对无人机进行编程，以自动化操控各种不同的路标。

借助于飞行器的传感器，记录环境数据。可以实时传递这些环境数据。作为环境数据，特别地可以检测天线指向特性(或天线辐射场型，antennencharakteristik)，其中路标被配置为测量点，其中在到达其中一个路标时，进行天线信号的测量。然而，也可以考虑，借助于飞行器，测量其它物理环境数据。

为了天线信号的测量，可以在真实天线杆所在的相同位置处生成虚拟天线杆。以由驾驶员预设的数值为基础，在不同高度处并且以相互间的不同距离，产生为了测量目的必须接近的虚拟路标。这些虚拟路标由三维的虚拟物体形成。这些虚拟路标被集成在实际视频录制中，并且使得驾驶员可以清楚看到，无人机何时位于正确的测量位置处。

测定的天线辐射值也属于持续由无人机传递的数据。在测量过程中仍进行传递，并且该传递使得实时地三维显示天线图表成为可能。该图表通过每个额外的测定值加以完善。

无线连接优选地被配置为wlan连接。wlan标准提供了多个信道。举例而言，可以使用wlan标准802.11n或者802.11ac，然而还有很多种标准。特别地利用信道。通过该连接或者说这一信道，使用了两个服务器：其中一个服务器用于传感器数据和控制命令，并且另一服务器用于视频传输。软件优选地在服务器和无人机以及地面控制站之间建立至少一个tcp连接(tcp-transmissioncontrolprotocol(传输控制协议))。服务器位于无人机上，并且可以由单板计算机形成。相应的服务器通过tcp连接，与地面控制站交换数据。软件控制无人机和地面控制站之间的数据交换。在其中一侧上，服务器将已处理的无人机的传感器数据传递至地面控制站。在另一侧上，控制命令从地面控制站发送至无人机服务器。

软件通过tcp连接，接收由无人机的传感器登记的、由无人机服务器处理的数据。gps位置、速度、定向或者所属的传感器数据、高度和/或辐射比的测定值都属于这些数据。

借助于通过压力传感器实现的气压测量，确定飞行器的飞行高度。压力传感器被布置在无人机上。大气压力随着上升的高度降低。因此，检测的压力可以被换算成飞行高度。

借助于磁力计和加速度传感器，测定无人驾驶运输工具的定向。磁力计和加速度传感器都安装在运输工具上。借助于磁力计，可以确定无人机相对于地磁场的位置。可以考虑，运输工具具有用于测定定向的回转仪。优选地，借助于加速度传感器、回转仪和磁力计，测定定向。可以借助于无人机的计算机，或者优选地通过地面控制站的计算机，根据传感器数据，测定定向。借助于gps传感器，确定运输工具的位置。可以考虑，根据gps数据，确定定向。

有可能的是，也可以使用其它方法来确定无人机的定向和定位。举例而言，可以使用slam方法(simulaneouslocalizationandmapping(即时定位与地图构建))。因此，可以确定内部空间内的定位，并且显示增强现实元素。

在该方法中，使用摄像头的物理参数和无人机的其它传感器。通过多种算法，可以确定无人机在三维中的位置和定位。该方法的优点在于，其也可以用在内部空间内。有可能的是，将用于位置确定的多种方法相互组合，诸如gps和slam。

借助于无人机，例如特别地检测天线指向特性，其中路标被配置为测量点，其中在到达其中一个路标时，进行天线信号的测量。借助于测试接收机或者说借助于谱分析仪，获得天线设施的辐射比的数值。无人机特别地具有谱分析仪。

通过该方法，简化了天线信号的测量，因为驾驶员持续地具有测量范围的视觉参考。精确地确定待测量的点，并且软件负责仅在这些位置处进行测量。无人机的控制装置是非常有效的，使得测量的进行需要更少的专业知识。

该测量方法不仅可以应用至一个高度，还可以沿着天线杆加以应用，即应用在不同高度上，使得结束时产生天线信号的3d图表。

登记并且图表地显示由无人机记录的测量值。由此，在测量结束前，早在飞行过程中，就可以识别到天线潜在的问题。除此之外，可以检查故障的天线模块，而无需等到在地面上进行飞行后的数据后处理。

该方法的另一优点在于，甚至在可见度低的条件下，例如在黄昏或者夜晚，或者在视频图像中断时，仍可控制无人机。优选地，特别地在可见度低的条件下，显示了虚拟的渲染环境模型。另一方面，通过不仅为驾驶员提供真实视频录制，还可以显示虚拟3d物体形式的视觉参考，降低了驾驶员失去方位的危险。

借助于用在地面控制站上的软件，可以通过虚拟现实元素，在诸如pc、笔记本电脑、平板电脑、mac、智能手机等任意平台上显示补充的视频录制。

如果服务提供商与客户会面讨论测量结果时，通过所介绍的系统，可以利用3d天线图、飞行视频和飞行数据形式的工具，而这对客户而言更容易理解。由此，客户能够更轻松地了解如何评估测量结果。通过提供的高度值和gps值，该方法实现了非常高的精度。如果将该方法与借助于直升机进行的天线信号测量相比，这里介绍的无人机方法的费用更低。

另外，该目的还通过一种具有权利要求12的特征的附加模块得以实现。

特别地，在现有无人机系统中，可以通过用于现有可远程控制的运输工具的附加模块和用于地面控制站的计算机的额外软件，实施该方法。附加模块使得为现有可远程控制的运输工具，诸如特别是rc模型或者rc飞行器(rc无线电控制)，装备改进的控制可能性成为可能。附加模块连接到无人驾驶运输工具的运输工具控制器上，否则固定在无人驾驶运输工具上。附加模块现在可以具有pwm或pcm转换器，该转换器将通过无线的无线电连接传输的控制数据转换成pwm或pcm信号，这些信号现在被传导至运输工具控制器。由此，可以用包括操纵杆、触控板、键盘等的控制装置，代替rc远程操作的现有控制装置。运输工具控制器处理信号并控制运输工具。

为了减轻重量，附加模块优选地没有自己的电池，而是连接到无人驾驶运输工具的电池上。附加模块可与无人驾驶运输工具的电池相连，以给附加模块供电。

附加模块优选地具有模数转换器，通过该模数转换器监视电池的状态。电池的数据也可以通过无线电连接，传输至地面站的软件。可以向驾驶员显示电池的充电状态。

附加模块形成紧凑且准备连接的仪器，其包括摄像头以及用于以统一的通信信号传输飞行中的视频信号或者说行驶数据的所有必要传感器和部件。在此提供了所描述的用于增强现实视图或者说混合现实视图的可能性。所有功能都可通过软件进行管理，其中在地面控制站的计算机上运行该软件。

软件形式的计算机程序产品可在地面控制站的计算机上运行，其中可借助于计算机程序产品，执行该方法。借助于计算机程序产品，通过无线连接，将控制数据发送到附加模块上，并且接收并且处理摄像头的数据和传感器数据，其中基于接收的传感器数据，确定无人驾驶运输工具的位置和定向，其中基于所确定的运输工具的定向和位置，计算虚拟摄像头具有相同定向和位置，以便渲染三维路标，并且以混合现实视图显示在地面控制站的显示器上。软件或者说计算机程序产品控制地面控制站的显示。

借助于附加模块和软件，可以进行特别是数字视频信号的传输。在本公开的一种替代设计方案中，可以通过附加模块，传输模拟视频信号。获取摄像头的图像数据，并且将其保存为视频素材和/或图片素材和/或将其传输至地面控制站上。收集并且优选地传输飞行数据。速度、定向、倾斜率、高度和天线信号的信号强度都属于飞行数据。借助于附加模块，可以进行到地面控制站的视频传输。借助于附加模块，可以通过双工连接，将对应的数据传输至地面控制站的软件。地面控制站的软件有利于图像地显示这些信息以及增强现实视图的集成。借助于软件，同时通过双工连接，将控制信号传输至无人机。

无人驾驶运输工具的控制，特别是无人机的控制可以借助于操纵杆、游戏手柄、pc、笔记本电脑、智能手机或者平板电脑实现。运输工具的gps跟踪成为可能。附加模块特别地具有气压计、磁力计、回转仪、加速度测量仪、gps模块和/或优选模数转换器。通过压力传感器，气压测量成为可能，由此可以检测无人机的高度位置。另外，附加模块具有磁力计和用于测定无人机的定向的加速度传感器。gps天线用于检测无人机的gps位置。

通过附加模块，可以扩展现有无人驾驶运输工具的功能范围，并且由此扩展其应用可能性。通过附加模块，得益于不同的可供选择的控制仪，无人驾驶运输工具的控制方面的灵活性更高。通过附加模块，得益于增强现实的支持和与3d物体交互的可能性，为无人驾驶运输工具开辟了新的应用领域。只需连接附加模块，不需要购买单独的独立零件。在此，无需任何更深层的专业知识。由此可以节省时间，因为例如传感器和摄像头等所有部件都可以随时连接在仪器中。由此，为市场上提供的无人驾驶运输工具提供了一种成本低廉的替代方案。附加模块适合于各种不同的用户，例如模型车、模型飞机、四旋翼飞行器、多旋翼飞机器和模型船的所有者。飞行训练学校可以借助于增强现实，为培训、驾驶课程和训练创建补充航线。有可能通过提供3d路标，来利用无人驾驶运输工具进行比赛。传感器的数据和摄像头的数据通过无线连接，被发送到地面控制站。无线连接特别地被配置为双工连接。至少一个连接被配置为双工连接。在地面站上使用软件，该软件一方面通过无线连接，将由控制仪检测到的控制数据发送到附加模块。另一方面，用软件处理传感器数据，其中确定无人机的位置和定向，从而确定摄像头的位置和定向。在该软件中，为3d物体，特别是三维路标的渲染使用了虚拟摄像头，其中虚拟摄像头的位置始终适应于真实摄像头的位置。真实摄像头和虚拟摄像头的方位是相同的。由此，有可能用渲染的3d物体，叠加无人机的摄像头图像。

附图说明

接下来，可以根据附图和附属的说明，详细地阐述本公开。图中示出：

图1以示意图示出了包括虚拟三维路标的混合现实显示，其中路标可以用作测量点，

图2以明显示意性的视图，示出了一种附加模块和一种由地面控制站运行的软件。

具体实施方式

在图1中可以看出包括虚拟三维路标2的混合现实视图1。没有用摄像头3(参见图2)拍摄路标2，而是将其作为虚拟的3d物体加以渲染。摄像头3在此仅提供草地和林区的实时图像。摄像头3被布置在附加模块4中，其中附加模块4被固定在无人驾驶运输工具上，特别地固定在无人驾驶飞行器5上。渐显的虚拟路标2部分地叠加摄像头3的图像数据，从而产生混合现实视图。驾驶员现在可以依次接近路标2。

另外，为驾驶员实时显示天线指向特性的图表，其中记录了已经成功的测量值。同样显示天线信号的最新测量值19。

接下来，可以详细地说明图2：

除了摄像头3外，附加模块4还具有压力传感器6。压力传感器6用于气压高度测量，以便确定无人机的飞行高度。另外，存在有磁力计7和加速度传感器8，用以确定飞行器5的定向。借助于gps天线9，可确定运输工具的位置，即特别是飞行器5的位置。

另外，附加模块4具有提供视频服务器11和数据服务器12的计算机10。视频服务器11处理摄像头3的数据。数据服务器12处理压力传感器6、磁力计7和加速度传感器8以及gps天线9的数据。另外，计算机10提供控制模块13，其中通过控制模块13，可以接收命令并且将其传送到无人驾驶运输工具，即飞行器5的运输工具控制器14上。运输工具控制器14是飞行器5的一部分，而不是附加模块4的一部分。附加模块4还具有模数转换器(未显示)，其中借助于该模数转换器，测定飞行器5的蓄电池的容量。

视频服务器11和数据服务器11通过无线的wlan连接，与地面控制站bks通信。在地面站和运输工具之间使用了双工连接，优选tcp连接。地面控制站bks同样包括计算机，在其上运行有软件。该软件处理由附加模块发送的数据，即特别是视频服务器11的数据和数据服务器12的数据。另外，通过双工连接，控制数据被传送至控制模块13并且因此也传送至运输工具控制器14上。地面控制站bks具有至少一个控制仪，例如操纵杆、键盘、游戏手柄或者触摸屏。这一控制仪用15标记。

软件使用三维坐标系，其中一方面持续更新并且保存无人机5的位置。现在，以借助于软件计算的无人机的位置和定向为基础，渲染三维物体，特别是对应的路标和/或虚拟环境模型。为此使用了虚拟摄像头，其中虚拟摄像头中的定向和位置始终适应于真实摄像头3的位置和定向。虚拟摄像头的图像剪裁对应于真实摄像头3的图像剪裁。除了应用三维物体，还可以考虑在混合现实视图1(参见图1)中显示测量值或者其它数据。

附图标记列表：

1混合现实视图

2虚拟三维路标

3摄像头

4附加模块

5飞行器

6压力传感器

7磁力计

8加速度传感器

9gps天线

10计算机

11视频服务器

12数据服务器

13控制模块

14运输工具控制器

15控制仪

16草地

17林区

18天线指向特性的图表

19天线信号的最新测量值

bks地面控制站