显示可移动装置的状态的方法、系统和控制装置与流程

版权申明

本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者专利披露。

本发明涉及显示可移动装置的状态的方法、系统和控制装置。

背景技术：

近年来，无人驾驶的飞行器(包括固定翼无人机和旋翼式无人机)、机动车、潜艇和船只，以及卫星、空间站、飞船等都得到了广泛的应用，对于这些可移动装置的操控通常由用户通过遥控装置来实现。在很多应用中，无人机等可移动装置可以携带载体，例如有的无人机配备有承载相机或照明灯的云台，以使用相机进行航拍。

然而，用户通过遥控装置操控可移动装置时，当其远离用户所在位置时(如远离四五百米)，就很难通过肉眼观察来进行操控。而且，在例如使用无人机进行航拍等应用时，操控者往往还需要了解可移动装置与用户的相对位置，以及可移动装置的运动状态，并便根据实时的相对位置和运动状态来进行操控。而现有的遥控装置无法有效地显示所述实时的相对位置和运动状态等，这使得用户的操控体验较差，容易造成误操作。

技术实现要素：

本发明一方面提出一种用于显示可移动装置状态的方法，包括：获取所述可移动装置的状态信息；获取控制装置的状态信息，该控制装置用于控制所述可移动装置的移动；在同一显示界面显示控制装置与可移动装置各自的状态信息。

本发明另一方面提出一种用于显示可移动装置状态的系统，所述系统包括：通信装置，用于获取所述可移动装置的状态信息和所述控制装置的状态信息，所述控制装置用于控制所述可称动装置；存储装置，存储机算机可读指令；以及处理装置，用于执行所述计算机可读指令，以控制在同一显示界面显示控制装置与可移动装置各自的控制信息。

本发明再一方面提出一种用于显示可移动装置状态的控制装置，包括：通信接口，用于获取所述可移动装置的状态信息和所述控制装置的状态信息，所述控制装置用于控制所述可移动装置；存储器，存储有计算机可读指令；处理器，用于执行所述计算机可读指令，以控制在同一显示界面显示控制装置与可移动装置各自的状态信息。

此外，本发明还一种计算机可读介质，其上存储有计算机可执行的指令，该指令用于执行前述的用于显示可移动装置状态的方法。

附图说明

图1a是本发明的显示可移动装置的状态的系统的一个实施例的应用场景图；

图1b是本发明的用于显示可移动装置状态的方法的流程图；

图2a是本发明的控制装置中的显示界面的第一实施例的示意图；

图2b是本发明的控制装置中的显示界面的第二实施例的示意图；

图3是本发明的控制装置中的显示界面的第三实施例的示意图；

图4a～4c是本发明的控制装置中的显示界面的第四实施例的示意图；

图5是本发明的控制装置中的显示界面的第五实施例的示意图；

图6为根据本发明的一种用于显示可移动装置状态的系统的结构示意图；

图7为根据本发明的一种用于显示可移动装置状态的控制装置的结构示意图。

具体实施方式

对于无人机、无人驾驶汽车等遥控的可移动装置，本发明主要考虑的是遥控终端上如何更好地显示可移动装置与遥控终端的相对位置以及可移动装置的实时移动状态，以便于用户能够更加方便、高效或更有兴趣地来操控可移动装置，提高用户的操控体验。

下面在具体描述本发明的方案时，尽管是采用无人机为例来进行说明，但本发明的方法、装置和系统并不限于该领域，任何通过有线、无线的远程控制的方式操控可移动装置的领域均可合理地利用本发明，例如包括各种无人驾驶的交通工具，以及任何不需要人直接在设备本体上进行操作的各种应用设备和应用场景，例如卫星、机器人技术、虚拟现实技术等。

本发明中提及的“可移动”是指在三维空间中的任何相对运动，包括平动、转动，以及各种平动与转动的组合，例如飞行、路面行驶、潜行等不同空间内的移动，以及平移、翻转、俯仰、倾斜等不同的移动方式。

本发明中提及的“模块”和“单元”可以是任何硬件设备或设备的部件，例如处理器，也可以是软件的逻辑模块或单元。所述硬件设备或设备的部件也可根据存储在存储器中的非易失性计算机可读介质中存储的计算机程序来执行相应的方法。

本发明中提及的“控制装置”是指任何能够通过有线或无线方式对可移动装置进行操作的装置。其通常提供有供用户进行操控的按钮、手柄等，以便用户通过操控来产生控制信号以发送给可移动装置，以便对移动装置的移动状态进行控制。

总的来说，本发明提出在同一显示界面以图形化方式显示控制装置与可移动装置的状态信息。显示二者的状态信息的前提是该控制装置能够实时地获取二者的状态信息。所述状态信息可以包括位置、姿态、负载状态等等与可移动装置和控制装置相关的各种信息。

在同一显示界面以图形化方式显示控制装置与可移动装置的状态信息可以使用户直观地了解当前可移动装置与控制装置之间的相对关系，避免在显示界面只显示可移动装置的状态信息时难以使用户产生可移动装置的远近、方位的切实感受的问题，增强了用户的操控反馈，改善了操控体验。

其中，所述状态信息包括位置信息。可移动装置的位置信息可以从可移动装置直接接收，或者由第三方平台提供，第三方平台例如是基站、卫星等。当可移动装置本身带有位置获取装置(例如gps模块)时，其本身可获得其实时的位置信息，从而向控制装置发送。而控制装置的位置信息可以由其自身产生，也可以从外部获取，在特殊的应用情况下，其位置也可以是固定的，从而可以通过直接输入来获取其位置信息。当由其自身获得时，其也可以带有位置获取装置(例如gps模块)。

尽管本发明并不限于具体的图形化显示的方式，但是，作为优选的方式，考虑到可移动装置的位置可能出现在相对于用户的控制装置的任意方位，控制装置本身也可能随用户的操控动作而发生转动，因此，优选为在显示界面的一个圆形区域内显示控制装置与可移动装置的位置信息。这样，无论可移动装置和控制装置的相对位置和方向发生何种变化，其在显示区域中均不会因为角度的改变而改变显示效果。当然圆形区域作为本发明的优选的方式表示本发明并不局限于显示区域的形状，基于本发明的同时显示可移动装置与控制装置的方案也可以采用其他形状的显示区域来显示，例如方形或三角形。

作为图形化显示的一种方式，可以将可移动装置和控制装置在显示界面中以特定的图形化标识来表示。例如，可以用圆形、三角形、箭头形等代表无人机，用圆形、方形等代表控制装置。当然，也可以选择用更加生动的形象标识来表示，本发明不局限于具体的标识的样式。

更进一步，可以使用图形化标识在显示界面上的位置来表示可移动装置与控制装置实际的位置。优选地，可以采用等比例的方式来表示实际的空间地理位置，从而在显示界面上以等比例的方式来显示二者的图形化标识的位置。但本发明并不限于等比例方式，也可以采用其他的对应关系来进行显示。由于在同一显示界面上显示二者的位置，可以清楚地了解当前二者的相关位置关系。

为了更加形象化地显示可移动装置的状态，所述状态信息包括可移动装置的姿态信息本发明优选为在显示界面上显示可移动装置的姿态信息。姿态信息在此指的是可以反映可移动装置在移动过程姿态的任何信息。以无人机为例，姿态信息包括朝向信息、、俯仰角度、横滚角度等。可移动装置的实时的姿态信息可以通过其自身的传感器实时获取，并通过其通信装置向控制装置进行发送。

所述俯仰角度为无人机机头在高度方向上俯下或仰起的角度；所述横滚角度为无人机绕机头和机尾连线相对水平面旋转的角度。

本发明优选为在显示界面上以图形化方式显示所述的姿态信息。例如，对于无人机来说，可以用一个几何形状来表示无人机，用几何形状在界面中的位置表示无人机的位置信息。对于无人机的朝向信息、姿态信息等，也可用图形化方式来表示(例如用动态水平线来表示俯仰与横滚角等，这将在下面的实施例中详细说明)等。但应当理解，本发明并不限于以何种图形化方式来显示上述的状态信息，本领域的技术人员可以在本发明的设计理念的指导下进行各种设计来增加用户的视觉体验。

此外，考虑到本发明的可移动装置本身可能会搭载负载，而负载在工作时也很可能需要用户实时关注其工作状态，或者对其进行操控以改变其工作状态。因此，本发明还优选为在显示界面上同时显示负载的状态信息。同样的，所述状态信息包括反映负载在移动过程中的运行状态的任何信息。例如，对于无人机来说，可以通过云台搭载相机以供实时拍摄，而相机在拍摄时需要实时的变换角度、调整姿态等。通常，可以将相机搭载在无人机的云台上，用户通过无线操控云台可以调整相机的姿态并控制相机进行拍摄。由此，本发明可以在控制装置的显示界面上以图形化方式显示云台的朝向和相机的可视范围等，从而反映出云台和相机的当前姿态以便用户直观地了解相机当前工作状态。同样地，本发明并不限于以何种图形化方式来显示负载的状态信息，本领域的技术人员可以在本发明的设计理念的指导下进行各种设计来增加用户的视觉体验。

图1a是本发明的显示可移动装置的状态的系统的一个实施例的应用场景图。如图1a所示，该系统是无人机遥控系统，包括遥控装置1和无人机2，无人机2的云台上搭载有相机4。遥控装置1与无人机2之间能够进行无线通信，从而用户通过操作遥控装置1来操控无人机的飞行以及控制相机4的工作。如图1所示，该遥控装置1上具有一个显示屏3，显示屏3具有显示界面。显示界面上能够显示关于无人机及其搭载的相机的运行状态信息，用户能够通过查看该显示屏3来实时对无人机2及其搭载的相机4进行操控。

图1b是本发明的用于显示可移动装置状态的方法的流程图。如图1b所示，所述方法包括：s1、获取所述可移动装置的状态信息；s2、获取控制装置的状态信息；s3、在同一显示界面显示控制装置与可移动装置各自的状态信息。步骤s1与步骤s2通常没有固定的前后顺序。上述步骤s1～s3可以以固定的频率重复，以实时在显示界面上更新遥控装置1与无人机2的位置和/或状态信息。

图2a是本发明的控制装置中的显示界面的第一实施例的示意图。如图2a所示，该实施例中，仍以无人机的遥控装置为例来说明。可移动装置(无人机)和控制装置(遥控装置)均显示为一个图形化标识，即遥控装置标识11和无人机标识12，遥控装置标识11和无人机标识12均显示在一个圆形区域10中。在该实施例中，遥控装置标识11始终位于圆形区域的中心处，显示为一个中心标识有“h”的圆圈，无人机标记12则是一个较小的圆圈(图2a为一个带有网格的圆圈)无人机标识12则根据可移动装置相对于遥控装置11的实际距离和方位而相应地显示于该圆形区域10中，以形象化地显示无人机相对于用户(遥控装置)的方向和距离。

优选地，圆形区域的比例尺可以随无人机与遥控装置之间的距离而变化，以便在显示界面上以合适的尺度来显示两个标识。

在该实施例中，无人机的位置信息可由其自身的gps模块获得并传送给控制装置，遥控装置的位置信息则为固定信息或者由其自身的gps模块获得。

图2b是本发明的控制装置中的显示界面的第二实施例的示意图。在第一实施例中，遥控装置标识11始终位于圆形区域10的中心，与该显示方式不同的是，在第二实施例中，如图2b所示，圆形区域10的中心表示一个特定地理位置点。也就是说，该显示界面中使用圆形区域10的中心十字交叉点来表示特定地址位置信息。在该实施例中，该特定地理位置点是无人机12的出发点地理位置。在一些场景中，人在操作遥控装置以控制无人机的同时，也会携带遥控装置离开无人机的出发点，因此遥控装置也会相对于特定地理位置发生偏移。在图2b中，随着操作者的走动，遥控装置的标识在显示界面中也相对于无人机的出发点向左上方发生了一定的偏移。

为了适应不同的应用场景，该特定地理位置点并不限于可移动装置(无人机)的出发点，其也可以设定为任意地理位置，例如可移动装置的目的地、特定设定的起降点或特定地理位置等。

图3是本发明的控制装置中的显示界面的第三实施例的示意图。在该实施例中，除了图2a、图2b中显示的元素，显示界面中还包括有方位信息辅助标识。方位信息辅助标识包括任何能够帮助用户在显示界面中判断可移动装置或控制装置的方位的可视化标识。在该实施例中，方位信息辅助标识包括控制装置正面朝向标识13、正北方向标识14和距离辅助标识15。控制装置正面朝向标识13定义了控制装置(在该实施例中为无人机的遥控装置)的正面朝向，其在显示界面中不会变化位置，在该实施例中为在显示界面正上方的三角标识。正北方向标识14代表正北方向相对于控制装置的方向，可随着遥控装置的朝向变化而相应地在显示界面中变化。在该实施例中，其位于圆形区域的周边处。而距离辅助标识15在该实施例中是虚线组成的同心圆，用于表示显示区域中的距离指标。尽管在该实施例中是以特定的形状和标识图案来显示特定的方位信息辅助标识，但本领域的技术人员可以根据设计需要做出各种改变。

图4a～4c是本发明的控制装置中的显示界面的第四实施例的示意图。如图所示，在该实施例中，除了图3中显示的元素，其还以图形化方式显示了无人机的状态信息和其搭载的负载(包括云台与相机)的状态信息。

图4a～4c中使用一个箭头来表示无人机，图中的附图标记16为箭头的顶角方向，用于代表无人机的飞行方向或机头朝向。当无人机的飞行方向改变时，该箭头的方向随之改变。此外，附图标记17为一个动态水位线图形，其用于代表无人机的飞行姿态。该动态水位线位于所述圆形区域的下方，模拟水在平放的容器中的随飞行姿态变化的运动方式。在该实施例中，用水位线的高低来代表无人机的俯仰角，用水位的倾斜角来代表无人机的横滚角。这种方式能够形象地表示出当前无人机的姿态信息，方便用户识别。图4a显示了无人机的俯仰角度为零，但横滚角度不为零的情形，此时的水位线正好在圆的中心处。图中水位向左倾斜代表无人机绕横滚轴向左倾斜。此外，如图4b所示，当无人机的俯仰角不为零时，其水平面的将高于圆形区域的中心。图4b中显示了当无人机向下俯冲时，水平面的中心高于圆形区域的中心。类似地，当无人机向上抬升时，其水平面低于圆形区域的中心。图4c显示的是无人机同时在横滚方向和俯仰方向均产生倾角的情形。

图5是本发明的控制装置中的显示界面的第五实施例的示意图。如图所示，该实施例中还显示负载的状态信息。在该实施例中，负载包括无人机的云台和云台上的相机。附图标记18是一个扇形区域，用于表示相机的可视范围。而位于圆形区域10周边的环形区段19则代表了云台的偏移角度。在该实施例中，可视范围18相对于无人机的机头朝向16具有一个偏转角。而对于云台来说，无人机的云台的偏转角通常具有一个容许范围，例如0～270度。如果将要达到或超过该容许范围，本实施例中通过环形区段19的颜色发生变化来向用户警示。例如，当其在容许范围内时显示为绿色，接近容许范围时变为黄色，超出容许范围则变为红色。

以上的实施例中主要说明了本发明的用于显示可移动装置状态的方法的示例性实施方式。应当了解，本发明的上述方法可以由硬件或软件方式实现。下面以具体实施例的方式示意性地说明本发明的方式可以实现的形式。

图6为根据本发明的一种用于显示可移动装置状态的系统的结构示意图。如图所示，所述系统20包括：通信装置21，其用于获取所述可移动装置当前的状态信息和所述控制装置当前的状态信息；存储装置22，存储有计算机可读指令；所述处理装置23，用于执行所述计算机可读指令，以控制在同一显示界面显示控制装置与可移动装置各自的状态信息。该实施例中，作为系统来说，其可以实现为独立的装置，也可以是由分布式的装置来实现。并且，系统中可以包括显示装置24，也可以不包括显示装置24，例如，可以由具有通信能力的传感器(例如各种无线传感器)实现通信装置21，以获取所述可移动装置当前的状态信息和所述控制装置当前的状态信息。可以由计算机、手机、平板或具有处理能力的pla(可编程逻辑阵列)等实现处理装置。存储装置22则可根据应用环境实现为磁记录、半导体记录、光学记录等多种介质。此外，当系统包括显示装置24时，其可以是液显屏、投影等多种方式。

图7为根据本发明的一种用于显示可移动装置状态的控制装置的结构示意图。如图所示，作为一种实体性的控制装置，例如专用于无人机的遥控器，或者由手机实现的控制装置30，其包括通信接口31、处理器33、存储器32和显示器34。该控制装置实质上也是对图6的系统的一种实现方式，其中，通信接口31用于获取所述可移动装置前的状态信息和所述控制装置的状态信息；存储器32，存储有计算机可读指令；所述处理器33，用于执行所述计算机可读指令，以控制在显示器34的同一显示界面显示控制装置与可移动装置各自的状态信息。

根据本发明各实施例的上述方法、系统或装置可以通过有计算能力的电子设备执行包含计算机指令的软件来实现。系统可以包括存储装置，以实现上文所描述的各种存储。所述有计算能力的电子设备可以包含通用处理器、数字信号处理器、专用处理器、可重新配置处理器等能够执行计算机指令的装置，但不限于此。执行这样的指令使得电子设备被配置为执行根据本发明的上述各项操作。上述各方法和/或模块可以在一个电子设备中实现，也可以在不同电子设备中实现。

本发明的实施例使用软件的，软件可以存储为易失性存储器或非易失性存储装置的形式(比如类似rom等存储设备)，不论是可擦除的还是可重写的，或者存储为存储器的形式(例如ram、存储器芯片、设备或集成电路)，或者被存储在光可读介质或磁可读介质上(比如，cd、dvd、磁盘或磁带等等)。

应该意识到，存储设备和存储介质是适于存储一个或多个程序的机器可读存储装置的实施例，所述一个程序或多个程序包括指令，当所述指令被执行时，实现本发明的方法。此外，可以经由任何介质(比如，经由有线连接或无线连接携带的通信信号)来电传递这些程序，多个实施例适当地包括这些程序。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。