兴趣点环绕飞行的方法及控制终端与流程

本发明涉及无人机领域，尤其涉及一种无人机兴趣点环绕飞行的方法及控制终端。

背景技术：

无人机在航拍、航测、灾情调查和救援、输电线路巡检以及军事领域有着广泛的应用前景。目前在无人机的遥控过程中，操作者通常需要无人机对一些兴趣点(例如输电线路故障点、灾难频发点、事故发生点等)作为绕点飞行监控。现有技术中，需要无人机飞到兴趣点后操作者使用遥控器进行打点等复杂操作，因此要求操作者具备良好的操作技能，降低了操作者的用户体验。

技术实现要素：

本发明实施例提供一种兴趣点环绕飞行的方法及控制终端，以提高兴趣点环绕飞行的智能化程度，简化和方便用户操作，提升用户体验。

本发明实施例的第一方面提供了一种无人兴趣点环绕飞行的方法，包括：

通过视觉图像识别获取所述飞行器当前位置视觉图像，并显示在所述控制终端界面；

确定所述飞行器当前位置视觉图像中的目标兴趣点，测算飞行器当前位置与所述目标兴趣点之间的距离，并根据该距离生成所述飞行器环绕飞行的初始半径，控制飞行器以所述初始半径进行兴趣点环绕飞行。

本发明实施例的第二方面提供了一种兴趣点环绕飞行的控制终端，其中，包括：

存储器和处理器，其中，

所述存储器，用于存储可执行指令；

所述处理器，用于执行所述存储器中存储的所述可执行指令，以执行如下操作：

通过视觉图像识别获取所述飞行器当前位置视觉图像，并显示在所述控制终端界面；

确定目标兴趣点，测算飞行器当前位置与所述目标兴趣点之间的距离，并根据该距离生成所述飞行器环绕飞行的初始半径，控制飞行器以所述初始半径进行兴趣点环绕飞行。

本发明实施例的第三方面提供了一种计算机可读存储介质，其存储有可执行指令，所述可执行指令在由一个或多个处理器执行时，可以使所述一个或多个处理器执行如第一方面所述的兴趣点环绕飞行的方法。

本发明实施例的第四方面提供了一种无人机，包括如第二方面所述的兴趣点环绕飞行的控制装置。

本发明实施例中，在进行兴趣点环绕飞行时，通过视觉图像可以自动智能测算出目标距离，不需要用户进行位置打点等复杂操作，使得用户操作方便、快捷，提升了用户操作体验。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。

在附图中：

图1为本发明实施例兴趣点环绕飞行的方法的流程图。

图2为本发明一实施例中选择目标兴趣点的操作界面示意图。

图3为传统的位置打点方式的示意图。

图4为本发明实施例智能测算环绕飞行初始半径的示意图。

图5为本发明一实施例中在控制终端操作界面滑动调节参数示意图。

图6为本发明一实施例中通过遥控器打杆调节参数的示意图。

图7为本发明实施例兴趣点环绕飞行的控制装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件从另外一个组件“获取”数据时，这里的获取可以是一个组件从所述另外一个组件直接通信以获取数据，也可能是一个组件通过其他的组件从所述另外一个组件获取数据。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

目前，无人机进行兴趣点环绕飞行时需要用到遥控器的按钮来进行打点，同时需要边操作摇杆边操作手机上的应用程序界面。为解决上述问题，本发明实施例提供一种兴趣点环绕飞行的方法，可智能测算出目标距离，下面将进行详细解释。

本发明一实施例提供了一种兴趣点环绕飞行的方法，本实施例中环绕飞行的飞行器以无人机为例进行详细说明。图1是本发明实施例兴趣点环绕飞行的方法的流程图。以下对所述兴趣点环绕飞行的方法进行详细的说明。

步骤s101：通过视觉图像识别获取所述无人机当前位置视觉图像，并显示在所述控制终端界面，确定所述无人机当前位置视觉图像中的目标兴趣点。

具体地，所述方法的执行主体可以为无人机的控制终端。进一步地，所述方法的执行主体可以为所述无人机的控制终端的处理器，其中，所述处理器可以为通用或者专用处理器，所述处理器可以为一个或多个，所述一个或多个处理器单独或协同地工作。一般地，所述控制终端为手机和/或遥控器或专用的控制装置。

无人机上配置有视觉图像识别装置，其中，所述视觉图像识别装置的摄像装置用于拍摄无人机当前视觉范围内的环境图像，并将所述环境图像发送至无人机的控制终端。控制终端首先需要与无人机对频连接，连接成功后在控制终端界面显示fpv信息，并设置无人机进入poi(pointofinterest，兴趣点)模式，并对无人机的飞行高度、返航高度及速度进行预设。

当无人机处于多目标追踪模式时，所述视觉图像识别装置的处理单元对拍摄的图像进行自动识别，并对其中的各种事物和人进行分类，将识别结果发送至无人机的控制终端。通过视觉图像的自动识别，使得图像中的事物显示更加直观，可以方便用户更快速的选定目标兴趣点。

无人机的控制终端在接收到无人机当前环境图像后，将其显示在控制终端界面上。具体地，用户可以在控制终端选中目标兴趣点作为环绕的中心点。

在某些情况中，所述控制终端仅接收视觉图像识别装置发送的视觉范围内的图像信息时，用户可以在控制终端界面显示的图像上采用直接框选或画圈等方式选定以范围，并将该范围确定为目标兴趣点，作为环绕飞行的中心点。

可选地，例如当无人机处于多目标追踪模式时，所述控制终端接收视觉图像识别装置发送的图像信息及自动识别结果，基于所述视觉范围内的物体及其类型的自动识别结果，用户在控制终端界面的选中目标物体的操作以确定目标兴趣点。具体地，所述选中目标物体以确定目标兴趣点的方式包括：单击目标物体选定、双击目标物体选定、长按目标物体、滑动选定、画圈选定及语音指令选定等。

在某些情况中，无人机受控开启多目标追踪模式，对视觉范围内的物体进行自动识别，控制终端接收视觉图像识别装置发送的图像信息及自动识别结果，并将图像显示在控制终端界面上，同时图像上的物体自动显示识别框，标注识别出的物体的类型。用户可以根据识别框选中感兴趣的目标兴趣点作为环绕飞行的中心，该点可以输电线路故障点、灾难频发点、事故发生点等，通过无人机配备的摄像装置，可以360°环绕拍摄的兴趣中心点物体，或者。选中操作可以采用在控制终端界面单击目标物体选定、双击目标物体选定、长按目标物体、滑动选定等，或直接通过用户发出的语音指令进行选定。

可选地，在选中目标兴趣点的操作成功后，控制终端给出目标兴趣点的确认信息，所述目标兴趣点的确认信息包括该目标的位置和/或类型。在上述情况中，如果选中目标兴趣点的操作失败，则控制终端给出失败状态的提示。

图2(a)-2(c)为本发明一实施例中选择目标兴趣点的操作界面示意图。如图2(a)-2(b)所示，首先设置无人机进入兴趣点环绕模式，用户选定利用无人机视觉图像打点的模式，此时控制终端接收视觉图像识别装置发送的图像信息，并且自动识别图像范围内的人物，当视觉图像范围内出现目标人物时，用户在控制终端界面滑动框选目标人物，作为目标兴趣点。继续参考图2(c)，确认选定成功后，用户可以在控制终端界面选择go按钮确认，控制无人机开始环绕飞行。

步骤s102：测算无人机当前位置与所述目标兴趣点之间的距离，并根据该距离生成所述无人机环绕飞行的初始半径，控制无人机以所述初始半径进行兴趣点环绕飞行。

传统的确定兴趣点的方法是，无人机飞到兴趣点后操作者使用遥控器按键进行打点等复杂操作，如图3所示，此时用户需要同时操作遥控器按键与应用程序界面，因此带来了操作的不便。但在本实施例中，利用无人机的视觉图像计算，在无人机的视觉范围内出现目标兴趣点后，用户通过控制终端对目标兴趣点进行选中并确认后，根据视觉图像智能测算与目标兴趣点的距离，即可开始环绕飞行，因此无需无人机飞到目标兴趣点的位置再通过遥控器按键打点，降低了用户的操作复杂程度。

具体地，测算无人机当前位置与所述目标兴趣点之间的距离时，需要先获取无人机当前的gps坐标，作为无人机位置。无人机上配置有gps定位系统，通过gps定位系统提供的当前坐标，确定无人机当前位置。在其他一些实施例中，所述无人机还可以配置其他定位系统，具体的定位精度可以根据需要进行选择。无人机根据定位系统提供的坐标作为无人机当前位置坐标。

确定无人机当前位置坐标后，需要测算无人机与目标兴趣点的相对距离。具体地，根据视觉图像识别中每帧图像的差异对无人机与所述目标兴趣点的相对位置进行估计，进一步根据之前获得的无人机当前位置坐标确定所述目标兴趣点的虚拟坐标，作为目标位置。

图4为本发明实施例智能测算环绕飞行初始半径的示意图。如图4所示，无人机飞行过程中，其飞行高度与选定的目标兴趣点可能会存在一定的高度差δh，该高度差δh与两者间的距离d以及距离的水平投影r0构成一直角三角形。进一步地，根据视觉图像识别中每帧图像的差异对无人机与所述目标兴趣点的相对位置进行估计时，根据视觉图像对无人机与所述目标兴趣点的距离d及高度差δh进行计算，并根据勾股定理可以计算得出所述目标位置在水平面投影与无人机位置在水平面投影之间的距离r0。将该距离r0作为所述无人机初始半径开始环绕飞行。

上述情况中，当测算无人机当前位置与所述目标兴趣点之间的距离失败时，将测算失败的状态提示显示在控制终端界面。所述状态提示可以为无人机位置信息获取失败或目标位置信息获取失败。用户在获取失败状态信息后可对无人机状态进行调试或进行再次尝试。

若测算成功，则无人机开始以初始半径环绕飞行，用户可以通过控制终端的操作调节无人机环绕飞行的参数。

可选地，所述通过控制终端的操作调节无人机环绕飞行的参数包括：根据拖动控制终端界面的滑条的操作控制无人机环绕飞行的参数，所述无人机环绕飞行的参数包括环绕半径、环绕高度、环绕方向及环绕速度中的至少一种。采用控制终端滑动控制无人机环绕飞行的参数，可以有效地简化用户操作，避免用户在操作应用程序界面的同时，还需要通过遥控器打杆等操作控制无人机的绕飞参数；同时，更加直观地展示了无人机的实时绕飞状态，进一步提升了用户体验。

图5为本发明实施例中在控制终端操作界面滑动调节参数示意图。如图5所示，在无人机绕飞过程中，可以通过在控制终端操作界面拖动滑条调节无人机环绕飞行的参数的大小，包括环绕半径、高度、速度及返航高度的调节，从而改变无人机的飞行轨迹，同时，在控制终端操作界面实时模拟无人机的飞行轨迹。可以理解，除滑动调节外，也可以通过其他如输入参数、控制增/减按钮等方式调节。

在其他一些实施例中，通过控制终端的操作调节无人机环绕飞行的参数时，还可以采用遥控器打杆或拨轮调节环绕半径、环绕高度、环绕方向及环绕速度中的至少一种。例如，采用遥控器的拨轮进行环绕方向控制时，设置拨轮按照第一方向进行滑动时，无人机顺时针环绕飞行；设置拨轮按照第二方向进行滑动时，无人机逆时针环绕飞行。

图6为本发明实施例中通过遥控器打杆调节参数的示意图。如图6所示，在无人机绕飞过程中，可以通过遥控器打杆调节无人机环绕飞行的，同时控制终端操作界面显示模拟的遥控器打杆量和无人机的飞行轨迹，便于用户更直观地控制无人机飞行轨迹。

特别地，所述无人机通过视觉图像识别获取所述无人机当前位置视觉图像之前，控制终端与无人机对频连接成功后，通过控制终端界面可以对无人机飞行高度、返航高度及速度进行预设。

本发明另一实施例提供了一种兴趣点环绕飞行的控制终端，其中，图7为本发明实施例无人机的兴趣点环绕飞行的控制终端的示意图。本实施例兴趣点环绕飞行的控制终端可以包括电源模块，各种接口模块等，其中，所述兴趣点环绕飞行的控制终端包括遥控器、智能手机、台式电脑、膝上型电脑、穿戴式设备中的一种或多种。如图7所示，本实施例中，所示兴趣点环绕飞行的控制终端700还包括：存储器701及处理器702。

所述存储器701可以包括易失性存储器(volatilememory)，例如随机存取存储器701(random-accessmemory，ram)；存储器701也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)；存储器701还可以包括上述种类的存储器的组合。

所述处理器702可以是中央处理器(centralprocessingunit，缩写：cpu)。所述处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(applicationspecificintegratedcircuit，asic)，可编程逻辑器件(programmablelogicdevice，pld)或其组合。上述pld可以是复杂可编程逻辑器件(complexprogrammablelogicdevice，cpld)，现场可编程逻辑门阵列(field-programmablegatearray，fpga)，通用阵列逻辑(genericarraylogic，gal)或其任意组合。

可选地，所述存储器701还用于存储程序指令。所述处理器702可以调用所述程序指令，实现如图1所对应实施例中所示相关方法。

具体地，所述处理器702，用于执行所述存储器701中存储的所述可执行指令，以执行如下操作：

通过视觉图像识别获取所述飞行器当前位置视觉图像，并显示在所述控制终端界面，并确定所述飞行器当前位置视觉图像中的目标兴趣点；

测算飞行器当前位置与所述目标兴趣点之间的距离，并根据该距离生成所述飞行器环绕飞行的初始半径，控制飞行器以所述初始半径进行兴趣点环绕飞行。

进一步地，所述处理器702确定目标兴趣点时，具体用于：根据在所述控制终端界面的点击或框选操作确定目标兴趣点。

具体地，所述处理器702还用于：在飞行器进行所述视觉图像识别时，启用多目标追踪模式，对视觉范围内的物体及其类型进行自动识别，并显示自动识别结果在控制终端界面。

进一步地，所述处理器702确定目标兴趣点时，具体用于：基于所述视觉范围内的物体及其类型的自动识别结果，根据在控制终端界面的选中目标物体的操作以确定目标兴趣点。

可选地，所述点击目标物体确定目标兴趣点的操作方式包括：单击目标物体选定、双击目标物体选定或长按目标物体选定、滑动选定、画圈选定及语音指令选定。

所述处理器702测算飞行器当前位置与所述目标兴趣点之间的距离，并根据该距离生成所述飞行器环绕飞行的初始半径时，具体用于：

获取飞行器当前的gps坐标，作为飞行器位置；

根据视觉图像识别中每帧图像的差异对与所述目标兴趣点的相对位置进行估计，进一步根据飞行器的gps坐标确定所述目标兴趣点虚拟的gps坐标，作为目标位置；

确定所述目标位置在水平面投影与飞行器位置在水平面投影之间的距离，作为所述飞行器环绕飞行的初始半径。

进一步地，所述处理器702还用于：

通过视觉图像计算飞行器与目标兴趣点之间的高度差及距离，利用飞行器的gps坐标，确定所述目标兴趣点虚拟的gps坐标。

可选地，所述处理器702还用于：当测算飞行器当前位置与所述目标兴趣点之间的距离失败时，将测算失败的状态提示显示在控制终端界面。

具体地，所述状态提示包括：飞行器位置信息获取失败或目标位置信息获取失败。

进一步可选地，所述处理器702还用于：在控制飞行器以所述初始半径进行兴趣点环绕飞行后，根据控制终端的操作调节飞行器环绕飞行的参数。

所述处理器702通过控制终端的操作调节飞行器环绕飞行的参数时，具体用于：根据拖动控制终端界面的滑条的操作控制飞行器环绕飞行的参数。

具体地，所述飞行器环绕飞行的参数包括环绕半径、环绕高度、环绕方向及环绕速度中的至少一种。

特别地，所述处理器702还用于：在通过视觉图像识别获取所述飞行器当前位置视觉图像之前，与飞行器实现对频连接，连接成功后将fpv信息显示在控制终端界面，并设置飞行器进入poi模式。

进一步地，所述处理器702还用于：在通过视觉图像识别获取所述飞行器当前位置视觉图像之前，与飞行器实现对频连接，连接成功后，根据控制终端界面的操作对飞行器飞行高度、返航高度及速度进行预设。

在其他实施例中，所述处理器702通过控制终端的操作调节飞行器环绕飞行的参数时，具体用于：根据遥控器打杆或拨轮的操作调节环绕半径、环绕高度、环绕方向及环绕速度中的至少一种。

可以理解的是，本发明实施例提供的控制终端的具体原理和解释可以参见如图1所述的兴趣点环绕飞行方法中的相关部分，此处不再赘述。

本发明另一实施例提供了一种计算机可读存储介质，其中，其存储有可执行指令，所述可执行指令在由一个或多个处理器执行时，可以使所述一个或多个处理器执行图1所对应的实施例中的无人机的飞行日志处理方法。

本发明又一实施例提供一种无人机，其包括图5所对应的实施例中的兴趣点环绕飞行的控制终端。

以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。