无人机跟拍方法及装置与流程

本发明涉及通信技术领域，尤其涉及一种无人机跟拍方法及装置。

背景技术：

无人驾驶飞机简称无人机，一般是利用无线电遥控设备和无人机自身的程序控制装置进行操纵。无人机广泛应用于影视拍摄、街景拍摄、遥感测绘、快递投递、电力巡检、农作物监测、环境监测、灾后救援等领域。

随着科技的发展，人们对无人机的飞行拍摄功能提出了更高的要求。现有技术中，需要通过人工控制无人机的飞行路径，以实现对目标进行跟拍。然而，人工控制无人机进行跟拍的方式，需要人工参与，消耗人力成本，并且无人机跟拍路径受限于人工对无人机的操控能力，易出现跟拍路径不稳定的情况，从而导致跟拍画面质量较差。

技术实现要素：

本发明的实施例提供一种无人机跟拍方法及装置，能够解决无人机跟拍路径不稳定的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明的实施例提供一种无人机跟拍方法，包括：

拍摄视频图像；

对所述视频图像进行目标对象检测；

当检测到所述目标对象时，获取所述目标对象的运动轨迹；

基于所述目标对象的运动轨迹，生成无人机飞行线路。

结合第一方面，在第一方面的第一种可能的实现方式中，所述对所述视频图像进行目标对象检测，包括：

基于深度神经网络，对所述视频图像进行目标对象检测；其中，所述目标对象包括：行人、动物、车辆中的任意一种或任意组合。

结合第一方面，在第一方面的第二种可能的实现方式中，所述基于所述目标对象的运动轨迹，生成无人机飞行线路，包括：

基于所述目标对象的运动轨迹，生成与所述目标对象的运动轨迹一致的无人机飞行线路。

结合第一方面，在第一方面的第三种可能的实现方式中，所述基于所述目标对象的运动轨迹，生成无人机飞行线路，包括：

获取所述目标对象的实时地理位置及所述无人机的实时地理位置；

根据所述目标对象的实时地理位置及所述无人机的实时地理位置，计算所述目标对象相对于所述无人机的相对方向及相对距离；

基于深度神经网络，根据所述视频图像对所述目标对象的运动轨迹进行预测，得到目标对象预测轨迹；

根据所述目标对象预测轨迹、所述相对方向及相对距离，生成所述无人机飞行线路。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述根据所述目标对象预测轨迹、所述相对方向及相对距离，生成所述无人机飞行线路之后，还包括：

按照所述无人机飞行线路，控制所述无人机的飞行方向及飞行速度，所述飞行方向至少通过所述相对方向确定得到，所述飞行速度至少通过所述相对距离确定得到。

第二方面，本发明的实施例提供一种无人机跟拍装置，包括：

拍摄模块，用于拍摄视频图像；

检测模块，用于对所述视频图像进行目标对象检测；

获取模块，用于当检测到所述目标对象时，获取所述目标对象的运动轨迹；

生成模块，用于基于所述目标对象的运动轨迹，生成无人机飞行线路。

结合第二方面，在第二方面的第一种可能的实现方式中，所述检测模块，包括：

检测子模块，用于基于深度神经网络，对所述视频图像进行目标对象检测；其中，所述目标对象包括：行人、动物、车辆中的任意一种或任意组合。

结合第二方面，在第二方面的第二种可能的实现方式中，所述生成模块，包括：

第一生成子模块，用于基于所述目标对象的运动轨迹，生成与所述目标对象的运动轨迹一致的无人机飞行线路。

结合第二方面，在第二方面的第三种可能的实现方式中，所述生成模块，包括：

获取子模块，用于获取所述目标对象的实时地理位置及所述无人机的实时地理位置；

计算子模块，用于根据所述目标对象的实时地理位置及所述无人机的实时地理位置，计算所述目标对象相对于所述无人机的相对方向及相对距离；

预测子模块，用于基于深度神经网络，根据所述视频图像对所述目标对象的运动轨迹进行预测，得到目标对象预测轨迹；

第二生成子模块，用于根据所述目标对象预测轨迹、所述相对方向及相对距离，生成所述无人机飞行线路。

结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述根装置还包括：

控制模块，用于按照所述无人机飞行线路，控制所述无人机的飞行方向及飞行速度，所述飞行方向至少通过所述相对方向确定得到，所述飞行速度至少通过所述相对距离确定得到。

本发明实施例提供的无人机跟拍方法及装置，通过拍摄视频图像；对所述视频图像进行目标对象检测；当检测到所述目标对象时，获取所述目标对象的运动轨迹；基于所述目标对象的运动轨迹，生成无人机飞行线路。能够当在无人机飞行过程中进行拍摄时，实现在无需人工进行控制的同时，对待拍摄物体准确跟拍，跟拍路径稳定，从而可以提高跟拍画面质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的无人机跟拍方法的流程示意图；

图2是本发明实施例的无人机跟拍方法的另一流程示意图；

图3是本发明实施例的无人机跟拍装置结构示意图；

图4是本发明实施例的检测模块的结构示意图；

图5是本发明实施例的生成模块的结构示意图；

图6是本发明实施例的生成模块的另一结构示意图；

图7是本发明实施例的无人机跟拍装置的另一结构示意图；

图8是本发明实施例的无人机跟拍装置800的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明一实施例提供一种无人机跟拍方法，如图1所示，所述方法包括：

101、拍摄视频图像。

对于本发明实施例，可以通过无人机上集成的摄像模组或摄像装置拍摄视频图像，也可以通过外接在无人机上的摄像装置(例如，运动摄像头)拍摄视频图像，并将该视频图像传输给无人机，本发明实施例不做限制。

102、对所述视频图像进行目标对象检测。

对于本发明实施例，可以通过无人机上具有运算能力的处理芯片，对视频图像进行分析检测，是否存在该目标对象；也可以在无人机发送给已建立连接的移动终端或服务器后，由与无人机已建立连接的移动终端或服务器对视频图像进行分析检测，是否存在该目标对象，本发明实施例不做限制。

在本发明实施例中，具体可以通过深度学习网络，在视频图像中进行特征提取，获取目标对象的各关键点信息，从而实现在视频图像中对目标对象的检测。

103、当检测到所述目标对象时，获取所述目标对象的运动轨迹。

可选地，在检测到目标对象的各视频帧中，获取目标对象的位置信息，以及该视频帧对应的时间信息；并基于各位置信息及各时间信息，生成目标对象的运动轨迹。其中，位置信息可以是目标对象的实际地理位置信息；也可以是目标对象相对于无人机的位置信息(即：以无人机的中心为坐标原点来看，目标对象在该坐标系中的位置)；还可以是以检测到目标对象的第一个视频帧中目标对象的位置为中心，其他视频帧中目标对象的位置相对于该中心的位置(即：以第一个视频帧中目标对象的中心为坐标原点来看，其他视频帧中的目标对象在该坐标系中的位置)。

104、基于所述目标对象的运动轨迹，生成无人机飞行线路。

对于本发明实施例，具体可以为：基于所述目标对象的运动轨迹，生成与所述目标对象的运动轨迹一致的无人机飞行线路。

在本发明实施例中，与目标对象的运动轨迹一致的无人机飞行线路是指，二者的运动轨迹完全相同，即二者的运动方向、运动速度、运动距离均完全相同。

通过生成与目标对象的运动轨迹一致的无人机飞行线路，能够实现无人机对目标对象的稳定跟拍，即在无人机对目标对象的拍摄过程中，无人机在视频画面中的位置始终处于画面的同一位置，可以提高无人机对目标对象拍摄的视频画面的稳定性。

可选地，在检测到目标对象存在的第一帧视频图像时，无人机对视频拍摄画面的范围及角度进行调整，以实现该目标对象在无人机拍摄的视频图像的正中间。

在本发明实施例中，通过在首次拍摄到目标对象时，将其调整至无人机拍摄的视频图像的正中间，在后续对目标对象的拍摄过程中，无人机始终保持与目标对象同步运动，能够实现目标对象始终在无人机拍摄的视频图像的正中间，从而可以进一步提高无人机对目标对象进行跟拍的画面质量。

对于本发明实施例，还可以获取预设时间段范围内的目标对象的运动轨迹，并基于此生成无人机的飞行线路。例如，获取目标对象前2秒的运动轨迹，基于此生成无人机当前的飞行线路。

与现有技术相比，本发明实施例通过拍摄视频图像；对所述视频图像进行目标对象检测；当检测到所述目标对象时，获取所述目标对象的运动轨迹；基于所述目标对象的运动轨迹，生成无人机飞行线路。能够当在无人机飞行过程中进行拍摄时，实现在无需人工进行控制的同时，对待拍摄物体准确跟拍，跟拍路径稳定，从而可以提高跟拍画面质量。

本发明又一实施例提供一种无人机拍摄方法，如图2所示，所述方法包括：

201、拍摄视频图像。

对于本发明实施例，可以通过无人机上集成的摄像模组或摄像装置拍摄视频图像，也可以通过外接在无人机上的摄像装置(例如，运动摄像头)拍摄视频图像，并将该视频图像传输给无人机，本发明实施例不做限制。

202、基于深度神经网络，对所述视频图像进行目标对象检测。

其中，所述目标对象包括：行人、动物、车辆中的任意一种或任意组合。

对于本发明实施例，可以通过无人机上具有运算能力的处理芯片，对视频图像进行分析检测，是否存在该目标对象；也可以在无人机发送给已建立连接的移动终端或服务器后，由与无人机已建立连接的移动终端或服务器对视频图像进行分析检测，是否存在该目标对象，本发明实施例不做限制。

203、当检测到所述目标对象时，获取所述目标对象的运动轨迹。

可选地，在检测到目标对象的各视频帧中，获取目标对象的位置信息，以及该视频帧对应的时间信息；并基于各位置信息及各时间信息，生成目标对象的运动轨迹。其中，位置信息可以是目标对象的实际地理位置信息；也可以是目标对象相对于无人机的位置信息(即：以无人机的中心为坐标原点来看，目标对象在该坐标系中的位置)；还可以是以检测到目标对象的第一个视频帧中目标对象的位置为中心，其他视频帧中目标对象的位置相对于该中心的位置(即：以第一个视频帧中目标对象的中心为坐标原点来看，其他视频帧中的目标对象在该坐标系中的位置)。

204、获取所述目标对象的实时地理位置及所述无人机的实时地理位置。

在本发明实施例中，具体可以通过深度神经网络，在视频图像中进行特征提取，获取目标对象的各关键点信息，从而实现在视频图像中对目标对象的检测。

205、根据所述目标对象的实时地理位置及所述无人机的实时地理位置，计算所述目标对象相对于所述无人机的相对方向及相对距离。

可选地，步骤204-205也可以替换为：获取所述目标对象相对于所述无人机的相对方向及相对距离，即：以无人机的中心为坐标原点来看，目标对象在该坐标系中的位置。

206、基于深度神经网络，根据所述视频图像对所述目标对象的运动轨迹进行预测，得到目标对象预测轨迹。

207、根据所述目标对象预测轨迹、所述相对方向及相对距离，生成所述无人机飞行线路。

步骤204-207替换为：基于所述目标对象的运动轨迹，生成与所述目标对象的运动轨迹一致的无人机飞行线路。

在本发明实施例中，与目标对象的运动轨迹一致的无人机飞行线路是指，二者的运动轨迹完全相同，即二者的运动方向、运动速度、运动距离均完全相同。

通过生成与目标对象的运动轨迹一致的无人机飞行线路，能够实现无人机对目标对象的稳定跟拍，即在无人机对目标对象的拍摄过程中，无人机在视频画面中的位置始终处于画面的同一位置，可以提高无人机对目标对象拍摄的视频画面的稳定性。

可选地，在检测到目标对象存在的第一帧视频图像时，无人机对视频拍摄画面的范围及角度进行调整，以实现该目标对象在无人机拍摄的视频图像的正中间。

在本发明实施例中，通过在首次拍摄到目标对象时，将其调整至无人机拍摄的视频图像的正中间，在后续对目标对象的拍摄过程中，无人机始终保持与目标对象同步运动，能够实现目标对象始终在无人机拍摄的视频图像的正中间，从而可以进一步提高无人机对目标对象进行跟拍的画面质量。

对于本发明实施例，还可以获取预设时间段范围内的目标对象的运动轨迹，并基于此生成无人机的飞行线路。例如，获取目标对象前2秒的运动轨迹，基于此生成无人机当前的飞行线路。

208、按照所述无人机飞行线路，控制所述无人机的飞行方向及飞行速度，所述飞行方向至少通过所述相对方向确定得到，所述飞行速度至少通过所述相对距离确定得到。

对于本发明实施例，通过相对方向控制飞行方向，通过相对距离控制飞行速度，能够实现无人机对目标对象的准确跟拍。

与现有技术相比，本发明实施例通过拍摄视频图像；对所述视频图像进行目标对象检测；当检测到所述目标对象时，获取所述目标对象的运动轨迹；基于所述目标对象的运动轨迹，生成无人机飞行线路。能够当在无人机飞行过程中进行拍摄时，实现在无需人工进行控制的同时，对待拍摄物体准确跟拍，跟拍路径稳定，从而可以提高跟拍画面质量。

本发明又一实施例提供一种无人机跟拍装置，如图3所示，所述装置包括：

拍摄模块31，用于拍摄视频图像；

检测模块32，用于对所述视频图像进行目标对象检测；

获取模块33，用于当检测到所述目标对象时，获取所述目标对象的运动轨迹；

生成模块34，用于基于所述目标对象的运动轨迹，生成无人机飞行线路。

进一步的，如图4所示，所述检测模块32，包括：

检测子模块321，用于基于深度神经网络，对所述视频图像进行目标对象检测；其中，所述目标对象包括：行人、动物、车辆中的任意一种或任意组合。

进一步的，如图5所示，所述生成模块34，包括：

第一生成子模块341，用于基于所述目标对象的运动轨迹，生成与所述目标对象的运动轨迹一致的无人机飞行线路。

进一步的，如图6所示，所述生成模块34，包括：

获取子模块342，用于获取所述目标对象的实时地理位置及所述无人机的实时地理位置；

计算子模块343，用于根据所述目标对象的实时地理位置及所述无人机的实时地理位置，计算所述目标对象相对于所述无人机的相对方向及相对距离；

预测子模块344，用于基于深度神经网络，根据所述视频图像对所述目标对象的运动轨迹进行预测，得到目标对象预测轨迹；

第二生成子模块345，用于根据所述目标对象预测轨迹、所述相对方向及相对距离，生成所述无人机飞行线路。

进一步的，如图7所示，所述根装置还包括：

控制模块71，用于按照所述无人机飞行线路，控制所述无人机的飞行方向及飞行速度，所述飞行方向至少通过所述相对方向确定得到，所述飞行速度至少通过所述相对距离确定得到。

与现有技术相比，本发明实施例通过拍摄视频图像；对所述视频图像进行目标对象检测；当检测到所述目标对象时，获取所述目标对象的运动轨迹；基于所述目标对象的运动轨迹，生成无人机飞行线路。能够当在无人机飞行过程中进行拍摄时，实现在无需人工进行控制的同时，对待拍摄物体准确跟拍，跟拍路径稳定，从而可以提高跟拍画面质量。

本发明实施例提供的无人机跟拍装置可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。本发明实施例提供的无人机跟拍方法及装置可以适用于控制无人机进行飞机，但不仅限于此。

如图8所示，无人机跟拍装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，个人数字助理等。

参照图8，无人机跟拍装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件818。

处理组件802通常控制无人机跟拍装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令。

此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在无人机跟拍装置800的操作。这些数据的示例包括用于在无人机跟拍装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为无人机跟拍装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为无人机跟拍装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述无人机跟拍装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当无人机跟拍装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当无人机跟拍装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件818发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为无人机跟拍装置800提供各个方面的状态评估。例如，传感器组件814可以检测到无人机跟拍装置800的打开/关闭状态，组件的相对定位，例如所述组件为无人机跟拍装置800的显示器和小键盘，传感器组件814还可以检测无人机跟拍装置800或无人机跟拍装置800一个组件的位置改变，用户与无人机跟拍装置800接触的存在或不存在，无人机跟拍装置800方位或加速/减速和无人机跟拍装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件818被配置为便于无人机跟拍装置800和其他设备之间有线或无线方式的通信。无人机跟拍装置800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件818经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件818还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，无人机跟拍装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。