影音合成方法、装置及系统与流程

本发明实施例涉及飞行器技术领域，尤其涉及一种影音合成方法、装置及系统。

背景技术：

无人机作为飞行器的代表，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。无人机按应用领域，可分为军用与民用。军用方面，无人机分为侦察机和靶机。民用方面，无人机+行业应用，是无人机真正的刚需；目前在航拍、农业、植保、自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等领域的应用，大大的拓展了无人机本身的用途，发达国家也在积极扩展行业应用与发展无人机技术。

当前，民用无人机的一个重要的应用就是视频拍摄，无人机在航行的过程中进行视频的拍摄。但由于无人机拍摄的视频中没有声音，从而使无人机拍摄视频的操作功能比较单一，也使无人机的使用者失去了很多的乐趣。

技术实现要素：

本发明实施例提供一种影音合成方法、装置及系统，为飞行器拍摄的视频数据配上地面音频数据，以解决飞行器拍摄的视频中没有声音，使飞行器拍摄视频的操作功能单一的问题。

第一方面，本发明实施例提供了一种影音合成方法，该方法包括：

地面控制装置采集地面的音频数据；

所述地面控制装置获取飞行器录制的视频帧；

所述地面控制装置将所述音频数据与所述视频帧进行合成，生成音视频数据。

第二方面，本发明实施例还提供了一种影音合成装置，该装置包括：

音频采集模块，用于地面控制装置采集地面的音频数据；

视频采集模块，用于所述地面控制装置获取飞行器录制的视频帧；

合成模块，用于所述地面控制装置将所述音频数据与所述视频帧进行合成，生成音视频数据。

本发明实施例，通过地面控制装置将采集的音频数据与接收的飞行器录制的视频帧进行合成，以生成配有地面音频数据的音视频数据，从而解决飞行器拍摄的视频中没有声音，使飞行器拍摄视频的操作功能单一的问题。

第三方面，本发明实施例还提供了一种影音合成方法，该方法包括：

飞行器录制视频帧；

所述飞行器获取地面控制装置采集的音频数据；

所述飞行器将所述音频数据与所述视频帧进行合成，生成音视频数据。

第四方面，本发明实施例还提供了一种影音合成装置，该装置包括：

视频录制模块，用于飞行器录制视频帧；

音频获取模块，用于所述飞行器获取地面控制装置采集的音频数据；

音视频合成模块，用于所述飞行器将所述音频数据与所述视频帧进行合成，生成音视频数据。

本发明实施例，通过飞行器将录制的视频帧与接收的地面控制装置采集的音频数据进行合成，以生成配有地面音频数据的音视频数据，从而解决飞行器拍摄的视频中没有声音，使飞行器拍摄视频的操作功能单一的问题。

第五方面，本发明实施例还提供了一种影音合成系统，该系统包括：

所述地面控制装置和所述飞行器，其中，所述地面控制装置采集音频数据，所述飞行器录制视频帧，所述地面控制装置将所述音频数据与所述视频帧进行合成，生成音视频数据，或者，所述飞行器将所述音频数据与所述视频帧进行合成，生成音视频数据。

本发明实施例，通过将地面控制装置采集的音频数据和飞行器录制的视频帧进行合成，以生成配有地面音频数据的音视频数据，从而解决飞行器拍摄的视频中没有声音，使飞行器拍摄视频的操作功能单一的问题。

附图说明

图1是本发明实施例一提供的一种影音合成方法的流程图；

图2是本发明实施例二提供的一种影音合成方法的流程图；

图3是本发明实施例三提供的一种影音合成装置的结构示意图；

图4是本发明实施例四提供的一种影音合成装置的结构示意图；

图5是本发明实施例四提供的一种地面控制装置的校正单元的示意图；

图6是本发明实施例四提供的一种影音合成装置应用的结构示意图；

图7是本发明实施例五提供的一种影音合成方法的流程图；

图8是本发明实施例六提供的一种影音合成方法的流程图；

图9是本发明实施例七提供一种影音合成装置的结构示意图；

图10是本发明实施例八提供的一种影音合成系统的结构示意图；

图11是本发明实施例八提供的另一种影音合成系统的结构示意图；

图12是本发明实施例九提供的一种影音合成系统的结构示意图；

图13是本发明实施例九提供的另一种影音合成系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种影音合成方法的流程图。本实施例可适用于通过地面控制装置控制飞行器，以生成配有地面音频数据的音视频数据的情况。该方法可以由影音合成装置来执行，该装置可以由软件和/或硬件的方式实现，该影音合成装置可以设置在地面控制装置中。参见图1，本发明实施例提供的影音合成方法包括：

S110、地面控制装置采集地面的音频数据。

其中，地面控制装置是控制飞行器飞行的手持终端，也可以是设置在手持终端中的装置，该手持终端可以是手机、平板电脑或其他移动终端。可选的，可以通过设置在地面控制装置中的拾音器采集地面的音频数据，也可以通过数据接口从与地面控制装置连接的音频采集设备中获取已经生成电信号的地面音频数据。

S120、所述地面控制装置获取飞行器录制的视频帧。

在所述地面控制装置通过有线通信或无线通信的方式，获取视频帧的打包文件时，可能会存在视频帧的打包文件部分或全部丢失的情况。为再次获取丢失的视频帧，在所述地面控制装置获取飞行器录制的视频帧时，还可以包括：

所述地面控制装置接收所述视频帧的视频序列号；

若根据所述视频序列号识别到缺失视频帧，则所述地面控制装置通知所述飞行器对所述丢失视频帧进行重传。

其中，视频序列号是按视频帧的采样顺序排列出的序列号，该序列号可以被打包在该视频帧的打包文件中。例如，第一采样时间提取的视频帧的视频序列号为1，间隔一个上述同步间隔时间的第二采样时间提取的视频帧的视频序列号为2，依次类推。若所述地面控制装置当前接收到的视频帧的视频序列号为3，而前一时刻接收的视频帧的视频序列号为1，则表示视频序列号为2的视频帧丢失，并通知所述飞行器对视频序列号为2的视频帧进行重传。

当然，除了上述视频序列号的设置方式，还可以通过其它的方式设置视频序列号，例如，将视频帧的采样起始时间点或采样终止时间点作为该视频帧的视频序列号等，本实施例对此并不进行限制。

S130、所述地面控制装置将所述音频数据与所述视频帧进行合成，生成音视频数据。

具体的，所述地面控制装置将所述音频数据与所述视频帧进行合成的方法有很多种，能实现该音频数据和视频帧同步合成的技术方案都可以，其中，可以依据音频数据和视频帧的时间戳进行同步合成，也可以依据音频数据和视频帧的同步标记符进行同步合成等方法，该同步标记符用于标记该音频数据和视频帧的时间同步或者内容的同步。

在音频数据的采集过程中，所述地面控制装置实时将所述音频数据与所述视频帧进行合成；或者，

在音频数据采集完成之后，所述地面控制装置将所述音频数据与所述视频帧进行合成。

为对实时合成的音视频数据进行播放，在所述地面控制装置实时将所述音频数据与所述视频帧进行合成之后，还可以包括：同步播放所述音视频数据。

本实施例的技术方案，通过地面控制装置将采集的音频数据与接收的飞行器录制的视频帧进行合成，以生成配有地面音频数据的音视频数据，从而解决飞行器拍摄的视频中没有声音，使飞行器拍摄视频的操作功能单一的问题。

实施例二

图2是本发明实施例二提供的一种影音合成方法的流程图。本实施例是在上述实施例一的基础上提出的一种可选方案，参见图2，本实施例提供的影音合成方法包括：

S210、将所述地面控制装置的本地时间与所述飞行器的系统时间进行时间同步。

其中，在所述地面控制装置的本地时间与所述飞行器的系统时间进行时间同步之后，所述地面控制装置依据所述本地时间生成所述音频数据的音频时间戳，基于所述音频时间戳和视频时间戳将所述音频数据与所述视频帧进行合成，所述视频帧中基于所述飞行器的系统时间加入所述视频时间戳。

具体的，可以利用所述地面控制装置的本地时间作为授时系统，同时考虑无线传输延迟。在所述地面控制装置通过无线传输系统以及传输协议授时给飞行器之后，将所述地面控制装置的本地时间减去传输延迟，使得飞行器的系统时间与所述地面控制装置的本地时间同步。

可选的，也可以将飞行器的系统时间作为授时系统，对所述地面控制装置进行授时。在所述地面控制装置通过无线传输系统以及传输协议接收到飞行器的授时之后，将飞行器的系统时间减去传输延迟，使得飞行器的系统时间与所述地面控制装置的本地时间同步。

S220、地面控制装置采集地面的音频数据。

S230、所述地面控制装置获取飞行器录制的视频帧。

可以理解的是，由于飞行器录制的视频帧必须尽可能的实时传输到地面控制装置上显示才有意义，所以当因为无线传输的质量问题造成个别视频帧不能稳定传输到地面控制装置时，需要及时丢弃该视频帧，以保证后续视频帧传输的实时性。

S240、所述地面控制装置接收所述飞行器录制的视频帧的采样打包的同步间隔时间，其中，所述同步间隔时间作为音频数据的采样时间间隔，依据所述采样时间间隔将所述音频数据划分为音频片段，将所述音频片段的起始采样时间点、结束采样时间点或者预设的时间点作为所述音频片段的音频时间戳。

可选的，上述预设的时间点可以是所述音频片段的起始采样时间点和结束采样时间点中间的任一时间点。

具体的，飞行器对录制的视频帧依据设定的同步间隔时间进行采样打包。视频时间戳可以是该视频帧的起始采样时间点、结束采样时间点或者预设的时间点。该视频时间戳随同该视频帧的打包文件发送至地面控制装置。所述地面控制装置通过有线通信或无线通信的方式，获取视频帧的打包文件，并从打包文件中解析出视频帧及对应的视频时间戳。其中，视频帧的打包文件中可以包括一帧或多帧视频。

S250、根据所述音频片段的音频时间戳查询所述视频帧中的视频时间戳，以确定所述音频时间戳在时间上最接近的所述视频时间戳。

具体的，当所述地面控制装置接收到飞行器录制的视频帧时，提取该视频帧的视频时间戳，并在本地音频片段的音频时间戳中寻找差值最近的匹配。然后，根据匹配结果将音频片段排序使成为一个完整的音频同步文件，并将该音频同步文件与对应视频帧进行合成。

进一步的，当飞行器录制的视频帧因为传输错误而丢弃个别视频帧时，为从长时间看可以避免音视频衔接错位的问题，使获得一个比较好的同步效果，根据所述音频片段的音频时间戳查询所述视频帧中的视频时间戳，以确定所述音频时间戳在时间上最接近的所述视频时间戳可以包括：

在所述音频时间戳的预订的时间阈值范围内，查询所述音频时间戳对应的所述视频时间戳；

在没有查询到所述音频时间戳对应的所述视频时间戳的情况下，丢弃所述音频时间戳对应的音频片段。

其中，视频帧的采样打包的同步间隔时间与音频片段的采样时间间隔相同。所述音频时间戳的预订的时间阈值范围为所述音频片段的起始采样时间点至结束采样时间点之间的时间范围。

典型的，若视频帧的采样打包的同步间隔时间与音频片段的采样时间间隔不同时，如果查询确定音频片段对应的部分视频帧丢失，则以丢失视频帧的前一个视频帧填充丢失视频帧；如果查询确定音频片段中的设定数量或全部视频帧丢失，则丢弃该音频片段。

为避免在丢失视频帧后丢弃对应的音频片段带来的短时间内音视频衔接错位的问题，在丢弃的音频片段的起止时间内以丢失视频帧的前一个视频帧填充丢失视频帧，并以设定的背景音乐填充丢弃的音频片段，或者不添加任何音频。可选的，也可以以设定视频帧或图像填充丢失视频帧。

S260、将所述音频时间戳对应的音频片段与查询到的所述视频时间戳对应的视频帧进行合成，生成音视频数据。

本实施例提供的技术方案，通过地面控制装置根据时间同步后的音频时间戳和视频时间戳将对应的音频片段和视频帧进行合成，以生成视频和音频同步的音视频数据。

实施例三

图3是本发明实施例三提供的一种影音合成装置的结构示意图。本实施例是在实施例一和二的基础上提出的一种影音合成装置。参见图3，本实施例提供的影音合成装置01包括：音频采集模块10、视频采集模块20和合成模块30。

其中，音频采集模块10，用于地面控制装置采集地面的音频数据；视频采集模块20，用于所述地面控制装置获取飞行器录制的视频帧；合成模块30，用于所述地面控制装置将所述音频数据与所述视频帧进行合成，生成音视频数据。

本实施例的技术方案，通过地面控制装置将采集的音频数据与接收的飞行器录制的视频帧进行合成，以生成配有地面音频数据的音视频数据，从而解决无人机拍摄的视频中没有声音，使无人机拍摄视频的操作功能单一的问题。

进一步的，所述的影音合成装置，还包括时间同步模块。

其中，时间同步模块，用于所述地面控制装置采集地面的音频数据之前，将所述地面控制装置的本地时间与所述飞行器的系统时间进行时间同步；其中，所述地面控制装置依据所述本地时间生成所述音频数据的音频时间戳，基于所述音频时间戳和视频时间戳将所述音频数据与所述视频帧进行合成，所述视频帧中基于所述飞行器的系统时间加入所述视频时间戳。

进一步的，所述时间同步模块包括：音频时间戳确定单元。

其中，音频时间戳确定单元，用于所述地面控制装置接收所述飞行器录制的视频帧的采样打包的同步间隔时间，其中，所述同步间隔时间作为音频数据的采样时间间隔，依据所述采样时间间隔将所述音频数据划分为音频片段，将所述音频片段的起始采样时间点、结束采样时间点或者预设的时间点作为所述音频片段的音频时间戳。

进一步的，所述合成模块包括：时间戳查询单元和合成单元。

其中，时间戳查询单元，用于根据所述音频片段的音频时间戳查询所述视频帧中的视频时间戳，以确定所述音频时间戳在时间上最接近的所述视频时间戳；合成单元，用于将所述音频时间戳对应的音频片段与查询到的所述视频时间戳对应的视频帧进行合成。

进一步的，所述时间戳查询单元包括：时间戳查询子单元和音频丢弃子单元。

其中，时间戳查询子单元，用于在所述音频时间戳的预订的时间阈值范围内，查询所述音频时间戳对应的所述视频时间戳；音频丢弃子单元，用于在没有查询到所述音频时间戳对应的所述视频时间戳的情况下，丢弃所述音频时间戳对应的音频片段。

进一步的，所述影音合成装置，还包括：视频序列号接收模块和视频重传模块。

其中，视频序列号接收模块，用于在所述地面控制装置获取飞行器录制的视频帧时，所述地面控制装置接收所述视频帧的视频序列号；视频重传模块，用于若根据所述视频序列号识别到缺失视频帧，则所述地面控制装置通知所述飞行器对所述丢失视频帧进行重传。

实施例四

图4是本发明实施例四提供的一种影音合成装置的结构示意图。参见图4，本实施例在上述实施例一至三的基础上，提供一种地面控制装置40，包括用于接收视频数据的第一通信单元410；用于采集音频数据的拾音器420和/或数据接口430；用于存储视频数据和/或音频数据的存储单元440，与第一通信单元410和拾音器420和/或数据接口430相连；用于校正视频数据和/或音频数据的校正单元450，与存储单元440相连；用于合成视频数据和音频数据生成影音数据的合成单元460，与存储单元440相连。

本实施例提供的技术方案，通过利用第一通信模块接收视频数据，通过拾音器和/或数据接口采集音频数据；分别将所述视频数据和音频数据存储在存储单元中；然后利用校正单元，对所述视频数据和/或音频数据进行校正，使所述视频数据和音频数据在时间上同步；再利用合成单元，方便快捷地将视频数据和音频数据合成为完整的影音数据。达到了基本上不需要人力干预的情况下，将时间上彼此不同步的视频数据和音频数据，合成完整的影音数据的目的，提高了影音数据的合成效率。

示例性的，第一通信单元410可以从云端或某视频源(如飞行器的视频录制装置)接收视频数据。拾音器420和/或数据接口430可以从某处采集音频数据(如地面控制装置所在的地面音频数据)。将视频数据和音频数据存放在存储单元440中。当欲合成的视频数据和音频数据不同步时，校正单元450可以以视频数据的录制时间为基准，校正音频数据的录制时间；对应的，也可以以音频数据的录制时间为基准，校正视频数据的录制时间；从而使得视频数据和音频数据同步。再通过合成单元460将视频数据和音频数据合成完整的影音数据，从而提高视频和音频数据合成效率。

图5为本发明实施例四提供的一种地面控制装置的校正单元的示意图。在上述技术方案的基础上，进一步的，如图5所示，校正单元450可以包括视频校正子单元451、音频校正子单元452和/或影音校正子单元453；视频校正子单元451、音频校正子单元452和/或影音校正子单元453分别用于对应校正视频数据、音频数据和/或影音数据。

视频数据和/或音频数据经过了校正单元450的校正后，再经过合成单元460合成后，由于各种原因，有时会发现合成后的影音数据中的视频数据和音频数据在时间上有可能还是存在不同步或需要进行进一步地调整等情况出现，为了进一步提高校正效率，可以利用影音校正子单元453，直接对影音数据进行一些校正，可以显著地提高影音数据的校正效率。

需要说明的是，将校正单元450按功能一分为三的有益效果包括，用户可以根据具体的校正需求，在仅需要对视频数据、音频数据和/或影音数据进行处理时，选择对应的校正子单元进行校正；用户也可以根据具体使用需求，选择灵活购置，从而减少校正单元450的一次性购入成本和占用体积，从而提高了校正单元450的配置灵活性和使用效率。

示例性的，以通过无人机的视频录制装置录制的视频数据作为视频源为例。参见图6和图4，地面控制装置40通过设置在其上的地面无线单元和设置在无人机上的机上无线单元进行通信，用于接收无人机通过视频录制单元录制的视频数据，并且发送飞行控制指令至无人机的飞行控制单元，以控制无人机的飞行，其中视频录制单元包括视频录制装置，地面无线单元包括第一通信单元410。同时，地面控制装置40通过数据接口430接收音频录制单元采集的地面音频数据，并存储于存储单元440中，其中，音频录制单元包括拾音器420。然后，地面控制装置40将接收到的视频数据和存储在存储单元440中的音频数据经过校正及合成单元进行时间同步校正和合成，生成音视频数据并存储在存储单元440中，其中，校正及合成单元包括校正单元450和合成单元460。

实施例五

图7为本发明实施例五提供的一种影音合成方法的流程图。本实施例可适用于通过飞行器生成配有地面音频数据的音视频数据的情况。该方法可以由影音合成装置来执行，该装置可以由软件和/或硬件的方式实现，该影音合成装置可以设置在飞行器中。参见图7，本发明实施例提供的影音合成方法包括：

S310、飞行器录制视频帧。

其中，飞行器上设置有一个或多个摄像头，通过该摄像头录制视频帧，并对该视频帧依据设定的同步间隔时间进行采样。具体的，飞行器可以是在大气层内飞行的航空器、航天器、火箭、导弹和制导武器。优选的，航空器包括气球、滑翔机、飞艇、飞机、直升机和无人机等；进一步优选的，所述飞机可以为无人机。

S320、所述飞行器获取地面控制装置采集的音频数据。

在所述飞行器通过有线通信或无线通信的方式，获取音频片段的打包文件时，可能会存在音频片段的打包文件部分或全部丢失的情况。为再次获取丢失的音频片段，所述飞行器获取地面控制装置采集的音频数据时，还可以包括：

从所述地面控制装置获取所述音频数据中各音频片段的音频序列号；

若根据所述音频序列号识别到缺失音频片段，则通知所述地面控制装置对所述缺失音频片段进行重传。

其中，音频序列号是按音频片段的采样顺序排列出的序列号，该序列号可以被打包在该音频片段的打包文件中。例如，第一采样时间提取的音频片段的音频序列号为1，间隔一个上述同步间隔时间的第二采样时间提取的音频片段的音频序列号为2，依次类推。若所述飞行器当前接收到的音频片段的音频序列号为3，而前一时刻接收的音频片段的音频序列号为1，则表示音频序列号为2的音频片段丢失，并通知所述飞行器对音频序列号为2的音频片段进行重传。

当然，除了上述音频序列号的设置方式，还可以通过其它的方式设置音频序列号，例如，将音频片段的采样起始时间点或采样终止时间点作为该音频片段的音频序列号等，本实施例对此并不进行限制。

S330、所述飞行器将所述音频数据与所述视频帧进行合成，生成音视频数据。

具体的，所述飞行器将所述音频数据与所述视频帧进行合成可以包括：

在所述视频帧的采集过程中，所述飞行器将所述音频数据与所述视频帧进行合成；或

在所述视频帧采集完成之后，所述飞行器将所述音频数据与所述视频帧进行合成。

为对实时合成的音视频数据进行播放，在所述飞行器将所述音频数据与所述视频帧进行合成之后，还可以包括：同步播放所述音视频数据。

本实施例的技术方案，通过飞行器将录制的视频帧与接收的地面控制装置采集的音频数据进行合成，以生成配有地面音频数据的音视频数据，从而解决飞行器拍摄的视频中没有声音，使飞行器拍摄视频的操作功能单一的问题。

实施例六

图8是本发明实施例六提供的一种影音合成方法的流程图。本实施例是在上述实施例五的基础上提出的一种可选方案。参见图8，本实施例提供的影音合成方法包括：

S410、将所述飞行器的系统时间与所述地面控制装置的本地时间进行时间同步。

其中，在所述飞行器的系统时间与所述地面控制装置的本地时间进行时间同步之后，所述地面控制装置依据所述本地时间生成所述音频数据的音频时间戳，基于所述音频时间戳和视频时间戳将所述音频数据与所述视频帧进行合成，所述视频帧中基于所述飞行器的系统时间加入所述视频时间戳。

具体的，可以将飞行器的系统时间作为授时系统，对所述地面控制装置进行授时。在所述地面控制装置通过无线传输系统以及传输协议接收到飞行器的授时之后，将飞行器的系统时间减去传输延迟，使得飞行器的系统时间与所述地面控制装置的本地时间同步。

可选的，也可以利用所述地面控制装置的本地时间作为授时系统，同时考虑无线传输延迟。在所述地面控制装置通过无线传输系统以及传输协议授时给飞行器之后，将所述地面控制装置的本地时间减去传输延迟，使得飞行器的系统时间与所述地面控制装置的本地时间同步。

S420、飞行器录制视频帧。

S430、所述飞行器获取地面控制装置采集的音频数据。

S440、将所述飞行器录制的视频帧的采样同步间隔时间发送给所述地面控制装置，其中，所述视频帧的采样同步间隔时间作为音频数据的采样打包的采样时间间隔，依据所述采样时间间隔将所述音频数据划分为音频片段，将所述采样时间间隔的起始采样时间点、结束采样时间点或者预设的时间点作为所述音频片段的音频时间戳。

同理，可以将所述视频帧的采样同步间隔时间的起始采样时间点、结束采样时间点或者预设的时间点作为所述视频帧的视频时间戳。可选的，预设的时间点可以是所述音频片段的起始采样时间点和结束采样时间点中间的任一时间点。

具体的，地面控制装置对采集的音频数据依据上述采样时间间隔进行采样，生成音频片段，并对音频片段进行打包。同时，该音频时间戳随同该音频片段的打包文件发送至飞行器。所述飞行器通过有线通信或无线通信的方式，获取音频片段的打包文件，并从打包文件中解析出音频片段和对应的音频时间戳。其中，音频片段的打包文件中可以包括一个或多个音频片段。

在所述飞行器通过有线通信或无线通信的方式，获取音频片段的打包文件时，可能会存在音频片段的打包文件部分或全部丢失的情况。为再次获取丢失的音频片段，所述飞行器获取地面控制装置采集的音频数据时，还可以包括：

从所述地面控制装置获取所述音频数据中各音频片段的音频序列号；

若根据所述音频序列号识别到缺失音频片段，则通知所述地面控制装置对所述缺失音频片段进行重传。

S450、根据所述视频帧中的视频时间戳查询所述音频片段的音频时间戳，以确定所述视频时间戳在时间上最接近的所述音频时间戳。

具体的，当所述飞行器接收到地面控制装置采集的音频片段时，提取该音频片段的音频时间戳，并在存储的视频帧的视频时间戳中寻找差值最近的匹配。然后，根据匹配结果将视频帧排序使成为一个完整的视频同步文件，并将该视频同步文件与音频片段进行合成。

S460、将所述视频时间戳对应的视频帧与查询到的所述音频时间戳对应的音频片段进行合成。

本实施例提供的技术方案，通过飞行器根据时间同步后的音频时间戳和视频时间戳将对应的音频片段和视频帧进行合成，以生成视频和音频同步的音视频数据。

实施例七

图9是本发明实施例七提供一种影音合成装置的结构示意图。本实施例是在上述实施例五和六的基础上提出的一种影音合成装置。参见图9，本实施例提供的影音合成装置02包括：视频录制模块50、音频获取模块60和音视频合成模块70。

其中，视频录制模块50，用于飞行器录制视频帧；音频获取模块60，用于所述飞行器获取地面控制装置采集的音频数据；音视频合成模块70，用于所述飞行器将所述音频数据与所述视频帧进行合成，生成音视频数据。

本实施例的技术方案，通过飞行器将录制的视频帧与接收的地面控制装置采集的音频数据进行合成，以生成配有地面音频数据的音视频数据，从而解决飞行器拍摄的视频中没有声音，使飞行器拍摄视频的操作功能单一的问题。

进一步的，所述的影音合成装置，还包括：系统时间同步模块。

其中，系统时间同步模块，用于所述飞行器录制视频帧之前，将所述飞行器的系统时间与所述地面控制装置的本地时间进行时间同步，其中，所述地面控制装置依据所述本地时间生成所述音频数据的音频时间戳，基于所述音频时间戳和视频时间戳将所述音频数据与所述视频帧进行合成，所述视频帧中基于所述飞行器的系统时间加入所述视频时间戳。

进一步的，系统时间同步模块包括：音频片段划分模块。

其中，音频片段划分模块，用于将所述飞行器录制的视频帧的采样同步间隔时间发送给所述地面控制装置，其中，所述视频帧的采样同步间隔时间作为音频数据的采样打包的采样时间间隔，依据所述采样时间间隔将所述音频数据划分为音频片段，将所述采样时间间隔的起始采样时间点、结束采样时间点或者预设的时间点作为所述音频片段的音频时间戳。

进一步的，所述音视频合成模块包括：时间戳匹配单元和音视频合成单元。

其中，时间戳匹配单元，用于根据所述视频帧中的视频时间戳查询所述音频片段的音频时间戳，以确定所述视频时间戳在时间上最接近的所述音频时间戳；音视频合成单元，用于将所述视频时间戳对应的视频帧与查询到的所述音频时间戳对应的音频片段进行合成。

进一步的，所述的影音合成装置，还包括：音频序列号接收模块和音频重传模块。

其中，音频序列号接收模块，用于所述飞行器获取地面控制装置采集的音频数据时，从所述地面控制装置获取所述音频数据中各音频片段的音频序列号；音频重传模块，用于若根据所述音频序列号识别到缺失音频片段，则通知所述地面控制装置对所述缺失音频片段进行重传。

实施例八

图10是本发明实施例八提供的一种影音合成系统的结构示意图。参见图10，本实施例提供的影音合成系统03包括：上述实施例中任一所述的地面控制装置40和飞行器80。

其中，所述地面控制装置40采集音频数据，所述飞行器80录制视频帧，所述地面控制装置40将所述音频数据与所述视频帧进行合成，生成音视频数据，或者，所述飞行器80将所述音频数据与所述视频帧进行合成，生成音视频数据。

本实施例技术方案，通过将地面控制装置采集的音频数据和飞行器录制的视频帧进行合成，以生成配有地面音频数据的音视频数据，从而解决无人机拍摄的视频中没有声音，使无人机拍摄视频的操作功能单一的问题。

图11为本发明实施例八提供的另一种影音合成系统的结构示意图。如图11所示，在上述实施例一至四的技术方案的基础上，本实施例提供一种影音合成系统04，包括本发明实施例一至四所提供的地面控制装置40；视频录制装置810，与地面控制装置40连接；视频录制装置810还包括用于向第一通信单元410发送视频数据的第二通信单元811。

进一步的，所述连接可以为有线或无线通信连接，优选为无线通信连接。

利用影音合成系统04，可以方便地，将视频录制装置810录制的视频数据，和拾音器420和/或数据接口430独立采集的音频数据，利用校正单元450和合成单元460快捷方便地合成影音数据。达到了在基本不需要人力干预的情况下，将分别录制的视频数据和音频数据，快捷高效地合成完整的影音数据的目的，显著地提高了影音数据合成效率。

作为一种优选的技术方案，所述视频录制装置810可以安设于飞行器80上。

实施例九

图12为本发明实施例九提供的一种影音合成系统的结构示意图。如图12所示，本实施例提供一种影音合成系统05。在实施例八的技术方案的基础上，进一步的，地面控制装置40还可以包括，用于接收用户指令，并根据所述用户指令触发视频数据开始录制，且触发音频数据的开始采集的影音录制启动单元470，影音录制启动单元470与拾音器420和/或数据接口430相连。

进一步的，地面控制装置40还可以包括，用于根据所述用户指令产生同步控制指令，控制视频数据的录制和音频数据的采集时间的同步控制单元480，同步控制单元480与所述影音录制启动单元470相连。

具体的，同步控制单元480可以是，用于根据同步控制指令计时，当计时值达到设定门限值时，触发视频数据开始录制和音频数据开始采集的计时器。

在实际应用中，如图13所示，影音合成系统包括设置有摄像头的飞行器和连接有麦克风的手持终端，其中上述地面控制装置可以是手持终端，也可以是设置在手持终端上的一部分。该影音合成系统的工作过程可以描述为：手持终端通过有线通信或无线通信的方式接收飞行器上摄像头录制的视频，同时获取麦克风采集的地面音频，然后，手持终端将接收的视频和音频进行实时合成，以生成带有地面音频的音视频；可选的，还可以是飞行器通过有线通信或无线通信的方式接收与手持终端连接的麦克风采集的地面音频，同时获取摄像头录制的视频，然后，飞行器将接收的音频和视频进行合成，以生成本地高清音视频。

本实施例的技术方案，通过影音合成系统，可以方便地，将视频录取装置录制的视频数据，和拾音器和/或数据接口独立采集的音频数据，利用校正单元和合成单元快捷方便地合成影音数据。达到了在基本不需要人力干预的情况下，将分别录制的视频数据和音频数据，快捷高效地合成完整的影音数据的目的，显著地提高了影音数据合成效率。

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，该存储介质被设置为存储用于执行上述影音合成方法步骤的程序代码。

在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行上述实施例的方法步骤。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。