一种遥测数据和视频图像数据的离线同步方法及装置与流程

本发明涉及无人机数据处理技术领域，尤其涉及一种遥测数据和视频图像数据的离线同步方法及装置。

背景技术：

在无人机飞行过程中，视频图像数据与遥测数据是分别记录和存储的(视频图像数据是无人机载荷产生与存储，遥测数据是飞控系统产生与存储)，并在飞行结束后分别生成视频图像数据文件和遥测数据文件。由于通讯延迟、链路不稳等因素，视频图像数据和遥测数据往往是不同步的，即视频图像数据和遥测数据无法一一对应起来。然而，随着无人机应用的推广，对无人机数据的分析以及进一步的深化和细化，需要对无人机遥测数据和视频图像数据进行同步处理。

为解决数据同步的问题，现有的一种做法是采用人工方式根据无人机位置和视频内容进行对比与同步，这种方式不仅费时费力，而且由于人工处理的局限性导致同步结果也不够理想。另一种做法是利用图像匹配方法实现相对位置的计算，由于图像匹配算法的计算量大、效率低，消耗的计算资源与时间过多，无法有效地应用在实际的视频处理中。

综上，目前亟需一种更为有效的遥测数据和视频图像数据的离线同步方法，在实现遥测数据和视频图像数据的离线同步的基础上，提高数据同步的效率和准确性。

技术实现要素：

本发明实施例提供一种遥测数据和视频图像数据的离线处理方法及装置，用于在实现遥测数据和视频图像数据的离线同步的基础上，提高同步的效率和准确性。

本发明实施例提供的一种遥测数据和视频图像数据的离线处理方法，包括：

获取待同步的遥测数据和视频图像数据；

对获取到的遥测数据进行解析和运动编码，得到基于遥测数据的综合运动编码；

对获取的视频图像数据采用灰度投影法进行运动估计，得到所述视频图像数据中相邻图像帧的相对运动状态，进而得到基于视频图像数据的综合运动编码；

至少根据所述基于遥测数据的综合运动编码和所述基于视频图像数据的综合运动编码的匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据。

可选地，所述至少根据所述基于遥测数据的综合运动编码和所述基于视频图像数据的综合运动编码的匹配结果，对所述遥测数据进行插值处理，包括：

根据基于遥测数据的无人机运动编码和基于视频图像数据的无人机运动编码的匹配结果、基于遥测数据的载荷运动编码和基于视频图像数据的载荷运动编码的匹配结果以及所述基于遥测数据的综合运动编码和所述基于视频图像数据的综合运动编码的匹配结果，对所述遥测数据进行插值处理。

可选地，所述基于遥测数据的无人机运动编码和所述基于遥测数据的载荷运动编码是通过下述方式得到的：

对获取到的遥测数据进行解析，得到无人机状态参数和载荷状态参数；

根据所述无人机状态参数，得到所述基于遥测数据的无人机运动编码；

根据所述载荷状态参数，得到所述基于遥测数据的载荷运动编码。

可选地，所述基于视频图像数据的无人机运动编码和所述基于视频图像数据的载荷运动编码是通过下述方式得到的：

采用支持向量机对所述灰度投影法的运动估计结果进行识别，得到无人机运动形成的视频段和载荷运动形成的视频段；

根据所述无人机运动形成的视频段，得到所述基于视频图像数据的无人机运动编码；

根据所述载荷运动形成的视频段，得到所述基于视频图像数据的载荷运动编码。

本发明实施例提供一种遥测数据和视频图像数据的离线同步装置，该装置包括：

获取模块，用于获取待同步的遥测数据和视频图像数据；

遥测数据分析模块，用于对获取到的遥测数据进行解析和运动编码，得到基于遥测数据的综合运动编码；

视频图像数据分析模块，用于对获取的视频图像数据采用灰度投影法进行运动估计，得到所述视频图像数据中相邻图像帧的相对运动状态，进而得到基于视频图像数据的综合运动编码；

同步模块，用于至少根据所述基于遥测数据的综合运动编码和所述基于视频图像数据的综合运动编码的匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据。

可选地，所述同步模块具体用于：

根据基于遥测数据的无人机运动编码和基于视频图像数据的无人机运动编码的匹配结果、基于遥测数据的载荷运动编码和基于视频图像数据的载荷运动编码的匹配结果以及所述基于遥测数据的综合运动编码和所述基于视频图像数据的综合运动编码的匹配结果，对所述遥测数据进行插值处理。

可选地，所述遥测数据分析模块还用于，通过下述方式得到所述基于遥测数据的无人机运动编码和所述基于遥测数据的载荷运动编码：

对获取到的遥测数据进行解析，得到无人机状态参数和载荷状态参数；

根据所述无人机状态参数，得到所述基于遥测数据的无人机运动编码；

根据所述载荷状态参数，得到所述基于遥测数据的载荷运动编码。

可选地，所述视频图像数据分析模块还用于，通过下述方式得到所述基于视频图像数据的无人机运动编码和所述基于视频图像数据的载荷运动编码：

采用支持向量机对所述灰度投影法的运动估计结果进行识别，得到无人机运动形成的视频段和载荷运动形成的视频段；

根据所述无人机运动形成的视频段，得到所述基于视频图像数据的无人机运动编码；

根据所述载荷运动形成的视频段，得到所述基于视频图像数据的载荷运动编码。

本发明的上述实施例中，获取待同步的遥测数据和视频图像数据；对获取到的遥测数据进行解析和运动编码，得到基于遥测数据的综合运动编码；对获取的视频图像数据采用灰度投影法进行运动估计，得到视频图像数据中相邻图像帧的相对运动状态，进而得到基于视频图像数据的综合运动编码；至少根据基于遥测数据的综合运动编码和基于视频图像数据的综合运动编码的匹配结果，对遥测数据进行插值处理，得到与视频图像数据同步的遥测数据。本发明实施例中，根据遥测数据和视频图像数据分别得到基于遥测数据的综合运动编码和基于视频图像数据的综合运动编码，进而根据匹配结果，对遥测数据进行插值处理，由于遥测数据的采样频率低于视频图像数据的采样频率，通过匹配和插值处理后，可得到与视频图像数据中的图像帧对应的遥测数据，不仅实现视频图像数据和遥测数据的同步，而且保证了同步的准确性；且，本发明实施例中采用灰度投影法进行运动估计，大大提高了运动估计的效率，进而从整体上提高了数据同步的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种遥测数据和视频图像数据的离线同步方法所对应的流程示意图；

图2为无人机的运动模式编码示意图；

图3为本发明实施例提供的遥测数据和视频图像数据的离线同步方法的整体流程示意图；

图4为本发明实施例提供的一种遥测数据和视频图像数据的离线同步装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种遥测数据和视频图像数据的离线同步方法所对应的流程示意图，如图1所示，该方法包括：

步骤101，获取待同步的遥测数据和视频图像数据；

步骤102，对获取到的遥测数据进行解析和运动编码，得到基于遥测数据的综合运动编码；

步骤103，对获取的视频图像数据采用灰度投影法进行运动估计，得到所述视频图像数据中相邻图像帧的相对运动状态，进而得到基于视频图像数据的综合运动编码；

步骤104至少根据所述基于遥测数据的综合运动编码和所述基于视频图像数据的综合运动编码的匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据。

需要说明的是，本发明实施例中上述各个步骤的编号仅为一种执行过程的示例性说明，本发明实施例不对各个步骤做明确具体的先后顺序限定，有些步骤可以同时进行，或不按上述编号进行，例如，步骤102和步骤103可以同时进行，或者可以先执行步骤103中的内容，再执行步骤102中的内容。

本发明实施例中，根据遥测数据和视频图像数据分别得到基于遥测数据的综合运动编码和基于视频图像数据的综合运动编码，进而根据匹配结果，对所述遥测数据进行插值处理，由于遥测数据的采样频率低于视频图像数据的采样频率，通过匹配和插值处理后，可得到与视频图像数据中的图像帧对应的遥测数据，不仅实现视频图像数据和遥测数据的同步，而且保证了同步的准确性；且，本发明实施例中采用灰度投影法进行运动估计，大大提高了运动估计的效率，进而从整体上提高了数据同步的效率。

具体地，在步骤102中，根据无人机遥测协议对遥测数据进行解析，得到经度、纬度、高度、俯仰、横滚、偏航等无人机状态参数；根据载荷遥测协议对遥测数据进行解析，得到载荷状态参数；随后，根据解析得到的无人机状态参数、载荷状态参数，将遥测数据按照时间维度进行分段，分别命名为无人机运动段A和载荷运动段B，如图2所示，无人机运动段A和载荷运动段B的分布情况即为无人机的运动模式编码，即为基于遥测数据的综合运动编码。本发明实施例中，分段的依据可以是该段中载荷是否存在明显的运动，具体可根据载荷状态参数来判断载荷是否存在明显的运动，判断标准可由本领域技术人员根据经验设置。

在各段遥测数据中，根据无人机状态参数和载荷状态参数，采用旋转矩阵方法对载荷观测区域进行定位，将相邻帧之间的定位结果进行比较，计算出相对运动幅度和方向，根据运动幅度和方向进行运动编码。即根据无人机状态参数，得到基于遥测数据的无人机运动编码；根据载荷状态参数，得到基于遥测数据的载荷运动编码。

具体地，在步骤103中，采用灰度投影法实现对视频图像数据的快速运动估计，得到所述视频图像数据中相邻图像帧的相对运动状态(包括相对运动方向和大小)，进而根据相对运动方向和大小，进行编码。其中，相对运动的方向分为上下左右四个方向。

采用支持向量机对所述灰度投影法的运动估计结果进行识别，得到无人机运动形成的视频段和载荷运动形成的视频段；根据所述无人机运动形成的视频段，得到所述基于视频图像数据的无人机运动编码；根据所述载荷运动形成的视频段，得到所述基于视频图像数据的载荷运动编码。

本发明实施例中，由于遥测数据的采样频率通常低于视频图像数据的采样频率，因此，需要对遥测数据进行插值处理，从而可以得到与视频图像数据中的图像帧同步的遥测数据。具体地，在步骤104中，根据基于遥测数据的无人机运动编码和基于视频图像数据的无人机运动编码的匹配结果、基于遥测数据的载荷运动编码和基于视频图像数据的载荷运动编码的匹配结果以及所述基于遥测数据的综合运动编码和所述基于视频图像数据的综合运动编码的匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据，实现视频图像数据和遥测数据的同步。

图3为本发明实施例提供的遥测数据和视频图像数据的离线同步方法的整体流程示意图。下面结合图3对本发明实施例中遥测数据和视频图像数据的离线同步方法进行具体介绍。如图3所示：

步骤301，获取待同步的遥测数据；

步骤302，根据无人机遥测协议和载荷遥测协议对遥测数据进行解析，然后执行步骤303和步骤304；

步骤303，进行载荷运动状态分析，得到基于遥测数据的载荷运动编码；

步骤304，进行无人机运动状态分析，得到基于遥测数据的无人机运动编码；

步骤305，通过运动模式编码，得到基于遥测数据的综合运动编码；

步骤401，获取待同步的视频图像数据；

步骤402，采用灰度投影法进行运动估计，得到视频图像数据中相邻图像帧的相对运动状态；

步骤403，采用支持向量机对所述灰度投影法的运动估计结果进行识别，得到无人机运动形成的视频段和载荷运动形成的视频段，并得到运动模式编码；

步骤404，根据所述无人机运动形成的视频段，得到所述基于视频图像数据的无人机运动编码；

步骤405，根据所述载荷运动形成的视频段，得到所述基于视频图像数据的载荷运动编码；

步骤406，根据运动模式编码，得到基于视频图像数据的综合运动编码；

步骤501，将基于遥测数据的载荷运动编码和基于视频图像数据的载荷运动编码进行载荷模式匹配；

步骤502，将基于遥测数据的无人机运动编码和基于视频图像数据的无人机运动编码进行无人机模式匹配；

步骤503，将基于遥测数据的综合运动编码和基于视频图像数据的综合运动编码进行综合运动匹配；

步骤504，对步骤501至步骤503中的匹配结果进行综合计算，进而对遥测数据进行插值处理；

步骤505，得到与所述视频图像数据同步的遥测数据，实现视频图像数据和遥测数据的离线同步。

需要说明的是，本发明实施例中上述各个步骤的编号仅为一种执行过程的示例性说明，本发明实施例不对各个步骤做明确具体的先后顺序限定，有些步骤可以同时进行，或不按上述编号进行，例如，步骤301和步骤401可以同时进行，或者步骤301发生于步骤401之后。

本发明的上述实施例中，获取待同步的遥测数据和视频图像数据；对获取到的遥测数据进行解析和运动编码，得到基于遥测数据的综合运动编码；对获取的视频图像数据采用灰度投影法进行运动估计，得到视频图像数据中相邻图像帧的相对运动状态，进而得到基于视频图像数据的综合运动编码；至少根据基于遥测数据的综合运动编码和基于视频图像数据的综合运动编码的匹配结果，对遥测数据进行插值处理，得到与视频图像数据同步的遥测数据。本发明实施例中，根据遥测数据和视频图像数据分别得到基于遥测数据的综合运动编码和基于视频图像数据的综合运动编码，进而根据匹配结果，对遥测数据进行插值处理，由于遥测数据的采样频率低于视频图像数据的采样频率，通过匹配和插值处理后，可得到与视频图像数据中的图像帧对应的遥测数据，不仅实现视频图像数据和遥测数据的同步，而且保证了同步的准确性；且，本发明实施例中采用灰度投影法进行运动估计，大大提高了运动估计的效率，进而从整体上提高了数据同步的效率。

针对上述方法流程，本发明实施例还提供一种遥测数据和视频图像数据的离线同步装置，该装置的具体内容可以参照上述方法实施。

基于相同构思，图4为本发明实施例提供的一种遥测数据和视频图像数据的离线同步装置的结构示意图，该装置包括：

获取模块601，用于获取待同步的遥测数据和视频图像数据；

遥测数据分析模块602，用于对获取到的遥测数据进行解析和运动编码，得到基于遥测数据的综合运动编码；

视频图像数据分析模块603，用于对获取的视频图像数据采用灰度投影法进行运动估计，得到所述视频图像数据中相邻图像帧的相对运动状态，进而得到基于视频图像数据的综合运动编码；

同步模块604，用于至少根据所述基于遥测数据的综合运动编码和所述基于视频图像数据的综合运动编码的匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据。

较佳地，所述同步模块604具体用于：

根据基于遥测数据的无人机运动编码和基于视频图像数据的无人机运动编码的匹配结果、基于遥测数据的载荷运动编码和基于视频图像数据的载荷运动编码的匹配结果以及所述基于遥测数据的综合运动编码和所述基于视频图像数据的综合运动编码的匹配结果，对所述遥测数据进行插值处理。

较佳地，所述遥测数据分析模块602还用于，通过下述方式得到所述基于遥测数据的无人机运动编码和所述基于遥测数据的载荷运动编码：

对获取到的遥测数据进行解析，得到无人机状态参数和载荷状态参数；

根据所述无人机状态参数，得到所述基于遥测数据的无人机运动编码；

根据所述载荷状态参数，得到所述基于遥测数据的载荷运动编码。

较佳地，所述视频图像数据分析模块603还用于，通过下述方式得到所述基于视频图像数据的无人机运动编码和所述基于视频图像数据的载荷运动编码：

采用支持向量机对所述灰度投影法的运动估计结果进行识别，得到无人机运动形成的视频段和载荷运动形成的视频段；

根据所述无人机运动形成的视频段，得到所述基于视频图像数据的无人机运动编码；

根据所述载荷运动形成的视频段，得到所述基于视频图像数据的载荷运动编码。

从上述内容可以看出：本发明的上述实施例中，获取待同步的遥测数据和视频图像数据；对获取到的遥测数据进行解析和运动编码，得到基于遥测数据的综合运动编码；对获取的视频图像数据采用灰度投影法进行运动估计，得到视频图像数据中相邻图像帧的相对运动状态，进而得到基于视频图像数据的综合运动编码；至少根据基于遥测数据的综合运动编码和基于视频图像数据的综合运动编码的匹配结果，对遥测数据进行插值处理，得到与视频图像数据同步的遥测数据。本发明实施例中，根据遥测数据和视频图像数据分别得到基于遥测数据的综合运动编码和基于视频图像数据的综合运动编码，进而根据匹配结果，对遥测数据进行插值处理，由于遥测数据的采样频率低于视频图像数据的采样频率，通过匹配和插值处理后，可得到与视频图像数据中的图像帧对应的遥测数据，不仅实现视频图像数据和遥测数据的同步，而且保证了同步的准确性；且，本发明实施例中采用灰度投影法进行运动估计，大大提高了运动估计的效率，进而从整体上提高了数据同步的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。