遥测数据和视频图像数据的同步方法及装置与流程

本发明涉及遥测数据处理技术领域，尤其涉及一种遥测数据和视频图像数据的同步方法及装置。

背景技术：

在例如无人机飞行的过程中，视频图像数据与遥测数据是分别记录和存储的，其中，视频图像数据是无人机载荷产生与存储，遥测数据是飞控系统产生与存储，并在飞行结束后分别生成视频图像数据文件和遥测数据文件。由于通讯延迟、链路不稳等因素，视频图像数据和遥测数据往往是不同步的，即视频图像数据和遥测数据无法一一对应起来。然而，随着对数据的分析分析的逐步深化和细化，需要对遥测数据和视频图像数据进行同步处理。

为解决数据同步的问题，现有的一种做法是采用人工方式根据遥测数据的位置和视频内容进行对比与同步，这种方式不仅费时费力，而且由于人工处理的局限性导致同步结果也不够理想。另一种做法是利用图像匹配方法实现相对位置的计算，由于图像匹配算法的计算量大、效率低，消耗的计算资源与时间过多，无法有效地应用在实际的视频处理中。

综上，目前亟需一种更为有效同步方法实现遥测数据和视频图像数据的同步，并提高数据同步的效率和准确性。

技术实现要素：

本发明例提供了一种遥测数据和视频图像数据的处理方法及装置，用于在实现遥测数据和视频图像数据的同步的基础上，提高同步的效率和准确性。

一种遥测数据和视频图像数据的同步方法，该方法包括：

获取待同步的遥测数据和视频图像数据；

从所述视频图像数据中提取关键图像帧序列，所述关键图像帧序列中包含相邻的多个图像帧中的多个图像帧；

根据所述遥测数据确定所对应的视频区域中心序列；

匹配所述关键图像帧序列与所述视频区域中心序列；

根据匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据。

优选的，所述从所述视频图像数据中提取关键图像帧序列，包括：

基于图像信息熵从获取到的视频图像数据中提取多个图像帧。

优选的，所述根据所述遥测数据确定所对应的视频区域中心序列，包括：

根据所述遥测数据中的地理信息，确定底图中的多个底图区域；

确定所述底图区域的中心点位置信息；

根据所述中心点位置信息确定所述视频区域中心序列。

优选的，所述匹配所述关键图像帧序列与所述视频区域中心序列，包括：

采用第一分辨率提取所述关键图像帧中至少一个图像帧的特征；

根据所述第一分辨率提取到的所述图像帧特征确定所对应的地理底图，若无法确定所对应的地理地图，则采用高于第一分辨率的第二分辨率对所述关键图像帧中至少一个图像帧的特征，再次确定所对应的地理地图提取；

确定后的所述关键图像帧与所述视频区域中心序列相匹配。

优选的，所述根据匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据包括：

对所述遥测数据进行插值；

获得与所述视频数据同步的遥测数据。

一种遥测数据和视频图像数据的同步装置，该装置包括：

获取模块，用于获取待同步的遥测数据和视频图像数据；

遥测数据分析模块，根据所述遥测数据确定所对应的视频区域中心序列；

视频图像数据分析模块，从所述视频图像数据中提取关键图像帧序列，所述关键图像帧序列中包含相邻的多个图像帧中的多个图像帧；

同步模块，用于匹配所述关键图像帧序列与所述视频区域中心序列，根据匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据。

优选的，所述视频图像数据分析模块，根据图像信息熵从获取到的视频图像数据中提取多个图像帧。

优选的，所述视频图像数据分析模块，根据所述遥测数据中的地理信息，确定底图中的多个底图区域；确定所述底图区域的中心点位置信息；根据所述中心点位置信息确定所述视频区域中心序列。

优选的，所述同步模块，采用第一分辨率提取所述关键图像帧中至少一个图像帧的特征；根据所述第一分辨率提取到的所述图像帧特征确定所对应的地理底图，若无法确定所对应的地理地图，则采用高于第一分辨率的第二分辨率对所述关键图像帧中至少一个图像帧的特征，再次确定所对应的地理地图提取；确定后的所述关键图像帧与所述视频区域中心序列相匹配。

优选的，所述同步模块，对所述遥测数据进行插值；获得与所述视频数据同步的遥测数据。

通过采用本发明上述的技术方案中，可得到与视频图像数据同步的遥测数据，保证了同步的准确性；并且由于关键图像帧序列由相邻的多个图像帧中的图像帧组成，因此，通过利用关键图像帧可大大降低了图像帧匹配所消耗的计算量，提高了处理效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种遥测数据和视频图像数据的同步方法流程示意图；

图2为本发明实施例提供的遥测数据和视频图像数据的同步方法的整体流程示意图；

图3为本发明实施例提供的一种遥测数据和视频图像数据的同步装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种遥测数据和视频图像数据的同步方法流程示意图。

如图1所示，该方法包括：

步骤101，获取待同步的遥测数据和视频图像数据；

步骤102，从所述视频图像数据中提取关键图像帧序列，所述关键图像帧序列中包含相邻的多个图像帧中的多个图像帧；

步骤103，根据所述遥测数据确定所对应的视频区域中心序列；

步骤104，匹配所述关键图像帧序列与所述视频区域中心序列；

步骤105，根据匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据。

需要说明的是，本发明实施例中上述各个步骤的编号仅为一种执行过程的示例性说明，本发明实施例不对各个步骤做明确具体的先后顺序限定，有些步骤可以同时进行，或不按上述编号进行，例如，步骤102和步骤103可以同时进行，或者可以先执行步骤103中的内容，再执行步骤102中的内容。

本发明实施例中，根据遥测数据和视频图像数据分别得到基于遥测数据的第一观测区域中心序列和基于视频图像数据的关键图像帧序列，进而根据匹配结果，对遥测数据进行插值处理，由于遥测数据的采样频率低于视频图像数据的采样频率，通过匹配和插值处理后，可得到与视频图像数据中的关键图像帧对应的遥测数据，不仅实现视频图像数据和遥测数据的同步，而且保证了同步的准确性。同时，由于关键图像帧为相邻的多个图像帧中的一个图像帧，从而通过关键图像帧提取技术大大降低了图像帧匹配所消耗的计算量，提高了处理效率。

具体地，对于提取关键图像帧序列(步骤102)中，关键图像帧为相邻的多个图像帧中的一个图像帧，也就是说，假设视频图像数据中包括图像帧1至图像帧100，则可从图像帧1至图像帧10中提取一个关键图像帧，从图像帧11至图像帧10中提取一个关键图像帧，以此类推，可提取出10个关键图像帧；或者，也可从图像帧1至图像帧20中提取一个关键图像帧，从图像帧21至图像帧20中提取一个关键图像帧，以此类推，可提取出5个关键图像帧；又或者，也可从图像帧1至图像帧10中提取一个关键图像帧，从图像帧11至图像帧30中提取一个关键图像帧，从图像帧31至图像帧60中提取一个关键图像帧，即从随机的多个相邻的图像帧中提取一个关键图像帧。进一步地，可依据图像信息熵从多个相邻的图像帧中提取一个关键图像帧，或者，也可由本领域技术人员根据经验和实际情况设置其它的提取依据。

对于视频区域中心序列确定步骤(步骤103)，根据无人机遥测协议和载荷遥测协议对遥测数据进行解析，得到每帧所对应的无人机与载荷的姿态与位置信息，进而根据无人机与载荷的姿态与位置等信息以及载荷的焦距计算视频的区域，从而实现视频中心的定位，得到基于遥测数据的视频测区域中心序列。

本发明实施例，提取的关键图像帧的个数越多，则会使得最终的同步结果更为准确，相应地，也会增加计算量，消耗处理资源；反之，提取的关键图像帧的个数越少，则会使得最终的同步结果的准确率有所下降，相应地，也会减少计算量，提高效率。基于上述内容，具体所要提取的关键图像帧的个数可由本领域技术人员在综合考虑实际情况的基础上，根据经验进行设置，本发明实施例对此不做具体限定。

下面以第一关键图像帧为例，来说明关键图像帧与视频图像数据对应的地理底图进行匹配的具体过程。其中，第一关键图像帧为所述多个关键图像帧中的任一个。本发明实施例中与视频图像数据对应的地理底图是根据规划航线提取相应区域的高清底图得到的。

首先采用第一分辨率对第一关键图像帧进行特征提取，并将采用第一分辨率提取到的特征与所述视频图像数据对应的地理底图进行匹配，此时，若匹配成功，则可结束匹配过程，若匹配失败，则需采用高于第一分辨率的第二分辨率对第一关键图像帧进行特征提取，并将采用第二分辨率提取到的特征与所述视频图像数据对应的地理底图进行匹配，此时，若匹配成功，则可结束匹配过程，若匹配失败，则需采用高于第二分辨率的第三分辨率对第一关键图像帧进行特征提取，以此类推，直至第一关键图像帧与所述视频图像数据对应的地理底图匹配成功。

通过上述过程可知，本发明实施例中，先采用低分辨率对第一关键图像帧进行特征提取，并与地理底图进行匹配，若匹配成功，则可不再进行高分辨率的特征提取，从而能够大大提高了计算效率与处理速度。

本发明实施例中，将所述多个关键图像帧与所述视频图像数据对应的地理底图进行匹配后，可得到与多个关键图像帧匹配成功的多个地理底图区域，通过获取多个地理底图区域的中心点位置信息，可得到基于视频图像数据的观测区域中心序列。

在步骤104及105中，根据视频区域中心序列和关键帧序列的匹配结果，以及关键帧序列中的每个观测区域中心的位置信息，对遥测数据进行插值处理。

由于遥测数据的采样频率低于视频图像数据的采样频率，本发明实施例中对视频图像数据进行关键图像帧的提取后，仍会出现基于视频图像数据关键帧序列中的区域中心的个数大于基于遥测数据的视频区域中心序列中的视频区域中心的个数。因此，通过将视频区域中心序列和关键帧序列进行匹配后，可得到与每个视频区域中心对应的关键帧序列中某个关键帧所对应的视频中心(实际过程中，可能会存在匹配失败，即出现异常数据，此处暂不考虑异常数据)。其中，与每个视频区域中心对应的关键帧序列可为多个与视频区域中心距离最近的关键帧序列中视频区域的中心。

在完成视频区域中心序列和关键帧序列的匹配后，由于关键帧序列中对应于视频(地理底图区域)的中心个数较多，仍存在部分关键帧序列所对应的底图区域中心没有对应的视频区域中心，此时，可根据位置信息，对遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据，实现视频图像数据和遥测数据的同步。具体插值过程中所依据的原则可由本领域技术人员根据经验设置。

图2为本发明实施例提供的遥测数据和视频图像数据的同步方法的整体流程示意图。

下面结合图2对本发明实施例中遥测数据和视频图像数据的同步方法进行具体介绍。如图2所示：

步骤201，获取待同步的视频图像数据；

步骤202，从获取到的视频图像数据中提取多个关键图像帧；

步骤203，将所述多个关键图像帧与所述视频图像数据对应的地理底图进行匹配；

步骤204，获取基于视频图像数据的第二观测区域中心序列；

步骤301，获取待同步的遥测数据；

步骤302，根据无人机遥测协议和载荷遥测协议对遥测数据进行解析；

步骤303，通过区域计算，得到基于遥测数据的第一观测区域中心序列，并提取地理底图；

步骤401，将第一观测区域中心序列和第二观测区域中心序列进行匹配；

步骤402，根据所述第一观测区域中心序列和所述第二观测区域中心序列的匹配结果，对所述遥测数据进行插值处理；

步骤403，实现视频图像数据和遥测数据的离线同步。

需要说明的是，本发明实施例中上述各个步骤的编号仅为一种执行过程的示例性说明，本发明实施例不对各个步骤做明确具体的先后顺序限定，有些步骤可以同时进行，或不按上述编号进行，例如，步骤201和步骤301可以同时进行，或者步骤201发生于步骤301之后。

本发明的上述实施例中，获取待同步的遥测数据和视频图像数据，对获取到的遥测数据进行解析，得到基于遥测数据的第一观测区域中心序列(对应于视频区域中心序列)；从获取到的视频图像数据中提取多个关键图像帧，将多个关键图像帧与视频图像数据对应的地理底图进行匹配，得到基于视频图像数据的第二观测区域中心序列(对应于关键图像帧序列)；根据第一观测区域中心序列和第二观测区域中心序列的匹配结果，对遥测数据进行插值处理，得到与视频图像数据同步的遥测数据。本发明实施例中，根据遥测数据和视频图像数据分别得到基于遥测数据的第一观测区域中心序列和基于视频图像数据的第二观测区域中心序列，进而根据匹配结果，对遥测数据进行插值处理，由于遥测数据的采样频率低于视频图像数据的采样频率，通过匹配和插值处理后，可得到与视频图像数据中的关键图像帧对应的遥测数据，不仅实现视频图像数据和遥测数据的同步，而且保证了同步的准确性；且，由于关键图像帧为相邻的多个图像帧中的一个图像帧，从而通过关键图像帧提取技术大大降低了图像帧匹配所消耗的计算量，提高了处理效率。

针对上述方法流程，本发明实施例还提供一种遥测数据和视频图像数据的离线同步装置，该装置的具体内容可以参照上述方法实施。

基于相同构思，图3为本发明实施例提供的一种遥测数据和视频图像数据的离线同步装置的结构示意图，该装置包括：

获取模块501，用于获取待同步的遥测数据和视频图像数据；

遥测数据分析模块502，用于对获取到的遥测数据进行解析，得到基于遥测数据的第一观测区域中心序列；

视频图像数据分析模块503，用于从获取到的视频图像数据中提取多个关键图像帧，将所述多个关键图像帧与所述视频图像数据对应的地理底图进行匹配，得到基于视频图像数据的第二观测区域中心序列；所述关键图像帧为相邻的多个图像帧中的一个图像帧；

同步模块504，用于根据所述第一观测区域中心序列和所述第二观测区域中心序列的匹配结果，对所述遥测数据进行插值处理，得到与所述视频图像数据同步的遥测数据。

较佳地，所述视频图像数据分析模块503具体用于，通过下述方式从获取到的视频图像数据中提取多个关键图像帧：

基于图像信息熵从获取到的视频图像数据中提取多个关键图像帧。

较佳地，所述视频图像数据分析模块503具体用于，通过下述方式将所述多个关键图像帧与所述视频图像数据对应的地理底图进行匹配：

针对于第一关键图像帧，所述第一关键图像帧为所述多个关键图像帧中的任一个，执行：

采用第一分辨率对所述第一关键图像帧进行特征提取；

将采用所述第一分辨率提取到的特征与所述视频图像数据对应的地理底图进行匹配，若匹配失败，则采用高于第一分辨率的第二分辨率对所述第一关键图像帧进行特征提取，直至所述第一关键图像帧与所述视频图像数据对应的地理底图匹配成功。

较佳地，所述遥测数据分析模块503具体用于，通过下述方式得到基于视频图像数据的观测区域中心序列：

确定与所述多个关键图像帧匹配成功的多个地理底图区域；

获取所述多个地理底图区域的中心点位置信息，得到基于视频图像数据的观测区域中心序列。

较佳地，所述同步模块504具体用于，通过下述方式对所述遥测数据进行插值处理：

根据所述第一观测区域中心序列和所述第二观测区域中心序列的匹配结果，以及所述第二观测区域中心序列中的每个第二观测区域中心的位置信息，对所述遥测数据进行插值处理。

从上述内容可以看出：本发明的上述实施例中，获取待同步的遥测数据和视频图像数据，对获取到的遥测数据进行解析，得到基于遥测数据的第一观测区域中心序列；从获取到的视频图像数据中提取多个关键图像帧，将多个关键图像帧与视频图像数据对应的地理底图进行匹配，得到基于视频图像数据的第二观测区域中心序列；根据第一观测区域中心序列和第二观测区域中心序列的匹配结果，对遥测数据进行插值处理，得到与视频图像数据同步的遥测数据。本发明实施例中，根据遥测数据和视频图像数据分别得到基于遥测数据的第一观测区域中心序列和基于视频图像数据的第二观测区域中心序列，进而根据匹配结果，对遥测数据进行插值处理，由于遥测数据的采样频率低于视频图像数据的采样频率，通过匹配和插值处理后，可得到与视频图像数据中的关键图像帧对应的遥测数据，不仅实现视频图像数据和遥测数据的同步，而且保证了同步的准确性；且，由于关键图像帧为相邻的多个图像帧中的一个图像帧，从而通过关键图像帧提取技术大大降低了图像帧匹配所消耗的计算量，提高了处理效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。