集群无人机回传数据处理方法和装置、设备及存储介质与流程

本申请涉及无人机数据处理技术领域，尤其涉及一种集群无人机回传数据处理方法和装置、设备及存储介质。

背景技术：

智能集群无人机是指由众多聚集在一定空间的无人机个体组成的，通过采用以激发工作为主要特征的自组织合作机制，涌现出复杂、有序群体行为的无人机群体，具有分布性、自主性和简单性的特点。智能集群无人机具备很高的灵活性，而且具备无中心化的工作模式。

其中，集群无人机为完成大区域测绘作业，针对大范围数据进行整体区域网平差是关键步骤。在相关技术中，通常针对单个无人机或少量无人机数据进行空间三角测量处理的研究较多，而对于融合智能集群无人机中各自区域自由网结果以形成大区域整体自由网的研究相对较少。在进行智能集群无人机中各自区域自由网的融合以形成大区域整体自由网时，为保证处理的时效性，通常采用边接收边处理的即时处理策略。即，无人机集群在工作时，每架无人机均不间断回传数据给其对应的地面处理单元。通过实时读取各地面处理单元接收到的数据(即，单机回传数据)，将接收到的数据逐渐融合成完整区域数据，从而实现整体区域数据的构建。但是，大量无人机通过数据传输网络传回地面站的单机回传数据往往存在大量冗余，从而影响最终融合后的整体区域数据的准确性。

技术实现要素：

有鉴于此，本申请提出了一种集群无人机回传数据处理方法，可以有效提高融合后的整体区域数据的准确性。

根据本申请的一方面，提供了一种集群无人机回传数据处理方法，包括：

读取无人机集群中各无人机当前回传到地面处理器的单机局部数据，并对各所述单机局部数据进行重叠检测；

在检测出所述单机局部数据中存在数据重叠时，将存在重叠的单机局部数据进行融合处理得到融合数据；

将所述融合数据回传至对应的所述地面处理器，将存在重叠的单机局部数据更新为所述融合数据。

在一种可能的实现方式中，对各所述单机局部数据进行重叠检测，包括：

根据所述无人机集群采集的场景环境，由各所述单机局部数据中提取出相应的局部特征；

采用视觉词典构造方法，对提取出的各所述局部特征进行量化得到代表性特征向量，并将各所述代表性特征向量定义为视觉单词；

获取已融合场景数据的视觉单词，并采用最近邻搜索算法，对得到的各所述代表性特征向量与所述已融合场景数据的视觉单词进行匹配，以检测出各所述单机局部数据是否存在重叠区域；

其中，所述已融合场景数据为：基于当前次对单机局部数据进行重叠检测的前一次重叠检测到的存在重叠区域的单机局部数据融合后的融合数据。

在一种可能的实现方式中，在检测出所述单机局部数据中存在数据重叠时，还包括：

判断重叠区域的重叠度是否达到预设重合度；

在达到所述预设重合度时，将存在重叠的单机局部数据进行融合处理。

在一种可能的实现方式中，所述预设重合度的取值大于或等于15％。

在一种可能的实现方式中，将存在重叠的单机局部数据进行融合处理得到融合数据，包括：

使用相对定向技术得到存在重叠的单机局部数据的相似性变换参数；

根据得到的所述相似性变换参数，对存在重叠的单机局部数据进行数据融合处理。

在一种可能的实现方式中，在检测出所述单机局部数据中存在重叠时，还包括：中止存在重叠的单机局部数据对应的地面处理器进行局部数据更新的步骤。

根据本申请的另一方面，还提供了一种集群无人机回传数据处理装置，包括：数据读取模块、重叠检测模块、数据融合模块和数据更新模块；

所述数据读取模块，被配置为读取无人机集群中各无人机当前回传到地面处理器的单机局部数据；

所述重叠检测模块，被配置为对各所述单机局部数据进行重叠检测；

所述数据融合模块，被配置为在所述重叠检测模块检测出所述单机局部数据中存在数据重叠时，将存在重叠的单机局部数据进行融合处理得到融合数据；

所述数据更新模块，被配置为将所述融合数据回传至对应的所述地面处理器，将存在重叠的单机局部数据更新为所述融合数据。

在一种可能的实现方式中，所述重叠检测模块包括局部特征提取子模块、视觉单词构造子模块和视觉单词匹配子模块；

所述局部特征提取子模块，被配置为根据所述无人机集群采集的场景环境，由各所述单机局部数据中提取出相应的局部特征；

所述视觉单词构造子模块，被配置为采用视觉词典构造方法，对提取出的各所述局部特征进行量化得到代表性特征向量，并将各所述代表性特征向量定义为视觉单词；

所述视觉单词匹配子模块，被配置为获取已融合场景数据的视觉单词，并采用最近邻搜索算法，对得到的各所述代表性特征向量与所述已融合场景数据的视觉单词进行匹配，以检测出各所述单机局部数据是否存在重叠区域；

其中，所述已融合场景数据为当前对单机局部数据进行重叠检测时的前一次重叠检测到的重叠区域数据。

根据本申请的另一方面，还提供了一种集群无人机回传数据处理设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。

根据本申请的一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的方法。

通过对无人机集群中各无人机回传的单机局部数据进行重叠检测，在检测出单机局部数据中存在数据重叠时，通过对存在重叠的单机局部数据进行融合处理得到相应的融合数据后，再将融合数据会回传至相应的地面处理器，将存在重叠的单机局部数据更新为融合数据，从而在后续对无人机回传的数据进行整体融合时，对于重叠部分的数据不需要再重复进行融合计算，这就有效节省了重叠数据的冗余分析计算，最终有效提高了数据处理效率，同时还避免了冗余数据的干扰，使得最终得到的整体区域数据更加准确。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1示出本申请一实施例的集群无人机回传数据处理方法的流程图；

图2示出本申请另一实施例的集群无人机回传数据处理方法的流程图；

图3示出本申请一实施例的集群无人机回传数据处理装置的结构框图；

图4示出本申请一实施例的集群无人机回传数据处理设备的结构框图。

具体实施方式

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

图1示出根据本申请一实施例的集群无人机回传数据处理方法的流程图。如图1所示，该方法包括：步骤s100，读取无人机集群中各无人机当前回传到地面处理器的单机局部数据，并对各单机局部数据进行重叠检测。此处，需要说明的是，单机局部数据为无人机采集到的数据，其可以为图像数据，也可以为视频数据。

同时，本领域技术人员可以理解的是，无人机集群指的是由多个无人机单机按照一定的阵列形式排布的集群。各无人机单机分别配置有相应的地面处理器，各无人机单机不间断地将采集到的图像或视频数据下发至其所对应的地面处理器。地面处理器接收到无人机单机当前下发的数据后，将当前接收到的数据与之前下发的数据进行融合。本申请实施例的方法中，所读取到的各单机局部数据指的是：各地面处理器将当前接收到的数据与已接收到的数据进行融合后的数据。

其中，各无人机单机所采集到的场景数据通常会存在部分场景重叠的情况。因此，在本申请实施例的方法中，在各无人机将当前采集到的场景数据(即，单机局部数据)回传到对应的地面处理器后，由地面处理器中读取各无人机单机回传的单机局部数据，并对各单机局部数据进行重叠检测。

在检测出单机局部数据中存在数据重叠时，即可通过步骤s200，将存在重叠的单机局部数据进行融合处理得到融合数据。此处，需要说明的是，所检测出的单机局部数中存在数据重叠指的是，某一单机局部数据与其他单据局部数据中至少一个单机局部数据存在数据重叠的情况。

举例来说，无人机包括单机a、单机b、单机c和单机d。其中，每个无人机单机均对应配置相应的地面处理器，即，地面处理器a、地面处理器b、地面处理器c和地面处理器d。对应的，由各无人机对应的地面处理器读取到的单机局部数据则分别为：地面处理器a当前将无人机a下发的采集数据进行融合后的局部数据a、地面处理器b当前将无人机b下发的采集数据融合后的局部数据b、地面处理器c当前将无人机c下发的采集数据融合后的局部数据c以及地面处理器c当前将无人机d下发的采集数据融合后的局部数据d。

在对上述四组数据进行重叠检测时，如：检测到局部数据a存在数据重叠，则表明局部数据a与局部数据b、局部数据c和局部数据d中至少一个数据存在区域重叠的情况。如：局部数据a与局部数据b存在区域重叠，或者是局部数据a与局部数据b和局部数据c均存在区域重叠。

在检测到单机局部数据中存在数据重叠的情况时，则通过上述步骤，将存在重叠的单机局部数据进行融合处理，得到相应的融合数据，然后再通过步骤s300，将融合数据回传至对应的地面处理器，将存在重叠的单机局部数据更新为融合数据。

由此，本申请实施例的集群无人机回传数据处理方法，通过对无人机集群中各无人机回传的单机局部数据进行重叠检测，在检测出单机局部数据中存在数据重叠时，通过对存在重叠的单机局部数据进行融合处理得到相应的融合数据后，再将融合数据会回传至相应的地面处理器，将存在重叠的单机局部数据更新为融合数据，从而在后续对无人机回传的数据进行整体融合时，对于重叠部分的数据不需要再重复进行融合计算，这就有效节省了重叠数据的冗余分析计算，最终有效提高了数据处理效率。

其中，在对各单机局部数据进行重叠检测时，可以基于词袋法进行场景匹配的方式来实现。

即，首先，根据无人机集群采集的场景影像数据，由各单机局部数据中提取出相应的局部特征。此处，需要指出的是，无人机集群采集的场景影像数据指的是当前无人机集群所采集的实际影像数据。如：在对某市中的某一处区域进行测绘时，无人机集群所采集的场景影像数据境指的就是该市的某一处区域的实际影像数据。同时，无人机集群采集的场景影像数据可以通过本领域常规的摄影技术获取得到，此处不再对其进行赘述。此外，还需要说明的是，由各单机局部数据中提取局部特征同样可以利用本领域常规的影像特征提取算法来实现，此处也不对其进行具体限定。

然后，采用视觉词典构造方法，对提取出的各局部特征进行量化得到代表性特征向量，并将各代表性特征向量定义为视觉单词。此处，需要指出的是，视觉词典构造方法主要是用于重复场景检测的方法。同时，在一种可能的实现方式中，对提取出的各局部特征进行量化后，还可以对量化后的局部特征进行去冗余处理，得到代表性特征向量。在得到各单机局部数据的代表性特征向量后，将各代表性特征向量定义为视觉单词，以便于后续进行重复场景数据的匹配。

在得到各单机局部数据的代表性特征向量后，再通过上述局部特征提取的方式，获取已融合场景数据的视觉单词。进而，基于获取到的已融合场景数据的视觉单词，采用最近邻搜索算法，对得到的各代表性特征向量与已融合场景数据的视觉单词进行匹配，以检测出各单机局部数据是否存在重叠区域。

此处，需要解释说明的是，已融合场景数据为：基于当前对单机局部数据进行重叠检测时的前一次重叠检测到的重叠区域数据，对存在重叠区域的单机局部数据进行数据融合后得到的融合数据。

也就是说，在本申请实施例的方法中，对各单机局部数据进行重叠检测的过程是一个迭代的过程。当前次重叠检测时所采用的以融合场景数据为当前次的上一次重叠检测时，检测到的存在重叠区域的单机局部数据进行数据融合后得到的融合数据。

其中，在进行第一次重叠检测时，由所读取到的单机局部数据中选取出第一局部数据(如：无人机a所对应的地面处理器a当前融合处理后的局部数据a)和第二局部数据(如：无人机b所对应的地面处理器b当前融合处理后的局部数据b)，然后采用前面所述的方式分别提取出第一局部数据的代表性特征向量和第二局部数据的代表性特征向量，并分别将第一局部数据的代表性局部特征向量和第二局部数据的代表性局部特征向量定义为视觉单词后，接着采用最近邻搜索算法，在第一局部数据的视觉单词和第二局部数据的视觉单词之间进行匹配，以检测第一局部数据和第二局部数据之间是否存在重叠区域。

在检测出第一局部数据与第二局部数据之间存在重叠区域后，记录检测出来的重叠区域，并依次对除第一局部数据之外的其他无人机下发的单机局部数据(即，数据b、数据c和数据d)进行重叠检测。

在对各单机局部数据均进行完重叠检测后，即可得到重叠检测结果。其重叠检测结果为：各单机局部数据中，都有哪些单机局部数据之间存在重叠区域。同时，在重叠检测完之后记录下该重叠检测结果，然后基于该重叠检测结果，对检测出来的存在重叠区域的单机局部数据进行数据融合，得到相应的融合数据。

在下次的重叠检测过程中，则采用通过上次检测出来的重叠检测结果进行数据融合得到的融合数据作为比较参考，在当前次的重叠检测过程中进行相应的视觉单词匹配。同时，还需要说明的是，在对读取到的各单机局部数据进行重叠检测时，可以采用对各单机局部数据之间进行两两组合，从而对每两个单机局部数据进行重叠检测的方式，也可以采用排列组合的方式，对各单机局部数据进行重叠检测，只要能够实现对各单机局部数据均进行重叠检测完为止。

此外，在上述实施例中，进行重叠检测时所选取的两个单机局部数据(即，第一局部数据和第二局部数据)可以随意选取，也可以按照顺序选取，其选取方式不进行具体限定。在一种可能的实现方式中，可以按照无人机集群中各无人机的排列顺序进行选取。

进一步的，在对各单机局部数据进行重叠检测完成之后，即可进行存在重叠的单机局部数据的融合，以达到去冗余的目的。

在一种可能的实现方式中，在检测出单机局部数据中存在数据重叠时，还包括：判断重叠区域的重叠度是否达到预设重合度；在达到预设重合度时，将存在重叠的单机局部数据进行融合处理。通过对重叠区域的重叠度进行判断，在重叠度达到预设重合度之后再进行融合处理，避免了数据的丢失，在实现去冗余的同时还保证了数据的完整度，使得最终融合得到的整体区域数据更加准确。

此处，需要解释说明的是，重叠度指的是重叠区域与当前检测的两个单机局部数据之间的比例。该比例可以为面积比也可以为像素比。同时，还需要指出的是，重叠度为由重叠区域与当前检测的两个单机局部数据的比值中的最小值。如：在采用像素比作为重叠度的参数时，分别计算重叠区域的像素与第一局部数据的像素比，和重叠区域的像素与第二局部数据的像素比，然后由两个比值中选取出较小的比值作为重叠区域的重叠度。再将选取出的较小的比值与预设重合度进行比较，判断是否达到预设重合度。

其中，预设重合度的取值可以根据实际情况灵活设置。在本申请实施例的方法中，预设重合度的取值优选为大于或等于15％。如：预设重合度的取值可以为15％。由此，在检测到单机局部数据中存在重叠数据，并且重叠数据的重合度达到15％后，再对该单机局部数据进行数据融合处理。

此处，需要指出的是，对于重叠区域的重合度的计算可以采用本领域的常规技术手段来实现，此处不再进行赘述。

通过前面任一所述的方式完成对各单机局部数据的重叠检测之后，即可执行步骤s200，将存在重叠的单机局部数据进行融合处理得到融合数据。在进行数据融合处理时，可以通过以下方式来进行。

具体的，首先，使用相对定向技术得到存在重叠的每个单机局部数据的相似性变换参数{r，t，s}。其中，r为旋转，t为平移，s为尺度。然后，根据得到的相似性变换参数，对存在重叠区域的单机局部数据进行融合数据得到相应的融合数据。

举例来说，通过前面任一方式对读取到的各单机局部数据进行重叠检测后，得到局部数据a和局部数据b存在重叠，且重叠区域达到15％。然后，对存在重叠区域的局部数据a和局部数据b进行融合处理。在进行融合处理时，首先，使用相对定向技术得到局部数据a和局部数据b的相似性变换参数，然后再根据相对定向得到的相似性变换参数对局部数据a执行旋转、平移和尺度变换，使局部数据a和局部数据b能够融合叠加在一起形成融合后数据。

再比如：通过前面任一方式对读取到的各单机局部数据进行重叠检测后，得到局部数据a、局部数据b和局部数据c存在重叠，且重叠区域达到15％。然后，对存在重叠区域的局部数据a、局部数据b和局部数据b进行融合处理。在进行融合处理时，首先，使用相对定向技术得到局部数据a和局部数据的的相似性变换参数，然后再根据相对定向得到的相似性变换参数对局部数据a执行旋转、平移和尺度变换，使局部数据a和局部数据b能够融合叠加在一起形成融合后数据。接着，再使用相对定向技术得到局部数据a和局部数据b融合后的融合数据和局部数据c的相似性变换参数，进而再对局部数据a和局部数据b融合后的融合数据(或者是局部数据c)进行旋转、平移和尺度变换，，使局部数据c能够与局部数据a和局部数据b融合后的融合数据叠加在一起形成融合数据。

以此类推，在通过重叠检测出存在重叠区域的局部数据大于两个时，则采用先对其中两个局部数据进行融合，然后再基于融合后的数据，对其他局部数据依次进行融合。

通过上述方式完成对存在重叠的单机局部数据的融合处理后，即可执行步骤s300，将融合数据回传至对应的地面处理器，将存在重叠的单机局部数据更新为融合数据。

其中，在一种可能的实现方式中，参阅图2，在将融合数据回传至对应的地面处理器，将存在重叠的单机局部数据更新为融合数据的过程中，还可以包括：步骤s310，检测是否完成对所有存在重叠的单机局部数据的融合处理。在所有存在重叠的单机局部数据均完成融合处理后，即可执行步骤s400，整合融合结果。

此外，在本申请实施例的方法中，在处理局部数据的重叠检测时，这两个数据中的任何一个的无人机地面处理中心的处理线程暂时中止，因为此过程中检测到重叠的候选数据容易影响确定相似变换参数s。为了减少冗余，每个重叠的所有物方点，将进行融合。最后计算得到的比例因子将应用于两中心所有局部数据融合。此步骤处理完毕之后，处理线程恢复，新的处理程序将在新的合并后的数据中运行。

也就是说，在本申请实施例的方法中，通过每架无人机不间断回传数据给其对应的地面处理器，每个地面处理器将接受到的新数据与原有数据进行融合，不同处理器之间，进行重叠度检测，一旦发现有重叠区域，则对有重叠区域的处理单元之间进行融合处理，并将融合之后的结果更新给原有的具备重叠区域的处理单元拥有的子图，直到所有子图都完成了整体更新为止。其实现了多个单机回传局部数据的冗余分析与融合，有助于提升数据整体处理的速度和精度。

相应的，基于前面任一所述的集群无人机回传数据处理方法，本申请还提供了一种集群无人机回传处理装置。由于本申请提供的集群无人机回传处理装置的工作原理与本申请提供的集群无人机回传数据处理方法的原理相同或相似，因此重复之处不再赘述。

参见图3，本申请提供的集群无人机回传数据处理装置100，包括数据读取模块110、重叠检测模块120、数据融合模块130和数据更新模块140。其中，数据读取模块110，被配置为读取无人机集群中各无人机当前回传到地面处理器的单机局部数据。重叠检测模块120，被配置为对各单机局部数据进行重叠检测。数据融合模块130，被配置为在重叠检测模块120检测出单机局部数据中存在数据重叠时，将存在重叠的单机局部数据进行融合处理得到融合数据。数据更新模块140，被配置为将融合数据回传至对应的地面处理器，将存在重叠的单机局部数据更新为融合数据。

在一种可能的实现方式中，重叠检测模块120包括局部特征提取子模块、视觉单词构造子模块和视觉单词匹配子模块(图中未示出)。其中，局部特征提取子模块，被配置为根据无人机集群采集的场景环境，由各单机局部数据中提取出相应的局部特征。视觉单词构造子模块，被配置为采用视觉词典构造方法，对提取出的各局部特征进行量化得到代表性特征向量，并将各代表性特征向量定义为视觉单词。视觉单词匹配子模块，被配置为获取已融合场景数据的视觉单词，并采用最近邻搜索算法，对得到的各代表性特征向量与已融合场景数据的视觉单词进行匹配，以检测出各单机局部数据是否存在重叠区域。需要说明的是，已融合场景数据为当前对单机局部数据进行重叠检测时的前一次重叠检测到的重叠区域数据。

更进一步地，根据本申请的另一方面，还提供了一种集群无人机回传数据处理设备200。参阅图4，本申请实施例的集群无人机回传数据处理设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的集群无人机回传数据处理方法。

此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本申请实施例的集群无人机回传数据处理设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本申请实施例的集群无人机回传数据处理方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行集群无人机回传数据处理设备200的各种功能应用及数据处理。

输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。

根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的集群无人机回传数据处理方法。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。