航空影像的相似度检测方法、装置、电子设备及存储介质与流程

本发明涉及图像处理，尤其是涉及一种航空影像的相似度检测方法、装置、电子设备及存储介质。

背景技术：

1、随着无人机的发展，获取航空影像(unmanned aerial vehicle,uav)越来越容易，但是获取到的影像数据排序杂乱，数量巨大，并且很多影像没有定位定向系统(positioning and orientation system,pos)。如何从这些影像中检索到相似的影像成为一个关键的问题。

2、航空影像相似度检测是指在多张航空影像中，给定一张目标影像，通过检索找到与其相似的影像(不同时间，不同角度的同一区域影像)。目前，现有的图像相似性检测算法中，基于词汇树的方法需要占用大量的存储空间存储词汇树，基于深度学习的方法主要是针对自然图像，对于航空影像的相似性检测较少，导致对航空影像的相似性进行检测的准确率较低。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种航空影像的相似度检测方法、装置、电子设备及存储介质，可以显著提高对航空影像的相似性进行检测的准确率。

2、第一方面，本发明实施例提供了一种航空影像的相似度检测方法，包括：

3、获取航空影像集；其中，所述航空影像集包括至少两张待检测航空影像；

4、通过预先训练得到的影像特征提取模型，提取每个所述待检测航空影像的第一影像特征图；其中，所述影像特征提取模型是通过未标注航空影像训练得到的，在训练阶段所述影像特征提取模型的输入为所述未标注航空影像中的未掩码影像块，输出为所述未掩码影像块对应的第一特征块；

5、基于每个所述第一影像特征图确定每个所述待检测航空影像之间的相似度。

6、在一种实施方式中，所述影像特征提取模型的训练步骤，包括：

7、获取未标注航空影像，并将所述未标注航空影像进行分块处理得到多个航空影像块；

8、将所述航空影像块划分为掩码影像块和未掩码影像块；

9、将所述未掩码影像块输入至神经网络，以通过所述神经网络基于所述未掩码影像块确定恢复后航空影像；其中，所述神经网络包括编码器和解码器；

10、基于所述未标注航空影像和所述恢复后航空影像对所述神经网络进行训练，并将训练后的所述神经网络的所述编码器作为影像特征提取模型。

11、在一种实施方式中，通过所述神经网络基于所述未掩码影像块确定恢复后航空影像，包括：

12、通过所述编码器提取每个所述未掩码影像块对应的第一特征块；

13、基于每个所述第一特征块构建所述未标注航空影像对应的第二影像特征图；

14、通过所述解码器基于所述第二影像特征图确定恢复后航空影像。

15、在一种实施方式中，基于每个所述第一特征块构建所述未标注航空影像对应的第二影像特征图，包括：

16、确定每个所述掩码影像块对应的第二特征块；其中，所述第二特征块为掩码空白特征块；

17、按照所述掩码影像块和所述未掩码影像块在所述未标注航空影像中的位置，拼接所述第一特征块和所述第二特征块，以得到所述未标注航空影像对应的第二影像特征图。

18、在一种实施方式中，基于每个所述第一影像特征图确定每个所述待检测航空影像之间的相似度，包括：

19、基于每个所述第一影像特征图，确定每个所述待检测航空影像对应的归一化影像特征；

20、对于任意两张所述待检测航空影像，计算两张所述待检测航空影像对应的所述归一化影像特征之间的余弦距离，以得到两张所述待检测航空影像之间的相似度。

21、在一种实施方式中，基于每个所述第一影像特征图，确定每个所述待检测航空影像对应的归一化影像特征，包括：

22、对于每个所述第一影像特征图，对该第一影像特征图的每个通道进行和池化处理，得到每个所述通道对应的深度特征；

23、对每个所述通道对应的所述深度特征进行归一化处理确定该第一影像特征图对应的归一化影像特征。

24、在一种实施方式中，在基于每个所述第一影像特征图确定每个所述待检测航空影像之间的相似度之后，还包括：

25、基于每个所述待检测航空影像之间的相似度，构建航空影像集对应的相似度矩阵；

26、其中，所述相似度矩阵的行和列均表示所述待检测航空影像，所述相似度矩阵的每个元素表示该行对应的待检测航空影像与该列对应的待检测航空影像之间的相似度。

27、第二方面，本发明实施例还提供一种航空影像的相似度检测装置，包括：

28、影像获取模块，用于获取航空影像集；其中，所述航空影像集包括至少两张待检测航空影像；

29、特征提取模块，用于通过预先训练得到的影像特征提取模型，提取每个所述待检测航空影像的第一影像特征图；其中，所述影像特征提取模型是通过未标注航空影像训练得到的，在训练阶段所述影像特征提取模型的输入为所述未标注航空影像中的未掩码影像块，输出为所述未掩码影像块对应的第一特征块；

30、相似度检测模块，用于基于每个所述第一影像特征图确定每个所述待检测航空影像之间的相似度。

31、第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。

32、第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。

33、本发明实施例提供的一种航空影像的相似度检测方法、装置、电子设备及存储介质，在获取包括有至少两张待检测航空影像的航空影像集之后，可以通过预先训练得到的影像特征提取模型，提取每个待检测航空影像的第一影像特征图，最后基于每个第一影像特征图确定每个待检测航空影像之间的相似度。其中，影像特征提取模型是通过未标注航空影像训练得到的，在训练阶段影像特征提取模型的输入为未标注航空影像中的未掩码影像块，输出为未掩码影像块对应的第一特征块。上述方法使用的影像特征提取模型是利用未标注航空影像进行自监督训练得到的，在训练过程中学习未掩码影像块与第一特征块之间的映射关系，从而使训练得到的影像特征提取模型可以有效地提取待检测航空影像的第一影像特征图，在此基础上可以显著提高对航空影像的相似性进行检测的准确率。

34、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

35、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种航空影像的相似度检测方法，其特征在于，包括：

2.根据权利要求1所述的航空影像的相似度检测方法，其特征在于，所述影像特征提取模型的训练步骤，包括：

3.根据权利要求2所述的航空影像的相似度检测方法，其特征在于，通过所述神经网络基于所述未掩码影像块确定恢复后航空影像，包括：

4.根据权利要求3所述的航空影像的相似度检测方法，其特征在于，基于每个所述第一特征块构建所述未标注航空影像对应的第二影像特征图，包括：

5.根据权利要求1所述的航空影像的相似度检测方法，其特征在于，基于每个所述第一影像特征图确定每个所述待检测航空影像之间的相似度，包括：

6.根据权利要求5所述的航空影像的相似度检测方法，其特征在于，基于每个所述第一影像特征图，确定每个所述待检测航空影像对应的归一化影像特征，包括：

7.根据权利要求1所述的航空影像的相似度检测方法，其特征在于，在基于每个所述第一影像特征图确定每个所述待检测航空影像之间的相似度之后，还包括：

8.一种航空影像的相似度检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。

技术总结
本发明提供了一种航空影像的相似度检测方法、装置、电子设备及存储介质，包括：获取航空影像集；其中，航空影像集包括至少两张待检测航空影像；通过预先训练得到的影像特征提取模型，提取每个待检测航空影像的第一影像特征图；其中，影像特征提取模型是通过未标注航空影像训练得到的，在训练阶段影像特征提取模型的输入为未标注航空影像中的未掩码影像块，输出为未掩码影像块对应的第一特征块；基于每个第一影像特征图确定每个待检测航空影像之间的相似度。本发明可以显著提高对航空影像的相似性进行检测的准确率。

技术研发人员：王宇翔,肖文,李民录,刘国华
受保护的技术使用者：航天宏图信息技术股份有限公司
技术研发日：
技术公布日：2024/1/14