无人机图像识别网络训练方法、应用方法及电子设备

本发明涉及计算机视觉领域，具体涉及一种无人机图像识别网络训练方法、应用方法、电子设备及计算机可读存储介质。

背景技术：

1、随着无人机设备的广泛运用，产生了大量无人机视角下的航拍图片，而对这些无人机图像的识别，根据其语义信息为每个未标注的无人机图像分配一个特定的标签，是无人机判读领域的基础且重要的任务。在环境检测、交通监管和灾害管理领域中都有着重要的应用。

2、由于无人机图像拍摄角度的不同，导致无人机图像有着复杂的空间分布结构，在进行无人机图像识别时，空间对象分布复杂，关注到类的主体比较困难；同时，无人机图像复杂的背景又很相似，导致了不同类图像之间存在着很高的类间相似性，这些问题均导致了现有神经网络模型对无人机图像的识别准确率较低。

3、而现有技术在针对上述问题时，例如基于类峰值响应的方法通过描述关键局部区域的峰值响应和相应的上下文信息，对不同区域分配不同的权重，以此突出重点关注区域，但是在背景复杂情况下，关注主体较为困难，因此仍未很好地解决类间相似性高的问题。

技术实现思路

1、有鉴于此，有必要提供一种无人机图像识别网络训练方法、应用方法、电子设备及计算机可读存储介质，用于解决现有技术中，难以关注重要特征，无法解决类间相似度大，导致对无人机图像识别准确度较低的技术问题。

2、为了解决上述问题，本发明提供了一种无人机图像识别网络训练方法，包括：

3、获取无人机图像数据集，所述无人机图像数据集包括无人机图像和对应标签信息；

4、构建初始无人机图像识别网络，所述初始无人机图像识别网络包括特征提取模块、跨样本注意力模块和分类器模块；

5、以所述无人机图像作为初始无人机图像识别网络的输入，基于特征提取模块对所述无人机图像进行特征提取和特征优选加权得到优选特征数据，基于跨样本注意力模块对所述优选特征数据进行跨样本注意力学习得到增强特征数据，将所述增强特征数据输入分类器模块解码得到分类预测结果；

6、根据所述分类预测结果和所述标签信息确定所述初始无人机图像识别网络的标签平滑损失，更新所述初始无人机图像识别网络参数，直到损失不再降低，根据所述特征提取模块和所述分类器模块得到训练完备的无人机图像识别网络。

7、进一步的，获取无人机图像数据集，包括：

8、获取无人机图像和对应标签信息；

9、将所述无人机图像进行大小重定义和中心裁剪保证图像尺寸一致，根据所述无人机图像和所述对应标签信息构建无人机图像数据集。

10、进一步的，特征提取模块包括四个基本提取模块、特征优选模块和全局平均池化层，所述基本提取模块由一个下采样层和一个纯卷积块组成；以所述无人机图像作为初始无人机图像识别网络的输入，基于特征提取模块对所述无人机图像进行特征提取和特征优选加权得到优选特征数据，包括：

11、将所述无人机图像输入特征提取模块，依次通过三个基本提取模块进行特征提取得到初始特征数据；

12、基于特征优选模块对所述初始特征数据进行像素特征优选加权得到初始优选数据；

13、基于特征优选模块对所述初始优选数据进行通道特征优选加权得到优选数据；

14、将所述优选数据通过基本提取模块进行特征提取和全局平均池化层得到优选特征数据。

15、进一步的，基于特征优选模块对所述初始特征数据进行像素特征优选加权得到初始优选数据，包括：

16、将所述初始特征数据进行卷积降维得到像素特征嵌入式表示；

17、基于嵌入式高斯算法计算所述像素特征嵌入式表示中特征的自相关性得到像素响应权重矩阵；

18、将所述响应权重矩阵与所述初始特征数据相乘得到全局响应图；

19、将所述全局响应图进行卷积升维，得到空间上下文特征，并将所述空间上下文特征与初始特征数据进行残差连接得到初始优选数据。

20、进一步的，基于特征优选模块对所述初始优选数据进行通道特征优选加权得到优选数据，包括：

21、将所述初始优选数据进行全局平均池化操作得到通道特征嵌入式表示；

22、将所述通道特征嵌入式表示输入多层感知器网络，基于多层感知器网络的网络参数矩阵为每个通道特征生成通道权重；

23、基于激活函数门控机制根据通道权重调整各个通道得到重加权矩阵；

24、对所述初始优选数据和所述重加权矩阵进行哈达玛积运算得到优选数据。

25、进一步的，基于跨样本注意力模块对所述优选特征数据进行跨样本注意力学习得到增强特征数据，包括：

26、对所述优选特征数据进行自注意力计算并按所述标签信息进行分组得到分组自注意力结果；

27、将所述分组自注意力结果拼接后进行线性变换操作，再进行残差连接和层归一化操作得到初始跨样本注意力特征；

28、基于多层感知器对所述跨样本注意力进行非线性化，再进行残差连接和层归一化操作得到跨样本注意力特征；

29、将所述跨样本注意力特征与所述优选特征数据进行拼接得到增强特征数据。

30、进一步的，根据所述分类预测结果和所述标签信息确定所述初始无人机图像识别网络的标签平滑损失，更新所述初始无人机图像识别网络参数，直到损失不再降低，根据所述特征提取模块和所述分类器模块得到训练完备的无人机图像识别网络，包括：

31、将所述标签信息平滑处理得到标签数据；

32、根据所述分类预测结果和所述标签数据确定所述初始无人机图像识别网络的标签平滑损失；

33、基于反向传播算法梯度更新所述初始无人机图像识别网络的网络参数，直至损失不再降低；

34、将所述特征提取模块和所述分类器模块组建得到训练完备的无人机图像识别网络。

35、本发明还提供了一种无人机图像识别网络应用方法，包括：

36、获取待检索无人机图像；

37、将待检索无人机图像输入到训练完备的无人机图像识别网络，识别无人机图像类别，其中，所述训练完备的无人机图像识别网络根据上述任一项所述的无人机图像识别网络训练方法确定；

38、基于所述无人机图像识别网络输出得到无人机图像类别。

39、本发明还提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述任一项所述的无人机图像识别网络训练方法，和/或上述无人机图像识别网络应用方法。

40、本发明还提供了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的无人机图像识别网络训练方法，和/或上述无人机图像识别网络应用方法。

41、与现有技术相比，采样上述实施例的有益效果是：在本发明提供的无人机图像识别网络训练方法中，首先获取无人机图像数据集，所述无人机图像数据集包括无人机图像和对应标签信息；然后构建初始无人机图像识别网络，所述初始无人机图像识别网络包括特征提取模块、跨样本注意力模块和分类器模块；以所述无人机图像作为初始无人机图像识别网络的输入，基于特征提取模块对所述无人机图像进行特征提取和特征优选加权得到优选特征数据，基于跨样本注意力模块对所述优选特征数据进行跨样本注意力学习得到增强特征数据，将所述增强特征数据输入分类器模块解码得到分类预测结果；最后根据所述分类预测结果和所述标签信息确定所述初始无人机图像识别网络的标签平滑损失，更新所述初始无人机图像识别网络参数，直到损失不再降低，根据所述特征提取模块和所述分类器模块得到训练完备的无人机图像识别网络。综上，本发明通过特征提取模块对无人机图像进行特征优选加权，在无人机图像的高复杂度空间结构情况下提取出更具辨别力的特征，提高分类性能；通过跨样本注意力模块在每个分类中建立不同样本的依赖关系，挖掘同类样本之间的相似性，更好地区分相似类，以此解决现有技术中，难以关注重要特征，无法解决类间相似度大的技术问题。