细粒度特征提取方法、细粒度图像识别方法及相关装置

本发明涉及一种细粒度特征提取方法、细粒度图像识别方法及相关装置，属于领域。

背景技术：

1、细粒度识别是计算机视觉、模式识别等领域的一个重要分支，其目的是对粗粒度的大类别进行更加细致的子类划分，但由于子类别间细微的类间差异和较大的类内差异，较之普通的图像分类任务，细粒度图像识别难度更大。

2、双线性池化通过利用两两特征间的相关性信息捕获二阶统计特征，这种特征可以有效定位图像上最具判别性的局部区域，因此目前在细粒度图像识别时，往往采用双线性池化模型进行细粒度特征提取，但是但双线性池化仍然具有突发性缺点，即数据集中过多出现的视觉元素会在分类中具有较大贡献率，使特征稳定性降低，阻碍了其更为广泛的应用。

技术实现思路

1、本发明提供了一种细粒度特征提取方法、细粒度图像识别方法及相关装置，解决了背景技术中披露的问题。

2、为了解决上述技术问题，本发明所采用的技术方案是：

3、细粒度特征提取方法，包括：

4、获取图像的特征图，并将图像的特征图转换成特征图谱；

5、将特征图谱输入分解双线性池化模型，获取图像的细粒度特征；

6、其中，分解双线性池化模型包括图嵌入支路、线性映射支路和融合单元；图嵌入支路中，采用图卷积网络对特征图谱中关联的节点进行图卷积操作；线性映射支路中，采用感知机对特征图进行线性变换操作；融合单元将图嵌入支路输出和线性映射支路的输出进行融合，获得图像的细粒度特征。

7、将图像的特征图转换成特征图谱，包括：

8、将特征图中的每个特征作为一个节点，计算每个节点与其他节点的欧式距离；

9、根据欧式距离，获取每个节点的k个最近邻节点，为每个最近邻节点添加指向对应节点的有向边，获得特征图谱；其中，k为阈值。

10、图嵌入支路包括依次连接的多头图卷积层、卷积层、批归一化层和gelu激活层；其中，多头图卷积层采用图卷积网络对特征图谱中关联的节点进行图卷积操作。

11、多头图卷积层采用图卷积网络对特征图谱中关联的节点进行图卷积操作，包括：

12、将特征图谱平均切分为多个特征图谱块；

13、针对每个特征图谱块，采用图卷积网络对特征图谱块中关联的节点进行图卷积操作；其中，处理不同特征图谱块的图卷积网络的权重不同；

14、将所有图卷积网络的输出进行拼接；

15、通过残差结构将拼接的结果与原始特征图谱进行融合。

16、融合单元中的融合公式为：

17、streamprj＝bn(wprjf)

18、streamgraph＝gelu(bn(wgraph×mhgcn(f)))

19、fgbp＝streamgraph*streamprj

20、式中，streamgraph为图嵌入支路的输出，streamprj为线性映射支路的输出，bn为归一化函数，gelu为gelu激活函数，wgraph和wprj分别是图嵌入支路与线性映射支路中1*1卷积层的参数，mhgcn表示多头图卷积操作，f表示主干网络输出特征图，fgbp为融合后的结果。

21、细粒度特征提取装置，包括：

22、转换模块，获取图像的特征图，并将图像的特征图转换成特征图谱；

23、获取模块，将特征图谱输入分解双线性池化模型，获取图像的细粒度特征；

24、其中，分解双线性池化模型包括图嵌入支路、线性映射支路和融合单元；图嵌入支路中，采用图卷积网络对特征图谱中关联的节点进行图卷积操作；线性映射支路中，采用感知机对特征图进行线性变换操作；融合单元将图嵌入支路输出和线性映射支路的输出进行融合，获得图像的细粒度特征。

25、细粒度图像识别方法，包括：

26、采用细粒度特征提取方法，提取细粒度图像的细粒度特征；

27、采用细粒度图像的细粒度特征，进行细粒度图像识别。

28、细粒度图像识别装置，包括：

29、提取模块，采用细粒度特征提取方法，提取细粒度图像的细粒度特征；

30、识别模块，采用细粒度图像的细粒度特征，进行细粒度图像识别。

31、计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行细粒度特征提取方法或细粒度图像识别方法。

32、计算机设备，包括一个或多个处理器、以及一个或多个存储器，一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行细粒度特征提取方法或细粒度图像识别方法的指令。

33、本发明所达到的有益效果：1、本发明在分解双线性池化的框架中加入图神经网络，可融合空域上的相似特征，实现对多种视觉特征的充分利用，缓解双线性池化的视觉突发现象；2、本发明的图嵌入支路中采用多个图卷积网络和残差结构，即多头图卷积网络和残差结构，使图卷积过程更为轻量，同时降低模型过拟合的风险，并且提高了模型细粒度识别的效果。

技术特征：

1.细粒度特征提取方法，其特征在于，包括：

2.根据权利要求1所述的细粒度特征提取方法，其特征在于，将图像的特征图转换成特征图谱，包括：

3.根据权利要求1所述的细粒度特征提取方法，其特征在于，图嵌入支路包括依次连接的多头图卷积层、卷积层、批归一化层和gelu激活层；其中，多头图卷积层采用图卷积网络对特征图谱中关联的节点进行图卷积操作。

4.根据权利要求3所述的细粒度特征提取方法，其特征在于，多头图卷积层采用图卷积网络对特征图谱中关联的节点进行图卷积操作，包括：

5.根据权利要求1所述的细粒度特征提取方法，其特征在于，融合单元中的融合公式为：

6.细粒度特征提取装置，其特征在于，包括：

7.细粒度图像识别方法，其特征在于，包括：

8.细粒度图像识别装置，其特征在于，包括：

9.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行权利要求1～5、7所述的任一方法。

10.计算机设备，其特征在于，包括：

技术总结
本发明公开了一种细粒度特征提取方法、细粒度图像识别方法及相关装置，本发明在分解双线性池化的框架中加入图神经网络，可融合空域上的相似特征，实现对多种视觉特征的充分利用，缓解双线性池化的视觉突发现象。

技术研发人员：芮挺,杜依南,方虎生,杨成松,刘恂,王东,郑南,任俊宏,曾拥华,孙毛毛,杜晓明
受保护的技术使用者：中国人民解放军陆军工程大学
技术研发日：
技术公布日：2024/3/24