多尺度显著特征双线注意力细粒度物体分类方法及系统

本发明属于电子信息，具体属于一种多尺度显著特征双线注意力细粒度物体分类方法及系统。

背景技术：

1、在计算机视觉任务中，深度学习技术近年来在图像处理的许多分支任务中取得了优异的性能，甚至其性能在图像分类任务分支中超过了人类识别的准确率，但是相对图像识别技术，细粒度识别的准确率还有较大的提升空间。对于分类任务可以划分为粗粒度分类和细粒度分类，粗粒度任务表示在类别分类上具有很大程度的差异，例如猫与狗的分类，汽车与飞机的分类；细粒度分类侧重于对基本类别内的细微视觉差异进行分类，例如对于狗类、飞机、汽车以及鸟类等进行更加详细的子类别分类，并且细粒度有着广泛的应用场景，如可用于野外环境动植物的识别研究，为生物学领域提供重要技术基础；可应用于服装检测、服装识别等视觉任务；可开展零售场景的自动收银服务；可用于高速行驶车辆的快速准确精细化识别。

2、如何让神经网络定位可区分的部位并学习可分辨的特征是解决细粒度问题的关键，早期时候，一般采用两阶段的强监督方式来解决:首先采用一个神经网络定位、探测图像中的可区分的部件并进行有区分性局部特征提取，然后再通过分类神经网络对获取到的局部特征进行细粒度图像分类。由于两阶段的强监督方式过于依赖标注的边界框和部件注释信息，同时细粒度图像普通人难以区分，需要专业人士进行额外零部件信息标注，耗费大量的人力成本，使得这些方法难以实用。

3、近年来，研究人员更多关注于只采用图像级标签的弱监督方式，即在训练过程中仅使用图像级的标签信息。注意力机制能够引导模型关注更多有区分性的部位，提高细粒度分类任务的准确率。注意力机制在细粒度任务上的应用展示出了巨大的潜力，但对细微特征的关注度不足，容易忽略潜在的可区分信息，并且注意力模型缺乏有效的监督信息来指导学习过程，因此在诸多情况下并不能准确定位有效的局部区域，导致对不同应用场景的物体进行细粒度分类时准确度不高的问题。

技术实现思路

1、为了解决现有技术中存在的问题，本发明提供一种多尺度显著特征双线注意力细粒度物体分类方法及系统，通过区域显著特征增强模块突出当前阶段特征图中最显著的部分，放大初始特征图的细微特征；通过双线注意力池化策略，在不同阶段的增强特征图生成一个注意力图来表征对象的显著部位特征；通过反事实注意力学习指导注意力的学习过程，鼓励注意力机制去发现最具判别力的区域，实现同领域物体的准确区分。

2、为实现上述目的，本发明提供如下技术方案：一种多尺度显著特征双线注意力细粒度物体分类方法，具体步骤如下：

3、s1构建多尺度显著特征双线注意力细粒度分类网络，所述网络包括基础主干网络resnet50，基础主干网络resnet50的stage3、stage4和stage5后均连接有一区域显著特征增强模块rpfbm，区域显著特征增强模块rpfbm后连接有一双线注意力池化策略bap，区域显著特征增强模块rpfbm和双线注意力池化策略bap均与反事实注意学习网络cal连接，反事实注意学习网络cal中插入有双线注意力池化策略bap；

4、s2、采用分类标签y、双线注意力池化策略bap输出和双线注意力池化策略bap输出构建损失函数；

5、s3对多尺度显著特征双线注意力细粒度分类网络进行训练，得到多尺度显著特征双线注意力细粒度分类网络模型；

6、s4将预处理的训练数据集送入多尺度显著特征双线注意力细粒度分类网络模型中，得到物体的细粒度分类结果。

7、进一步的，s1中，基础主干网络resnet50用于获得不同尺度下的特征图x∈fc×w×h，其中c，w，h代表特征图的通道数，宽度和高度，其包含5个stage，其中stage1用对输入图像的预处理，stage2至stage4残差块bottleneck组成。

8、进一步的，s1中，区域显著特征增强模块rpfbm的构建具体包括：

9、1)对基础主干网络resnet50的stage3、stage4和stage5输出的初始特征图x∈fc×w×h沿着宽度、高度维度进行k份和l份均匀切片操作，得到n＝k×l个切分特征图xi，j∈fc×(w/k)×(h/l)，i∈[1，k]，j∈[1，l]；

10、2)采用1*1卷积操作和全局平均gap池化计算切分特征图xi，j的权重因子bi，j，并将权重因子bi，j以切分块形式，重新组合构建重要性权重矩阵b，b(i，j)＝b′i，j；

11、3)将重要性权重矩阵b和初始特征图x进行元素相乘后再与初始特征图x进行加和，生成显著特征图xb。

12、进一步的，s1中，双线注意力池化策略bap的构建，具体包括：

13、1)对区域显著特征增强模块rpfbm得到的显著特征图xb进行3*3卷积操作得到注意力图a；

14、2)对注意力图a与特征图xb进行张量逐元素相乘，得到部位特征图fk，k＝1，2...，m，采用特征提取函数gap对部位特征图fk进行处理得到各特定部位的注意力特征fk∈r1×c；

15、3)将注意力特征fk堆叠成不同尺度下的部位特征矩阵p∈rm×c，部位特征矩阵p∈rm×c经过全链接层后生成事实预测pt：

16、

17、pr＝c([γ(a，xb)])。

18、进一步的，s1中，反事实注意力学习网络cal的构建，具体包括：

19、1)生成与注意力图a的尺寸大小相同的虚假注意力图虚假注意力图中的数值全为随机数；

20、2)对虚假注意力图进行双线注意力池化策略bap处理，并经过全链接层得到反事实预测pf：

21、

22、其中，xb为区域显著特征增强模块rpfbm输出的显著特征图。

23、进一步的，s2中，双线注意力池化策略bap输出为事实预测pt，双线注意力池化策略bap输出为差异结果yeffect，分别将事实预测pt和差异结果yeffect与分类标签y进行交叉熵计算，并进行加和得到损失函数l：

24、l＝lce(yeffect，y)+lce(pt，y)。

25、进一步的，s3中，同时采用adam优化算法训练多尺度显著特征双线注意力细粒度分类网络，获得最终的多尺度显著特征双线注意力细粒度分类网络模型。

26、本发明还提供一种多尺度显著特征双线注意力细粒度物体分类系统，具体包括：

27、网络构建模块，用于构建多尺度显著特征双线注意力细粒度分类网络，所述网络包括基础主干网络resnet50，基础主干网络resnet50的stage3、stage4和stage5后均连接有一区域显著特征增强模块rpfbm，区域显著特征增强模块rpfbm后连接有一双线注意力池化策略bap，区域显著特征增强模块rpfbm和双线注意力池化策略bap均与反事实注意学习网络cal连接；

28、损失函数计算模块，用于采用分类标签y、双线注意力池化策略bap输出和双线注意力池化策略bap输出建立损失函数；

29、模型训练模块，用于对多尺度显著特征双线注意力细粒度分类网络进行训练，得到多尺度显著特征双线注意力细粒度分类网络模型；

30、细粒度分类模块，用于将预处理的训练数据集送入多尺度显著特征双线注意力细粒度分类网络模型中，得到物体的细粒度分类结果。

31、进一步的，所述反事实注意学习网络cal中插入有双线注意力池化策略bap。

32、本发明还提供一种计算机设备，所述计算机设备包括计算机、服务器或者其他具有计算功能的终端设备，设备包括通过总线连接的处理器、存储器，所述存储器中储存程序，并且该程序被处理器执行，程序包括用于执行权利要求上述多尺度显著特征双线注意力细粒度分类方法。

33、与现有技术相比，本发明至少具有以下有益效果：

34、本发明提供本发明提供一种多尺度显著特征双线注意力细粒度物体分类方法及系统，构建了多尺度显著特征双线注意力细粒度分类网络，该网络主要包括：区域显著特征增强模块rpfbm，通过区域切片操作放大并捕获细微可区分特征,增强特征图表达能力，突出当前阶段特征图中最显著的部分,放大初始特征图的细微特征；双线注意力池化策略bap，以弱监督方式层次化表征对象的显著部位特征,提高不同尺度局部信息的关注能力，在不同阶段的增强特征图生成一个注意力图来表征对象的显著部位特征；采用反事实注意学习网络cal指导注意力的学习过程,鼓励注意力机制去发现最具判别力的区域，将真实学到的注意力和无关注意力对最终预测结果的差异作为衡量指标，通过差异最大化迫使双线注意力池化策略学习更有效特征；本发明的分类方法激励了网络自主地探索潜在的区分性信息，准确关注局部区域位置，提升了网络特征表示和模型泛化的能力，提高分类方法的准确性，解决了现有细粒度图像分类任务中存在的区分性特征太过细微难以捕捉、无法有效定位感兴趣的区域等问题。

35、同时，本发明将事实预测、差异结果分别与分类标签进行交叉熵计算并进行加和建立新的损失函数，该损失函数可量化差异结果，引入新的监督信号辅助网络训练，通过损失函数的优化可帮助模型更快收敛的同时提高其分类准确率。