一种基于像素级别空间感知注意力的细粒度车型识别方法

本发明属于车辆识别，涉及一种基于像素级别空间感知注意力的细粒度车型识别方法。

背景技术：

1、近年来，随着计算机视觉和智能交通技术的迅速发展，细粒度车型识别(fvga)引起了人们的广泛关注。fvga是细粒度目标识别的一个重要且典型的研究分支，它区别于小轿车、大卡车、公交车等的粗粒度车型识别，目标是根据车辆的表观特征识别其更加精细的属性，包括制造厂商、具体型号和生产年份等。由于能够提供更详细的车辆属性信息，fgvr在智能交通、安防监控、停车门禁系统等各个领域具有巨大的应用潜力。此外，fgvr技术可以提高基于图像的车辆检索的准确性和效率，从而带来更广泛的应用场景。当前主流车辆网站大多使用基于关键字的车辆搜索。然而，这种方法可能只适合熟悉汽车品牌的消费者，对于不熟悉汽车品牌的消费者来说，很难找到他们喜欢的车辆。因此利用fgvr技术进行精准搜索，可以显著提升用户体验。总体而言，fgvr在各种应用中具有巨大的潜力，是一个很有前景的研究课题。细粒度车辆识别是一种根据车辆的视觉外观来区分较细级别车辆的技术。它更多地关注车辆之间细微的视觉差异。如图1所示，左上车型(a)为“奥迪s6轿车2011”，左下车型(c)为“奥迪s5 coupe 2012”。虽然两者属于同一品牌，外观相似，但它们来自不同的车型，这突出了基于局部判别区域的细粒度分类的必要性。同样，右上方车型(b)为“宾利continental gt coupe 2012”，右下方车型(d)为“宾利continental gt coupe2007”。虽然它们属于同一品牌，具有相似的外观，但需要详细的视觉信息才能正确分类。此外，还有许多其他类型的挑战，例如由背景环境，拍摄角度，照明和其他因素引起的挑战，这些挑战会影响车辆的视觉外观并增加识别难度。因此，细粒度的车辆识别需要专注于捕获更精细的局部特征来区分子类别。

2、然而，传统的细粒度车型识别算法借助于提取图像的颜色、纹理、梯度、形状、空间关系等特征大致定位目标车辆的侯选位置，之后利用svm、adaboost等分类器进行车型的识别。然而这类手工设计的特征往往不能够包含车型之间细微的差异，无法构建足够鲁棒的图像表示，因此识别性能始终不佳。

3、近年来，卷积神经网络(convolutional neural network，cnn)在图像分类、目标检测、图像分割等众多视觉任务上都显示出了明显优于其他同领域方法的优势。当前基于卷积神经网络的细粒度车型识别算法主要分为三类，分别是基于局部区域检测的细粒度车型识别算法、基于注意力机制的细粒度车型识别算法以及基于局部特征学习的细粒度车型识别算法。基于局部区域检测的细粒度车型识别算法由于借助人工标注的车辆边界框、部件标注点等额外信息，因此应用并不广泛。而基于注意力机制和局部特征学习的两类细粒度车型识别算法则希望在仅使用类别标签信息的条件下能够精确分类各种车型，是当前的研究趋势。其中基于注意力机制的方法利用不同的注意力策略获得注意权重的数据分布，并以“动态加权”的方式来促使卷积神经网络自动关注车辆之间的细微差异，从而实现细粒度的车型识别。

4、当前基于注意力机制的细粒度车型识别算法虽然获取权值分布的方法不同，但都是基于深度卷积神经网络提取的原始特征映射图构造的。原始特征映射图在类别标签的监督下通常会聚焦于前景目标物体，可对于细粒度的车辆目标来说，单单关注前景车辆已经不足以细分其车型的差异。因此，需要识别性能更好的车型识别方法来解决上述问题。

技术实现思路

1、本发明解决技术问题所采取的技术方案是：一种基于像素级别空间感知注意力的细粒度车型识别方法，包括如下步骤：

2、步骤一：建立可提取更为精细的注意力区域的像素级别的空间感知注意力模块，所述空间感知注意力模块包含：特征捕获、特征融合和特征激励三个部分，所述空间感知注意力模块在与输入图像相同的空间尺度上学习注意力掩模，不仅可以有效区分目标的前景和背景特征，还可以进一步突出局部判别区域，提高网络对细粒度类别的识别能力；

3、步骤二：将步骤一中建立的空间感知注意力模块插入到卷积神经网络中，形成包含空间感知注意力模块的卷积神经网络；

4、所述特征捕获完成从主干网中选取不同卷积阶段的特征映射图进行预处理，以减少特征冗余，规范特征映射图尺寸；所述特征捕获包括如下步骤：

5、步骤s1-1：捕获深度卷积神经网络的特征并降维得到特征图；

6、步骤s1-2：对降维后的特征图上采样；

7、步骤s1-3：对低级特征图降维得到输出特征图；

8、所述特征融合完成高低级特征融合，获得像素级别的空间感知特征；所述特征融合包括如下步骤：

9、步骤s2-1：完成高级特征与低级特征拼接；将经捕获操作获得的高级特征fh′和低级特征fl′进行通道层面的拼接，得到特征

10、步骤s2-2：使用卷积块融合高低级特征；

11、步骤s2-3：使用dropout降低高低层特征耦合性；

12、步骤s2-4：输出特征图；经过一个1×1卷积将特征通道降低为车型类别数n，即输出特征图其中h和w是输入图像的高和宽

13、所述特征激励完成激励空间感知特征，获得空间感知注意力权重；所述特征激励包括如下步骤；

14、步骤s3-1：获得空间感知特征；将步骤s2-4中得到的输出特征图f′上采样得到空间感知特征f′up；

15、步骤s3-2：获得空间权重。

16、优选的，所述步骤s1-1中，特征捕获需捕获深度卷积神经网络的高级特征和低级特征；捕获深度卷积神经网络的高级特征和低级特征使用1×1卷积先对高级特征fh进行降维得到特征图从而减少网络的计算量；式中，h、w、c分别表示特征图的高度、宽度和通道数；

17、随着卷积神经网络的不断加深，提取的特征分辨率不断降低，特征图中所蕴含的目标信息更加抽象，包含了更多的图像语义信息；虽然低层特征图所包含的信息不足以用于图像识别，但是它包含了丰富的有助于目标像素点定的位边缘信息；因此第一步捕获需捕获深度卷积神经网络的高级特征和低级特征。

18、更优的，所述步骤s1-2中，对降维后的特征图进行上采样操作，得到和低级特征图fl宽高尺寸相同(hh′＝hl，wh′＝wl)的输出特征图

19、更优的，所述步骤s1-2中，使用反卷积通过网络前向和反向传播来学习转置矩阵的参数，使用双线性插值的方法初始化转置矩阵的权重参数，以更好地还原特征图的各处激活响应。

20、更优的，所述步骤s1-3中，使用1×1卷积对低级特征fl进行通道降维，得到输出特征图因为低级特征的信息只是为了给空间感知注意力的生成提供更加细节的上下文信息，因此设置降维后的通道数cl′小于cl，经过验证，这样融合后的特征图保存了更多的高层语义信息。

21、优选的，所述步骤s2-2中，特征f经过两个3×3卷积层充分融合高低层的通道和空间信息；每个3×3卷积层包含一个3×3卷积、一个批量正则化层和一个relu激活层。

22、更优的，所述步骤s2-3中，特征f经过两个3×3卷积层后,再经过一个dropout层，在网络训练的过程中以一定概率丢弃神经元，降低高低层特征之间的耦合性，增加网络提取特征的鲁棒性。

23、优选的，所述步骤s3-2中，使用公式：

24、s＝σ(δ(ωf′up))                       (1)

25、将空间感知特征f′up经过一个1×1卷积降维成一个通道数为1的二维特征向量，之后经过一个relu激活函数和一个sigmoid函数得到输入图像的[0,1]之间的空间权重s；式中：δ是relu激活函数，σ是sigmoid函数。

26、本发明的有益效果是：

27、本发明提出的基于像素级别空间感知注意力模块的细粒度车型识别方法通过特征捕获、特征融合和特征激励后提高了神经网络算法的性能，提高细粒度车型识别的准确性至90％以上。