一种基于注意力机制的特征提取方法、装置及电子设备与流程

本公开实施例涉及图像处理技术领域，具体涉及一种基于注意力机制的特征提取方法、装置、电子设备和非暂态计算机可读存储介质。

背景技术：

随着机器学习的发展，不同类型神经网络可用于图像处理技术领域，例如，特征提取网络提取图像中的特征，进而基于特征可对图像进行识别，当图像的应用场景不同，提取的特征的后续处理也不同。

因此，亟需提供一种特征提取方案，以提高图像识别在不同应用场景下的准确性。

技术实现要素：

为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种基于注意力机制的特征提取方法、装置、电子设备和非暂态计算机可读存储介质。

第一方面，本公开实施例提出一种基于注意力机制的特征提取方法，所述方法包括：

获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；

对所述第一特征图增加注意力；

对未增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；

基于所述增加注意力的第一特征图和所述至少一个第三特征图，确定输出特征图。

第二方面，本公开实施例提出一种基于注意力机制的特征提取方法，所述方法包括：

获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；

对所述至少一个其他尺度的第二特征图增加注意力；

对增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；

基于所述第一特征图和所述至少一个第三特征图，确定输出特征图。

第三方面，本公开实施例提供一种基于注意力机制的特征提取装置，所述装置包括：

获取模块，用于获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；

第一注意力模块，用于对所述第一特征图增加注意力；

处理模块，用于对未增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；

输出模块，用于基于所述增加注意力的第一特征图和所述至少一个第三特征图，确定输出特征图。

第四方面，本公开实施例提供一种基于注意力机制的特征提取装置，所述装置包括：

获取模块，用于获取多个不同尺度的特征图，所述多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图；

第二注意力模块，用于对所述至少一个其他尺度的第二特征图增加注意力；

处理模块，用于对增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，所述至少一个第三特征图与所述第一特征图的尺度相同；

输出模块，用于基于所述第一特征图和所述至少一个第三特征图，确定输出特征图。

第五方面，本公开实施例提供一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面或第二方面所述方法的步骤。

第六方面，本公开实施例提供一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面或第二方面所述方法的步骤。

可见，本公开的至少一个实施例中，通过对第一特征图增加注意力，并与其他不同尺度的第二特征图合并，确定输出特征图，使得通过反向传播进行注意力权重参数更新的过程中，可以针对不同的应用场景，通过损失函数约束注意力向应用场景所关心的信息靠近，提升输出特征图在应用场景下使用的准确性。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种基于注意力机制的特征提取方法的示例性流程图；

图2是本公开实施例提供的一种第一注意力模块的示例性框图；

图3是本公开实施例提供的另一种基于注意力机制的特征提取方法的示例性流程图；

图4是本公开实施例提供的又一种基于注意力机制的特征提取方法的示例性流程图；

图5是本公开实施例提供的一种第二注意力模块的示例性框图；

图6是本公开实施例提供的又一种基于注意力机制的特征提取方法的示例性流程图；

图7是本公开实施例提供的一种hrnet的结构框图；

图8是本公开实施例提供的一种基于注意力机制的特征提取装置的示例性框图；

图9是本公开实施例提供的另一种基于注意力机制的特征提取装置的示例性框图；

图10是本公开实施例提供的一种电子设备的示例性框图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

随着机器学习的发展，不同类型神经网络可用于图像处理技术领域，例如，特征提取网络提取图像中的特征，进而基于特征可对图像进行识别，当图像的应用场景不同，提取的特征的后续处理也不同。应用场景例如，图像中人体骨骼关键点的检测，以识别图像中人体的姿态；应用场景又例如，图像中目标检测，以识别图像中的目标类别和目标位置。

以图像中人体骨骼关键点检测的场景为例，人体骨骼关键点包括：眼部、耳部、嘴部、肩部、手肘、手腕、腰部、膝盖、脚踝，共17处关键点。关键点检测包括两个步骤，首先对图片中的人体目标进行识别定位，然后将识别出的人体目标分别单独提取出来，检测人体目标的可见关键点位置。

由于人体骨骼关键点可以描述人体姿态，因此关键点检测有广泛的应用前景：1.行为识别，预测人体行为；2.动作分类，异常行为检测；3.自动驾驶/无人驾驶，预测行人运动行为与运动轨迹，提前做出预判；4.步态识别与人物跟踪，因为不同个体的步态有其独特的特点。

关键点检测主要需要实现两个功能，其一是对图像中的人体目标进行检测，这个功能已经在目标检测领域中有了非常深入的研究；其二是对人体目标进行骨骼关键点的提取。

目前关键点检测方案存在的主要问题有：1.人物存在遮挡关系时，难以正确检测关键点所属的人物；2.关键点位置不够精确，与真值相比存在偏移。

因此，亟需提供一种特征提取方案，以提高图像识别在不同应用场景下的准确性，例如，关键点检测的准确性。

图1为本公开实施例提供的一种基于注意力机制的特征提取方法。本方法的执行主体可以为电子设备。

在图1中，首先，基于待识别的图像，可获取到同一深度下不同尺度的特征图11至14；然后，通过第一注意力模块(attentionblock1)10计算特征图11的第一注意力权重；最后，将增加注意力的特征图11和特征图12至14合并，确定输出特征图(featuremap)，该featuremap后续可用于人体骨骼关键点的检测。

在图1中，特征图11至14的尺度依次减小。另外，需要将特征图11至14一起输入到第一注意力模块10中，通过第一注意力模块10计算特征图11的第一注意力权重，进而可将第一注意力权重与特征图11进行乘积操作，实现对特征图11增加注意力。

在图1中，特征图12至14分别进行卷积操作(conv)和上采样操作(upsample)后，与增加注意力的特征图11进行相加操作，得到featuremap。其中，upsample后得到的特征图与增加注意力的特征图11的尺度相同。

可见，通过对特征图11增加注意力，并与特征图12至14合并，确定featuremap，使得通过反向传播进行注意力权重参数更新的过程中，可以通过损失函数约束注意力向人体骨骼关键点靠近，让神经网络对可能出现骨骼关键点的位置更加敏感，进而提升关键点检测的准确率。

图2为本公开实施例提供的一种第一注意力模块20的示例性框图。需要说明的是，为了便于描述第一注意力模块20的功能，在图2中，除了示出第一注意力模块20的框图，还示出了其他内容。在一些实施例中，第一注意力模块20可以实现为图1中的第一注意力模块10或第一注意力模块10的一部分。

在图2中，第一注意力模块20的输入为特征图21至24，特征图21至24为同一深度下不同尺度的特征图，且尺度依次减小。第一注意力模块20的输出为特征图21的第一注意力权重。

在图2中，第一注意力模块20将特征图22至24分别进行卷积操作(conv)和上采样操作(upsample)后，与经过conv的特征图21进行相加操作，并对相加操作后得到的特征图依次进行线性整流操作(例如relu)、卷积操作和激活操作(例如sigmoid)，得到特征图21的第一注意力权重。

在图2中，可将第一注意力权重与特征图21进行乘积操作，实现对特征图21增加注意力。进而，特征图22至24分别进行卷积操作(conv)和上采样操作(upsample)后，与增加注意力的特征图21进行相加操作，得到featuremap。其中，upsample后得到的特征图与增加注意力的特征图21的尺度相同。

可见，通过对特征图21增加注意力，并与特征图22至24合并，确定featuremap，使得通过反向传播进行注意力权重参数更新的过程中，可以通过损失函数约束注意力向人体骨骼关键点靠近，让神经网络对可能出现骨骼关键点的位置更加敏感，进而提升关键点检测的准确率。

图3为本公开实施例提供的一种基于注意力机制的特征提取方法，该方法的执行主体为电子设备。为便于描述，以下实施例中以电子设备为执行主体说明该方法的流程。

在步骤301中，电子设备获取多个不同尺度的特征图，多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图。

在一些实施例中，第一特征图例如为图1中的特征图11，相应地，至少一个第二特征图为图1中的特征图12至14；第一特征图也可以为图2中的特征图21，相应地，至少一个第二特征图为图2中的特征图22至24。

在一些实施例中，电子设备可获取多个深度下的多个特征图，每个深度下可能有一个特征图或多个特征图。

在一些实施例中，电子设备获取特征图的方式可以采用目前比较常见的特征提取网络提取待识别的图像的特征。在一些实施例中，电子设备可通过hrnet(high-resoultionnet)，可以得到不同深度、不同尺度的特征图。因此，本实施例中，同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图均来源于hrnet。

在步骤302中，电子设备对第一特征图增加注意力。

在一些实施例中，电子设备是基于第一特征图和至少一个第二特征图来确定第一特征图的第一注意力权重。在一些实施例中，电子设备将第一特征图和每个第二特征图分别进行卷积操作(conv)；进而对每个第二特征图进行conv后得到的特征图，进行上采样(upsample)；从而将第一特征图进行conv后得到的特征图与upsample得到的特征图进行相加操作；最后对相加操作得到的特征图依次进行线性整流操作(例如relu)、卷积操作和激活操作(例如sigmoid)，得到第一特征图的第一注意力权重。在得到第一注意力权重后，电子设备将第一注意力权重与第一特征图进行乘积操作，实现对第一特征图增加注意力。

在步骤303中，电子设备对未增加注意力的至少一个第二特征图执行卷积(conv)后进行上采样(upsample)，确定至少一个第三特征图，至少一个第三特征图与第一特征图的尺度相同。

在步骤304中，电子设备基于增加注意力的第一特征图和至少一个第三特征图，确定输出特征图。

在一些实施例中，电子设备将增加注意力的第一特征图和至少一个第三特征图进行相加操作，得到输出特征图。输出特征图例如为图1、图2中的featuremap。

可见，通过对第一特征图增加注意力，并与至少一个第二特征图合并，确定featuremap，使得通过反向传播进行注意力权重参数更新的过程中，可以通过损失函数约束注意力向人体骨骼关键点靠近，让神经网络对可能出现骨骼关键点的位置更加敏感，进而提升关键点检测的准确率。

图4为本公开实施例提供的一种基于注意力机制的特征提取方法。本方法的执行主体可以为电子设备。

在图4中，首先，基于待识别的图像，可获取到同一深度下不同尺度的特征图41至44；然后，通过第二注意力模块(attentionblock2)40计算特征图42至44各自的第二注意力权重；最后，将增加特征图41和增加注意力的特征图42至44合并，确定输出特征图(featuremap)，该featuremap后续可用于人体骨骼关键点的检测。

在图4中，特征图41至44的尺度依次减小。另外，第二注意力模块40的输入只有两个特征图：一个是特征图41，另一个是特征图42至44中的任一个，通过第二注意力模块40计算特征图42至44各自的第二注意力权重，进而可将特征图42至44与各自的第二注意力权重进行乘积操作，实现对特征图42至44增加注意力。

在一些实施例中，第二注意力模块40可以有三个，分别用于计算特征图42至44的第二注意力权重。在一些实施例中，第二注意力模块40只有一个，分三次计算特征图42至44各自的第二注意力权重。

在图4中，特征图42至44分别增加注意力后，进行卷积操作(conv)和上采样操作(upsample)，upsample后得到的特征图与特征图41进行相加操作，得到featuremap。其中，upsample后得到的特征图与特征图41的尺度相同。

可见，通过对特征图42至44增加注意力，并与特征图41合并，确定featuremap，使得通过反向传播进行注意力权重参数更新的过程中，可以通过损失函数约束注意力向人体骨骼关键点靠近，让神经网络对可能出现骨骼关键点的位置更加敏感，进而提升关键点检测的准确率。

图5为本公开实施例提供的一种第二注意力模块50的示例性框图。在一些实施例中，第二注意力模块50可以实现为图4中的第二注意力模块40或第二注意力模块40的一部分。

在图5中，第二注意力模块50的输入为特征图51和52，特征图51和52为同一深度下不同尺度的特征图，且尺度依次减小。第二注意力模块50的输出为特征图52的第二注意力权重。

在图5中，第二注意力模块50将特征图51进行卷积操作(conv)和下采样操作(downsample)后，与经过conv的特征图52进行相加操作，并对相加操作后得到的特征图依次进行线性整流操作(例如relu)、卷积操作和激活操作(例如sigmoid)，得到特征图52的第二注意力权重。

在图5中，可将第二注意力权重与特征图52进行乘积操作，实现对特征图52增加注意力。

图6为本公开实施例提供的一种基于注意力机制的特征提取方法，该方法的执行主体为电子设备。为便于描述，以下实施例中以电子设备为执行主体说明该方法的流程。

在步骤601中，电子设备获取多个不同尺度的特征图，多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图。

在一些实施例中，第一特征图例如为图4中的特征图41，相应地，至少一个第二特征图为图4中的特征图42至44。

在一些实施例中，电子设备可获取多个深度下的多个特征图，每个深度下可能有一个特征图或多个特征图。

在一些实施例中，电子设备获取特征图的方式可以采用目前比较常见的特征提取网络提取待识别的图像的特征。在一些实施例中，电子设备可通过hrnet(high-resoultionnet)，可以得到不同深度、不同尺度的特征图。因此，本实施例中，同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图均来源于hrnet。

在步骤602中，电子设备对至少一个其他尺度的第二特征图增加注意力。

在一些实施例中，电子设备针对每个第二特征图：

将第一特征图和第二特征图分别进行卷积操作(conv)；进而将第一特征图进行conv后得到的特征图，进行下采样(downsample)；从而将下采样得到的特征图与第二特征图进行conv后得到的特征图，进行相加操作；最后对相加操作得到的特征图依次进行线性整流操作(例如relu)、卷积操作和激活操作(sigmoid)，得到第二特征图的第二注意力权重。在得到第二注意力权重后，电子设备将第二注意力权重与第二特征图进行乘积操作，实现对第二特征图增加注意力。

在步骤603中，电子设备对增加注意力的至少一个第二特征图执行卷积(conv)后进行上采样(upsample)，确定至少一个第三特征图，至少一个第三特征图与第一特征图的尺度相同。

在步骤604中，电子设备基于第一特征图和至少一个第三特征图，确定输出特征图。

在一些实施例中，电子设备将第一特征图和至少一个第三特征图进行相加操作，得到输出特征图。输出特征图例如为图4中的featuremap。

可见，通过对至少一个第二特征图增加注意力，并与第一特征图合并，确定featuremap，使得通过反向传播进行注意力权重参数更新的过程中，可以通过损失函数约束注意力向人体骨骼关键点靠近，让神经网络对可能出现骨骼关键点的位置更加敏感，进而提升关键点检测的准确率。

图7为本公开实施例提供的一种hrnet(high-resoultionnet)的结构框图。hrnet是一种基于概率图的关键点检测网络，其主要思想为通过设计网络结构得到针对各个关键点的概率图，损失函数的优化目标为使得概率图中关键点坐标上的概率接近1，其他点的概率接近0。

图7中，横向方向表示网络的深度(depth)，纵向方向表示网络的尺度(scale)。图7中，网络分成多个阶段，在每个阶段初，增添一个更小分辨率的特征图(尺度也更小)，分别通过插值上采样和卷积下采样的方式得到不同尺度的特征图，并将同一个尺度的特征图相加，保证初始特征图结合了上一个阶段不同尺度特征图的特征。每个阶段过程中采用resnet(残差神经网络)对各个尺度的特征图分别进行深度学习。在最后一个阶段之后，一共可以得到4个不同尺度的特征图，将所有小尺度的特征图进行插值上采样得到与最大尺度特征图同样大小的特征图，并将它们加起来，即可得到最终输出的特征图。

在特征图之后添加一层卷积层，将通道数目设置为关键点数量，保证输出的概率图的每个通道分别代表一个关键点的概率图。

通过关键点真值生成真值概率图，使得关键点的坐标处的概率为1，其他点的概率为0，从概率为1的点过渡到概率为0的点采用高斯分布。训练时的损失函数采用mse(meansquarederror，平方平均误差)。

但是hrnet对于关键点坐标预测不够精确，且采用插值的方法进行上采样并不十分准确。

关键点检测需要得到更加精确的关键点坐标预测结果，而且需要加快训练速度，因此本实施例中，需要基于概率图的方法，设计更加精巧的神经网络提取图片特征，得到更加精确的概率图。

本实施例中，基于概率图的方法进行关键点预测和网络反向传播更新。同时，本实施例中基于hrnet进行改进，增加注意力机制模块，在不同特征图进行融合的过程中增加注意力信息，使得网络能够有选择地为特征图的不同位置设置权重的特征，以得到更适合的概率图。

注意力机制借鉴了人认知物体的机制，当观察一个物体时，首先注意到的部分要么是特征突出的部分，要么是感兴趣的部分。在关键点检测问题中，感兴趣的部分则是人体的骨骼关键点，因此，希望神经网络像人认知物体时一样将注意力放在可能出现骨骼关键点的地方，为这些需要放置注意力的地方设置更大的权重，其他诸如背景信息的地方设置比较小的权重，因此得到的概率图能够更加接近真值概率图。

本实施例中，可将两种不同的注意力模块(也即图1和图2所示的第一注意力模块，图4和图5所示的第二注意力模块)，添加到hrnet的第四个阶段(也即图7中，depth为14所对应的列之后)。相应地，depth为14所对应的列中的四个不同尺度的特征图可以理解为图1中的特征图11至14，或图2中的特征图21至24，或图4中的特征图41至44。

在一些实施例中，也可将两种不同的注意力模块添加到hrnet的第三个阶段(也即图7中，depth为10所对应的列)之后，或第二个阶段(也即图7中，depth为6所对应的列)之后。相应地，图1、图2和图4中，确定输出特征图(featuremap)后，将输出特征图替换第一特征图，相当于更新了第一特征图，然后由更新后的第一特征图去计算下一个深度的第一特征图。

在一些实施例中，同一深度下，例如depth为14所对应的列，可以更新任一个尺度的特征图，更新的方式采用图1、图2或图4所示的方式，也即，将第二行的特征图作为第一特征图，那么第三行和第四行的特征图为尺度较小的第二特征图，这样通过图1、图2或图4，就可以确定输出特征图(featuremap)替换第二行的特征图，实现对第二行特征图的更新。

图8为本公开实施例提供的一种基于注意力机制的特征提取装置，该装置包括：获取模块81、第一注意力模块82、处理模块83和输出模块84。

获取模块81，用于获取多个不同尺度的特征图，多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图。在一些实施例中，同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图均来源于hrnet。

第一注意力模块82，用于对第一特征图增加注意力。

处理模块83，用于对未增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，至少一个第三特征图与第一特征图的尺度相同。

输出模块84，用于基于增加注意力的第一特征图和至少一个第三特征图，确定输出特征图。

在一些实施例中，第一注意力模块82，用于将第一特征图和每个第二特征图分别进行卷积操作；对每个第二特征图进行卷积操作后得到的特征图，进行上采样；将第一特征图进行卷积操作后得到的特征图与上采样得到的特征图进行相加操作；对相加操作得到的特征图依次进行线性整流操作、卷积操作和激活操作，得到第一特征图的第一注意力权重；将第一注意力权重与第一特征图进行乘积操作，实现对第一特征图增加注意力。

在一些实施例中，图8所示的特征提取装置还包括：替换模块，用于将输出特征图替换第一特征图。

图9为本公开实施例提供的一种基于注意力机制的特征提取装置，该装置包括：获取模块91、第一注意力模块92、处理模块93和输出模块94。

获取模块91，用于获取多个不同尺度的特征图，多个不同尺度的特征图包括同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图。在一些实施例中，同一深度下尺度最大的第一特征图和至少一个其他尺度的第二特征图均来源于hrnet。

第二注意力模块92，用于对至少一个其他尺度的第二特征图增加注意力。

处理模块93，用于对增加注意力的至少一个第二特征图执行卷积后进行上采样，确定至少一个第三特征图，至少一个第三特征图与第一特征图的尺度相同。

输出模块94，用于基于第一特征图和至少一个第三特征图，确定输出特征图。

在一些实施例中，第二注意力模块92，针对每个第二特征图：

将第一特征图和第二特征图分别进行卷积操作；

将第一特征图进行卷积操作后得到的特征图，进行下采样；

将下采样得到的特征图与第二特征图进行卷积操作后得到的特征图，进行相加操作；

对相加操作得到的特征图依次进行线性整流操作、卷积操作和激活操作，得到第二特征图的第二注意力权重；

将第二注意力权重与第二特征图进行乘积操作，实现对第二特征图增加注意力。

在一些实施例中，图9所示的特征提取装置还包括：替换模块，用于将输出特征图替换第一特征图。

图10是本公开实施例提供的一种电子设备的结构示意图。

如图10所示，车载设备包括：至少一个处理器101、至少一个存储器102和至少一个通信接口103。车载设备中的各个组件通过总线系统104耦合在一起。通信接口103，用于与外部设备之间的信息传输。可理解地，总线系统104用于实现这些组件之间的连接通信。总线系统104除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图10中将各种总线都标为总线系统104。

可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用任务。实现本公开实施例提供的基于注意力机制的特征提取方法的程序可以包含在应用程序中。

在本公开实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器101用于执行本公开实施例提供的基于注意力机制的特征提取方法各实施例的步骤。

本公开实施例提供的基于注意力机制的特征提取方法可以应用于处理器101中，或者由处理器101实现。处理器101可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本公开实施例提供的基于注意力机制的特征提取方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成方法的步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。

本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如基于注意力机制的特征提取方法各实施例的步骤，为避免重复描述，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。

本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。