一种目标对象的动作识别方法与装置与流程

1.本公开涉及卷积神经网络技术领域，且更具体地，涉及一种目标对象的动作识别方法与装置。


背景技术：

2.卷积神经网络(convolutional neural networks，简称cnn)是目前机器学习领域中的热门方向，利用卷积神经网络进行动作识别是其一项重要的具体应用。
3.在现有技术中，在利用卷积神经网络对目标对象的动作进行识别时，会通过对每一时刻全体的关键点的坐标进行卷积以识别出目标对象的动作类型，而该方法会忽略关键点在空间上的局部信息，从而导致识别出的目标对象的动作类型准确性较低。


技术实现要素：

4.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种目标对象的动作识别方法、装置、计算机可读存储介质与电子设备，其利用一维卷积获取目标对象的第一局部特征，并利用第一局部特征对应的第一权重系数对多个第一局部特征的重要程度进行区分，以更好地突出部分关键点对整体动作识别的贡献，使得最终识别出的目标对象的动作类型的准确性较高。
5.根据本公开的第一方面，提供了一种目标对象的动作识别方法，包括：
6.获取目标对象的多个关键点在预设图像序列中各自对应的坐标点，得到多个坐标点；
7.对所述多个坐标点进行一维卷积以获得所述目标对象的多个第一局部特征；
8.确定所述多个第一局部特征各自对应的第一权重系数，以获取所述目标对象的多个第一加权局部特征；
9.基于所述多个第一加权局部特征，获取所述目标对象对应的全局特征；
10.基于所述全局特征，获取所述目标对象对应的第一动作类型。
11.根据本公开的第二方面，提供了一种标对应的动作识别装置，包括：
12.坐标点获取模块，用于获取目标对象的多个关键点在预设图像序列中各自对应的坐标点，得到多个坐标点；
13.局部特征获取模块，用于对所述多个坐标点进行一维卷积以获得所述目标对象的多个第一局部特征；
14.加权特征获取模块，用于确定所述多个第一局部特征各自对应的第一权重系数，以获取所述目标对象的多个第一加权局部特征；
15.全局特征获取模块，用于基于所述多个第一加权局部特征，获取所述目标对象对应的全局特征；
16.动作类型获取模块，用于基于所述全局特征，获取所述目标对象对应的第一动作类型。
17.根据本公开的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的目标对象的动作识别方法。
18.根据本公开的第四方面，提供了一种电子设备，所述电子设备包括：
19.处理器；
20.用于存储所述处理器可执行指令的存储器；
21.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的目标对象的动作识别方法。
22.本公开提供的目标对象的动作识别方法、装置、计算机可读存储介质与电子设备，至少包括以下有益效果：
23.本实施例通过获取目标对象的多个关键点在预设图像序列中各自对应的坐标点，得到多个坐标点，然后对多个坐标点进行一维卷积获取目标对象的多个第一局部特征，即获取到目标对象的多个关键点对应的空间局部运动特征，因不同的第一局部特征对动作识别的重要程度是不同的，因此为了对第一局部特征的重要程度进行区分，确定出多个第一局部特征各自对应的第一权重系数，并根据多个第一局部特征及多个第一权重系数，获取到目标对象的多个第一加权局部特征，从而使得在进行动作识别的过程中将更多的资源分配到重要的第一局部特征上，则根据多个第一加权局部特征获取的目标对象对应的全局特征可以更能准确的体现出目标对象的全局运动信息，有效地统筹了部分关键点动作特征与全局动作特征的相互关系，提高识别出的目标对象的第一动作类型的准确性。
附图说明
24.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以与其他目的、特征与优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
25.图1是本公开一示例性实施例提供的目标对象的动作识别方法的流程示意图一；
26.图2是本公开一示例性实施例提供的目标对象的动作识别方法中步骤101的流程示意图；
27.图3是本公开一示例性实施例提供的目标对象的动作识别方法中步骤102的流程示意图；
28.图4是本公开一示例性实施例提供的目标对象的动作识别方法中骨架点的结构示意图；
29.图5是本公开一示例性实施例提供的目标对象的动作识别方法中步骤104的流程示意图；
30.图6是本公开一示例性实施例提供的目标对象的动作识别方法中一种神经网络结构示意图；
31.图7是本公开一示例性实施例提供的目标对象的动作识别方法中步骤103的流程示意图；
32.图8是本公开一示例性实施例提供的目标对象的动作识别方法中获取第一权重系数的示意图；
33.图9是本公开一示例性实施例提供的目标对象的动作识别方法的流程示意图二；
34.图10是本公开一示例性实施例提供的目标对象的动作识别方法中另一种神经网络结构示意图；
35.图11是本公开一示例性实施例提供的目标对象的动作识别方法中步骤106的流程示意图；
36.图12是本公开一示例性实施例提供的目标对象的动作识别方法中获取第四权重系数的示意图；
37.图13是本公开一示例性实施例提供的一种目标对象的动作识别装置的结构示意图；
38.图14是本公开一示例性实施例提供的另一种目标对象的动作识别装置的结构示意图；
39.图15是本公开一示例性实施例提供的一种目标对象的动作识别装置中第二识别处理模块的结构示意图；
40.图16是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
41.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
42.公开概述
43.在利用卷积神经网络对目标对象的动作进行识别时，有效地统筹部分关键点运动特征与全局运动信息的相互关系是至关重要的，而现有技术中在利用对每一时刻全体的关键点的坐标进行卷积以识别出目标对象的动作类型时，会忽略关键点在空间上的局部信息，从而导致识别出的目标对象的动作类型准确性较低。
44.本实施例通过获取目标对象的多个关键点在预设图像序列中各自对应的坐标点，得到多个坐标点，然后对多个坐标点进行一维卷积获取目标对象的多个第一局部特征，即获取到目标对象的多个关键点对应的空间局部运动特征，因不同的第一局部特征对动作识别的重要程度是不同的，因此为了对第一局部特征的重要程度进行区分，确定出多个第一局部特征各自对应的第一权重系数，并根据多个第一局部特征及多个第一权重系数，获取到目标对象的多个第一加权局部特征，从而使得在进行动作识别的过程中将更多的资源分配到重要的第一局部特征上，则根据多个第一加权局部特征获取的目标对象对应的全局特征可以更能准确的体现出目标对象的全局运动信息，有效地统筹了部分关键点动作特征与全局动作特征的相互关系，提高了识别出的目标对象的第一动作类型的准确性。
45.在介绍本技术的基本构思之后，下面将结合附图来具体介绍本技术所述提供技术方案的各种非限制性实施例。
46.示例性方法
47.图1是本公开一示例性实施例提供的目标对象的动作识别方法的流程示意图。
48.本实施例可应用在电子设备上，具体可以应用于服务器或一般计算机上。如图1所示，本公开一示例性实施例提供的目标对象的动作识别方法，至少包括如下步骤：
49.步骤101，获取目标对象的多个关键点在预设图像序列中各自对应的坐标点，得到多个坐标点。
50.在一实施例中，预设图像序列是预先获取的携带有目标对象的一系列的帧图像，其中目标对象可以为人，则目标对象的多个关键点可以为人体的骨架点。
51.在一实施例中，坐标点为目标对象的关键点在图像中的位置，可以表明目标对象的空间信息。
52.步骤102，对多个坐标点进行一维卷积以获得目标对象的多个第一局部特征。
53.在一实施例中，一维卷积即利用1*n的卷积核对输入对象即多个坐标点进行卷积计算。
54.在一实施例中，第一局部特征是对局部坐标点或图像的局部区域进行卷积计算抽取出的特征。
55.步骤103，确定多个第一局部特征各自对应的第一权重系数，以获取目标对象的多个第一加权局部特征。
56.在一实施例中，一个第一权重系数代表了一个第一局部特征的重要程度，例如，第一权重系数的值越大，表示对应的第一局部特征越重要，对整体动作识别的贡献越大。
57.在一实施例中，第一加权局部特征为第一局部特征与第一权重系数进行相乘得到的结果。
58.步骤104，基于多个第一加权局部特征，获取目标对象对应的全局特征。
59.在一实施例中，全局特征是指针对多个第一加权局部特征进行卷积计算抽取出来的关于全局区域的特征。
60.步骤105，基于全局特征，获取目标对象对应的第一动作类型。
61.在一实施例中，在获取到全局特征后，可以了解到目标对象的全局运动信息，则可以对根据全局特征对目标对象的动作类型进行识别，以获取到目标对象对应的第一动作类型。
62.在上述实施例中，通过获取目标对象的多个关键点在预设图像序列中各自对应的坐标点，得到多个坐标点，然后对多个坐标点进行一维卷积获取目标对象的多个第一局部特征，即获取到目标对象的多个关键点对应的空间局部运动特征，因不同的第一局部特征对动作识别的重要程度是不同的，其中第一局部特征越重要，对动作识别的贡献越大，因此为了对第一局部特征的重要程度进行区分，确定出多个第一局部特征各自对应的第一权重系数，并根据多个第一局部特征及多个第一权重系数，获取到目标对象的多个第一加权局部特征，从而使得在进行动作识别的过程中将更多的资源分配到重要的第一局部特征上，则根据多个第一加权局部特征获取的目标对象对应的全局特征可以更能准确的体现出目标对象的全局运动信息，有效地统筹了部分关键点动作特征与全局动作特征的相互关系，提高了识别出的目标对象的第一动作类型的准确性。
63.图2示出了如图1所示的实施例中获取目标对象的多个关键点在预设图像序列中各自对应的坐标点，得到多个坐标点步骤的流程示意图。
64.如图2所示，在上述图1所示实施例的基础上，本一个示例性实施例中，步骤101所示的得到多个坐标点的步骤，包括如下步骤：
65.步骤1011，确定当前帧图像中目标对象的多个关键点各自对应的坐标点，得到第
一数量的第一坐标点。
66.在一实施例中，当前帧图像是指当前时刻获取到的最新的未被处理的帧图像，第一坐标点是当前帧图像中关键点对应的坐标点，表明了关键点在当前帧图像中的位置。具体的，对当前帧图像进行图像识别，提取出当前帧图像中目标对象的多个关键点各自对应的坐标点，从而得到第一数量的第一坐标点。
67.步骤1012，确定当前帧图像之前的预设帧数的历史帧图像中，目标对象的多个关键点各自对应的坐标点，得到第二数量的第二坐标点。
68.在一实施例中，历史帧图像是指在当前帧图像之前获取到的预设帧数的帧图像，第二坐标点是历史帧图像中目标对象对应的坐标点，表明了关键点在历史帧图像中的位置。其中每一帧历史帧图像中均会对应有多个第二坐标点，因此在预设帧数的历史帧图像中，会得到第二数量的第二坐标点。
69.步骤1013，确定第一数量的第一坐标点与第二数量的第二坐标点为预设图像序列中目标对象的多个关键点各自对应坐标点，得到多个坐标点，预设图像序列由当前帧图像和预设帧数的历史帧图像组成。
70.在一实施例中，预设图像序列是由当前帧图像和预设帧数的历史帧图像组成的，该预设图像序列中不同帧图像中目标对象关键点的坐标点可以体现目标对象的运动信息，因此将第一数量的第一坐标点和第二数量的第二坐标点确定为预设图像序列中目标对象的多个关键点各自对应的坐标点，得到多个坐标点作为输入对象。具体的，可以直接连接图像采集装置以获取到不同时刻的帧图像，从而可以做到实时对目标对象的动作进行识别。
71.在上述实施例中，分别对当前帧图像和历史帧图像中目标对象的关键点对应的坐标点进行确定，则获取到第一数量的第一坐标点和第二数量的第二坐标点，从而可以确定出由当前帧图像和历史帧图像组成的预设图像序列的目标对象的关键点对应的坐标点，根据确定出的坐标点可以获取到目标对象的关键点在空间中的位置信息的变化情况，有利于准确的对目标对象动作进行识别。
72.图3示出了如图1所示的实施例中对多个坐标点进行一维卷积以获得目标对象的多个第一局部特征步骤的流程示意图。
73.如图3所示，在上述图1所示实施例的基础上，本技术一个示例性实施例中，步骤102所示的获取目标对象的多个第一加权局部特征的步骤，包括如下步骤：
74.步骤1021，对多个坐标点进行一维卷积以获取目标对象的点级特征。
75.在一实施例中，点级特征是对每个坐标点进行一维卷积计算后提取到的特征，如此能够提取到每个关键点在预设图像序列下的运动信息。具体的，采用1*1的卷积核对输入的多个坐标点进行卷积计算。
76.步骤1022，对相邻关键点各自对应的点级特征进行通道拼接与一维卷积以获取目标对象的多个第一局部特征。
77.在一实施例中，在目标对象各个关键点中确定出相邻的关键点，对相邻关键点各自对应的点级特征进行通道拼接，即将相邻关键点各自对应的点级特征进行融合，并对通道拼接后的点级特征进行一维卷积，提取出相邻关键点对应的第一局部特征，则提取出的第一局部特征可以显示出相邻关键点间的隐含信息，从而该第一局部特征携带有相邻两个关键点之间相互运动的语义信息，如此可以将更多的信息代入到对目标对象的动作识别
中，以保证最终识别出的目标对象的动作的准确性。
78.在一种可能的情况中，目标对象为人，则关键点为人的骨架点(如图4所示)，则在设计神经网络结构时，将骨架点在帧图像中的坐标点作为输入信息，利用第一卷积层，对每一个坐标点进行卷积计算获取目标对象的点级特征，然后对图4中相邻的骨架点分别对应的点级特征进行通道拼接，以获取到相邻关键点对应的第一局部特征，例如对骨架点5和骨架点6分别对应的点级特征进行通道拼接。
79.在上述实施例中，对多个坐标点进行点级特征的提取，以获取每个关键点在预设图像序列中的运动信息，并对相邻关键点各自对应的点级特征进行融合和一维卷积，以获取到相邻关键点间的隐含信息，从而使得更多的信息被代入到对目标对象的动作识别中，进而保证识别出的目标对象的动作类型的准确性。
80.图5示出了如图3所示的实施例中获取目标对象对应的全局特征步骤的流程示意图。
81.如图5所示，在上述图3所示实施例的基础上，本技术一个示例性实施例中，步骤104所示的获取目标对象的多个第一加权局部特征的步骤，包括如下步骤：
82.步骤1041，对多个第一加权局部特征进行一维卷积以获得目标对象的多个第二局部特征。
83.在一实施例中，第二局部特征是对多个第一加权局部特征中局部区域进行卷积计算抽取出的特征，第二局部特征携带的语义信息较第一局部特征携带的语义信息更高级，是由第一局部特征携带的语义信息进行逻辑推理得到的，例如第二局部特征携带的语义信息为手、脚、脊柱等。
84.具体的，设计图6所示的神经网络，利用layer(卷积层)1提取点级特征，利用layer2提取第一局部特征，利用layer3提取第二局部特征，需要说明的是，每一层的输入都是前一层各个坐标点输出的特征按照通道维度拼接而成的，为了突出输入的不同坐标点的重要程度，每一层输入时都会接入如图6所示的channel correlation block(通道相关模块)用来学习不同局部特征对应的权重系数。
85.步骤1042，确定多个第二局部特征各自对应的第二权重系数，以获取目标对象的多个第二加权局部特征。
86.在一实施例中，一个第二权重系数代表了一个第二局部特征的重要程度。
87.在一实施例中，第二加权局部特征为第二局部特征与第二权重系数进行相乘得到的结果。
88.步骤1043，根据多个第二加权局部特征各自对应的语义信息进行分组并进行通道拼接与一维卷积以获得目标对象的至少两个第三局部特征。
89.在一实施例中，第二加权局部特征携带有不同的语义信息，先根据语义信息进行分组，将携带有相同语义信息或相近语义信息分为一组，并进行组内的通道拼接，然后对通道拼接后多个第二加权局部特征进行一维卷积，以提取出至少两个第三局部特征，第三局部特征携带的语义信息较第二局部特征更为高级，是对第二局部特征进行逻辑推理得出的，如上下半部、左右半部或左上半部、左下半部等。具体的利用图6中的layer4提取第三局部特征。
90.步骤1044，确定至少两个第三局部特征各自对应的第三权重系数，以获取目标对
象的至少两个第三加权局部特征。
91.在一实施例中，一个第三权重系数代表了一个第三局部特征的重要程度。
92.在一实施例中，第三加权局部特征为第三局部特征与第三权重系数进行相乘得到的结果。
93.步骤1045，基于至少两个第三加权局部特征，获取目标对象的全局特征。
94.在一实施例中，全局特征是对至少两个第三加权局部特征中整体区域进行卷积计算抽取出的特征，全局特征携带的语义信息为整体信息。具体的利用图6中的layer5提取全局特征。
95.在上述实施例中，从点级特征、第一局部特征、第一加权局部特征、第二局部特征、第二加权局部特征、第三局部特征、第三加权局部特征到全局特征，实现了对目标对象关键点从点到整体的特征提取，使得构建出的神经网络特征层次性强，且通过引入注意力机制有效地统筹了目标对象部分关键点运动特征与全局运动信息的相互关系，从而保证最终识别出的目标对象的动作类型的准确性。
96.图7示出了如图1所示的实施例中确定多个第一局部特征各自对应的第一权重系数，以获取目标对象的多个第一加权局部特征的流程示意图。
97.如图7所示，在上述图1所示实施例的基础上，本技术一个示例性实施例中，步骤103所示的获取目标对象的多个第一加权局部特征的步骤，包括如下步骤：
98.步骤1031，将通道池化后的多个第一局部特征经全连接层后引入激活函数，以确定多个第一局部特征各自对应的第一权重系数。
99.在一实施例中，对第一局部特征进行通道池化，然后将通道池化后的多个第一局部特征输入全连接层，进一步引入激活函数，从而确定出各个第一局部特征各自对应的第一权重系数。具体的，如图8所示，激活函数可以为sigmoid函数，即可以确定出数值范围为0～1的第一权重系数，其中因提取出的局部特征均是以特征图像的形式存在，因此图8中的feature map即为本实施例中的第一局部特征；因不同的卷积核对多个坐标点进行卷积后会得到不同的第一局部特征，得到的每一个局部特征代表一个通道，因此对第一局部特征进行通道池化可以得到对动作识别贡献较大的通道，即该通道对应的第一局部特征较重要，然后通过全连接层将特征映射到大小，并利用sigmoid激活函数输出0～1范围内的第一权重系数。
100.步骤1032，基于多个第一局部特征与多个第一局部特征各自对应的第一权重系数，获取目标对象的多个第一加权局部特征。
101.在一实施例中，将第一局部特征各自对应的第一权重系数与第一局部特征进行相乘，以获取目标对象的多个第一加权局部特征。
102.在上述实施例中，利用通道池化获取到对动作识别贡献较大的第一局部特征，并通过全连接层和激活函数输出数字大小的第一权重系数，从而使得在根据第一局部特征和第一权重系数获取第一加权局部特征后，可以将更多的资源集中到对重要的第一局部特征中，进而保证最终识别出的目标对象的动作类型的准确性。
103.图9示出了如图5所示的实施例中还包括流程示意图。
104.如图9所示，在上述图5所示实施例的基础上，本技术一个示例性实施例中，还可以包括如下步骤：
105.步骤106，基于多个第一局部特征、多个第二局部特征与全局特征，获取目标对象对应的第二动作类型。
106.在一实施例中，设计如图10所示的双支神经网络，利用一分支神经网络逐级提取多个坐标点的特征，即获取到多个第一局部特征、多个第二局部特征和全局特征，另一分支神经网络将全局特征携带的语义信息作为指引，对网络浅层的局部特征进行更准确的识别，以获取到较为准确的目标对象对应的第二动作类型。
107.在上述实施例中，利用双支神经网络同时对多个坐标点进行识别，提供第一动作类型和第二动作类型两个分类结果，来进一步保证识别出的动作类型的准确性。并且通过引入了另一分支神经网络来避免网络梯度回传时陷入死循环，两条支路在进行训练时可以同时进行，能够相互促进，最终达到好的识别效果。
108.图11示出了如图9所示的实施例中基于多个第一局部特征、多个第二局部特征与全局特征，获取目标对象对应的第二动作类型步骤的流程示意图。
109.如图11所示，在上述图9所示实施例的基础上，本技术一个示例性实施例中，步骤106所示的获取目标对象对应的第二动作类型的步骤，包括如下步骤：
110.步骤1061，对多个第一局部特征与全局特征进行融合，并引入激活函数，确定多个第一局部特征不同位置各自对应的第四权重系数。
111.在一实施例中，因全局特征携带的语义信息更高级，因此可以利用全局特征指导第一局部特征中的特征提取，以获取到第一局部特征中不同位置对整体动作识别的重要程度，即第四权重系数。具体的，如图12所示，对嵌入的全局特征(embedding feature)经全连接层进行维度的转化，然后与第一局部特征(feature map)进行融合，再引入sigmoid激活函数，获取到0～1数值范围内的第四权重系数。
112.步骤1062，基于多个第一局部特征和多个第一局部特征不同位置各自对应的第四权重系数，获取多个第四加权局部特征。
113.在一实施例中，将第一局部特征和第四权重系数进行相乘获取到第四加权局部特征。
114.步骤1063，对多个第二局部特征与全局特征进行融合，并引入激活函数，确定多个第二局部特征不同位置各自对应的第五权重系数。
115.在一实施例中，利用全局特征携带的语义信息对第二局部特征中的特征提取进行指导，可以获取到第二局部特征中不同位置对应的重要程度，即第五权重系数。
116.步骤1064，基于多个第二局部特征和多个第二局部特征不同位置各自对应的第五权重系数，获取多个第五加权局部特征。
117.在一实施例中，将第二局部特征和第五权重系数进行相乘获取到第五加权局部特征。
118.步骤1065，基于多个第四加权局部特征和多个第五加权局部特征，获取目标对象对应的第二动作类型。
119.在一实施例中，将第四加权局部特征和第五加权局部特征进行聚合，并经全连接层以获取目标对象对应的第二动作类型。
120.在上述实施例中，利用全局特征携带的语义信息对第一局部特征和第二局部特征的特征提取进行指导，以获取到第一局部特征和第二局部特征中不同位置的重要程度，从
而对重要的局部特征分配更多的资源，以利于获取到更为准确的第二动作类型。
121.示例性装置
122.基于与本技术方法实施例相同的构思，本技术实施例还提供了一种目标对应的动作识别装置。
123.图13为本技术一示例性实施例提供的一种目标对应的动作识别装置的结构示意图。
124.坐标点获取模块131，用于获取目标对象的多个关键点在预设图像序列中各自对应的坐标点，得到多个坐标点；
125.局部特征获取模块132，用于对所述多个坐标点进行一维卷积以获得所述目标对象的多个第一局部特征；
126.加权特征获取模块133，用于确定所述多个第一局部特征各自对应的第一权重系数，以获取所述目标对象的多个第一加权局部特征；
127.全局特征获取模块134，用于基于所述多个第一加权局部特征，获取所述目标对象对应的全局特征；
128.第一识别处理模块135，用于基于所述全局特征，获取所述目标对象对应的第一动作类型。
129.如图14所示，在本技术一个示例性实施例中，坐标点获取模块131包括：
130.第一坐标获取单元1311，用于确定当前帧图像中目标对象的多个关键点各自对应的坐标点，得到第一数量的第一坐标点；
131.第二坐标获取单元1312，用于确定当前帧图像之前的预设帧数的历史帧图像中，目标对象的多个关键点各自对应的坐标点，得到第二数量的第二坐标点；
132.第三坐标获取单元1313，确定第一数量的第一坐标点与第二数量的第二坐标点为预设图像序列中目标对象的多个关键点各自对应坐标点，得到多个坐标点，预设图像序列由当前帧图像和预设帧数的历史帧图像组成。
133.如图14所示，在本技术一个示例性实施例中，局部特征获取模块132包括：
134.点级特征获取单元1321，用于对多个坐标点进行一维卷积以获取目标对象的点级特征；
135.第一特征获取单元1322，用于对相邻关键点各自对应的点级特征进行通道拼接与一维卷积以获取目标对象的多个第一局部特征。
136.如图14所示，在本技术一个示例性实施例中，加权特征获取模块133包括：
137.第一系数获取单元1331，用于将通道池化后的多个第一局部特征经全连接层后引入激活函数，以确定多个第一局部特征各自对应的第一权重系数；
138.第二特征获取单元1332，基于多个第一局部特征与多个第一局部特征各自对应的第一权重系数，获取目标对象的多个第一加权局部特征。
139.如图14所示，在本技术一个示例性实施例中，全局特征获取模块134，包括：
140.第三特征获取单元1341，用于对多个第一加权局部特征进行一维卷积以获得目标对象的多个第二局部特征；
141.第四特征获取单元1342，用于确定多个第二局部特征各自对应的第二权重系数，以获取目标对象的多个第二加权局部特征；
142.第五特征获取单元1343，用于根据多个第二加权局部特征各自对应的语义信息进行分组并进行通道拼接与一维卷积以获得目标对象的至少两个第三局部特征；
143.第六特征获取单元1344，用于确定至少两个第三局部特征各自对应的第三权重系数，以获取目标对象的至少两个第三加权局部特征；
144.第七特征获取单元1345，用于基于至少两个第三加权局部特征，获取目标对象的全局特征。
145.如图14所示，在本技术一个示例性实施例中，所述目标对应的动作识别装置还包括：
146.第二识别处理模块136，用于基于多个第一局部特征、多个第二局部特征与全局特征，获取目标对象对应的第二动作类型。
147.如图15所示，在本技术一个示例性实施例中，第二识别处理模块136包括：
148.第二系数获取单元1361，用于对多个第一局部特征与全局特征进行融合，并引入激活函数，确定多个第一局部特征不同位置各自对应的第四权重系数；
149.第八特征获取单元1362，用于基于多个第一局部特征和多个第一局部特征不同位置各自对应的第四权重系数，获取多个第四加权局部特征；
150.第三系数获取单元1363，用于对多个第二局部特征与全局特征进行融合，并引入激活函数，确定多个第二局部特征不同位置各自对应的第五权重系数；
151.第九特征获取单元1364，基于多个第二局部特征和多个第二局部特征不同位置各自对应的第五权重系数，获取多个第五加权局部特征；
152.第十特征获取单元1365，基于多个第四加权局部特征和多个第五加权局部特征，获取目标对象对应的第二动作类型。
153.示例性电子设备
154.图16图示了根据本技术实施例的电子设备的框图。
155.如图16所示，电子设备100包括一个或多个处理器101和存储器102。
156.处理器101可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备100中的其他组件以执行期望的功能。
157.存储器102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器101可以运行所述程序指令，以实现上文所述的本技术的各个实施例的目标对应的动作识别方法以及/或者其他期望的功能。
158.在一个示例中，电子设备100还可以包括：输入装置103和输出装置104，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
159.当然，为了简化，图16中仅示出了该电子设备100中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备100还可以包括任何其他适当的组件。
160.示例性计算机程序产品和计算机可读存储介质
161.除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计
算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的目标对应的动作识别方法中的步骤。
162.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
163.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的目标对应的动作识别方法中的步骤。
164.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
165.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
166.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
167.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
168.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
169.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。