一种步态特征提取方法、装置及设备与流程

1.本技术涉及目标识别技术领域，尤其涉及一种步态特征提取方法、装置及设备。


背景技术：

2.步态识别技术是依据目标对象的行走姿态进行身份识别的技术，作为生物特征识别中一种新型的技术，以其独有的远距离、难伪装、非接触等优点，在国家公共安全，金融安全等领域中具有重要的研究价值和应用价值。
3.步态识别系统的大体分成三个步骤：行人分割和关节点检测的步态预处理、步态特征的提取、步态特征的比对识别。其中处于中间环节的步态特征的提取很大程度上决定了整个过程的成功率。为了能够获得有效而可靠的行人步态特征，大多数现有的步态特征提取方法采用具有强大表达能力的深度模型提取步态特征；如liao等人利用深度姿态模型获得视频序列中人体的姿态信息，随后通过长短记忆模型(lstm)融合步态的时间和空间信息获得人体步态特征进行识别；但这些步态特征提取算法在使用神经网络组织或者融合行人的时序和空间的信息时，未能充分利用深度网络特性且通常网络的计算比较耗时。


技术实现要素：

4.本发明提供了一种步态特征提取方法、装置及设备，用于解决目前的步态特征提取算法在使用神经网络组织或者融合行人的时序和空间的信息时，未能充分利用深度网络特性且通常网络的计算比较耗时的问题。
5.第一方面，本发明提供了一种步态特征提取方法，该方法包括：
6.对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；
7.将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；
8.利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；
9.将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
10.第二方面，本发明提供了一种步态特征提取装置，该装置包括：
11.获取模块，用于对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；
12.特征提取模块，用于将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；
13.第一特征提取模块，用于利用所述卷积神经网络按照帧的时间顺序，依次对单帧
的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；
14.第二特征提取模块，用于将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
15.第三方面，本发明提供了一种步态特征提取设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时执行：
16.对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；
17.将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；
18.利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；
19.将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
20.第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述步态特征提取方法中的任一步骤。
21.上述步态特征提取方法，首先利用卷积神经网络的具有平移、缩放不变性和层次特性获取目标对象空间上的步态特征，同时减少特征图的分辨率，为后续网络减少计算量，再利用transformer网络在序列处理的优势提取融合步态时间特征和空间特征的第二步态特征，实现了网络在结构和功能上的互补，同时又提高网络推理速度。
附图说明
22.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例提供的一种步态特征提取方法的流程图；
24.图2为本发明实施例提供的一种步态特征提取模型的示意图；
25.图3为本发明实施例提供的一种第三步态特征提取过程的示意图；
26.图4为本发明实施例提供的一种第二步态特征提取过程的示意图；
27.图5为本发明实施例提供的一种步态特征提取装置的示意图；
28.图6为本发明实施例提供的一种步态特征提取设备的示意图。
具体实施方式
29.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
31.本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
32.步态识别特征因其独有的远距离、难伪装、非接触等优点，在国家公共安全，金融安全等领域应用十分广泛。
33.步态识别系统大体分为三个步骤：行人分割和关节点检测的步态预处理、步态特征的提取、步态特征的比对识别，其中步态特征的提取很大程度上决定了整个过程的成功率，步态特征的提取不可避免地涉及行人帧内的空间信息和帧间的时序信息，如何有效组合或融合步态时空信息进而形成可靠且稳定地步态特征是尤为重要，但目前的步态特征提取方法在使用神经网络组织或者融合行人的时序和空间的信息时，未能充分利用深度网络特性且通常网络的计算比较耗时。
34.由于卷积神经网络具有一定的旋转、缩放不变性、层次化的结构特性，能够较好的捕获细节信息，但全局建模能力较弱，始于自然语言处理(nlp)领域的transformer网络具有动态注意力机制、全局建模的特点，具有较强的处理时序能力，本发明提供了一种步态特征提取方法，将深度卷积网络与视觉transformer网络相结合，充分利用了网络的特性，在保证提取的步态特征的准确性的同时，实现了对步态特征的快速提取。
35.此外，由于在图片分类领域，最新的视觉transformer研究成果levit具有快速效推理的功能，本发明实施例中transformor网络采用了levit。
36.以下结合附图对本发明提供的步态特征提取方法进行详细阐述。
37.图1是本发明实施例提供的一种步态特征提取方法的流程图，如图1所示，该方法包括：
38.步骤101，对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；
39.本发明实施例中上述目标对象的多帧图像为目标对象的同一跟踪轨迹中的多帧图像。
40.实施中，利用行人检测和跟踪算法从视频采集装置采集的目标对象的视频中获取目标对象同一跟踪轨迹的按帧的时间顺序排列的多帧图像，并利用行人分割模型和行人关节点模型对获取的多帧图像分别进行人体轮廓提取和人体关节点提取的预处理，获取处理
后的多帧预处理图像。
41.步骤102，将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；
42.步骤103，利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；
43.步骤104，将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
44.实施中，获取目标对象的多帧预处理图像后，将多帧预处理图像输入步态特征提取模型中，如图2所示，步态特征提取模型包括卷积神经网络和transformer网络两部分，上述多帧预处理图像为按照帧的时间顺序进行排列的预处理图像；将多帧预处理图像输入后，首先由卷积神经网络依次的单帧的预处理图像进行处理，基于单帧的目标对象的人体轮廓图和人体关节点图，提取目标对象的步态空间特征，即第一步态特征，本发明实施例中采用了卷积神经网络resnet50的1和2阶；再将卷积神经网络依次输出的多帧预处理图像的第一步态特征输入transformer网络，由transformer网络按照帧的时间顺序将多帧对应的第一步态特征合成一个融合特征，并利用transformer网络的语义特征提取能力及长距离特性捕获能力，从该融合特征中提取第二步态特征。
45.需要说明的是，虽然本发明实施例中卷积神经网络采用了卷积神经网络resnet50的1和2阶，但在具体实施中也可根据实际需求采用其他类型的卷积神经网络。
46.上述步态特征提取方法，首先利用卷积神经网络的具有平移、缩放不变性和层次特性获取目标对象的步态的空间信息，同时减少特征图的分辨率，为后续引入注意力网络减少计算量，再利用transformer网络(如levit)在序列处理的优势提取融合步态时间特征和空间特征的第二步态特征，实现了神经网络在结构和功能上的互补，同时又提高网络推理速度。
47.作为一种可选的实施方式，所述transformer网络包括第一transformer网络和第二transformer网络，所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取，包括：
48.利用第一transformer网络采用注意力机制对卷积神经网络输出的各帧的第一步态特征，进行抑制非目标对象强化目标对象的步态空间特征的第三步态特征提取；
49.利用第二transformer网络的语义特征提取能力及长距离特性捕获能力，对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
50.为了使提取的步态特征具有更大的区分性，本发明实施例中transformer网络包括第一transformer网络和第二transformer网络两部分；
51.如图3所示，第一transformer网络利用空间维度的注意力机制将卷积神经网络输出的单帧预处理图像的第一步态特征进行优化，输出第三步态特征，该第三步态特征实现将目标对象的步态空间特征的与非目标对象步态空间特征的区分。
52.如图4所示，利用第一transformer网络提取目标对象的多帧预处理图像对应的第三步态特征后，将第一transformer网络依次输出的多帧预处理图像的第三步态特征输入transformer网络，由transformer网络按照帧的时间顺序将多帧对应的第三步态特征合成一个融合特征，并利用transformer网络的语义特征提取能力及长距离特性捕获能力从该融合特征中提取第二步态特征。
53.上述将transformer网络分为第一transformer网络和第二transformer网络两部分，通过第一transformer网络实现抑制非目标对象特征，强化目标对象特征的第三步态特征的提取，进一步提高步态特征的可靠性和准确率。
54.本发明实施例中，上述第一/第二/第三步态特征包括步态全局特征和步态局部特征；上述步态全局特征用于表征目标对象全局的步态特征，上述步态局部特征用于表征目标对象局部部位对应的步态特征。
55.其中，卷积神经网络根据目标对象的全局预处理图像(即未根据关节点进行划分的人体轮廓图和人体关节点图)提取目标对象的第一步态全局特征；根据目标对象的人体关节点图将预处理图像划分为不同部位对应的局部预处理图像，并根据所述局部预处理图像提取目标对象的第一步态局部特征；transformer网络根据多帧预处理图像对应的第一步态全局特征提取第二步态全局特征，根据多帧预处理图像对应的第一步态局部特征提取第二步态局部特征；具体的特征提取的过程上述已进行了详细阐述，此处不再赘述。
56.作为一种可选的实施方式，目标对象的局部部位包括：头部至肩部的部位、肩部至臀部的部位、臀部至脚部的部位；目标对象全局特征为从头部至脚部的特征。
57.由于目标对象的行走方向对步态识别的影响较大，为了进一步提高步态识别系统的准确率，本发明实施例在第二步态全局特征的分支上增加一个预测目标对象行走方向的网络，用于预测步态的正面行走、背面行走、左侧行走、右侧行走。以便在后续步态特征的比对识别中，在各自的方向上进行比对识别，进一步提高步态识别系统的准确度。
58.作为一种可选的实施方式，本发明实施例提供的方法还包括：
59.利用第二transformer网络采用注意力机制，对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，对目标对象的行走方向进行方向特征提取。
60.需要说明的是，为了使提取的步态特征更加准确，在步骤101中采集的目标对象的多帧图像中目标对象行走方向应当大体保持一致。
61.实施中，利用步态特征提取方法，对目标对象的步态特征提取完成后，根据提取的目标对象的步态
·
特征进行步态识别，以确定目标对象的身份。
62.作为一种可选的实施方式，所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取后，还包括：
63.将提取出的第二步态特征与数据库中预先存储的多个目标对象的步态特征进行相似度比对，根据比对结果确定所述第二步态特征对应的目标对象；
64.所述数据库中预先存储的多个目标对象的步态特征通过利用步态特征提取模型对多个对象历史的预处理图像进行特征提取获取。
65.在步态特征提取模型训练结束后，将采集的多个目标对象的预处理图像输入步态特征提取模型，获取多个目标对象的步态特征，并将其存储到数据库中。
66.实施中，在进行目标对象的步态识别时，首先根据步态特征提取模型预测的目标对象的行走方向，从数据库中筛选与目标对象的行走方向相一致的参考步态特征，并将步态特征提取模型提取的第二步态全局特征与第二步态局部特征分别与参考步态特征中的步态全局特征和步态局部特征进行相似度比对，进行目标对象的步态识别。
67.下面对上述步态特征提取模型的训练过程进行详细阐述。
68.第一步，对不同目标对象分别对应的多帧图像样本进行处理，得到不同目标对象分别对应的多帧的预处理图像样本，对同一目标对象的多帧的预处理图像进行目标对象标注，得到一个训练样本；
69.实施中，从视频采集装置采集的多个不同场景、不同时间的视频中，使用行人检测和跟踪算法获取多个目标对象的序列tracker段(图像样本)，并对其进行标注和预处理，其中同一个目标对象只标注一个对象标识，同一个行人的不同场景和时间的序列标注不同的trackerid(跟踪轨迹标识)，以区分不同的场景和时间，同时标注目标对象的行走方向，包括正面，背面、左侧和右侧的行走方向，得到多个训练样本；
70.上述对图像样本进行预处理通过行人分割模型和行人关节点模型实现，预处理图像样本包括人体轮廓图像样本和人体关节点图像样本。
71.需要说明的是，一个训练样本针对一个目标对象的一个跟踪轨迹，目标对象的不同跟踪轨迹形成不同的训练样本，且目标对象的同一跟踪轨迹也可能对应多个训练样本。
72.第二步，将所述训练样本输入网络模型，所述网络模型包括特征提取层，所述特征提取层包括采用卷积神经网络的第一特征提取层和采用transformer网络的第二特征提取层；
73.利用所述第一特征提取层按照帧的时间顺序，依次对单帧的预处理图像样本进行第一步态特征的特征提取，利用第二特征提取层根据transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于第一特征提取层输出的各帧的第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取；
74.确定损失函数的取值，根据损失函数取值对所述网络模型的参数进行调整，所述损失函数包括根据第二特征提取层提取的相同目标对象的第二步态特征第一距离及不同目标对象的第二步态特征的第二距离确定的三元组损失函数；
75.确定满足参数调整结束条件时，将当前特征提取层确定为步态特征提取模型。
76.上述三元组损失函数具体为：
77.l
tripletloss
＝[d
ap-d
an
+α]
+
[0078]
其中，d
ap
＝||f
a-f
p
||,d
an
＝||f
a-fn||，fa，f
p
，fn分别表示第二特征提取层提取的第二步态特征，第二特征提取层提取的相同目标对象的第二步态特征以及第二特征提取层提取的不同目标对象的第二步态特征；上述相同目标对象为与第二特征提取层提取的第二步态特征所属的目标对象相同的目标对象，上述不同目标对象为与第二特征提取层当前提取的第二步态特征所属的目标对象不同的目标对象，α表示超参常数。
[0079]
作为一种可选的实施方式，上述利用损失函数取值对所述网络模型的参数进行调整，包括：
[0080]
利用上述三元组损失函数取值，以损失函数取值变小为目标，对网络模型中的特征提取层的参数进行调整。
[0081]
作为一种可选的实施方式，所述网络模型还包括输出层，所述输出层根据所述第二特征提取层输出的第二步态特征预测识别到不同目标对象的概率，所述损失函数还包括：
[0082]
将输出层预测识别到的不同目标对象的概率作为预测值，将根据预处理样本的目标对象标注确定期望输出的不同目标对象的概率作为目标值；
[0083]
根据所述预测值及目标值计算得到目标对象标识的交叉熵损失函数取值。
[0084]
上述用于计算目标对象标识的交叉熵损失函数具体公式为：
[0085][0086]
其中，n表示的模型训练中目标对象的数量，y表示根据预处理样本的目标对象标注确定期望输出的不同目标对象的概率，表示输出层预测识别到的不同目标对象的概率。
[0087]
作为一种可选的实施方式，上述利用损失函数取值对所述网络模型的参数进行调整，包括：
[0088]
利用上述用于计算目标对象标识的交叉熵损失函数的取值，以损失函数取值变小为目标，对网络模型的参数进行调整，即对网络模型中的特征提取层和输出层的参数进行调整。
[0089]
作为一种可选的实施方式，所述预处理图像样本还标注有目标对象行走方向，所述第二特征提取层包括采用第一transformer网络的第三特征提取层和采用第二transformer网络的第四特征提取层；
[0090]
利用所述第三特征提取层采用注意力机制基于第一特征提取层输出的各帧的第一步态特征，进行抑制非目标对象强化目标对象的第三步态特征提取，利用第四特征提取层根据transformer网络的语义特征提取能力及长距离特性捕获能力，基于第三特征提取层输出的多帧的第三步态特征及帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征、目标对象的行走方向的特征提取；
[0091]
对网络模型中第四特征提取层的参数进行调整时，所述损失函数还包括：
[0092]
以第四特征提取层提取的目标对象行走方向为预测值，以预处理样本标注的目标对象行走方向为目标值计算行走方向的交叉熵损失函数取值。
[0093]
上述用于计算行走方向的交叉熵损失函数具体公式为：
[0094][0095]
其中，y
p
表示预处理样本标注的目标对象行走方向，表示第四特征提取层提取的目标对象行走方向。
[0096]
作为一种可选的实施方式，上述利用损失函数取值对所述网络模型的参数进行调整，包括：
[0097]
利用上述用于计算行走方向的交叉熵损失函数的取值，以损失函数取值变小为目标，对网络模型中的第四特征提取层的参数进行调整。
[0098]
需要说明的是，上述确定损失函数的取值，根据损失函数取值对所述网络模型的参数进行调整时，损失函数可以仅包括上述三元组损失函数，也可以包括以下任一项：
[0099]
上述三元组损失函数和目标对象标识对应的交叉熵损失函数；
[0100]
上述三元组损失函数和目标对象行走方向对应的交叉熵损失函数；
[0101]
上述三元组损失函数、目标对象标识对应的交叉熵损失函数和目标对象行走方向对应的交叉熵损失函数。
[0102]
下面结合附图对本技术实施例中步态特征提取装置进行介绍。
[0103]
图5为本发明实施例提供的一种步态特征提取装置的示意图，如图5所示，该装置包括：
[0104]
获取模块501，用于对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；
[0105]
特征提取模块502，用于将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；
[0106]
第一特征提取模块503，用于利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；
[0107]
第二特征提取模块504，用于将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
[0108]
可选的，所述transformer网络包括第一transformer网络和第二transformer网络，所述第二特征提取模块504用于由transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取，包括：
[0109]
利用第一transformer网络采用注意力机制对卷积神经网络输出的各帧的第一步态特征，进行抑制非目标对象强化目标对象的第三步态特征的特征提取；
[0110]
利用第二transformer网络的语义特征提取能力及长距离特性捕获能力对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
[0111]
可选的，本发明实施例提供的装置还包括：
[0112]
方向特征提取模块，用于利用第二transformer网络的语义特征提取能力及长距离特性捕获能力对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，对目标对象的行走方向进行方向特征提取。
[0113]
可选的，所述特征提取模块502还用于：
[0114]
对不同目标对象分别对应的多帧图像样本进行处理，得到不同目标对象分别对应的多帧的预处理图像样本，对同一目标对象的多帧的预处理图像进行目标对象标注，得到一个训练样本；
[0115]
将所述训练样本输入网络模型，所述网络模型包括特征提取层，所述特征提取层包括采用卷积神经网络的第一特征提取层和采用transformer网络的第二特征提取层；
[0116]
利用所述第一特征提取层按照帧的时间顺序，依次对单帧的预处理图像样本进行第一步态特征的特征提取，利用第二特征提取层根据transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于第一特征提取层输出的各帧的第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取；
[0117]
确定损失函数的取值，根据损失函数取值对所述网络模型的参数进行调整，所述损失函数包括根据第二特征提取层提取的相同目标对象的第二步态特征第一距离及不同目标对象的第二步态特征的第二距离确定的三元组损失函数；
[0118]
确定满足参数调整结束条件时，将当前特征提取层确定为步态特征提取模型。
[0119]
可选的，所述网络模型还包括输出层，所述输出层根据所述第二特征提取层输出的第二步态特征预测识别到不同目标对象的概率，所述损失函数还包括：
[0120]
将输出层预测识别到的不同目标对象的概率作为预测值，将根据预处理样本的目标对象标注获取确定期望输出的不同目标对象的概率作为目标值；
[0121]
根据所述预测值及目标值计算得到目标对象标识的交叉熵损失函数取值。
[0122]
可选的，所述预处理图像样本还标注有目标对象行走方向，所述第二特征提取层包括采用第一transformer网络的第三特征提取层和采用第二transformer网络的第四特征提取层；
[0123]
利用所述第三特征提取层采用注意力机制基于第一特征提取层输出的各帧的第一步态特征，进行抑制非目标对象强化目标对象的第三步态特征的特征提取，利用第四特征提取层根据transformer网络的语义特征提取能力及长距离特性捕获能力，基于第三特征提取层输出的多帧的第三步态特征及帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征、目标对象的行走方向的特征提取；
[0124]
对网络模型中第四特征提取层的参数进行调整时，所述损失函数还包括：
[0125]
以第四特征提取层提取的目标对象行走方向为预测值，以根据预处理样本标注的目标对象行走方向为目标值计算行走方向的交叉熵损失函数取值。
[0126]
可选的，所述第一/第二/第三步态特征包括步态全局特征和步态局部特征；
[0127]
所述步态全局特征用于表征目标对象全局的步态特征，所述步态局部特征用于表征目标对象局部部位对应的步态特征。
[0128]
可选的，所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取后，上述第二特征提取模块还用于：
[0129]
将提取出的第二步态特征与数据库中预先存储的多个目标对象的步态特征进行相似度比对，根据比对结果确定所述第二步态特征对应的目标对象；
[0130]
所述数据库中预先存储的多个目标对象的步态特征通过利用步态特征提取模型对多个对象历史的预处理图像进行特征提取获取。
[0131]
基于上述相同申请构思，本发明实施例还提供一种步态特征提取设备，下面结合附图对本发明实施例中步态特征提取设备进行介绍。
[0132]
所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统
称为“电路”、“模块”或“系统”。
[0133]
在一些可能的实施方式中，根据本技术的设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的步态特征提取方法中的步骤。
[0134]
下面参照图6来描述根据本技术的这种实施方式的设备600。图6显示的设备600仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0135]
如图6所示，设备600以通用设备的形式表现。设备600的组件可以包括但不限于：上述至少一个处理器601、上述至少一个存储器602、连接不同系统组件(包括存储器602和处理器601)的总线603，其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行以下步骤：
[0136]
对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；
[0137]
将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；
[0138]
利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；
[0139]
将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
[0140]
总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0141]
存储器602可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)6021和/或高速缓存存储器6022，还可以进一步包括只读存储器(rom)6023。
[0142]
存储器602还可以包括具有一组(至少一个)程序模块6024的程序/实用工具6025，这样的程序模块6024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0143]
设备600也可以与一个或多个外部设备604(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与设备600交互的设备通信，和/或与使得该设备600能与一个或多个其它设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口605进行。并且，设备600还可以通过网络适配器606与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器606通过总线603与用于设备600的其它模块通信。应当理解，尽管图中未示出，可以结合设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0144]
可选的，所述transformer网络包括第一transformer网络和第二transformer网络，所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空
间特征的第二步态特征的特征提取，包括：
[0145]
利用第一transformer网络采用注意力机制对卷积神经网络输出的各帧的第一步态特征，进行抑制非目标对象强化目标对象的第三步态特征的特征提取；
[0146]
利用第二transformer网络的语义特征提取能力及长距离特性捕获能力对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。
[0147]
可选的，上述处理器还用于：
[0148]
利用第二transformer网络的语义特征提取能力及长距离特性捕获能力对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，对目标对象的行走方向进行方向特征提取。
[0149]
可选的，上述处理器还用于：
[0150]
对不同目标对象分别对应的多帧图像样本进行处理，得到不同目标对象分别对应的多帧的预处理图像样本，对同一目标对象的多帧的预处理图像进行目标对象标注，得到一个训练样本；
[0151]
将所述训练样本输入网络模型，所述网络模型包括特征提取层，所述特征提取层包括采用卷积神经网络的第一特征提取层和采用transformer网络的第二特征提取层；
[0152]
利用所述第一特征提取层按照帧的时间顺序，依次对单帧的预处理图像样本进行第一步态特征的特征提取，利用第二特征提取层根据transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于第一特征提取层输出的各帧的第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取；
[0153]
确定损失函数的取值，根据损失函数取值对所述网络模型的参数进行调整，所述损失函数包括根据第二特征提取层提取的相同目标对象的第二步态特征第一距离及不同目标对象的第二步态特征的第二距离确定的三元组损失函数；
[0154]
确定满足参数调整结束条件时，将当前特征提取层确定为步态特征提取模型。
[0155]
可选的，所述网络模型还包括输出层，所述输出层根据所述第二特征提取层输出的第二步态特征预测识别到不同目标对象的概率，所述损失函数还包括：
[0156]
将输出层预测识别到的不同目标对象的概率作为预测值，将根据预处理样本的目标对象标注获取确定期望输出的不同目标对象的概率作为目标值；
[0157]
根据所述预测值及目标值计算得到目标对象标识的交叉熵损失函数取值。
[0158]
可选的，所述预处理图像样本还标注有目标对象行走方向，所述第二特征提取层包括采用第一transformer网络的第三特征提取层和采用第二transformer网络的第四特征提取层；
[0159]
利用所述第三特征提取层采用注意力机制基于第一特征提取层输出的各帧的第一步态特征，进行抑制非目标对象强化目标对象的第三步态特征的特征提取，利用第四特征提取层根据transformer网络的语义特征提取能力及长距离特性捕获能力，基于第三特征提取层输出的多帧的第三步态特征及帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征、目标对象的行走方向的特征提取；
[0160]
对网络模型中第四特征提取层的参数进行调整时，所述损失函数还包括：
[0161]
以第四特征提取层提取的目标对象行走方向为预测值，以根据预处理样本标注的
目标对象行走方向为目标值计算行走方向的交叉熵损失函数取值。
[0162]
可选的，所述第一/第二/第三步态特征包括步态全局特征和步态局部特征；
[0163]
所述步态全局特征用于表征目标对象全局的步态特征，所述步态局部特征用于表征目标对象局部部位对应的步态特征。
[0164]
可选的，所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取后，上述处理器还用于：
[0165]
将提取出的第二步态特征与数据库中预先存储的多个目标对象的步态特征进行相似度比对，根据比对结果确定所述第二步态特征对应的目标对象；
[0166]
所述数据库中预先存储的多个目标对象的步态特征通过利用步态特征提取模型对多个对象历史的预处理图像进行特征提取获取。
[0167]
在一些可能的实施方式中，本技术提供的一种步态特征提取方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的一种步态特征提取方法中的步骤。
[0168]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0169]
本技术的实施方式的用于监控的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在设备上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0170]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0171]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0172]
可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行、或者完全在远程设备或服务端上执行。在涉及远程设备的情形中，远程设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户设备，或者，可以连接到外部设备(例如利用因特网服务提供商来通过因特网连接)。
[0173]
此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0174]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0175]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程和/或方框、以及流程图和方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。
[0176]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能。
[0177]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的步骤。
[0178]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0179]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。