融合局部掩码机制的图卷积步态识别方法及系统

本发明属于机器视觉行人身份识别领域，涉及一种融合局部掩码机制的图卷积步态识别方法及系统。

背景技术：

1、在安防监控和社会安全领域，相较于人脸、指纹和虹膜等生物特征，步态[1-3]是以人的行走模式进行远距离身份识别的技术，无需被识别者配合且难以伪装。然而，由于步态识别技术的性能受到着装、携物和拍摄视角等外界因素的影响，可靠的步态识别方法研究仍具有挑战性。

2、为了应对这些干扰因素，研究者提出了各种方法。其中基于外观的步态识别方法[6-8]以二值轮廓图作为输入，从行人行进的轮廓变化中捕捉行人步态的身体特征。但轮廓图在编码行人身体运动的同时，对行人着装和发型等额外信息也进行了特征提取。另一类基于模型的步态识别方法[1-5]考虑到人体潜在的肢体结构，以人体关节点构成的肢体拓扑结构进行步态特征建模，通过姿态估计模型从视频中获得行人的空间关节点位置来表示步态，保留了身体内部结构信息，具有对携物和着装鲁棒的优点。早期的基于模型的方法posegait[1]使用关节点序列作为输入，采用cnn和lstm进行步态时空特征提取，但因忽略了人体关节点之间的骨架拓扑连接关系导致准确率不高。考虑到这一点，gaitgraph[2]，gaitgraph2[3]、lugan[4]、cyclegait[5]采用了图卷积gcn的方法，将关节点视为节点、肢体视为边，形成人体骨架拓扑结构进行特征提取。但骨架拓扑结构限制了gcn模型提取相距较远关节点之间的关联特征，如行人行走时手脚的连带运动、局部最明显运动。

3、相关文献：

4、[1]liao r,yu s,an w,et al.a model-based gait recognition method withbody pose and human prior knowledge[j].pattern recognition,2020,98:107069.

5、[2]teepe t,khan a,gilg j,et al.gaitgraph:graph convolutional networkfor skeleton-based gait recognition[c]//2021ieee international conference onimage processing(icip).ieee,2021:2314-2318.

6、[3]teepe t,gilg j,herzog f,et al.towards a deeper understanding ofskeleton-based gait recognition[c]//proceedings of the ieee/cvf conference oncomputer vision and pattern recognition.2022:1569-1577.

7、[4]pan h,chen y,xu t,et al.toward complete-view and high-level pose-based gait recognition[j].ieee transactions on information forensics andsecurity,2023,18:2104-2118.

8、[5]li n,zhao x.a strong and robust skeleton-based gait recognitionmethod with gait periodicity priors[j].ieee transactions on multimedia,2022.

9、[6]chao h,he y,zhang j,et al.gaitset:regarding gait as a set forcross-view gait recognition[c]//proceedings of the aaai conference onartificial intelligence.2019,33(01):8126-8133.

10、[7]fan c,peng y,cao c,et al.gaitpart:temporal part-based model forgait recognition[c]//proceedings of the ieee/cvf conference on computervision and pattern recognition.2020:14225-14233.

11、[8]hou s,cao c,liu x,et al.gait lateral network:learningdiscriminative and compact representations for gait recognition[c]//europeanconference on computer vision.cham:springer international publishing,2020:382-398.

技术实现思路

1、本发明的目的在于克服现有技术的上述缺点，提供了一种融合局部掩码机制的图卷积步态识别方法及系统，该方法及系统能够准确进行步态识别。

2、为达到上述目的，本发明公开了一种融合局部掩码机制的图卷积步态识别方法，包括：

3、获取行人的步态视频；

4、从所述步态视频中提取原始关节点序列、相对关节点序列及骨骼长度序列；

5、将所述原始关节点序列、相对关节点序列及骨骼长度序列输入到训练后的融合局部掩码机制的图卷积步态识别网络ma-gait中，得到最终的步态特征表示，完成步态识别。

6、所述将所述原始关节点序列、相对关节点序列及骨骼长度序列输入到训练后的融合局部掩码机制的图卷积步态识别网络ma-gait中之前还包括：

7、提取步态视频数据集中的行人关节点数据，并以此构建包含原始关节点序列hp、相对关节点序列hj及骨骼长度序列hb的多语义步态数据集；

8、构建基本时空特征提取模块；

9、利用所述基本时空特征提取模块st-module结合全局平均池化及全连接层，构建融合局部掩码机制的图卷积步态识别网络ma-gait；

10、利用所述多语义步态数据集对所述融合局部掩码机制的图卷积步态识别网络ma-gait进行训练及测试，得到训练后的融合局部掩码机制的图卷积步态识别网络ma-gait。

11、使用人体姿态估计模型提取步态视频数据集中的行人关节点数据。

12、所述基本时空特征提取模块st-module包含一个融合局部掩码机制的图卷积ma-gcn及一个多尺度时域卷积ms-tcn。

13、所述融合局部掩码机制的图卷积ma-gcn包括一个多头自注意力映射sm(ht)、一个参数矩阵及一个局部特征掩码矩阵mm，其中，多头自注意力映射sm(ht)用于学习人体各个关节点在空间上的映射关系；参数矩阵用于增强所述映射关系的鲁棒性；局部特征掩码矩阵mm用于加强对行人局部部位特征的提取能力。

14、所述多头自注意力映射通过线性变化层和softmax激活函数层构成。

15、参考图4，通过基本时空特征提取模块st-module获取的行人步态时空特征为其中，表示第l层基本时空特征提取模块提取到的时空特征，to、no及co分别表示时空特征的序列长度、关节点个数和输出通道数；表示融合局部掩码机制的图卷积；表示多尺度时域卷积。

16、所述将所述原始关节点序列、相对关节点序列及骨骼长度序列输入到训练后的融合局部掩码机制的图卷积步态识别网络ma-gait中，得到最终的步态判别特征的过程为：

17、分别将原始关节点序列、相对关节点序列及骨骼长度序列输入到训练后的融合局部掩码机制的图卷积步态识别网络ma-gait中，分别得到判别特征yp、yj、yb，将所述判别特征yp、yj、yb进行特征拼接，得到最终的步态特征yo。

18、本发明公开了一种融合局部掩码机制的图卷积步态识别系统，包括：

19、获取模块，用于获取行人的步态视频；

20、第一提取模块，用于从所述步态视频中提取原始关节点序列、相对关节点序列及骨骼长度序列；

21、识别模块，用于将原始关节点序列、相对关节点序列及骨骼长度序列输入到训练所得融合局部掩码机制的图卷积步态识别网络ma-gait中，得到最终的步态特征表示，完成步态识别。

22、还包括：

23、第二提取模块，用于提取步态视频数据集中的行人关节点数据，并以此构建包含原始关节点序列hp、相对关节点序列hj及骨骼长度序列hb的多语义步态数据集；

24、第一构建模块，用于构建基本时空特征提取模块；

25、第二构建模块，用于利用所述基本时空特征提取模块st-module结合全局平均池化及全连接层，构建融合局部掩码机制的图卷积步态识别网络ma-gait；

26、训练模块，用于利用所述多语义步态数据集对所述融合局部掩码机制的图卷积步态识别网络ma-gait进行训练及测试，得到训练后的融合局部掩码机制的图卷积步态识别网络ma-gait。

27、本发明具有以下有益效果：

28、本发明所述的一种融合局部掩码机制的图卷积步态识别方法及系统在具体操作时，将所述原始关节点序列、相对关节点序列及骨骼长度序列输入到训练所得融合局部掩码机制的图卷积步态识别网络ma-gait中，得到最终的步态特征表示，其中，融合局部掩码机制的图卷积能够加强对手脚部位局部特征的提取，通过多语义关节点数据获取更具判别性步态特征，以提高步态识别的准确性。