一种骨架动作识别方法、存储介质及计算机系统与流程

本发明涉及动作识别，尤其涉及一种骨架动作识别方法、存储介质及计算机系统。

背景技术：

1、骨架动作识别是通过深度学习网络来识别输入骨架序列的动作类别的技术，其在驾驶员动作监控，行人动作识别等均有重要应用。图卷积可以保留输入骨架序列中的骨架结构和节点间潜在空间关系，因此基于图卷积网络的骨架动作识别方法成为骨架动作识别任务的主流方法。然而现今的图卷积网络难以建模骨架序列中的多尺度时空特征，而且模型不够轻量，难以实际应用。

技术实现思路

1、为解决现有技术中的上述问题中的至少一部分问题，本发明提供一种基于多尺度轻量图卷积的骨架动作识别方法，包括：

2、构建基于多尺度时空图卷积的轻量骨架动作识别模型，包括：

3、构建基于动态映射的动态多尺度拓扑学习图卷积，所述动态多尺度拓扑学习图卷积被配置为通过不同拓扑尺度之间的动态拓扑关系进行拓扑尺度间的动态映射以进行多尺度拓扑特征提取；以及

4、构建动态骨架引导的关键帧增强多尺度时间卷积，所述关键帧增强多尺度时间卷积被配置为将输入的时序帧根据重要性排序，从中选取关键帧进行增强，并进行多尺度时序特征提取；以及

5、将人体骨架动作序列输入所述轻量骨架动作识别模型中，得到对应的动作预测结果。

6、进一步地，所述轻量骨架动作识别模型包括：

7、轻量骨架动作识别网络，其包含多层网络结构，且每一层网络结构中包含动态多尺度拓扑学习图卷积和动态骨架引导的关键帧增强多尺度时间卷积，二者通过串联的方式分别进行空间维卷积与时序维卷积，分别将输入的人体骨架动作序列进行运算得到多尺度拓扑特征和多尺度时序特征；

8、分类模块，其与所述轻量骨架动作识别网络串联，且被配置为根据轻量骨架动作识别网络的输出特征预测动作。

9、进一步地，在动态多尺度拓扑学习图卷积中，通过符合运动规律的多尺度拓扑划分来并行建模手掌尺度、双手尺度、手腿尺度和全身尺度的动态拓扑关系。

10、进一步地，在动态多尺度拓扑学习图卷积中，使用动态映射方法来获取不同的拓扑尺度，包括：

11、在动态映射方法中，假设在n个骨架节点中选取p个重要节点，其重要节点集合为z，其中定义p+1种节点类型编号为1至p+1，并按顺序对选取出的重要节点进行类型编号，分别从1编码至p，而其余所有节点统一编码为p+1；

12、根据编码构造出每个节点i的独热向量hi∈r(p+1)，并将每一个节点的独热向量作为行向量进行顺序拼接，得到映射矩阵y∈rn×(p+1)；以及

13、通过映射矩阵进行不同拓扑尺度间的动态映射，并进行多尺度拓扑特征提取。

14、进一步地，其中通过映射矩阵进行不同拓扑尺度间的动态映射，并进行多尺度拓扑特征提取包括：

15、通过4个1×1卷积对输入特征图进行通道缩减得到4个支流的输入特征；

16、除全身拓扑尺度外，在每个拓扑尺度上，对通道缩减后的特征进行动态映射，将输入的全身拓扑尺度缩放至更小的局部拓扑尺度，之后在局部拓扑尺度上进行图卷积计算，得到局部拓扑尺度上的输出特征，其中局部拓扑尺度为手掌尺度、双手尺度或手腿尺度；

17、对输出特征进行动态映射，以将局部拓扑尺度还原至全身拓扑尺度，其中输出特征为映射至局部拓扑尺度的输入特征在经过局部特征尺度的特征提取之后的特征；以及

18、将4个支路的输出特征进行通道拼接作为动态多尺度拓扑学习图卷积输出的多尺度拓扑特征。

19、进一步地，其中所述关键帧增强多尺度时间卷积被配置为将输入的时序帧根据重要性排序，从中选取关键帧进行增强，并进行多尺度时序特征提取包括：

20、使用排序秩池方法对每一帧时序帧进行重要性选择，并分别增强重要性在前25％、50％、75％的时序帧，得到特征增强分支；

21、在特征增强分支与原始特征分支上进行多尺度时序特征提取，并将提取的特征融合，得到多尺度时序特征。

22、进一步地，其中使用排序秩池方法对每一帧时序帧进行重要性选择，并分别增强重要性在前25％、50％、75％的时序帧包括：

23、对于输入特征图进行卷积，得到4个拥有t帧的支流输入特征；

24、对于支流输入特征使用动态图的近似计算方法中的聚合参数计算时序帧的重要性：rt＝2t-t-1，其中rt代表每一帧的重要性；

25、根据每一个时序帧t的重要性rt的值来分别选取rt值在前25％、50％和75％的时序帧作为关键帧，关键帧组成集合其中集合的时序帧长度分别为0.25t,0.5t,0.75t，对于每一支流输入特征，非关键帧使用0值补齐，得到时序帧长度为t的特征

26、使用特征对支流输入特征中的关键帧进行增强得到特征

27、进一步地，其中在特征增强分支与原始特征分支上进行多尺度时序特征提取，并将提取的特征融合，得到多尺度时序特征包括：

28、对于特征增强分支，先使用1×1卷积将通道数降为输入通道数的1/4，然后分别使用空洞率d为1和卷积核大小kt＝5的空洞卷积、空洞率d为2和kt＝5的空洞卷积和时序维最大池化操作，以获得不同时序感受野的特征；

29、原始特征分支作为残差连接只使用了1×1卷积调整通道数为输入通道数的1/4；以及

30、将所有分支的结果进行通道拼接获得多尺度时序特征。

31、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时执行骨架动作识别方法的步骤。

32、本发明还提供一种计算机系统，包括：

33、处理器，其被配置为执行机器可执行指令；以及

34、存储器，其上存储有机器可执行指令，所述机器可执行指令在被处理器执行时执行骨架动作识别方法的步骤。

35、本发明至少具有下列有益效果：(1)通过动态映射方式来高效获取不同尺度的空间拓扑结构以进行并行的多尺度空间建模，解决了基于图卷积的骨架动作识别模型中难以进行多尺度时空建模的问题；(2)使用排序秩池方法为时序帧进行重要性排序，得到重要性在前25％、50％、75％的时序帧以进行多尺度时序特征建模，通过多个并行分支的多尺度时空建模，使得网络十分轻量，具有模型轻量的优点，从而显著节省计算资源或减少运算时间。

技术特征：

1.一种骨架动作识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述轻量骨架动作识别模型包括：

3.根据权利要求1所述的方法，其特征在于，在动态多尺度拓扑学习图卷积中，通过符合运动规律的多尺度拓扑划分来并行建模手掌尺度、双手尺度、手腿尺度和全身尺度的动态拓扑关系。

4.根据权利要求3所述的方法，其特征在于，在动态多尺度拓扑学习图卷积中，使用动态映射方法来获取不同的拓扑尺度，包括：

5.根据权利要求4所述的方法，其特征在于，其中通过映射矩阵进行不同拓扑尺度间的动态映射，并进行多尺度拓扑特征提取包括：

6.根据权利要求1所述的方法，其特征在于，其中所述关键帧增强多尺度时间卷积被配置为将输入的时序帧根据重要性排序，从中选取关键帧进行增强，并进行多尺度时序特征提取包括：

7.根据权利要求6所述的方法，其特征在于，其中使用排序秩池方法对每一帧时序帧进行重要性选择，并分别增强重要性在前25％、50％、75％的时序帧包括：

8.根据权利要求6所述的方法，其特征在于，其中在特征增强分支与原始特征分支上进行多尺度时序特征提取，并将提取的特征融合，得到多尺度时序特征包括：

9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时执行根据权利要求1-8之一所述的方法的步骤。

10.一种计算机系统，包括：

技术总结
本发明涉及一种骨架动作识别方法、存储介质及计算机系统，所述方法包括：构建基于多尺度时空图卷积的轻量骨架动作识别模型，包括：构建基于动态映射的动态多尺度拓扑学习图卷积，其被配置为通过不同拓扑尺度之间的动态拓扑关系进行拓扑尺度间的动态映射以进行多尺度拓扑特征提取；以及构建动态骨架引导的关键帧增强多尺度时间卷积，其被配置为将输入的时序帧根据重要性排序，从中选取关键帧进行增强，并进行多尺度时序特征提取；以及将人体骨架动作序列输入所述轻量骨架动作识别模型中，得到对应的动作预测结果。轻量骨架动作识别模型解决了基于图卷积的骨架动作识别模型中难以进行多尺度时空建模的问题。

技术研发人员：曹立京,林峰,陶林,刘珲
受保护的技术使用者：奕行智能科技（南京）有限公司
技术研发日：
技术公布日：2024/3/31