动作识别方法、装置、终端设备以及存储介质与流程

本申请涉及动作识别领域，尤其涉及一种动作识别方法、装置、终端设备以及存储介质。

背景技术：

1、识别技术如今已被广泛使用于各行各业中，其方法百花齐放且都有不俗的表现。

2、动作识别可以看作一段时间帧按时间顺序排列而成的数据结构,现有方案有基于3d卷积的动作识别，例如c3d、res3d/3d resnet、ltc、i3d等，3d卷积可以学习到视频帧之间的时序关系，然而术3d卷积网络速度较慢，训练和推理速度也较慢，难以用于工程实践。而2d网络虽然速度较快，但还不是足够快，尤其是一些轻量级嵌入式开发板，例如现在2d网络需要同时推理8帧，或者16帧图像送入网络，然后根据帧率时序关系交换帧的信息再来进行分类。

技术实现思路

1、本申请的主要目的在于提供一种动作识别方法、装置、终端设备以及存储介质，旨在提高动作识别的速度。

2、为实现上述目的，本申请提供一种动作识别方法，所述动作识别方法包括：

3、获取待识别视频；

4、对所述待识别视频进行特征提取，得到若干帧待识别特征图；

5、根据预设的特征传递和识别规则，依次对所述若干帧待识别特征图进行特征传递和动作识别，得到若干个动作识别结果；

6、对所述若干个动作识别结果进行分析，得到最终动作识别结果。

7、可选地，所述根据预设的特征传递和识别规则，依次对所述若干帧待识别特征图进行特征传递和动作识别的步骤包括：

8、判断当前待识别特征图是否为第一帧待识别特征图；

9、若所述当前待识别特征图是第一帧待识别特征图，则对所述当前待识别特征图进行动作识别；

10、根据预先设置的学习比例参数，对所述当前待识别特征图按比例提取特征，得到当前待识别特征图的传递特征；

11、若当前待识别特征图不是第一帧待识别特征图，则根据所述学习比例参数，对所述当前待识别特征图按比例提取特征后，得到提取特征后的当前特征图和当前待识别特征图的传递特征；

12、将所述提取特征后的当前特征图和从上一帧待识别特征图提取的传递特征进行融合，得到融合后待识别特征图；

13、对所述融合后待识别特征图进行动作识别。

14、可选地，所述对所述若干帧待识别特征图进行动作识别的步骤包括：

15、通过预设的动作识别神经网络模型，对所述若干帧待识别特征图进行动作识别。

16、可选地，所述通过预设的动作识别神经网络模型，对所述若干帧待识别特征图进行动作识别的步骤之前还包括：

17、创建所述动作识别神经网络模型，步骤包括：

18、获取样本动作视频和对应的样本动作信息；

19、基于focal loss(焦点损失)函数，对所述样本动作视频和所述样本动作信息进行训练，得到所述动作识别神经网络模型。

20、可选地，所述基于focal loss函数，对所述样本动作视频和所述样本动作信息进行训练，得到所述动作识别神经网络模型的步骤包括：

21、基于预设的图片帧提取规则，从所述样本动作视频中提取若干帧样本特征图；

22、对所述若干帧样本特征图进行分类，得到若干个样本分类值；

23、对所述若干个样本分类值进行求和，得到总样本分类值；

24、通过focal loss函数，对所述总样本分类值和所述样本动作信息进行训练，得到所述动作识别神经网络模型。

25、可选地，所述基于focal loss函数，对所述样本动作视频和所述样本动作信息进行训练，得到所述动作识别神经网络模型的步骤之前还包括:

26、获取预训练模型参数；

27、基于所述预训练模型参数和所述focal loss函数，对所述样本动作视频和所述样本动作信息进行训练，得到所述动作识别神经网络模型。

28、可选地，所述基于所述预训练模型参数和所述focal loss函数，对所述样本动作视频和所述样本动作信息进行训练，得到所述动作识别神经网络模型的步骤之前还包括：

29、冻结所述神经网络中的批处理规范化层。

30、本申请实施例还提出一种动作识别装置，所述动作识别装置包括：

31、视频获取模块，用于获取待识别视频；

32、特征提取模块，用于对所述待识别视频进行特征提取，得到若干帧待识别特征图；

33、行为识别模块，用于根据预设的特征传递和识别规则，依次对所述若干帧待识别特征图进行特征传递和动作识别，得到若干个动作识别结果；

34、综合判断模块，用于对所述若干个动作识别结果进行分析，得到最终动作识别结果。

35、本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的动作识别程序，所述动作识别程序被所述处理器执行时实现如上所述的动作识别方法的步骤。

36、本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有动作识别程序，所述动作识别程序被处理器执行时实现如上所述的动作识别方法的步骤。

37、本申请实施例提出的动作识别方法、装置、终端设备以及存储介质，通过获取待识别视频；对所述待识别视频进行特征提取，得到若干帧待识别特征图；根据预设的特征传递和识别规则，依次对所述若干帧待识别特征图进行特征传递和动作识别，得到若干个动作识别结果；对所述若干个动作识别结果进行分析，得到最终动作识别结果。从待识别视频提取出若干帧待识别特征图，然后根据预设的特征传递和识别规则，依次把每帧待识别特征图的部分特征传递到下一帧待识别特征图中再进行动作识别，可以使得每次识别当前待检测特征图时可以判断出上一帧和当前帧的特征区别，从而判断用户在当前待识别特征图和上一帧待识别特征图之间的动作差异，从而得到每帧待识别特征图的动作识别结果。然后对若干个动作识别结果进行分析，得到最终动作识别结果，可以理解地，上述过程是一帧一帧对待识别特征图进行动作识别，对动作识别系统的处理压力较小，提高动作识别的速度。

技术特征：

1.一种动作识别方法，其特征在于，所述动作识别方法包括：

2.根据权利要求1所述的动作识别方法，其特征在于，所述根据预设的特征传递和识别规则，依次对所述若干帧待识别特征图进行特征传递和动作识别的步骤包括：

3.根据权利要求1所述的动作识别方法，其特征在于，所述对所述若干帧待识别特征图进行动作识别的步骤包括：

4.根据权利要求3所述的动作识别方法，其特征在于，所述通过预设的动作识别神经网络模型，对所述若干帧待识别特征图进行动作识别的步骤之前还包括：

5.根据权利要求4所述的动作识别方法，其特征在于，所述基于focalloss函数，对所述样本动作视频和所述样本动作信息进行训练，得到所述动作识别神经网络模型的步骤包括：

6.根据权利要求4所述的动作识别方法，其特征在于，所述基于focalloss函数，对所述样本动作视频和所述样本动作信息进行训练，得到所述动作识别神经网络模型的步骤之前还包括:

7.根据权利要求6所述的动作识别方法，其特征在于，所述基于所述预训练模型参数和所述focalloss函数，对所述样本动作视频和所述样本动作信息进行训练，得到所述动作识别神经网络模型的步骤之前还包括：

8.一种动作识别装置，其特征在于，所述动作识别装置包括：

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的动作识别程序，所述动作识别程序被所述处理器执行时实现如权利要求1-7中任一项所述的动作识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有动作识别程序，所述动作识别程序被处理器执行时实现如权利要求1-7中任一项所述的动作识别方法的步骤。

技术总结
本申请公开了动作识别方法、装置、终端设备以及存储介质，涉及动作识别领域，其方法包括：获取待识别视频；对所述待识别视频进行特征提取，得到若干帧待识别特征图；根据预设的特征传递和识别规则，依次对所述若干帧待识别特征图进行特征传递和动作识别，得到若干个动作识别结果；对所述若干个动作识别结果进行分析，得到最终动作识别结果。本发明提高了动作识别的速度。

技术研发人员：王明月
受保护的技术使用者：中移动金融科技有限公司
技术研发日：
技术公布日：2024/1/16