动作识别及训练方法、装置、终端、计算机可读存储介质与流程

本发明涉及图像识别，特别是涉及一种动作识别及训练方法、装置、终端、计算机可读存储介质。

背景技术：

1、人体关键点检测技术用于准确地估计出图片或视频中的人体n个主要关键点，包括：手部、脸部、左右手肘、左右手腕、左右肩膀、头、脖子、左右脚踝、左右膝盖、左右臀和脚掌等人体主要关键点。人体关键点检测技术可应用于判断人体的状态、人体的姿势、行为等。但是当前基于关键点对人体细微动作的识别准确率低。

技术实现思路

1、本发明主要解决的技术问题是提供一种动作识别及训练方法、装置、终端、计算机可读存储介质，解决现有技术中细微动作的识别准确率低的问题。

2、为解决上述技术问题，本发明采用的第一个技术方案是：提供一种动作识别网络的训练方法，动作识别网络的训练方法包括：

3、获取多个人体训练图像，人体训练图像具有人体的标注动作类别和标注关键点特征图；

4、将人体训练图像输入动作识别网络中进行关键点检测，得到人体训练图像中人体的预测关键点特征图；

5、基于人体的预测关键点特征图，识别得到人体的预测动作类别；

6、基于人体对应的预测关键点特征图和标注关键点特征图之间的误差值、标注动作类别和预测动作类别之间的误差值对动作识别网络进行迭代训练。

7、其中，标注关键点特征图和预测关键点特征图均包括人体关键点特征图，人体关键点特征图包括部位区域特征图以及部位区域特征图对应的重要指数；重要指数是指部位区域特征图在人体关键点特征图中的重要程度。

8、其中，部位区域特征图包括脸部关键点特征图、躯干关键点特征图、脚部关键点特征图和手部关键点特征图中的至少一个；

9、将人体训练图像输入动作识别网络中进行关键点检测，得到人体训练图像中人体的预测关键点特征图，包括：

10、动作识别网络对人体训练图像进行特征提取，得到人体训练图像的人体特征图；

11、采用多头自注意力机制对人体特征图进行处理，得到人体的脸部关键点特征图、躯干关键点特征图、脚部关键点特征图和/或手部关键点特征图及其对应的重要指数。

12、其中，基于人体的预测关键点特征图，识别得到人体的预测动作类别，包括：

13、采用注意力机制基于重要指数，确定各部位区域特征图对应的通道权重；

14、基于通道权重对各部位区域特征图进行特征融合，识别得到人体的预测动作类别。

15、其中，基于人体对应的预测关键点特征图和标注关键点特征图之间的误差值、标注动作类别和预测动作类别之间的误差值对动作识别网络进行迭代训练，包括：

16、基于人体训练图像对应的预测关键点特征图和标注关键点特征图之间的误差值以及标注动作类别和预测动作类别之间的误差值的加权和对动作识别网络进行迭代训练。

17、为解决上述技术问题，本发明采用的第二个技术方案是：提供一种动作识别方法，动作识别方法包括：

18、获取目标对象的人体图像；

19、将人体图像输入到动作识别网络中，得到目标对象的动作类别；动作识别网络是基于上述的动作识别网络的训练方法训练得到。

20、为解决上述技术问题，本发明采用的第三个技术方案是：提供一种动作识别网络的训练装置，动作识别网络的训练装置包括：

21、获取模块，用于获取多个人体训练图像，人体训练图像具有人体的标注动作类别和标注关键点特征图；

22、特征提取模块，用于将人体训练图像输入动作识别网络中进行关键点检测，得到人体训练图像中人体的预测关键点特征图；

23、动作预测模块，用于基于人体的预测关键点特征图，识别得到人体训练图像对应的预测动作类别；

24、训练模块，用于基于人体对应的预测关键点特征图和标注关键点特征图之间的误差值、标注动作类别和预测动作类别之间的误差值对动作识别网络进行迭代训练。

25、为解决上述技术问题，本发明采用的第四个技术方案是：提供一种动作识别装置，动作识别装置包括：

26、采集模块，用于获取目标对象的人体图像；

27、识别模块，用于将人体图像输入到动作识别网络中，得到目标对象的动作类别；动作识别网络是基于上述的动作识别网络的训练方法训练得到。

28、为解决上述技术问题，本发明采用的第五个技术方案是：提供一种终端，终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现如上述的动作识别网络的训练方法或动作识别方法中的步骤。

29、为解决上述技术问题，本发明采用的第六个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的动作识别网络的训练方法或动作识别方法中的步骤。

30、本发明的有益效果是：区别于现有技术的情况，提供的一种动作识别及训练方法、装置、终端、计算机可读存储介质，动作识别网络的训练方法包括：获取多个人体训练图像，人体训练图像具有人体的标注动作类别和标注关键点特征图；将人体训练图像输入动作识别网络中进行关键点检测，得到人体训练图像中人体的预测关键点特征图；基于预测关键点特征图，识别得到人体的预测动作类别；基于人体对应的预测关键点特征图和标注关键点特征图之间的误差值、标注动作类别和预测动作类别之间的误差值对动作识别网络进行迭代训练。本申请通过对人体训练图像进行关键点检测得到预测关键点特征图，基于预测关键点特征图得到的预测动作类别，可以基于预测关键点特征图的全局特征信息以及强区分区域的特征图对动作类别进行识别，提高动作识别网络对细微动作的识别；基于预测关键点特征图和标注关键点特征图之间的误差值以及标注动作类别和预测动作类别的综合损失对动作识别网络进行迭代训练，提高动作识别网络的识别准确率。

技术特征：

1.一种动作识别网络的训练方法，其特征在于，所述训练方法包括：

2.根据权利要求1所述的训练方法，其特征在于，所述标注关键点特征图和所述预测关键点特征图均包括人体关键点特征图，所述人体关键点特征图包括部位区域特征图以及所述部位区域特征图对应的重要指数；所述重要指数是指所述部位区域特征图在所述人体关键点特征图中的重要程度。

3.根据权利要求2所述的训练方法，其特征在于，所述部位区域特征图包括脸部关键点特征图、躯干关键点特征图、脚部关键点特征图和手部关键点特征图中的至少一个；

4.根据权利要求2所述的训练方法，其特征在于，

5.根据权利要求1所述的训练方法，其特征在于，

6.一种动作识别方法，其特征在于，所述动作识别方法包括：

7.一种动作识别网络的训练装置，其特征在于，所述训练装置包括：

8.一种动作识别装置，其特征在于，所述动作识别装置包括：

9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于执行程序数据以实现如权利要求1～5任一项所述的动作识别网络的训练方法或权利要求6所述的动作识别方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～5任一项所述的动作识别网络的训练方法或权利要求6所述的动作识别方法中的步骤。

技术总结
本发明提供一种动作识别及训练方法、装置、终端、计算机可读存储介质，训练方法包括：获取多个人体训练图像，人体训练图像具有人体的标注动作类别和标注关键点特征图；将人体训练图像输入动作识别网络中进行关键点检测，得到人体的预测关键点特征图；基于预测关键点特征图，识别得到人体的预测动作类别；基于人体对应的预测关键点特征图和标注关键点特征图之间的误差值、标注动作类别和预测动作类别之间的误差值对动作识别网络进行迭代训练。本申请可以基于预测关键点特征图的全局特征信息以及强区分区域的特征图对动作类别进行识别，提高动作识别网络对细微动作的识别，提高动作识别网络的识别准确率。

技术研发人员：袁雷,潘华东,温淳,叶丹
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/2/8