一种运动动作识别评估方法及系统

本发明涉及视频图像处理，特别是涉及一种运动动作识别评估方法及系统。

背景技术：

1、随着人们生活水平的不断提高，人们也越来越重视身体素质的提升。然而，快节奏工作生活方式使得很多年轻人没有足够的时间去健身房健身，al健身镜就随之成为健身房的替代品，而备受欢迎。

2、现有健身镜通过安装深度摄像头模组、ai人体动态传感器和自动亮度传感器实现基于摄像头和传感器对人体进行运动跟踪和关节点的视觉识别，并提供运动量、消耗热量和运动时长等健身数据统计和相应事后指导服务。尽管现有通过在健身镜上搭载健身动作识别纠错系统实现对运动人员运动过程中动作识别评估的方式，可进一步提升健身镜使用效果，但其主要通过集成姿态识别算法捕捉人体关键骨骼点，再基于人体关键骨骼点生成的人体骨架图与标准动作骨架图进行比对评估；即现有动作识别仅限于使用人体关键骨骼点的获取，并未关注头部动作和动作相关表情的识别和关联分析，而现有不同类型健身项目的运动要求各不相同，对应的评估标准也不尽相同：比如，正面深蹲动作包含头部先后进行左、右、上、下、正绕圈、反绕圈动作，若仅识别人体姿势而对头部动作无法识别的话就无法做到动作的精细识别评估；再如，拉丁舞类属于对面部表情要求较高的运动项目，仅识别人体姿态也同样不符合动作评估标准。因此，现有健身动作识别因缺少面部表情和头部姿态的识别，难以满足不同类型健身项目多角度识别用户精准动作的需求，会直接降低用户使用健身镜的健身体验和健身效果。

技术实现思路

1、本发明的目的是提供一种运动动作识别评估方法，通过对运动过程实时抽取的用户动作关键帧图像进行表情特征、头部姿态特征和身体姿态特征提取处理，并将得到的用户关键帧姿态表情特征与对应的标准关键帧姿态表情特征进行比对分析，基于比对结果进行实时关键动作评分和关键动作表现提示，解决现有运动动作识别评估所用特征单一，难以全面精细化识别动作的应用缺陷，能基于身体姿态、头部姿态和人脸表情对运动姿态进行多方向多维度综合比对，有效提高动作评估反馈的精准性，进而提升个人健身效果。

2、为了实现上述目的，有必要针对上述技术问题，提供一种运动动作识别评估方法、系统、计算机设备及存储介质。

3、第一方面，本发明实施例提供了一种运动动作识别评估方法，所述方法包括以下步骤：

4、响应于标准运动视频的点击播放，实时接收用户训练视频，并根据预设数目的关键标准动作帧图像的时序，依次获取所述用户训练视频中对应的用户动作关键帧图像；

5、将所述用户动作关键帧图像输入预先构建的第一运动识别模型进行特征提取，得到对应的用户关键帧姿态表情特征；所述用户关键帧姿态表情特征包括关键帧表情特征和关键帧姿态特征；所述关键帧姿态特征包括关键帧头部姿态特征和关键帧身体姿态特征；

6、将所述用户关键帧姿态表情特征和对应的标准关键帧姿态表情特征进行比对分析，得到对应的关键动作评分和关键动作表现提示；所述关键动作表现提示为点赞欢呼或姿势优化提醒；所述姿势优化提醒包括动作姿态提醒和表情提醒中的至少一种。

7、进一步地，所述第一运动识别模型包括并列的表情特征提取模块和姿态特征提取模块；所述表情特征提取模块依次包括预处理模块、lbp编码模块和bp神经网络；所述姿态特征提取模块包括头部特征提取模块、身体姿态特征提取模块和特征融合模块。

8、进一步地，通过所述表情特征提取模块获取所述关键帧表情特征的步骤包括：

9、将所述用户动作关键帧图像输入所述预处理模块进行人脸检测，得到对应的关键帧人脸区域图像后，根据预设表情区域，将所述关键帧人脸区域图像的灰度图划分为若干表情区域图，并对各个表情区域图进行分割，得到对应的多个表情区域子图；所述预设表情区域包括额头区域、左眼区域、右眼区域、左脸颊区域、右脸颊区域和嘴巴区域；

10、将各个表情区域图和对应的表情区域子图输入所述lbp编码模块进行lbp特征编码与堆叠，得到对应的表情区域纹理特征；

11、将所有表情区域纹理特征输入bp神经网络进行特征融合，得到所述关键帧表情特征。

12、进一步地，所述关键帧头部姿态特征包括上下翻转角、左右翻转角和平面旋转角；

13、通过所述头部特征提取模块获取关键帧头部姿态特征的步骤包括：

14、根据所述关键帧人脸区域图像，获取对应的关键帧人脸特征点，根据所述关键帧人脸特征点和预设标准三维正面人脸模型，得到对应的人脸特征点三维坐标；

15、根据所述人脸特征点三维坐标和标准正面人脸特征点三维坐标，求解头部姿态最优化模型，得到所述关键帧头部姿态特征；所述头部姿态最优化模型表示为：

16、

17、

18、其中，sev,k和sst,k分别表示第k个关键帧人脸特征点三维坐标和对应的标准正面人脸特征点三维坐标；n表示人脸特征点数目；α、β和γ分别表示上下翻转角、左右翻转角和平面旋转角；r(α,β,γ)表示旋转矩阵；||·||2表示l2范数。

19、进一步地，所述方法还包括：

20、响应于所述标准运动视频播放完成，根据各个用户动作关键帧图像，将所述用户训练视频进行子动作片段分割，得到预设数目的用户子动作片段，并分别对各个用户子动作片段进行姿态准确度和动作完成度评估，得到对应的子动作运动综合评分，以及计算各个子动作运动综合评分的平均值，得到运动综合评分；所述用户子动作片段包括对应的用户动作关键帧图像。

21、进一步地，所述分别对各个用户子动作片段进行姿态准确度和动作完成度评估，得到对应的子动作运动综合评分的步骤包括：

22、将各个用户子动作片段输入预先构建的第二运动识别模型进行动作表情识别，得到对应的子动作综合识别结果；所述子动作综合识别结果包括子动作综合表情识别结果和子动作综合动作识别结果；

23、将各个子动作综合识别结果和对应的标准运动综合识别结果进行比对分析，得到对应的子动作姿态评分；

24、获取各个用户子动作片段的子运动持续时长，根据所述子运动持续时长和对应的标准子运动持续时长，得到子动作完成度评分；

25、将所述子动作姿态评分和所述子动作完成度评分进行加权平均，得到所述子动作运动综合评分。

26、进一步地，所述第二运动识别模型包括并列的表情识别模块和姿态动作识别模块；所述表情识别模块包括人脸检测模块、cnn卷积网络、特征点变化提取模块、帧特征权重模块、帧特征融合模块和分类器；所述姿态动作识别模块包括头部特征提取模块、身体姿态特征提取模块、特征融合模块和时空卷积网络。

27、进一步地，通过所述表情识别模块获取所述子动作综合表情识别结果的步骤包括：

28、将所述用户子动作片段中的各个用户帧图像输入所述人脸检测模块进行人脸目标检测，获取对应的人脸区域帧图像；

29、将各个人脸区域帧图像输入所述cnn卷积网络进行表情特征提取，得到时序帧表情特征；

30、将各个人脸区域帧图像输入所述特征点变化提取模块进行相邻帧特征点变化分析，得到对应的特征点变化矩阵；所述特征点变化矩阵的特征点变化行向量包括两个相邻人脸区域帧图像中各个预设人脸特定点的变化程度；

31、将所述特征点变化矩阵输入所述帧特征权重模块进行帧图像变化程度提取，得到各个人脸区域帧图像对应的帧特征权重；

32、将所有时序帧表情特征和对应的帧特征权重输入所述帧特征融合模块进行加权融合，得到对应的综合表情特征；

33、将所述综合表情特征输入所述分类器进行分类预测，得到所述子动作综合表情识别结果。

34、进一步地，所述将所述特征点变化矩阵输入所述帧特征权重模块进行帧图像变化程度提取，得到各个人脸区域帧图像对应的帧特征权重的步骤包括：

35、对所述特征点变化矩阵的特征点变化行向量进行平均值计算，得到对应的特征变化平均向量；

36、将各个特征点变化行向量与所述特征变化平均向量的对应元素的差值累加，得到对应的帧特征变化程度；所述帧特征变化程度表示为：

37、

38、其中，ei表示第i个特征变化平均向量的帧特征变化程度；和分别表示第i个特征变化平均向量和特征变化平均向量的第m个元素；m表示预设人脸特定点的数目；i表示人脸区域帧图像的数目；

39、将各个帧特征变化程度归一化，得到对应的帧特征权重；所述帧特征权重表示为：

40、

41、其中，wi表示第i个人脸区域帧图像对应的帧特征权重；emin和emax分别表示最小帧特征变化程度和最大特征变化程度；a表示帧特征权重调整参数。

42、第二方面，本发明实施例提供了一种运动动作识别评估系统，所述系统包括：

43、关键帧获取模块，用于响应于标准运动视频的点击播放，实时接收用户训练视频，并根据预设数目的关键标准动作帧图像的时序，依次获取所述用户训练视频中对应的用户动作关键帧图像；

44、帧特征提取模块，用于将所述用户动作关键帧图像输入预先构建的第一运动识别模型进行特征提取，得到对应的用户关键帧姿态表情特征；所述用户关键帧姿态表情特征包括关键帧表情特征和关键帧姿态特征；所述关键帧姿态特征包括关键帧头部姿态特征和关键帧身体姿态特征；

45、比对分析模块，用于将所述用户关键帧姿态表情特征和对应的标准关键帧姿态表情特征进行比对分析，得到对应的关键动作评分和关键动作表现提示；所述关键动作表现提示为点赞欢呼或姿势优化提醒；所述姿势优化提醒包括动作姿态提醒和表情提醒中的至少一种。

46、第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

47、第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

48、上述本技术提供了一种运动动作识别评估方法、系统、计算机设备和存储介质，通过所述方法实现了响应于标准运动视频的点击播放，实时接收用户训练视频，根据预设数目的关键标准动作帧图像的时序，依次获取用户训练视频中对应的用户动作关键帧图像，将用户动作关键帧图像输入预先构建的第一运动识别模型进行特征提取，得到对应的包括关键帧表情特征、以及包括关键帧头部姿态特征和关键帧身体姿态特征的关键帧姿态特征的用户关键帧姿态表情特征后，将用户关键帧姿态表情特征和对应的标准关键帧姿态表情特征进行比对分析，得到对应的关键动作评分，和采用点赞欢呼或包括动作姿态提醒和表情提醒中的至少一种的姿势优化提醒的关键动作表现提示的技术方案。与现有技术相比，该运动动作识别评估方法，基于身体姿态、头部姿态和人脸表情对运动姿态进行多方向多维度综合比对，有效提高动作评估反馈的精准性，进而较大程度地提升了个人健身效果和运动体验。