一种人体运动评分体系构建方法、系统、设备及存储介质与流程

本发明实施例涉及智能家居，具体涉及一种人体运动评分体系构建方法、系统、设备及存储介质。

背景技术：

1、随着软硬件智能化的普及，智能家居逐渐成为城市家电的主流产品，伴随智能化的升级迭代，用户不再满足于家居场景中的智慧物联需求，对居家健身、养生操、康复训练等需求接踵而至。

2、目前这类场景需求多以购置一台健身镜为主，以大屏的形式进行参考运行、锻炼，但是当前的健身大屏虽然能清晰直观的参照运动却无法进一步感知与互动，对于互动性极强的智能家居而言，这类健身镜反而变得定位模糊和功能鸡肋，如何提升健身镜的互动性、专业性、用户感知能力成为了产品研发的一大瓶颈，构建一个人体运动评分体系可以有效提升健身镜的存在感和辅助能力、互动性，当前的运动评分系统在多功能性、便携性、个性化指导、互动性、数据分析和记录等方面难以做到面面俱到，具有如下缺点：

3、1)硬件成本高：基于传感器的方案通常需要额外的硬件设备，如加速度计、陀螺仪、心率监测器等，这些设备增加了产品的成本，使其不太适合大众消费市场；

4、2)计算资源要求高：基于计算机视觉的方案需要大量的计算资源来处理图像和视频数据，这对于一些智能家居设备来说超出了其硬件性能限制，导致性能不稳定；

5、3)训练数据和模型复杂性：基于机器学习的方案需要大量的训练数据和复杂的模型来识别和评估运动，这对于产品开发和维护来说具有挑战性，需要专业的团队和资源。

技术实现思路

1、为此，本发明实施例提供一种人体运动评分体系构建方法、系统、设备及存储介质，以解决现有基于健身镜的运动评分系统互动性有限、准确性专业性不足，难以提升用户感知能力的技术问题。

2、为了实现上述目的，本发明实施例提供如下技术方案：

3、根据本发明实施例的第一方面，提供了一种人体运动评分体系构建方法，所述方法包括：

4、s1、利用预设人体识别模型进行人体识别，获取人体识别数据并进行关键点标注，生成标记数据集，利用预设hrnet作为骨干网络构建人体关键点识别深度神经网络模型；

5、s2、对所述人体关键点识别深度神经网络模型进行训练并根据实际使用场景进行微调；

6、s3、利用rtsp协议进行视频流实时传输并将所述视频流传入人体识别服务中，获取人体关键点识别结果，将所述人体关键点识别结果反馈至健身平台，实现与用户互动界面的对接；

7、s4、利用计算机视觉对人体的运动姿态进行识别获取骨骼关键点并与预设教练人体关键点进行比对，生成姿态评分并反馈至健身平台；

8、s5、抽取用户运动过程中的行为特征并获取主流健身平台的评分结果，训练出一个适配多特征参数的机器学习模型并以分钟级展示当前用户的运动评分。

9、进一步地，利用预设人体识别模型进行人体识别，获取人体识别数据并进行关键点标注，生成标记数据集，包括：

10、将健身镜正确摆放并对照健身教程进行运动；

11、采集实时场景录像并输入至人体识别模型中提取存在人员入境的视频帧；

12、利用所述视频帧构建场景数据集；

13、利用label-studio对采集到的人体识别数据进行标注，标记每一帧中人员的的17个关键点位；

14、通过mscoco将关键点位数据导出，生成标记数据集。

15、进一步地，利用预设hrnet作为骨干网络构建人体关键点识别深度神经网络模型，包括：

16、读取视频帧数据并获取人体截图，将所述人体截图进行降采样，生成降采样图像；

17、将所述降采样图像输入至人体姿态估计模型中进行热图预测，获得预测热图并进行对应分辨率恢复；

18、分辨率恢复后转换至原始坐标空间并获得原始图像中的关节位置坐标；

19、所述预测热图的公式为：

20、

21、其中，x为预测热图中的像素位置，μ为待估计的关节位置的高斯均值，σ为协方差对角阵；

22、协方差对角阵的表达式为：

23、

24、其中，σ为2个方向的标准差。

25、进一步地，对所述人体关键点识别深度神经网络模型进行训练并根据实际使用场景进行微调，包括：

26、对原始数据进行清洗，将标注格式进行标准化并根据预设比利分割数据集，形成训练数据集与测试数据集；

27、将所述测试数据集中的数据输入至人体关键点识别深度神经网络模型中进行训练，优化人体关键点识别深度神经网络模型对实际场景的适配；

28、将实际的场景录像或实时视频流进行解析并逐帧完成视频中的人体识别与人体关键点识别并记录至系统数据库中；

29、将识别结果与预设核对结果进行对照评估，当准确性与召回率均达到可用阈值则与用户互动界面对接。

30、进一步地，利用rtsp协议进行视频流实时传输并将所述视频流传入人体识别服务中，获取人体关键点识别结果，将所述人体关键点识别结果反馈至健身平台，实现与用户互动界面的对接，包括：

31、获取实时视频流；

32、将所述视频流中的视频帧输入至人体识别模型与人体关键点识别模型中，形成实时人体关键点识别结果；

33、将教练视频库中的视频帧输入至人体识别模型与人体关键点识别模型中，获得人体关键点参照结果；

34、获取关键点位实时相似度，将所述关键点位实时相似度输入至平台数据库中，反馈至健身平台。

35、进一步地，利用计算机视觉对人体的运动姿态进行识别获取骨骼关键点并与预设教练人体关键点进行比对，生成姿态评分并反馈至健身平台，还包括：

36、使用经过训练的深度学习模型，对教程库中上传的所有视频生成对应视频中每个关键帧的人体关键点，并存储到数据库中作为参照组，在用户进行人体关键点进行实时识别时，在获取了骨骼关键点的位置后同步比对数据库中教练人体关键点，将各自点位坐标内积计算其余弦相似度以达到姿态评分的作用并反馈给健身平台来与用户互动。

37、进一步地，抽取用户运动过程中的行为特征并获取主流健身平台的评分结果，训练出一个适配多特征参数的机器学习模型并以分钟级展示当前用户的运动评分，还包括：基本时序单位为1500帧。

38、根据本发明实施例的第二方面，提供了一种人体运动评分体系构建系统，所述系统包括：

39、人体识别模块，用于利用预设人体识别模型进行人体识别，获取人体识别数据并进行关键点标注，生成标记数据集，利用预设hrnet作为骨干网络构建人体关键点识别深度神经网络模型；

40、训练及微调模块，用于对所述人体关键点识别深度神经网络模型进行训练并根据实际使用场景进行微调；

41、人体关键点识别模块，用于利用rtsp协议进行视频流实时传输并将所述视频流传入人体识别服务中，获取人体关键点识别结果，将所述人体关键点识别结果反馈至健身平台，实现与用户互动界面的对接；

42、比对模块，用于利用计算机视觉对人体的运动姿态进行识别获取骨骼关键点并与预设教练人体关键点进行比对，生成姿态评分并反馈至健身平台；

43、运动评分展示模块，用于抽取用户运动过程中的行为特征并获取主流健身平台的评分结果，训练出一个适配多特征参数的机器学习模型并以分钟级展示当前用户的运动评分。

44、根据本发明实施例的第三方面，提供了一种人体运动评分体系构建设备，所述设备包括：处理器和存储器；

45、所述存储器用于存储一个或多个程序指令；

46、所述处理器，用于运行一个或多个程序指令，用以执行如上任一项所述的一种人体运动评分体系构建方法的步骤。

47、根据本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述一种人体运动评分体系构建方法的步骤。

48、本发明实施例具有如下优点：

49、本发明实施例具体包括如下步骤：s1、利用预设人体识别模型进行人体识别，获取人体识别数据并进行关键点标注，生成标记数据集，利用预设hrnet作为骨干网络构建人体关键点识别深度神经网络模型；s2、对所述人体关键点识别深度神经网络模型进行训练并根据实际使用场景进行微调；s3、利用rtsp协议进行视频流实时传输并将所述视频流传入人体识别服务中，获取人体关键点识别结果，将所述人体关键点识别结果反馈至健身平台，实现与用户互动界面的对接；s4、利用计算机视觉对人体的运动姿态进行识别获取骨骼关键点并与预设教练人体关键点进行比对，生成姿态评分并反馈至健身平台；s5、抽取用户运动过程中的行为特征并获取主流健身平台的评分结果，训练出一个适配多特征参数的机器学习模型并以分钟级展示当前用户的运动评分。本发明实施例能够实时识别用户的运动姿势和动作，并提供即时反馈，增强了用户与系统的互动性，能有效提升用户活跃度与粘性，智能识别和评估运动表现，为用户提供更智能化的运动体验的技术效果，提升系统的专业性，可将动作高亮提示，帮助用户更准确地完成动作，为提高运动效果提供技术支撑。