基于数据融合的健身动作纠错方法及系统与流程

本发明涉及智能健身技术，具体涉及基于数据融合的健身动作纠错方法及系统。

背景技术：

1、数据融合技术是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。通过数据融合技术可以将来自多个传感器的数据和相关数据的信息相结合，以实现比单独使用单个传感器所能实现的更高的准确性和更具体的推论。

2、目前在智能健身中，数据融合技术可以很好的对用户的健身动作进行识别和检测，这些识别和检测结果往往通过数据的方式进行展示，使得用户无法直观的看到自己与健身动作的差异并及时进行纠错。

技术实现思路

1、本发明所要解决的技术问题是现有的数据融合技术应用在智能健身中时，使得用户无法直观的看到自己与健身动作的差异并及时进行纠错，目的在于提供基于数据融合的健身动作纠错方法及系统，解决上述问题。

2、本发明通过下述技术方案实现：

3、在一个方面，本实施例提供了基于数据融合的健身动作纠错方法，包括：

4、通过摄像头采集用户具有深度信息的图像作为第一图像信息，并通过配置于用户的imu传感器采集用户的imu数据作为第一运动信息；

5、根据所述第一图像信息对所述第一运动信息进行修正生成第二运动信息；

6、根据所述第二运动信息和所述第一图像信息合成用户的虚拟图像信息作为第二图像信息，并向用户同步展示所述第二图像信息和对应所述第二图像信息的健身视频。

7、现有技术中，智能健身中经常采用将图像信息和imu数据融合的方式检测用户动作的标准程度，目前对于用户动作的标准程度的展示主要通过显示评分等方式进行，对于用户来说这种方式并不直观。例如某健身镜中采用用户每完成一个动作就向用户显示完美、良好、一般等信息，虽然用户可以明确得知自己的动作是否做的标准，但是无法得知自己的动作哪里不标准，难以就行及时的修正。

8、本实施例实施时，首先进行数据融合，即将第一图像信息和第一运动信息进行融合，其中第一图像信息是通过深度摄像头拍摄实现的，深度摄像头可以根据图像成型变形情况获取深度信息，也可以通过激光雷达或者超声波雷达获取深度信息，本实施例中所述的深度信息是指某个点位垂直于深度摄像头拍摄面的位置信息。

9、在本实施例中进行数据融合的主要方式是通过第一图像信息对第一运动信息进行修正，其主要原因在于imu传感器的数据检测的为加速度信息，需要通过二次积分计算位移数据，再通过位移数据计算坐标数据，其过程很容易产生误差，同时imu传感器的数据偏移也会叠加，所以通过第一图像信息得知动作的起始时刻与终止时刻信息，与imu提供的轨迹信息融合，可以增加整个动作判断的精准性，减少误判的几率，提升实际用户体验。

10、修正后的第二运动信息被认为是准确的用户运动数据，基于第二运动信息可以形成用户佩戴imu传感器各部位的运动轨迹。为了直观的向用户展示用户动作的标准情况，在本实施例中通过第二运动信息和第一图像信息合成用户的虚拟图像信息进行展示，其中可以采用的方式是从第一图像信息中捕捉人物的着装、动作，而通过更准确的第二运动信息进行点位的确定，从而生成虚拟图像信息进行展示，用户可以通过比较虚拟图像信息与健身视频，清晰的看到自己的动作和健身视频动作的区别。同时，虚拟图像信息可以随时进行缩放、旋转、快慢播放等功能，比起直接播放用户的第一图像信息或者镜面反射的方式，可以更有效直观的展示用户的动作标准情况，用户可以实时观察自己动作程度，加上imu的动作纠错提示，用户可以很快的纠正自己的错误，避免错误发力造成的运动损伤。本发明通过生成虚拟人物的方式进行用户动作标准程度的展示，有利于用户健身中健身动作的纠错，提高了用户体验，也可以极大的避免用户错误发力造成的运动损伤。

11、进一步的，通过摄像头采集用户具有深度信息的图像作为第一图像信息包括：

12、通过配置于所述摄像头的雷达获取所述摄像头到用户任意位置的距离，并将所述距离处理后作为深度信息加入所述第一图像信息。

13、进一步的，根据所述第一图像信息对所述第一运动信息进行修正生成第二运动信息包括：

14、当用户完成一段动作时，从所述第一图像信息中获取用户开始该段动作的帧作为起始帧，从所述第一图像信息中获取用户结束该段动作的帧作为结束帧；

15、从所述起始帧中提取关键点的坐标作为起始坐标，并从所述结束帧中提取关键点的坐标作为结束坐标；所述关键点为采集所述第一运动信息的点位；

16、根据所述结束坐标相对所述起始坐标的变化对所述第一运动信息进行修正生成第二运动信息。

17、进一步的，根据所述第二运动信息和所述第一图像信息合成用户的虚拟图像信息作为第二图像信息包括：

18、获取所述第一图像信息中用户各部位的图像数据，并根据所述图像数据生成用户各部位的三维图形；

19、根据所述第二运动信息将各用户部位的三维图形进行拼接形成用户的虚拟图像信息作为第二图像信息。

20、进一步的，所述用户部位根据关键点划分；所述关键点为采集所述第一运动信息的点位；

21、根据所述第二运动信息将各用户部位的三维图形进行拼接形成用户的虚拟图像信息作为第二图像信息包括：

22、将所述三维图形根据所述关键点进行拼接形成静态三维图形；

23、将所述第二运动信息的坐标值赋值于所述静态三维图形中对应的所述关键点，并根据所述关键点的坐标值调整所述静态三维图形形成所述第二图像信息。

24、在另一个方面，本实施例提供了基于数据融合的健身动作纠错系统，包括：

25、摄像头，被配置为采集用户具有深度信息的图像作为第一图像信息；

26、配置于用户的imu传感器，被配置为采集用户的imu数据作为第一运动信息；

27、处理器，被配置为根据所述第一图像信息对所述第一运动信息进行修正生成第二运动信息；根据所述第二运动信息和所述第一图像信息合成用户的虚拟图像信息作为第二图像信息，并通过显示装置向用户同步展示所述第二图像信息和对应所述第二图像信息的健身视频。

28、进一步的，所述摄像头配置有用于获取所述摄像头到用户任意位置的距离的雷达，所述摄像头将所述距离处理后作为深度信息加入所述第一图像信息。

29、进一步的，所述处理器被配置为：

30、当用户完成一段动作时，从所述第一图像信息中获取用户开始该段动作的帧作为起始帧，从所述第一图像信息中获取用户结束该段动作的帧作为结束帧；

31、从所述起始帧中提取关键点的坐标作为起始坐标，并从所述结束帧中提取关键点的坐标作为结束坐标；所述关键点为采集所述第一运动信息的点位；

32、根据所述结束坐标相对所述起始坐标的变化对所述第一运动信息进行修正生成第二运动信息。

33、进一步的，所述处理器被配置为：

34、获取所述第一图像信息中用户各部位的图像数据，并根据所述图像数据生成用户各部位的三维图形；

35、根据所述第二运动信息将各用户部位的三维图形进行拼接形成用户的虚拟图像信息作为第二图像信息。

36、进一步的，所述用户部位根据关键点划分；所述关键点为采集所述第一运动信息的点位；

37、所述处理器被配置为：

38、将所述三维图形根据所述关键点进行拼接形成静态三维图形；

39、将所述第二运动信息的坐标值赋值于所述静态三维图形中对应的所述关键点，并根据所述关键点的坐标值调整所述静态三维图形形成所述第二图像信息。

40、本发明与现有技术相比，具有如下的优点和有益效果：

41、本发明基于数据融合的健身动作纠错方法及系统，通过生成虚拟人物的方式进行用户动作标准程度的展示，有利于用户健身中健身动作的纠错，提高了用户体验，也可以极大的避免用户错误发力造成的运动损伤。