基于深度视频技术的IMU数据矫正方法及系统与流程

本发明涉及imu数据处理技术，具体涉及基于深度视频技术的imu数据矫正方法及系统。

背景技术：

1、现有技术中，通过imu数据进行姿态采集的方式已经开始广泛应用于无人机姿态信息和运动信息数据采集中，在采用imu数据计算位姿时，我们基于对假设是在采样周期时间间隔内对运动为匀变速运动，这一假设在一个小的采样周期内(如10ms)的误差虽然很小，但是顺着时间的推移会有累积误差，同时imu数据本身的零偏也会导致累积误差。目前对于无人机的imu数据修正一般是基于gps数据进行信息修正的，然而gps数据的精度无法满足运动信息数据中的修正条件。

技术实现思路

1、本发明所要解决的技术问题是现有技术无法满足运动信息数据中的修正条件，目的在于提供基于深度视频技术的imu数据矫正方法及系统，解决上述问题。

2、本发明通过下述技术方案实现：

3、基于深度视频技术的imu数据矫正方法，包括：

4、通过配置于健身镜的深度摄像头采集带有深度信息的图像信息，并通过配置于用户的imu传感器采集imu数据；所述imu数据和所述图像信息沿时间轴对齐；

5、通过所述图像信息生成预设点位的空间坐标，并通过所述空间坐标修正所述预设点位对应的imu数据。

6、现有技术中，通过ekf技术进行多种数据与imu数据的融合已经开始出现，尤其是通过gps数据与imu数据的融合，已经广泛应用到无人机的姿态检测数据调整当中。但是发明人发现对于人体的运动数据采集时，gps数据的误差甚至会远大于imu数据的误差，特别是进行健身活动的环境下，gps信号也会很差，所以是难以通过现有技术对这些imu数据进行融合修正的。

7、本实施例实施时，采用了图像信息进行imu数据的融合修正，其中图像信息是具有深度信息的，即可以获取图像中某一位置到深度摄像头的位置作为该位置的深度信息。其中为了保证imu数据修正的准确度，需要将imu数据和图像信息沿时间轴对齐，对齐的方式可以采用imu数据的头部和图像信息的头部进行对齐，也可以采用对不同的imu数据及图像信息帧进行编码对齐的方式。应当理解的是，无论采用何种对齐方式，都应当被认定为在本申请的保护范围之内。

8、在本实施例中，通过图像信息生成预设点位的空间坐标的方式，可以对imu数据进行修正。示例的，作为一种imu数据修正方式，采用ekf技术对imu数据的加速度矩阵进行融合修正；在这个过程中，可以通过对imu数据进行二次积分生成位移矩阵，并将多次imu数据的位移矩阵累加后形成所述预设点位的坐标数据，通过所述空间坐标和坐标数据进行比对，完成最终的数据修正。

9、应当理解的是，对于数据处理过程而言，图像信息的采集、识别和处理过程所需要消耗的计算资源是远远大于imu数据的采集和处理的，所以在本实施例中，是通过图像信息数据对imu数据进行修正，而不是采用图像信息数据直接生成可以用于展示的姿态信息的，这样可以有效的降低健身镜使用时的计算资源消耗，提高了健身镜对用户运动姿态识别的相应速度。

10、作为另一种实现方式，还可以采集至少一次的空间坐标和坐标数据的差异，然后通过该差异直接周期性的对imu数据进行修正，这样进一步降低图像信息采集的频率，甚至停止图像信息的采集，有效的节省健身镜计算资源的消耗。本实施例通过采集到的具有深度信息的图像信息对imu数据进行修正，实现了对健身过程中采集到用户的imu数据的实时修正，提高了imu数据检测用户姿态的准确性，具有有效的实时性，提升了用户体验感。

11、进一步的，所述imu数据的采样频率是所述图像信息的采样频率整数倍。

12、进一步的，通过所述图像信息生成预设点位的空间坐标包括：

13、将所述健身镜的显示屏网格化形成平面坐标系；

14、根据所述深度摄像头的广角情况将所述平面坐标系修正为空间坐标系；

15、通过所述图像信息中的平面信息和所述深度信息在所述空间坐标系中生成预设点位的空间坐标。

16、进一步的，通过所述空间坐标修正所述预设点位对应的imu数据包括：

17、获取所述预设点位的imu数据，并将所述imu数据处理为坐标数据形成待修正空间坐标数据；

18、获取所述预设点位在同一时刻的空间坐标；

19、根据空间坐标和所述修正空间坐标数据形成imu误差数据，并根据所述imu误差数据对所述imu数据进行修正。

20、进一步的，通过所述空间坐标修正所述预设点位对应的imu数据还包括：

21、当完成至少一次对所述imu数据的修正时，降低所述图像信息的采样频率或者停止所述图像信息的采样；

22、如果停止所述图像信息的采样，则根据停止采样前的所述误差数据对停止采样后的所述imu数据进行持续修正。

23、基于深度视频技术的imu数据矫正系统，包括：

24、深度摄像头，被配置于健身镜，并采集带有深度信息的图像信息；

25、imu传感器，被配置于用户，并采集imu数据；所述imu数据和所述图像信息沿时间轴对齐；

26、处理器，被配置为通过所述图像信息生成预设点位的空间坐标，并通过所述空间坐标修正所述预设点位对应的imu数据。

27、进一步的，所述imu数据的采样频率是所述图像信息的采样频率整数倍。

28、进一步的，所述处理器还被配置为：

29、将所述健身镜的显示屏网格化形成平面坐标系；

30、根据所述深度摄像头的广角情况将所述平面坐标系修正为空间坐标系；

31、通过所述图像信息中的平面信息和所述深度信息在所述空间坐标系中生成预设点位的空间坐标。

32、进一步的，所述处理器还被配置为：

33、获取所述预设点位的imu数据，并将所述imu数据处理为坐标数据形成待修正空间坐标数据；

34、获取所述预设点位在同一时刻的空间坐标；

35、根据空间坐标和所述修正空间坐标数据形成imu误差数据，并根据所述imu误差数据对所述imu数据进行修正。

36、进一步的，所述处理器还被配置为：

37、当完成至少一次对所述imu数据的修正时，降低所述图像信息的采样频率或者停止所述图像信息的采样；

38、如果停止所述图像信息的采样，则根据停止采样前的所述误差数据对停止采样后的所述imu数据进行持续修正。

39、本发明与现有技术相比，具有如下的优点和有益效果：

40、本发明基于深度视频技术的imu数据矫正方法及系统，通过采集到的具有深度信息的图像信息对imu数据进行修正，实现了对健身过程中采集到用户的imu数据的实时修正，提高了imu数据检测用户姿态的准确性，具有有效的实时性，提升了用户体验感。

技术特征：

1.基于深度视频技术的imu数据矫正方法，其特征在于，包括：

2.根据权利要求1所述的基于深度视频技术的imu数据矫正方法，其特征在于，所述imu数据的采样频率是所述图像信息的采样频率整数倍。

3.根据权利要求1所述的基于深度视频技术的imu数据矫正方法，其特征在于，通过所述图像信息生成预设点位的空间坐标包括：

4.根据权利要求1所述的基于深度视频技术的imu数据矫正方法，其特征在于，通过所述空间坐标修正所述预设点位对应的imu数据包括：

5.根据权利要求4所述的基于深度视频技术的imu数据矫正方法，其特征在于，通过所述空间坐标修正所述预设点位对应的imu数据还包括：

6.基于深度视频技术的imu数据矫正系统，其特征在于，包括：

7.根据权利要求6所述的基于深度视频技术的imu数据矫正系统，其特征在于，所述imu数据的采样频率是所述图像信息的采样频率整数倍。

8.根据权利要求6所述的基于深度视频技术的imu数据矫正系统，其特征在于，所述处理器还被配置为：

9.根据权利要求6所述的基于深度视频技术的imu数据矫正系统，其特征在于，所述处理器还被配置为：

10.根据权利要求9所述的基于深度视频技术的imu数据矫正系统，其特征在于，所述处理器还被配置为：

技术总结
本发明公开了基于深度视频技术的IMU数据矫正方法，包括：通过配置于健身镜的深度摄像头采集带有深度信息的图像信息，并通过配置于用户的IMU传感器采集IMU数据；IMU数据和图像信息沿时间轴对齐；通过图像信息生成预设点位的空间坐标，并通过空间坐标修正预设点位对应的IMU数据。本发明还公开了基于深度视频技术的IMU数据矫正系统。本发明基于深度视频技术的IMU数据矫正方法及系统，通过采集到的具有深度信息的图像信息对IMU数据进行修正，实现了对健身过程中采集到用户的IMU数据的实时修正，提高了IMU数据检测用户姿态的准确性，具有有效的实时性，提升了用户体验感。

技术研发人员：张谦,付勇,奚伟涛,张博文
受保护的技术使用者：成都拟合未来科技有限公司
技术研发日：
技术公布日：2024/1/13