一种融合视觉与惯性传感器的步态分析方法

本发明属于步态分析，尤其涉及一种融合视觉与惯性传感器的步态分析方法。

背景技术：

1、步态分析是运动学的重要研究内容，广泛用于人类的疾病诊断和康复效果评价。光学运动捕捉系统是步态分析的传统测量工具，可以获得准确的步态时空参数与踝关节角度等运动数据。但光学运动捕捉系统价格昂贵，并且需要专用布设空间进行动作捕捉，尚不能实现在临床环境的普及。微软kinect可以在没有反射标记情况下测量步态时空参数，但无法准确测量踝关节活动范围。

2、为解决上述问题，中国专利文献cn116350215a的发明中公开了一种基于惯性传感器的步态分析方法，该发明通过安装在用户双脚上的惯性传感器获取imu数据，并对imu的数据进行姿态解算获取运动信息；又如中国专利文献cn115953838a的发明中公开了基于mlp-yolov5网络的步态图像跟踪识别系统，该发明能通过视频得到人体关节点的坐标，并通过匹配算法计算得到人体步态数据。

3、但是，但imu会随时间产生漂移，影响计算精度，视觉传感器在高速运动时数据会丢失，并且容易受遮挡影响。

技术实现思路

1、为解决以上问题，本发明提供了一种融合视觉与惯性传感器的步态分析方法，包括：

2、s1、获取目标人物步态视频，利用openpose模型分析目标人物步态视频，得到骨骼关节坐标以及骨骼关节坐标的置信度；

3、s2、通过惯性传感器获取imu数据；所述imu数据包括加速度计数据和陀螺仪数据；

4、s3、对骨骼关节坐标和imu数据进行预处理；

5、s4、根据预处理后的骨骼关节坐标和预处理后的imu数据计算步态时空参数；

6、s5、根据骨骼关节坐标的置信度、预处理后的骨骼关节坐标和预处理后的imu数据计算踝关节角度。

7、所述骨骼关节包括：髋关节、膝关节、踝关节、踵部、脚趾；所述髋关节包括髋关节中部、左髋部中点和右髋部中点。

8、对骨骼关节坐标和imu数据进行预处理包括：对imu的加速度计数据和骨骼关节坐标分别进行巴特沃斯低通滤波；对imu的陀螺仪数据进行巴特沃斯高通滤波。

9、根据预处理后的骨骼关节坐标和预处理后的imu数据计算步态时空参数包括：

10、s41、在预处理后的骨骼关节坐标中检测髋关节中部、左髋部中点和右髋部中点的坐标，若三个坐标均能检测到，则利用预处理后的骨骼关节坐标计算步态速度；否则，利用预处理后的imu数据计算步态速度；

11、s42、根据预处理后的骨骼关节坐标中的踵部坐标计算步幅长度。

12、根据预处理后的骨骼关节坐标计算步态速度包括：

13、根据预处理后的骨骼关节坐标计算髋关节中部速度、左髋部中点速度和右髋部中点速度；对髋关节中部速度、左髋部中点速度和右髋部中点速度进行平均加权，得到步态速度。

14、使用预处理后的imu数据计算步态速度包括：

15、s411、根据预处理后的陀螺仪数据计算增量四元数；

16、s412、根据增量四元数计算姿态四元数；

17、s413、利用姿态四元数去除预处理后的加速度计数据中的重力分量，得到线性加速度；

18、s414、将线性加速度转换到东北天坐标系下，根据东北天坐标系下的线性加速度计算步态速度。

19、根据骨骼关节坐标的置信度、预处理后的骨骼关节坐标和预处理后的imu数据计算踝关节角度包括：

20、s51、根据骨骼关节坐标的置信度、预处理后的骨骼关节坐标和预处理后的imu数据采用互补滤波的方法估计前侧脚踝关节角度；

21、s52、根据预处理后的骨骼关节坐标和预处理后的imu数据采用扩展卡尔曼滤波的方法估计后侧脚踝关节角度。

22、采用互补滤波的方法估计前侧脚踝关节角度包括：

23、s511、根据预处理后的加速度数据计算角度θa[t]；

24、s512、根据预处理后的陀螺仪数据计算角度θω[t]；

25、s513、根据预处理后的骨骼关节坐标计算角度θop[t]；

26、s514、当踝关节坐标、膝关节坐标以及脚趾中点坐标中至少有两个坐标的置信度小于0.5时，则最终的前侧脚踝关节角度为：

27、θfoot[t]＝bθa[t]+cθω[t]

28、其中，b和c分别为角度θa(t)和角度θω(t)的权重系数，且b+c＝1；

29、否则，根据角度θa(t)和角度θω(t)，通过互补滤波计算最终的前侧脚踝关节角度：

30、θfoot[t]＝dθa[t]+eθω[t]+(1-d-e)θop[t]

31、其中，d和e分别为角度θa(t)和角度θω(t)的权重系数。

32、采用扩展卡尔曼滤波的方法估计后侧脚踝关节角度包括：

33、s521、建立状态方程和测量方程；

34、s522、根据加速度计数据、陀螺仪数据以及状态方程进行状态预测，得到当前时刻的状态预测值

35、s523、判断预处理后的骨骼关节坐标是否包含后侧脚的骨骼关节坐标；如果不包含，则将状态预测值作为后侧脚踝关节角度；否则，根据后侧脚的骨骼关节坐标、状态方程和测量方程进行测量更新和状态更新，得到后侧脚踝关节角度。

36、进行测量更新和状态更新包括：

37、步骤1、根据预处理后的骨骼关节坐标计算后侧脚踝关节角度θ'op[t]；

38、步骤2、根据状态预测值计算观测值

39、步骤3、计算协方差矩阵pk|k-1：

40、pk|k-1＝fk-1pk-1fk-1t+qk-1；

41、步骤4、根据协方差矩阵pk|k-1计算卡尔曼增益kk：

42、kk＝pk|k-1hk't[hk'pk|k-1hk'+rk]-1；

43、步骤5、根据状态预测值后侧脚踝关节角度θ'op[t]、观测值和卡尔曼增益kk进行状态更新，得到后侧脚踝关节角度

44、步骤6、根据测量方程和卡尔曼增益kk更新协方差矩阵pk|k-1，得到最优估计协方差矩阵pk：

45、pk＝[i-kkhk']pk|k-1

46、其中，pk-1为上一时刻的最优估计协方差矩阵，fk-1是状态方程的雅可比矩阵，qk-1为系统噪声的协方差矩阵，hk'为测量方程的雅可比矩阵，r为测量噪声的协方差矩阵，i为单位矩阵。

47、有益效果：

48、1、本发明根据不同骨骼关节的重要性来进行速度信息的加权，以更好地反映步态速度；2、对于有少量遮挡或者无遮挡的前侧脚，由于陀螺仪提供了短时间内的高频角速度信息，对于快速运动的响应较好，因此，在短时间内，本发明给予陀螺仪较大的权重，使得系统更加敏感于快速变化的姿态；由于加速度计和openpose提供了长时间内的低频角度信息，在快速运动时响应较弱，因此，在短时间内，本发明将它们的权重相对减小，以降低其对系统在短时间内的角度估计的影响；3、对于有大量遮挡的后侧脚，由于视觉传感器提供大量不完整的数据，本发明采用了一种基于扩展卡尔曼滤波的关节角计算，使它更具适应性和鲁棒性；4、加速度计在高频段的信号不可靠，陀螺仪在低频段的信号质量较差，因此本发明通过低通滤波来抑制加速度计数据中的高频噪声、通过高通滤波抑制陀螺仪数据中的低频噪声以及通过低通滤波去除骨骼点坐标中的高频噪声和不稳定的运动，从而得到更平滑和稳定的运动轨迹。