一种三维步态特征提取及异常步态评估的实现方法

本发明涉及步态特征提取及异常步态评估方法领域，涉及一种三维步态特征提取及异常步态评估的实现方法。

背景技术：

1、在步态特征提取及异常步态评估任务中，步态障碍在老年人、手术后患者或运动损伤患者中较为常见，十分影响生活质量。近几年研究学者利用视觉传感器或可穿戴传感器进行步态特征提取，然而，步态特征提取及异常步态评估的研究依然存在一定的困难。利用可穿戴传感器来获取人体的步态参数，可以获得较为精确的步态特征并对步态做出准确的识别和分析，但是由于可穿戴传感器价格较视觉传感器来说比较昂贵，其穿戴以及校准都需要专业人员进行指导。使用视觉传感器进行步态特征提取与分析虽然能较好的解决上述问题，但仍存在步态识别精度低，人体关节有遮挡等问题。同时，由神经系统或肌肉骨骼系统的疾病导致的步态异常康复评估通常依赖医师利用步态量表进行主观判断，如tinetti量表和holden功能性步态量表等。这种方法具有较高的主观性，医师人工诊断也无法提供详细的步长、步宽和关节角等步态参数，不利于医师快速、准确地评估老年人和步态障碍患者的运动功能，并为其提供合适的康复训练计划。

技术实现思路

1、针对现有步态特征提取及异常步态评估技术的不足，本发明提供一种三维步态特征提取及异常步态评估的实现方法。旨在使用低成本的kinect相机结合openpose获得自然行走时下肢各关节角，根据行走序列轨迹的拟合来提取三维步态特征，并利用采集到的关节角和步态特征数据送入分类器中进行异常步态种类的识别与分类，再根据传统的tinetti步态分析量表选用适合的三维步态特征设计相应的算法实现对步态和行走能力的评估，为医生的临床分析提供指导。

2、为实现上述技术问题，一种三维步态特征提取及异常步态评估的实现方法包括如下步骤：

3、步骤1)结合openpose和kinect相机实现对三维人体骨骼关键点的检测。利用助行机器人在侧面跟随受试者并使用kinect相机采集受试者的彩色图像和深度图像，将采集到的彩色图像输入到openpose网络中获取人体二维骨骼关键点。得到二维关键点后与彩色图像和深度图像结合生成的三维点云相对应以获取包括左髋关节、右髋关节、左膝关节、右膝关节、左脚踝、右脚踝、左脚尖、右脚尖在内的人体关键点的三维坐标。

4、步骤2)提取人体下肢关节角，包括左膝关节角、右膝关节角、左踝关节角、右踝关节角，左前进角和右前进角在内的三维下肢关节角度。其中前进角表示为人体前进方向与脚尖方向的夹角，这里的人体前进方向定义为人体矢状轴的方向。

5、步骤3)获取人体下肢步态时空参数，包括左腿跨步长、右腿跨步长、步宽、步态周期以及左右腿对称参数。其中跨步长为一足的足跟着地点到同一足下次的足跟着地点之间的距离，步宽为行走时一侧足跟中点与另一侧足跟中点之间的横向距离，一个步态周期为从一足的足跟着地开始到同一足的下一次足跟着地为止所经历的时间序列。在本发明中提出的左右腿对称参数是利用左右腿膝关节角、踝关节角以及前进角按照一定的计算方式来评估左右腿在行走过程中的对称性。

6、步骤4)由于三维步态特征被表示为不同长度的时间序列，因此使用最值归一化将序列映射到0-1之间。

7、

8、其中，x为原始数据，xmin为数据的最小值，xmax为数据的最大值，xscale为归一化后的数据。

9、得到归一化后的步态特征：

10、u＝{kl,al,sl,kr,ar,sr,step_l,step_r,step_w,gs,s}

11、其中kl表示左膝关节角，al表示左踝关节角，sl表示左足尖前进角，kr表示右膝关节角，ar表示右踝关节角，sr表示右足尖前进角，step_l表示左跨步长，step_r表示右跨步长，step_w表示步宽，gs表示步长周期，s表示左右腿对称参数。

12、将得到的步态特征送入分类器中进行训练，并得出分类结果实现对不同步态的识别与分类。

13、步骤5)对异常步态的评估在本发明中利用合适的步态数据变量和步态参数按照12点匹配的tinetti步态分析量表设计相应的算法。根据tinetti步态分析量表中的规则设计相应的评价指标，利用左右腿摆动表现、步长是否相等、行走连续性，步态对称性等方面对行走能力进行有效的评价和参考。

14、进一步的，所述步骤2)具体过程如下：

15、获取较为准确的三维人体骨骼关键点坐标之后，提取出左右膝关节、踝关节、足尖六个骨骼关键点的坐标及其对应的关节角角度；

16、在第i帧中，左髋、左膝、左脚踝、右脚踝和左脚趾关键点坐标表示为：

17、

18、

19、

20、

21、

22、由此左大腿，小腿和脚表示为：

23、

24、

25、

26、膝关节角，踝关节角和足尖前进角由式(15)-(16)求得，以左膝关节，左踝关节和左脚为例，右膝关节，右踝关节和右脚同理；

27、

28、

29、将左右髋关节与身体直立方向所在平面的法向量作为矢面轴以矢面轴作为人体前进的方向，矢面轴的计算由式(17)得出：

30、

31、得出矢面轴后求出其与脚之间的夹角即可得出人体前进角，以左前进角为例，右前进角同理；

32、

33、进一步的，所述步骤3)具体步骤如下：

34、为获取跨步长，首先计算两个脚踝之间的距离d(i)并使用移动平均滤波对两个脚踝之间的距离曲线进行平滑，距离曲线d(i)表示为式(19):

35、

36、取距离曲线d(i)两个相邻局部极大值和极小值之间的差值作为跨步长；

37、取距离曲线d(i)一个局部极小值和两个相邻的局部极大值组成的时间序列作为步态周期；

38、在获取局部极大值dmax(i)和极小值dmin(i)的过程中需要对异常点进行过滤，首先去除低于阈值t的局部极大值和高于阈值t的局部极小值，阈值t取d(i)的均值；

39、

40、其中n表示步态周期数；

41、提取半个步态周期的帧间隔，将帧间隔低于平均值m％的周期剔除并去除异常极值点，获得步态序列图，通过步态序列图求出跨步长和步态周期：

42、step_li＝||dmax(i)-dmin(i+1)||, (21)

43、step_ri＝||dmax(i+1)-dmin(i)||, (22)

44、gs(i)＝(fmax(i+1)-fmax(i))*0.033 (23)

45、其中fmax(i)是指第i个局部极大值所在帧，0.033是将若干帧转换为秒的转换因子；

46、步宽step_w由踝关节之间的深度差计算得出：

47、

48、其中，表示第i帧右踝关节的深度坐标，表示第i帧左踝关节的深度坐标。

49、通过左右腿对称参数来衡量左右腿在行走过程中的摆动相似度，利用式(25)来计算其相似度以判断人在行走过程中的摆动对称性；

50、

51、其中当等于k，a，s时，分别表示第i帧左膝关节角、左踝关节角、左足尖前进角，表示其在整个行走序列中的均值；当等于k，a，s时，分别表示第i帧右膝关节角、右踝关节角、右足尖前进角，表示其在整个行走序列中的均值；n为行走序列的总帧数；e()表示求期望运算。

52、进一步的，所述步骤4)中使用基于ovo一对一原则的svm分类器，svm分类器使用的是rbf核函数，rbf核函数表示为：

53、

54、其中x和x'是输入样本向量，||x-x'||2表示欧氏距离,σ是一个控制rbf核函数衰减速度的参数。

55、得到训练好的非线性svm之后将人体跟随助行康复机器人所采集到的步态参数输入到网络中实现对步态的准确识别与分类。

56、进一步的，所述步骤5)具体步骤如下：

57、选用tinetti步态分析量表中的规则2、3、4、7设计相应的评价指标，利用左右腿摆动表现、步长是否相等、行走连续性，步态对称性方面对行走能力进行有效的评价和参考；

58、

59、其中ki表示每一项测试的得分，k表示tinetti步态分析量表得分总分；

60、通过kinect相机结合openpose的方式获取受试者两个脚踝之间的距离，以此来获取行走序列，并获取行走序列中局部极大值和局部极小值；一个步态周期由一个局部极小值和两个相邻的局部极大值之间的时间序列组成；根据tinetti步态分析量表的评价指标2，提取每个步态周期中步长最大时左右脚的位置，取行走序列中的极大值是否大于零来判断右足迈出的距离是否超过对侧站立的左足，取行走序列中的极小值是否小于零来判断左足迈出的距离是否超过对侧站立的右足，若分别满足上述条件则每项测试各得两分；

61、

62、根据tinetti步态分析量表的评价指标3，提取左右腿的跨步长和左右腿对称参数，并且比较左右跨步长的差异以及获取称参数的数值；获取具体判断比较方式为，若左右跨步长得差异小于阈值d1，则该项测试得两分；若左右腿对称参数大于阈值d2，则该项测试得两分；

63、

64、

65、根据tinetti步态分析量表的评价指标4，通过计算步态周期来判断步态连续性，若步态周期的计算结果满足下式，则该项测试得两分；

66、

67、其中gs(i)表示第i个步态周期，std(gs)表示步态周期标准差；根据tinetti步态分析量表的评价指标7，判断行走过程中的步宽是否正常；具体判断比较方式为，若步宽小于阈值d3，则该项测试得两分；

68、step_wj＝ave(step_wi) (33)

69、

70、其中step_wj表示第i个周期的平均步宽；

71、将受试者的步态参数按照上述计算方式得出最终tinetti步态分析量表得分总分，实现对受试者步态能力的评估。

72、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

73、1)本发明的步态特征提取方法不需要受试者佩戴传感器，设备简单，便利佳；同时本方法仅使用低成本的kinect相机就能采集到较为准确的人体下肢三维步态特征实现步态识别与分析，实用性佳。

74、2)本发明的步态特征提取方法利用人体骨骼连杆不变性来修正骨骼关键点以获取准确的人体下肢骨骼关键点、人体下肢关节角、步态时空参数以及特有的左右前进角和左右腿对称参数，使本发明可以很好的区分正常步态、蹒跚步态、慌张步态、跨阙步态四种步态模式，更具挑战和实用意义。

75、3)本发明使用直观准确的步态数据和步态参数对步态异常的患者按步态量表进行评估打分，使评估结果更加客观准确并且便于医生对患者进行康复状况的跟踪，对患者的步态康复评估具有指导意义。