髋膝关节协调性评估方法、装置、系统和存储介质

1.本发明涉及康复医疗技术领域，尤其涉及一种髋膝关节协调性评估方法、装置、系统和存储介质。


背景技术：

2.步态分析可以系统地区分行走过程中的人类步态模式，所以它能够为临床医生提供步态障碍患者健康状况的诊断报告，全面评估手术或下肢康复辅助工具对患者的影响，帮助专业运动员纠正运动姿势，评估老年人群的跌倒风险等。
3.目前，许多现代步态分析工具被应用于临床步态评估，包括基于光学或惯性传感器的运动捕捉系统、足底压力测量板和肌电图信号采集设备等。这些成熟的步态分析工具能够客观、准确地测量丰富的关节间的协调性的步态参数，并以步态分析报告的形式呈现给临床医生。
4.然而目前现有方案中的步态分析工具输出的步态分析报告中的步态参数由于专业术语参数过多导致一般情况下用户无法直观地理解这些步态参数，因此限制了步态分析工具在临床应用中的普及。
5.另外现有方案中还存在基于循环图矩，向量编码和耦合角度分块技术等循环曲线的关节协调性评估方法。循环图矩采用循环图的周长，面积等几何学特征来表征关节间的协调性。虽然循环图矩能够定量的评估关节间的协调性，但是由于步态本身存在变异性，故而其鲁棒性较差。另外向量编码是通过计算循环图上相邻两个点之间的耦合角度的均值来定量的表征关节间的协调性。耦合角度分块技术是将耦合角度分割成具有不同生理学意义的小区间，具有很好的可解释性。但是此种方法未能量化关节间的协调性，对医生进行关节协调性的评估带来了很大的不方便。


技术实现要素：

6.本发明提供一种髋膝关节协调性评估方法、装置、系统和存储介质，用以解决现有技术中步态分析工具输出的步态参数过于抽象的不足，进而无法直观地理解这些步态参数的缺陷，实现提供一种可直观分析关节协调性的评估方法。
7.本发明提供一种髋膝关节协调性评估方法，包括：获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；
根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
8.根据本发明提供的髋膝关节协调性评估方法，所述基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，具体包括：分别从各步行速度下的所述第一髋膝关节角度循环曲线中提取出若干个特征点；分别建立各所述特征点与所述步行速度之间的定量关系模型，并基于所述定量关系模型构建出所述各步行速度下对应的控制点。
9.根据本发明提供的髋膝关节协调性评估方法，所述若干个特征点包括六个目标特征点及若干个最远特征点，所述六个目标特征点包括两个膝关节角度波谷点、两个膝关节角度波峰点、髋关节角度波谷点及髋关节角度波峰点。
10.根据本发明提供的髋膝关节协调性评估方法，所述获取第一不同步行速度下的第一髋膝关节角度循环曲线，具体包括：获取健康者在不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标及右图像中的所述各标记点的右图像二维坐标；基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标；确定所述下肢运动学视频中的人体矢状面，并基于不同步行速度下的所述各标记点的三维坐标计算出在所述人体矢状面上的不同步行速度下的髋关节角度及膝关节角度；基于所述不同步行速度下的髋关节角度及膝关节角度生成不同步行速度下的第一髋膝关节角度循环曲线。
11.根据本发明提供的髋膝关节协调性评估方法，所述基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：分别对不同步行速度下的各所述左图像中的标记点进行遍历核验；在遍历核验结果为所述左图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧左图像，并返回执行获取不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标的步骤。
12.根据本发明提供的髋膝关节协调性评估方法，所述基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：分别对不同步行速度下的各所述右图像中的标记点进行遍历核验；在遍历核验结果为所述右图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧右图像，并返回执行获取不同步行速度下的下肢运动学视频中的右图像中的各标记点的右图像二维坐标的步骤。
13.根据本发明提供的髋膝关节协调性评估方法，所述根据所述控制点生成参考髋膝关节角度循环曲线，具体包括：将所述控制点的坐标数据输入b样条曲线模型中，获取所述b样条曲线模型输出的参考髋膝关节角度循环曲线。
14.本发明还提供一种髋膝关节协调性评估装置，包括：构建单元，用于获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；匹配单元，用于获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；第一计算单元，用于基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；第二计算单元，用于根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
15.本发明还提供一种髋膝关节协调性评估系统，包括：双目近红外相机、rgb相机、视频捕捉模块及上述的髋膝关节协调性评估装置；所述双目近红外相机，用于记录人体下肢运动的黑白视频；所述rgb相机，用于可视化并记录人体下肢运动的彩色视频；所述视频捕捉模块，用于接收所述人体下肢运动的黑白视频及所述人体下肢运动的彩色视频，以生成下肢运动学视频，并将所述下肢运动学视频发送至所述髋膝关节协调性评估装置。
16.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述髋膝关节协调性评估方法。
17.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述髋膝关节协调性评估方法。
18.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述髋膝关节协调性评估方法。
19.本发明提供的一种髋膝关节协调性评估方法、装置、系统和存储介质，通过根据健康者在不同步行速度下的第一髋膝关节角度循环曲线中的特征点生成参考髋膝关节角度循环曲线，之后基于动态时间规划算法计算出患者的第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的最短匹配路径，并将最短匹配路径进行可视化显示，由此通过可视化显示的最短匹配路径可以直观地反映出患者的髋膝关节协调性差异，此外还基于形状上下文算法计算出第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的代价矩阵，由此可以通过最短匹配路径与代价矩阵获得第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的形状特征偏差，进而基于形状特征偏差的平均值进行协调性评估，由此通过形状特征偏差的平均值实现可直观地进行患者的髋膝关节协调性的定量评估的目的。
附图说明
20.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术
描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明提供的髋膝关节协调性评估方法的流程示意图之一；图2是本发明提供的反光标记球的佩戴场景下的人体矢状面上的关节角度示意图；图3是本发明提供的髋膝关节角度循环曲线示意图；图4为本发明提供的参考髋膝关节角度循环曲线中的控制点绘制示意图；图5是本发明提供的电子设备的结构示意图。
具体实施方式
22.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.需要说明的是，本发明提供一种应用于本发明的髋膝关节协调性评估系统的髋膝关节协调性评估方法，其中，髋膝关节协调性评估系统具体包括：双目近红外相机、rgb相机、装备有视频捕捉模块的计算机及髋膝关节协调性评估装置，此外本发明提出的系统中还包括一个近红外光源和电源。
24.其中，电源可以同时给计算机和光源供电。光源是由两个圆形灯阵列组成，并安装在双目相机的两个镜头周围。光源可以均匀地发出850nm的红外光，并且其配备了亮度调节旋钮，可以根据环境的亮暗手动调节发出红外光的强弱，进而实现调整人体下肢运动视频中的图像帧中的标记点的清晰度。
25.双目近红外相机用于记录人体下肢运动的黑白视频、rgb相机用于可视化并记录人体下肢运动的彩色视频、装备有视频捕捉软件的计算机则用于接收人体下肢运动的黑白视频及人体下肢运动的彩色视频，以生成下肢运动学视频。
26.在实际应用中，双目近红外相机可以支持不同的帧率和分辨率的视频捕捉格式来记录人体下肢运动的黑白视频。当分辨率为720p时，可以达到最高60fps的视频捕捉帧率。rgb相机则以60fps的视频捕捉帧率将人体下肢运动的彩色视频进行可视化并记录。计算机中的视频录制模块可装备directs show视频录制软件，其中，视频录制模块可以同时录制来自rgb 相机和双目近红外相机的人体下肢运动视频。计算机还可通过视频录制模块来控制两台相机的开启，视频的记录，终止和保存功能。
27.首先，在采集前需要进行准备工作。如图2所示，从上往下依次在患者的大腿上中线上，膝关节旋转轴，踝关节大转子，脚跟处，以及第五个脚趾上安装反光标记球1、标记球2、标记球3、标记球4及标记球5。之后依次启动运行计算机的视频捕捉模块、双目近红外相机、rgb相机以及近红外光源。调整相机的位置，直至近红外相机和rgb相机的画面均可以捕捉到被试下肢的活动范围。通过近红外相机中的画面手动调整光源的亮暗，直至画面中可以最大限度的保留反光标记球而排除其他反光物体的干扰。通过视频捕捉模块来开始记录rgb相机和近红外相机的视频。
28.其次，在采集过程中让患者在地面上站立30秒，由此可以消除标记球的穿戴所带来的影响，之后患者在一定距离的长度内行走两圈，并在行走之后保持直立30秒。并通过视频捕捉模块分别保存此步态周期内的rgb相机和近红外相机的所记录运动学视频，进而得到相关的下肢运动学视频。
29.此外，本实施例中，为了消除关节幅值的影响，将采集到的下肢运动学视频数据进行归一化，此外为了能够提取到髋膝关节角度循环曲线的广义特征，本实施例中，分别采集若干个患者不同步行速度下的下肢运动学视频数据，之后计算出若干个患者在相同步行速度下的下肢运动学视频数据的平均值，以作为此步行速度下，正常人的髋膝关节特征。
30.另外本实施例中，视频捕捉模块在生成下肢运动学视频之后，将下肢运动学视频发送至髋膝关节协调性评估装置，以供髋膝关节协调性评估装置根据下肢运动学视频进行髋膝关节协调性评估。其中，视频捕捉模块和髋膝关节协调性评估装置可以安装于同一台计算机中，还可以安装于不同计算机中，本发明对此不作限制。
31.下面结合图1-图5描述本发明的髋膝关节协调性评估方法。
32.图1为本发明提供的髋膝关节协调性评估方法的流程示意图之一，如图1所示，该方法包括：步骤100，获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；具体地，髋膝关节角度循环曲线是关于人体运动过程中的髋关节角度与膝关节角度之间的角度循环曲线。
33.需要说明的是，本发明中的第一髋膝关节角度循环曲线是基于对健康者的下肢运动学视频分析进行图像分析处理后得到的。另外本发明中，为了提高评估结果的精准性及信服力，获取健康者在若干个不同步行速度下的髋膝关节角度循环曲线，也即需要获取若干个不同步行速度下的下肢运动学视频，从而从各步行速度下的下肢运动学视频中进行图像分析处理后得到各自匹配的髋膝关节角度循环曲线。
34.如图3所示，图3为本实施例中采集的八个不同步行速度下的髋膝关节角度循环曲线与此八个不同步行速度下的髋膝关节角度循环曲线所对应的速度平均值下的髋膝关节角度循环曲线。其中，图像中的实线的粗细代表不同的步行速度下的髋膝关节角度循环曲线，线条越粗表示髋膝关节角度循环曲线代表的步行速度越快，虚线代表的为所有髋膝关节角度循环曲线的平均曲线，例如参考图3中的特征点p2处的曲线。
35.需要说明的是，本实施例中为了便于后续处理步骤，采用取八个不同步行速度下髋膝关节角度循环曲线的平均值作为该步行速度下髋膝关节角度循环曲线的普遍特征。
36.具体地，图3中所示的特征点p1、特征点p2、特征点p3、特征点p4、特征点p5、特征点c、特征点d及特征点e均为髋膝关节角度循环曲线中的特征点，本实施例中的特征点的数量还可为其他数量个，对此不作限制。本实施例中，由于采集的为八个同步行速度下的髋膝关节角度循环曲线，因此特征点p1、特征点p2、特征点p3、特征点p4、特征点p5、特征点c、特征点d及特征点e均包括八个点，之后分别建立该八个特征点与步行速度之间的定量关系模型，从而基于定量关系模型重新生成速度平均值下的髋膝关节角度循环曲线。
37.参考图4，图4为本实施例中根据重新生成速度平均值下的髋膝关节角度循环曲线
中的八个特征点生成十二个控制点的示意图。具体地，依次在髋膝关节角度循环曲线中定位出位于特征点p1左右两边的控制点cp0和cp
11
、位于特征点p2水平偏左的控制点cp1和水平偏右的控制点cp2、与特征点p4的横坐标相同且与特征点p3的纵坐标相同的控制点cp4、位于直线l1且与控制点cp4横坐标相同的cp5、位于直线l1且与特征点p5纵坐标相同的cp6、位于直线l2且与特征p5纵坐标相同的cp7、位于直线l2且与特征p6横坐标相同的cp8、位于直线l3且与特征p6横坐标相同的cp9、位于直线l3且与特征p1纵坐标相同的cp
10
。其中，直线l1定义为通过特征点c且斜率与特征点p4和特征点p5之间连线相同的直线，直线l2定义为通过特征点d且斜率与特征点p5和特征点p6之间连线相同的直线，直线l3定义为通过特征点e且斜率与特征点p6和特征点p1之间的连线相同的直线。
38.优选地，本实施例中根据以上十二个控制点生成参考髋膝关节角度循环曲线，具体地本实施例中，采用b样条曲线模型生成参考髋膝关节角度循环曲线，即将控制点的坐标数据输入b样条曲线模型中，获取b样条曲线模型输出的参考髋膝关节角度循环曲线，由此构建出精确的参考髋膝关节角度循环曲线。此外本实施例中还可以基于其他绘图方式生成以上十二个控制点生成参考髋膝关节角度循环曲线，对此不作限制。
39.步骤200，获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；该步骤中，患者的第二髋膝关节角度循环曲线同以上实施例中的第二髋膝关节角度循环曲线获取方式一致，在此不再赘述。
40.具体地，动态时间规划算法为dtw（dynamic time warping）算法，通过动态时间规划算法将第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线进行对齐，从而得出第二髋膝关节角度循环曲线中的各采样点到参考髋膝关节角度循环曲线中的所有采样点之间的最短匹配路径。
41.本实施例中，将第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线可视化显示于同一图像中，并在该图像中可视化标注出所有的最短匹配路径，由此通过将最短匹配路径进行可视化来供用户对患者在行走过程中的髋膝关节协调性变化情况进行直观分析。
42.具体地，该步骤中首先计算出第二髋膝关节角度循环曲线与相应步行速度下的参考髋膝关节角度循环曲线之间所有采样点之间的距离矩阵，之后根据距离矩阵计算曲线之间的累积代价矩阵，最后从累积代价矩阵上计算出第二髋膝关节角度循环曲线与相应步行速度下的参考髋膝关节角度循环曲线之间所有采样点之间的最短匹配路径。
43.其中，本实施例中的累积代价矩阵的第一个元素定义为距离矩阵的第一个元素。累积代价矩阵的第一行和第一列分别定义为距离矩阵上对应元素与累积代价矩阵上前一个元素之和。累积代价矩阵的其他元素定义为距离矩阵上对应元素与其左下角相邻的三个元素中最大元素之和。最短匹配路径的计算方式是从累积代价矩阵中提取使得对应点匹配代价最小的最短路径。匹配路径的初始值为累积代价矩阵的最后一个元素的索引，其他元素分别为累积代价矩阵上一个元素左下角三个元素中最小元素所对应的索引。
44.步骤300，基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；
该步骤中，首先计算出第二髋膝关节角度循环曲线上的代表不同采样点之间距离特征的距离矩阵和代表所有采样点之间角度特征的角度矩阵。
45.其中，距离矩阵的每一个元素表示循环曲线上对应索引的采样点之间的欧式距离，每一行元素表示该行所对应的采样点的距离特征。角度矩阵的每一个元素表示循环曲线上对应索引的采样点之间的耦合角度，每一行表示该行所对应的采样点的角度特征。
46.其次使用对数极坐标系，将每个采样点的距离特征和角度特征映射到5*12的直方图矩阵。即将距离矩阵的每一行元素映射到5个小区间，将角度矩阵的每一行元素映射到12个角度区间，从而生成该行所对应采样点的直方图矩阵。
47.接着将每一个采样点的直方图矩阵平铺成1*60的形状上下文特征向量，即将该采样点的直方图矩阵平铺成行向量作为循环曲线的直方图矩阵的对应行的向量。其中，所有的采样点的形状上下文特征向量组成第二髋膝关节角度循环曲线的形状上下文特征矩阵，即直方图矩阵ha。同理，基于以上步骤可以得到相应步行速度下参考髋膝关节角度循环曲线的直方图矩阵hb。
48.在得到直方图矩阵ha和直方图矩阵hb之后，基于以下公式计算出第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵。
49.其中，表示循环曲线上的第个采样点与参考循环曲线上第个采样点之间的形状特征偏差。
50.步骤400，根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
51.此步骤中，根据第二髋膝关节角度循环曲线和参考髋膝关节角度循环曲线上对应点的最短匹配路径，从代价矩阵中提取对应点之间的形状特征偏差，并计算形状特征偏差的平均值作为髋膝关节协调性的定量评估值。
52.具体地，平均值越大，则表明髋膝关节协调性越差，例如，平均值为零，则表明患者的髋膝关节协调性与正常髋膝关节协调性无偏差，髋膝关节协调性好，由此基于形状特征偏差的平均值进行协调性评估，从而实现可直观地进行髋膝关节协调性的定量评估的目的。
53.本发明提出的髋膝关节协调性评估方法，通过根据健康者在不同步行速度下的第一髋膝关节角度循环曲线中的特征点生成参考髋膝关节角度循环曲线，之后基于动态时间规划算法计算出患者的第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的最短匹配路径，并将最短匹配路径进行可视化显示，由此通过可视化显示的最短匹配路径可以直观地反映出患者的髋膝关节协调性差异，此外还基于形状上下文算法计算出第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的代价矩阵，由此可以通过最短匹配路径与代价矩阵获得第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的形状特征偏差，进而基于形状特征偏差的平均值进行协调性评估，由此通过形状特征偏差的平均值实现可直观地进行患者的髋膝关节协调性的定量评估的目的。
54.基于上述实施例，步骤100中的基于各步行速度下的髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点具体包括：分别从各步行速度下的所述第一髋膝关节角度循环曲线中提取出若干个特征点；分别建立各所述特征点与所述步行速度之间的定量关系模型，并基于所述定量关系模型构建出所述各步行速度下对应的控制点。
55.该步骤中，为了消除不同步行速度下关节幅值的影响，先建立各特征点与步行速度之间的定量关系模型，再根据患者的步行速度与定量关系模型生成新的特征点，最后使用新的特征点构建出各步行速度下控制点。
56.具体地，本实施例中若干个特征点包括六个目标特征点及若干个最远特征点，六个目标特征点包括两个膝关节角度波谷点、两个膝关节角度波峰点、髋关节角度波谷点及髋关节角度波峰点。
57.参考图3，膝关节角度波谷点包括第一波谷点p1及第二波谷点p3，膝关节角度波峰点包括第一波峰点p2及第二波峰点p5，髋关节角度波谷点及髋关节角度波峰点分别为特征点p4和特征点p6。
58.另外本实施例中的最远特征点指代髋膝关节循环曲线在摆动前期上距离特征点p4和特征点p5连线最远的特征点c、所有步行速度下的平均循环曲线在摆动期上距离特征点p5和特征点p6之间的连线和特征点p6和特征点p1之间连线上最远的特征点d和特征点e。
59.另外需要说明的是，参考图3，由于本实施例中，特征点p2和特征点c随步行速度线性变化，因此本实施例中先分别建立特征点p2和特征点c与步行速度之间的定量关系，之后基于定量关系计算出特征点p2和特征点c对应的中心点。
60.此外对于另外7个特征点，由于他们不随步行速度进行变化，因此本实施例中直接基于各特征点的坐标计算出各特征点对应的中心点。另外需要说明的是，本实施例中在计算出另外7个特征点对应的中心点之前，先排除掉特征点中的偏差较大的点，再计算出剩余几个特征点对应的中心点，由此提高后续生成的参考髋膝关节角度循环曲线的精准性。
61.基于上述实施例，步骤100中的获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，具体包括：获取健康者在不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标及右图像中的所述各标记点的右图像二维坐标；基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标；确定所述下肢运动学视频中的人体矢状面，并基于不同步行速度下的所述各标记点的三维坐标计算出在所述人体矢状面上的不同步行速度下的髋关节角度及膝关节角度；基于所述不同步行速度下的髋关节角度及膝关节角度生成不同步行速度下的第一髋膝关节角度循环曲线。
62.具体地，本实施例中在获取二维坐标之前，先使用双目相机的参数分别对左图像及右图像进行校正，之后使用形态学方法和圆形检测算法确定校准后的图像中的标记球所形成的标记点的二维坐标。
63.另外需要说明的是，本实施例中，为了简化后续运动学数据，将参考坐标系的原点平移至髋关节处的标记球所处的位置，之后根据踝关节处标记球相对于髋关节处标记球的
位置变化关系的曲线的峰值点作为脚尖抬起的时刻，将整个步行过程划分为不同的步态周期。
64.具体地，在确定出脚尖抬起时刻后，髋膝踝三个标记点可以确定出一个平面。本实施例中近似认为该平面就是该步态周期内人体的矢状面，从而能确定人体矢状面的法向量，之后再将该步态周期内，其他时刻的髋膝踝上绑定的标记球所形成的标记点的三维坐标通过此法向量映射到矢状面上。
65.其中，本实施例中的人体矢状面的法向量计算公式如下：其中，代表大腿上中线上的髋关节处的标记球的三维坐标的向量，代表膝关节旋转轴的髋关节处的标记球的三维坐标的向量，代表膝关节旋转轴的髋关节处的标记球的三维坐标的向量。
66.之后再分别计算出各步行速度下的标记球1与标记球2之间的向量、标记球2与标记球3之间的和标记球3与标记球4之间的。
67.其中，相邻两个标记球的向量计算公式如下：参考图2，本实施例中进而根据计算出在人体矢状面上的髋关节角度、根据及计算出在人体矢状面上的膝关节角度、根据及计算出在人体矢状面上的踝关节角度。
68.进一步地，在一实施例中，基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：分别对不同步行速度下的各所述左图像中的标记点进行遍历核验；在遍历核验结果为所述左图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧左图像，并返回执行获取不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标的步骤。
69.具体地，在进行遍历校验过程中，先遍历左图像中任意相邻两个标记点之间的坐标，若两个标记点之间的坐标相距小于5个像素点，则认为是其中标记点一个是伪影点，则取此两个标记点的中心点作为伪影点的正确的标记点。
70.在对伪影点进行遍历校验之后，通过区域分割去除掉图片上的噪声，将区域分割后的除腿部区域之外的图像中的标记点去除，并判断去除之后剩余的标记点数量是否为预设数量个，例如当腿上绑定的标记球为5个时，则判断是否为5个，若为5个，则执行基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标的步骤。
71.在另一实施例中，若不是5个，则认为这帧左图像中没有采集到足够的标记点，则继续从下肢运动学视频中提取出下一帧左图像，并将左图像中除中心点外的所有像素点的值设置为0，以生成新的左图像，并继续执行获取不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标的步骤。
72.进一步地，在一实施例中，基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：分别对不同步行速度下的各所述右图像中的标记点进行遍历核验；在遍历核验结果为所述右图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧右图像，并返回执行获取不同步行速度下的下肢运动学视频中的右图像中的各标记点的右图像二维坐标的步骤。
73.该步骤中，右图像的遍历核验过程同上述左图像的遍历校验过程一致，在此不再赘述。
74.需要说明的是，本实施例中，通过对左右图像进行遍历校验，使得后续生成的二维坐标更加准确，进而使得计算出的髋关节角度及膝关节角度更加准确，从而提高了协调性评估的准确性。
75.本发明还提供一种髋膝关节协调性评估装置，包括：构建单元，用于获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；匹配单元，用于获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；第一计算单元，用于基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；第二计算单元，用于根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
76.具体地，本发明中的髋膝关节协调性评估装置中的各单元的数据处理过程同以上实施例中的髋膝关节协调性评估方法中的数据处理过程一致，在此不再赘述。
77.本发明提出的髋膝关节协调性评估装置，通过根据健康者在不同步行速度下的第一髋膝关节角度循环曲线中的特征点生成参考髋膝关节角度循环曲线，之后基于动态时间规划算法计算出患者的第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的最短匹配路径，并将最短匹配路径进行可视化显示，由此通过可视化显示的最短匹配路径可以直观地反映出患者的髋膝关节协调性差异，此外还基于形状上下文算法计算出第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的代价矩阵，由此可以通过最短匹配路径与代价矩阵获得第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的形状特征偏差，进而基于形状特征偏差的平均值进行协调性评估，由此通过形状特征偏差的平均值实现可直观地进行患者的髋膝关节协调性的定量评估的目的。
78.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处
理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行髋膝关节协调性评估方法，该方法包括：获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
79.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
80.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的髋膝关节协调评估方法，该方法包括：获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
81.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的髋膝关节协调评估方法，该方法包括：获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之
间的代价矩阵；根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
82.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
83.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
84.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。