运动捕捉方法、装置、系统、电子设备和存储介质

1.本发明涉及运动捕捉技术领域，尤其涉及一种运动捕捉方法、装置、系统、电子设备和存储介质。


背景技术：

2.步态分析可以辨识行走过程中人类的步态模式变化，帮助临床医生评估患者的行走能力和制定个性化的康复训练策略。基于光学的人体运动学捕捉系统是步态分析的基础，能够为其提供大量且精确的步态参数，比如：步长，步速，关节角度等。
3.目前，基于光学的人体运动学捕捉通常是在固定的大型室内场地中安装多个摄像头实现的，导致其价格昂贵，可移动性不强，以及无法多场景应用等不足。此外，在动作捕捉之前，需要待检测人员穿戴特制的服装和佩戴大量的反光标记球并完成设备校准动作，操作比较复杂。


技术实现要素：

4.本发明提供一种运动捕捉方法、装置、系统、电子设备和存储介质，用以解决现有技术中基于光学的运动学捕捉方法成本昂贵、操作复杂，部署不方便的缺陷。
5.本发明提供一种运动捕捉方法，包括：获取双目摄像头拍摄得到的第一图像序列和第二图像序列，所述第一图像序列和所述第二图像序列是针对待检测人员穿戴有反光标记球的一侧拍摄得到；对所述第一图像序列和所述第二图像序列进行目标检测，得到所述第一图像序列的各图像中各反光标记球的第一二维坐标，以及所述第二图像序列的各图像中各反光标记球的第二二维坐标；基于所述第一图像序列和所述第二图像序列中同一时刻的图像中各反光标记球的二维坐标，确定各时刻下的各反光标记球的三维坐标；基于各时刻下的各反光标记球的三维坐标之间的变化，划分步态周期；基于任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的位置；基于所述任一步态周期中人体矢状面的位置，以及所述任一步态周期中各反光标记球的三维坐标，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
6.根据本发明提供的运动捕捉方法，所述基于任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的位置，之后还包括：基于任一步态周期起始时刻下各反光标记球的二维坐标确定各反光标记球的穿戴位置，并从中筛选出穿戴于待检测人员的髋关节、膝关节和踝关节处的反光标记球；基于所述穿戴于待检测人员的髋关节、膝关节和踝关节处的反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的法向量。
7.根据本发明提供的运动捕捉方法，所述人体矢状面的法向量基于如下公式确定：
其中，为人体矢状面的法向量，为髋关节处反光标记球的三维位置；为膝关节处反光标记球的三维位置；为踝关节处反光标记球的三维位置。
8.根据本发明提供的运动捕捉方法，所述基于所述任一步态周期中人体矢状面的位置，以及所述任一步态周期中各反光标记球的三维坐标，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度，包括：基于各反光标记球的三维坐标，确定多个第一向量，所述第一向量的起点和终点基于相邻的两个反光标记球的三维位置确定；基于所述任一步态周期中人体矢状面的法向量，将所述多个第一向量分别映射到所述人体矢状面，得到多个第二向量；基于所述多个第二向量之间的夹角，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
9.根据本发明提供的运动捕捉方法，所述第二向量基于如下公式确定：式中，为反光标记球的三维位置，为反光标记球的三维位置，反光标记球与反光标记球的穿戴位置相邻，为人体矢状面的法向量，为第一向量，为第二向量。
10.本发明还提供一种运动捕捉装置，包括：图像序列获取单元，用于获取双目摄像头拍摄得到的第一图像序列和第二图像序列，所述第一图像序列和所述第二图像序列是针对待检测人员穿戴有反光标记球的一侧拍摄得到；目标检测单元，用于对所述第一图像序列和所述第二图像序列进行目标检测，得到所述第一图像序列的各图像中各反光标记球的第一二维坐标，以及所述第二图像序列的各图像中各反光标记球的第二二维坐标；三维坐标确定单元，用于基于所述第一图像序列和所述第二图像序列中同一时刻的图像中各反光标记球的二维坐标，确定各时刻下的各反光标记球的三维坐标；步态周期划分单元，用于基于各时刻下的各反光标记球的三维坐标之间的变化，划分步态周期；矢状面确定单元，用于基于任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的位置；关节角度确定单元，用于基于所述任一步态周期中人体矢状面的位置，以及所述任一步态周期中各反光标记球的三维坐标，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
11.本发明还提供一种运动捕捉系统，包括：双目近红外摄像头、可见光摄像头、电源、近红外光源和上述的运动捕捉装置；所述电源分别与所述双目近红外摄像头、可见光摄像头、近红外光源和运动捕捉
装置相连；所述运动捕捉装置与所述双目近红外摄像头相连。
12.根据本发明提供的运动捕捉系统，还包括安装组件，所述安装组件位于与所述双目近红外摄像头和可见光摄像头的摄像头相对的背面，所述安装组件用于安装所述双目近红外摄像头和可见光摄像头。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述运动捕捉方法。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述运动捕捉方法。
15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述运动捕捉方法。
16.本发明提供的运动捕捉方法、装置、系统、电子设备和存储介质，通过任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定任一步态周期中人体矢状面的位置，并在此基础上，得到待检测人员在任一步态周期中矢状面上的关节角度。利用双目摄像头针对待检测人员穿戴有反光标记球的一侧拍摄图像，即可实现人体矢状面上的关节角度数据提取，待检测人员无需穿戴特制的服装，也无需繁琐的标记设置程序，操作简单，可移动性强，有助于提高在临床上的普及度。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明提供的运动捕捉方法的流程示意图；图2是本发明提供的矢状面上的下肢关节角度示意图；图3是本发明提供的运动捕捉装置的结构示意图；图4是本发明提供的运动捕捉系统的结构示意图；图5是本发明提供的电子设备的结构示意图。
19.附图标记：1：反光标记球1；2：反光标记球2；3：反光标记球3；4：反光标记球4；5：反光标记球5。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.本发明中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的
顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，且“第一”、“第二”等所区分的对象通常为一类。
22.目前基于光学的人体运动学捕捉通常是在固定的大型室内场地中安装多个摄像头实现的，仅适用于医院和康复中心等大型场地。在动作捕捉之前，需要待检测人员穿戴特制的服装和佩戴大量的反光标记球并完成设备校准动作。该方法需要侵入性和繁琐的标记设置程序，影响待检测人员的正常移动，且成本昂贵、操作复杂，部署不方便。
23.针对上述问题，本发明实施例提供一种运动捕捉方法，该方法可应用于多个场所，且操作简单，即可获取大量且精确的步态参数，比如关节角度。
24.图1是本发明提供的运动捕捉方法的流程示意图，该方法的执行主体可以是运动捕捉装置，该装置可以通过软件和/或硬件实现，该装置可以集成在电子设备中，电子设备可以是个人电脑、云端设备、智能手机或平板电脑等。如图1所示，本发明实施例提供的运动捕捉方法包括如下步骤：步骤110，获取双目摄像头拍摄得到的第一图像序列和第二图像序列，所述第一图像序列和所述第二图像序列是针对待检测人员穿戴有反光标记球的一侧拍摄得到。
25.具体地，待检测人员即需要进行运动学捕捉和检测的人员，比如可以是需要评估行走能力，并据此制定个性化康复训练策略的患者。待检测人员的一侧身体穿戴有反光标记球，反光标记球可穿戴在左侧下肢，也可以是右侧下肢，本发明实施例对此不做具体限定。进一步地，以左侧下肢为例，反光标记球可穿戴在待检测人员的左侧大腿中心线、膝关节屈伸轴、踝关节外踝处。
26.图像采集人员可手持双目摄像头，也可将双目摄像头固定在三角架上进行图像采集，双目摄像头可拍摄得到运动视频，也可得到运动图像序列。得到运动视频之后，可提取帧图像，得到第一图像序列和第二图像序列。其中，第一图像序列和第二图像序列分别对应双目摄像头的两个镜头。
27.步骤120，对所述第一图像序列和所述第二图像序列进行目标检测，得到所述第一图像序列的各图像中各反光标记球的第一二维坐标，以及所述第二图像序列的各图像中各反光标记球的第二二维坐标。
28.具体地，在得到第一图像序列和第二图像序列以后，为了得到各个反光标记球在图像中的位置，可首先对第一图像和第二图像中的各图像进行目标检测。此处的目标为反光标记球，经目标检测得到反光标记球的外接框在图像中的位置之后，即可根据反光标记球的中心点位置，确定反光标记球的二维坐标。
29.第一图像序列和第二图像序列中均包含反光标记球，因此可得到第一图像序列的各图像中各反光标记球的第一二维坐标，以及第二图像序列的各图像中各反光标记球的第二二维坐标。
30.需说明的是，为了得到更加精确的二维坐标，得到第一图像序列和第二图像序列之后，还可对第一图像序列和第二图像序列中的各图像进行校正后，通过阈值法，形态学，区域分割等去除掉图像上的噪声，并最大限度的保留来自反光标记球的反光点。然后使用圆形检测算法确定校准后的图像上反光标记球的二维坐标。
31.步骤130，基于所述第一图像序列和所述第二图像序列中同一时刻的图像中各反光标记球的二维坐标，确定各时刻下的各反光标记球的三维坐标。
32.具体地，得到第一图像序列和第二图像序列中各图像中各反光标记球的二维坐标的基础上，即可根据同一时刻的图像中各反光标记球的二维坐标，结合双目立体视觉的原理，计算得到各时刻下的各反光标记球的三维坐标。
33.此处的参考坐标系可以是双目摄像头的左目中心点，为了方便后续计算，可将参考坐标系的原点平移至髋关节处。
34.步骤140，基于各时刻下的各反光标记球的三维坐标之间的变化，划分步态周期。
35.具体地，在步骤130中得到各时刻下的各反光标记球的三维坐标后，可根据各时刻下的各反光标记球的三维坐标之间的变化，划分步态周期。此处划分步态周期，即将待检测人员的整个运动过程划分为不同的步态周期。
36.可理解的是，当前次脚尖抬起的时刻至下一次脚尖抬起的时刻可划分为一个步态周期，当然也可将当前次脚跟落地的时刻至下一次脚跟落地的时刻划分为一个步态周期，本发明实施例对此不做具体限定。在一个步态周期内，人体各关节的相对位置会发生变化，比如，可预先绘制各时刻下的各反光标记球的三维坐标的位置变化关系的曲线，进而将踝关节处反光标记球相对于髋关节处反光标记球的位置变化关系的曲线的峰值点作为脚尖抬起的时刻，两个峰值点之间即为一个步态周期。
37.步骤150，基于任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的位置。
38.具体地，得到待检测人员运动过程中各个步态周期的基础上，即可根据任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定任一步态周期中人体矢状面的位置。此处可假设在任一步态周期中，脚与地面接触的时候人体矢状面是不变的。
39.在此基础上，即可进一步获取人体矢状面上的关节角度数据。
40.步骤160，基于所述任一步态周期中人体矢状面的位置，以及所述各反光标记球的三维坐标，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
41.具体地，得到人体矢状面的位置的基础上，结合步骤130中得到的任一步态周期中各反光标记球的三维坐标，即可采用几何学或向量计算等方法计算得到待检测人员在任一步态周期中矢状面上的关节角度。从而为运动学分析，例如步态分析提供了基础。
42.本发明实施例提供的运动捕捉方法，通过任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定任一步态周期中人体矢状面的位置，并在此基础上，得到待检测人员在任一步态周期中矢状面上的关节角度。利用双目摄像头针对待检测人员穿戴有反光标记球的一侧拍摄图像，即可实现人体矢状面上的关节角度数据提取，待检测人员无需穿戴特制的服装，也无需繁琐的标记设置程序，操作简单，可移动性强，有助于提高在临床上的普及度。
43.基于上述实施例，步骤150之后还包括：步骤151，基于任一步态周期起始时刻下各反光标记球的二维坐标确定各反光标记球的穿戴位置，并从中筛选出穿戴于待检测人员的髋关节、膝关节和踝关节处的反光标记球；步骤152，基于所述穿戴于待检测人员的髋关节、膝关节和踝关节处的反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的法向量。
44.具体地，在得到人体矢状面的位置之后，可进一步确定人体矢状面的法向量，假设
在一个步态周期内，人体矢状面的位置不变，则其法向量可通过任一步态周期中起始时刻下，位于待检测人员的髋关节、膝关节和踝关节处的反光标记球的三维坐标确定。
45.首先执行步骤151，考虑到人体中各个关节的位置关系，例如，在正常行走过程的脚尖抬起时刻，髋关节、膝关节和踝关节的高度明显不同，可通过各反光标记球在图像中的二维坐标，确定各反光标记球的穿戴位置，并从中筛选得到穿戴于待检测人员的髋关节、膝关节和踝关节处的反光标记球。
46.随即，得到穿戴于待检测人员的髋关节、膝关节和踝关节处的反光标记球之后，根据髋关节、膝关节和踝关节处的反光标记球的三维坐标，可确定其中两点构成的向量，从而得到人体矢状面的法向量。
47.基于上述任一实施例，所述人体矢状面的法向量基于如下公式确定：其中，为人体矢状面的法向量，为髋关节处反光标记球的三维位置；为膝关节处反光标记球的三维位置；为踝关节处反光标记球的三维位置。
48.具体地，为了得到人体矢状面的法向量，可首先以髋关节处反光标记球的三维位置为起点，膝关节处反光标记球的三维位置为终点构成向量；以膝关节处反光标记球的三维位置为起点，踝关节处反光标记球的三维位置为终点，构成向量。
49.得到各向量之后，两者的向量乘积除以向量乘积的绝对值，即为人体矢状面的法向量。
50.本发明实施例提供的方法，基于髋关节、膝关节和踝关节处的反光标记球的三维位置构建向量，并采用向量计算的方法获取人体矢状面的法向量，以此确定人体矢状面的位置，进而能够获取人体矢状面上的角度数据。该方法操作简单，并不需要侵入性和繁琐的标记设置程序，不影响待检测人员的正常移动。
51.基于上述任一实施例，步骤160具体包括：步骤161，基于各反光标记球的三维坐标，确定多个第一向量，所述第一向量的起点和终点基于相邻的两个反光标记球的三维位置确定；步骤162，基于所述任一步态周期中人体矢状面的法向量，将所述多个第一向量分别映射到所述人体矢状面，得到多个第二向量；步骤163，基于所述多个第二向量之间的夹角，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
52.具体地，为了得到待检测人员在任一步态周期中矢状面上的关节角度，可通过向量映射实现。首先根据反光标记球的三维坐标，确定多个第一向量，第一向量的起点和终点基于相邻的两个反光标记球的三维位置确定。此处相邻的两个反光球是指两个反光标记球的穿戴位置相邻，通常情况下，反光标记球穿戴于待检测人员的下肢各个关节处，比如，髋关节、膝关节、踝关节处，则髋关节和膝关节处的反光标记球即为相邻的两个反光标记球，同时，膝关节和踝关节处的反光标记球也为相邻的两个反光标记球。
53.接着，将多个第一向量映射到人体矢状面，得到多个第二向量，随即根据矢状面上
各向量之间的夹角，确定矢状面上的关节角度。
54.图2是本发明提供的矢状面上的下肢关节角度示意图，如图2所示，待检测人员的下肢穿戴有5个反光标记球，反光标记球1位于大腿外侧的中线上，反光标记球2位于膝关节旋转轴外侧，反光标记球3位于踝关节旋转轴外侧，反光标记球4位于足后跟外侧，反光标记球5位于第五趾骨外侧。
55.髋关节角度θ
hip
定义为身体的重力矢量相对于反光标记球1与反光标记球2之间的连接线的夹角。膝关节角度θ
knee
定义为反光标记球1与反光标记球2之间的连接线与反光标记球2和反光标记球3的连接线的夹角。踝关节角度θ
ankle
定义为反光标记球2和反光标记球3的连接线与反光标记球4和反光标记球5之间的连线之间的夹角。
56.基于上述实施例，所述第二向量基于如下公式确定：式中，为反光标记球的三维位置，为反光标记球的三维位置，反光标记球与反光标记球的穿戴位置相邻，为人体矢状面的法向量，为第一向量，为第二向量。
57.具体地，将第一向量映射到人体矢状面，得到第二向量，可通过上述公式实现。根据双目摄像头拍摄的图像确定出各个反光标记球的三维坐标，并基于两个反光标记球的三维位置构建第一向量，在此基础上，结合人体矢状面的法向量，向量映射后得到第二向量。
58.例如，由反光标记球1与反光标记球2的三维位置构建的第一向量可表示为，反光标记球2与反光标记球3的三维位置构建的第一向量可表示为，反光标记球4和反光标记球5的三维位置构建的第一向量可表示为，则映射到人体矢状面上的第二向量可分别表示为：得到第二向量之后，即可根据矢状面上的髋关节、膝关节和踝关节的角度定义，得到关节角度。
59.如图2所示，髋关节角度θ
hip
为与身体的重力矢量之间的夹角；膝关节角度θ
knee
为与之间的夹角；踝关节角度θ
ankle
为与之间的夹角。
60.下面对本发明提供的运动捕捉装置进行描述，下文描述的运动捕捉装置与上文描述的运动捕捉方法可相互对应参照。
61.图3是本发明提供的运动捕捉装置的结构示意图，如图3所示，运动捕捉装置300包括图像序列获取单元310、目标检测单元320、三维坐标确定单元330、步态周期划分单元340、矢状面确定单元350和关节角度确定单元360。
62.其中，图像序列获取单元310，用于获取双目摄像头拍摄得到的第一图像序列和第二图像序列，所述第一图像序列和所述第二图像序列是针对待检测人员穿戴有反光标记球
的一侧拍摄得到；目标检测单元320，用于对所述第一图像序列和所述第二图像序列进行目标检测，得到所述第一图像序列的各图像中各反光标记球的第一二维坐标，以及所述第二图像序列的各图像中各反光标记球的第二二维坐标；三维坐标确定单元330，用于基于所述第一图像序列和所述第二图像序列中同一时刻的图像中各反光标记球的二维坐标，确定各时刻下的各反光标记球的三维坐标；步态周期划分单元340，用于基于各时刻下的各反光标记球的三维坐标之间的变化，划分步态周期；矢状面确定单元350，用于基于任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的位置；关节角度确定单元360，用于基于所述任一步态周期中人体矢状面的位置，以及所述任一步态周期中各反光标记球的三维坐标，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
63.本发明实施例提供的运动捕捉装置，通过任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定任一步态周期中人体矢状面的位置，并在此基础上，得到待检测人员在任一步态周期中矢状面上的关节角度。利用双目摄像头针对待检测人员穿戴有反光标记球的一侧拍摄图像，即可实现人体矢状面上的关节角度数据提取，待检测人员无需穿戴特制的服装，也无需繁琐的标记设置程序，操作简单，可移动性强，有助于提高在临床上的普及度。
64.基于上述实施例，运动捕捉装置还包括法向量确定单元，法向量确定单元用于：基于任一步态周期起始时刻下各反光标记球的二维坐标确定各反光标记球的穿戴位置，并从各反光标记球中筛选出穿戴于待检测人员的髋关节、膝关节和踝关节处的反光标记球；基于所述穿戴于待检测人员的髋关节、膝关节和踝关节处的反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的法向量。
65.基于上述实施例，所述人体矢状面的法向量基于如下公式确定：其中，为人体矢状面的法向量，为髋关节处反光标记球的三维位置；为膝关节处反光标记球的三维位置；为踝关节处反光标记球的三维位置。
66.基于上述实施例，关节角度确定单元360进一步用于：基于各反光标记球的三维坐标，确定多个第一向量，所述第一向量的起点和终点基于相邻的两个反光标记球的三维位置确定；基于所述任一步态周期中人体矢状面的法向量，将所述多个第一向量分别映射到所述人体矢状面，得到多个第二向量；基于所述多个第二向量之间的夹角，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
67.基于上述实施例，第二向量基于如下公式确定：
式中，为反光标记球的三维位置，为反光标记球的三维位置，反光标记球与反光标记球的穿戴位置相邻，为人体矢状面的法向量，为第一向量，为第二向量。
68.图4是本发明提供的运动捕捉系统的结构示意图，如图4所示，运动捕捉系统包括双目近红外摄像头410、可见光摄像头420、电源430、近红外光源440和上述的运动捕捉装置300；所述电源430分别与所述双目近红外摄像头410、可见光摄像头420、运动捕捉装置300和近红外光源440相连；所述运动捕捉装置300与所述双目近红外摄像头410和可见光摄像头420相连。
69.具体地，电源430可以同时给运动捕捉装置300、摄像头和近红外光源440供电，运动捕捉装置300可集成在电子设备，例如掌上电脑中。
70.光源是由两个圆形灯阵列组成，并安装在双目近红外摄像头的两个镜头周围。光源可以均匀地发出850nm的红外光，并且其配备了亮度调节旋钮，可以根据环境的亮暗手动调节发出红外光的强弱。
71.双目近红外摄像头410和可见光摄像头420可通过有线方式与运动捕捉装置300相连接。双目近红外摄像头可以支持不同的帧率和分辨率的视频捕捉格式来记录人体运动的黑白视频。当分辨率为720p时，可以达到最高的视频捕捉帧率60fps。可见光摄像头以60fps的帧率将人体运动的彩色视频进行可视化并记录。
72.同时，运动捕捉装置300可配置视频录制软件directs show （microsoft directx9.0 inc，usa），可以同时录制来自双目近红外摄像头410和可见光摄像头420的人体运动视频。运动捕捉装置通过视频录制软件来控制摄像头的开启，视频的记录，终止和保存功能。
73.本发明实施例提供的运动捕捉系统通过电源同时为运动捕捉装置、摄像头和近红外光源供电，可移动性强，适应于多个场所，解决了基于光学运动捕捉系统仅适用于医院和康复中心等大场地，固定场地等不足，有助于提高其在临床上的普及度，同时解决了基于光学运动捕捉系统的成本昂贵的问题。
74.此外，可见光摄像头可同时捕捉彩色空间的人体运动场景，可同时获取人体运动的彩色视频供临床医生参考，解决了当前基于光学运动捕捉系统仅可以记录和可视化黑白视频的不足。
75.基于上述实施例，运动捕捉系统还包括安装组件，所述安装组件位于与所述双目近红外摄像头和可见光摄像头的摄像头相对的背面，所述安装组件用于安装所述双目近红外摄像头和可见光摄像头。
76.具体地，为了使得运动捕捉系统能适用更多的使用场景，运动捕捉系统还包括安装组件，例如，可以是在摄像头外壳背面安装一个螺母，用于安装双目近红外摄像头和可见光摄像头，双目近红外摄像头和可见光摄像头背面可安装摄像头稳定器，使得运动捕捉系统不仅可以用于手持方式用于移动场景的下肢运动捕捉，还可以安装在三脚架上用于固定
场景的下肢运动捕捉。
77.基于上述实施例，提供一种固定场景的下肢运动捕捉系统，摄像头通过三脚架固定在距离走步机或跑步机的适当位置，待检测人员穿戴反光标记球。为了排除衣服的干扰，使用魔术轧带和双面胶将反光标记球分别固定在待检测人员的两侧腿的大腿上中线上，膝关节旋转轴，踝关节大转子，脚跟处，以及第五个脚趾。依次打开运动捕捉装置以及近红外光源。调整摄像头的位置，直至近红外双目摄像头和可见光摄像头的画面均可以捕捉到待检测人员下肢的活动范围。通过近红外双目摄像头中的画面手动调整光源的亮暗，直至画面中可以最大限度的保留反光标记球而排除其他反光物体的干扰。通过视频捕捉软件来开始记录近红外双目摄像头和可见光摄像头的图像序列。
78.首先，待检测人员在走步机或者跑步机上站立30秒，这一部分的数据可以用于消除反光标记球的穿戴偏差所带来的影响。其次，待检测人员在不同的行走速度下，行走一分钟。接着，再令待检测人员在走步机或者跑步机上站立30秒。最后，通过视频捕捉软件分别保存双目摄像头和可见光摄像头所记录的运动学视频。
79.在固定场景下，可以控制环境中的光干扰，因此可从双目摄像头记录的运动学视频中提取第一图像序列和第二图像序列，按照步骤110-160的方法提取得到关节角度。
80.基于上述实施例，提供一种移动场景的下肢运动捕捉系统，在移动场景下，环境中的光线控制不容易，将摄像头安装在摄像头稳定器上，数据采集者手持摄像头稳定器，调整摄像头与待检测人员的相对位置，直至近红外双目摄像头和可见光摄像头的画面均可以捕捉到待检测人员下肢，并留有一定的活动范围。通过近红外摄像头中的画面调整光源的亮暗，直至画面中可以最大限度的保留反光标记球而排除其他反光物体的干扰。通过视频捕捉软件来开始记录可见光摄像头和近红外双目摄像头的视频。
81.首先待检测人员在地面上站立30秒，这一部分的数据可以用于消除反光标记球的穿戴所带来的影响。其次，待检测人员在一定距离的长度内行走两圈，在走到通道尽头时，保持直立30秒。在待检测人员行走的过程中，数据采集者需要手持摄像头稳定器并跟随待检测人员一起行走，数据采集者保证人体的下肢侧面处于摄像头的可视化范围。最后，通过视频捕捉软件分别保存可见光摄像头和近红外双目摄像头所记录的运动学视频。
82.获取到双目摄像头的第一图像序列和第二图像序列之后，可去除图像中的运动伪影点。遍历第一图像和第二图像中各个反光标记球的坐标，若两个点之间的坐标相距小于5个像素点，则认为是其中一个是伪影点，取他们的中心点作为正确的标记点。通过区域分割，将不存在于腿上的标记点去除。判断所检测到的反光标记球是否为5个，假如是5个，则继续执行后面的步骤，如果不是5个，则认为这帧图像中没有采集到足够的标记点，接着返回提取下一帧图像。将第一图像和第二图像中除中心点外的所有像素点的值设置为0，生成新的第一图像和第二图像。然后按照步骤110-160的方法提取得到关节角度。
83.本发明实施例提供的运动捕捉系统成本低，部署简单，方便携带，可适应于多个场所，解决了当前基于光学运动捕捉系统仅适用于医院和康复中心等大场地，固定场地等不足，有助于提高其在临床上的普及度。
84.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器（processor）510、通信接口（communications interface）520、存储器（memory）530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通
信。处理器510可以调用存储器530中的逻辑指令，以执行运动捕捉方法，该方法包括：获取双目摄像头拍摄得到的第一图像序列和第二图像序列，所述第一图像序列和所述第二图像序列是针对待检测人员穿戴有反光标记球的一侧拍摄得到；对所述第一图像序列和所述第二图像序列进行目标检测，得到所述第一图像序列的各图像中各反光标记球的第一二维坐标，以及所述第二图像序列的各图像中各反光标记球的第二二维坐标；基于所述第一图像序列和所述第二图像序列中同一时刻的图像中各反光标记球的二维坐标，确定各时刻下的各反光标记球的三维坐标；基于各时刻下的各反光标记球的三维坐标之间的变化，划分步态周期；基于任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的位置；基于所述任一步态周期中人体矢状面的位置，以及所述任一步态周期中各反光标记球的三维坐标，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
85.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
86.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的运动捕捉方法，该方法包括：获取双目摄像头拍摄得到的第一图像序列和第二图像序列，所述第一图像序列和所述第二图像序列是针对待检测人员穿戴有反光标记球的一侧拍摄得到；对所述第一图像序列和所述第二图像序列进行目标检测，得到所述第一图像序列的各图像中各反光标记球的第一二维坐标，以及所述第二图像序列的各图像中各反光标记球的第二二维坐标；基于所述第一图像序列和所述第二图像序列中同一时刻的图像中各反光标记球的二维坐标，确定各时刻下的各反光标记球的三维坐标；基于各时刻下的各反光标记球的三维坐标之间的变化，划分步态周期；基于任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的位置；基于所述任一步态周期中人体矢状面的位置，以及所述任一步态周期中各反光标记球的三维坐标，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
87.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的运动捕捉方法，该方法包括：
获取双目摄像头拍摄得到的第一图像序列和第二图像序列，所述第一图像序列和所述第二图像序列是针对待检测人员穿戴有反光标记球的一侧拍摄得到；对所述第一图像序列和所述第二图像序列进行目标检测，得到所述第一图像序列的各图像中各反光标记球的第一二维坐标，以及所述第二图像序列的各图像中各反光标记球的第二二维坐标；基于所述第一图像序列和所述第二图像序列中同一时刻的图像中各反光标记球的二维坐标，确定各时刻下的各反光标记球的三维坐标；基于各时刻下的各反光标记球的三维坐标之间的变化，划分步态周期；基于任一步态周期中脚与地面接触时刻下各反光标记球的三维坐标，确定所述任一步态周期中人体矢状面的位置；基于所述任一步态周期中人体矢状面的位置，以及所述任一步态周期中各反光标记球的三维坐标，确定所述待检测人员在所述任一步态周期中矢状面上的关节角度。
88.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
89.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
90.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。