一种基于姿态坐标的人体动作捕捉方法

1.本发明涉及信息采集技术领域，尤其涉及一种基于姿态坐标的人体动作捕捉方法。


背景技术：

2.随着科技与生活的日益进步，越来越多的场景需要进行人体动作的复现，如人机交互、作画制作、虚拟现实等。实现人体动作的复现，需要采集人体动作信息，如动作姿态、动作幅度与动作速度等。为实现人体动作采集，出现了多种人体动作捕捉系统，用来采集人体各种动作信息。
3.目前市场上常见的动作捕捉系统包括：机械电动式、声学式、光学式和惯性式。机械电动式需要在人体上安装电动支架，灵活性较差；声学方案易受干扰且无方向性，使得其精度较低；光学式对环境要求较高且价格昂贵，不适合大规模生产；惯性式动作捕捉相较于以上三种方案，具有微型化、成本低、无线传输等优点，具有极大优势。
4.一方面，目前市场上常见的惯性式动作捕捉主要是针对人体姿态进行捕捉，是因为惯性捕捉单元仅能获取姿态信息，但是动作姿态无法完全描述人体动作，根据人体身体情况的不同，动作姿态会有较大差异性，这对动作捕捉的后续处理，如动作映射等，具有极大的影响，严重影响了动作捕捉设备的普适性；另一方面，在某些特定场景中，我们只需要要采集部分身体动作，如手臂动作、腿部动作等，而某些场景需要全身动作信息，许多动作捕捉设备未能充分考虑需求，造成采集的数据过于冗余或者过少，也会加大后续处理的困难性。
5.因此，本领域的技术人员致力于开发一种新的惯性式人体动作捕捉方法，解决现有技术中存在的仅能获取姿态信息以及采集的数据量过于冗余或者过少的问题。


技术实现要素：

6.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何获得可以准确描述人体动作的数据信息，并避免出现数据量的过于冗余或者过少。
7.为实现上述目的，本发明提供了一种新的人体动作惯性捕捉方法，通过建立坐标系，将人体动作定义为姿态描述与坐标描述，从而可以实现动作的姿态和幅度采集，使得后续的处理更加方便准确。
8.本发明提供的一种基于姿态坐标的人体动作捕捉方法，包括以下阶段：
9.动作分析阶段、数据采集阶段、数据处理阶段和数据传输阶段；
10.具体的，所述方法包括以下步骤：
11.步骤s1、根据需求场景进行动作分析与确定；
12.步骤s2、人体特征信息采集；
13.步骤s3、惯性测量单元的安装与校准；
14.步骤s4、人体姿态信息采集；
15.步骤s5、人体姿态信息与人体特征信息处理；
16.步骤s6、将所述步骤s5得到的姿态信息与坐标信息输出；
17.其中，
18.所述步骤s1属于所述动作分析阶段；
19.所述步骤s2、s3与s4属于所述数据采集阶段；
20.所述步骤s5属于所述数据处理阶段；
21.所述步骤s6属于所述数据传输阶段。
22.进一步地，在所述步骤s1中，通过分析动作所涉及的人体部位与人体特征，确定人体基本原点、关节原点、目标原点、所需惯性测量单元的数量与位置。
23.进一步地，在所述步骤s3中，所述惯性测量单元的安装位置是所述s1中所确定的所述惯性测量单元的位置；所述惯性测量单元的校准包括自校准和相对人体校准，其中，所述自校准是所述惯性测量单元相对自带世界坐标系的校准，所述相对人体校准是所述惯性测量单元的某坐标轴方向与人体骨骼所在直线重合。
24.进一步地，所述步骤s5包括：
25.s51、以各原点建立空间坐标系，包括所有能表示空间位置的坐标系，具体包括但不限于直接坐标系和旋转坐标系；建立的所述空间坐标系包括：人体基本坐标系、人体关节坐标系和目标坐标系；
26.s52、根据所述惯性测量单元获取的所述人体姿态信息，计算所述人体关节坐标系、所述目标坐标系相对所述人体基本坐标系的旋转矩阵q，并根据所述步骤s2中所采集的所述人体特征信息生成坐标系平移向量p；所述旋转矩阵q与所述坐标系平移向量p共同构成坐标系转移矩阵t；
27.s53、通过所述坐标系转移矩阵t计算关节和动作目标在所述人体基本坐标系中的所述坐标信息与所述姿态信息。
28.进一步地，在所述步骤s51中，所述人体基本坐标系的坐标原点为所述人体基本原点，所述人体基本坐标系的方向通过所述惯性测量单元获取；所述人体关节坐标系为运动中涉及的各个关节姿态与在所述人体基本坐标系中的位置，所述人体关节坐标系的原点为所述关节原点，所述人体关节坐标系的方向均是通过所述惯性测量单元获取；所述目标坐标系的坐标原点为所述目标原点，所述目标坐标系的方向通过所述惯性测量单元获取。
29.进一步地，在所述步骤s2中所采集的所述人体特征信息包括：肩部到手肘部距离l0、手肘部到手腕部距离l1、手腕到手心距离l2。
30.进一步地，在所述步骤s4中采用五个imu传感器作为所述惯性测量单元；在采集的所述人体姿态信息中，每个imu传感器采集的数据为imu坐标系相对世界坐标系的四元数信息；
31.五个所述四元数信息记为：
32.p
i
(p0，p1，p2，p3，p4)，i＝0，1，2，3，4
33.其中，i代表第i号imu传感器。
34.进一步地，在所述步骤s51中，胯关节坐标系方向与0号imu坐标系方向平行；肩关节坐标系方向与1号imu坐标系平行；肘关节坐标系方向与2号imu坐标系平行；腕关节坐标系方向与3号imu坐标系方向与所述目标坐标系的方向平行；指关节坐标系方向与4号imu坐
标系方向平行。
35.进一步地，在所述步骤s52中，设定所述人体基本坐标系方向与imu自带世界坐标系方向相同；所述imu传感器所采集数据为相对所述人体基本坐标系的所述四元数信息，将所述四元数信息转换为所述人体关节坐标系、所述目标坐标系相对所述人体基本坐标系的所述旋转矩阵q，变化方程为：
[0036][0037]
所述各人体关节坐标系相对所述人体基本坐标系的旋转矩阵即为动作各部位姿态；
[0038]
在所述步骤s2中所采集的所述人体特征信息构成所述人体基本坐标系和工作坐标系的平移向量p
ij
＝(0,0,l
i
)，并计算所述人体基本坐标系和所述工作坐标系的旋转角度，构成旋转矩阵q
ij
，计算方法为：
[0039][0040]
所述旋转矩阵q
ij
与所述平移向量p
ij
构成所述人体基本坐标系和所述工作坐标系的坐标系转移矩阵t
ij
：
[0041][0042]
通过所述坐标系转移矩阵t
ij
即可求各关节在所述人体基本坐标系下的坐标：
[0043][0044]
其中，0、i、j均表示某坐标系，q为所述旋转矩阵，q
ij
即为i、j坐标系间的旋转矩阵；p
i
为某点在i坐标系中的向量，p
j
为某点在j坐标系中的向量，t
ij
为i、j坐标系的坐标系转移矩阵。
[0045]
本发明还提供了一种基于姿态坐标的人体动作捕捉装置，所述装置用于执行权利要求1至9中任意一项所述基于姿态坐标的人体动作捕捉方法，所述装置以下模块：
[0046]
动作分析模块，所述动作分析模块通过分析动作所涉及的人体部位与人体特征，确定人体基本原点、关节原点、目标原点、所需惯性测量单元的数量与位置；
[0047]
数据采集模块，所述数据采集模块采集人体特征信息和人体姿态信息；
[0048]
数据处理模块，所述数据处理模块通多对所述人体姿态信息与所述人体特征信息的处理得到姿态信息与坐标信息；
[0049]
数据传输模块，所述数据传输模块将得到的所述姿态信息与所述坐标信息输出。
[0050]
本发明提供的一种基于姿态坐标的人体动作捕捉方法至少具有以下技术效果：
[0051]
1、本发明提供一种新的人体动作惯性捕捉方法，通过建立坐标系，将人体动作定义为姿态描述与坐标描述，实现动作的姿态、幅度采集，使后续处理更加方便准确，从而避免传统的人体动作惯性采集方法仅考虑人体姿态，未考虑而人体特征不同会使相同人体姿态呈现出不同的动作效果的问题；
[0052]
2、本发明提供一种新的人体动作惯性捕捉方法，先根据场景进行需求分析，确定
需要的动作姿态采集部位，定点使用惯性测量单元采集数据，防止传统的人体动作惯性采集方法因为未考虑动作捕捉的实际需求所造成的采集的信息不足或者冗余，从而加大人体动作信息的处理复杂程度的问题；
[0053]
3、本发明提供一种新的人体动作惯性捕捉方法，该方法使用要求低、成本低，有利于大规模适用。
[0054]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0055]
图1是本发明的一个较佳实施例的人体动作姿态坐标捕捉的流程示意图；
[0056]
图2是图1所示实施例的人体上身简图；
[0057]
图3是图1所示实施例的惯性测量单元固定位置示意简图；
[0058]
图4是图1所示实施例的imu坐标系示意图；
[0059]
图5是图1所示实施例的关节坐标系示意图；
[0060]
图6是图1所示实施例的人体基本坐标系、工作坐标系与平移向量示意图。
[0061]
其中，000
‑
胯部，001
‑
肩部，002
‑
肘部，003
‑
腕部，004
‑
指关节，010
‑
1号imu，020
‑
2号imu，030
‑
3号imu，040
‑
4号imu，050
‑
5号imu，100
‑
0号imu坐标系，101
‑
1号imu坐标系，102
‑
2号imu坐标系，103
‑
3号imu坐标系，104
‑
4号imu坐标系，201
‑
胯关节坐标系，202
‑
肩关节坐标系，203
‑
肘关节坐标系，204
‑
腕关节坐标系，205
‑
指关节坐标系，301
‑
人体基本坐标系，302
‑
目标坐标系，310
‑
坐标系202到203平移向量，320
‑
坐标系203到204平移向量，330
‑
坐标系204到坐标系302平移向量。
具体实施方式
[0062]
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
[0063]
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
[0064]
一方面，由于目前市场上常见的惯性式动作捕捉主要是针对人体姿态进行捕捉，因为惯性捕捉单元仅能获取姿态信息，但是动作姿态无法完全描述人体动作，根据人体身体情况的不同，动作姿态会有较大差异性，这对动作捕捉的后续处理，如动作映射等，具有极大的影响，严重影响了动作捕捉设备的普适性；另一方面，在某些特定场景中，我们只需要要采集部分身体动作，如手臂动作、腿部动作等，而某些场景需要全身动作信息，许多动作捕捉设备未能充分考虑需求，造成采集的数据过于冗余或者过少，也会加大后续处理的困难性。
[0065]
因此，本发明所要解决的技术问题是如何获得可以准确描述人体动作的数据信息，并避免出现数据量的过于冗余或者过少。
[0066]
为实现上述目的，本发明提供了一种新的人体动作惯性捕捉方法，通过建立坐标
系，将人体动作定义为姿态描述与坐标描述，从而可以实现动作的姿态和幅度采集，使得后续的处理更加方便准确。
[0067]
本发明提供的一种基于姿态坐标的人体动作捕捉方法包括以下阶段：
[0068]
动作分析阶段、数据采集阶段、数据处理阶段和数据传输阶段；
[0069]
具体的，该方法包括以下步骤：
[0070]
步骤s1、根据需求场景进行动作分析与确定；
[0071]
步骤s2、人体特征信息采集；
[0072]
步骤s3、惯性测量单元的安装与校准；
[0073]
步骤s4、人体姿态信息采集；
[0074]
步骤s5、人体姿态信息与人体特征信息处理；
[0075]
步骤s6、将
‑
步骤s5得到的姿态信息与坐标信息输出；
[0076]
其中，
[0077]
步骤s1属于动作分析阶段；
[0078]
步骤s2、s3与s4属于数据采集阶段；
[0079]
步骤s5属于数据处理阶段；
[0080]
步骤s6属于数据传输阶段。
[0081]
在步骤s1中，动作分析指分析动作所涉及的人体部位与人体特征。通过分析动作所涉及的人体部位与人体特征，确定人体基本原点、关节原点、目标原点、所需惯性测量单元的数量与位置。
[0082]
具体的，人体部位包括但不限于手部、腰部、腿部，是指身体的所有部位；人体特征主要是人体上两个固定点的距离；人体基本原点是定量分析人体动作的重要起始点，是人身体上的某个位置；关节原点为动作中所涉及的关节位置；目标原点是动作中某个不在关节的点，其位置无法用关节描述，需要预先设定；惯性测量单元数量与动作涉及的人体部位相同；惯性测量单元的位置是动作所涉及的部位的位置。
[0083]
优选的，在步骤s2中，采集步骤s1中所需要的人体特征信息。
[0084]
优选的，在步骤s3中，惯性测量单元的安装位置是步骤s1中所确定的惯性测量单元的位置；惯性测量单元的校准包括自校准和相对人体校准，其中，自校准是惯性测量单元相对自带世界坐标系的校准，相对人体校准是惯性测量单元的某坐标轴方向与人体骨骼所在直线重合。
[0085]
优选的，在步骤s4中，采集步骤s1中所需要的人体部位姿度信息。
[0086]
优选的，步骤s5包括：
[0087]
s51、以各原点建立空间坐标系，包括所有能表示空间位置的坐标系，具体包括但不限于直接坐标系和旋转坐标系；建立的
‑
空间坐标系包括：人体基本坐标系、人体关节坐标系和目标坐标系；
[0088]
其中，人体基本坐标系为动作分析中基本坐标系，各动作姿态、坐标均需要转换为相对人体基本坐标系的姿态、坐标；人体基本坐标系坐标原点为人体基本原点，其方向通过一个惯性测量单元获取；关节坐标系，运动中涉及的各个关节姿态与在人体基本坐标系中的位置，其原点为关节原点，其方向均是通过惯性测量单元获取；目标坐标系，坐标原点为目标原点，其方向通过惯性测量单元获取。
[0089]
s52、根据
‑
惯性测量单元获取的人体姿态信息，计算人体关节坐标系、目标坐标系相对人体基本坐标系的旋转矩阵q，并根据步骤s2中所采集的人体特征信息生成坐标系平移向量p；旋转矩阵q与坐标系平移向量p共同构成坐标系转移矩阵t；
[0090]
s53、通过坐标系转移矩阵t计算关节和动作目标在人体基本坐标系中的坐标信息与姿态信息。
[0091]
优选的，步骤s6将步骤s5得到的姿态信息和坐标信息进行输出。
[0092]
下面将结合附图对本发明的技术方案进行清楚、完整地描述。
[0093]
如图1所示，为本发明提供的一种人体动作姿态坐标捕捉方法，主要包括动作分析阶段、数据采集阶段、数据处理阶段、数据传输阶段，其中，s1属于动作分析阶段、s2、s3和s4属于数据采集阶段，s5属于数据处理阶段，s6属于数据传输阶段，具体为：
[0094]
在某些特定场景，我们需要复现人体的某个动作，如抓取水杯，设定水杯在手臂可抓取范围内，即不需要进行移动、不需要弯腰、不需要下蹲或上跳(在本实例中均为直角坐标系)。
[0095]
s1，动作分析，当人在立正状态去伸手抓取水杯时，主要的运动部位为人体手臂，包括大臂、小臂、手，涉及的关节为肩关节、肘关节、腕关节与指关节，其中抓取水杯时，对应位置为手心，此位置不在关节处。具体如图2所示，涉及的关节包括胯部000、肩部001、肘部002、腕部003和指关节004。
[0096]
我们将人体的肩部确定为人体基本坐标原点，需要的关节原点为肩关节、肘关节、腕关节与指关节，需要的目标原点为手心；
[0097]
需要采集的姿态分别为腰部姿态、大臂姿态、小臂姿态、手心姿态、手指姿态，其中腰部姿态主要是为确定人的方向，即是否面对水杯，手心姿态是为了确定水杯的姿态，手指姿态是为确定手的抓取的动作，为此需要5个惯性测量单元，分别放置于腰部、大臂、小臂、手背、手指，本实例中我们采用imu传感器座位惯性测量单元，放置位置如图3所示：1号imu010，2号imu020，3号imu030，4号imu040，5号imu050，图上所标注位置仅为示意位置，imu测量姿态只需要放置在相应部位，具体位置并不需要固定。
[0098]
需要采集的人体特征为：肩关节到肘关节距离、肘关节到腕关节距离、腕关节到手心距离。
[0099]
s2，采集人体特征，即肩部到手肘部距离l0，手肘部到手腕部距离l1，手腕到手心距离l2。
[0100]
s3，在指定部位放置imu，并对imu方向进行校准，除imu传感器的自校准外(imu世界坐标系为东北天，即指向东面为x轴正向，指向北面为y轴正向，指向天空为z轴正向，为右手坐标系)，还需imu与人体特征进行校准，因imu自带姿态坐标系，为此将imu一轴设定为与骨骼所在方向平行，如图4所示，为不同imu的坐标系，具体为：0号imu坐标系100，1号imu坐标系101，2号imu坐标系102，3号imu坐标系103，4号imu坐标系104。
[0101]
s4，采集人体姿态信息，每个imu惯性传感器采集数据为imu坐标系相对世界坐标系的四元数信息，五个四元数信息为p
i
(p0，p1，p2，p3，p4)，i＝0，1，2，3，4，其中i代表第i号imu惯性测量单元.
[0102]
s5，建立人体基本坐标系、关节坐标系、目标坐标系，其中关节坐标系如图5所示，人体基本坐标系、目标坐标系如图6所示。在图5所示的关节坐标系中，包括：胯关节坐标系
201，肩关节坐标系202，肘关节坐标系203，腕关节坐标系204，指关节坐标系205。在图6所示的人体基本坐标系、工作坐标系与平移向量示意图中，包括：人体基本坐标系301，目标坐标系302，坐标系202到203平移向量310，坐标系203到204平移向量320，坐标系204到坐标系302平移向量330。
[0103]
其中，胯关节坐标系201的方向与0号imu坐标系100的方向平行；肩关节坐标系202的方向与1号imu坐标系101的方向平行；肘关节坐标系203的方向与2号imu坐标系102的方向平行；腕关节坐标系204的方向与3号imu坐标系103的方向与目标坐标系的方向平行；指关节坐标系205的方向与4号imu坐标系104的方向平行。
[0104]
设定人体基本坐标系方向与imu自带世界坐标系方向相同，imu惯性测量单元所采集数据也可认为是相对人体基本坐标系的四元数信息，此时需要将此四元数信息转换为两个坐标系的旋转矩阵信息，变化方程为：
[0105][0106]
各关节坐标系相对人体基本坐标系的旋转矩阵即为动作各部位姿态，如肩关节坐标系202相对人体基本坐标系的旋转矩阵即为大臂姿态；肘关节坐标系203相对人体基本坐标系的旋转矩阵即为小臂姿态；腕关节坐标系204相对人体基本坐标系的旋转矩阵即为手背姿态；指关节坐标系205相对人体基本坐标系的旋转矩阵即为手指姿态。
[0107]
目标坐标系相对人体基本坐标系的旋转矩阵即为水杯姿态。
[0108]
在步骤s2中所采集的人体特征信息，构成人体基本坐标系和工作坐标系的平移向量p
ij
＝(0,0,l
i
)，如图6所示，并计算人体基本坐标系和工作坐标系的旋转角度，构成旋转矩阵q
ij
，计算方法为：
[0109][0110]
旋转矩阵q
ij
与平移向量p
ij
构成人体基本坐标系和工作坐标系的坐标系转移矩阵t
ij
：
[0111][0112]
通过坐标系转移矩阵t
ij
即可求各关节在人体基本坐标系下的坐标：
[0113][0114]
其中，0、i、j均表示某坐标系，q为旋转矩阵，q
ij
即为i、j坐标系间的旋转矩阵；p
i
为某点在i坐标系中的向量，p
j
为某点在j坐标系中的向量，t
ij
为i、j坐标系的坐标系转移矩阵。
[0115]
手心坐标系原点在人体基本坐标系中的坐标即为杯子相对于手臂的位置。
[0116]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。