人体运动捕获三维再现系统的制作方法

专利名称：人体运动捕获三维再现系统的制作方法
技术领域：
本实用新型涉及人体运动捕获三维再现系统，属于人体运动感知获取技术领域。 技术背景
现在，通过对人体的姿态和运动信息的准确获取和分析，能够根据步态的变化推断可能 存在的疾病；能够根据运动员的起跳和击球时身体和四肢的轨迹分析问题的所在，从而改进 训练；能够准确地跟踪姿态和运动，理解肢体语言，建立高水平的游戏和模拟训练的人机交 互，为数字电影、虚拟世界构建栩栩如生的角色。但是由于人体运动的随意性和复杂性，以 及人体所在的周围环境的多样性，给实时准确人体运动感知获取技术带来了巨大的挑战。因 此，目前急需一种能够不受时空限制和外界环境干扰的人体运动感知和合成技术，实现人体 姿态和运动自由式获取和重现，为健康监测、康复训练、舞蹈训练、体育运动分析、电影数 字特技、虚拟现实、游戏和人机交互等领域的应用提供技术。
目前，常用的运动捕获技术根据操作和所使用的传感器的类型不同，大致可以分为两类。 一类主要使用摄像机阵列，另一类是使用附着在身体上的微型传感器组。使用摄像机的运动 捕获系统利用多个高精度高采样率的摄像头捕捉运动者关节上的反射标志，如市场上的产品 Vicon。这类系统造价极其昂贵，并且处理的数据量巨大。这方面的专利技术有申请号为 20080192116的美国专利Real-time objects tracking and motion capture in sports events 是一个实时运动目标跟踪系统。它使用多个摄像机来检测和跟踪运动目标，但不涉及目标本 身的运动细节。专利号为7457439的美国专利System and method for motion capture使 用摄像机所获得的运动者身上标志的位置信息以及运动者三维运动模型，恢复出身体的三维 运动信息，并利用三维运动模型，比对运动状态。中,专利"基于运动获取的彩色紧身衣"， 申请号00264404，设计了一种用色块来编码人体部位的运动获取衣。中国专利"处理被动光学运动获取数据的方法"申请03120688，是一种处理被动光学运动获取数据的方法，包括 获取带有被动光学标记的被摄体的同步多摄像机图像，从获取的数据获得标记的一组三维坐 标，确定连续获取中各标记之间在时间上的对应，从而确定附有标记的被摄体的身体部分的 位置，以一组所作的标记为基础，确定被摄体运动投影到的运动模型的每个连接的角度，并 且计算被摄体的姿势。中国专利"一种对多相机系统的标定方法及装置"，申请号 200710062825,是一种多摄像机基于标志点的三维运动信息重建的新方法。
微电子机械系统(MEMS)、微型传感器和无线通信技术的发展使得一种全新的人体运动获 取和分析技术成为可能。这类微型传感器体积小、能耗低、测量直接、穿戴方便，同时不受 时空限制，非常适合做成穿戴或手持式的运动分析装置。美国专利System and Method for Motion Capture in Natural Environments, IPC8类AG01C2300FI， USPC类73510使用 放在身体各部位的超声发射源和接收器，测出相应部位的位置，再用惯性传感器测量出的转 角来校准位置测量，从而得出身体的运动参数。由于使用了超声传感器和惯性传感器，例如 加速度传感器和陀螺仪，从而使整个运动获取系统变得复杂。
实用新型内容
本实用新型的目的是为了克服上述已有技术的不足之处，提供一种便携式实时人体运动 捕获三维再现系统。
本实用新型是使用了微型传感器的运动获取系统。整个系统以人体运动模型为基础传感 器的放置穿戴、运动参数的估计、运动参数之间的约束、人体三维形象的运动再现，都建立 在三维模型的基础之上。
本实用新型包括穿戴式微型传感器实时运动获取装置和人体三维运动形象(Avatar)的实 时再现子系统两部分，所获取的运动参数是在整个人体三维坐标下的，是三个自由度；另一 方面，也可以推导出该人体相对于全局空间坐标的位置，这样又增加了三个自由度，从而变 成六个自由度。本实用新型的这两部分都以人体的运动模型为基础。由于人体由多个相互关 联的活动肢体组成，人体运动系统由骨骼通过关节链接在一起组成，人体姿态的变化由人体 关节的运动带动人体骨骼和下一层关节的运动来实现。因此，本实用新型建立了一个层次化 的人体运动结构模型。在这个模型中，运用了关节之间的相对运动和骨骼位置的变化来描述人体模型的运动。当关节位置发生变化时，依附于该关节的骨骼以及其子关节的位置也随之 发生变化。为了描述人体运动，本实用新型定义了人体全局坐标系和各个关节的局部坐标系。
为了测量身体各个活动肢体的运动参数，穿戴式微型传感器实时运动获取装置在每个活 动肢体上至少放置一个微型传感器单元。每个微型传感器单元包括全部或部分下述传感器 三轴加速度传感器、三轴微型陀螺仪、三轴微型磁力计、超声传感器，等。使用微型传感器 单元测得三轴加速度、三轴角速度和方向作为输入，系统的贝叶斯滤波可以估计出每一个时 刻该活动肢体的运动参数三维角度、角速度和角加速度。
在整个人体运动系统中，各个活动肢体的运动是受整个人体运动系统制约的。当穿戴式 微型传感器实时运动获取装置在对某一个活动肢体使用微型传感器单元测量值进行位置和运 动估值时，估值的误差和长时间积累的漂移可能会破坏人的整体运动模型的基本约束条件。 因此，本实用新型在估值中，也将人体运动系统约束条件融合进估值计算方法之中，从而纠 正估值误差和漂移。
为了进一歩提高测量精度，穿戴式微型传感器实时运动获取装置也在关键部位，如躯干、 上臂、下肢等部位加上超声传感器，精确测量它们的相对位置，以校准运动估值误差和漂移。 同时，加入超声传感器或磁传感器，也可以比较方便地测出人体在整体坐标中的位置。
当穿戴式微型传感器实时运动获取装置向人体三维运动形象实时再现子系统输出各活动 肢体的运动参数后，三维运动形象实时再现子系统使用这些运动参数，驱动三维人体模型。 为了达到逼真的效果，虚拟人体模型在人体骨骼模型之上加了表面皮肤，它用多边形网格组 成，可以表示任意的拓扑结构，适用人体这种复杂的带分支的结构，不同部位之间也可以方 便的连接在一起。当人体骨骼模型由运动参数驱动时，会带动皮肤模型变形，产生好的逼真 度。
本实用新型的直接应用之一是实时三维动画动作设计。由演员穿上本实用新型的便携式 实时人体运动获取系统，本实用新型中的三维再现系统中的人体三维运动形象即为动画中的 角色，人体运动获取系统将运动参数输出给动画中的角色，使得该角色完全按照演员的动作 而动。由于是实时，并直接看到效果，使得动画的制作时间大大缩短，制作成本大大降低。
本实用新型的直接应用之二是交互试游戏、模拟训练和舞蹈定量化教学。游戏方或被训练方穿上本实用新型的便携式实时人体运动获取系统，本实用新型中的三维再现系统中的人 体三维运动形象也即混合现实游戏和模拟训练中的游戏方或被训练方的虚拟角色。人体运动 获取系统将运动参数输出给混合现实游戏或模拟训练中的游戏方或被训练方的虚拟角色，使 得该虚拟角色完全按照的真人的动作而动作。由于真人的运动肢体的运动参数包括了角度、 位移、速度和加速度，如果是拳击，由此可以推出出拳的位置、速度和力量，并可以进而根 据对方的动作，确定该拳的结果。也可以对该拳的动作作出评述和演示，达到训练的目的。 本实用新型的直接应用之三是混合现实(Mixed reality)及其应用，如沉浸式学习 (I腿ersive Learning)。学习者穿上本实用新型的便携式实时人体运动获取系统，与其它 学习者(真实或虚拟的学习者) 一起参与(真实的、远程的、微观的、不可及的、或虚拟的) 学习场景。学习者的虚拟形象(Avatar)，也即本实用新型中的三维再现系统中的人体三维运 动形象出现在场景之中，他们的肢体语言和话语一起被理解，共同构成真实的学习体验。
本实用新型人体运动捕获三维再现系统，其特征在于，包括
人体运动捕获子系统和人体运动再现子系统，所述人体运动捕获子系统由微型传感器运 动测量模块和运动参数估计模块组成；
所述的微型传感器运动测量模块，其由多个附着在人体各肢体的微型传感器单元，分别 测量相应肢体运动数据；
所述的运动参数估计模块，其将每一微型传感器单元的不同种类的微型传感器数据融合 起来，估计出相应肢体的运动参数，然后整合人体各肢体运动，推导出人体的整体运动，包 括人体的整体位移和各肢体的方位；
所述人体运动再现子系统用于接收人体运动捕获子系统所推导出的人体整体运动参数， 驱动人体三维运动形象，'以动画的形式在虚拟世界再现相应真人运动。
所述微型传感器单元穿戴和附着于人体的每个个被测肢体上；
所述微型传感器单元包括
微型三维加速度计、微型陀螺仪、微型磁力计、微型超声测距仪、微型电容测距仪；
7前置放大器和模数转换器，用以接收微型传感器所采集的信号，把它放大到模数转换器 所要求的信号幅度动态范围，进而转换为数字信号； 控制器，用于将各微型传感器数据打包； 无线通信芯片。
所述人体运动获取子系统的微型传感器运动测量模块有两种结构
结构一为有线连接结构。所有传感器单元中均无无线通信芯片，微型传感器运动测量模 块包括一个或几个控制单元，模块为每一传感器单元分配一唯一地址，由一数据总线将所有 传感器单元和模块中的控制单元连接到一起，控制单元通过地址总线选择不同的传感器，向 各传感器单元分布控制命令，如激活、同步、设定采样率等，获取每个微型传感器单元的各 路测量数据；
结构二为无线连接结构，所有传感器单元中均有无线通信芯片和独立的控制器，以便与 微型传感器运动参数估计模块直接通信，微型传感器运动测量模块中没有独立的控制器，只 有一组相互平行的具有无线通信能力的传感器单元。
所述微型传感器运动参数估计模块的功能有融合附着在某一肢体上的所有传感器数据 估计该肢体的运动参数，根据人体运动模型融合所有肢体的运动和各肢体之间的相互限制和 运动边界条件，推导人体的肢体姿态；推导人体在全局坐标系中的位移。
在所述微型传感器运动参数估计模块中的运动估值算法中，为了降低传感器噪声的影响， 采用多噪声模式；为了更准确地估值身体各肢体的非线性和随机运动，采用多运动模式。
在所述微型传感器运动参数估计模块中，为了解决各肢体间运动估计的非一致性问题， 使用机械手D—H模型等，运用相邻肢体间的联动性质，降低运动参数数目，也可以将各相邻 肢体间的连动特点，表示成相互运动制约，应用于估值算法中。
在所述微型传感器运动参数估计模块完成了人体姿态估值之后，可以有三种方法估计或
测定其全局坐标中的位置使用超声、雷达、激光等测距方法，从几个参考物的距离中推导出全局坐标； 使用步态分析方法，推导人体位移； 使用对加速度传感器读数的积分，推导出速度和位移。
所述人体运动再现子系统利用微型传感器单元提供的人体姿态信息和人体相对于已知参 考坐标系的位移信息，将其转化为人体运动模型的输入参数，实时驱动虚拟人体模型进行相 应真实人体运动的动画重现。
所述人体运动再现子系统中的人体运动模型釆用基于表面模型的建模方式，分为骨架层 和表面皮肤层；
第一层，也即骨架层是人体运动控制的基础，其参数由树状层次结构的骨骼、关节链接 参数、关节角度约束以及物理属性组成；
第二层为表面皮肤层，皮肤的变形由底层的关节体结构驱动；
真实人体运动时，微型传感器运动参数估计模块提供当前时刻人体骨架上各个关节的角 度，驱动骨架至某一运动姿态，再由骨架上的各个骨骼带动相应部位的人体表面皮肤运动， 变形控制点受底层骨架关节的位置和力的约束，最终这些变形共同产生几何皮肤环绕在骨架 上的变形效果。
所述人体运动再现子系统中的人体运动信息与虚拟人体模型的参数信息之间实时有效的 从父节点到子节点的转化方法和四元数表示形式，把参数估计模块输入的参数信息转化为驱 动模型运动时所需的角度旋转信息和位置移动信。
所述人体运动再现子系统以数据驱动的方式实时再现人体真实的运动姿态，涉及三个彼 此嵌套的坐标系全局坐标系与显示坐标系一致；人体坐标系，取骶骨关节为人体重心，并 在该关节处定义人体的基坐标系，其方向与全局坐标系一致；关节局部坐标系，关节轴线方 向为Z轴正方向，取上一关节与该关节连接方向为X轴正方向，然后按照右手规则确定Y轴方向。所述人体运动再现子系统将人体骨骼运动分解成为相对于身体局部坐标系的旋转和平 移，其旋转、平移通过一个旋转四元组和一个平移矢量来表示，同时在变化过程中，变形控 制点受到底层骨架的位置、长度以及关节的旋转角度的约束和限制，保证虚拟人体模型满足 正常人的运动约束。
系统初始化包括使用人体真实参数和标准动作进行运动获取子系统和运动再现子系统参 数的初值的设定，以及这两个子系统间的一致性和同步。
对每一个肢体可估计出它的方位角、旋转角以及角速度，根据该肢体的长度，可以进一步 算出出该肢体下端关节的位置、速度、加速度和力度。
以附着于某一肢体的单一传感单元所估计出的方位角、旋转角和角速度，作为人机交互的 参数。
所述单一传感单元人机交互装置将单一传感器单元制成无线手持遥控器的形式，当手持器 件指向屏幕时，其上下左右运动的角度，以及旋转角度，作为计算机的输入，用作鼠标，该 遥控器的运动位置、速度、加速度和力度也可以估计出来，和角度一起作为游戏交互的手段。
根据对人的腰部、上臂、小臂和手腕的即时角度、以及相应关节的即时位置和速度，分析 拳、剑、球拍的力度和身体主要部位的运动轨迹之间的关系，将体育训练推向定量化的水平， 对腿、脚和其它部位的分析，对相应的运动也有同样的效果。
附着在大腿、小腿和脚上的传感器单元可以测量出这些肢体的即时角度、膝盖、脚踝、 脚掌的位置、速度和受力的可用于为步态的定量表征和分析的数据。
本实用新型的优点在于结构简单，精度高，成本低，体积小，功耗低，使用方便，具 有便携性和实时性的特点，在众多领域具有广泛应用，具有较强的实用价值和应用前景。

图1是本实用新型所述人体运动捕获三维再现系统的整体逻辑结构方框图； 图2是本实用新型人体运动捕获子系统信号采集、处理结构框图及实施方案之一。
具体实施方式

以下结合附图和具体实施例对本实用新型作进一步详细的介绍，图1是本实用新型的整 体逻辑结构方框图，本实用新型由人体运动捕获子系统100和三维再现子系统200组成。人 体运动捕获子系统100由微型传感器运动材料模块110和运动参数估计模块120组成。微型 传感器运动测量模块110实时采集人体各活动肢体的运动数据，使用这些数据，并融合进人 体运动模型的限制条件，运动参数估计模块120估计出相应的活动肢体的姿态信息和相对于 全局坐标系的位移。人体运动再现子系统200根据运动参数估计模块120估计出的活动肢体 的姿态信息和全局位移信息，驱动人体三维模型，以人体动画的再现穿戴者的运动形象。
人体所有活动肢体以脊椎为根，派生出颈头、下肢和上肢共5个分支。人体模型是运动 测量、运动参数估计和运动形象再现的基础。人体骨骼模型清晰地定义了人体各活动肢体， 因此，在每一个要测量的肢体上，都要放置至少一个微型传感器单元。这就是说，如果是做 全身运动测量，需要20个左右微型传感器，分别放置在头、脊椎(本实用新型仅在颈椎、胸 椎和腰椎三个部位放置传感器)、两上臂、前臂、手掌、手指，两大腿、小腿、脚掌、脚趾等。
每一个微型传感器单元包括三维微型加速度传感器、微型三维陀螺仪、微型三维磁力计、 超声测距仪等的全部或部分。
由于放置于某个活动肢体的微型传感器测量的是该活动肢体的动态数据，由测得的数据 估计出的该活动肢体的运动参数也是在该肢体的坐标系之下。任何测量和估计误差的积累都 将会造成该肢体的位置和运动参数比较大的偏移其正常值，进而与相邻肢体的不一致。因此， 融合多种测量数据和人体模型限制和知识，提高测量和估计精度，降低累积估计误差，保证 各肢体参数的一致性，并进而估计出人体在全局坐标系中的位置，是难点，也是本实用新型 的技术重点之一。
本实用新型的第一种实施方案，如图2所示，微型传感器运动测量模块由数个微型传感 器单元、数个超声测距单元和一个或数个控制单元组成。微型传感器单元可以只使用微型惯 性传感器，即三维加速度传感器和三维陀螺仪，需要时也可增加磁力计。超声测距单元由放 置在身体两个部位(如胸和上臂、胸和头、胸和大腿等)的时间精确同步的发射器和接收器 组成。发射和接收间的时间差可以精确地计算出两个肢体间的距离。如超声频率是40k，测 量精度可达2毫米。这可以用于校准肢体之间的相对距离。
11微型传感器单元和超声测距单元可以数据总线的有线方式与控制单元相联，控制单元进而以无线或有线的方式与主计算机相联，所述主计算机为台式或便携式。运动参数估计模块120和运动再现子系统200都以软件形式在主计算机上实现，运动参数估计模块120也可以在便携式计算机上实现。便携式计算机进而以无线传输方式实现运动参数估计模块120与运动再现子系统200的连接。
本实用新型不限于上述实施例，对于本领域技术人员来说，对本实用新型的上述实施例所做出的任何改进或变更都不会超出仅以举例的方式示出的本实用新型的实施例和所附权利要求的保护范围，所描述的实施例仅旨在便于对本实用新型的理解，而对其不起任何限定作用。
权利要求1、人体运动捕获三维再现系统，其特征在于，包括人体运动捕获子系统(100)和人体运动再现子系统(200)，所述人体运动捕获子系统(100)由微型传感器运动测量模块(110)和运动参数估计模块(120)组成；所述的微型传感器运动测量模块(110)，其由多个附着在人体各肢体的微型传感器单元，分别测量相应肢体运动数据；所述的运动参数估计模块(120)，其将每一微型传感器单元的不同种类的微型传感器数据融合起来，估计出相应肢体的运动参数，然后整合人体各肢体运动，推导出人体的整体运动，包括人体的整体位移和各肢体的方位；所述人体运动再现子系统(200)用于接收人体运动捕获子系统(100)所推导出的人体整体运动参数，驱动人体三维运动形象，以动画的形式在虚拟世界再现相应真人运动。
2、 根据权利要求1所述的人体运动捕获三维再现系统，其特征在于所述微型传感器单 元穿戴和附着于人体的每个被测肢体上。
3、 根据权利要求1所述的人体运动捕获三维再现系统，其特征在于，所述人体运动捕获 子系统(100)中的微型传感器运动测量模块(110)有两种结构结构一为有线连接结构，微型传感器运动测量模块(110)包括多个传感器单元，以及一 个或几个控制单元，模块为每一传感器单元分配一唯一地址，由一数据总线将所有传感器单 元和模块中的控制单元连接到一起，控制单元通过地址总线选择不同的传感器，向各传感器 单元发布控制命令，获取每个微型传感器单元的各路测量数据，此后控制单元通过无线或有 线方式与便携式微计算机连接，将所获取数据统一发往微型传感器运动测量模块；结构二为无线连接结构，所有传感器单元中，除各种微型传感器外，均包含无线通信芯片和控制器，它们都可以独立进行传感器数据获取，与便携式微计算机交互，接受命令，发 送数据，便携式微计算机可以选择分时或竞争的方式与多个传感器单元通信。
4、 根据权利要求3所述的人体运动捕获三维再现系统，其特征在于所述无线连接结构 的微型传感器运动测量模块(110)中的微型传感器单元包括微型三维加速度计、微型陀螺仪、微型磁力计、微型超声测距仪、微型电容测距仪；前置放大器和模数转换器，用以接收微型传感器所采集的信号，把它放大到模数转换器 所要求的信号幅度动态范围，进而转换为数字信号；控制器，控制对各微型传感器的数据采样，将所采数据打包送往通信芯片，与微计算机 交换；无线通信芯片。
5、 根据权利要求1所述的人体运动捕获三维再现系统，其特征在于，所述人体运动再现 子系统(200)中的人体运动模型采用基于表面模型的建模方式，分为骨架层和表面皮肤层；第一层，即骨架层是人体运动控制的基础，其参数由树状层次结构的骨骼、关节链接参 数、关节角度约束以及物理属性组成；第二层为表面皮肤层，皮肤的变形由底层的关节体结构驱动。
专利摘要本实用新型公开了人体运动捕获三维再现系统，包括人体运动捕获子系统和人体运动再现子系统，所述人体运动捕获子系统由微型传感器运动测量模块和运动参数估计模块组成；所述的微型传感器运动测量模块，其由多个附着在人体各肢体的微型传感器单元，分别测量相应肢体运动数据；所述人体运动再现子系统用于接收人体运动捕获子系统所推导出的人体整体运动参数；本实用新型的优点在于结构简单，精度高，成本低，体积小，功耗低，使用方便，具有便携性和实时性的特点，在众多领域具有广泛应用，具有较强的实用价值和应用前景。
文档编号A61B5/11GK201431466SQ20092010896
公开日2010年3月31日 申请日期2009年6月15日 优先权日2009年6月15日
发明者吴健康 申请人:吴健康