基于动作捕捉系统实现虚拟现实全方位动作的方法
【专利摘要】本发明提供一种基于动作捕捉系统实现虚拟现实全方位动作的方法，通过动作捕捉系统所设的传感器节点获取人体动作的原始信息，利用融合算法得到各自的人体关节动力学参数，然后利用多源信息融合技术，融合修正接收到的人体关节动力学参数并计算出动作防护装置的控制参数；驱动动作防护装置带动动作捕捉系统从而安全辅助地控制人体在半空中上做出旋转、直立，前倾，平行，俯冲等动作。使用本发明的方法在保证人体动作的安全性的同时，对人体动作的束缚更小，不仅可以实现360度的地面动作，同时还可以实现腾空、俯冲、前倾等空中动作；结合可选的VR眼镜(Oculus?Rift)或微软的Kinect配件，玩家能够安全的在现实中360°全方位控制虚拟世界的地面动作和空中动作，在虚拟世界中做出对现实反应的真实模拟，且效果更逼真。
【专利说明】基于动作捕捉系统实现虚拟现实全方位动作的方法
【技术领域】
[0001] 本发明属于虚拟现实领域，尤其是涉及一种基于动作捕捉系统实现在虚拟现实中 能安全控制动作、防护危险、实现全方位动作的方法。
【背景技术】
[0002] 虚拟现实（Virtual Reality,简称VR，又译作灵境、幻真）是近年来出现的高新技 术，也称灵境技术或人工环境。虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提 供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有 限制地观察三度空间内的事物。
[0003] 虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角（宽视野）立体 显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音 输入输出技术等。
[0004] 虚拟现实技术的主要特点之一即是它的交互性，交互性即可以使真实世界的人与 虚拟环境可以进行视觉、触觉、力、听觉等全方位的互动。而通过人体动作实现人与虚拟环 境的互动是一种重要的互动方式，它可以使得互动操作简便直接，增加了真实感，互动性更 强。
[0005] 通过人体动作实现人与虚拟环境的互动是基于人体动作捕捉技术来实现的，动作 捕捉技术可以以数字的方式记录人体的动作，并传输至主机，进行人体动作分析，以实现互 动。
[0006] 现有的动作捕捉系统对人体的运动具有相当的局限性，为了安全性，不能完成一 些复杂动作，以Virtuix公司的Virtuix Omni游戏操控设备的硬件结构为例，为了保护人 的身体在游戏时不会摔倒，会在人体的腰部设置一个护圈，使人处于护圈内，这样人就只能 在护圈内完成各种游戏动作，如腾空、对抗类动作等则不能实现，局限性相当大。而如果想 要实现此类比较激烈或复杂的动作，则只能放弃现有的防护装置，这样会为进行动作的人 体带来很大的危险性。
[0007] 如何找出一种对人体动作限制性更小、在人体完成全方位的激烈或复杂动作的同 时能够对人体进行安全防护、保证人体安全的方法，成为本领域技术人员亟需解决的研究 课题。
【发明内容】
[0008] 本发明要解决的问题是提供一种基于动作捕捉系统实现虚拟现实全方位动作的 方法，在保证安全的同时对人体动作的束缚性更小，使得互动操作简便直接，增加了真实 感，互动性更强。
[0009] 为解决上述技术问题，本发明采用的技术方案是：一种基于动作捕捉系统实现虚 拟现实全方位动作的方法，其特征在于，包括以下步骤：
[0010] (1)人体穿戴动作捕捉系统，同时动作防护系统连接动作捕捉系统；
[0011] (2)通过动作捕捉系统所设的传感器节点获取人体动作的原始信息；
[0012] (3)各传感器节点设有微处理器，按照人体生物力学模型特点，通过获取的人体动 作原始信息利用融合算法得到各自的人体关节动力学参数；
[0013] (4)各传感器节点分别将各自计算获得的人体关节动力学参数实时输送到动作防 护装置的处理器；
[0014] (5)动作防护装置的处理器利用多源信息融合技术，融合修正接收到的人体关节 动力学参数并计算出动作防护装置的控制参数；
[0015] (6)动作防护系统根据计算得到的控制参数进行驱动，安全辅助人体完成各种技 术动作。
[0016] 其中，步骤（1)所述的动作捕捉系统通过安全带方式穿戴在人体的全身，安全带 为尺寸可调节设置；所述的动作防护系统是通过连接双肩部和腰部的安全带的方式来连接 动作捕捉系统。
[0017] 进一步的，所述动作防护系统采取吊装的方式。
[0018] 其中，步骤（2)所述的动作捕捉系统通过传感器节点分别从人体的头部、左肩、右 肩、左上臂、右上臂、左下臂、右下臂、左手、右手、胸部、腰部、左大腿、右大腿、左小腿、右小 腿、左脚、右脚这17个节点位置获取人体动作的原始信息；
[0019] 所述人体动作的原始信息包括加速度、角速度、地磁信号。
[0020] 其中，步骤（3)所述的计算人体关节动力学参数的融合算法为为基于RBF神经网 络的自适应控制算法。
[0021] 其中，步骤（4)中所述的实时输送方式为无线传输，各传感器节点通过无线发射 装置将各自计算获得的人体关节动力学参数实时输送到动作防护装置的无线收发装置，由 无线收发装置传送给处理器。
[0022] 进一步的，所述各传感器节点的无线发射装置和动作防护系统的无线接收装置之 间组成星形无线传输网络，采用2. 4G无线技术和ZigBee通信协议。
[0023] 其中，步骤（5)所述的控制参数的计算方法为为PID控制算法。
[0024] 其中，步骤（6)所述的安全防护装置的驱动方式为旋转驱动和升降驱动，通过旋 转驱动和升降驱动带动动作捕捉系统的安全带从而安全辅助地控制人体在半空中上做出 旋转、直立，前倾，平行，俯冲等动作。
[0025] 通过本发明的方法所产生的有益效果为：由于本发明采用了动作捕捉系统的安全 带方式与动作防护系统的旋转升降控制方式相配合，在保证人体动作的安全性的同时，对 人体动作的束缚更小，不仅可以实现360度的地面动作，同时还可以实现腾空、俯冲、前倾 等空中动作；安全带的可调节设计，适合于各种体态的人群；并且安全带在减少设备冗余 性的同时，有效控制了设备成本；动作防护系统可以吊装于室内屋顶或支架上，提高设备使 用时的适应性；使用本发明的方法，结合可选的VR眼镜（Oculus Rift)或微软的Kinect配 件，玩家能够安全的在现实中360°全方位控制虚拟世界的地面动作和空中动作，在虚拟世 界中做出对现实反应的真实模拟，且效果更逼真。
【专利附图】
【附图说明】
[0026] 图1是本发明实施例中动作捕捉系统和动作防护系统的结构示意图；
[0027] 图2是本发明实施例中动作捕捉系统的安全带的结构示意图；
[0028] 图3是本发明实施例中动作防护系统的外框架与圆盘配合的结构示意图；
[0029] 图4是本发明实施例中沿图3外框架底部的横向剖视图；
[0030] 图5是本发明实施例中的传感器的人体正面位置示意图；
[0031] 图6是本发明实施例中的传感器的人体背面位置示意图。
[0032] 图中：
[0033] 1、旋转升降机构， 2、电源连接器， 5、钢丝，
[0034] 6、外框架， 7、电线绕线器， 8、轴，
[0035] 9、圆盘， 10、钢丝升降电机组， 11、钢丝线轴，
[0036] 12、圆盘旋转电机，13、圆弧导轨， 15、电流分配器，
[0037] 16、处理器， 17、无线收发装置， 19、MEMS惯性传感器，
[0038] 36、传感安全带， 38、轴承。
【具体实施方式】
[0039] 下面结合附图对本发明列举具体实施例进行详细介绍，如图1-6所示，
[0040] 本实施例中用于虚拟现实交互的设备包括动作捕捉系统和动作防护系统，其中动 作捕捉系统包括传感安全带36 ;动作防护系统包括旋转升降机构1、电源连接器2 ;所述旋 转升降机构1与所述传感安全带36连接。
[0041] 本实施例中，所述传感安全带36包括依次顺序连接的头部绑带、肩部绑带、胸部 绑带、腰部绑带和大腿根部绑带，所述肩部绑带向两侧分别向下延伸依次顺序设有上臂绑 带、下臂绑带和手部绑带，所述大腿根部绑带分别向下延伸依次顺序设有大腿绑带、小腿绑 带和脚部绑带，各绑带上均设有串联连接的MEMS惯性传感器19作为传感器节点，共17个， 17个传感器节点每个都包括MEMS惯性传感器19 (陀螺仪、加速计、磁力计）和微处理器、无 线发射装置，所述微处理器为高性能ARM处理器，内部嵌入Linux操作系统。
[0042] 如图2所示，为适应不同体态人群，所述传感安全带36为可调节绑带。所述传感安 全带36的主体为上身安全带与调节腰带，二者通过分别位于身体前后的两条调节带连接。 上身安全带后方设计有两条斜向带，二者交叉形成"X"形。上肢及头部的安全带，以滑环形 式分别连接于安全带的肩部及后侧颈部。两条下肢安全带分别以滑环形式连接于腰带左右 两侧。两边大腿根部均设计有绑带，目的是防止腰带过度上移。腰带与大腿绑带间同样设 计有形成"X"形的两条斜向带。交叉的斜向带可将集中力分散于四个结点，避免了应力集 中对人体的伤害，同时，增加了身体在空中的控制能力。
[0043] 四肢及头部安全带的长度均可通过尼龙目字扣调节，其余尺寸可调处采用金属目 字扣。位于大臂、小臂、手、大腿、小腿、足部的MEMS惯性传感器19置于安装袋由魔术贴捆 缚于相应肢体上。
[0044] 传感器节点内各设备由电源线连接电源供电，人体四肢处各一根电源线，头部单 独一根电源线，合计共五根。MEMS惯性传感器19、微处理器、无线发射装置所形成的传感器 节点为双层安全带结构，电源线隐藏于安全带内层。
[0045] 本实施例中，旋转升降机构1包括外框架6、圆盘9,所述外框架6的底部设有圆弧 导轨13,所述圆盘9上设有三个钢丝线轴11、齿轮减速圆盘旋转电机12、电流分配器15、处 理器16、无线收发装置17和驱动三个钢丝线轴11上的钢丝5升降的三组齿轮减速钢丝升 降电机组10,所述圆盘9的中部固设有一轴8,所述轴8的一端与所述圆盘9垂直连接，所 述轴8的另一端设有轴承38,所述轴承38固定在所述外框架6的顶部，所述轴承38下方的 轴8上套设有一可自动收线的电线绕线器7,所述电线绕线器7与电源连接器2连接，通过 电流分配器15为三组钢丝升降电机组10、圆盘旋转电机12、处理器16和无线收发装置17 供电，所述圆盘9上以所述轴8为中心均匀设有三个出线孔，所述三个钢丝线轴11上的钢 丝5分别穿出所述三个出线孔，所述齿轮减速圆盘旋转电机12与所述圆弧导轨13上的滑 动装置连接，所述圆盘9通过所述轴8架设于所述圆弧导轨13内，所述无线收发装置17与 所述处理器16连接。所述处理器16为高性能ARM处理器，内部嵌入Linux操作系统。
[0046] 所述各传感器节点的无线发射装置和动作防护系统的无线接收装置17之间组成 星形无线传输网络，采用2. 4G无线技术和ZigBee通信协议。
[0047] 所述三根钢丝5通过挂钩，分别扣于传感器节点所处安全带后方的吊环上，其中 两个吊环分别位于人体背部的左右两则肩胛位置上，另一吊环位于腰带与大腿绑带间形成 " X "形的两条斜向带的交叉部位。，
[0048] 所述外框架6可以固定于建筑物的内顶部；也可以固定于一支架上，支架的高度 可调节，满足不同高度的需要。
[0049] 所述圆弧导轨13为90度、180度或360度导轨。当受试者的回转角度不需要360 度，比如只需要90或180度，就可以选用90或180度的圆弧导轨13。
[0050] 根据本发明的方法：
[0051] 首先，受试者需穿戴好专用动作捕捉系统（传感安全带36)。由于尺寸可调，穿戴 方便，打破了尺寸限制，使得不同身高、体型的受试者均可穿戴同一套安全带，在减少设备 冗余性的同时，有效控制了设备成本。动作捕捉安全带与旋转升降机构1配合使用，可使穿 戴者避免跌倒等意外伤害，并使其能实现前倾、水平及俯冲等身体姿势。
[0052] 第二步，利用传感安全带36分布于各关节两端的MEMS惯性传感器19获取人体动 作的原始信息，原始信息的来源分别从人体的头部、左肩、右肩、左上臂、右上臂、左下臂、右 下臂、左手、右手、胸部、腰部、左大腿、右大腿、左小腿、右小腿、左脚、右脚这17个节点位置 获得。
[0053] 第三步，MEMS惯性传感器19所包含的微处理器依靠人体生物力学模型及获得的 原始信息通过基于RBF神经网络的自适应控制算法得到人体关节的动力学参数。
[0054] 第四步，MEMS惯性传感器19各自计算所得的人体关节的动力学参数信息通过各 自的无线发射装置实时输送到动作防护系统的无线收发装置17,由无线收发装置17传送 给处理器16。
[0055] 第五步，处理器16利用多源信息融合技术，融合修正接收到的人体关节动力学参 数并计算出旋转升降机构1的控制参数（包括旋转驱动和升降驱动）。具体计算方法PID 控制算法，其公式如下所述：
[0056] U(/) - Κ[?</) + ^| c^(rr + Γ7,:'))]
[0057] 式中：Κρ为比例放大系数；1\积分时间；TD微分时间。
[0058] 第六步，处理器16根据控制参数控制电流分配器15,再控制圆盘9上的圆盘9旋 转电机12 (采用双向齿轮减速电机）带动圆盘9沿着圆弧导轨13旋转，并且控制圆盘9上 的三组钢丝升降电机组10 (双向齿轮减速电机）带动钢丝轴8实现钢丝5升降。三组钢丝 升降电机组10中的三台电机分别控制三根钢丝5绳的升降长度。圆盘9中间的轴承38顶 端设有的电线绕线器7具有旋转供电功能，当圆盘9旋转时仍可为圆盘9上的所有设备供 电。电机启停及转速同样通过处理器16控制。因为由圆盘9穿出的三根升降钢丝5通过 挂钩，分别扣于传感安全带36后方的吊环上，所以通过调整三根钢丝5的相对长度可实现 人体不同角度的前倾。
[0059] 简单的说，当人体在地面上做出旋转动作时，发出的动作信号经计算后传输到无 线接收装置17,再由处理器16控制电流分配器15,来控制圆盘9上的旋转电机12随人体 旋转动作做出圆盘9旋转指令。同时其他几个电机的工作原理同上，来控制圆盘9上的各 电机，进而控制人体在半空中上做出直立，前倾，平行，俯冲等动作，随人体的前倾动作做出 钢丝5升降指令，实现钢丝5的长度快速、准确控制，进而保证受试者动作完成的流畅性。
[0060] 以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例， 不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应 仍归属于本专利涵盖范围之内。
【权利要求】
1. 一种基于动作捕捉系统实现虚拟现实全方位动作的方法，其特征在于，包括以下步 骤： (1) 人体穿戴动作捕捉系统，同时动作防护系统连接动作捕捉系统； (2) 通过动作捕捉系统所设的传感器节点获取人体动作的原始信息； (3) 各传感器节点设有微处理器，按照人体生物力学模型特点，通过获取的人体动作原 始信息利用融合算法得到各自的人体关节动力学参数； (4) 各传感器节点分别将各自计算获得的人体关节动力学参数实时输送到动作防护装 置的处理器； (5) 动作防护装置的处理器利用多源信息融合技术，融合修正接收到的人体关节动力 学参数并计算出动作防护装置的控制参数； (6) 动作防护系统根据计算得到的控制参数进行驱动，安全辅助人体完成各种技术动 作。
2. 根据权利要求1所述的方法，其特征在于：步骤（1)所述的动作捕捉系统通过安全 带方式穿戴在人体的全身，安全带为尺寸可调节设置；所述的动作防护系统是通过连接双 肩部和腰部的安全带的方式来连接动作捕捉系统。
3. 根据权利要求1或2所述的方法，其特征在于：所述动作防护系统采取吊装的方式。
4. 根据权利要求1所述的方法，其特征在于：步骤（2)所述的动作捕捉系统通过传感 器节点分别从人体的头部、左肩、右肩、左上臂、右上臂、左下臂、右下臂、左手、右手、胸部、 腰部、左大腿、右大腿、左小腿、右小腿、左脚、右脚这17个节点位置获取人体动作的原始信 肩、。
5. 根据权利要求1或4所述的方法，其特征在于：人体动作的原始信息包括加速度、角 速度、地磁信号。
6. 根据权利要求1所述的方法，其特征在于：步骤（3)所述的计算人体关节动力学参 数的融合算法为基于RBF神经网络的自适应控制算法。
7. 根据权利要求1所述的方法，其特征在于：步骤（4)中所述的实时输送方式为无线 传输，各传感器节点通过无线发射装置将各自计算获得的人体关节动力学参数实时输送到 动作防护装置的无线收发装置，由无线收发装置传送给处理器。
8. 根据权利要求7所述的方法，其特征在于：所述各传感器节点的无线发射装置和动 作防护系统的无线接收装置之间组成星形无线传输网络，采用2. 4G无线技术和ZigBee通 协议。
9. 根据权利要求1所述的方法，其特征在于：步骤（5)所述的控制参数的计算方法为 为PID控制算法。
10. 根据权利要求1所述的方法，其特征在于：步骤（6)所述的安全防护装置的驱动方 式为旋转驱动和升降驱动，通过旋转驱动和升降驱动带动动作捕捉系统的安全带从而安全 辅助地控制人体在半空中上做出旋转、直立，前倾，平行，俯冲等动作。
【文档编号】A63F13/212GK104117206SQ201410379196
【公开日】2014年10月29日 申请日期:2014年8月1日 优先权日:2014年8月1日
【发明者】陈鹏 申请人:天津恒威先创科技发展有限公司