专利名称：一种基于运动捕获的虚拟手抓取的仿真方法
技术领域：
本发明涉及虚拟现实技术领域，将虚拟现实中的虚拟手交互技术和工业产品设计中的人机工程学技术进行了结合，特别涉及一种基于运动捕获的虚拟手抓取的仿真方法。
背景技术：
虚拟现实技术能够让用户像在真实世界中一样在虚拟场景中进行真实的体验，提供给用户真实的视觉和声音效果，最近几年随着触觉和力反馈的研究逐渐兴起，这将给虚拟现实的用户带来更加卓越的真实感受，综合使用运动捕获设备和力反馈设备，能够让用户在虚拟场景中抓取虚拟物体，同时手能感受到抓取时受到的作用力。手是人体中最具灵活性的器官，人的灵活性通过手得到了完美的表达，在我们的日常生活中，无论是握手、问候、表达感情和抓取物体还是进行其它的活动，无时无处不要用到手，而抓取运动又是所有手部运动中最为复杂的运动，所以基于运动捕获的虚拟抓取的相关研究有重要的研究意义和广泛的应用前景。在工业设计领域，人的因素得到了更多的重视。在产品设计中，无论是产品的外观设计还是功能设计，都充分考虑了人的因素。在产品的外观设计中，所设计的产品形状要符合人的生理特点，如设计一个杯子，杯子的形状要考虑到人手抓取的舒适度要求，不能某个部分过于尖锐，会导致手抓取杯子时局部受力过大，有不舒适感。在功能设计中，人的因素也得到了很大的重视，比如一个瓶子的某个部位被设计为比较粗糙的，通过在瓶子的中间部位增加一些圆点，就是为了增加手握瓶子时候的摩擦力，有利于人手更加省力的握住瓶子。当代的工业产品设计在满足了产品的基本功能的基础上，更多的考虑了使用产品的用户在使用方面、感觉舒适程度方面的因素。发明人在实现本发明的过程中，发现现有技术中至少存在以下不足现有技术中只有在产品生产出来后才能对产品进行测试，根据测试结果再对产品进行修改，这样产品的生产周期很长，而且增加了产品的成本。
发明内容
本发明提供了一种基于运动捕获的虚拟手抓取的仿真方法，本发明缩短了生产周期，降低了产品的成本，详见下文描述一种基于运动捕获的虚拟手抓取的仿真方法，所述方法包括以下步骤(I)按照真实人手的生理解剖学特性，建立正确的虚拟手骨骼模型；(2)通过虚拟手骨骼模型构建骨骼运动学模型；(3)将骨骼运动学模型导入试验平台，根据3D模型表达的分类方法和层次包围盒实现虚拟手与物体之间的碰撞检测；(4)根据线性弹簧模型，获取非线性弹簧模型中的扭力弹簧模型和拉伸力弹簧模型，计算每个手指的5个抓取作用力；(5)分别对每个手指的5个抓取作用力进行合成，获取每个手指的合力，给出合力的渲染结果；(6)判断所述合力的渲染结果是否满足人机工程学的测试，如果是，流程结束；如果否，对相应的产品进行调整，直到产品满足人机工程学的测试。步骤(2)中的所述通过虚拟手骨骼模型构建骨骼运动学模型具体包括 I)对人手的运动进行合理的简化，构建人手运动学模型；2)通过所述人手运动学模型构建虚拟手的模型；3)通过数据手套和数据衣捕获真实人手的运动情况，将捕获数据进行计算转换，并将所述捕获数据映射到虚拟手的模型上，获取所述骨骼运动学模型，其中，所述数据手套捕获的数据含义是手指的各个关节的弯曲程度，所述数据衣捕获的数据代表了手在空间中的位置和朝向。所述对人手的运动进行合理的简化，构建人手运动学模型具体包括(I)去掉肌肉、韧带、腱和皮肤，为骨骼增加肌肉和皮肤层，进行变形控制；(2)将人手简化为一系列的关节和连接这些关节的连接杆；(3)将整个手掌看作一个刚体，对骨骼的数量进行简化；(4)对真实人手的自由度进行简化，建立每个自由度的角度约束；其中，步骤(I)、步骤(2)、步骤(3)和步骤(4)之间是同时进行的。所述扭力弹簧模型具体为
"Kti(Aw - As) + bti(Ww - Ws),A8 < Q1T = ] Kt2(Aw - As)a + bt2(Ww - Ws)a,(2)
B,AO > Q2所述拉伸力弹簧模型具体为
Kfl(Pw-Ps) + bfl(Vw-Vs),AcKd1/= Kf2(Pw-Ps)^bf2 (Vw-Vs)3, Ci^AcKd2 (3)
B,Ad > d2其中，Ktl、Kt2、Kfl和Kf2分别是弹性系数；btl、bt2、bfl和bf2是阻尼系数；Aw是线框手每帧的角度-M是实体手停留在物体表面时的角度；Ww和Ws分别是线框手和实体手的角速度；△ e是实体手和场景中物体发生碰撞检测后，线框手和实体手之间产生的手指角度差异；B和a都是固定的常量参数；Q I是非线性弹簧模型中扭力由线性变换阶段到指数缓慢变换阶段过渡的阈值；Q 2是由指数缓慢变换阶段到常数阶段的过渡阈值；△ d是实体手和线框手之间手指的位置差异；dl是非线性弹簧模型中拉伸力由线性阶段到指数缓慢变换阶段过渡的阈值；d2是由指数缓慢变换阶段到常数阶段过渡的阈值；Pw是线框手每帧的位置，Ps是实体手停留在物体表面时的位置，Vw和Vs分别是线框手和实体手的速度；Ww = (A-Apre)/At (4) A和Apre分别是连续两帧关节的角度，At是一帧的时间间隔；Vw= (P-Ppre)/At (5)P和Ppm分别是连续两帧线框手对应点的位置。本发明提供的技术方案的有益效果是本发明将虚拟手、虚拟抓取等相关的虚拟现实技术应用到工业设计中的人机工程测试方面，并结合特定的评价标准，通过对抓取作用力的计算，在没有力反馈设备下，得到各个手指的受力矢量箭头的视觉反馈，从而可以确定各个手指的受力程度，进而能够在工业产品的设计初期对工业产品设计的人机工程学方面进行评估测试，如果发现问题，可以及时更改设计，直到测试的产品符合要求再进行产品的生产；从而缩短了产品生产周期、降低了产品的成本，同时由于进行虚拟产品测试时充分考虑了人的因素，能够使生产出的产品更加的人性化、更加适合人的生理、心理特征，能够避免由于工具的设计不当而导致人的疾患或事故。
图1为本发明提供的一种基于运动捕获的虚拟手抓取的仿真方法的流程图；图2为本发明提供的人手解剖学模型的示意图；图3为本发明提供的手的简化骨架模型的示意图；图4为本发明提供的手指的运动自由度的示意图；图5a为本发明提供的VRML虚拟手模型的示意图；图5b为本发明提供的三角面片虚拟手模型的示意图；图5c为本发明提供的Metaball虚拟手模型的示意图；图6为本发明提供的3D模型表达的分类方法的示意图；图7为本发明提供的线性弹簧模型的示意图；图8a为本发明提供的两种简单形体抓取渲染受力效果图；图Sb为本发明提供的索引面片形体抓取渲染受力效果图；图Sc为本发明提供的手在运动过程中反馈作用力的动态变化的示意图；图9为本发明提供的抓取仿真的硬件环境的示意图；图10为本发明提供的虚拟手抓取的仿真结构图；图Ila为本发明提供的基于Novodex平台的虚拟手抓取小球并移动小球的示意图；图Ilb为本发明提供的基于Novodex平台的虚拟手勾起圆环并套在手指上旋转的示意图；图Ilc为本发明提供的基于Novodex平台的抓取力的视觉渲染的示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。为了缩短了生产周期，降低了产品的成本，本发明实施例提供了一种基于运动捕获的虚拟手抓取的仿真方法，参见图I，详见下文描述一种基于运动捕获的虚拟手抓取的仿真方法，该方法包括以下步骤101 :按照真实人手的生理解剖学特性，建立正确的虚拟手骨骼模型；其中，参见图2，在计算机中要想建立合理的人手模型，并在实际应用中发挥重要的作用，就必须按照真实人手的生理解剖学特性，建立正确的虚拟手骨骼模型。102 :通过虚拟手骨骼模型构建骨骼运动学模型；其中，该步骤具体包括
I)对人手的运动进行合理的简化，构建人手运动学模型；通过前面分析的手的解剖学结构和骨骼构造及运动特点，对人手的运动进行合理的简化(I)去掉肌肉、韧带、腱和皮肤，为骨骼增加肌肉和皮肤层，进行变形控制；其中，由于目的是建立人手运动学模型，就只需要考虑骨骼构造，为此去掉肌肉、韧带、腱和皮肤等。为骨骼增加肌肉和皮肤层，并进行变形控制是虚拟手真实感建模中要考虑的问题。(2)将人手简化为一系列的关节和连接这些关节的连接杆；其中，参见图3，本发明实施例不考虑手骨骼之间的相对滑动和软组织的变形，将人手简化为一系列的关节和连接这些关节的连接杆，黑色实心小圆圈代表关节，连接黑色 小圆圈之间的线段代表连接杆。人手的运动就是这些关节的转动运动，连接杆的位置决定了手的姿态。(3)将整个手掌看作一个刚体，对骨骼的数量进行简化；其中，本发明实施例不考虑手掌的变形，将整个手掌看作一个刚体，对骨骼的数量进行简化，所以关节数量也就进行了相应简化，从图3中可以看出关节数量由真实人手的17个简化为15个，同时由于忽略了手掌的变形，也降低了 I个自由度，即手掌弧度自由度。(4)对真实人手的自由度进行简化，建立每个自由度的角度约束。其中，步骤(I)、步骤(2)、步骤(3)和步骤⑷之间是同时进行的，本发明实施例对此不做限制，通过步骤(I)、步骤(2)、步骤(3)和步骤(4)可以获得人手运动学模型。从图3中可以看出，拇指画出了两个关节IP和MCP，真实人手中MCP关节有2个自由度，现将MCP自由度简化为I个，IP关节的自由度保持和真实人手一致。其余四个手指分别画出了 DIP、PIP和MCP关节，这三个关节的自由度保持不变。另外，拇指和手腕连接的TM关节仍然保持2个自由度。这样一只右手的自由度(不考虑手腕的自由度，后面会介绍手腕的自由度可以通过数据衣捕获的数据进行相应的映射)就由真实人手的22个简化为20个。参见图4，远离手掌的两个关节只有弯曲动作对应的I个自由度，分别为J2F和J3F，而连接手掌的关节有关节的弯曲和关节的伸展动作，对应2个自由度，为JlF和J1A。此外，根据手的生理特点，手指的运动是有一定的范围的，每个关节并不是无限制的转动的，所以在建立的骨骼运动学模型中，各个自由度是有一定的约束的，约束的角度限制参见表I。表I
JlFJ2FJ3FJlA
姆指 -10 ^ angle ^ 30 0 ^ angle ^ 60 0 ^ angle ^ 90 -45 ^ angle ^ 45食指 -30 ^ angle ^ 90 0 ^ angle ^ 110 0 ^ angle ^ 90 -20 ^ angle ^ 10中指 -30 ^ angle ^ 90 0 ^ angle ^ 110 0 ^ angle ^ 90 -15 ^ angle ^ 15无名指 -30 ^ angle ^ 90 0 ^ angle ^ 110 0 ^ angle ^ 90 -10 ^ angle ^ 20
2)通过人手运动学模型构建虚拟手的模型；其中，参见图5a、图5b和图5c，本发明实施例介绍了三种虚拟手几何外观建模方法，它们分别是用圆柱、球等简单几何形体进行虚拟手建模、用三角面片进行虚拟手建模和用metaball进行虚拟手的几何建模。这三种方法获得的人手几何模型真实感的程度是从弱到强的，而且不同的方法各有优缺点，第一种方法缺点是视觉效果比较差，与真实人手的视觉效果相距甚远，从某种程度上看好像更像机器人的手，手指段的粗细相同。优点是建模的复杂度比较低，建模相对容易，有利于碰撞检测的计算。第二种方法建立的人手几何模型要好很多，手掌的形状更加真实，有一定的手掌弧度，手指的形状也更加真实，手指各个部分有粗细之分。但从建模的复杂程度来看，这种方法要比第一种方法复杂。由于几何形体的形状是不规则形体，碰撞检测的计算相对第一种方法来说，更加复杂一些。第三种方法建立的虚拟手模型达到了较好的视觉效果，但是计算量大。从运动学角度看，它们都是完全正确的虚拟手的模型。3)通过数据手套和数据衣捕获真实人手的运动情况，将捕获数据进行计算转换， 并将捕获数据映射到虚拟手的模型上，获取骨骼运动学模型。其中，数据手套捕获的数据含义是手指的各个关节的弯曲程度，数据衣捕获的数据代表了手在空间中的位置和朝向。103 :将骨骼运动学模型导入试验平台，根据3D模型表达的分类方法和层次包围盒实现虚拟手与物体之间的碰撞检测；其中，碰撞检测的目的就是在几何体(虚拟物体)已经发生碰撞或者即将发生碰撞时，报告碰撞的发生。现有技术中虽然有很多种不同的碰撞检测和碰撞反应方法，但这些方法的设计还是依赖于模型的表达方式的。在CAD/CAM及3D图形学应用中，有很多种类型的模型表达方式，参见图6，本方法采用3D模型表达的分类方法，但是在所有碰撞检测的方法中，层次包围盒是使用的比较多的一种方法，其基本想法是给每个几何模型建立一个包围盒，这个包围盒是比几何模型的体积略大的规则简单的几何模型，通过用包围盒来近似的表达复杂的几何模型，进而通过构造树状层次结构逐步逼近几何模型，直到包围盒与几何模型之间的差距可以忽略为止。104:根据线性弹簧模型，获取非线性弹簧模型中的扭力弹簧模型和拉伸力弹簧模型，计算每个手指的5个抓取作用力；其中，参见图7，在反馈作用力的计算中，使用比较多的是线性弹簧模型，虚拟手用图7中的小球来表达，虚拟场景中与虚拟手交互的物体可以用一个虚拟墙来代表。其中，线性弹簧模型具体为
「O X > xw. ^ xF = \vr 、 ⑴
K(Xw-X) x<xwxw是虚拟墙的位置，X是小球的位置。根据该线性弹簧模型的计算公式，作用力的计算结果随小球深入墙的距离是线性增加的，但在真实世界中，当手抓取一个物体时作用力的增加会随着皮肤和肌肉的形变逐渐达到一个饱和，抓取力不会无限制增加，会逐渐趋于一个常数，而且作用力和抓取力的增加并不完全是线性的，当超过一定的阈值后，呈现逐渐缓慢的趋势，因此本方法对线性弹簧模型进行扩展，提出使用非线性分段函数建弹簧模型，计算交互作用力。对于比较小的差异，使用线性函数计算，对于比较大的差异，使用常数饱和力，中间用曲线函数计算，使增加呈现逐渐缓慢的趋势，计算过程见公式2和3，其中，公式2是非线性弹簧模型中的扭力弹簧模型，公式3是非线性弹簧模型中的拉伸力弹簧模型。
权利要求
1.一种基于运动捕获的虚拟手抓取的仿真方法，其特征在于，所述方法包括以下步骤 (1)按照真实人手的生理解剖学特性，建立正确的虚拟手骨骼模型； (2)通过虚拟手骨骼模型构建骨骼运动学模型； (3)将骨骼运动学模型导入试验平台，根据3D模型表达的分类方法和层次包围盒实现虚拟手与物体之间的碰撞检测； (4)根据线性弹簧模型，获取非线性弹簧模型中的扭力弹簧模型和拉伸力弹簧模型，计算每个手指的5个抓取作用力； (5)分别对每个手指的5个抓取作用力进行合成，获取每个手指的合力，给出合力的渲染结果； (6)判断所述合力的渲染结果是否满足人机工程学的测试，如果是，流程结束；如果否，对相应的产品进行调整，直到产品满足人机工程学的测试。
2.根据权利要求I所述的一种基于运动捕获的虚拟手抓取的仿真方法，其特征在于，步骤(2)中的所述通过虚拟手骨骼模型构建骨骼运动学模型具体包括 1)对人手的运动进行合理的简化，构建人手运动学模型； 2)通过所述人手运动学模型构建虚拟手的模型； 3)通过数据手套和数据衣捕获真实人手的运动情况，将捕获数据进行计算转换，并将所述捕获数据映射到虚拟手的模型上，获取所述骨骼运动学模型，其中，所述数据手套捕获的数据含义是手指的各个关节的弯曲程度，所述数据衣捕获的数据代表了手在空间中的位置和朝向。
3.根据权利要求2所述的一种基于运动捕获的虚拟手抓取的仿真方法，其特征在于，所述对人手的运动进行合理的简化，构建人手运动学模型具体包括 (1)去掉肌肉、韧带、腱和皮肤，为骨骼增加肌肉和皮肤层，进行变形控制； (2)将人手简化为一系列的关节和连接这些关节的连接杆； (3)将整个手掌看作一个刚体，对骨骼的数量进行简化； (4)对真实人手的自由度进行简化，建立每个自由度的角度约束； 其中，步骤(I)、步骤(2)、步骤(3)和步骤(4)之间是同时进行的。
4.根据权利要求I所述的一种基于运动捕获的虚拟手抓取的仿真方法，其特征在于，所述扭力弹簧模型具体为
全文摘要
本发明公开了一种基于运动捕获的虚拟手抓取的仿真方法，按照真实人手的生理解剖学特性，建立正确的虚拟手骨骼模型；通过虚拟手骨骼模型构建骨骼运动学模型；将骨骼运动学模型导入试验平台，根据3D模型表达的分类方法和层次包围盒实现虚拟手与物体之间的碰撞检测；根据线性弹簧模型，获取非线性弹簧模型中的扭力弹簧模型和拉伸力弹簧模型，计算每个手指的5个抓取作用力；分别对每个手指的5个抓取作用力进行合成，获取每个手指的合力，给出合力的渲染结果；判断所述合力的渲染结果是否满足人机工程学的测试，如果是，流程结束；如果否，对相应的产品进行调整，直到产品满足人机工程学的测试。本发明缩短了产品生产周期、降低了产品的成本。
文档编号G06F17/50GK102663197SQ20121011512
公开日2012年9月12日 申请日期2012年4月18日 优先权日2012年4月18日
发明者刘艳, 杨杰凯 申请人:天津大学