虚拟手与变形体交互的视触觉融合反馈方法及系统与流程

本发明涉及虚拟现实，尤其涉及一种虚拟手与变形体交互的视触觉融合反馈方法及系统。

背景技术：

1、虚拟手几何模型用来描述虚拟手三维形状、运动自由度以及手掌和多个手指的几何约束，以满足运动映射、碰撞检测、位姿优化、反馈力计算以及图形渲染的需求。现有研究通过对虚拟手进行高维几何建模，实现了虚拟手与虚拟物体交互的快速离散碰撞检测及虚拟手位姿的优化。然而，现有研究仅支持虚拟手与刚性物体的交互，无法应对虚拟手与变形体的交互。

技术实现思路

1、本发明的主要目的在于提供一种虚拟手与变形体交互的视触觉融合反馈方法及系统，旨在解决现有技术中因仅支持虚拟手与刚性物体的交互而无法应对虚拟手与变形体的交互的技术问题。

2、为实现上述目的，本发明提供了一种虚拟手与变形体交互的视触觉融合反馈方法，所述方法包括以下步骤：

3、利用混合虚拟手模型模拟物理手，得到虚拟手；

4、利用变形体虚拟模型拟合变形体的几何状态，得到弹簧球树结构；

5、将网格模型的网格模型顶点与所述弹簧球树结构的多个球进行加权关联之后，建立网格-球耦合关联；

6、获取所述物理手的真实位姿，将所述真实位姿映射到虚拟场景后驱动所述虚拟手执行操作；

7、通过混合碰撞检测模型实时检测所述虚拟手与所述变形体的接触状态；

8、根据所述接触状态确定所述弹簧球树结构上每个碰撞球的位置更新量；

9、通过虚拟手位姿优化模型获取所述虚拟手的虚拟手位姿；

10、根据所述位置更新量确定所述变形体的变形效果，根据所述变形效果以及所述网格-球耦合关联实现所述网格模型的变形，根据所述真实位姿以及所述虚拟手位姿确定反馈力，以实现交互过程的视触觉融合反馈。

11、可选地，所述利用变形体虚拟模型拟合变形体的几何状态，得到弹簧球树结构，包括：

12、采用球树模型拟合变形体的几何状态，得到初始球树结构；

13、根据球树特性获取所述初始球树结构中高层级球的父球；

14、根据所述父球的球半径和连接系数确定建立阈值；

15、当所述初始球树结构中两个球的球心距小于所述建立阈值时，在这两个球之间建立弹簧，得到目标球树结构；

16、定义所述目标球树结构中的固定球，并顺着弹簧确定所述固定球的已连接球；

17、确定所述目标球树结构中的未连接球，其中，所述未连接球为所述目标球树结构中无法顺着弹簧找到固定球的球；

18、将与所述未连接球距离最近的已连接球作为目标球，并将所述目标球树结构中的未连接球与目标球建立弹簧连接，得到弹簧球树结构。

19、可选地，所述将网格模型顶点与所述弹簧球树结构的多个球进行加权关联之后，建立网格-球耦合关联，包括：

20、确定所述网格模型顶点的多个近距离球；

21、根据近距离球与网格模型顶点的距离确定近距离球的权值；

22、根据所述权值将所述网格模型顶点与所述球树结构的多个球进行加权关联之后，建立网格-球耦合关联。

23、可选地，所述混合碰撞检测模型包括球-球离散-连续碰撞检测模型和圆台-球离散-连续碰撞检测模型；其中，

24、所述通过混合碰撞检测模型实时检测所述虚拟手与所述变形体的接触状态，包括：

25、采用所述圆台-球离散-连续碰撞检测模型确定所述虚拟手的手指与所述变形体的接触状态；

26、采用所述球-球离散-连续碰撞检测模型确定所述虚拟手的手掌和指尖与所述变形体的接触状态。

27、可选地，所述采用所述圆台-球离散-连续碰撞检测模型确定所述虚拟手的手指与所述变形体的接触状态，包括：

28、将用于表示所述虚拟手的手指的圆台近似为多个小球，并将两个相邻时刻之间的相对应小球连接成多个胶囊体；

29、检测所述球树结构中的变形体球是否与所述圆台发生碰撞，以及检测所述变形体球是否与所述多个胶囊体发生碰撞；

30、当检测到弹簧球树结构中的变形体球与所述圆台碰撞或者检测到所述变形体球与所述多个胶囊体碰撞时，将该变形体球记录到碰撞球队列中，确定所述虚拟手的手指与所述变形体的接触状态。

31、可选地，所述根据所述接触状态确定所述弹簧球树结构上每个球的位置更新量，包括：

32、根据所述接触状态确定弹簧球树结构上每个碰撞球所受到的外力和内力，其中，所述外力为根据物理手指或物理手掌在所述变形体内的嵌入深度确定，所述内力为与该球相连接的所有球所施加的弹簧力之和；

33、根据所述内力以及所述外力确定每个碰撞球的合力；

34、对所述合力做指定时间步长积分得到每个球的速度和位移；

35、根据所述速度和位移确定每个碰撞球的位置更新量。

36、可选地，所述通过虚拟手位姿优化模型获取所述虚拟手的虚拟手位姿，包括：

37、建立球-球非穿透约束以及圆台-球非穿透约束，其中，球-球非穿透约束为在检测到虚拟手的手掌或虚拟手的指尖与所述变形体发生碰撞之后将所述手掌或者所述指尖约束在变形体网格表面，所述圆台-球非穿透约束为在检测到虚拟手的手指与所述变形体发生碰撞之后将手指约束在变形体网格表面；

38、根据所述球-球非穿透约束优化得到手掌位姿，再根据圆台-球非穿透约束以及球-球非穿透约束优化得到手指位姿；

39、根据所述手掌位姿以及所述手指位姿，确定所述虚拟手的虚拟手位姿。

40、此外，为实现上述目的，本发明还提出一种虚拟手与变形体交互的视触觉融合反馈系统，所述虚拟手与变形体交互的视触觉融合反馈系统包括：

41、模拟模块，用于利用混合虚拟手模型模拟物理手，得到虚拟手；

42、拟合模块，用于利用变形体虚拟模型拟合变形体的几何状态，得到弹簧球树结构；

43、关联模块，用于将网格模型的网格模型顶点与所述弹簧球树结构的多个球进行加权关联之后，建立网格-球耦合关联；

44、获取模块，用于获取所述物理手的真实位姿，将所述真实位姿映射到虚拟场景后驱动所述虚拟手执行操作；

45、检测模块，用于通过混合碰撞检测模型实时检测所述虚拟手与所述变形体的接触状态；

46、确定模块，用于根据所述接触状态确定所述弹簧球树结构上每个碰撞球的位置更新量；

47、所述获取模块，还用于通过虚拟手位姿优化模型获取所述虚拟手的虚拟手位姿；

48、所述确定模块，还用于根据所述位置更新量确定所述变形体的变形效果，根据所述变形效果以及所述网格-球耦合关联实现所述网格模型的变形，根据所述真实位姿以及所述虚拟手位姿确定反馈力，以实现交互过程的视触觉融合反馈。

49、此外，为实现上述目的，本发明还提出一种虚拟手与变形体交互的视触觉融合反馈设备，所述虚拟手与变形体交互的视触觉融合反馈设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟手与变形体交互的视触觉融合反馈程序，所述虚拟手与变形体交互的视触觉融合反馈程序配置为实现如上文所述的虚拟手与变形体交互的视触觉融合反馈方法的步骤。

50、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有虚拟手与变形体交互的视触觉融合反馈程序，所述虚拟手与变形体交互的视触觉融合反馈程序被处理器执行时实现如上文所述的虚拟手与变形体交互的视触觉融合反馈方法的步骤。

51、本发明提出虚拟手与变形体交互的视触觉融合反馈方法及系统，通过利用混合虚拟手模型模拟物理手，得到虚拟手；利用变形体虚拟模型拟合变形体的几何状态，得到弹簧球树结构；将网格模型的网格模型顶点与所述弹簧球树结构的多个球进行加权关联之后，建立网格-球耦合关联；获取所述物理手的真实位姿，将所述真实位姿映射到虚拟场景后驱动所述虚拟手执行操作；通过混合碰撞检测模型实时检测所述虚拟手与所述变形体的接触状态；根据所述接触状态确定所述弹簧球树结构上每个碰撞球的位置更新量；通过虚拟手位姿优化模型获取所述虚拟手的虚拟手位姿；根据所述位置更新量确定所述变形体的变形效果，根据所述变形效果以及所述网格-球耦合关联实现所述网格模型的变形，根据所述真实位姿以及所述虚拟手位姿确定反馈力，以实现交互过程的视触觉融合反馈。通过上述方式，能够针对虚拟手与变形体交互难以实现快速、逼真、稳定触觉渲染的难题，从变形体高效物理模型构建、变形体多层模型的逼真耦合、虚拟手-变形体混合碰撞检测三个方面进行创新，基于自适应策略构建球树弹簧模型以实现稳定的变形、基于区域关联策略的变形体多层模型耦合实现良好的变形效果以及基于离散-连续圆台-球接触处理的混合碰撞检测实现接触漏检的同时确保高效处理，从而实现虚拟手与变形体的交互。