基于Unity三维引擎和VR设备的工具自动绑定系统和方法与流程

本发明属于工业设备虚拟拆装技术领域，具体涉及一种基于unity三维引擎和vr设备的自动绑定拆装工具到设备零件上正确位置的方法，适用于工业设备虚拟拆装的各类设备零件的拆装操作中。

背景技术：

vr(virtualreality：虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。

虚拟现实技术(vr)主要包括模拟环境、感知、自然技能和传感设备等方面，模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的vr应该具有一切人所具有的感知，除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知，自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官，传感设备是指三维交互设备。

vr主要是利用计算机生成的一种模拟环境，通过各种传感设备使用户进入到这个环境中，实现了该环境直接进行交互的技术。由于虚拟现实技术在很大的程度上解决很多的实际问题，还节约了资金不受环境限制等问题，因此成为了目前各个领域如工业、娱乐、游戏、军事、旅游等倍受青睐的技术。现在和将来很长时间内，vr技术将会越来越成熟，给人带来越来越多的立体感官体验。

vr虚拟拆装是目前vr应用比较广泛的一个领域。在某些场景模式下，虚拟拆装需要手拿工具来模拟真实的拆解零件，当手拿工具在拆装设备零件前需要先将工具绑定对应的位置才能合理的模拟拆解零件，但目前还没有针对这种使用方式的解决方案。

技术实现要素：

鉴于现有技术缺少成熟的将vr手柄与工具紧密结合起来的交互控制系统的问题，提出了本发明的一种设备零件虚拟拆装前工具自动绑定到目标零件正确位置的解决方案，以解决上述背景技术中提出的问题。

根据本发明的第一个方面，本发明提供一种基于unity三维引擎和vr设备的工具自动绑定系统，其包括：

数据采集模块，用于采集vr手柄在其空间中的位置信息；

工具控制模块，用于将vr手柄的位置信息应用到虚拟工具模型上，使得所述虚拟工具模型绑定到手柄上；

碰撞检测模块，根据所述虚拟工具模型和目标零件模型在空间中的位置信息判断虚拟工具模型与目标零件模型是否碰撞；

数据处理模块，当碰撞检测判断为发生碰撞时，根据预设参数计算所述虚拟工具模型和所述目标零件模型绑定所需的绑定数据；

工具绑定模块，当所述虚拟工具模型和所述目标零件模型的相对位置满足绑定数据时，将所述虚拟工具模型绑定到所述目标零件模型上；

数据传输模块，在vr设备与客户端之间传输所述虚拟工具模型、目标零件模型、vr手柄和vr头盔的位置信息。

优选地，所述位置信息包括位置坐标position和旋转rotation数据。

优选地，在所述虚拟工具模型与所述目标零件模型绑定时，所述工具绑定模块将所述预设参数应用到所述虚拟工具模型与所述目标零件模型上。

优选地，所述预设参数包括虚拟工具模型相对于目标零件中心点的位置坐标position、旋转rotation、比例scale数据、虚拟工具模型和目标零件对象的子父级层级结构中的一种或多种。

优选地，所述虚拟工具模型和目标零件模型绑定后，当所述碰撞检测模块检测到工具模型和目标零件之间超出可绑定范围后，解除工具模型与目标零件的绑定。

在本发明的一些实施方式中，所述位置坐标position和旋转rotation为相对值。

在本发明的一些实施方式中，所述位置坐标position和旋转rotation为绝对值。

在本发明的一些实施方式中，所述绑定数据包括旋转角度。

在本发明的一些实施方式中，所述可绑定范围为可发生碰撞的范围。

根据本发明的第二个方面，本发明提供一种基于unity三维引擎和vr设备的工具自动绑定方法，其包括：

s110采集vr手柄在其空间中的位置信息；

s120将vr手柄的位置信息应用到虚拟工具模型上，使得所述虚拟工具模型绑定到vr手柄上；

s130根据所述虚拟工具模型和目标零件模型在空间中的位置信息判断虚拟工具模型与目标零件模型是否碰撞；

s140当碰撞检测判断为发生碰撞时，根据预设参数计算所述虚拟工具模型和所述目标零件模型绑定所需的绑定数据；

s150当所述虚拟工具模型和所述目标零件模型的相对位置满足绑定数据时，将所述虚拟工具模型绑定到所述目标零件模型上。

优选地，所述位置信息包括位置坐标position和旋转rotation数据。

优选地，在所述虚拟工具模型与所述目标零件模型绑定时，所述工具绑定模块将所述预设参数应用到所述虚拟工具模型与所述目标零件模型上。

优选地，所述预设参数包括虚拟工具模型相对于目标零件中心点的位置坐标position、旋转rotation、比例scale数据、虚拟工具模型和目标零件对象的子父级层级结构中的一种或多种。

优选地，所述虚拟工具模型和目标零件模型绑定后，当检测到工具模型和目标零件之间超出可绑定范围后，解除工具模型和目标零件的绑定。

在本发明的一些实施方式中，所述绑定数据包括旋转角度。

在本发明的一些实施方式中，所述可绑定范围为可发生碰撞的范围。

附图说明

通过阅读参考一下附图所作的对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：

图1是示意地表示本发明的一些实施方式的系统原理图。

图2是示意地表示本发明的一些实施方式的系统结构图。

图3是本发明的一些实施方式的vr视觉效果截图。

图4是示意地表示本发明的一些实施方式的方法的流程图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

在本发明中，术语“unity软件”：是指基于unity三维引擎平台开发的软件。unity是由unitytechnologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。

在本发明中，术语“htcvivelighthouse”是htcvr设备使用的定位系统“lighthouse”，由两个激光基站构成：每个基站里有一个红外led阵列，两个转轴互相垂直的旋转的红外激光发射器。转速为10ms一圈。基站的工作状态是这样的：20ms为一个循环，在循环开始的时候红外led闪光，10ms内x轴的旋转激光扫过玩家自由活动区域，y轴不发光；下10ms内y轴的旋转激光扫过玩家自由活动区域，x轴不发光。

在本发明中，术语“碰撞体”(collider)是unity3d软件下刚体碰撞的组件，能够让模型之间模拟发生物理碰撞，附加在模型上。unity三维引擎中自身的物理系统包含了物体间的碰撞检测方法。在本发明中，可以设置为一旦发生碰撞即绑定，也可以设置为发生碰撞并相对位置满足预设条件时绑定。

通过vr设备的两个手柄模拟控制虚拟空间的手或者工具物体，来实现虚拟物体的控制效果。如图3所示，其中手柄与虚拟的扳手绑定，虚拟扳手再与虚拟螺钉绑定，当手柄(虚拟手)控制的虚拟扳手与虚拟螺钉的相对位置满足绑定数据时，随着手柄的运动，带动虚拟扳手与虚拟螺钉一同运动(即绑定)。

在虚拟空间中进行虚拟拆装操作时，当对目标零件进行拆装操作前，需要根据当前工具相对目标零件所处位置，将工具绑定到目标零件正确位置上后才开始继续其他拆装操作，实现模拟真实世界的视觉效果，从而使虚拟培训更有沉浸感。

图1示出了本发明的一些实施方式的系统原理图。vr设备中包括头盔和手柄，头盔和手柄都设有传感器，采集自身的动作信息及空间中的位置信息，并将数据发送到客户端。手柄对虚拟工具的控制可以通过系统直接设置，例如选择虚拟工具为扳手。选定虚拟工具后，手柄的位置信息被应用到与手柄绑定的虚拟工具上。

如图2所示，本发明的工具自动绑定系统包括：数据采集模块、工具控制模块、碰撞检测模块、数据处理模块、工具绑定模块和数据传输模块。

数据采集模块：

s110采集设备数据信息。获取vr设备手柄数据，每个vr设备都有自己的空间定位技术，通过vr设备空间定位技术获取手柄位置信息。例如htc的lighthouse室内定位技术属于激光扫描定位技术，靠激光和光敏传感器来确定运动物体的位置。两个激光发射器被安置在对角，形成大小可调的长方形区域。激光束由发射器里面的两排固定led灯发出，每秒6次。每个激光发射器内有两个扫描模块，分别在水平和垂直方向轮流对定位空间发射激光扫描定位空间。获取到vr手柄数据包括坐标position、旋转rotation；

工具控制模块：

s120手柄控制工具。数据传输模块将数据采集模块采集的手柄数据传输到工具控制模块。根据采集并记录下的数据，使用手柄的坐标position、旋转rotation数据，应用到虚拟工具模型上，使得工具模型绑定到手柄上，跟随手柄移动。再通过数据传输模块将绑定虚拟工具后的数据传输到vr设备上，使用者能够在vr头盔中清楚看到工具的模型随手柄移动。

碰撞检测模块：

s130模型碰撞检测。目标零件在虚拟空间中有预定的位置。首先对工具模型和目标零件进行碰撞检测，例如碰撞检测指模型的碰撞体之间接触的检测。通过操纵手柄，改变虚拟空间中工具模型的位置，判断工具模型和目标零件是否处于可绑定范围内，当检测到工具模型和目标零件发生碰撞后，才可进行工具绑定。反之，工具模型与目标零件绑定后，当检测到工具模型和目标零件之间超出可绑定范围，解除工具模型与目标零件的绑定。工具一旦绑定到零件上后，受手柄位置和零件位置双重控制，工具会和零件完全绑定，同步移动。在一些与零件绑定的情况下，手柄对工具在某些轴向的控制会受限制。当工具模型和目标零件之间超出可绑定范围后，工具仅受手柄控制。

数据处理模块：

s140数据分析处理。当碰撞检测结果为发生碰撞后，根据采集并记录下的数据，对数据进行处理分析，根据预设参数计算所述虚拟工具模型和所述目标零件模型绑定所需的绑定数据。

例如根据虚拟工具模型和所述目标零件模型的坐标position判定发生碰撞，根据预设参数，当旋转rotation达到某值时，则绑定数据满足。

根据具体的需要，所述坐标position和旋转rotation可以为绝对值，也可以为相对值。

在本发明的一些实施方式中，为满足视觉效果的需要，当虚拟工具模型和目标零件模型实现绑定时绑定处加载修饰效果。可以在目标零件上设定预设绑定位置，其上加载隐藏的修饰效果。当虚拟工具模型和目标零件模型发生碰撞时，根据预设参数计算所述虚拟工具模型和所述目标零件模型绑定所需的绑定数据。其中，所述绑定数据包括预设绑定位置到碰撞位置的差值，例如旋转角度。

工具绑定模块：

s150工具绑定。得到经过计算处理的数据后，将工具绑定到目标零件上的正确位置，并反馈到vr头盔中。通过这样实时数据的传输更新，在vr眼镜能清楚的看到工具准确绑定到正确位置。

本发明不限于上述实施方式，在本发明思想的范围内可以进行各种变更。本发明已通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。