基于Unity三维引擎和VR头盔的多点交互控制系统和方法与流程

本发明属于工业设备虚拟拆装技术领域，具体涉及一种基于unity三维引擎和vr头盔的多点交互控制方法，适用于工业设备虚拟拆装仿真系统的各类设备零件的交互控制操作，主要用于工业设备拆装工作人员、设备运行维护和检修人员的培训。

背景技术：

vr(virtualreality：虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。

虚拟现实技术(vr)主要包括模拟环境、感知、自然技能和传感设备等方面，模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的vr应该具有一切人所具有的感知，除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知，自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官，传感设备是指三维交互设备。

vr主要是利用计算机生成的一种模拟环境，通过各种传感设备使用户进入到这个环境中，实现了该环境直接进行交互的技术。由于虚拟现实技术在很大的程度上解决很多的实际问题，还节约了资金不受环境限制等问题，因此成为了目前各个领域如工业、娱乐、游戏、军事、旅游等倍受青睐的技术。现在和将来很长时间内，vr技术将会越来越成熟，给人带来越来越多的立体感官体验。

vr虚拟拆装是目前vr应用比较广泛的一个领域。在某些场景模式下，虚拟拆装需要多人共同协作来拆装操作，而目前还没有支持这种场景的系统和方法。

技术实现要素：

鉴于现有技术缺少成熟的将vr手柄与虚拟现实紧密结合起来的交互控制系统的问题，提出了本发明的一种虚拟现实环境中通过手柄与虚拟设备零件交互控制方法，以便解决上述问题。

根据本发明的第一个方面，本发明提供一种基于unity三维引擎和vr头盔的多点交互控制系统，其包括：

第一数据采集模块，用于采集第一客户端对应的第一vr手柄在其空间中的位置信息；

第二数据采集模块，用于采集第二客户端对应的第二vr手柄在其空间中的位置信息；

第一数据传输模块，用于将第一客户端对应的第一vr手柄在其空间中的位置信息传输到服务器；

第二数据传输模块，用于将第二客户端对应的第二vr手柄在其空间中的位置信息传输到服务器；

数据处理模块，对数据进行汇总分析，识别出控制点的数量，得到目标物体的移动数据；

交互控制模块，将汇总分析后的数据返回第一客户端和第二客户端，并将目标物体的移动数据反馈在第一客户端对应的第一vr头盔和第二客户端对应的第二vr头盔中。

优选地，所述对数据进行汇总分析包括将第一vr手柄和第二vr手柄在各自空间中的位置信息汇总到同一空间内。

优选地，所述交互控制模块将第二vr手柄与第一vr手柄汇总到同一空间中的空间位置反馈到第一vr头盔中。

优选地，所述交互控制模块将第一vr手柄与第二vr手柄汇总到同一空间中的空间位置反馈到第二vr头盔中。

优选地，所述第一数据传输模块和第二数据传输模块通过有线或无线连接的方式实时传输到服务器。

根据本发明的第二个方面，本发明提供一种基于unity三维引擎和vr头盔的多点交互控制方法，其包括：

s110采集各客户端对应的vr手柄在其空间中的位置信息；

s120将各客户端对应的vr手柄在其空间中的位置信息传输到服务器；

s130对数据进行汇总分析，识别出控制点的数量，得到目标物体的移动数据；

s140将汇总分析后的数据返回各客户端，并将目标物体的移动数据反馈在各客户端对应的vr头盔中。

优选地，所述对数据进行汇总分析包括将各客户端对应的vr手柄在其空间中的位置信息汇总到同一空间内。

优选地，所述vr手柄在其空间中的位置信息通过有线或无线连接的方式实时传输到服务器。

优选地，各客户端对应的vr手柄在其空间中的位置信息实时传输到该客户端对应的vr头盔中。

附图说明

通过阅读参考一下附图所作的对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：

图1是示意地表示本发明的一些实施方式的系统原理图。

图2是示意地表示本发明的一些实施方式的系统结构图。

图3是本发明的一些实施方式的vr视觉效果截图。

图4是示意地表示本发明的一些实施方式的方法的流程图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

在本发明中，术语“unity软件”：是指基于unity三维引擎平台开发的软件。unity是由unitytechnologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。

在本发明中，术语“htcvivelighthouse”是htcvr设备使用的定位系统“lighthouse”，由两个激光基站构成：每个基站里有一个红外led阵列，两个转轴互相垂直的旋转的红外激光发射器。转速为10ms一圈。基站的工作状态是这样的：20ms为一个循环，在循环开始的时候红外led闪光，10ms内x轴的旋转激光扫过玩家自由活动区域，y轴不发光；下10ms内y轴的旋转激光扫过玩家自由活动区域，x轴不发光。

在本发明中，术语“多点控制”是指在同一场景中，多个手柄对物体的控制。在vr中通过手柄模拟手来控制模型物体，已经对零件实施抓住动作的手柄被看作是一个控制点。识别出控制点数量，就是识别出当前状态零件模型有几个手柄与零件发生了碰撞并将手柄(在虚拟空间中识别为例如手的形态)绑定。所述控制点也就是手柄在虚拟空间中与零件绑定的点，通过多个控制点移动达到与虚拟物体的交互。

在本发明的一些实施方式中，通过vr设备的两个手柄模拟控制虚拟空间的两只手，来实现虚拟物体的抓取控制效果。如图3所示，图中两套vr设备通过4个手柄共同控制虚拟零件，其中有4个控制点。

在本发明的另一些实施方式中，通过vr设备的两个手柄模拟控制虚拟空间的两只手握住工具(虚拟工具)，来实现虚拟物体(例如零件)的抓取控制效果。在此情况下，控制点可以为虚拟物体被手柄(虚拟场景中的手)间接绑定的点(例如零件与被手柄控制的虚拟工具绑定的点)。

在现实世界中存在对物体的移动和旋转操作，而在vr头盔中看到的虚拟空间同样需要对虚拟物体的移动和旋转操作，来达到模拟真实世界的效果，从而实现工业上的虚拟培训。

图1示出了本发明的一些实施方式的系统原理图。第一vr设备和第二vr设备通过其各自的客户端与服务器保持数据传输和数据共享。服务器对接收到的数据进行汇总和转换，再通过客户端传输到各个vr设备。这样，在一台vr设备中，可以“看”到另一台vr设备的动作，从而实现在同一虚拟空间中的交互。

本发明的多点交互控制系统包括：数据采集模块、数据传递模块、解析识别模块和交互控制模块，如图2所示。

数据采集模块：

s110采集设备数据信息。获取vr设备手柄数据，每个vr设备都有自己的空间定位技术，通过vr设备空间定位技术获取多个操作手柄位置信息，能够在vr头盔中清楚看到手的模型跟随手柄移动。例如htc的lighthouse室内定位技术属于激光扫描定位技术，靠激光和光敏传感器来确定运动物体的位置。两个激光发射器被安置在对角，形成大小可调的长方形区域。激光束由发射器里面的两排固定led灯发出，每秒6次。每个激光发射器内有两个扫描模块，分别在水平和垂直方向轮流对定位空间发射激光扫描定位空间。获取到vr手柄数据包括坐标position、旋转rotation。

数据传输模块：

s120设备数据传输。如图1所示，将获取的多个设备信息从客户端向服务端发送，通过有线连接或无线连接的方式传输实时记录的设备数据，使用自定义协议的方式进行传输，保证数据传输的高效稳定性，从而使头盔中看到的画面清晰逼真。

数据处理模块：

s130数据分析处理。根据在服务端接收到的数据，对数据进行汇总分析，识别出控制点的数量，通过算法对多个控制点数据加权平均后，得到目标物体的移动数据。

交互控制模块：

s140交互控制。将经过分析处理后的数据，通过自定义的网络协议，从服务端传回到客户端，客户端根据传回的数据反馈到vr头盔中，如图1所示。通过这样实时数据的传输更新，在vr眼镜能清楚的看到目标物体在随着多个手柄的共同控制下移动。

图3是本发明的一些实施方式的vr视觉效果截图，在第一vr头盔中除显示第一vr手柄在空间中的位置之外，还可以显示第二vr手柄在视觉空间中的位置，甚至可以显示第二vr头盔在视觉空间中的位置，其原理与显示第二vr手柄类似。

在本发明的一些实施方式中，第一数据采集模块采集第一vr头盔和第一vr手柄在第一客户端对应的空间中的位置信息，并反馈到第一vr显示模块中，同时将所述第一vr头盔和第一vr手柄在第一客户端对应的空间中的位置信息通过第一数据传输模块传输到服务器与其他客户端共享，第二客户端同理，如图2所示。交互控制模块将解析处理模块汇总后的各客户端对应的vr头盔和vr手柄换算到同一空间中的位置信息通过各客户端对应的数据传输模块反馈到各客户端对应的vr显示模块中，例如将第二vr手柄和第二vr头盔的位置信息反馈到第一vr显示模块中，从而在第一vr头盔中可以看到第二vr手柄和第二vr头盔的旋转和移动。

本发明不限于上述实施方式，在本发明思想的范围内可以进行各种变更。本发明已通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。