一种虚拟现实多人互动的方法及系统与流程

本发明涉及虚拟现实领域，尤其涉及一种虚拟现实多人互动的方法及系统。

背景技术：

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

目前虚拟现实技术正在不断的发展创新，如果利用虚拟现实技术实现多人在虚拟的环境中进行交互成为了目前需要不断摸索的目标，例如，如何实现在家中进行多人的实时演唱会，如何在没有篮球场的情况下实现多人虚拟篮球比赛等等，这些问题都亟待解决。

而目前并没有一种虚拟现实多人互动的方法及系统。

技术实现要素：

针对现有技术存在的技术缺陷，本发明的目的是提供一种虚拟现实多人互动的系统，包括：头戴式可视设备1、图像渲染计算机2、混合动捕空间定位系统3、中央服务器4；所述头戴式可视设备1对应连接所述图像渲染计算机2，所述混合动捕空间定位系统3包括：多个分别设于对象多点的光学定位模块31和惯性动捕模块32，混合动捕服务器33；所述光学定位模块31包括：第一输出端311，所述惯性动捕模块32包括：第二输出端321，所述混合动捕服务器33包括：第一输入端331、第二输入端332及第三输出端333，所述第一输出端311与所述第一输入端331连接，所述第二输出端321与所述第二输入端332连接，第三输出端333与所述图像渲染计算机2连接，并由所述图像渲染计算机2提供所述头戴式可视设备1输出的显示图像。

优选地，所述头戴式可视设备1包括：显示镜头11与显示图像输入端12，所述显示图像输入端12与所述图像渲染计算机2连接。

优选地，所述图像渲染计算机2包括：依次连接的混合数据输入端21、图像生产模块22、图像渲染模块23及显示图像输出端24，所述混合数据输入端21与所述第三输出端333连接，所述显示图像输出端24与所述头戴式可视设备1连接。

优选地，所述第一输出端311为光学定位数据输出端，所述第二输出端321为惯性运动数据输出端，所述第三输出端333为混合数据输出端。

优选地，所述光学定位模块31包括：光学定位点312、红外摄像头313及定位处理器314，所述光学定位点312设于对象的多个第一关节点，所述红外摄像头313对所述光学定位点312进行红外图像拍摄后将红外图像传输至所述定位处理器314，所述第一输出端311为所述定位处理器314的输出端。

优选地，所述惯性动捕模块32包括：传感器322及惯性动捕处理器323，所述传感器322设于对象的多个第二关节点并采集第二关节点的加速度及第二关节点间连线角速度；所述惯性动捕处理器323包括获取输入端及方位惯性定位数据输出端，所述获取输入端与传感器连接，所述第二输出端321为所述方位惯性定位数据输出端。

优选地，所述混合动捕服务器33还包括：校准模块334，所述校准模块334将第一输入端331及第二输入端332的数据进行比较并在第三输出端333输出校准后的数据。

根据本发明的另一个方面，提供了一种虚拟现实多人互动的方法，包括：

采集所述光学定位模块和惯性动捕模块的光学定位数据及惯性动捕数据；

对所述光学定位数据及惯性动捕数据进行处理及校准以形成混合数据；

基于所述混合数据生成运动图像并进行图像渲染以形成显示图像。

优选地，所述光学定位数据为P₁′(x₁′，y₁′，z₁′)，所述惯性动捕数据为P₂′(x₂′，y₂′，z₂′)，所述对所述光学定位数据及惯性动捕数据进行处理及校准以形成混合数据包括如下步骤：

捕捉人体标准姿势下的对应的标准光学定位数据P₁(x₁，y₁，z₁)以及标准惯性动捕数据P₂(x₂，y₂，z₂)；

基于标准光学定位数据及标准惯性动捕数据对所述光学定位数据及所述惯性动捕数据执行匹配步骤，具体方式如下：|x₁′-x₂′|≤|x₁-x₂|+|y₁-y₂|+|z₁-z₂|，|y₁′-y₂′|≤|x₁-x₂|+|y₁-y₂|+|z₁-z₂|，|z₁′-z₂′|≤|x₁-x₂|+|y₁-y₂|+|z₁-z₂|；

计算匹配成功的全部所述光学定位数据及所述惯性动捕数据的平均坐标值作为所述混合数据。

优选地，若部分所述所述光学定位数据及部分所述惯性动捕数据未执行匹配步骤，且所述标准光学定位数据及所述标准惯性动捕数据已全部匹配完毕，则所述光学定位数据及所述惯性动捕数据不存在缺失数据；

若部分所述所述光学定位数据及部分所述惯性动捕数据未执行匹配步骤，且所述标准光学定位数据及所述标准惯性动捕数据未全部匹配完毕，则所述光学定位数据及所述惯性动捕数据存在缺失数据。

优选地，若所述光学定位数据及所述惯性动捕数据存在缺失数据，采用多项插值法对修补所述光学定位数据及所述惯性动捕数据，并基于修补后的光学定位数据及修补后的惯性动捕数据执行匹配步骤。

优选地，还包括：

提供所述头戴式可视设备并由所述头戴式可视设备输出显示图像。

优选地，所述头戴式可视设备还包括人体支架，所述光学定位模块及所述惯性动捕模块设于所述人体支架上。

本发明的有益效果：本发明通过混合动捕空间定位系统捕捉到人的动作并进行分析，将分析结果发送至图像渲染计算机进行渲染，并将渲染结果发送至中央服务器，中央服务器将多个渲染结果进行整合，确定最后的渲染结果，并发送至每个人的头戴式可视设备，最后被人眼所看到。本发明操作方便，结构简单，具有极高的商业价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出了本发明的具体实施方式的，一种虚拟现实多人互动的系统的模块连接示意图；

图2示出了本发明的第一实施例的，所述光学定位模块的模块连接示意图；

图3示出了本发明的第二实施例的，所述惯性动捕模块的模块连接示意图；

图4示出了本发明的第三实施例的，所述混合动捕服务器的模块连接示意图；以及

图5示出了本发明的另一具体实施方式的，一种虚拟现实多人互动的方法的具体流程示意图。

具体实施方式

为了更好的使本发明的技术方案清晰地表示出来，下面结合附图对本发明作进一步说明。

图1示出了本发明的具体实施方式的，一种虚拟现实多人互动的系统的模块连接示意图，本领域技术人员理解，所述虚拟现实多人互动的系统通过在人体身上设置多个定位模块，并将其反映至中央服务器，中央服务器集成多人的实时运动情况，并进行渲染，最后反映到每个人的头戴可视设备中，实现了佩戴可视设备实现虚拟环境与虚拟现实多人互动的目的，具体地，所述虚拟现实多人互动的系统包括：头戴式可视设备1、图像渲染计算机2、混合动捕空间定位系统3、中央服务器4，本领域技术人员理解，所述头戴式可视设备1可以是虚拟现实头盔，也可以是虚拟现实眼睛，主要用于使人看到虚拟现实场景，更为具体地，所述头戴式可视设备还包括人体支架，所述人体支架适用于人体体形，更进一步地，光学定位模块及所述惯性动捕模块设于所述人体支架上，所述光学定位模块及所述惯性动捕模块用于获取光学定位数据及惯性动捕数据，这些将在后述的具体实施方式中做进一步描述，在此不予赘述。

所述图像渲染计算机2可以是设置在头戴式可视设备1上的处理单元，也可以是远离头戴式可视设备1设置的固定运算设备，所述图像渲染计算机主要用于对接收、捕捉到的人体动作进行分析，并基于所述分析在虚拟场景的情况下进行渲染，所述混合动捕空间定位系统3主要用于对虚拟现实多人互动中的人的动作进行捕捉，并生成基于该动作的轨迹、方向等等，为图像渲染计算机2的渲染提供条件与基础，所述中央服务器用于集成多个所述混合动捕空间定位系统3所捕捉的多人动作，并根据不同的头戴式可视设备1渲染出不同的场景，并发送至每个头戴式可视设备。

优选地，所述头戴式可视设备1对应连接所述图像渲染计算机2，所述混合动捕空间定位系统3包括：多个分别设于对象多点的光学定位模块31和惯性动捕模块32，混合动捕服务器33；所述光学定位模块31包括：第一输出端311，所述惯性动捕模块32包括：第二输出端321，所述混合动捕服务器33包括：第一输入端331、第二输入端332及第三输出端333，进一步地，所述头戴式可视设备1对应连接所述图像渲染计算机2，在这样的实施例中，所述头戴式可视设备1对应连接一个图像渲染计算机2，而在其他的实施例中，每个所述头戴式可视设备1对应连接一个图像渲染计算机2。在一个优选地实施例中，在对象的头和手部位设置有多个光学定位模块31和惯性动捕模块32，而在其他的实施例中，还可以在脚、腰部等等部位设置多个光学定位模块31和惯性动捕模块32。

所述光学定位模块31主要通过红外拍摄的方式实现定位，所述惯性动捕模块32通过速度传感器捕捉运动的轨迹、位置，所述混合动捕服务器33用于将光学定位模块31和惯性动捕模块32进行集成、运算，得出一个最优选地运动方位以及运动轨迹，所述混合动捕服务器33的第一输入端331以及第二输入端332用于获取所述光学定位模块31和惯性动捕模块32的数据，所述第三输出端333用于传输所述集成后的数据。

优选地，所述第一输出端311与所述第一输入端331连接，所述第二输出端321与所述第二输入端332连接，第三输出端333与所述图像渲染计算机2连接，并由所述图像渲染计算机2提供所述头戴式可视设备1输出的显示图像，所述第一输出端311为光学定位数据输出端，所述第一输出端311与所述第一输入端331连接即为所述光学定位模块31将定位结果传输到所述混合动捕服务器33，所述第二输出端321，所述第二输出端321与所述第二输入端332连接即为将捕捉的结果传输到所述混合动捕服务器33，进一步地，所述混合动捕服务器33通过所述第三输出端333将集成后的数据结果传输到所述图像渲染计算机2进行渲染，并将渲染结果作为显示图像传输给所述头戴式可视设备1。

优选地，所述头戴式可视设备1包括：显示镜头11与显示图像输入端12，所述显示图像输入端12与所述图像渲染计算机2连接，在这样的实施例中，所述显示镜头与人体头部眼镜的部位相适应，用于显示来自图像渲染计算机2的显示图像，所述显示图像输入端12用于接收来自图像渲染计算机2的显示图像。

优选地，所述图像渲染计算机2包括：依次连接的混合数据输入端21、图像生产模块22、图像渲染模块23及显示图像输出端24，所述混合数据输入端21与所述第三输出端333连接，所述显示图像输出端24与所述头戴式可视设备1连接。本领域技术人员理解，所述第三输出端333为混合数据输出端，所述混合数据输入端21用于接收来自所述混合动捕服务器33中所述第三输出端333的运动数据，在获取所述运动数据后，所述图像渲染计算机2优选地通过图像生产模块22建立虚拟环境，构建虚拟场景，并通过所述图像渲染模块23结合所述运动数据进行渲染，并将渲染结果融入到所述虚拟环境中，进一步地，所述显示图像输出端24连接所述头戴式可视设备1的显示图像输入端12，将所述最终的渲染结果通过所述显示图像输入端12传输到所述头戴式可视设备1。

图2示出了本发明的第一实施例的，所述光学定位模块的模块连接示意图，作为本发明的第一实施例，所述光学定位模块为所述混合动捕空间定位系统中的一部分，用于提供视觉上的定位。

进一步地，所述光学定位模块31包括：光学定位点312、红外摄像头313及定位处理器314，所述光学定位点312设于对象的多个第一关节点，所述红外摄像头313对所述光学定位点312进行红外图像拍摄后将红外图像传输至所述定位处理器314，所述第一输出端311为所述定位处理器314的输出端。

在这样的实施例中，所述光学定位点312优选地设置在人体的关键部位，优选地设置在人体的头部以及手部位置，还可以设置在脚部等等部位，用于定位人体的方位，所述红外摄像头313用于根据所述光学定位点312进行红外拍摄，并获得根据人体视觉上的位移、方位的改变、所述光学定位点的左右上下前后移动，获得红外图像，传输到所述定位处理器。所述定位处理器用于对所述红外数据进行预处理，并将所述红外数据通过所述第一输出端311传输到所述第一输入端331。

图3示出了本发明的第二实施例的，所述惯性动捕模块的模块连接示意图，作为本发明的第二实施例，所述惯性动捕模块为所述混合动捕空间定位系统中的另一部分，用于提供动作上的定位。

进一步地，所述惯性动捕模块32包括传感器322及惯性动捕处理器323，所述传感器332用于对人体的动作进行感知，优选地为加速度传感器，角速度传感器，而在其他的实施例中，所述传感器还包括位移传感器，高度传感器等等，所述惯性动捕处理器323用于处理所述传感器332所获取的数据。

进一步地，所述传感器322设于对象的多个第二关节点并采集第二关节点的加速度及第二关节点间连线角速度，本领域技术人员理解，所述第二关节点的设置可以是覆盖所述第一关节点的位置，也可以另外关节点设置，例如，手关节，脚踝，膝盖，肩膀等等，所述惯性动捕处理器323包括获取输入端及方位惯性定位数据输出端，所述获取输入端与传感器连接，所述第二输出端321为所述方位惯性定位数据输出端，所述获取输入端连接所述传感器，所述方位惯性定位数据输出端即为所述第二输出端321，所述第二输出端321连接所述所述第二输入端332。

图4示出了本发明的第三实施例的，所述混合动捕服务器的模块连接示意图，所述混合动捕服务器用于将所述实施例一以及所述实施例二中获取的视觉上的定位以及动作上的定位相结合，得出最为优选的一种动作图像显示。

具体地，所述混合动捕服务器33还包括校准模块334，所述校准模块334将第一输入端331及第二输入端332的数据进行比较并在第三输出端333输出校准后的数据。

作为本发明的第三实施例，本领域技术人员理解，在实际的虚拟环境互动中，往往因为一些客观的事实造成人们并不能完全的通过肢体来传递自己的意思表示，而所述校准模块需要做的，就是通过分析来实现人们思想上完整的意思表示，而在另外的实施例中，所述校准模块还可以对人们不规范的姿势进行校准，不流畅的动作进行完善，从而使其他人通过头戴式可视设备看到的是完整的，流畅的，富有关感的动作。

例如，在一个具体的实施例中，假设人们利用虚拟现实多人互动的系统进行篮球比赛，其中某个人使用了跳起来扣篮的姿势，这时，由于实际情况下，此人达到了目标阈值高度，且此人位置与扣篮位置相契合，但扣篮的姿势由于客观条件产生了误差，且只扣了一半停住了，此时根据校准模块，可以对所述扣篮的姿势进行校准修复，且他人在看到此人扣篮时，是完整的扣篮动作，包括此人落地时的动作等等，而在本实施例的另一个变化例中，若此人并没有跳起，没有达到系统所规定的目标高度，但此人的姿势像扣篮，则根据所述惯性动捕模块32所捕捉到的手关节的运动轨迹，根据校准模块判断此人是扣篮还是投篮。最后，将校准后的数据作为此人的最终数据传输到所述图像渲染计算机。

图5示出了本发明的另一具体实施方式的，一种虚拟现实多人互动的方法的具体流程示意图，所述虚拟现实多人互动的方法将结合图1至图4中示出的具体实施方式以及具体实施例来对本发明的实施方法做进一步地描述。

首先，进入步骤S101，采集所述光学定位模块和惯性动捕模块的光学定位数据及惯性动捕数据，本领域技术人员理解，所述步骤是为了获取人的运动数据，通过所述光学定位模块获取所述光学定位数据，通过所述惯性动捕模块获取所述惯性动捕数据，进一步地，所述光学定位模块配合所述光学定位点以及红外摄像头，所述红外摄像头对所述光学定位点进行红外图像拍摄后将红外图像传输至所述定位处理器，所述惯性动捕模块配合所述传感器，所述传感器设于对象的多个第二关节点并采集第二关节点的加速度及第二关节点间连线角速度，惯性动捕处理器包括获取输入端及方位惯性定位数据输出端，所述传感器将获得的数据传输给所述惯性动捕处理器。

再然后，进入步骤S102，对所述光学定位数据及惯性动捕数据进行处理及校准以形成混合数据，在这样的实施例中，所述混合数据即为用于图像渲染的数据，通过对所述光学定位数据及惯性动捕数据的处理，可以确定人的基本动作，再通过所述校准模块的校准处理，使所述混合数据更适应于图像显示。

作为步骤S102的一个优选实施方式，所述光学定位数据为P₁′(x₁′，y₁′，z₁′)，所述惯性动捕数据为P₂′(x₂′，y₂′，z₂′)，所述步骤S102通过以下步骤实现：

首先，捕捉人体标准姿势下的对应的标准光学定位数据P₁(x₁，y₁，z₁)以及标准惯性动捕数据P₂(x₂，y₂，z₂)。具体地，可以在人体处于双臂伸展直立状态时，通过光学定位模块和惯性动捕模块捕捉标准光学定位数据以及标准惯性动捕数据，本领域技术人员理解，可以将人体置于一三维坐标系中，则所述标准光学定位数据以及标准惯性动捕数据实际上是由一系列的三维坐标值组成，其中，x₁，y₁，z₁以及x₂，y₂，z₂分别代表x轴、y轴、z轴的数值。

其次，基于标准光学定位数据及标准惯性动捕数据对所述光学定位数据及所述惯性动捕数据执行匹配步骤，具体地，所述光学定位数据及所述惯性动捕数据也是一系列的三维坐标数据，按照以下标准对所述光学定位数据及所述惯性动捕数据进行筛选。|x₁′-x₂′|≤|x₁-x₂|+|y₁-y₂|+|z₁-z₂|，|y₁′-y₂′|≤|x₁-x₂|+|y₁-y₂|+|z₁-z₂|，|z₁′-z₂′|≤|x₁-x₂|+|y₁-y₂|+|z₁-z₂|。可以看出，所述光学定位数据及所述惯性动捕数据构成一组数据，且每组所述光学定位数据及所述惯性动捕数据与对应的一组光学定位模块和惯性动捕模块相对应，而所述标准光学定位数据及所述标准惯性动捕数据页对应该组光学定位模块和惯性动捕模块，即，实际的应用中，是以每组光学定位模块和惯性动捕模块为基准，分别匹配对应的所述标准光学定位数据及所述标准惯性动捕数据和所述光学定位数据及所述惯性动捕数据，这样的匹配方式均为加减法运算，可以提高运算速度并减少多次运算的误差。

更为优选地，在本步骤中，若部分所述所述光学定位数据及部分所述惯性动捕数据未执行匹配步骤，且所述标准光学定位数据及所述标准惯性动捕数据已全部匹配完毕，则所述光学定位数据及所述惯性动捕数据不存在缺失数据。若部分所述所述光学定位数据及部分所述惯性动捕数据未执行匹配步骤，且所述标准光学定位数据及所述标准惯性动捕数据未全部匹配完毕，则所述光学定位数据及所述惯性动捕数据存在缺失数据。

进一步地，若所述光学定位数据及所述惯性动捕数据存在缺失数据，采用多项插值法对修补所述光学定位数据及所述惯性动捕数据，并基于修补后的光学定位数据及修补后的惯性动捕数据执行匹配步骤。具体地，多项插值法可以应用于多个领域，可以采用拉格朗日差值方法、牛顿差值方法和埃尔米特插值方法，本领域技术人员可以结合现有技术予以实现。更为具体地，本优选方式的目的在于提高所述光学定位数据及所述惯性动捕数据的连续性以及完整性，进而得出更为准确的混合数据。

最后，计算匹配成功的全部所述光学定位数据及所述惯性动捕数据的平均坐标值作为所述混合数据。具体地，分别计算x轴、y轴、z轴的数值的平均值，最终得到所述混合数据，所述混合数据也是一三维坐标数据。最后，进入步骤S103，基于所述混合数据生成运动图像并进行图像渲染以形成显示图像，本领域技术人员理解，在这样的实施例中，所述混合数据通过所述混合数据输入端进入所述图像渲染计算机，在所述图像渲染计算机中设置有图像生产模块、图像渲染模块，所述图像生成模块生成运动图像，并根据所述图像渲染模块进行图像渲染，进一步地，形成所述显示图像，并通过显示图像输出端输出到所述头戴式可视设备。更为具体地，由所述头戴式可视设备输出显示图像，所述显示图像的图像即为经过步骤S101至步骤S103处理后，得出的渲染图像。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。