一种事故救援虚拟演练交互系统及方法与流程

本发明属于虚拟现实技术领域，可以用于任何涉及虚拟移动、多人协同操作的事故救援虚拟演练的模拟。具体涉及一种事故救援虚拟演练交互系统及方法。

背景技术：

晕眩感是虚拟现实技术领域长期存在的技术发展瓶颈，人物交互所产生的晕眩感来源于多种情况，一方面从硬件角度而言，在vr技术还未有大量盈利的背景下，出于节约成本的角度考虑，厂商往往会采用降低设备配置生产的产品，由于低配置vr产品的使用而自然会产生晕眩感。另一方面是在vr界面中存在自然违和感，实际运动与大脑运动无法高度重合，影响大脑判断从而产生晕眩感。简单而言即大脑从视觉系统接收到vr设备中传来的运动画面，大脑会指挥身体进行协同的与接受画面同步的运动，但实际上身体并没有动，从小脑中会传递错误的信号使得身体保持正常运转，大脑接收到错误信号无法正确处理，产生眩晕感。同样的，当人物想要进行移动时，大脑会指挥身体移动，但实际上是通过手柄瞬时移动，违背自然移动的场景瞬移感也会使得小脑传递出错误信号，人物沉浸感越强，瞬移画面所造成的晕眩感也会越强，高沉浸感反而成为了晕眩感强烈的原因。

基于以上两个方面的分析，研究一款低成本、便捷式且能有效缓解晕眩感地事故救援虚拟演练交互系统具有积极意义。

技术实现要素：

为实现上述目的，本发明提供了一种事故救援虚拟演练交互系统及方法。

本发明的一种事故救援虚拟演练交互系统，包括摄像头、屏显设备、vr设备和标识套，其中摄像头固定于屏显设备上方并连接主机，摄像头的拍摄视野范围为正前方的一个扇形区域；vr设备包括vr头显、vr手柄和定位器，vr设备的活动区域为摄像头正前方的矩形区域；定位器安放在矩形区域对角。vr头显、vr手柄和标识套安装在操作者身体对应部位。

进一步的，标识套分为四肢标志套与腰部标志套两款，并使用不同的颜色。

其中四肢标志套形状为宽12cm、长50-55cm的矩形粘扣带，两侧分别是长15cm的粘扣钩面与绒面。

腰部标志套形状为宽10cm、长120-130cm的矩形粘扣带，两侧分别是长20cm的粘扣钩面与绒面。

进一步的，摄像头的拍摄视野范围为距离屏幕1-4m，角度70°的一个扇形区域，vr设备的活动区域为2m×1.5m的矩形区域，该交互系统的操作区域取两模块的交集。

本发明的一种事故救援虚拟演练交互方法，主要内容包含两部分，其一：利用摄像头获取人物三维空间数据，将其转换成相应的vr设备移动参数，实现接近于人物自然漫游的虚拟移动方式。具体为：

步骤1：安装如权利要求1所述的事故救援虚拟演练交互系统，操作员佩戴相应的vr头显和标识套，并对操作环境初始化；

步骤2：佩戴标识套的部位在场景中运动，摄像头拍摄每一帧图像，标识套在第n帧的坐标为(xn,yn,zn)；其中xn、yn的数据信息直接从平面图像中定位到，而深度信息zn通过深度繁衍算法求得；

步骤3：将当前帧的数据与上一帧的数据做差值计算，即得到△x＝|xn-xn-1|、△y＝|yn-yn-1|、△z＝|zn-zn-1|，得到的差值进行精度判断，倘若大于标准值则视为有效移动，将其差值转换成行走参数△s；

步骤4：将移动参数△s的数值传送给vr手柄，vr头显中的摄像机界面则沿着vr手柄所指方向前移△s，即实现人物运动的时刻vr操作中摄像机界面同步移动。

其二：利用摄像头进行人物手势识别，提供了一种模拟事故救援演练多人协同操作的方法。具体为：

步骤1：安装如权利要求1所述的事故救援虚拟演练交互系统，操作员佩戴相应的vr头显和标识套，并对操作环境初始化；

步骤2：佩戴标识套的部位在场景中运动，摄像头拍摄每一帧图像，标识套在第n帧的坐标为(xn,yn,zn)；其中xn、yn的数据信息直接从平面图像中定位到，而深度信息zn通过深度繁衍算法求得；

步骤3：(手势识别模拟)将获取的信号员手部关键骨骼每一帧的三维空间位置数据(xn,yn,zn)，直接传输到虚拟场景人物身上对应骨骼位置，实现手势同步模拟。

步骤4：(人物自然漫游虚拟移动)操作员人物移动方法同上。

步骤5：由于标识套颜色与配套部位的多样性，可实现多种方式结合，达到事故救援演练多人协同操作。

本发明的有益技术效果是：

本发明设计了一种低成本的，便捷式，且能有效缓解晕眩感地vr交互系统。该混合交互系统基于计算机视觉算法，利用摄像头与vr设备混合，可模拟自然状态下的人物行走移动，使得瞬移造成的非自然移动晕眩感得到缓解；可进行多人协作事故救援虚拟演练，使得应用场景更为广阔。

附图说明

图1为系统配置示意图。

图2为标志套的设计示意图。

图3为人物关键骨骼示意图。

图4为虚拟移动原理图。

图5为虚拟移动流程示意图。

图6为多人协作流程示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

一、首先是交互系统需要的配置，如图1所示：包括摄像头、屏显设备、vr设备(vr头显、vr手柄和定位器)和标识套，其中摄像头固定于屏显设备上方并连接主机，摄像头的拍摄视野范围为距离屏幕1m-4m，角度70°的一个扇形区域，vr设备的活动区域为2m×1.5m的矩形区域，因此该混合交互系统的操作区域取两模块的交集。vr头显、vr手柄和标识套安装在操作者身体对应部位。

二、其次是标志套(marksleeve)的设计。

为了使摄像头准确高效的识别所拍摄的图像，我们设计了一款标志套(marksleeve)，主要分为四肢标志套与腰部标志套两款。

如图2所示，四肢标志套形状为宽约12cm、长约50cm-55cm的矩形粘扣带，两侧分别是长15cm的粘扣钩面与绒面，便于操作者根据自身体型与所需要佩戴的位置自行调节松紧大小。

腰部标志套形状为宽约10cm、长约120cm-130cm的矩形粘扣带，两侧分别是长20cm的粘扣钩面与绒面。

为了便于摄像头进行计算机mark识别，我们目前设计了四款颜色，分别是红、绿、蓝、黄四种易与环境产生强烈对比度的颜色，后期可以扩展其他颜色。

使用时，为了获取某一个关键骨骼的坐标数据，操作者需要将标志套佩戴到其对应关骨骼部位，摄像头捕获每一帧图像之后，进行mark识别得到佩戴部位相应的坐标数据，再将数据进行处理转换，传输到虚拟场景中，实现混合交互。

将摄像头与vr设备相结合，基于计算机mark识别算法利用摄像头获取人物每一帧腿部骨骼行走数据，并将其数据转换成vr设备中的视角移动，以此来模拟人物的真实行走，达到缓解vr晕眩的目的。

三、原理

如图4所示，以操作者腿部佩戴标志套的移动为例，通过计算机mark识别算法可以获取到标志套部位每一帧的三维坐标信息，将数据信息处理后与vr设备相结合，进而开发出接近于人物自然漫游的虚拟移动方式。具体为：

1、腿部佩戴标识套：

如图3人体关键骨骼佩戴图所示，操作者需要将四肢标识套分别佩戴于腿部左右膝盖处，以便于摄像头进行腿部数据的识别。

2、提取腿部深度数据：

如图3所示，人物的各关节点位置用(x,y,z)坐标表示，以摄像头为原点，z坐标轴与摄像头的朝向一致，坐标系为右手螺旋系，坐标单位为米。

腿部佩戴标识套的人物在场景中走动时，摄像头中拍摄的每一帧图像中，人物标识套的位置会有不同的变化，通过计算机视觉的mark识别算法获取到每一帧标识套的坐标数据(xn,yn,zn)；其中xn、yn的数据信息直接从平面图像中定位到，而深度信息zn通过深度繁衍算法求得。

3、数据处理：

之后我们将当前帧的数据(第n帧)与上一帧(第n-1帧)的数据做差值即得到△x＝|xn-xn-1|、△y＝|yn-yn-1|、△z＝|zn-zn-1|，得到的差值进行精度判断，倘若大于标准值则视为有效移动，将其差值转换成行走参数△s。

4、数据传输：

将移动参数△s的数值传送给vr手柄，vr头显中的摄像机界面则沿着vr手柄所指方向前移△s，即可实现人物腿部运动的时刻vr操作中摄像机界面同步移动，以此模拟自然状态下的人物行走移动，克服瞬移带来的晕眩感。

四、交互的实现(如图5所示)。

操作环境初始化：

●安装摄像头：摄像头固定于屏显设备上方，并用一根传输线将摄像头连接至计算机，以便于计算机获取摄像头实时储存的每一帧图像，有利于计算机提取每一帧的图像数据。

●安装vr定位器：将定位器呈对角安放在屏显设备正前方，如图1所示，以便于校准vr手柄与vr头显。

●设备初始化：打开vr环境配置软件，将vr头显初始化，再将vr手柄初始化，并将vr手柄和vr头显配对。

●划定操作房间：打开vr环境配置软件，选择房间尺度，拿起一个vr手柄，对准电脑显示器，扣动扳机，设定正面与侧面的位置；接着将两个操控手柄水平放置于地上，在电脑上点选“校正地板”，设定地板位置；拿起vr手柄，沿着已经清空的区域，划定游戏区。

数据处理：

当佩戴标识套的人物在场景中走动时，计算机混合摄像头通过mark识别算法会获取到人物对应骨骼的运动数据，对数据进行差值计算、有效筛选、公式转换，得到操作者的行走参数△s，将其△s的数值传送给vr手柄，vr头显中的摄像机界面则沿着vr手柄所指方向移动△s，从而达到人物行走数据与头部场景界面的同步移动。

五、进行vr多人协作的事故演练

将摄像头与vr设备相结合，借由计算机视觉识别算法获取人物对应骨骼的坐标可以进行多人协作事故演练。多人协作场景中每一位角色所需要模拟的工作各有不同，每位操作者根据所需获取的数据不同进而佩戴不同颜色的标识套于对应位置，即可实现多人运动数据的提取。

1)配置

硬件配置：摄像头，屏显设备，多个标识套，以及vr设备(vr头显、vr手柄、定位器)，其中屏显终端会根据事故演练的类型进行分屏显示，会提供多个不同的视角以便于不同操作人员的协作配合。

2)原理

佩戴标识套：

以铁路复轨救援虚拟演练为例，两位人员分工如下：一名信号员、一名操作员。其中信号员将对应标识套佩戴于手臂关键骨骼，另一名操作员将不同颜色的对应标识套佩戴于腿部。

提取人物数据：

人物的各关节点位置用(x,y,z)坐标表示。

佩戴标识套的部位在场景中运动时，摄像头中拍摄的每一帧图像中，不同标识套的位置会有不同的变化，颜色区别可以有效判断不同操作人员，通过计算机视觉的mark识别算法获取到每一帧不同标识套的坐标数据(x,y,z)，其中x,y的数据信息可直接从平面图像中定位到，而深度信息z可通过深度繁衍算法求得。

数据处理、传输：

信号员数据：获取信号员手部关键骨骼每一帧的三维空间位置数据，将坐标值传输到虚拟场景人物身上对应骨骼位置。

操作员数据：获取操作员腿部关键骨骼每一帧的三维空间位置数据，经过差值计算、数据转换得到行走参数△s，将其△s的数值传送给vr手柄，vr头显中的摄像机界面则沿着vr手柄所指方向前移△s。

3)实现(如图6所示)。

操作环境初始化：

安装摄像头、安装vr定位器、设备初始化、划定操作房间，即可开始多人协作事故演练。

应用：

●铁路吊复救援场景模拟(两人协作)：

吊复救援场景中信号员有着至关重要的作用，需要指挥操作员控制起吊车完成前进后退、吊臂伸臂、旋转吊臂、旋转车身等一系列操作。

屏显终端将分为主副两个屏幕，表示两名人员的不同视角，其中操作员佩戴vr头显设备，所显示的界面与屏显终端的主屏幕一致；信号员手臂佩戴对应标识套面对屏幕，观察屏显终端副屏幕视角，根据视角内的场景情况作出不同的手势信号，通过计算机视觉mark识别算法将数据提取，再传输到虚拟场景人物中，操作员看到虚拟场景人物中的信号按照规章进行吊复救援操作。

●铁路顶复救援场景模拟(多人协作)：

顶复救援场景中信号员负责在脱轨车辆后方观察车辆的脱轨距离，指挥操作员控制油泵液压小车的横移与升顶操作。

屏显终端如上所示将分为主副两个屏幕，表示两名人员的不同视角。信号员根据视角内的场景情况作出不同的手势信号，操作者看到虚拟场景人物中的信号按照规章进行顶复救援操作。

●铁路火灾救援演练场景模拟(多人协作)：

火灾演练可分为逃生者与灭火者，灭火者腿部佩戴对应标识套，且配置vr设备，用于实现人物接近于自然漫游的虚拟移动。多名逃生者佩戴腰部标识套，用于定位人员在空间中的三维坐标。火灾发生时灭火者需完成按铃、关闸、拿取灭火器、灭火等一系列操作。而逃生者只需要判断安全合理的逃生通道，快速正确的逃离火灾现场即可，所获取的位置数据可跟踪他们的人物方位，用于考核逃生者是否成功演练。