基于虚拟现实的座舱实训方法、系统及存储介质与流程

本发明涉及虚拟现实技术领域，尤其涉及一种基于虚拟现实的座舱实训方法、系统及存储介质。

背景技术：

现有飞行员或驾驶员培训主要以“实体模拟座舱”的培训方式展开，该形式虽然模拟了飞机或车辆的实际操作，但却存在一些弊端，如：一个模拟座舱通常只能模拟一种机型，无法满足多机型的训练。由于不同机型的舱门开启方法、飞机起落架结构等设备不一样，若需模拟其他机型，则需重新配置其他实体模拟舱，导致实训成本倍增。同时，部分航空实训，如水上模拟撤离、飞机重大部件维修等，由于设备的不可逆问题，每次实训的成本都非常高。同时，对于火灾、攻击、紧急迫降等培训，在实训舱内无法实现。虽然已经出现了很多采用vr/ar替代实体训练的方式(如配套头显和惯性动作捕捉手套等将座舱的情形模拟成虚拟场景显示出来)，但各个虚拟现实技术任然存在沉浸感不够、成本高以及系统响应速度较慢等问题。

技术实现要素：

本发明的主要目的在于提供一种基于虚拟现实的座舱实训方法、系统及存储介质，旨在解决如何提升虚拟现实座舱训练的沉浸感的技术问题。

为实现上述目的，本发明提供一种基于虚拟现实的座舱实训方法，所述基于虚拟现实的座舱实训方法包括以下步骤：

通过动捕空间中多台动捕相机同时连续拍摄训练者佩戴反光标记点进行实训时的动作，获取同步的标记点二维图像数据，以及通过训练者佩戴的惯性动作捕捉手套，获取训练者手部的动作数据，其中，训练者使用实物进行模拟驾驶训练，所述实物包括座椅、操纵杆、油门和方向脚舵中的至少一种；

对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据，以及采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到三维捕捉空间内的点云坐标及方向；

根据所述点云坐标及方向，识别出绑定在训练者不同部位的刚体结构，并解算各刚体结构在捕捉空间内的位置及朝向，得到训练者实训时的刚体动作对应的空间位置定位数据；

根据训练者实训时的刚体动作对应的空间位置定位数据，确定训练者在座舱虚拟场景中的手部位置，以及根据惯性动作捕捉手套提供的动作数据，确定训练者在座舱虚拟场景中的手指位置与姿态；

根据预置的训练者动捕数据到座舱虚拟场景的映射关系，确定训练者手指位置与手指姿态在座舱虚拟场景中的对应虚拟按钮操作并进行相应响应。

可选地，所述惯性动作捕捉手套提供的动作数据包括：每根手指关节的实时角速度数据。

可选地，采用红外窄带滤光技术过滤拍摄到的图像数据中的冗余背景信息以及采用现场可编程逻辑门阵列fpga对被捕捉标记点图像信息进行预处理。

可选地，采用cpu、gpu以及apu的异构处理模式计算各类数据，其中，所述数据至少包括：所述标记点二维图像数据、所述动作数据、所述标记点的二维坐标数据、所述三维捕捉空间内的点云坐标及方向、所述空间位置定位数据。

进一步地，为实现上述目的，本发明还提供一种基于虚拟现实的座舱实训系统，所述基于虚拟现实的座舱实训系统包括：动作捕捉服务器端与内容呈现端；

所述动作捕捉服务器端至少包括以下组件：

动捕相机，用于采集训练者实训时的图像数据，并采用红外窄带滤光技术过滤拍摄到的图像数据中的冗余背景信息；

动捕数据处理服务器，包含一台电子计算机、对应的输入输出设备以及在计算机上运行的动捕数据分析处理软件，输入输出设备中包含但不限于显示器、键盘和鼠标，动捕数据分析处理软件用于对动捕相机传输的动捕数据进行运算处理，所述显示器用于显示动捕软件运行情况；

数据交换机，用于实现所述服务器端组件与客户端组件之间、所述客户端相关组件之间、所述服务器端相关组件之间的数据交换；

标定杆，用于标定动捕相机，以获得动捕空间中各动捕相机之间的相对位置关系；

所述内容呈现端至少包括以下组件：

虚拟环境渲染与同步服务器，包含一台电子计算机及对应的输入输出设备，用于渲染虚拟现实座舱虚拟场景并向多台虚拟现实头显客户端同步虚拟环境中的数据，以便于同时进行多人训练，输入输出设备中包含但不限于显示器、键盘和鼠标，所述显示器用于显示训练者训练情况的上帝视角画面；虚拟现实头显主机，包含一台电子计算机及对应的输入输出设备，用于渲染座舱虚拟场景中的操控按键和舱外情景并通过传输给虚拟现实头显进行显示；所述座舱实训系统中可加入多台虚拟现实头显主机以用于同时进行多人训练；

虚拟现实头显，与虚拟现实头显主机连接，用于将虚拟现实头显主机渲染出的座舱虚拟场景显示给训练者；

惯性动作捕捉手套，用于采集训练者手部的动作数据；

模拟训练实物，包括座椅、操纵杆、油门和方向脚舵中的至少一种，用于模拟驾驶座舱。

可选地，所述动捕空间可为大空间或小空间，由多个动捕相机环绕所述内容呈现端形成。

可选地，所述虚拟现实头显上和所述惯性动作捕捉手套上绑定有刚体结构，所述刚体结构上配置有多个反光标记点。

可选地，所述动捕相机具体用于：

连续拍摄训练者佩戴反光标记点进行实训时的动作，并生成与其他动捕相机保持同步的标记点二维图像数据，以及对标记点二维图像数据进行预处理，得到标记点的二维坐标数据并通过所述数据交换机发送至所述动捕数据处理服务器。

可选地，所述动捕数据处理服务器具体用于：

接收所述动捕相机发送的标记点的二维坐标数据，并采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到三维捕捉空间内的点云坐标及方向；

根据所述点云坐标及方向，识别出绑定在训练者不同部位的刚体结构，并解算各刚体结构在捕捉空间内的位置及朝向，得到训练者实训时的刚体对应的空间位置定位数据并发送至所述虚拟环境渲染服务器；

所述虚拟环境渲染服务器具体用于：

接收所述动捕数据处理服务器发送的训练者实训时的刚体动作对应的空间位置定位数据以及所述惯性动作捕捉手套发送的训练者手部的动作数据；

根据训练者实训时的刚体动作对应的空间位置定位数据，确定训练者在座舱虚拟场景中的手部位置，以及根据惯性动作捕捉手套提供的动作数据，确定训练者在座舱虚拟场景中的手指位置与姿态；

根据预置的训练者动捕数据到座舱虚拟场景的映射关系，确定训练者手指位置与手指姿态在座舱虚拟场景中的对应虚拟按钮操作并进行相应响应。

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于虚拟现实的座舱实训程序，所述基于虚拟现实的座舱实训程序被处理器执行时实现如上述任一项所述的基于虚拟现实的座舱实训方法的步骤。

本发明利用多台动捕相机搭建动捕空间进行座舱实训，既适用于在大空间采用，也可以在小空间内采用，训练空间灵活，从小规模单人训练可以自由扩展到大规模多人训练。本发明采用的动捕相机利用先进的高分辨率图像传感器，结合大功率红外频闪光源的使用，使得捕捉范围被大大扩展。同时利用红外窄带通滤光技术过滤冗余的背景信息，并且采用fpga对被捕捉标记点图像信息进行预处理，使相机能快速、精确地输出干净的被捕捉标记点二维坐标信息，减少了服务器上团建的处理计算时间，大大降低了系统延时，同时也大幅提升了动作捕捉精度高。此外，本发明采用cpu+gpu的异构处理模式进一步提高系统处理数据的能力。本发明虚拟场景逼真，操作感真实，提高了虚拟现实座舱训练的沉浸感与效果。

附图说明

图1为本发明基于虚拟现实的座舱实训方法一实施例的流程示意图；

图2为本发明基于虚拟现实的座舱实训系统一实施例的训练场景示意图；

图3为本发明基于虚拟现实的座舱实训系统一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于虚拟现实的座舱实训方法。

参照图1，图1为本发明基于虚拟现实的座舱实训方法一实施例的流程示意图。本实施例中，所述基于虚拟现实的座舱实训方法包括以下步骤：

步骤s10，通过动捕空间中多台动捕相机同时连续拍摄训练者佩戴反光标记点进行实训时的动作，获取同步的标记点二维图像数据，以及通过训练者佩戴的惯性动作捕捉手套，获取训练者手部的动作数据；

本实施例中，训练人员具体在预先搭建好的动捕空间内进行实训，参见图2，动捕空间内安装有多台动捕相机10，各动捕相机10环绕训练者20训练位置，并同时连续拍摄训练者20佩戴反光标记点进行实训时的各种动作。

本实施例中，动捕相机能够主动捕捉训练者的各种动作，从而生成针对训练者身上佩戴反光标记点的二维图像数据。本实施例中对应采集的训练者动作不限，比如可以是训练者的头部、手部的动作，也可以是头部、身躯、手部的动作。

此外，本实施例中，为更准确获得实训人员训练时手部动作的相关数据，因此通过训练者佩戴惯性动作捕捉手套，获取训练者手部的动作数据。

可选的，训练者手部的动作数据包括：速度数据、加速度数据和角速度数据，通过获得的上述三类数据可衡量训练者训练时的手部姿态。

步骤s20，对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据，以及采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到三维捕捉空间内的点云坐标及方向；

本实施例中，在获得动捕相机拍摄训练者动作所生成的标记点二维图像数据之后，进一步对标记点二维图像数据进行预处理，比如先识别出每个动捕相机同时刻采集到的图像中关键点(也即反光标记点)，然后计算出各反光标记点在同一图像中的坐标，即可得到所有反光标记点的二维坐标数据。

本实施例中，为识别训练者的动作，还需进一步将二维坐标数据换算成三维坐标数据，因此，本实施例先对多个动捕相机同时刻所采集到的图像关键点进行匹配从而确定各反光标记点，然后采用计算机多目视觉技术对标记点的二维坐标数据进行计算，具体根据图像中二维点云间的匹配关系及动捕相机的相对位置和朝向，计算点云在三维捕捉空间内的坐标及方向，也即得到各反光标记点在三维捕捉空间内对应的点云坐标及方向。

步骤s30，根据所述点云坐标及方向，识别出绑定在训练者不同部位的刚体结构，并解算各刚体结构在捕捉空间内的位置及朝向，得到训练者实训时的刚体动作对应的空间位置定位数据；

本实施例中，标记点的二维坐标数据中包含有刚体名称或标识号、刚体数据(也即坐标数据)，因此，根据计算出的各反光标记点在三维捕捉空间内对应的点云坐标及方向，可以识别绑定在训练者不同部位的刚体结构并解算各刚体结构在捕捉空间内的位置及朝向，进而确定出训练者在动捕空间实训的运动轨迹，从而实现对动捕空间中训练者动作位置的定位，得到训练者实训时的刚体动作对应的空间位置定位数据。

步骤s40，根据训练者实训时的刚体动作对应的空间位置定位数据，确定训练者在座舱虚拟场景中的手部位置，以及根据惯性动作捕捉手套提供的动作数据，确定训练者在座舱虚拟场景中的手指位置与姿态；

本实施例中，在得到训练者实训时的刚体动作(包含手指操作)对应的空间位置定位数据之后，可进一步计算出训练者在座舱虚拟场景中的手指位置。其中，训练者手部或手套外配置有带反光标记点的刚体结构，从而可通过计算出训练者实训时的刚体动作对应的空间位置定位数据，即可定位训练者的手指位置。

此外，本实施例中，进一步根据手套采集到的训练者手部的动作数据(包括每根手指关节的实时角速度数据)，从而可获得训练者在座舱虚拟场景中的手指姿态信息。本实施例采用惯性与光学跟踪结合方法，可进一步提高手指定位的精度。

步骤s50，根据预置的训练者动捕数据到座舱虚拟场景的映射关系，确定训练者手指位置与手指姿态在座舱虚拟场景中的对应虚拟按钮操作并进行相应响应。

本实施例中，虚拟现实技术可以将训练者的手部动作映射到座舱虚拟场景中，训练者可以通过虚拟头显看到座舱虚拟场景以及座舱虚拟场景中虚拟训练者手部的动作，训练者通过调整座舱虚拟场景中虚拟训练者手部的动作，进而实现模拟训练。

本实施例中预先设置好训练者动捕数据(包含训练者的各种动作)到座舱虚拟场景的映射关系，当计算出训练者手指位置与手指姿态，即可通过上述映射关系，确定训练者的训练动作在座舱虚拟场景中的对应虚拟按钮操作，并根据该虚拟按钮操作进行相应响应，比如执行加速、减速、转弯等各种实训动作。

如图2所示，本实施例中为让训练者具有更好的训练沉浸感与效果，因此采用实物模拟驾驶座舱，包括座椅30、操纵杆40和油门50，这些均为实物，通过采用这些实物可使训练者更具有操作体验感，从而让训练者更具有身临其境的感觉。

此外，本提升动作捕捉精度，本实施例优选采用红外窄带通滤光技术过滤拍摄到的图像数据中的冗余背景信息以及采用现场可编程逻辑门阵列fpga对被捕捉标记点图像信息进行预处理。

本发明利用多台动捕相机搭建动捕空间进行座舱实训，既适用于在大空间采用，也可以在小空间内采用，训练空间灵活，从小规模单人训练可以自由扩展到大规模多人训练。本发明采用的动捕相机利用先进的高分辨率图像传感器，结合大功率红外频闪光源的使用，使得捕捉范围被大大扩展。同时利用红外窄带通滤光技术过滤冗余的背景信息，并且采用fpga对被捕捉标记点图像信息进行预处理，使动捕相机能快速、精确地输出干净的被捕捉标记点二维坐标信息，减少了服务器上团建的处理计算时间，大大降低了系统延时，同时也大幅提升了动作捕捉精度高。此外，本发明采用cpu+gpu+apu的异构处理模式进一步提高系统处理数据的能力。本发明虚拟场景逼真，操作感真实，提高了虚拟现实座舱训练的沉浸感与效果。

本发明提供一种基于虚拟现实的座舱实训系统。

参照图3，图3为本发明基于虚拟现实的座舱实训系统一实施例的功能模块示意图。本实施例中，基于虚拟现实的座舱实训系统包括：

(1)动作捕捉服务器端，至少包括以下组件：

动捕相机101，用于采集训练者实训时的图像数据，并采用红外窄带滤光技术过滤拍摄到的图像数据中的冗余背景信息；可选的，在一具体实施例中，动作捕捉服务器端还包括：三维云台，采用大力夹与斜口顶粒，用于固定动捕相机于特定安装位置；

动捕数据处理服务器102，包含一台电子计算机及对应的输入输出设备，该输入输出设备中包含但不限于显示器、键盘和鼠标，动捕数据处理服务器102还包含在计算机上运行的动捕数据分析处理软件，其用于对动捕相机传输的动捕数据进行运算处理，所述显示器用于显示动捕软件运行情况；

本实施例中所述的动捕数据处理服务器包括计算机和动捕数据分析处理软件，输入输出设备指所有可以实现计算机控制的设备，可以是云台(云服务器)或者其他远程操控设备，也可以是显示器、键盘和鼠标等设备。

数据交换机103，用于实现所述服务器端组件与客户端组件之间、所述客户端相关组件之间、所述服务器端相关组件之间的数据交换；

标定杆104，用于标定动捕相机，以获得动捕空间中各动捕相机之间的相对位置关系；

本实施例中，可以通过被动式光学跟踪方法进行定位，即动捕相机101获取训练者身体各部位所绑定的反光标记点所反射的红外光图像数据，然后将该数据传输给动捕数据处理服务器102进行运算处理，也可以通过主动式光学跟踪方法进行定位，即动捕相机101通过拍摄主动光刚体(标记点)发出的led红外光图像数据实现定位，不再依靠反光就能够持续稳定地输出高精度的定位数据，实现更远的捕捉距离。此外，稳定可靠的主动光刚体可直接固定在头显、vr道具等物体表面。

(2)内容呈现端，至少包括以下组件：

虚拟环境渲染与同步服务器201，包含一台电子计算机及对应的输入输出设备，输入输出设备中包含但不限于显示器、键盘和鼠标，所述显示器用于显示训练者训练情况的上帝视角画面，该虚拟环境渲染与同步服务器201用于渲染虚拟现实座舱虚拟场景并向多台虚拟现实头显同步虚拟环境中的数据，以便于同时进行多人训练；

本实施例中，座舱实训过程中，通过同步可让其他带着头显的人互相看到对方的操作状态，也就是由单机状态变成多人互动状态，比如多个训练者，通过同步可看到对方所在的虚拟场景位置、对方是否在准备攻击等，处以同一虚拟场景的其他人可以根据这些信息避开相撞、攻击等情况，有助于攻击、紧急迫降等培训。

虚拟现实头显主机202，包含一台电子计算机及对应的输入输出设备，用于渲染座舱虚拟场景中的操控按键和舱外情景并通过传输给虚拟现实头显进行显示，输入输出设备中同样包含但不限于显示器、键盘和鼠标，所述座舱实训系统中可加入多台虚拟现实头显主机以用于同时进行多人训练；

本实施例中，虚拟现实头显主机也包含计算机及对应的输入输出设备，包括显示器，可用于显示训练者看到的虚拟画面，也可以将头显主机设置在虚拟现实头盔设备内，头盔设备包括虚拟现实头显主机和虚拟现实头显。

虚拟现实头显203，与虚拟现实头显主机202连接，用于将虚拟现实头显主机202渲染出的座舱虚拟场景显示给训练者；

惯性动作捕捉手套204，用于采集训练者手部的动作数据；

模拟训练实物205，包括座椅、操纵杆、油门和方向脚舵中的至少一种，用于模拟驾驶座舱。

本实施例中，训练者的手部戴有惯性动作捕捉手套204且惯性动作捕捉手套204上绑定有刚体结构、训练者头部戴有虚拟现实头显203且虚拟现实头显203上绑定有刚体结构，刚体结构上配置有多个反光球作为反光标记点。

本实施例的座舱实训系统以光学空间定位动作捕捉系统为核心，辅以定制化的沉浸场景式体验内容，实现大范围空间内单人或多人相同或不同场景的虚拟现实应用，虚拟场景逼真，模拟训练实物205按照1：1比例模拟真品，如座椅、操纵杆、油门和方向脚舵等与真品1比1相似，操作及体感真实，沉浸感足且实现效果较好。

本实施例中，动捕空间由多个动捕相机10环绕模拟训练实物形成。如图2所示，训练者20坐在训练用的座椅30上，通过手动操作操纵杆40、油门50等实物进行驾驶模拟训练。而训练过程中，多个动捕相机10同时连续拍摄训练者20的训练动作，并将训练者20的训练动作同步映射至座舱虚拟场景中，进而实现虚拟与现实的结合与交互。本发明所需使用的训练空间大小灵活，即可室内搭建训练空间，也可室外搭建训练空间，可从小空间自由扩展到大空间，此外还可搭建室外大空间训练场景，进而可满足多人同时在线训练。

本实施例的座舱实训系统具体以光学空间定位动作捕捉系统为核心，通过安装在空间上方的多个高帧率工业相机捕捉目标物的光学标记点的二维位置信息并输出到算法软件，进而解算出目标在空间内的三维位置信息和动作姿态，是连接虚拟和现实的桥梁，同时也是人机交互的入口。

此外，本实施例能根据多个光学动捕摄像机高速拍摄得到的同步二维数据，实时计算并输出目标的三维空间位置数据。通过识别绑定在运动物体不同部位的光学标记点结构，解算出每个目标物在空间内的位置朝向，进而确定出目标物在空间内的运动轨迹并实时同步导入至3d软件或vr实时引擎，从而实现虚拟与现实的结合与交互。

进一步地，在一具体实施例中，动捕相机101具体用于：

连续拍摄训练者佩戴反光标记点进行实训时的动作，并生成与其他动捕相机保持同步的标记点二维图像数据，以及对标记点二维图像数据进行预处理，得到标记点的二维坐标数据并通过数据交换机103发送至服务端的动捕数据处理服务器102；

进一步地，在一具体实施例中，动捕数据处理服务器102具体用于：

接收动捕相机101发送的标记点的二维坐标数据，并采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到三维捕捉空间内的点云坐标及方向；

根据点云坐标及方向，识别出绑定在训练者不同部位的刚体结构，并解算各刚体结构在捕捉空间内的位置及朝向，得到训练者实训时的刚体动作对应的空间位置定位数据并发送至虚拟环境渲染与同步服务器201；

进一步地，在一具体实施例中，虚拟环境渲染与同步服务器201具体用于：

接收动捕数据处理服务器102发送的训练者实训时的刚体动作对应的空间位置定位数据以及惯性动作捕捉手套204发送的训练者手部的动作数据；

根据训练者实训时的刚体动作对应的空间位置定位数据，确定训练者在座舱虚拟场景中的手指位置，以及根据训练者手部的动作数据，确定训练者在座舱虚拟场景中的手指姿态；

根据预置的训练者动捕数据到座舱虚拟场景的映射关系，确定训练者手指位置与手指姿态在座舱虚拟场景中的对应虚拟按钮操作并进行相应响应。

基于与本发明基于虚拟现实的座舱实训方法基本相同的实施例说明，因此本实施例对于基于虚拟现实的座舱实训系统的说明不做过多赘述。

本发明利用多台动捕相机搭建动捕空间进行座舱实训，既适用于在大空间采用，也可以在小空间内采用，训练空间灵活，从小规模单人训练可以自由扩展到大规模多人训练。本发明采用的动捕相机利用先进的高分辨率图像传感器，结合大功率红外频闪光源的使用，使得捕捉范围被大大扩展。同时利用红外窄带通滤光技术过滤冗余的背景信息，并且采用fpga对被捕捉标记点图像信息进行预处理，使动捕相机能快速、精确地输出干净的被捕捉标记点二维坐标信息，减少了服务器上团建的处理计算时间，大大降低了系统延时，同时也大幅提升了动作捕捉精度高。此外，本发明采用cpu+gpu+apu的异构处理模式进一步提高系统处理数据的能力。本发明虚拟场景逼真，操作感真实，提高了虚拟现实座舱训练的沉浸感与效果。

本发明还提供一种非易失性的计算机可读存储介质。

本实施例的计算机可读存储介质上存储有基于虚拟现实的座舱实训程序，该基于虚拟现实的座舱实训程序被处理器执行时实现如上述任一项所述的基于虚拟现实的座舱实训方法的步骤。基于与本发明基于虚拟现实的座舱实训方法基本相同的实施例说明，因此本实施例对于基于虚拟现实的座舱实训程序所实现的内容不做过多赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram)中，包括若干指令用以使得一台终端(可以是计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。