画面，同时能够将受训者的视觉完全隔绝，以免受到不相关的环境干扰；立体声耳机为受训者提供双声道乃至多声道的培训环境声音，受训者可以分辨出虚拟环境中声音的具体位置与受训者的位置关系，并且声音的位置会随着受训者的在虚拟环境中的移动而改变。
[0024]自然交互式输入设备包括一台全向跑步机和多种动作捕捉设备，其中全向跑步机负责将受训者在现实中的走、跑等动作及转向、侧移等朝向变化等信息输入培训系统软件；各种动作捕捉设备，例如陀螺仪、加速度传感器、红外线相机、RGB相机等等，他们的作用是捕捉受训者身体某些部位的运动情况，例如对头部位置和朝向的捕捉可以确定头戴式显示器中显示的画面会随着受训者头部的运动而改变，对手部位置和动作的捕捉可以映射到虚拟培训场景中的虚拟形象身上，进一步对虚拟场景中的设备、物品进行操作或控制。
[0025]培训系统软件是本系统重要的组成部分，主要负责的内容包括:生成虚拟培训场景，处理输入设备输入的数据，进而对虚拟场景进行更新，最后控制输出设备将虚拟场景通过视觉、听觉等传递给受训者。培训软件需要实现的功能包括:针对某种特定的生产、安全现场操作流程进行培训；根据受训者操作的正确与否，对虚拟场景及虚拟物品进行对应的改变，以符合真实情况；对错误操作引起的危险及灾害场景进行模拟，并对受训者对灾害场景初期的应急处理进行培训；在培训结束后对受训者在整个培训过程的表现进行评价等。培训主要由三维建模软件和通用游戏引擎配合编汇语言开发，例如3ds Max, MAYA,Blender等三维建模软件，Unity、Unreal等通用游戏引擎，以及C++、C#等高级编汇语言。
[0026]计算机硬件为整个培训系统提供计算能力、储存能力，并提供培训系统联网所需的网络硬件；同时还会包括传统的输入设备，例如鼠标、键盘、操纵杆、定制式操作平台等。
[0027]为了更加清晰地描述该系统的实施方式，结合示意图进行描述。
[0028]首先介绍沉浸式矿山虚拟现实培训系统的组成，如图1所示。图中11为矿用虚拟现实培训系统的受训者；12为头戴式显示器，是系统的视觉输出设备，一般由外壳、显示屏、凸透镜、头部固定装置等构成，佩戴时能够将外部真实世界完全隔绝，使受训者获得强烈的沉浸感；13为立体声耳机，是系统的听觉输出设备，受训者11能够通过13听到虚拟环境中虚拟人物周围环境的声音，并辨别声音与虚拟人物之间的位置关系，同时还会根据受训者11的移动、转向等动作实时改变声音的大小和方向；14为全向跑步机，是系统的一个输入设备，受训者11站在全向跑步机14上，可以自由地做走、跑、跳等动作，并在跑步机上自由转动方向，全向跑步机14在记录受训者动作的同时，能够将受训者11移动至原来位置，因此受训者11可以在全向跑步机14上有限的空间内，实现在虚拟环境中的任意行走；15为动作捕捉设备，也是系统的一类输入设备，能够通过感光元件、红外线、陀螺仪、加速度传感器等各种传感器，对可见光、红外线、角动量、加速度等各种量进行实时监测，进而对受训者11的手、头、眼球等身体部位的移动、转动等动作进行捕捉，进一步将捕捉到的信息传入培训系统的软件进行处理；16为计算机硬件与培训系统软件，硬件包括提供运算、储存能力的中央处理器、内存、主板、显卡、硬盘等配件，还包括显示器、键盘、鼠标等传统输入、输出设备，同时还有提供有线或无线网络功能的网卡设备；软件的工作主要包括生成虚拟培训场景，处理输入设备14、15输入的数据，进而对虚拟场景进行更新，最后控制输出设备12,13将虚拟场景通过视觉、听觉等传递给受训者11。
【主权项】
1.一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于:本系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成。2.如权利要求1所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于:头戴式显示器是该系统的视觉输出设备，由外壳、显示屏、凸透镜等部分构成，外壳能够将受训者的眼睛完全遮挡，显示屏显示虚拟培训场景，凸透镜位于显示屏和受训者眼睛之间，这三者配合的结果是受训者能够将真实世界完全视觉隔离，仅看到显示屏中的虚拟场景，并获得沉浸式视觉体验。3.如权利要求1所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于:全向跑步机是的一个输入设备，其与地面是固定的，受训者在上面可以朝任意方向移动，全向跑步机能够将受训者的移动方向、速度等信息输入培训系统，同时将受训者移到原位置。4.如权利要求1所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于:动作捕捉设备也属于输入设备，能够捕捉受训者身体某些部位的动作，包括但不限于手、四肢、驱赶、头部、眼睛等，实现方式包括但不限于超声波、红外线摄像头、RGB摄像头、陀螺仪、加速度传感器、磁力计、光学捕捉等方式。5.如权利要求1、2、3、4所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于:可以用在本系统的其他输入设备包括但不限于键盘、鼠标、按钮、操纵杆等机械式输入设备，麦克风等声音输入设备；其他输出设备包括但不限于扬声器、耳机等听觉输出设备，震动马达等触觉输出设备等。6.如权利要求1所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于:虚拟现实培训软件主要功能包括:①生成矿井培训的相关虚拟场景；②结合受训者操作信息，对虚拟场景进行实时更新；③将整个培训过程所有信息进行存储，并对过程中的单个或多个变量进行分析，或对训练效果进行分析与评估；④结合无线适配器与无线网络，将两台或多台混合现实设备连接起来，以实现多个受训者在用一个混合现实场景中协同培训。7.如权利要求1、6所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于:虚拟现实培训软件的三维模型与培训场景，是通过三维建模软件开发的，包括但不限于3dsMax、Blender等，软件各种功能的实现是基于Unity3D引擎结合C#语言开发的。8.如权利要求1、2、3、4、5所述的基于沉浸式输入、输出设备的矿用虚拟现实培训系统，其特征在于:头戴式显示器、全向跑步机、动作捕捉设备和其他输入输出设备都需要与计算机通过有线或无线的方式相连，组成一整套供单人使用的系统，两套或多套该系统还可以通过有线或无线网络相连，组成多人培训系统。
【专利摘要】本发明公开了一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，受训者可以完全沉浸在虚拟场景中，并通过手势、走、跑等自然的方式与虚拟培训场景进行人机交互，进而完成预设培训项目。该系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成，其中：头戴式显示器可以提供完全的视觉沉浸体验，全向跑步机、动作捕捉设备可以将受训者在现实中的动作映射在虚拟场景中的虚拟对象上，通过自然的交互方式对系统进行操作。相比传统培训方法，本发明提出的培训系统能够使受训者在任何地方沉浸在接近真实的虚拟矿井环境中，获得与现场相同的培训体验，并最终取得媲美现场培训的效果。
【IPC分类】G09B9/00
【公开号】CN105374251
【申请号】CN201510770399
【发明人】张辉, 聂百胜, 何学秋
【申请人】中国矿业大学(北京)
【公开日】2016年3月2日
【申请日】2015年11月12日