一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统的制作方法
【技术领域】
[0001]本发明涉及虚拟现实技术，特别涉及将沉浸式输入和输出设备利用到矿山生产与安全等培训，属于虚拟现实设备的技术开发与应用领域。
【背景技术】
[0002]矿山行业是一个高危行业，因此矿山从业人员在入职前的培训是必不可少的，对此国家还出台了相关法律法规进行严格规定，例如《中华人民共和国安全生产法》、《安全生产培训管理办法》、《特种作业人员安全技术培训考核管理规定》中关于矿山的部分，以及《煤矿安全培训规定》等。目前矿山培训的主要方法是具有资质的人员课堂讲授，培训后需通过考核，另外在矿井也必须有例行培训。但是课堂传授的效果并不理想，而现场培训效果虽好，但是存在成本高、严重影响生产等问题，因此执行情况也不理想。在这种情况下，寻找一种培训效果好、同时对矿井生产没有太大影响的方法就变得十分有必要。
[0003]虚拟现实技术是通过计算机图形技术构建(基于真实世界的)虚拟场景，利用输入设备实现用户与虚拟场景交互，再利用输出设备让用户通过视觉、听觉、触觉，甚至味觉和嗅觉等感官，获得接近甚至超越真实世界体验的技术，该技术包括三个特征:沉浸、想象、交互。一套完整的虚拟现实系统包含5个组成部分:虚拟现实引擎、输入/输出设备、软件&数据库、用户和任务，其中输入/输出设备是决定虚拟现实培训系统沉浸感和交互体验最关键的部分。由于虚拟现实技术能够让人体验接近真实的虚拟世界，因此有着广泛的用途，其中最主要的应用类型就是涉及各种危险场景的训练或培训，因为使用者不需要暴露在危险的真实场景中，大大降低了受到伤害的可能性，例如军事领域、医疗领域、飞机或各种飞行器驾驶训练、危险设备远程遥控操作等等。
[0004]矿山行业是典型的高危险性行业，需要大量的培训来保证从业人员的安全。在这些培训中，诸如灾害逃生、应急救援等培训，难以在现实环境中进行，这时就可以利用虚拟现实技术来实现这些培训。目前已有的绝大多数的矿山虚拟现实培训系统，在决定虚拟现实系统沉浸感与交互体验的输入/输出设备方面，仍十分落后:输入设备主要是鼠标、键盘，视觉输出设备主要是桌面式显示器，能够获得的沉浸感非常有限，人机交互过程很不自然，因此这些现有的矿用虚拟现实培训系统的实用性很低。也有少数国外的矿山培训系统采用了具有一定沉浸感的显示设备，例如球幕投影、环幕投影等，且输入设备除了键盘鼠标之外，有些系统还应用了操纵杆、触摸屏、定制操作台等，这都是为了增加系统使用过程中的沉浸感，并实现更加自然的交互方式，但是由于投影仪等设备仅能够在一定区域内使用，因此这些系统仅适合于设备操作培训等应用，很难进行需要人员走动的培训类型。
【发明内容】
[0005]为了解决上述已有系统的问题，提高矿山虚拟现实培训系统的实用性，本发明公开了一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，受训者可以完全沉浸在虚拟场景中，并通过手势、走、跑等自然的方式与虚拟培训场景进行人机交互，进而完成预设培训项目。相比传统培训方法，本发明提出的培训系统能够使受训者在任何地方沉浸在接近真实的虚拟矿井环境中，获得与现场相同的培训体验，并最终取得媲美现场培训的效果。
[0006]该系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成，其中:头戴式显示器可以提供完全的视觉沉浸体验，全向跑步机、动作捕捉设备可以将受训者在现实中的动作映射在虚拟场景中的虚拟对象上，通过自然的交互方式对系统进行操作。
[0007]本发明是一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，本系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成。其中:
[0008]头戴式显示器是该系统的视觉输出设备，由外壳、显示屏、凸透镜等部分构成，夕卜壳能够将受训者的眼睛完全遮挡，显示屏显示虚拟培训场景，凸透镜位于显示屏和受训者眼睛之间，这三者配合的结果是受训者能够将真实世界完全视觉隔离，仅看到显示屏中的虚拟场景，并获得沉浸式视觉体验。
[0009]全向跑步机是的一个输入设备，其与地面是固定的，受训者在上面可以朝任意方向移动，全向跑步机能够将受训者的移动方向、速度等信息输入培训系统，同时将受训者移到原位置。
[0010]动作捕捉设备也属于输入设备，能够捕捉受训者身体某些部位的动作，包括但不限于手、四肢、驱赶、头部、眼睛等，实现方式包括但不限于超声波、红外线摄像头、RGB摄像头、陀螺仪、加速度传感器、磁力计、光学捕捉等方式。
[0011]可以用在本系统的其他输入设备包括但不限于键盘、鼠标、按钮、操纵杆等机械式输入设备，麦克风等声音输入设备；其他输出设备包括但不限于扬声器、耳机等听觉输出设备，震动马达等触觉输出设备等。
[0012]虚拟现实培训软件主要功能包括:①生成矿井培训的相关虚拟场景；②结合受训者操作信息，对虚拟场景进行实时更新；③将整个培训过程所有信息进行存储，并对过程中的单个或多个变量进行分析，或对训练效果进行分析与评估；④结合无线适配器与无线网络，将两台或多台混合现实设备连接起来，以实现多个受训者在用一个混合现实场景中协同培训。
[0013]虚拟现实培训软件的三维模型与培训场景，是通过三维建模软件开发的，包括但不限于3ds Max、Blender等，软件各种功能的实现是基于Unity3D引擎结合C#语言开发的。
[0014]头戴式显示器、全向跑步机、动作捕捉设备和其他输入输出设备都需要与计算机相连，组成一整套供单人使用的系统，两套或多套该系统还可以通过有线或无线网络相连，组成多人培训系统。
[0015]本发明的优点为:
[0016]①头戴式显示器的使用，能够提高矿用虚拟现实培训系统的沉浸感；
[0017]②动作捕捉设备的使用，能够让受训者通过手势、肢体动作、眼神等自然的方式与虚拟现实培训系统进行人机交互，大大提高了交互体验；
[0018]③全向跑步机的使用，培训系统能够让培训者在很小的空间内通过真实走、跑等动作实现在虚拟现实世界中的无限漫游，能够进行需要在矿井大范围走动的培训项目；
[0019]④通过有线或无线网络，多套单人培训系统可以组成一个多人培训系统，以实现需要多人共同完成的培训项目。
【附图说明】
[0020]图1是该虚拟现实培训系统的组成示意图
【具体实施方式】
[0021]本发明基于沉浸式的输入和输出设备，主要是头戴式显示器、全向跑步机和动作捕捉设备，并结合其他传统输入、输出设备，配合专用的矿用培训软件，提供了一种沉浸式的虚拟现实矿山安全培训系统。由于沉浸式输入、输出设备的使用，本发明克服了以往培训方法与培训系统的缺点，能够让受训者拥有媲美现场培训的体验，从而获得接近现场培训的效果，同时克服了现场培训成本高等缺点，是矿山行业培训的理想方法。
[0022]该培训系统由四部分组成，分别是:沉浸式输出设备、自然交互式输入设备、培训系统软件、和计算机硬件。
[0023]沉浸式输出设备的主要组成部分是一个头戴式显示器和立体声耳机，其中头戴式显示器负责视觉输出，立体声耳机负责听觉输出。头戴式显示器能够为受训者的双眼分别提供图像，以产生真正的立体