一种模拟训练的方法及设备与流程

本发明属于机械模拟训练领域，特别涉及一种模拟训练的方法及设备。

背景技术：

随着经济的发展和社会的进步，各种用途的车辆、工程设备、船舶甚至是飞行器都得到广泛的应用，获得各种交通工具、工程设备的操作权限依旧是一个繁琐、复杂、耗时的过程。

以工程设备中的起重机为例，其作为在一定范围内能够垂直提升和水平搬运重物的多动作起重机械，在运输行业得到了广泛的应用，相应的，社会对起重机驾驶员这一岗位的需求量也在逐年攀升。

目前，由于起重机价格高昂，动辄数百万、甚至千万元的起重机价格，制约了培训起重机驾驶技术机构的起重机购买力。从而导致可供学员进行训练的机器数量少，学员上机学习时间不足，学员进步缓慢，学习周期长，造成时间资源的浪费，加大了培训的成本。

另外，作为大型起重设备，起重机占地面积大，巨大的底盘及擎天吊臂在操作过程中会受到培训环境及施工场地的制约。在学员使用起重机进行操作学习时因受到场地的限制，无法更全面、自由的进行学习和实践。再加之学员进行实践操作训练学习时，天气、环境条件不可控，单一的环境条件下进行操作训练不能够更好的丰富学员的实践操作经验。

相类似的，作为车辆、船舶、飞行器来说，学员需要到对应的单位进行专业培训，最终考取执证资格，由于场地、天气、环境条件的限制，训练进度缓慢，不能够对各种操作环境进行有针对性的训练学习，从而导致学员的经验不足，并且，在训练过程中，存在一定的安全危险。

技术实现要素：

为了解决现有技术存在的缺陷，本发明实施例提供一种模拟训练的方法，包括：

根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据；

获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，模拟驾驶座椅的颠簸或者倾斜；

根据作业视图数据和任务虚拟视图数据生成模拟训练视频，显示模拟训练视频。

所述根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，包括：

从任务环境信息中获取天气环境条件、光照条件，以及地理环境条件，根据任务信息、天气环境条件、光照条件，以及地理环境条件采用三维物理引擎建立模型和制作视觉特效，渲染对应的任务虚拟视图数据。

所述根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，包括：

获取与正在进行模拟训练的学员的视线同步的摄像头采集到的图像，根据所述图像、任务信息、任务环境信息，采用三维物理引擎建立模型，制作视觉特效，并进行渲染，得到任务虚拟视图数据。

所述获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，模拟驾驶座椅的颠簸或者倾斜，包括：

获取仪表盘传感器、操纵杆传感器、踏板传感器，控制面板传感器采集到的数据，将其作为学员的操作信息，根据操作信息利用三维物理引擎渲染生成对应的作业视图数据，根据操作信息模拟驾驶座椅的颠簸或者倾斜。

所述根据作业视图数据和任务虚拟视图数据生成模拟训练视频，包括：

将作业视图数据和与其对应的任务虚拟视图数据进行图像处理，使两组视图数据中的图像进行融合，合成为一组视图数据，将其作为模拟训练视图数据，然后，将模拟训练视图数据生成模拟训练视频。

所述方法还包括：

获取学员的待评测数据；

从操作信息中获取待评测特征点；

根据任务信息和任务环境信息对应的评测标准，对待评测数据和待评测特征点进行评测，得到评测结果，输出评测结果。

所述获取学员的待评测数据，包括：

获取学员的血压和/或心率和/或皮肤电信号和/或脉搏和/或获取设置在学员正前方的摄像头所采集到的学员在模拟训练时的面部图像的面部特征点的位置和/或面部三原色均值。

所述根据任务信息和任务环境信息对应的评测标准，对待评测数据和待评测特征点进行评测，得到评测结果，包括：

根据任务信息和任务环境信息获取预先存储在自身内部的、与该任务信息和任务环境信息对应的评测标准，根据该评测标准对待评测数据和待评测特征点进行评测，得到测评结果。

所述从操作信息中获取待评测特征点，包括：

从预设的任务特征点关系表中获取当前任务信息、任务环境信息对应的特征评测点，从操作信息中获取与特征评测点对应的待评测特征点。

所述输出评测结果，包括：

以文字显示和/或图形显示和/或语音播报和/或光电显示的方式输出评测结果。

所述方法还包括：

当接收到修改任务环境命令时，获取新的任务环境信息，用新的任务环境信息替换原来的任务环境信息，继续生成任务虚拟视图数据。

另一方面，本发明还提供一种模拟训练设备，所述设备包括：

任务视图生成子模块，用于根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据；

仿真子模块，用于获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，模拟驾驶座椅的颠簸或者倾斜；

模拟训练视频生成子模块，用于根据作业视图数据和任务虚拟视图数据生成模拟训练视频，显示模拟训练视频。

所述任务视图生成子模块，具体用于从任务环境信息中获取天气环境条件、光照条件，以及地理环境条件，根据任务信息、天气环境条件、光照条件，以及地理环境条件采用三维物理引擎建立模型和制作视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据。

所述任务视图生成子模块，用于获取与正在进行模拟训练的学员的视线同步的摄像头采集到的图像，根据所述图像、任务信息、任务环境信息，采用三维物理引擎建立模型，制作视觉特效，并进行渲染，得到任务虚拟视图数据。

所述仿真子模块，用于获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据，将其作为学员的操作信息，根据操作信息利用三维物理引擎渲染生成对应的作业视图数据，根据操作信息模拟驾驶座椅的颠簸或者倾斜。

所述模拟训练视频生成子模块，用于将作业视图数据和与其对应的任务虚拟视图数据进行图像处理，使两组视图数据中的图像进行融合，合成为一组视图数据，将其作为模拟训练视图数据，然后，将模拟训练视图数据生成模拟训练视频。

还包括：评测模块；

所述评测模块，用于获取学员的待评测数据，从操作信息中获取待评测特征点，根据任务信息和任务环境信息对应的评测标准，对待评测数据和待评测特征点进行评测，得到评测结果，输出评测结果。

所述评测模块包括待评测数据获取子模块；

所述待评测数据获取子模块，用于获取学员的血压和/或心率和/或皮肤电信号和/或脉搏和/或获取设置在学员正前方的摄像头所采集到的学员在模拟训练时的面部图像的面部特征点的位置和/或面部三原色均值，作为学员的待评测数据。

所述评测模块包括特征点提取子模块；

所述特征点提取子模块，用于从预设的任务特征点关系表中获取当前任务信息、任务环境信息对应的特征评测点，从操作信息中获取与特征评测点对应的待评测特征点。

所述评测模块还包括：评测子模块；

所述评测子模块，用于根据任务信息和任务环境信息获取预先存储在自身内部的、与该任务信息和任务环境信息对应的评测标准，根据该评测标准对待评测数据和待评测特征点进行评测，得到测评结果，以文字显示和/或图形显示和/或语音播报和/或光电显示的方式输出评测结果。

还包括：

更新任务环境模块，用于接收到修改任务环境命令时，获取新的任务环境信息，用新的任务环境信息替换原来的任务环境信息，触发任务视图生成子模块。

所述设备还包括：

预备训练模块，用于获取目的地信息，获取预先设置的地图，从地图中获取目的地所在的地理位置，生成从当前地理位置到目的地所在地理位置的路线，依据路线移动至目的地，将底盘落下至地面，展开万向轮展臂，锁定万向轮。

所述设备还包括下电模块；

下电模块包括：

状态判断子模块，用于判断底盘的当前位置是否为与地面接触，是则触发升降子模块；否则触发移动判断子模块；

升降子模块，用于解锁万向轮，收拢万向轮展臂，采用位于底盘的伺服电缸升降台将底盘升起，触发移动判断子模块；

移动判断子模块，用于根据结束训练命令判断是否需要移动，是则触发移动子模块；否则掉电；

移动子模块，用于获取目的地信息，获取地图，从地图中获取目的地所在的地理位置，生成从当前地理位置到目的地所在地理位置的路线，根据当前地理位置到目的地所在的地理位置的路线进行移动，直至所处的地理位置为目的地所在的地理位置，掉电。

本发明取得的有益效果为：能够模拟各种环境，使学员在模拟训练时不再受环境条件等作业环境因素的限制，提高学员在复杂环境条件下作业的能力。不受模拟训练时间的限制，在节省培训时间、缩短培训周期的同时，节约资源消耗以及节省资金成本。另外，设备安装有万向轮，方便移动，设备的体积与起重机的体积相比更小巧，在结构方面，没有起重机那样的巨大底盘及擎天吊臂，外部结构更为简单，在进行训练的过程中，模拟训练装置无需安置起重机式的巨大底盘及擎天吊臂，从而大大节省了其占用的场地空间，不再像传统起重机一样受作业场地限制，能够集中的、大规模的进行作业培训，彻底解决了因环境或场地等问题造成的教学不便，使培训更灵活。采用模拟训练系统能帮助学员尽快掌握作业的理论知识和基本操作技能的同时，还能够避免学员真机训练时的意外事故，从而增强训练的安全性。

本发明支持虚拟现实以及曲面拼接屏幕两种视频输出方式，多元化的视频输出方式满足了学员不同需求，使得学员能够更方便、更高效率的进行学习。

综上所述，与传统真机作业训练相比，本发明提供的设备具备耗能低，无油耗、车损的优点，并且有效的缩短了培训周期，增强学员实践作业能力，提高了安全性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种模拟训练的方法流程图；

图2为本发明实施例提供的一种模拟训练设备结构示意图；

图3为本发明实施例提供的时间判断模块204的结构示意图；

图4为本发明实施例提供的模拟训练模块207的结构示意图；

图5为本发明实施例提供的评测模块208的结构示意图；

图6为本发明实施例提供的异型训练模块212的结构示意图。

图7-9为本发明提供的又一种模拟训练方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅为本发明一部分实施例，而不是全部的实施例。给予本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。

本发明提供一种模拟训练的方法，如图1所示，包括：

步骤101：接收命令；

本发明实施例中，设备上电之后等待接收命令，通过响应各种命令，实现模拟训练作业，本发明所涉及的命令包括：开始训练命令、修改任务环境命令、结束训练命令。

采用本发明提供的方法，不仅可以通过响应开始训练命令，进行模拟训练，对模拟训练的学员进行综合测评，还可以通过响应修改任务环境命令，使学员在变化的任务环境中进行训练，提高学员的应变能力；还可以通过响应结束训练命令，结束学员的模拟训练。

步骤102：判断命令的类型，如果是开始训练命令，则执行步骤103；如果是修改任务环境命令，则执行步骤115；如果是结束训练命令，则执行步骤116；

在本发明实施例中，从接收到的命令中获取命令标识码，根据该命令标识码判断该命令的类型。

步骤103：获取并显示学员信息；

本发明实施例中，从开始训练命令中获取学员信息，学员信息包括：学员姓名、班组、学员id。通过显示学员信息的方式，使学员能够了解学员信息，进一步的对该学员信息进行认证、核对。

本步骤中，还可以将获取到的学员信息语音播报。

步骤104：判断预设时间内是否获取到确认训练信息，如果在预设时间内获取到确认训练信息，则执行步骤106；否则执行步骤105；

在本发明实施例中，在显示学员信息后，启动计时器，开始计时，判断预设时间内是否获取到学员认证信息，若在预设时间内获取到学员认证信息，则进一步判断学员认证信息是否为确认训练信息，若经过判断确定在预设时间内获取到的学员认证信息是确认训练信息，则说明经过核对、确认学员信息正确，能够进行训练，执行步骤106。如果在预设时间内未获取到学员认证信息，或者收到的学员认证信息不是确认训练信息时，执行步骤105。

步骤105：发送学员信息错误响应，返回步骤101；

在本发明实施例中，还可以以文字和/或语音和/或光电的方式发送学员信息错误响应。通过对学员信息认证，能够分别管理各学员进行模拟训练。

步骤106：获取任务信息、任务环境信息，保存学员信息、任务信息、任务环境信息，执行步骤107；

在本发明实施例中，可以从开始训练命令中获取任务信息、任务环境信息。还可以获取输入的任务信息、任务环境信息。任务环境信息包括：天气环境条件、地理环境条件以及光照条件。其中，天气环境条件包括：风、雨、雷电、云、雾、雨夹雪、雪。进一步的，还可以包括风、雨、雷电、云、雾、雨夹雪、雪的等级。地理环境条件包括但不限于：平原、山地、丘陵、沙漠、冰面等。光照条件包括：白天或夜晚。

步骤107：根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据；

在本发明中，从任务环境信息中获取天气环境条件、光照条件，以及地理环境条件，根据任务信息、天气环境条件、光照条件，以及地理环境条件采用三维物理引擎建立模型和制作视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据。

例如，从任务环境信息中获取到模拟训练的天气环境条件为“小雪”，光照条件为“白天”，地理环境条件为“沙漠”，获取到的任务信息为“装填”时，则采用三维物理引擎对吊车及其所在的地理环境进行建模制作视觉特效，渲染在白天、小雪的天气条件下，吊车在沙漠中的执行装填的任务虚拟视图数据，并对渲染得到的任务虚拟视图数据进行显示。

本发明中，还配置有一摄像头，能够保持与正在进行模拟训练的学员的视线同步，通过该摄像头进行图像采集，并据此建模制作视觉特效、渲染得到任务虚拟视图数据，使得学员所能观察到的任务虚拟视图数据与该学员在真机操作时观看到的场景一致。进一步保证了模拟训练的真实性、可靠性。

通过依据任务信息、任务环境信息生成任务虚拟视图数据的方法，不仅包含多种天气环境条件、多种地理环境条件、多种光照条件，通过这种模拟训练，能够有效提高学员在各种天气环境条件下、各种地理环境条件下进行作业的能力，提高学员作业的综合素质。

步骤108：获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，模拟驾驶座椅的颠簸或者倾斜；

在本发明中，进行模拟训练的学员可以看到三维立体的任务虚拟视图数据，并据此进行相应的操作。不同模拟训练设备，其具备的硬件结构不同，以吊车的模拟训练设备来说，该设备包括操纵杆、踏板、控制面板、仪表盘等，各硬件结构配备对应的传感器包括仪表盘传感器、操纵杆传感器、踏板传感器，通过获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器，获取上述传感器采集到的数据，将其作为学员的操作信息，再根据操作信息利用三维物理引擎能够渲染生成对应的作业视图数据。通过三维物理引擎渲染出作业视图数据，能够模拟出学员在完成任务时的情景，使学员通过使用虚拟头戴设备，在视觉上观察到自身操作的情况，进而得到更真实的视觉反馈。

在获取学员的操作信息、并据此生成对应的作业视图数据的同时，采用六自由度运动平台根据该学员的操作信息模拟驾驶座椅的颠簸或者倾斜，进而使得在进行模拟训练的学员能够在触觉、感官上体验到实际真机作业时的感受，提升学员的体验。

步骤109：根据作业视图数据和任务虚拟视图数据生成模拟训练视频，显示模拟训练视频；

在本发明中，当作业视图数据和任务虚拟视图数据都已生成时，可以将作业视图数据和与其对应的任务虚拟视图数据进行图像处理，使两组视图数据中的图像进行融合，合成为一组视图数据，将其作为模拟训练视图数据，然后，将模拟训练视图数据生成视频，进行显示播放。实现三维立体展现模拟训练时，学员所处的任务环境情景、以及完成任务的过程。

步骤110：获取学员的待评测数据；

在本发明中，待评测数据包括：学员的心率和/或血压和/或皮肤电信号和/或脉搏和/或面部特征点的位置和/或面部三原色均值。其中，面部特征点包括但不限于眼睛、眉毛、嘴巴、脸颊、鼻子。

本设备通过其自身集成的血压传感器、心率传感器、皮肤电信号传感器、脉搏传感器分别采集学员的血压、心率、皮肤电信号、脉搏，采用设置在学员正前方的摄像头采集学员在执行任务时的面部图像，分析采集到的面部图像，从中提取面部特征点，计算面部特征点的坐标，以及面部三原色均值。通过采集面部特征点的坐标、以及面部三原色均值，能够分析学员在不同时刻面部特征点的坐标变化情况、面部三原色均值变化，以此辅助分析该学员的心理变化情况。

进一步的，还可以实时采集学员在执行任务时的声音属性，通过分析学员在执行任务时的声音属性的变化情况，了解学员心理状态的变化。

本技术方案的主要原理是利用人心理状态发生变化时，身体会作出的反射信号的现象。学员在执行任务、完成作业时，往往会受到自身的心理、操作情况、操作过程中遇到的突发情况或者任务环境的影响，导致心理上承受压力发生变化。本发明不仅能够通过三维物理引擎在视觉上模拟操作情况、通过仿真系统在感官上模拟操作时设备颠簸或者倾斜情况，还能够通过实时采集学员在完成任务进行操作的过程中心理及身体上各项参数，客观、全面的对该学员的综合素质进行评价。

步骤111：从操作信息中获取待评测特征点；

在本发明技术方案中，针对吊车的硬件设备设置了多种传感器，包括仪表传感器、操纵杆传感器、踏板传感器、控制面板传感器，通过获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据，模拟吊车作业。本发明可以从传感器中采集到的数据中提取待评测特征点，待评测特征点是与当前任务信息、任务环境信息对应的操作信息中，完成某一操作时的各传感器的数值。通过检测待评测特征点，来评价当前任务完成的是否规范。以完成装填作业为例，待评测特征点包括：吊钩到达的预先设置的目标位置、吊钩到达目标位置所耗的时间、吊钩到达目标位置过程中的对地夹角最大值时所对应的各传感器的数值。

步骤112：根据任务信息和任务环境信息对应的评测标准，对待评测数据和待评测特征点进行评测，得到评测结果；

在本发明实施例中，根据任务信息和任务环境信息获取预先存储在自身内部的、与该任务信息和任务环境信息对应的评测标准，根据该评测标准对待评测数据和待评测特征点进行评测，得到测评结果。

步骤113：输出评测结果；

在本发明实施例中，评测结果的输出方式包括但不限于文字和/或图形显示和/或语音播报和/或光电显示。其中，图形显示可以是以曲线图的方式表示学员的心率、血压、脉搏等变化。进一步的，在输出评测结果的同时，还可以将评测结果提供给正在进行模拟训练的学员，以供其自行校正操作，使操作更加规范，进而提高学员模拟训练的效率。由于学员的评测结果涉及到学员的个人隐私，为了妥善保护学员信息，仅限于学员自身以及更高权限人员浏览、查看学员的评测结果。

步骤114：保存模拟训练视频、评测结果，返回步骤101；

在本发明实施例中，将模拟训练视频以及对应的评测结果与学员信息、任务信息、任务环境信息建立对应关系进行保存。通过保存模拟训练视频以及其对应的评测结果，能够便于查询某一学员的模拟训练视频以及其对应的评测结果，进而掌握该学员的学习进度以及存在的问题。

本发明上述实施例采用的技术方案中，默认的采用虚拟现实模式。本发明还可以进一步的选择系统模式信息，系统模式信息包括：虚拟现实模式和图像拼接模式。

具体可以在步骤106中，在获取任务信息、任务环境信息时，进一步获取系统模式信息，并对系统模式信息进行判断，如果系统模式信息为虚拟现实模式时，则执行步骤107；

如果系统模式信息为图像拼接模式时，则根据任务信息、任务环境信息采用预先设置的渲染内核，渲染任务拼接视图数据，采用拼接曲面屏显示任务拼接视图数据。具体的，可以获取与正在进行模拟训练的学员的视线同步的摄像头采集到的图像信息，并根据该图像信息、任务信息、任务环境信息采用预先设置的渲染内核渲染任务拼接视图数据。据此显示的任务拼接视图数据能够与该学员在真机操作时观看到的场景一致，从而保证了模拟训练的真实性、可靠性。

学员能够依据显示的任务拼接视图数据进行相关操作，借此本发明可以获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，利用仿真模块模拟驾驶座椅的颠簸或者倾斜，根据任务拼接视图数据和作业视图数据生成训练视频。

在本技术方案中，采用拼接曲面屏显示待拼接图像的方法，不仅能够展现出学员在自身的视角上的可视范围，直观、真实地反应学员在进行模拟训练时的操作状态以及操作环境状态，还不需要佩戴其他配套设备，辅助视觉观察。学员不必佩戴其他设备，在心态上更为放松。通过曲面拼接屏显示学员在进行模拟训练时的场景，能够使学员更加真实、自然的进入到模拟训练中，从而使得学员进行模拟训练时得到的评测结果更加真实可信。

步骤115：获取新的任务环境信息，用新的任务环境信息替换原任务环境信息，并进行保存，执行步骤107；

在本发明中，可以从修改任务环境命令中获取新的任务环境信息，也可以是获取输入的新的任务环境信息。新的任务环境信息可以是修改后的任务环境信息，也可以是任务环境信息修改的部分。

当获取到的新的任务环境信息是修改后的任务环境信息时，将其替换原任务环境信息，并进行保存，执行步骤107；

当获取到的新的任务环境信息是任务环境信息修改的部分时，则将任务环境信息修改的部分替换原任务环境信息中与之对应的部分，执行步骤107。

步骤116：下电，结束。

在本发明实施例中，可以不受任何时间限制的响应结束训练命令，在接收到结束训练命令时，结束学员的模拟训练，完成客户端掉电。

在本技术方案中，结束训练命令可以以语音和/或光电和/或声音报警的形式下发。

与上述实施例对应的，本发明提供一种模拟训练设备，如图2所示，包括：

数据接收模块201，用于接收命令；

本发明实施例中，设备上电，为各个模拟供电之后，数据接收模块201等待接收命令。本设备通过响应各种命令，实现模拟训练作业。本发明所涉及的命令包括：开始训练命令、修改任务环境命令、结束训练命令。

判断模块202，用于判断数据接收模块201接收的命令的类型，如果是开始训练命令，则触发显示模块203；如果是修改任务环境命令，则触发更新任务环境模块210；如果是结束训练命令，则触发下电模块211；

在本发明实施例中，判断模块202，具体用于从接收到的命令中获取命令标识码，根据该命令标识码判断该命令的类型。

显示模块203，用于获取并显示学员信息，并触发时间判断模块204；

本发明实施例中，显示模块203，用于从开始训练命令中获取学员信息，学员信息包括：学员姓名、班组、学员id。通过显示学员信息的方式，使学员能够了解学员信息，进一步的对该学员信息进行认证、核对。

在显示模块203中，还可以将获取到的学员信息语音播报。

时间判断模块204，用于判断预设时间内是否获取到确认训练信息，如果在预设时间内获取到确认训练信息，则触发错误响应模块205；否则触发第一信息存储模块206；

在本发明实施例中，时间判断模块204如图3所示，包括：计时子模块2041、时间判断子模块2042、信息验证子模块2043

计时子模块2041，用于在显示学员信息后，启动计时器，开始计时；

时间判断子模块2042，用于判断预设时间内是否获取到学员认证信息，若在预设时间内获取到学员认证信息，则触发信息验证子模块2043；若在预设时间内未获取到学员认证信息，则触发错误响应模块205。

信息验证子模块2043，用于判断学员认证信息是否为确认训练信息，若经过判断确定在预设时间内获取到的学员认证信息是确认训练信息，则说明经过核对、确认学员信息正确，能够进行训练，触发第一信息存储模块206。若收到的学员认证信息不是确认训练信息时，则触发错误响应模块205。

错误响应模块205，用于发送学员信息错误响应。

在本发明实施例中，错误响应模块205，还可以用于以文字和/或语音和/或光电的方式发送学员信息错误响应。通过对学员信息认证，能够分别管理各学员进行模拟训练。

第一信息存储模块206，用于获取任务信息、任务环境信息，保存学员信息、任务信息、任务环境信息，并触发模拟训练模块207。

在本发明实施例中，第一信息存储模块206，具体用于从开始训练命令中获取任务信息、任务环境信息。还用于获取输入的任务信息、任务环境信息。任务环境信息包括：天气环境条件、地理环境条件以及光照条件。其中，天气环境条件包括：风、雨、雷电、云、雾、雨夹雪、雪。进一步的，还可以包括风、雨、雷电、云、雾、雨夹雪、雪的等级。地理环境条件包括但不限于：平原、山地、丘陵、沙漠、冰面等。光照条件包括：白天或夜晚。

模拟训练模块207，用于根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据，获取学员依据任务虚拟视图数据作出的操作信息，根据操作信息模拟驾驶座椅的颠簸或者倾斜，生成并显示模拟训练视频，并触发评测模块208；

在本发明中，模拟训练模块207具体如图4所示，包括：任务视图生成子模块2071、仿真子模块2072、模拟训练视频生成子模块2073。

任务视图生成子模块2071，用于根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据。

在本发明中，任务视图生成子模块2071，具体用于从任务环境信息中获取天气环境条件、光照条件，以及地理环境条件，根据任务信息、天气环境条件、光照条件，以及地理环境条件采用三维物理引擎建立模型和制作视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据。

例如，任务视图生成子模块2071，从任务环境信息中获取到模拟训练的天气环境条件为：小雪，光照条件为：白天，地理环境条件为：沙漠，获取到的任务信息为：装填时，则采用三维物理引擎对吊车及其所在的地理环境进行建模制作视觉特效，渲染在白天、小雪的天气条件下，吊车在沙漠中的执行装填的任务虚拟视图数据，并对渲染得到的任务虚拟视图数据进行显示。

本发明中，还配置有一摄像头，能够保持与正在进行模拟训练的学员的视线同步，通过该摄像头进行图像采集，并据此建模制作视觉特效、渲染得到任务虚拟视图数据。

通过任务视图生成子模块2071生成任务虚拟视图数据，不仅包含多种天气环境条件、多种地理环境条件、多种光照条件，通过这种模拟训练，能够有效提高学员在各种天气环境条件下、各种地理环境条件下进行作业的能力，提高学员作业的综合素质。

仿真子模块2072，用于获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，模拟驾驶座椅的颠簸或者倾斜；

在本发明中，进行模拟训练的学员可以看到三维立体的任务虚拟视图数据，并据此进行相应的操作。不同模拟训练设备，其具备的硬件结构不同，以吊车的模拟训练设备来说，该设备包括操纵杆、踏板、控制面板、仪表盘等，各硬件结构配备对应的传感器包括：仪表盘传感器、操纵杆传感器、踏板传感器，通过获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据，将其作为学员的操作信息，再根据操作信息利用三维物理引擎能够渲染生成对应的作业视图数据。通过三维物理引擎渲染出作业视图数据，能够模拟出学员在完成任务时的情景，使学员通过使用虚拟头戴设备，在视觉上观察到自身操作的情况，进而得到更真实的视觉反馈。

仿真子模块2072在获取学员的操作信息、并据此生成对应的作业视图数据的同时，根据该学员的操作信息模拟驾驶座椅的颠簸或者倾斜，进而使得在进行模拟训练的学员能够在触觉、感官上体验到实际真机作业时的感受，提升学员的体验。

模拟训练视频生成子模块2073，用于根据作业视图数据和任务虚拟视图数据生成模拟训练视频，显示模拟训练视频；

在本发明中，模拟训练视频生成子模块2073，可以将作业视图数据和与其对应的任务虚拟视图数据进行图像处理，使两组视图数据中的图像进行融合，合成为一组视图数据，将其作为模拟训练视图数据，然后，将模拟训练视图数据生成视频，进行显示播放。实现三维立体展现模拟训练时，学员所处的任务环境情景、以及完成任务的过程。

评测模块208，用于获取学员的待评测数据，从操作信息中获取待评测特征点，根据任务信息和任务环境信息对应的评测标准，对待评测数据和待评测特征点进行评测，得到评测结果，触发第二信息存储模块209；

在本发明中，待评测数据包括：学员的心率和/或血压和/或皮肤电信号和/或脉搏和/或面部特征点的位置和/或面部三原色均值。其中，面部特征点包括但不限于眼睛、眉毛、嘴巴、脸颊、鼻子。

本设备评测模块208具体如图5所示，包括：待评测数据获取子模块2081、特征点提取子模块2082、评测子模块2083、结果输出子模块2084。

待评测数据获取子模块2081，用于获取设备自身集成的血压传感器采集到的学员的血压和/或心率传感器采集到的心率和/或皮肤电信号传感器采集到的皮肤电信号和/或脉搏传感器采集到的学员的脉搏和/或获取设置在学员正前方的摄像头所采集到的学员在模拟训练时的面部图像。分析面部图像，从中提取面部特征点，计算面部特征点的坐标位置，以及面部三原色均值。通过采集面部特征点的坐标、以及面部三原色均值，能够分析学员在不同时刻面部特征点的坐标变化情况、面部三原色均值变化，以此辅助分析该学员的心理变化情况。

进一步的，评测模块208，还可以用于实时采集学员在执行任务时的声音属性，通过分析学员在执行任务时的声音属性的变化情况，了解学员心理状态的变化。

本技术方案的主要原理是利用人心理状态发生变化时，身体会作出的反射信号的现象。学员在执行任务、完成作业时，往往会受到自身的心理、操作情况、操作过程中遇到的突发情况或者任务环境的影响，导致心理上承受压力发生变化。本发明不仅能够通过三维物理引擎在视觉上模拟操作情况、通过仿真系统在感官上模拟操作时设备颠簸或者倾斜情况，还能够通过实时采集学员在完成任务进行操作的过程中心理及身体上各项参数，客观、全面的对该学员的综合素质进行评价。

特征点提取子模块2082，用于从操作信息中获取待评测特征点；

在本发明技术方案中，针对吊车的硬件设备设置了多种传感器，包括仪表传感器、操纵杆传感器、踏板传感器、控制面板传感器，通过获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据，模拟吊车作业。本发明可以从传感器中采集到的数据中提取待评测特征点，通过检测待评测特征点，来评价当前任务完成的是否规范。以完成装填作业为例，待评测特征点包括：吊钩到达的预先设置的目标位置、吊钩到达目标位置所耗的时间、吊钩到达目标位置过程中的对地夹角最大值。

评测子模块2083，用于根据任务信息和任务环境信息对应的评测标准，对待评测数据和待评测特征点进行评测，得到评测结果；

在本发明实施例中，评测子模块2083，用于根据任务信息和任务环境信息获取预先存储在自身内部的、与该任务信息和任务环境信息对应的评测标准，根据该评测标准对待评测数据和待评测特征点进行评测，得到测评结果。

结果输出子模块2084，用于输出评测结果；

在本发明实施例中，结果输出子模块2084，用于以文字和/或图形显示和/或语音播报和/或光电显示的方式输出评测结果。进一步的，在输出评测结果的同时，还可以将评测结果提供给正在进行模拟训练的学员，以供其自行校正操作，使操作更加规范，进而提高学员模拟训练的效率。由于学员的评测结果涉及到学员的个人隐私，为了妥善保护学员信息，仅限于学员自身以及更高权限人员浏览、查看学员的评测结果。

第二信息存储模块209，用于模拟训练视频、评测结果。

在本发明实施例中，第二信息存储模块209，用于将模拟训练视频以及对应的评测结果与学员信息、任务信息、任务环境信息建立对应关系进行保存。通过保存模拟训练视频以及其对应的评测结果，能够便于查询某一学员的模拟训练视频以及其对应的评测结果，进而掌握该学员的学习进度以及存在的问题。

更新任务环境模块210，用于获取新的任务环境信息，用新的任务环境信息替换原任务环境信息，进行保存，并触发模拟训练模块207。

在本发明中，更新任务环境模块210，可以用于从修改任务环境命令中获取新的任务环境信息，也可以用于获取输入的新的任务环境信息。新的任务环境信息可以是修改后的任务环境信息，也可以是任务环境信息修改的部分。

当获取到的新的任务环境信息是修改后的任务环境信息时，将其替换原任务环境信息，并进行保存。

当获取到的新的任务环境信息是任务环境信息修改的部分时，则将任务环境信息修改的部分替换原任务环境信息中与之对应的部分。

下电模块211，用于对设备各模块下电。

在本发明实施例中，下电模块211，可以不受任何时间限制的响应结束训练命令，在接收到结束训练命令时，结束学员的模拟训练，完成客户端掉电。

需要说明的是，本发明上述实施例采用的技术方案中，默认的采用虚拟现实模式。本发明还可以包括图像拼接模式，本发明还包括系统模式信息选择模块，用于获取系统模式信息，并对系统模式信息进行判断，如果系统模式信息为虚拟现实模式时，则触发模拟训练模块207；

如果系统模式信息为图像拼接模式时，则触发异形训练模块212。

异形训练模块212用于根据任务信息、任务环境信息采用预先设置的渲染内核，渲染任务拼接视图数据，采用曲面拼接屏显示任务拼接视图数据，获取学员依据任务拼接视图数据作出的操作信息，根据操作信息模拟驾驶座椅的颠簸或者倾斜，生成并显示模拟训练视频，并触发评测模块208；。

异形训练模块212如图6所示，具体包括：异形图像生成子模块2121、异形仿真子模块2122、异形视频生成子模块2123。

异形图像生成子模块2121，用于获取与正在进行模拟训练的学员的视线同步的摄像头采集到的图像信息，并根据该图像信息、任务信息、任务环境信息采用预先设置的渲染内核渲染任务拼接视图数据。据此显示的任务拼接视图数据能够与该学员在真机操作时观看到的场景一致，从而保证了模拟训练的真实性、可靠性。学员能够依据显示的任务拼接视图数据进行相关操作。

异形仿真子模块2122，用于获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，模拟驾驶座椅的颠簸或者倾斜；

异形视频生成子模块2123，用于根据任务拼接视图数据和作业视图数据生成训练视频，通过曲面拼接屏显示该训练视频。

在本技术方案中，采用曲面拼接屏显示图像的方法，不仅能够展现出学员在自身的视角上的可视范围，直观、真实地反应学员在进行模拟训练时的操作状态以及操作环境状态，还不需要佩戴其他配套设备，辅助视觉观察。学员不必佩戴其他设备，在心态上更为放松。通过曲面拼接屏显示学员在进行模拟训练时的场景，能够使学员更加真实、自然的进入到模拟训练中，从而使得学员进行模拟训练时得到的评测结果更加真实可信。

需要说明的是，本发明实施例中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种模拟训练的方法及设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

a1、一种模拟训练的方法，其特征在于，包括：

根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据；

获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，模拟驾驶座椅的颠簸或者倾斜；

根据作业视图数据和任务虚拟视图数据生成模拟训练视频，显示模拟训练视频。

a2、如a1所述的方法，其特征在于，所述根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，包括：

从任务环境信息中获取天气环境条件、光照条件，以及地理环境条件，根据任务信息、天气环境条件、光照条件，以及地理环境条件采用三维物理引擎建立模型和制作视觉特效，渲染对应的任务虚拟视图数据。

a3、如a1所述的方法，其特征在于，所述根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，包括：

获取与正在进行模拟训练的学员的视线同步的摄像头采集到的图像，根据所述图像、任务信息、任务环境信息，采用三维物理引擎建立模型，制作视觉特效，并进行渲染，得到任务虚拟视图数据。

a4、如a1所述的方法，其特征在于，所述获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，模拟驾驶座椅的颠簸或者倾斜，包括：

获取仪表盘传感器、操纵杆传感器、踏板传感器，控制面板传感器采集到的数据，将其作为学员的操作信息，根据操作信息利用三维物理引擎渲染生成对应的作业视图数据，根据操作信息模拟驾驶座椅的颠簸或者倾斜。

a5、如a1所述的方法，其特征在于，所述根据作业视图数据和任务虚拟视图数据生成模拟训练视频，包括：

将作业视图数据和与其对应的任务虚拟视图数据进行图像处理，使两组视图数据中的图像进行融合，合成为一组视图数据，将其作为模拟训练视图数据，然后，将模拟训练视图数据生成模拟训练视频。

a6、如a1所述的方法，其特征在于，所述方法还包括：

获取学员的待评测数据；

从操作信息中获取待评测特征点；

根据任务信息和任务环境信息对应的评测标准，对待评测数据和待评测特征点进行评测，得到评测结果，输出评测结果。

a7、如a6所述的方法，其特征在于，所述获取学员的待评测数据，包括：

获取学员的血压和/或心率和/或皮肤电信号和/或脉搏和/或获取设置在学员正前方的摄像头所采集到的学员在模拟训练时的面部图像的面部特征点的位置和/或面部三原色均值。

a8、如a6所述的方法，其特征在于，所述根据任务信息和任务环境信息对应的评测标准，对待评测数据和待评测特征点进行评测，得到评测结果，包括：

根据任务信息和任务环境信息获取预先存储在自身内部的、与该任务信息和任务环境信息对应的评测标准，根据该评测标准对待评测数据和待评测特征点进行评测，得到测评结果。

a9、如a6所述的方法，其特征在于，所述从操作信息中获取待评测特征点，包括：

从预设的任务特征点关系表中获取当前任务信息、任务环境信息对应的特征评测点，从操作信息中获取与特征评测点对应的待评测特征点。

a10、如a6所述的方法，其特征在于，所述输出评测结果，包括：

以文字显示和/或图形显示和/或语音播报和/或光电显示的方式输出评测结果。

a11、如a1所述的方法，其特征在于，所述方法还包括：

当接收到修改任务环境命令时，获取新的任务环境信息，用新的任务环境信息替换原来的任务环境信息，继续生成任务虚拟视图数据。

b12、一种模拟训练设备，其特征在于，所述设备包括：

任务视图生成子模块，用于根据任务信息、任务环境信息采用三维物理引擎建立模型和视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据；

仿真子模块，用于获取学员的操作信息，并根据该操作信息生成对应的作业视图数据，模拟驾驶座椅的颠簸或者倾斜；

模拟训练视频生成子模块，用于根据作业视图数据和任务虚拟视图数据生成模拟训练视频，显示模拟训练视频。

b13、如b12所述的设备，其特征在于，所述任务视图生成子模块，具体用于从任务环境信息中获取天气环境条件、光照条件，以及地理环境条件，根据任务信息、天气环境条件、光照条件，以及地理环境条件采用三维物理引擎建立模型和制作视觉特效，渲染对应的任务虚拟视图数据，显示任务虚拟视图数据。

b14、如b12所述的设备，其特征在于，所述任务视图生成子模块，用于获取与正在进行模拟训练的学员的视线同步的摄像头采集到的图像，根据所述图像、任务信息、任务环境信息，采用三维物理引擎建立模型，制作视觉特效，并进行渲染，得到任务虚拟视图数据。

b15、如b12所述的设备，其特征在于，所述仿真子模块，用于获取仪表盘传感器、操纵杆传感器、踏板传感器、控制面板传感器采集到的数据，将其作为学员的操作信息，根据操作信息利用三维物理引擎渲染生成对应的作业视图数据，根据操作信息模拟驾驶座椅的颠簸或者倾斜。

b16、如b12所述的设备，其特征在于，所述模拟训练视频生成子模块，用于将作业视图数据和与其对应的任务虚拟视图数据进行图像处理，使两组视图数据中的图像进行融合，合成为一组视图数据，将其作为模拟训练视图数据，然后，将模拟训练视图数据生成模拟训练视频。

b17、如b12所述的设备，其特征在于，还包括：评测模块；

所述评测模块，用于获取学员的待评测数据，从操作信息中获取待评测特征点，根据任务信息和任务环境信息对应的评测标准，对待评测数据和待评测特征点进行评测，得到评测结果，输出评测结果。

b18、如b17所述的设备，其特征在于，所述评测模块包括待评测数据获取子模块；

所述待评测数据获取子模块，用于获取学员的血压和/或心率和/或皮肤电信号和/或脉搏和/或获取设置在学员正前方的摄像头所采集到的学员在模拟训练时的面部图像的面部特征点的位置和/或面部三原色均值，作为学员的待评测数据。

b19、如b12所述的设备，其特征在于，所述评测模块包括特征点提取子模块；

所述特征点提取子模块，用于从预设的任务特征点关系表中获取当前任务信息、任务环境信息对应的特征评测点，从操作信息中获取与特征评测点对应的待评测特征点。

b20、如b17所述的设备，其特征在于，所述评测模块还包括：评测子模块；

所述评测子模块，用于根据任务信息和任务环境信息获取预先存储在自身内部的、与该任务信息和任务环境信息对应的评测标准，根据该评测标准对待评测数据和待评测特征点进行评测，得到测评结果，以文字显示和/或图形显示和/或语音播报和/或光电显示的方式输出评测结果。

b21、如b12所述的设备，其特征在于，还包括：

更新任务环境模块，用于接收到修改任务环境命令时，获取新的任务环境信息，用新的任务环境信息替换原来的任务环境信息，触发任务视图生成子模块。

c22、如b12所述的设备，其特征在于，还包括：

预备训练模块，用于获取目的地信息，获取预先设置的地图，从地图中获取目的地所在的地理位置，生成从当前地理位置到目的地所在地理位置的路线，依据路线移动至目的地，将底盘落下至地面，展开万向轮展臂，锁定万向轮。

c23、如c22所述的设备，其特征在于，所述设备还包括下电模块；

下电模块具体包括：

状态判断子模块，用于判断底盘的当前位置是否为与地面接触，是则触发升降子模块；否则触发移动判断子模块；

升降子模块，用于解锁万向轮，收拢万向轮展臂，采用位于底盘的伺服电缸升降台将底盘升起，触发移动判断子模块；

移动判断子模块，用于根据结束训练命令判断是否需要移动，是则触发移动子模块；否则掉电；

移动子模块，用于获取目的地信息，获取地图，从地图中获取目的地所在的地理位置，生成从当前地理位置到目的地所在地理位置的路线，根据当前地理位置到目的地所在的地理位置的路线进行移动，直至所处的地理位置为目的地所在的地理位置，掉电。