一种基于增强现实技术的拆装训练方法和装置与流程

本发明属于航空技术综合保障专业的装备保障服务技术领域，具体涉及一种基于增强现实技术的拆装训练方法和装置。

背景技术：

在传统的军机培训中，地勤人员的拆装训练存在“教”“学”两难的情况，飞机各系统零件繁多，拆装工序步骤复杂，并且对拆装的正确性要求较高，稍有差错可能会导致重大事故。

地勤人员拆装训练时，大部分系统拆装需要按照数百页的《维修手册》一步步拆装，文字版的《维修手册》并不直观，提示图往往也是简单的示意图，导致学员实际拆装训练时遇到很大困难。加之在机上拆装训练，对飞机安全性有一定的影响，在地面实物上训练，造价较大，因此目前地勤人员培训以理论加机上实习观摩为主，学员的操作技能无法得到有效的练习，直接影响后期的飞机使用保障。

技术实现要素：

本发明提供一种基于增强现实技术的拆装训练方法和装置，可以降低训练成本，提升培训效果。

本发明一方面提供一种基于增强现实技术的拆装训练方法，包括：

显示待拆装部件；

在所述待拆装部件位置处，采用增强现实系统向操作学员提供所述待拆装部件的辅助指导信息；

向操作学员播放所述辅助指导信息，指导操作学员的拆装训练；

将操作学员的操作以及辅助指导信息提供给观看学员。

可选的，所述显示待拆装部件，包括：

通过虚实注册技术实现待拆装部件位置识别。

可选的，所述通过虚实注册技术实现待拆装部件位置识别，包括：

采用基于视觉的标志点跟踪方法，在待拆装部件放置具有特殊特征的标志图案作为定位的依据，通过摄像机实时拍摄标志图案的图像，并在图像中通过数字图像处理的方法提取并识别这些图案，使得虚拟物体和待拆装部件的真实场景具有相同的空间关系，实现待拆装部件位置的精准识别与实时追踪。

可选的，所述在所述待拆装部件位置处，采用增强现实系统向操作学员提供所述待拆装部件的辅助指导信息，包括：

采用增强现实系统，将具有相同的空间关系的虚拟物体叠加至所述待拆装部件位置处。

可选的，所述辅助指导信息包括如下中的至少一项：

文字、标识、语音、图片、动画及视频。

本发明另一方面还提供一种基于增强现实技术的拆装训练装置，其特征在于，包括：

指导设备，用于显示待拆装部件；在所述待拆装部件位置处，采用增强现实系统向操作学员提供所述待拆装部件的辅助指导信息；向操作学员播放所述辅助指导信息，指导操作学员的拆装训练；

播放设备，用于将操作学员的操作以及辅助指导信息提供给观看学员。

可选的，所述指导设备具体用于，通过虚实注册技术实现待拆装部件位置识别。

可选的，所述指导设备具体用于，采用基于视觉的标志点跟踪方法，在待拆装部件放置具有特殊特征的标志图案作为定位的依据，通过摄像机实时拍摄标志图案的图像，并在图像中通过数字图像处理的方法提取并识别这些图案，使得虚拟物体和待拆装部件的真实场景具有相同的空间关系，实现待拆装部件位置的精准识别与实时追踪。

可选的，所述指导设备具体用于，采用增强现实系统，将具有相同的空间关系的虚拟物体叠加至所述待拆装部件位置处。

可选的，所述辅助指导信息包括如下中的至少一项：

文字、标识、语音、图片、动画及视频。

本发明通过基于增强现实技术的一种拆装训练方法，用于满足地勤人员在拆装训练过程中的飞机系统及部件的识别、拆装程序及运行调试等日常相关工作的模拟训练。通过该方法完成地勤人员的拆装训练，减轻实装训练对装备数量的要求，降低训练成本，提升培训效果。

附图说明

图1是本发明提供的一种基于增强现实拆装训练方法的技术方案的示意图。

具体实施方式

下面对本发明提供的基于增强现实技术的拆装训练方法和装置进行说明。

图1是本发明提供的一种基于增强现实拆装训练方法的技术方案的示意图。本发明提供一种基于增强现实技术的拆装训练方法，首先根据地勤人员使用的《维修手册》分析得到拆装训练步骤所需的辅助指导信息，并通过不同形式如文字、标识、语音、图片、动画及视频等在增强现实系统中实现显示，起到指导受训人员操作的作用。其次通过虚拟注册和虚实融合等技术精准定位到拆装部件的位置并将计算机生成的虚拟部件叠加至真实物体上实现虚实融合。最后通过显示设备将学员的操作过程通过第三视角展示于其他受训学员，实现共同学习。

本发明的技术方案如图1所示，其中数据库含有《维修手册》转换而来的拆装指导信息、虚拟模型、各模型的渲染效果及拆装用的虚拟工具。通过拆装信息指导受训人员选取不同的拆装工具对仿真部件进行拆装训练。

所述的一种基于增强现实技术的拆装训练方法包括维修信息转换及显示、拆装部件识别、虚实部件融合和维修显示4个步骤。

步骤1：维修信息转换及显示

维修信息是用于指导学员进行拆装训练的方式、方法、步骤及所用工具的虚拟信息。首先确定拆装训练系统后，根据地勤人员使用的《维修手册》分析得到当前步骤所需的辅助指导信息，将指导信息转化为所需的应用模式(如文字、标识、语音、图片、动画及视频等)，并在增强现实系统中实现显示，起到指导作用。在维修信息转换中通过读取《维修手册》形成拆装步骤及生成拆装工具，辅助学员进行拆装训练。

步骤2：拆装部件位置识别

通过虚实注册技术实现拆装部件位置识别。虚实注册技术采用基于视觉的标志点跟踪方法，在场景中放置具有特殊特征的标志图案作为定位的依据，通过摄像机实时拍摄标志图案的图像，并通过数字图像处理的方法提取并识别这些图案，使得虚拟物体和真实场景具有相同的空间关系，实现拆装部件位置的精准识别与实时追踪。

步骤3：虚实部件融合

虚实部件融合主要解决真实场景与虚拟物体之间的叠加问题。通过对场景进行实时的三维重建，计算得到虚拟部件和真实部件的相对位置，并将虚拟部件叠加至缺失的位置，实现部件到系统、系统到飞机的效果。该步也将操作训练所需的拆装工具通过部件融合至实体部件上，实现部件与工具的虚实部件融合。其中所有部件的三维数据和三维数模等相关信息都存储于数据库中。

步骤4：维修显示

该步骤为拆装训练的显示阶段，首先通过系统生成的虚拟信息实现仿真件和工具的视景增强，其次将步骤1中的拆装步骤信息在显示设备中显示，然后通过第三视角摄像机记录学员的拆装操作并将虚拟部件与真实部件叠加后通过演示大屏向其他学员展示。

本发明的优点：

本发明通过基于增强现实技术的一种拆装训练方法，用于满足地勤人员在拆装训练过程中的飞机系统及部件的识别、拆装程序及运行调试等日常相关工作的模拟训练。通过该方法完成地勤人员的拆装训练，减轻实装训练对装备数量的要求，降低训练成本，提升培训效果。

技术特征：

1.一种基于增强现实技术的拆装训练方法，其特征在于，包括：

显示待拆装部件；

在所述待拆装部件位置处，采用增强现实系统向操作学员提供所述待拆装部件的辅助指导信息；

向操作学员播放所述辅助指导信息，指导操作学员的拆装训练；

将操作学员的操作以及辅助指导信息提供给观看学员。

2.根据权利要求1所述的方法，其特征在于，所述显示待拆装部件，包括：

通过虚实注册技术实现待拆装部件位置识别。

3.根据权利要求2所述的方法，其特征在于，所述通过虚实注册技术实现待拆装部件位置识别，包括：

采用基于视觉的标志点跟踪方法，在待拆装部件放置具有特殊特征的标志图案作为定位的依据，通过摄像机实时拍摄标志图案的图像，并在图像中通过数字图像处理的方法提取并识别这些图案，使得虚拟物体和待拆装部件的真实场景具有相同的空间关系，实现待拆装部件位置的精准识别与实时追踪。

4.根据权利要求3所述的方法，其特征在于，所述在所述待拆装部件位置处，采用增强现实系统向操作学员提供所述待拆装部件的辅助指导信息，包括：

采用增强现实系统，将具有相同的空间关系的虚拟物体叠加至所述待拆装部件位置处。

5.根据权利要求1所述的方法，其特征在于，所述辅助指导信息包括如下中的至少一项：

文字、标识、语音、图片、动画及视频。

6.一种基于增强现实技术的拆装训练装置，其特征在于，包括：

指导设备，用于显示待拆装部件；在所述待拆装部件位置处，采用增强现实系统向操作学员提供所述待拆装部件的辅助指导信息；向操作学员播放所述辅助指导信息，指导操作学员的拆装训练；

播放设备，用于将操作学员的操作以及辅助指导信息提供给观看学员。

7.根据权利要求6所述的装置，其特征在于，所述指导设备具体用于，通过虚实注册技术实现待拆装部件位置识别。

8.根据权利要求7所述的装置，其特征在于，所述指导设备具体用于，采用基于视觉的标志点跟踪方法，在待拆装部件放置具有特殊特征的标志图案作为定位的依据，通过摄像机实时拍摄标志图案的图像，并在图像中通过数字图像处理的方法提取并识别这些图案，使得虚拟物体和待拆装部件的真实场景具有相同的空间关系，实现待拆装部件位置的精准识别与实时追踪。

9.根据权利要求8所述的装置，其特征在于，所述指导设备具体用于，采用增强现实系统，将具有相同的空间关系的虚拟物体叠加至所述待拆装部件位置处。

10.根据权利要求6所述的装置，其特征在于，所述辅助指导信息包括如下中的至少一项：

文字、标识、语音、图片、动画及视频。

技术总结
本发明提供一种基于增强现实技术的拆装训练方法和装置，本发明通过基于增强现实技术的一种拆装训练方法，用于满足地勤人员在拆装训练过程中的飞机系统及部件的识别、拆装程序及运行调试等日常相关工作的模拟训练。通过该方法完成地勤人员的拆装训练，减轻实装训练对装备数量的要求，降低训练成本，提升培训效果。

技术研发人员：张崇龙;孙惠;任明波;秦洪亮
受保护的技术使用者：中国航空工业集团公司西安飞机设计研究所
技术研发日：2019.12.26
技术公布日：2020.04.28