一种设备维修作业辅助引导系统的制作方法

本发明属于设备诱导维修技术领域，具体涉及一种设备维修作业辅助引导系统。

背景技术：

现代飞机结构复杂、技术密集，拆装与维护维修难度较大。面对大量部附件组成的装配体系及其内部复杂的约束关系，传统的维修方式为依靠维修手册和工程图册的指导进行维修，该种方式维修人员的注意力需要在技术资料和维修对象间频繁切换，加之维修环境恶劣，会使维修人员精神状态高度紧张，从而造成拆装维修出现错误，如果拆装顺序不当将导致装配精度不达标。由此来看，传统的维修方式不仅制约了维修效率的提升，而且导致较高的误操作发生率。

为了解决上述问题，飞机维修作业辅助引导装置采用增强现实技术(augmentedrealitytechnique，ar)。增强现实技术是在虚拟现实技术的基础上发展起来的，通过对真实环境中的真实物体对象的识别，利用计算机技术根据识别的结果生成相应的虚拟信息，并通过算法设计将这些虚拟信息与真实物体进行匹配叠加，实现对现实的“增强”。应用于飞机维修辅助作业时，根据维修任务、装备三维模型、电子维修手册等信息生成方法提示、注意事项等引导信息，以虚实叠加的方式呈现在视场中，在“维修区域”叠加显示各类信息，形成伴随式的引导，以辅助维修人员进行维修作业，实现维护操作和训练的标准化和可视化辅助作业，确保维护操作过程完全符合规程要求，解决了复杂科目、危险科目维修差错多发的问题。该种方法也称为诱导维修方法。

虚实叠加的基础是能够对现实装备准确的识别定位，通常的解决方法是将图片或数字模型上传至国际互联网上的增强现实综合服务平台网站，由网站服务器在线一次性生成含有增强现实识别信息的软件开发工具包。但是，而有关军机的图片和三维模型均为涉密信息，不能上传至互联网，导致无法准确获取维修人员头部相对于维修场景的位置关系。

技术实现要素：

本发明提供了一种设备维修作业辅助引导系统，用以解决现有技术无法准确获取维修人员头部相对于维修场景的位置关系的问题。

为解决上述技术问题，本发明的技术方案包括：

本发明提供了一种设备诱导维修系统，包括头盔，所述头盔上设置有场景摄像机、眼动跟踪模块、头部位姿跟踪模块、光学透视式显示器、全信息处理模块和识别定位标记；

所述场景摄像机用于获取真实的维修场景，并传输给全信息处理模块；

所述眼动跟踪模块用于跟踪戴上头盔的维修人员的眼球运动情况，并传输给全信息处理模块；

所述头部位姿跟踪模块用于跟踪维修人员的头部位置和姿态变化，并传输给全信息处理模块；

所述光学透视式显示器用于使维修人员实时看到真实的维修场景，并看到叠加在维修场景上的增强信息；

所述识别定位标记为二维码图片，固定于实际的维修场景的设定位置处，辅以确定维修人员头部相对于维修场景的位置关系；

所述全信息处理模块存储有设备其他部件与二维码图片的相对位置关系，且用于：结合头部姿态采集的数据和识别定位标记的位置，得到维修人员头部相对于维修场景的位置关系，并根据眼动跟踪模块采集的数据，以确定维修人员的视线方向，结合所述位置关系和视线方向，确定所要添加的增强信息以及增强信息在光学透视式显示器上的映射位置，连同真实的维修场景一并投影至光学透视式显示器上。

上述技术方案的有益效果为：本发明的设备诱导维修系统，包括头盔，头盔上设置有场景摄像机、眼动跟踪模块、头部位姿跟踪模块、光学透视式显示器、全信息处理模块和识别定位标记，其中识别定位标记采用非涉密的二维码图片，以更加准确地确定维修人员头部相对于维修场景的位置关系，定位效果较佳。而且，该系统具有较强的拓展性和通用性，能够根据具体需要导入维修对象的三维模型并编辑维修任务，实现对不同对象和任务的引导维修，实现了“以人为中心”的维修，并且为解决军机战场快速抢修问题提供了思维和途径，在提高装备维修性、保障性方面具有一定价值。

进一步的，所述眼动跟踪模块包括红外摄像头。

进一步的，所述头部位姿跟踪模块为电磁式位置跟踪器。

进一步的，该系统还包括语音交互模块，所述语音交互模块用于引导维修人员以正确操作方式和流程进行维修操作。

附图说明

图1是本发明的设备维修作业辅助引导系统的示意图；

图2-1是本发明的头盔的主视图；

图2-2是本发明的头盔上的传感器的设置位置示意图；

图2-3是本发明的头盔上的头戴式显示器的设置位置示意图；

图2-4是本发明的头盔上的全信息处理模块的设置位置示意图；

图3是本发明的坐标定位的流程图。

具体实施方式

本发明以飞机作为维系对象，对应的设备维修作业辅助引导系统的原理如图1所示，该系统包括头盔，头盔的主视图如图2-1所示，头盔上设置有穿戴式显示器2(如图2-3所示)、传感器1(如图2-2所示)和全信息处理模块3(如图2-4所示)，该穿戴式显示器使用光学透视式。该系统还包括识别定位标记4和语音交互模块。全信息处理模块3与传感器1和穿戴式显示器2均可进行数据交互。

传感器1包括视觉传感器、眼动跟踪模块和头部姿态跟踪模块。其中：

视觉传感器为场景摄像机，用于在维修过程中对真实的维护场景进行实时的视频采集，为工作环境的识别做好准确，并将采集的视频传输给全信息处理模块3。

眼动跟踪模块包括红外摄像头，用于跟踪戴上头盔的维修人员的眼球运动情况，并传输给全信息处理模块，以确定维修人员的视线方向。

头部姿态跟踪模块为电磁式位置跟踪器，用于跟踪维修人员的头部位置和姿态变化，并传输给全信息处理模块，以确定维修人员头部相对于维修场景的位置关系，为维修人员对现实维修场景的准确定位和虚实图像融合显示的处理提供准备，以完成增强信息与真实维修场景的虚实配准。除了位置跟踪器外，还可以是陀螺仪、加速度计等。

穿戴式显示器1用于使维修人员实时看到真实的维修场景，并看到叠加在维修场景上的增强信息。增强信息可以是对每个零部件的说明和解释，也可以是对维修任务操作流程的引导和提示，包括操作步骤、故障的排除流程及方法、被维修设备的内部结构、被维修设备零件图等，可以是文字、图像，也可以是交互界面。

全信息处理模块3存储有设备其他部件与二维码图片的相对位置关系，且用于结合头部姿态采集的数据和识别定位标记的位置，得到维修人员头部相对于维修场景的位置关系，并根据眼动跟踪模块采集的数据，以确定维修人员的视线方向，结合所述位置关系和视线方向，确定所要添加的增强信息以及增强信息在光学透视式显示器上的映射位置，连同真实的维修场景一并投影至穿戴式显示器2上。其中，全信息处理单元中存储有发动机手册、案例数据库、虚拟样机、专家知识库等，根据这些信息可生成增强信息。

语音交互模块包括耳机和麦克风，通过配合引导语音(音频)引导操作员以正确的操作方式及流程完成任务，避免操作人员由于记忆错误及误操作而造成的操作失误。对于维修人员进行实时响应并且给予回馈信息，实现用户和系统的实时三维交互，在判断维修人员指令的逻辑性前提下使系统执行维修人员对空间物体实时的指令。

识别定位标记4为一张二维码图片，粘贴在实际的维修场景的设定位置处，确保定位准确性。虚实叠加的基础是能够对现实装备准确的识别定位，通常的解决方法是将图片或数字模型上传至国际互联网上的增强现实综合服务平台网站，由网站服务器在线一次性生成含有增强现实识别信息的软件开发工具包。但是，而有关军机的图片和三维模型均为涉密信息，不能上传至互联网。针对该问题，故本申请采用非涉密替身图片(二维码图片)替代的方式获得识别信息。

其中，基于二维码图片的空间坐标定位的实现流程如图3所示，步骤如下：

①注册替身图片。本系统采用二维码图片作为替身图片。将替身图片传至识别算法程序供方网站上进行特征注册，使其具有可识别的特征信息。

②下载sdk并导入应用项目。创建应用项目；在识别算法程序供方网站上下载注册生成的sdk，下载完成后双击打开文件，导入sdk。

③设置识别开发信息。激活本次使用的识别图；创建识别显示的三维cube物体。

④在软件开发平台中识别并显示指定内容。发布程序，安装执行，摄像头拍摄到识别图片，识别后画面中显示出三维cube物体。

⑤仿真内容与标识图片位置绑定。打印替身图片，尺寸为4cm×4cm，粘贴在被维修设备的指定位置。替身图片识别的预设位置坐标和角度坐标是原点(0,0,0)，依据实装与替身图片的相对位置，标定项目中需显示的虚拟信息在空间中的位置。

⑥替换显示目标内容。进行程序嵌套开发，创建一个空物体并改名为manager(可任意命名)，并挂载脚本。

⑦实现空间坐标继承。通过脚本程序隐藏初次识别成功后目标物体及子物体cube；显示的目标内容位置坐标、角度坐标信息继承cube初次识别成功后的坐标。

⑧虚实配准。确定各个设备在空间的位置，根据脚本开发叠加在各个设备上的图像、语音、文字虚拟信息程序，引导调用功能程序运行，实现对设备间接的识别、定位及虚拟信息的叠加显示。

按照上述过程将叠加有增强信息的维修场景投影到穿戴式显示器后，维修人员便可在增强信息的引导下，采用正确的工具进行每一步的维修操作，提高维修人员的工作效率和维修质量。

本发明通过穿戴式显示设备将飞机维修作业的操作流程以虚拟信息的方式叠加在实物设备上，并配合引导语音(音频)引导操作员以正确的操作方式及流程完成任务，可以避免维修人员由于记忆错误及误操作而造成的操作失误。维修人员通过确认手势进行操作步骤的切换或通过手势操作菜单功能键进行操作步骤的切换。该系统具备较强的拓展性和通用性，能够根据具体需要导入维修对象的三维模型并编辑维修任务，可实现对不同对象和任务的引导维修，实现了“以人为中心”的维修，并且为解决军机战场快速抢修问题提供了思维和途径，在提高装备维修性、保障性方面具有一定价值。