一种基于增强现实技术的航空机务飞行检查站位引导方法

1.本发明涉及航空机务维护检查技术领域，尤其涉及一种基于增强现实技术的航空机务飞行检查站位引导方法。


背景技术：

2.飞机机务维修保障是在飞机遂行飞行任务前后组织进行的基础性保障工作之一，是排除风险确保航空安全的必要步骤。飞机机务维修保障的作业流程呈现出如下两大特点：(1)高度程序化，作业流程标准，操作步骤规范，需排查的风险点明确细致；(2)操作复杂化，以飞行放飞检查为例，需要在上百个按钮及仪表中按照时序选择启用相关功能，并测试系统状态和性能。
3.繁多的流程和复杂的操作使得飞机机务维修保障严重依赖于机务保障人员的能力和主观经验。因此，降低飞机机务维修保障过程中的人因差错以及提升飞机机务维修保障的效率是确保该项工作顺利开展的重中之重。
4.为此，本发明提出了一种基于增强现实技术的航空机务飞行检查站位引导方法，将人工智能和增强现实技术应用到航空机务维修保障训练工作中，将作业人员从纷繁复杂的维修保障流程中解脱出来，将基本维修保障作业流程和传统经验信息化智能化，降低了机务维护过程中的人因差错，提升了航空机务维修训练的效益和质量。


技术实现要素：

5.为实现本发明之目的，采用以下技术方案予以实现：
6.一种基于增强现实技术的航空机务飞行检查站位引导方法，其中包括以下步骤：步骤1.加载任务配置数据，该数据包含多个检查站位的节点信息；步骤2.针对第一站位，进行检查任务的引导；步骤3.完成上一站位的检查任务引导后，重复步骤2执行下一检查站位的检查任务引导；步骤4.全部检查站位的检查任务都完成后，结束检查任务引导。
7.所述的基于增强现实技术的航空机务飞行检查站位引导方法，其中步骤2中：执行每个检查站位的检查任务引导时，首先在增强现实眼镜的屏幕上显示该站位的检查站位引导界面，界面上显示有维护图像目标轮廓提示框；之后在检查站位引导界面上加载维护检查内容与标准的图片、文字辅助信息；将当前检查步骤中通过增强现实眼镜获取的图像与之前历史检查图像进行比对分析并将结果反馈给维护人员。
8.所述的基于增强现实技术的航空机务飞行检查站位引导方法，其中步骤2中：检查站位引导界面左上角为飞行检查站位的大步骤切换按钮；右上侧的上一步、下一步按钮是正常的步骤执行，按钮可通过视点触发，视线注视若干秒即可执行该按钮；界面上的返回按钮是返回科目选择界面，右侧的整体图和细节图是检查图片展示部分，点击或者注视若干秒秒即可放大图片；下部的方框为当前步骤检查内容、注意事项及历史故障信息。
9.所述的基于增强现实技术的航空机务飞行检查站位引导方法，其中：右侧的整体图中显示当前检查站位所包含的所有检查对象的图片，并按照顺序标注检查流程及位置、
线路，其中当前检查对象的图标高亮显示，并显示有增强现实检查站位引导界面的步骤、文字提示。
10.所述的基于增强现实技术的航空机务飞行检查站位引导方法，其中：右侧下方的细节图显示有当前检查对象的局部放大图，并通过高亮的多边形轮廓提示所在的位置，并配合显示有正常图像、异常图像判断是否有问题，最后借助计算机图像识别实现人工+计算机辅助检查。
11.所述的基于增强现实技术的航空机务飞行检查站位引导方法，其中：所述增强现实眼镜为光学透视式眼镜，既能透过眼镜看到被检查的真实对象，又能在眼镜叠加显示引导信息。所述的基于增强现实技术的航空机务飞行检查站位引导方法，其中所述检查站位包括驾驶舱,对驾驶舱进行步骤2的检查任务的引导包括：
12.第1步：通过计算机图像识别技术实现驾驶舱三维几何模型与实际驾驶舱的虚实匹配锚定及微调；
13.第2步：根据用户选择的维护科目自动加载维修引导数据资源，之后按照维护科目的每一个步骤开展操作引导：在增强现实眼镜中通过虚拟视线引导到当前步骤需要操作的开关、按钮或信号灯位置，并通过三维几何模型虚实叠加高亮显示操作后的开关状态，信号灯的亮灭状态，仪表板显示画面，并同时在增强现实眼镜中通过文字、语音、图片、视频提示当前步骤的检查操作对象、检查操作内容及注意事项等信息；
14.第3步：每一个步骤的操作完成后执行下一个步骤前，自动拍摄当前步骤的操作结果图像并存档，并与历史操作结果图像比对，识别当前操作是否正常并自动对判断的异常操作给出警告；
15.第4步：按第2步、第3步的方式依次执行下一个步骤的操作引导直至该维护科目的全部步骤的操作引导结束。
16.所述的基于增强现实技术的航空机务飞行检查站位引导方法，其特中第1步中：在增强现实眼镜中显示一条虚拟直线，起点在操作人员正前方，终点在需要操作的开关、按钮、仪表处。
17.所述的基于增强现实技术的航空机务飞行检查站位引导方法，其中步骤3中：增强现实眼镜中存储有之前检查操作的图像，每一个步骤的操作完成后执行下一个步骤前，增强现实眼镜会通过线框显示当前步骤操作对象的轮廓，操作人员需要调整眼镜的位置和姿态使得线框与实际物体在眼镜中的图像基本吻合，增强现实眼镜能自动拍摄当前步骤的操作结果图像并存档，并与之前操作结果图像比对，借助计算机图像识别技术通过轮廓、颜色识别当前步骤操作对象的相对位置、状态信息，通过与正常图像对比，以及与异常图像对比识别当前操作是否正常并自动对判断的异常操作给出警告。
18.所述的基于增强现实技术的航空机务飞行检查站位引导方法，其中步骤1中：(1)虚实匹配锚定按如下方式进行：选取轮廓、颜色特征明显的仪表面板并拍摄图像，在增强现实操作引导系统运行前利用增强现实眼镜自带的摄像头扫描驾驶舱仪表面板，自动匹配并将虚拟的驾驶舱与实际驾驶舱在增强现实眼镜中显示,实现虚拟驾驶舱与实际驾驶舱的大体锚定；(2)虚实匹配微调可按如下方式进行：首先显示整个驾驶舱虚拟模型，通过移动、旋转、缩放操作使得驾驶舱虚拟模型与真实物体大小位置基本匹配，然后逐个选择并通过移动、旋转、缩放调整各个面板、显示器的虚拟模型与实际面板、显示器大小位置较精确匹配，
最后再选择位置误差较大的各个开关、按钮，通过移动、旋转、缩放精确调整使虚拟开关、按钮位置大小与真实开关、按钮位置匹配。
附图说明
19.图1为一种基于增强现实技术的航空机务飞行检查站位引导方法流程图；
20.图2为一种基于增强现实技术的航空机务飞行检查站位引导界面示意图；
21.图3为检查站位细节图；
22.图4为虚实叠加原理及流程图；
23.图5为三维模型与实际驾驶舱的虚实匹配锚定及微调示意图；
24.图6为驾驶舱操作虚实叠加引导操作示意图；
25.图7为增强现实眼镜显示的引导画面示意图。
具体实施方式
26.下面结合附图1-7对本发明的具体实施方式进行详细说明。
27.如图1所示，基于增强现实技术的航空机务飞行检查站位引导方法包括：步骤1.加载任务配置数据，该数据包含多个检查站位的节点信息；步骤2.针对第一站位，进行检查任务的引导；步骤3.完成上一站位的检查任务引导后，与上一站位类似的执行下一检查站位的检查任务引导；步骤4.全部检查站位的检查任务都完成后，结束检查引导。
28.其中，执行每个检查站位的检查任务引导时，首先在增强现实眼镜的屏幕上显示该站位的检查站位引导界面，界面上可显示维护图像目标轮廓提示框，引导维护人员将增强现实眼镜对准检查对象；之后在检查站位引导界面上加载维护检查内容与标准的图片、文字辅助信息，引导机务人员按照规定的步骤、标准和检查项目执行，防止错、漏、忘等差错；同时将当前检查步骤中通过增强现实眼镜获取的图像与之前历史检查视频图像进行比对分析，进一步通过计算机视觉图像分析校验检查结果是否有异常，并将结果反馈给维护人员。
29.图2所示为一种基于增强现实技术的航空机务飞行检查站位引导界面：左上角为飞行检查站位的大步骤切换按钮，点击可以跳转到下一个大步骤；右上侧的上一步、下一步按钮是正常的步骤执行按钮，可通过视点触发，视线注视两秒即可执行该按钮，返回按钮是返回科目选择界面，右侧的整体图和细节图是检查图片展示部分，点击或者注视两秒即可放大图片，便于维护人员从飞机复杂的结构组成中查看当前步骤需要检查的零部件。下部的方框为当前步骤检查内容、注意事项及历史故障等信息，维护人员可根据引导提示开展具体检查。
30.本发明中的检查站位是飞机机务维护术语，为了便于将机务检查流程化、步骤化，飞行检查一般根据检查对象所处的位置，划分为若干连续的检查路线，将相对集中的一组检查对象统称为一个检查站位。例如典型的飞行检查站位可包括前机身、驾驶舱右侧、进气道等。每一个检查站位又包含若干检查对象，该检查站位包含检查站位流程总体图及检查子步骤细节图。
31.对应图2中右侧的整体图，检查站位中会完整显示当前检查站位所包含的所有检查对象的图片，并按照顺序标注检查流程及位置、线路，其中当前检查对象的图标会高亮显
示，并配合增强现实检查引导系统界面的步骤、文字提示，迅速确定当前的检查对象位置及特征，帮助维护人员迅速确定当前的检查对象位置及特征。
32.如图3所示，对应图2中右侧下方的细节图，该图为当前检查对象的局部放大图，并通过高亮的多边形轮廓提示所在的位置，便于维护人员从复杂的飞机结构中准确判断当前检查对象的位置及外形特征，通过与正常图像对比，以及与异常图像对比，综合判断当前检查对象是否正常，由此借助计算机图像识别实现人工+计算机辅助检查。
33.所述增强现实眼镜包括视频透视式和光学透视式两种显示模式，本发明优选的采用光学透视式类型的眼镜，这样检查人员既可以通过增强现实眼镜看到需要检查的真实的航空装备，又能在眼镜上同时叠加显示检查引导信息。检查时，在增强现实眼镜中同时显示当前站位下的当前步骤需要检查对象的整体图、细节图，在整体图中用箭头和数字标注了当前站位各个步骤检查的对象位置，细节图中显示当前检查对象的放大特写，并用线框勾画出轮廓，以便引导检查人员知晓当前步骤需要检查的对象在哪里。增强现实眼镜还可以以文字、语音、图片等形式提示当前检查对象名，检查内容和标准，检查注意事项，曾经发生的故障异常等文字或图片信息，便于检查核对，避免错漏忘导致的飞行事故。增强现实眼镜中预先存储有大量之前拍摄的当前检查对象的正常以及异常照片，并对检查对象做了标注，通过图像对比分析检查对象及周边区域是否与正常或异常图片有相似之处来辅助检查。
34.在航空机务飞行检查中，驾驶舱是重要的检查站位，直接关系着飞行安全，因此有必要对驾驶舱设置相应的检查站位引导方法，以确保飞行安全。
35.如图4-7所示，对驾驶舱进行检查任务的引导包括：
36.第1步：通过计算机图像识别技术实现驾驶舱三维几何模型与实际驾驶舱的虚实匹配锚定。其中驾驶舱建模在第1步之前可预先按以下方式形成并加以保存：首先借助三维扫描建模设备获取驾驶舱的位置、尺寸等比较精确的三维点云stl数据，扫描时个别位置存在遮挡关系，难以扫描完整，所以无法直接使用；然后以扫描后的stl模型为基础，进一步结合飞机手册中驾驶舱布局图，逆向重新建立驾驶舱的三维模型，并修改外观材质及纹理贴图，形成最终与实际驾驶舱外观、尺寸均匹配的三维模型，将该三维几何模型保存在数据库中。
37.第2步：根据用户选择的维护科目(例如驾驶舱飞行前的开关位置检查，或者通电检查，或者启动试车等)自动加载维修引导数据资源，之后按照维护科目的每一个步骤开展操作引导：在增强现实眼镜中通过虚拟视线引导到当前步骤需要操作的开关、按钮或信号灯位置，并通过三维几何模型虚实叠加高亮显示操作后的开关状态，信号灯的亮灭状态，仪表板显示画面，并同时在增强现实眼镜中通过文字、语音、图片、视频等形式提示当前步骤的检查操作对象、检查操作内容及注意事项等信息；
38.第3步：增强现实眼镜中存储有之前检查操作的图像，每一个步骤的操作完成后执行下一个步骤前，增强现实眼镜会通过线框显示当前步骤操作对象的轮廓，操作人员需要调整眼镜的位置和姿态使得线框与实际物体在眼镜中的图像基本吻合，增强现实眼镜能自动拍摄当前步骤的操作结果图像并存档，并与之前操作结果图像比对，借助计算机图像识别技术通过轮廓、颜色识别当前步骤操作对象的相对位置、状态信息，通过与正常图像对比，以及与异常图像对比识别当前操作是否正常并自动对判断的异常操作给出警告；
39.第4步：按第2步、第3步的方式依次执行下一个步骤的操作引导直至该维护科目的全部步骤的操作引导结束。
40.图4所示为虚实叠加原理及流程图，增强现实眼镜自带的陀螺仪器可实现对眼镜佩戴人员头部位置和姿态相对变化的获取；同时也可借助增强现实眼镜的左右两个摄像头获取佩戴者周围物体空间的三维坐标信息，进而通过图像空间变换定位算法，辅助计算计算眼镜佩戴人员头部位置和姿态相对变化，综合这两种方法获得操作人员眼睛对应的真实摄像机位置和姿态，进而确定三维虚拟空间的几何模型虚拟摄像机位置和姿态信息，并将虚拟空间几何模型渲染到增强现实眼镜的镜片上进行显示，实现虚拟引导信息与实际物体的叠加显示，实现虚实融合和引导训练。这样用户就很容易知道众多的检查对象中当前应该检查操作哪一个，应该如何检查或操作，避免检查步骤有遗漏或者操作错误。
41.图5对第1步中的三维模型与实际驾驶舱的虚实匹配锚定及微调的实现方式进行了显示，其中(1)虚实匹配锚定可按如下方式进行：选取驾驶舱轮廓、颜色等特征明显的仪表面板并拍摄图像，，自动匹配并将虚拟的驾驶舱与实际驾驶舱在增强现实眼镜中显示,实现虚拟驾驶舱与实际驾驶舱的大体锚定。(2)虚实匹配微调可按如下方式进行：考虑到三维几何模型与实际物体的尺寸误差，以及驾驶舱操作人员眼睛与增强现实眼镜的虚拟摄像机之间的显示误差，虚实匹配叠加操作引导中虚拟物体与真实物体之前存在一定误差，这对于开关、按钮、信号灯等空间位置比较紧凑、密集的驾驶舱来说很容易导致引导位置错误，所以需要进行虚实匹配微调。首先显示整个驾驶舱虚拟模型，通过移动、旋转、缩放操作使得驾驶舱虚拟模型与真实物体大小位置基本匹配，然后逐个选择并通过移动、旋转、缩放调整各个面板、显示器的虚拟模型与实际面板、显示器大小位置较精确匹配，最后再选择位置误差较大的各个开关、按钮，通过移动、旋转、缩放精确调整使虚拟开关、按钮位置大小与真实开关、按钮位置匹配。
42.图6所示为驾驶舱操作虚实叠加引导操作效果，在实际虚实叠加引导操作时，增强现实眼镜中存储有驾驶舱仪表面板的三维模型，并且在系统运行前通过虚实匹配锚定已经与真实驾驶舱位置一致，在增强现实眼镜中通过虚拟视线引导到当前步骤需要操作的开关、按钮或信号灯位置，并通过三维几何模型虚实叠加高亮显示操作后的开关状态，信号灯的亮灭状态，仪表板显示画面，并同时在增强现实眼镜中通过文字、语音、图片、视频等形式提示当前步骤的检查操作对象、检查操作内容及注意事项等信息。如图6所示，在增强现实眼镜中显示出的一条虚拟直线作为虚拟视线，起点在操作人员正前方，终点在需要操作的开关、按钮、仪表处，用于引导操作人员快速准确找到要操作的对象。增强现实眼镜还可进行视线检测触发，即利用增强现实眼镜获取当前用户的视点位置及姿态，向预定的位置和朝向发出一条射线，通过其自带摄像头拍摄的图像分析并识别操作人员大拇指与食指的闭合动作，检测该射线是否与界面中某个按钮对象发生碰撞，如果是且检测到操作人员大拇指与食指发生了手势闭合操作，则触发实现类似鼠标点击的交互效果，例如通过手指闭合模拟按下按钮，按下开关等操作。
43.图7所示为增强现实眼镜显示的引导画面，在增强现实眼镜中，仅显示当前步骤需要操作的开关、按钮、信号灯等对象，整个驾驶舱的其它操作对象并不显示，这样可以避免整个眼镜中显示全部虚拟操作对象遮挡真实的物体导致无法看到真实的操作对象，从而实现虚实叠加显示操作引导。通过本发明，能够将作业人员从纷繁复杂的维修保障流程中解
脱出来，将基本维修保障作业流程和传统经验信息化智能化，降低了机务维护过程中的人因差错，提升了航空机务维修训练的效益和质量。