一种考虑维修交互的诱导信息确定方法及系统

1.本发明涉及增强现实和知识管理交叉技术辅助维修领域，特别是涉及一种考虑维修交互的诱导信息确定方法及系统。


背景技术：

2.复杂设备长期稳定的运行，离不开一系列合理、有序的维护工作。而随着设备的性能越来越先进，系统越来越复杂，更新速度越来越快，导致维护任务种类繁多和维修任务的多变。维修操作人员需要记忆较多负责的操作规程，即使曾经训练过的内容也可能遗忘。此时，维修人员一般会需要通过纸质工艺文档或电子手册进行操作学习，以便于后续维护任务的进行。这种方式需要其自行判断维护任务所处的阶段，并自行查找对应的操作，在查询和维修过程中缺少维护信息的实时反馈，在维护操作的效率和直观性上较差。此外，当遇到不常见的突发维护任务时，维修人员往往需要远程连线专家来完成维护任务，但这个过程就很容易受到影响产生延迟，而由于信息延迟造成紧急问题不能得到有效的处理，后果难以预料。因此，维修任务效率、准确率的提高势在必行。
3.增强现实技术将计算机生成的虚拟物体准确地叠加到真实场景中并实现真实与虚拟场景无缝融合，进而完成对真实场景的增强，用户通过手持设备或者增强现实显示装置观察到虚拟物体与真实场景融合的画面，从而可以辅助用户对现实世界的认知，进一步地，通过用户与虚拟物体进行交互，可以极大地提高用户真实体验感。增强现实技术的这一优势在诸多领域都有了应用。将基于增强现实技术的诱导维修方式引入到维修维护工作中，通过自然交互手段感知周围场景和维修对象状态变化，实时准确地将所需要的数字化维修诱导信息叠加到实物对象上，使得操作人员能够得到视觉、听觉等自然感知方式的维修引导和警示。其优势在于，使维修人员在开展维护工作时，能够专注于维修操作本身，无需再翻阅传统纸质或电子维修手册来查找和定位当前的故障位置，节省大量精力，降低维修差错发生，缩短维修时间。因此考虑将增强现实技术与维修维护的应用相结合具有非常重要的现实意义
4.作为增强现实诱导维修的关键部分，辅助维修时维修工艺信息的显示及其与用户的自然交互是决定诱导维修效果好坏的核心。诱导界面中的信息显示是诱导体系中人机交互的重要部分，其合理的诱导与表达方式使用户能够快速准确地理解维修信息的内涵，避免维修误操作，高效完成维修作业内容。进一步的，诱导维修使用的信息显示设备为头盔式增强现实显示系统，头戴式增强现实系统一般采用投影的方式来显示增强现实界面信息，且用户界面有虚实结合和实时交互的特征，增强现实界面的文本、颜色和图形等因素的显示受到影响，因此常规的二维图形用户界面信息设计方法不适用于诱导维修场景。另外，用户界面的易用性、规范性、合理性、美观与协调性、安全性等因素也是诱导维修应用设计中应该考虑的。因此在现有的研究中，诱导信息在增强现实用户界面如何准确表达没有方法可循，对基于人机功效学的诱导维修信息表达方法的研究是很有必要的。


技术实现要素：

5.本发明的目的是提供一种考虑维修交互的诱导信息确定方法及系统，可提高诱导维修用户人机交互的友好性，从而提高维修人员的工作效率和效果。
6.为实现上述目的，本发明提供了如下方案：
7.一种考虑维修交互的诱导信息确定方法，所述方法包括：
8.建立基于知识图谱的设备维修工艺信息模型；所述设备维修工艺信息模型用于查询和定位维修工艺信息；维修工艺信息包括：对应的信息实体以及有关联的知识；
9.根据维修工艺信息确定用户界面的诱导交互控制机制；所述用户界面的诱导交互控制机制包括：语音交互、手势交互以及凝视交互；
10.根据维修工艺信息、用户界面的诱导交互控制机制以及用户所需增强现实设备确定三维诱导信息界面；
11.对三维诱导信息界面进行判断；若满足设定评价指标，则根据三维诱导信息界面进行操作；若不满足设定评价指标，则重新确定三维诱导信息界面，直至满足设定评价指标。
12.可选地，所述建立基于知识图谱的设备维修工艺信息模型，具体包括：
13.对维修工本信息进行划分；并在增强现实环境下对相应种类的信息进行分类和抽取；
14.根据分类和抽取后的信息，基于知识图谱，建立设备维修工艺信息模型。
15.可选地，维修工本信息划分为维修对象、维修工具、维修耗材、维修动作和辅助信息5个种类。
16.可选地，利用prot
égé
工具建立知识图谱。
17.一种考虑维修交互的诱导信息确定系统，所述系统包括：
18.设备维修工艺信息模型建立模块，用于建立基于知识图谱的设备维修工艺信息模型；所述设备维修工艺信息模型用于查询和定位维修工艺信息；维修工艺信息包括：对应的信息实体以及有关联的知识；
19.诱导交互控制机制确定模块，用于根据维修工艺信息确定用户界面的诱导交互控制机制；所述用户界面的诱导交互控制机制包括：语音交互、手势交互以及凝视交互；
20.三维诱导信息界面确定模块，用于根据维修工艺信息、用户界面的诱导交互控制机制以及用户所需增强现实设备确定三维诱导信息界面；
21.判断模块，用于对三维诱导信息界面进行判断；若满足设定评价指标，则根据三维诱导信息界面进行操作；若不满足设定评价指标，则重新确定三维诱导信息界面，直至满足设定评价指标。
22.可选地，所述设备维修工艺信息模型建立模块具体包括：
23.划分单元，用于对维修工本信息进行划分；并在增强现实环境下对相应种类的信息进行分类和抽取；
24.设备维修工艺信息模型建立单元，用于根据分类和抽取后的信息，基于知识图谱，建立设备维修工艺信息模型。
25.一种考虑维修交互的诱导信息确定系统，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时
实现如所述的方法。
26.根据本发明提供的具体实施例，本发明公开了以下技术效果：
27.本发明所提供的一种考虑维修交互的诱导信息确定方法及系统，建立基于知识图谱的设备维修工艺信息模型，提取维修工本中杂乱冗余的维修信息。然后，对上述确定了表达方式的维修工艺信息，设计诱导用户界面的交互控制机制。进一步的，联合维修工艺信息和交互控制机制，针对不同诱导维修设备的界面特点进行信息的布局设计，形成完整的诱导维修用户界面呈现。最后，考虑用户自然交互的设计要求，建立诱导界面信息表达指标，从人机工效学角度对维修信息的表达进行评价。本发明提高了诱导维修用户人机交互的友好性，从而提高维修人员的工作效率和效果，为增强现实领域中维修知识表达和用户智能交互的发展方向提供了技术可行性。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1为本发明所提供的一种考虑维修交互的诱导信息确定方法流程示意图；
30.图2为增强现实环境下的分类和抽取后的信息结果示意图；
31.图3为基于知识图谱的维修知识结构示意图；
32.图4为诱导维修应用制作知识图谱可视化示意图；
33.图5为诱导应用流程知识示意图；
34.图6考虑自然交互的用户界面流程显示面板示意图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.本发明的目的是提供一种考虑维修交互的诱导信息确定方法及系统，能够提高诱导维修用户人机交互的友好性，从而提高维修人员的工作效率和效果。
37.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
38.图1为本发明所提供的一种考虑维修交互的诱导信息确定方法流程示意图，如图1所示，本发明所提供的一种考虑维修交互的诱导信息确定方法，所述方法包括：
39.建立基于知识图谱的设备维修工艺信息模型；所述设备维修工艺信息模型用于查询和定位维修工艺信息；维修工艺信息包括：对应的信息实体以及有关联的知识。
40.所述建立基于知识图谱的设备维修工艺信息模型，具体包括：
41.对维修工本信息进行划分；并在增强现实环境下对相应种类的信息进行分类和抽取，并如图2所示；维修工本信息划分为维修对象、维修工具、维修耗材、维修动作和辅助信
息5个种类。根据分类和抽取后的信息，基于知识图谱，建立设备维修工艺信息模型。利用prot
égé
工具建立知识图谱，并如图3所示。
42.利用设备维修工艺信息模型的查询功能，从复杂的知识网络中快速定位到所选的知识实例，可快速部署所选诱导维修操作对象的相关诱导信息数据包即可在面向诱导维修的知识模型中查询到相应的信息实体，并依据知识模型查询到与其有关联关系的知识(如维修对象识别方法、维修对象识别信息数据包等)，同时将其在诱导维修信息制作系统中显示。
43.根据维修工艺信息确定用户界面的诱导交互控制机制；所述用户界面的诱导交互控制机制包括：语音交互、手势交互以及凝视交互；交互机制的控制除了实现诱导界面的显示外，更重要的是实现说明面板之间的跳转、控制动画和语音的播放等。针对步骤一中增强现实环境下诱导维修信息的分类，分析包括诱导任务总体说明面板、维修对象说明文本、维修流程面板、维修工序说明文本和语音交互5类交互的控制机制。
44.根据维修工艺信息、用户界面的诱导交互控制机制以及用户所需增强现实设备确定三维诱导信息界面；由于在用户界面内，操作者看到的数字化信息与真实世界维修对象保持相对静止，因此数字化信息在用户界面的布局以虚实结合为中心。即，首先，根据步骤三，提取基于知识图谱的诱导维修工艺信息，然后结合步骤四中各界面的交互控制机制设计，最后选取用户所需增强现实设备，结合增强现实设备特点，进行布局设计。
45.对三维诱导信息界面进行判断；若满足设定评价指标，则根据三维诱导信息界面进行操作；若不满足设定评价指标，则重新确定三维诱导信息界面，直至满足设定评价指标。
46.通过诱导维修菜单的展示，得出操作人员对诱导维修应用使用的整个过程的评价。评价准则体系可以分为三类综合评价因素，分别是诱导维修的时机恰当性，诱导维修方式的友好性和诱导内容的准确性。在当前的维修性国家标准和国家军用标准体系中，这三类因素都属于维修性评价标准中比较难于量化的定性因素，因此可以采用语言变量和模糊数来处理，以方便评价人员对这些因素给出定性的估计和判断。即以评分值的形式供评价人员选择评分，评分值范围规定为1～10分，分值越小，其相应的评价内容的好坏程度为越好，如表1所示。关键技术中各因素的评价准则又可以进一步表达为表2、3、4所示。
47.按照建立的准则对用户界面进行评价，评价不同诱导维修菜单对用户的引导能力。当评价指标满足时，输出用户界面。
48.表1关键技术评价准则
49.[0050][0051]
表2诱导维修的时机恰当性
[0052][0053]
表3诱导维修方式的友好性
[0054][0055]
表4诱导内容的准确性
[0056][0057]
以下通过具体的实施例进行说明：
[0058]
(1)利用prot
égé
工具建立知识图谱分别建立维修知识类、实体数据和关系的维修数据。维修工艺信息知识图谱建立内容如图4。
[0059]
(2)在知识图谱中查询“变重力柜”的维修流程知识，可得到该对象的维修任务，如图5所示。绿色虚线表示各工序间的流程关系，根据绿色虚线走向依次选择和添加各工序中的诱导要素，调取相应的prefab文件数据，在unity3d界面进行关联，生成维修任务1的诱导应用制作流程。
[0060]
(3)针对步骤一中增强现实环境下诱导维修信息的分类，分析包括诱导任务总体说明面板、维修对象说明文本、维修流程面板、维修工序说明文本和语音交互5类交互的控制机制。
[0061]
(4)依据hololens的52
°
对角视场角和3:2宽高比界面的呈像特点，进行诱导维修用户界面信息布局的设计，如图6将维修对象的维修流程转化为人机交互流程，制作维修诱导流程，并按照设定好的各个流程依次进行维修诱导；
[0062]
拆卸板卡螺钉；
[0063]
移除板卡盖板；
[0064]
抽出板卡；
[0065]
拆除面板螺钉；
[0066]
移开面板；
[0067]
拆除风扇螺钉；
[0068]
拿开风扇盖板；
[0069]
拿出风扇。
[0070]
(5)通过用户佩戴hololens进行维修引导操作时客观存在的主观判断，验证不同诱导维修菜单对用户的引导能力。其对应的用户评价因素如表5所示。由此可见，平均评分为1，应用的设计能够满足用户实际使用中人机交互友好性的要求，建立以当前界面为基础的诱导维修界面。
[0071]
表5用户评价表
[0072][0073]
对应上述方法，本发明还提供了一种考虑维修交互的诱导信息确定系统，所述系统包括：
[0074]
设备维修工艺信息模型建立模块，用于建立基于知识图谱的设备维修工艺信息模型；所述设备维修工艺信息模型用于查询和定位维修工艺信息；维修工艺信息包括：对应的信息实体以及有关联的知识；
[0075]
诱导交互控制机制确定模块，用于根据维修工艺信息确定用户界面的诱导交互控制机制；所述用户界面的诱导交互控制机制包括：语音交互、手势交互以及凝视交互；
[0076]
三维诱导信息界面确定模块，用于根据维修工艺信息、用户界面的诱导交互控制机制以及用户所需增强现实设备确定三维诱导信息界面；
[0077]
判断模块，用于对三维诱导信息界面进行判断；若满足设定评价指标，则根据三维诱导信息界面进行操作；若不满足设定评价指标，则重新确定三维诱导信息界面，直至满足设定评价指标。
[0078]
所述设备维修工艺信息模型建立模块具体包括：
[0079]
划分单元，用于对维修工本信息进行划分；并在增强现实环境下对相应种类的信息进行分类和抽取；
[0080]
设备维修工艺信息模型建立单元，用于根据分类和抽取后的信息，基于知识图谱，建立设备维修工艺信息模型。
[0081]
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，本发明还提供了一种考虑维修交互的诱导信息确定系统，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现所述的方法。
[0082]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0083]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。