一种基于神经网络的VR维修训练操作熟练度预测方法与流程

一种基于神经网络的vr维修训练操作熟练度预测方法
技术领域
1.本发明属于装备虚拟维修训练技术领域，具体涉及一种基于神经网络的vr维修训练操作熟练度预测方法。


背景技术：

2.知识追踪是人工智能技术的一个重要研究方向，其目标是通过建立知识状态随时间变化的模型，来判断相关人员对知识的掌握程度，从而提供个性化的指导，达到人工智能辅助教学的目的。
3.vr技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中，是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术、等多种技术的集合。主要包括模拟环境、感知、自然技能和传感设备等方面，模拟环境是由计算机生成的、实时动态的三维立体逼真图像。随着vr技术的长足进步，利用vr技术进行装备维修训练的系统越来越多，然而对接受维修训练的人员进行评价一般通过人工来进行，缺乏有效的熟练度客观评价策略和方法。结合ietm中的维修数据，将知识追踪引入至vr维修训练系统能够利用人工智能技术对接受维修训练的人员的操作熟练程度进行有效、客观的预测。
4.传统的知识追踪技术只能通过较为单一的输入来对人员的知识掌握情况做一个预判，且通常利用rnn结构，不能很好地结合人员的知识掌握记录，对于单个用户的预测结果波动性较大。


技术实现要素：

5.(一)要解决的技术问题
6.本发明要解决的技术问题是：如何设计一种vr维修训练操作熟练度预测方法，预测效果更加稳定。
7.(二)技术方案
8.为了解决上述技术问题，本发明提供了一种基于神经网络的vr维修训练操作熟练度预测方法，该方法包括以下步骤：
9.第一阶段：利用vr眼镜读取某设备的ietm数据库和数据流，创建ietm维修训练流程，将对应的训练任务的关键点进行划分，得到设备维修操作的步骤名称、操作的时间、操作尝试的次数，
10.第二阶段：接受vr维修训练的人员佩戴好vr眼镜、操作手柄；
11.第三阶段：vr眼镜根据ietm维修训练流程构建出被维修设备的vr场景；
12.第四阶段：接受vr维修训练的人员按照ietm维修训练流程给出的操作规范，进行维修操作，利用操作手柄采集动作信息，并将维修过程中关键点的动作信息进行存储；
13.第五阶段：vr维修任务结束后，将操作手柄的动作信息按照关键点拆分，并结合维
修操作的次间信息即操作时间和操作尝试次数，编码成符合网络输入格式规范的动作序列，在此阶段中，考虑保持操作步骤名称、操作时间和操作尝试次数之间的对应关系，在所述编码的过程中对所述动作序列添加一个位置编码，为后续的多头注意力机制提供动作序列的位置信息；
14.第六阶段：将输入变量即动作序列信息输入网络模型预测维修熟练度。
15.优选地，第六阶段中，所述网络模型设计为包含以下几个部分：
16.一是在网络的输入部分引入的门控单元，该门控单元对输入的该维修操作的平均熟练度结果序列进行处理，之后利用处理的结果对维修操作的步骤名称序列、操作时间序列、位置编码和操作尝试次数序列的融合结果进行门控约束，门控单元的输出结果e
gate
表示为：
[0017][0018]
其中，e
position
,e
name
,e
time
,e
times
,e
results
分别表示维修操作序列的位置序列，名称序列，时间序列、尝试次数序列和该维修操作的平均熟练度结果序列；
[0019]
二是基于transformer的编解码器，利用transfomer结构进行并行计算；编解码器的编码部分由三个级联的编码器组成，单个编码器包括多头注意力模块、第一层归一化模块、前馈网络、第二层归一化模块；
[0020]
设q表示维修操作名称序列处理得到的向量，k表示维修操作时间序列和次数序列处理得到的向量，v表示维修操作名称序列、时间序列、尝试次数序列以及位置序列与维修熟练度结果序列进行门运算之后得到的结果，三个编码器的输出结果均表示为：
[0021][0022]
其中，wq，wk，wv表示线性变换矩阵，为多头注意力机制中头的运算过程，e
position
，e
time
，e
name
，e
times
，e
gate
分别表示维修操作序列的位置信息序列，操作时间序列、操作步骤名称序列、操作尝试次数序列和门控单元的输出结果；所述前馈网络用于进一步提取输入变量的特征。第一、第二层归一化模块用于稳定整个网络的梯度；
[0023]
解码部分的解码器也由三个级联的解码器组成，单个解码器包含了第二多头注意力模块、第三层归一化模块、第三多头注意力模块、第四层归一化模块，其中，第一层解码器的第三多头注意力模块的输入为最后一层编码器的输出，与编码器不同的是，在解码器的第二多头注意力模块中引入了对应层级的编码器中的第二层归一化模块的输出；
[0024]
在网络模型的解码器阶段，解码器的第二多头注意力模块的输出为第三多头注意力模块的q端，在解码器中的第二多头注意力模块的输入中增加了对应层级的编码器的输出，并将其设置为解码器中第二多头注意力模块的k端与v端；
[0025]
三是预测单元，将解码器的输出信息输入预测单元的前馈神经网络，之后在预测单元中进行归一化操作，再送入预测单元的全连接层，最后将全连接层的输出通过sigmoid函数，将输出约束到[0,1]范围内，作为预测的维修熟练度信息。
[0026]
优选地，设备维修操作的步骤名称、操作的时间、操作尝试的次数这些参数可根据具体的训练步骤进行适应性的调整。
[0027]
优选地，关键点划分的结果如表1所示：
[0028]
表1训练的数据参数
[0029]
名称取值范围单位操作步骤名称[0,6]-操作时间[0,3600]秒操作尝试次数[0,10]-[0030]
优选地，通过在网络模型中引入多头注意力机制，使得网络模型优化输入变量中的不同特征部分。
[0031]
优选地，所述位置编码采用正弦位置编码的方式实现。
[0032]
优选地，所述编解码器利用transfomer结构进行并行计算的同时还考虑输入特征的全局信息。
[0033]
本发明还提供了一种用于实现所述方法的预测系统。
[0034]
本发明还提供了一种所述方法在装备虚拟维修训练技术领域中的应用。
[0035]
本发明还提供了一种所述系统在装备虚拟维修训练技术领域中的应用。
[0036]
(三)有益效果
[0037]
本发明使用transformer，并结合ietm流程、vr设备对vr维修训练操作熟练度进行预测。该预测方法由ietm提供vr维修训练流程，将vr设备传感器采集的接受vr维修训练人员的动作等信息作为输入，利用神经网络实现对该人员操作熟练度的预测，解决了传统的知识追踪技术的问题，预测效果更加稳定。
附图说明
[0038]
图1为本发明设计的知识追踪模型示意图；
[0039]
图2为本发明的vr维修训练操作熟练度预测神经网络结构示意图。
具体实施方式
[0040]
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
[0041]
本发明提供了一种基于神经网络的vr维修训练操作熟练度预测方法，是一种利用基于transformer的神经网络来对接受虚拟维修训练人员的操作熟练度进行预测的知识追踪方法，神经网络训练方法使用transformer，并结合ietm流程、vr设备对vr维修训练操作熟练度进行预测。该预测方法由ietm提供vr维修训练流程，将vr设备传感器采集的接受vr维修训练人员的动作等信息作为输入，利用神经网络实现对该人员操作熟练度的预测。本发明的神经网络的输入参量的取值范围可针对具体的vr维修训练任务进行适应性调整。
[0042]
参考图1，本发明提供的一种vr维修训练操作熟练度预测方法包括以下步骤：
[0043]
第一阶段：利用vr眼镜读取某设备的ietm数据库和数据流，创建ietm维修训练流程，将对应的训练任务的关键点进行划分。常见的关键点划分如表1所示，表中包含了设备维修操作的步骤名称、操作的时间、操作尝试的次数，上述参数可以根据具体的训练步骤进行适应性的调整。
[0044]
表1训练的数据参数
[0045]
名称取值范围单位操作步骤名称[0,6]-操作时间[0,3600]秒(s)操作尝试次数[0,10]-[0046]
第二阶段：接受vr维修训练的人员佩戴好vr眼镜、操作手柄。
[0047]
第三阶段：vr眼镜根据ietm维修训练流程构建出被维修设备的vr场景。
[0048]
第四阶段：接受vr维修训练的人员按照ietm维修训练流程给出的操作规范，进行维修操作，利用操作手柄采集动作信息，并将维修过程中关键点的动作信息进行存储。
[0049]
第五阶段：vr维修任务结束后，将操作手柄的动作信息按照关键点拆分，并结合维修操作的次间信息(操作时间、操作尝试次数)，编码成符合网络输入格式规范的动作序列。在此阶段中，考虑到保持操作步骤名称、操作时间和操作尝试次数之间的对应关系，在上述的编码的过程中对上述的动作序列添加一个位置编码，编码的方式采用正弦位置编码的方式实现，为后续的多头注意力机制提供动作序列的位置信息。
[0050]
第六阶段：将输入变量(动作序列信息)输入网络模型预测维修熟练度，其中，所述网络模型设计为包含以下几个主要部分：
[0051]
一是在网络的输入部分引入的门控单元，该单元对输入的该维修操作的平均熟练度结果序列进行处理，之后利用处理的结果对维修操作的步骤名称序列、操作时间序列、位置编码和操作尝试次数序列的融合结果进行门控约束，从而进一步提高预测准确性。门控单元的输出结果e
gate
表示为：
[0052][0053]
其中，e
position
,e
name
,e
time
,e
times
,e
results
分别表示维修操作序列的位置序列，名称序列，时间序列、尝试次数序列和该维修操作的平均熟练度结果序列。
[0054]
二是基于transformer的编解码器，利用transfomer结构进行并行计算的同时还可以考虑输入特征的全局信息，进一步加强了网络对于熟练度预测的准确性。编解码器的编码部分由三个级联的编码器组成，单个编码器的结构如图1左边虚线框内所示，包括多头注意力模块、第一层归一化模块、前馈网络、第二层归一化模块。
[0055]
通常在网络的自注意力运算中的查询(query)、键(key)和值(value)通常以q、k、v表示，本发明中的q表示维修操作名称序列处理得到的向量，k表示维修操作时间序列和次数序列处理得到的向量，v表示维修操作名称序列、时间序列、尝试次数序列以及位置序列与维修熟练度结果序列进行门运算之后得到的结果，三个编码器的输出结果均可表示为：
[0056][0057]
其中，wq，wk，wv表示线性变换矩阵，为多头注意力机制中头的运算过程，e
position
，e
time
，e
name
，e
times
，e
gate
分别表示维修操作序列的位置信息序列，操作时间序列、操作步骤名称序列、操作尝试次数序列和门控单元的输出结果。通过在网络中引入多头注意力机制，能够使得网络模型优化输入变量中的不同特征部分，从而避免了使用单一注意力机制导致的偏差问题。前馈网络的作用是来进一步提取输入变量的特征。第一、第二层归一化模块的作
用是来稳定整个网络的梯度，防止梯度爆炸现象的发生。
[0058]
解码器也是由三个级联的解码器组成，单个解码器的框架如图1中右边虚线框所示，与编码器类似，其也包含了第二多头注意力模块、第三层归一化模块、第三多头注意力模块、第四层归一化模块。其中，第一层解码器的第三多头注意力模块(图1中右边虚线框中上面的“多头注意力”)的输入为最后一层编码器的输出，与编码器不同的是，在解码器的第二多头注意力模块(图1中右边虚线框中下面的“多头注意力”)中引入了对应层级的编码器中的第二层归一化模块的输出。
[0059]
其中值得注意的是，在网络模型的解码器阶段，解码器的第二多头注意力模块的输出为第三多头注意力模块的q端，为了能够引入低级的特征信息，在解码器中的第二多头注意力模块的输入中增加了对应层级的编码器的输出，并将其设置为解码器中第二多头注意力模块的k端与v端。
[0060]
四是预测单元，将解码器的输出信息输入预测单元的前馈神经网络，之后在预测单元中进行归一化操作，再送入预测单元的全连接层，最后将全连接层的输出通过sigmoid函数，将输出约束到[0,1]范围内，作为预测的维修熟练度信息。
[0061]
在网络的实际推理阶段只需要输入操作者的手柄所反馈的操作步骤名称序列、操作时间序列以及操作尝试次数序列作为网络模型的输入，计算设备会结合网络模型自动对操作者的操作信息进行推理运算，输出最终预测的维修熟练度结果。
[0062]
可以看出，本发明提供了一种基于神经网络的vr维修训练操作熟练度预测方法，该方法中设计了一种结合ietm和vr设备的知识追踪模型，由ietm提供维修训练流程，利用vr设备获取的维修训练操作信息作为输入，再利用结合注意力机制的transformer模型来取代rnn结构对人员的维修熟练度进行预测，解决了传统的知识追踪技术的问题，预测效果更加稳定。
[0063]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。