基于人因智能数据反馈训练方法、系统、设备及存储介质与流程

本申请涉及人工智能领域，具体涉及一种基于人因智能数据反馈训练方法、系统、设备及存储介质。

背景技术：

1、人工智能技术为模拟训练提供了智能化的辅助和评估，其中，虚拟现实(vr)技术是一种将用户置身于计算机生成的虚拟环境中的技术；增强现实(ar)技术是一种通过叠加虚拟信息到真实世界中，创造出增强视觉体验的技术。

2、相关技术中，基于ar/vr的人员训练系统通常是采用一套通用的训练系统对某一类受训人员进行训练，无法提供足够详细的信息来理解某个特定受训者的状态和需求，从而使得训练效果受到了局限。

技术实现思路

1、为了解决现有技术中的上述问题，本申请提出了一种基于人因智能数据反馈训练方法、系统、设备及存储介质，提高了训练效果。

2、本申请的第一方面，提出一种基于人因智能数据反馈训练方法，所述方法包括：

3、采集受训人员在虚拟现实和/或增强现实场景中接受训练时的多模态数据信息；

4、根据采集的所述多模态数据信息，通过预设的神经网络模型计算所述受训人员处于训练时的设定状态的统计参数，所述设定状态至少包括疲劳状态和分心状态之一；

5、根据所述设定状态的统计参数判断所述受训人员的安全性级别；

6、根据所述安全性级别生成定制化的训练反馈。

7、优选地，所述多模态数据信息至少包括：脑电信号、眼动信号、生理信号、时空轨迹信号、动作捕捉信号、行为编号及交互信息。

8、优选地，所述设定状态的统计参数为所述设定状态的概率；

9、所述根据采集的所述多模态数据信息，通过预设的神经网络模型计算所述受训人员处于训练时的设定状态的统计参数包括：

10、通过多头注意力机制根据下式计算每个模态特征相对于其他模态特征的注意力分布：

11、

12、其中，attentioni表示第i个模态特征相对于其他模态特征的注意力分布；ei,j表示第i个模态特征与第j个模态特征之间的关联度，n表示模态数量；i和j的取值范围均为[1，n]；

13、根据所述注意力分布计算加权特征：

14、

15、其中，weighted_featurei表示第i个模态的所述加权特征；featurej表示所述神经网络模型输入的第j个模态特征；

16、根据所述加权特征和每个模态的权重计算所述受训人员的各个所述设定状态状态得分：

17、

18、其中，wm表示权重；

19、根据所述得分计算所述受训人员处于所述设定状态的概率：

20、p＝σ(fatiguescore)

21、其中，σ表示sigmoid激活函数。

22、优选地，所述采集受训人员在虚拟现实和/或增强现实场景中接受训练时的多模态数据信息前包括：

23、预先创建虚拟现实和/或增强现实场景以模拟训练环境；

24、根据模拟完成的训练环境，建立所述神经网络模型中的训练环境参数。

25、优选地，所述方法还包括：

26、结合所述训练环境参数及采集的所述多模态数据信息通过所述神经网络模型分析所述受训人员处于训练时的设定状态的统计参数；

27、根据所述设定状态的统计参数判断所述受训人员的安全性级别。

28、优选地，所述方法还包括：

29、采用二元交叉熵损失函数训练所述神经网络模型，且在训练时采用adam优化器调整所述神经网络模型的参数以最小化所述损失函数。

30、本申请的第二方面，提出一种基于人因智能数据反馈训练系统，所述系统根据如上面所述方法进行反馈训练。

31、本申请的第三方面，提出一种基于人因智能数据反馈训练设备，包括存储器和处理器，所述存储器上存储有能够被所述处理器加载并执行如上面所述方法的计算机程序。

32、本申请的第四方面，提出一种计算机可读存储介质，存储有能够被处理器加载并执行如上面所述方法的计算机程序。

33、本申请具有如下有益效果：

34、本申请提出的基于人因智能数据反馈训练方法，采集受训人员在ar/vr场景中接受训练时的多模态数据，然后利用神经网络模型对多模态数据进行实时分析，从而全面、充分地了解当前受训人员的状态，并根据当前受训人员的状态判断安全性等级并生成定制化的训练反馈，以便调整ar/vr场景对当前受训人员进行进一步训练。通过上述方法，本申请有效提升了训练效果和训练的安全性。

35、本申请的多模态数据信息至少包括：脑电信号、眼动信号、生理信号、时空轨迹信号、动作捕捉信号、行为编号及交互信息，能够从多个角度对受训人员的状态进行全面了解。

36、本申请采用多头注意力机制动态计算各模态特征之间的关联度，以动态调整注意力，并计算加权特征，使得模型更加关注对当前任务有决定性影响的特征。注意力机制使得神经网络模型更具解释性，可以解释模型在不同模态特征上的决策依据。

技术特征：

1.一种基于人因智能数据反馈训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述多模态数据信息至少包括：脑电信号、眼动信号、生理信号、时空轨迹信号、动作捕捉信号、行为编号及交互信息。

3.根据权利要求1所述的方法，其特征在于，所述设定状态的统计参数为所述设定状态的概率；

4.根据权利要求1所述的方法，其特征在于，所述采集受训人员在虚拟现实和/或增强现实场景中接受训练时的多模态数据信息前包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求4所述的方法，所述方法还包括：

7.一种基于人因智能数据反馈训练系统，其特征在于，所述系统根据如权利要求1-6中任一项所述方法进行反馈训练。

8.一种基于人因智能数据反馈训练设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被所述处理器加载并执行如权利要求1-6中任一项所述方法的计算机程序。

9.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1-6中任一项所述方法的计算机程序。

技术总结
本申请涉及人工智能领域，具体涉及一种基于人因智能数据反馈训练方法、系统、设备及存储介质，旨在提高训练效果。本申请的基于人因智能数据反馈训练方法包括：采集受训人员在虚拟现实和/或增强现实场景中接受训练时的多模态数据信息；根据多模态数据信息，通过预设的神经网络模型计算受训人员处于训练时的设定状态的统计参数；根据设定状态的统计参数判断受训人员的安全性级别；根据安全性级别生成定制化的训练反馈，以便调整虚拟现实和/或增强现实场景对受训人员进行进一步训练。本申请能够全面、充分地了解当前受训人员的状态，有效提升了训练效果和训练的安全性。

技术研发人员：请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者：北京津发科技股份有限公司
技术研发日：
技术公布日：2024/4/17